特許 7520888 偽造された顔の認識方法、装置、および非一時的コンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-12

(45)【発行日】2024-07-23

(54)【発明の名称】偽造された顔の認識方法、装置、および非一時的コンピュータ可読記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240716BHJP

【ＦＩ】

G06T7/00 510F

【請求項の数】 16

(21)【出願番号】P 2021566527

(86)(22)【出願日】2020-04-26

(65)【公表番号】

(43)【公表日】2022-07-13

(86)【国際出願番号】 CN2020086952

(87)【国際公開番号】W WO2020228515

(87)【国際公開日】2020-11-19

【審査請求日】2023-01-04

(31)【優先権主張番号】201910387689.0

(32)【優先日】2019-05-10

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】519274389

【氏名又は名称】北京京▲東▼尚科信息技▲術▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＳＨＡＮＧＫＥ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】８ＴＨ ＦＬＯＯＲ ＯＦ ＢＵＩＬＤＩＮＧ， ＮＯ． ７６， ＺＨＩＣＨＵＮ ＲＯＡＤ， ＨＡＩＤＩＡＮ ＤＩＳＴＲＩＣＴ， ＢＥＩＪＩＮＧ １０００８６， ＰＥＯＰＬＥ’Ｓ ＲＥＰＵＢＬＩＣ ＯＦ ＣＨＩＮＡ

(73)【特許権者】

【識別番号】517241916

【氏名又は名称】北京京東世紀貿易有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＣＥＮＴＵＲＹ ＴＲＡＤＩＮＧ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２０１， ２／Ｆ， Ｂｌｏｃｋ Ｃ， Ｎｏ．１８， Ｋｅｃｈｕａｎｇ １１ｔｈ Ｓｔｒｅｅｔ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】▲趙▼ 晨旭

(72)【発明者】

【氏名】傅 天宇

(72)【発明者】

【氏名】石 ▲海▼林

【審査官】高野 美帆子

(56)【参考文献】

【文献】中国特許出願公開第１０８２２９１２０（ＣＮ，Ａ）

【文献】国際公開第２０１８／０７９０３１（ＷＯ，Ａ１）

【文献】“Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks”，Chelsea Finn、Pieter Abbeel、Sergey Levine，2017年

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

偽造された顔認識方法であって、
新しいカテゴリの偽造された顔画像の小さなサンプルセットを取得するステップであって、前記新しいカテゴリが、顔の偽造防止モデルが事前トレーニングされたときに使用された既存のカテゴリと異なり、事前トレーニング前の前記顔の偽造防止モデルの初期パラメータが、ディープラーニングトレーニング方法に従って決定される、ステップと、
新しいカテゴリの偽造された顔画像の前記小さなサンプルセットを用いて事前にトレーニングされた顔の偽造防止モデルのパラメータを更新するステップであって、事前トレーニングされた前記顔の偽造防止モデルの前記パラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて決定され、事前にトレーニングされたパラメータの前記複数のセットが複数のタスクに基づいてそれぞれ決定され、各タスクが、1つまたは複数の既存のカテゴリの各々の偽造された顔画像の小さなサンプルセットと、1つまたは複数の既存のカテゴリの各々の実際の顔画像の小さなサンプルセットとを含む、ステップと、
パラメータ更新の後に前記顔の偽造防止モデルに認識されるべき顔画像を入力して、前記認識されるべき顔画像が偽造された顔画像であるかどうかを判定するステップと
を備える、認識方法。

【請求項2】

新しいカテゴリの偽造された顔画像の前記小さなサンプルセットを用いて事前にトレーニングされた前記顔の偽造防止モデルのパラメータを更新するステップが、
前記新しいカテゴリの偽造された顔画像の前記小さなサンプルセット内の偽造された顔画像と、前記偽造された顔画像の各々に対応する分類ラベルとに基づいて、前記顔の偽造防止モデルの前記パラメータを更新するステップを含み、
前記顔の偽造防止モデルが分類モデルである場合、分類ラベルは、前記分類ラベルに対応する偽造された顔画像のカテゴリをラベル付けするように構成された第1の分類ラベルであり、前記カテゴリが、偽造方法またはモデルの少なくとも一つを含み、あるいは、
前記顔の偽造防止モデルが回帰モデルである場合、分類ラベルは、前記分類ラベルに対応する偽造された顔画像を正のサンプルまたは負のサンプルとしてラベル付けするように構成された第2の分類ラベルである、請求項1に記載の認識方法。

【請求項3】

前記新しいカテゴリの偽造された顔画像の前記小さなサンプルセット内の偽造された顔画像と、前記偽造された顔画像の各々に対応する分類ラベルとに基づいて、前記顔の偽造防止モデルの前記パラメータを更新するステップが、
前記新しいカテゴリの偽造された顔画像の前記小さなサンプルセット内の偽造された顔画像を、1つのタスクのためのサポートサンプル画像として前記顔の偽造防止モデルに入力するステップと、
前記偽造された顔画像の各々についての顔の偽造防止モデルの出力値と、前記偽造された顔画像の各々に対応する分類ラベルとに基づいて前記顔の偽造防止モデルの前記パラメータの勾配を決定するステップと、
前記顔の偽造防止モデルの前記パラメータの前記勾配に基づいて、前記顔の偽造防止モデルの前記パラメータを更新するステップと
を含む、請求項2に記載の認識方法。

【請求項4】

前記顔の偽造防止モデルが分類モデルである場合、前記偽造された顔画像の各々についての前記偽造防止モデルの前記出力値が、前記偽造された顔画像の各々がそれぞれ異なるカテゴリに属する確率であり、
前記偽造された顔画像の各々についての顔の偽造防止モデルの出力値と、前記偽造された顔画像の各々に対応する分類ラベルとに基づいて前記顔の偽造防止モデルの前記パラメータの勾配を決定するステップが、
前記偽造された顔画像の各々がそれぞれ異なるカテゴリに属する前記確率と、前記偽造された顔画像の各々に対応する前記第1の分類ラベルとに基づいて、前記顔の偽造防止モデルの前記パラメータの第1の勾配を決定するステップを備え、あるいは、
前記顔の偽造防止モデルが回帰モデルである場合、前記偽造された顔画像の各々についての前記偽造防止モデルの前記出力値が、前記偽造された顔画像の各々が正のサンプルに属する確率であり、
前記偽造された顔画像の各々についての顔の偽造防止モデルの出力値と、前記偽造された顔画像の各々に対応する分類ラベルとに基づいて前記顔の偽造防止モデルの前記パラメータの勾配を決定するステップが、
前記偽造された顔画像の各々が正のサンプルに属する前記確率と、前記偽造された顔画像の各々に対応する前記第2の分類ラベルとに基づいて、前記顔の偽造防止モデルの前記パラメータの第2の勾配を決定するステップを備える、請求項3に記載の認識方法。

【請求項5】

前記既存のカテゴリの偽造された顔画像と前記既存のカテゴリの実際の顔画像とを複数のタスクに分けるステップであって、
各タスクが複数の方法を有し、各方法が、1つのモデルの複数の実際の顔画像または既存のカテゴリの複数の偽造された顔画像を有し、各タスクが第1の事前設定された数の既存のカテゴリを有し、
各方法が、サポートサンプル画像から構成される小さなサンプルセットとして、第2の事前設定された数の実際の顔画像または偽造された顔画像と、クエリサンプル画像として、第3の事前設定された数の実際の顔画像または偽造された顔画像とを備える、ステップと、
第4の事前設定された数のタスクを選択して毎回バッチを形成するステップであって、前記顔の偽造防止モデルの事前にトレーニングされたパラメータの前記複数のセットが、前記バッチの前記複数のタスクに基づいてそれぞれ決定され、前記顔の偽造防止モデルの前記パラメータが、事前にトレーニングされたパラメータの前記複数のセットに基づいて再決定される、ステップと、
前記顔の偽造防止モデルが収束条件に達するまで、前記顔の偽造防止モデルの前記事前トレーニングを完了するステップとをさらに備える、請求項1に記載の認識方法。

【請求項6】

前記顔の偽造防止モデルの事前にトレーニングされたパラメータの前記複数のセットが、前記バッチの前記複数のタスクに基づいてそれぞれ決定され、前記顔の偽造防止モデルの前記パラメータが、事前にトレーニングされたパラメータの前記複数のセットに基づいて再決定されることが、
各サポートサンプル画像および各サポートサンプル画像に対応する分類ラベルに基づいて前記タスクに対応する第3の勾配を決定し、前記バッチ内の各タスクについての前記第3の勾配に基づいて前記顔の偽造防止モデルのパラメータの一つのセットを決定することと、
前記バッチ内の前記複数のタスクの各々によって決定されるパラメータのセット、前記複数のタスクに対応する前記クエリサンプル画像、および前記クエリサンプル画像の各々に対応する前記分類ラベルに基づいて前記バッチに対応する第4の勾配を決定することと、
前記バッチに対応する前記第4の勾配に基づいて、前記顔の偽造防止モデルの前記パラメータを再決定することとを含む、請求項5に記載の認識方法。

【請求項7】

前記顔の偽造防止モデルが分類モデルである場合、前記分類ラベルの各々が、前記分類ラベルに対応する前記サポートサンプル画像のカテゴリをラベル付けするように構成された第1の分類ラベルであり、前記カテゴリが偽造方法またはモデルの少なくとも一つを含み、あるいは、
前記顔の偽造防止モデルが回帰モデルである場合、前記分類ラベルの各々が、前記分類ラベルに対応する前記サポートサンプル画像を正のサンプルまたは負のサンプルとしてラベル付けするように構成された第2の分類ラベルである、請求項6に記載の認識方法。

【請求項8】

異なる既存のカテゴリの偽造された顔画像が、偽造方法またはモデルの少なくとも一つにおいて異なり、前記偽造方法が、写真、ビデオ、またはマスクを含み、前記モデルが、深度モデル、近赤外線モデル、または赤緑青(RGB)モデルを含み、
前記異なるタスクの前記実際の顔画像は、同じモデルまたは異なるモデルを有し、
前記新しいカテゴリの偽造された顔画像が、偽造方法またはモデルの少なくとも一つ内の既存の画像と異なり、前記既存の画像が、前記既存のカテゴリの偽造された顔画像と、前記既存のカテゴリの実際の顔画像とを含む、請求項1～7のいずれか一項に記載の認識方法。

【請求項9】

偽造された顔認識デバイスであって、
新しいカテゴリの偽造された顔画像の小さなサンプルセットを取得するように構成された小さなサンプル取得モジュールであって、前記新しいカテゴリが、顔の偽造防止モデルが事前トレーニングされたときに使用された既存のカテゴリと異なり、事前トレーニング前の前記顔の偽造防止モデルの初期パラメータが、ディープラーニングトレーニング方法に従って決定される、小さなサンプル取得モジュールと、
新しいカテゴリの偽造された顔画像の前記小さなサンプルセットを用いて事前にトレーニングされた顔の偽造防止モデルのパラメータを更新するように構成されたモデル調整モジュールであって、事前トレーニングされた前記顔の偽造防止モデルの前記パラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて決定され、事前にトレーニングされたパラメータの前記複数のセットが複数のタスクに基づいてそれぞれ決定され、各タスクが、1つまたは複数の既存のカテゴリの各々の偽造された顔画像の小さなサンプルセットと、1つまたは複数の既存のカテゴリの各々の実際の顔画像の小さなサンプルセットとを含む、モデル調整モジュールと、
パラメータ更新の後に前記顔の偽造防止モデルに認識されるべき顔画像を入力して、前記認識されるべき顔画像が偽造された顔画像であるかどうかを判定するように構成された顔認識モジュールと
を備える、認識デバイス。

【請求項10】

顔の偽造防止モデルのトレーニング方法であって、
既存のカテゴリの偽造された顔画像および前記既存のカテゴリの実際の顔画像を複数のタスクに分けるステップであって、各タスクが、1つまたは複数の既存のカテゴリの各々の偽造された顔画像の小さなサンプルセットと、1つまたは複数の既存のカテゴリの各々の実際の顔画像の小さなサンプルセットとを含む、ステップと、
前記複数のタスクを使用して前記顔の偽造防止モデルを事前トレーニングして、前記顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットをそれぞれ決定するステップであって、事前トレーニング前の前記顔の偽造防止モデルの初期パラメータが、ディープラーニングトレーニング方法に従って決定される、ステップと、
前記事前にトレーニングされたパラメータの前記複数のセットに基づいて、事前にトレーニングされた前記顔の偽造防止モデルのパラメータを決定するステップと、
新しいカテゴリの偽造された顔画像の小さなサンプルセットを取得するステップであって、前記新しいカテゴリが、前記顔の偽造防止モデルが事前トレーニングされたときに使用された既存のカテゴリと異なる、ステップと、
新しいカテゴリの偽造された顔画像の前記小さなサンプルセットを用いて事前にトレーニングされた前記顔の偽造防止モデルのパラメータを更新するステップと
を備える、トレーニング方法。

【請求項11】

各タスクが複数の方法を備え、各方法が、1つのモデルの複数の実際の顔画像または既存のカテゴリの複数の偽造された顔画像を有し、各タスクが、第1の事前設定された数の既存のカテゴリを有し、
各方法が、サポートサンプル画像から構成された小さなサンプルセットとして、第2の事前設定された数の実際の顔画像または偽造された顔画像を有し、クエリサンプル画像として第3の事前設定された数の実際の顔画像または偽造された顔画像を有し、
前記複数のタスクを使用して前記顔の偽造防止モデルを事前トレーニングして、前記顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットをそれぞれ決定するステップおよび前記事前にトレーニングされたパラメータの前記複数のセットに基づいて、事前にトレーニングされた前記顔の偽造防止モデルのパラメータを決定するステップが、
第4の事前設定された数のタスクを選択して毎回バッチを形成するステップであって、前記顔の偽造防止モデルの事前にトレーニングされたパラメータの前記複数のセットが、前記バッチの前記複数のタスクに基づいてそれぞれ決定され、前記顔の偽造防止モデルの前記パラメータが、事前にトレーニングされたパラメータの前記複数のセットに基づいて再決定される、ステップと、
前記顔の偽造防止モデルが収束条件に達するまで、前記顔の偽造防止モデルの事前トレーニングを完了するステップとを備える、請求項10に記載のトレーニング方法。

【請求項12】

前記顔の偽造防止モデルの事前にトレーニングされたパラメータの前記複数のセットが、前記バッチの前記複数のタスクに基づいてそれぞれ決定され、前記顔の偽造防止モデルの前記パラメータが、事前にトレーニングされたパラメータの前記複数のセットに基づいて再決定されることが、
各サポートサンプル画像および各サポートサンプル画像に対応する分類ラベルに基づいて前記タスクに対応する第3の勾配を決定し、前記バッチ内の各タスクに対する前記第3の勾配に基づいて前記顔の偽造防止モデルのパラメータの1つのセットを決定することと、
前記バッチ内の前記複数のタスクの各々によって決定されたパラメータのセットと、前記複数のタスクに対応する前記クエリサンプル画像と、前記クエリサンプル画像の各々に対応する前記分類ラベルとに基づいて前記バッチに対応する第4の勾配を決定することと、
前記バッチに対応する前記第4の勾配に基づいて前記顔の偽造防止モデルの前記パラメータを再決定することとを備える、請求項11に記載のトレーニング方法。

【請求項13】

メモリと、
前記メモリに結合されたプロセッサとを備え、前記プロセッサは、前記メモリに格納された命令に基づいて請求項1～8のいずれか一項に記載の偽造された顔認識方法を実施するように構成される、偽造された顔認識デバイス。

【請求項14】

顔の偽造防止モデルのトレーニングデバイスであって、
メモリと、
前記メモリに結合されたプロセッサとを備え、前記プロセッサが、前記メモリに格納された命令に基づいて請求項10～12のいずれか一項に記載の顔の偽造防止モデルのトレーニング方法を実施するように構成される、顔の偽造防止モデルのトレーニングデバイス。

【請求項15】

プロセッサによる実行時に、請求項1～8にいずれか一項に記載の方法、または請求項10～12のいずれか一項に記載の顔の偽造防止モデルのトレーニング方法を実施するコンピュータプログラムを格納した非一時的コンピュータ可読記憶媒体。

【請求項16】

プロセッサによる実行時に、前記プロセッサに、請求項1～8にいずれか一項に記載の偽造された顔認識方法、または請求項10～12のいずれか一項に記載の顔の偽造防止モデルのトレーニング方法を実行させる命令を備えた、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2019年5月10日出願の中国特許出願第201910387689.0号に基づき、該出願の優先権を主張するものであり、その全体が本明細書に参照により組み込まれる。

【0002】

本開示は、コンピュータ技術の分野に関し、特に、偽造された顔の認識方法、デバイス、および非一時的コンピュータ可読記憶媒体に関する。

【背景技術】

【0003】

顔の偽造防止のための認識とは、偽造された顔の特徴を効果的に識別することを指す。例えば、顔認識システムでは、顔認識システムを攻撃するために、いくつかの偽造された顔(ビデオ、写真、およびマスクなど)が生み出されることがある。顔の偽造防止のための認識は、偽造された顔の特徴を識別することを目的とする。一般に、顔認識システムでは、ユーザは、生体検出などとも呼ばれる、顔の偽造防止のための認識の検出にパスする必要がある。

【0004】

発明者に既知の偽造された顔の認識方法は、既知のカテゴリの大量の偽造された顔画像に基づいて、分類モデルについてディープラーニング訓練を実行することである。訓練された分類モデルは、偽造された顔が訓練のための偽造された顔画像と同じカテゴリに属することを認識し得る。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示のいくつかの実施形態では、偽造された顔認識方法が提供される。方法は、新しいカテゴリの偽造された顔画像の小さなサンプルセットを取得するステップであって、新しいカテゴリが、顔の偽造防止モデルが事前トレーニングされたときに使用された既存のカテゴリと異なる、ステップと、新しいカテゴリの偽造された顔画像の小さなサンプルセットを用いて事前にトレーニングされた顔の偽造防止モデルのパラメータを更新するステップであって、事前トレーニングされた顔の偽造防止モデルのパラメータが、複数のタスクに基づいてそれぞれ決定された事前にトレーニングされたパラメータの複数のセットに基づいて決定され、各タスクが、1つまたは複数の既存のカテゴリの各々の偽造された顔画像の小さなサンプルセットと、1つまたは複数の既存のカテゴリの各々の実際の顔画像の小さなサンプルセットとを含む、ステップと、パラメータ更新の後に顔の偽造防止モデルに認識されるべき顔画像を入力して、認識されるべき顔画像が偽造された顔画像であるかどうかを判定するステップとを含む。

【0006】

いくつかの実施形態では、方法は、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の偽造された顔画像と、偽造された顔画像の各々に対応する分類ラベルとに基づいて、顔の偽造防止モデルのパラメータを更新するステップを含み、顔の偽造防止モデルが分類モデルである場合、分類ラベルは、分類ラベルに対応する偽造された顔画像のカテゴリをラベル付けするように構成された第1の分類ラベルであり、カテゴリが、偽造方法またはモデルの少なくとも一つを含み、あるいは、顔の偽造防止モデルが回帰モデルである場合、分類ラベルは、分類ラベルに対応する偽造された顔画像を正のサンプルまたは負のサンプルとしてラベル付けするように構成された第2の分類ラベルである。

【0007】

いくつかの実施形態では、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の偽造された顔画像と、偽造された顔画像の各々に対応する分類ラベルとに基づいて、顔の偽造防止モデルのパラメータを更新するステップが、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の偽造された顔画像を、1つのタスクのためのサポートサンプル画像として顔の偽造防止モデルに入力するステップと、偽造された顔画像の各々についての顔の偽造防止モデルの出力値と、偽造された顔画像の各々に対応する分類ラベルとに基づいて顔の偽造防止モデルのパラメータの勾配を決定するステップと、顔の偽造防止モデルのパラメータの勾配に基づいて、顔の偽造防止モデルのパラメータを更新するステップとを含む。

【0008】

いくつかの実施形態では、顔の偽造防止モデルが分類モデルである場合、偽造された顔画像の各々についての偽造防止モデルの出力値が、偽造された顔画像の各々がそれぞれ異なるカテゴリに属する確率であり、偽造された顔画像の各々についての顔の偽造防止モデルの出力値と、偽造された顔画像の各々に対応する分類ラベルとに基づいて顔の偽造防止モデルのパラメータの勾配を決定するステップが、偽造された顔画像の各々がそれぞれ異なるカテゴリに属する確率と、偽造された顔画像の各々に対応する第1の分類ラベルとに基づいて、顔の偽造防止モデルのパラメータの第1の勾配を決定するステップを備え、あるいは、顔の偽造防止モデルが回帰モデルである場合、偽造された顔画像の各々についての偽造防止モデルの出力値が、偽造された顔画像の各々が正のサンプルに属する確率であり、偽造された顔画像の各々についての顔の偽造防止モデルの出力値と、偽造された顔画像の各々に対応する分類ラベルとに基づいて顔の偽造防止モデルのパラメータの勾配を決定するステップが、偽造された顔画像の各々が正のサンプルに属する確率と、偽造された顔画像の各々に対応する第2の分類ラベルとに基づいて、顔の偽造防止モデルのパラメータの第2の勾配を決定するステップを備える。

【0009】

いくつかの実施形態では、認識方法はさらに、既存のカテゴリの偽造された顔画像と既存のカテゴリの実際の顔画像とを複数のタスクに分けるステップであって、各タスクが複数の方法を有し、各方法が、1つのモデルの複数の実際の顔画像または既存のカテゴリの複数の偽造された顔画像を有し、各タスクが第1の事前設定された数の既存のカテゴリを有し、各方法が、サポートサンプル画像から構成される小さなサンプルセットとして、第2の事前設定された数の実際の顔画像または偽造された顔画像と、クエリサンプル画像として、第3の事前設定された数の実際の顔画像または偽造された顔画像とを備える、ステップと、第4の事前設定された数のタスクを選択して毎回バッチを形成するステップであって、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、バッチの複数のタスクに基づいてそれぞれ決定され、顔の偽造防止モデルのパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて再決定される、ステップと、顔の偽造防止モデルが収束条件に達するまで、顔の偽造防止モデルの事前トレーニングを完了するステップとをさらに備える。

【0010】

いくつかの実施形態では、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、バッチの複数のタスクに基づいてそれぞれ決定され、顔の偽造防止モデルのパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて再決定されることが、各サポートサンプル画像および各サポートサンプル画像に対応する分類ラベルに基づいてタスクに対応する第3の勾配を決定し、バッチ内の各タスクについての第3の勾配に基づいて顔の偽造防止モデルのパラメータの一つのセットを決定することと、バッチ内の複数のタスクの各々によって決定されるパラメータのセット、複数のタスクに対応するクエリサンプル画像、およびクエリサンプル画像の各々に対応する分類ラベルに基づいてバッチに対応する第4の勾配を決定することと、バッチに対応する第4の勾配に基づいて、顔の偽造防止モデルのパラメータを再決定することとを含む。

【0011】

いくつかの実施形態では、顔の偽造防止モデルが分類モデルである場合、分類ラベルの各々が、分類ラベルに対応するサポートサンプル画像のカテゴリをラベル付けするように構成された第1の分類ラベルであり、カテゴリが偽造方法またはモデルの少なくとも一つを含む。あるいは、顔の偽造防止モデルが回帰モデルである場合、分類ラベルの各々が、分類ラベルに対応するサポートサンプル画像を正のサンプルまたは負のサンプルとしてラベル付けするように構成された第2の分類ラベルである。

【0012】

いくつかの実施形態では、事前トレーニング前の顔の偽造防止モデルの初期パラメータが、ディープラーニングトレーニング方法に従って決定される。

【0013】

いくつかの実施形態では、異なる既存のカテゴリの偽造された顔画像が、偽造方法またはモデルの少なくとも一つにおいて異なり、偽造方法が、複数の写真、ビデオ、またはマスクを含み、モデルが、深度モデル、近赤外線モデル、または赤緑青(RGB)モデルの複数を含み、異なるタスクの実際の顔画像は、同じモデルまたは異なるモデルを有し、新しいカテゴリの偽造された顔画像が、偽造方法またはモデルの少なくとも一つ内の既存の画像と異なり、既存の画像が、既存のカテゴリの偽造された顔画像と、既存のカテゴリの実際の顔画像とを含む。

【0014】

本開示の他の実施形態では、偽造された顔認識デバイスが提供される。デバイスは、新しいカテゴリの偽造された顔画像の小さなサンプルセットを取得するように構成された小さなサンプル取得モジュールであって、新しいカテゴリが、顔の偽造防止モデルが事前トレーニングされたときに使用された既存のカテゴリと異なる、小さなサンプル取得モジュールと、新しいカテゴリの偽造された顔画像の小さなサンプルセットを用いて事前にトレーニングされた顔の偽造防止モデルのパラメータを更新するように構成されたモデル調整モジュールであって、事前トレーニングされた顔の偽造防止モデルのパラメータが、複数のタスクに基づいてそれぞれ決定された事前にトレーニングされたパラメータの複数のセットに基づいて決定され、各タスクが、1つまたは複数の既存のカテゴリの各々の偽造された顔画像の小さなサンプルセットと、1つまたは複数の既存のカテゴリの各々の実際の顔画像の小さなサンプルセットとを含む、モデル調整モジュールと、パラメータ更新の後に顔の偽造防止モデルに認識されるべき顔画像を入力して、認識されるべき顔画像が偽造された顔画像であるかどうかを判定するように構成された顔認識モジュールとを備える。

【0015】

いくつかの実施形態では、モデル調整モジュールが、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の偽造された顔画像と、偽造された顔画像の各々に対応する分類ラベルとに基づいて、顔の偽造防止モデルのパラメータを更新するように構成され、顔の偽造防止モデルが分類モデルである場合、分類ラベルは、分類ラベルに対応する偽造された顔画像のカテゴリをラベル付けするように構成された第1の分類ラベルであり、カテゴリが、偽造方法またはモデルの少なくとも一つを含み、あるいは、顔の偽造防止モデルが回帰モデルである場合、分類ラベルは、分類ラベルに対応する偽造された顔画像を正のサンプルまたは負のサンプルとしてラベル付けするように構成された第2の分類ラベルである。

【0016】

いくつかの実施形態では、モデル調整モジュールが、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の偽造された顔画像を、1つのタスクのためのサポートサンプル画像として顔の偽造防止モデルに入力し、偽造された顔画像の各々についての顔の偽造防止モデルの出力値と、偽造された顔画像の各々に対応する分類ラベルとに基づいて顔の偽造防止モデルのパラメータの勾配を決定し、顔の偽造防止モデルのパラメータの勾配に基づいて、顔の偽造防止モデルのパラメータを更新するように構成される。

【0017】

いくつかの実施形態では、顔の偽造防止モデルが分類モデルである場合、偽造された顔画像の各々についての偽造防止モデルの出力値が、偽造された顔画像の各々がそれぞれ異なるカテゴリに属する確率であり、モデル調整モジュールが、偽造された顔画像の各々がそれぞれ異なるカテゴリに属する確率と、偽造された顔画像の各々に対応する第1の分類ラベルとに基づいて、顔の偽造防止モデルのパラメータの第1の勾配を決定するように構成される。

【0018】

あるいは、顔の偽造防止モデルが回帰モデルである場合、偽造された顔画像の各々についての偽造防止モデルの出力値が、偽造された顔画像の各々が正のサンプルに属する確率であり、モデル調整モジュールが、偽造された顔画像の各々が正のサンプルに属する確率と、偽造された顔画像の各々に対応する第2の分類ラベルとに基づいて、顔の偽造防止モデルのパラメータの第2の勾配を決定するように構成される。

【0019】

いくつかの実施形態では、認識デバイスは、既存のカテゴリの偽造された顔画像と既存のカテゴリの実際の顔画像とを複数のタスクに分けることであって、各タスクが複数の方法を有し、各方法が、1つのモデルの複数の実際の顔画像または既存のカテゴリの複数の偽造された顔画像を有し、各タスクが第1の事前設定された数の既存のカテゴリを有し、各方法が、サポートサンプル画像から構成される小さなサンプルセットとして、第2の事前設定された数の実際の顔画像または偽造された顔画像と、クエリサンプル画像として、第3の事前設定された数の実際の顔画像または偽造された顔画像とを備える、ことと、第4の事前設定された数のタスクを選択して毎回バッチを形成することであって、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、バッチの複数のタスクに基づいてそれぞれ決定され、顔の偽造防止モデルのパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて再決定される、ことと、顔の偽造防止モデルが収束条件に達するまで、顔の偽造防止モデルの事前トレーニングを完了することとを行うように構成される事前トレーニングモジュールをさらに備える。

【0020】

いくつかの実施形態では、事前トレーニングモジュールが、各サポートサンプル画像および各サポートサンプル画像に対応する分類ラベルに基づいてタスクに対応する第3の勾配を決定し、バッチ内の各タスクについての第3の勾配に基づいて顔の偽造防止モデルのパラメータの一つのセットを決定することと、バッチ内の複数のタスクの各々によって決定されるパラメータのセット、複数のタスクに対応するクエリサンプル画像、およびクエリサンプル画像の各々に対応する分類ラベルに基づいてバッチに対応する第4の勾配を決定することと、バッチに対応する第4の勾配に基づいて、顔の偽造防止モデルのパラメータを再決定することを行うように構成される。

【0021】

いくつかの実施形態では、顔の偽造防止モデルが分類モデルである場合、分類ラベルの各々が、分類ラベルに対応するサポートサンプル画像のカテゴリをラベル付けするように構成された第1の分類ラベルであり、カテゴリが偽造方法またはモデルの少なくとも一つを含み、あるいは、顔の偽造防止モデルが回帰モデルである場合、分類ラベルの各々が、分類ラベルに対応するサポートサンプル画像を正のサンプルまたは負のサンプルとしてラベル付けするように構成された第2の分類ラベルである。

【0022】

いくつかの実施形態では、事前トレーニング前の顔の偽造防止モデルの初期パラメータが、ディープラーニングトレーニング方法に従って決定される。

【0023】

いくつかの実施形態では、異なる既存のカテゴリの偽造された顔画像が、偽造方法またはモデルの少なくとも一つにおいて異なり、偽造方法が、複数の写真、ビデオ、またはマスクを含み、モデルが、深度モデル、近赤外線モデル、または赤緑青(RGB)モデルの複数を含み、異なるタスクの実際の顔画像は、同じモデルまたは異なるモデルを有し、新しいカテゴリの偽造された顔画像が、偽造方法またはモデルの少なくとも一つ内の既存の画像と異なり、既存の画像が、既存のカテゴリの偽造された顔画像と、既存のカテゴリの実際の顔画像とを含む。

【0024】

本開示のさらに別の実施形態では、偽造された顔認識デバイスが提供される。デバイスは、メモリと、メモリに結合されたプロセッサとを備え、プロセッサは、メモリに格納された命令に基づいて上述の実施形態のいずれかに記載の偽造された顔認識方法を実施するように構成される。

【0025】

本開示のさらに別の実施形態では、非一時的コンピュータ可読記憶媒体が提供される。記憶媒体は、プロセッサによる実行時に、上述の実施形態のいずれかに記載の方法または顔の偽造防止モデルのトレーニング方法を実施するコンピュータプログラムを格納している。

【0026】

本開示のさらに他の実施形態では、顔の偽造防止モデルのトレーニング方法が提供される。顔の偽造防止モデルのトレーニング方法は、既存のカテゴリの偽造された顔画像および既存のカテゴリの実際の顔画像を複数のタスクに分けるステップであって、各タスクが、1つまたは複数の既存のカテゴリの各々の偽造された顔画像の小さなサンプルセットと、1つまたは複数の既存のカテゴリの各々の実際の顔画像の小さなサンプルセットとを含む、ステップと、複数のタスクを使用して顔の偽造防止モデルを事前トレーニングして、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットをそれぞれ決定するステップと、事前にトレーニングされたパラメータの複数のセットに基づいて、事前にトレーニングされた顔の偽造防止モデルのパラメータを決定するステップと、新しいカテゴリの偽造された顔画像の小さなサンプルセットを取得するステップであって、新しいカテゴリが、顔の偽造防止モデルが事前トレーニングされたときに使用された既存のカテゴリと異なる、ステップと、新しいカテゴリの偽造された顔画像の小さなサンプルセットを用いて事前にトレーニングされた顔の偽造防止モデルのパラメータを更新するステップとを備える。

【0027】

いくつかの実施形態では、各タスクが複数の方法を備え、各方法が、1つのモデルの複数の実際の顔画像または既存のカテゴリの複数の偽造された顔画像を有し、各タスクが、第1の事前設定された数の既存のカテゴリを有し、各方法が、サポートサンプル画像から構成された小さなサンプルセットとして、第2の事前設定された数の実際の顔画像または偽造された顔画像を有し、クエリサンプル画像として第3の事前設定された数の実際の顔画像または偽造された顔画像を有し、複数のタスクを使用して顔の偽造防止モデルを事前トレーニングして、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットをそれぞれ決定するステップおよび事前にトレーニングされたパラメータの複数のセットに基づいて、事前にトレーニングされた顔の偽造防止モデルのパラメータを決定するステップが、第4の事前設定された数のタスクを選択して毎回バッチを形成するステップであって、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、バッチの複数のタスクに基づいてそれぞれ決定され、顔の偽造防止モデルのパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて再決定される、ステップと、顔の偽造防止モデルが収束条件に達するまで、顔の偽造防止モデルの事前トレーニングを完了するステップとを備える。

【0028】

いくつかの実施形態では、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、バッチの複数のタスクに基づいてそれぞれ決定され、顔の偽造防止モデルのパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて再決定されることが、各サポートサンプル画像および各サポートサンプル画像に対応する分類ラベルに基づいてタスクに対応する第3の勾配を決定し、バッチ内の各タスクに対する第3の勾配に基づいて顔の偽造防止モデルのパラメータの1つのセットを決定することと、バッチ内の複数のタスクの各々によって決定されたパラメータのセットと、複数のタスクに対応するクエリサンプル画像と、クエリサンプル画像の各々に対応する分類ラベルとに基づいてバッチに対応する第4の勾配を決定することと、バッチに対応する第4の勾配に基づいて顔の偽造防止モデルのパラメータを再決定することとを備える。

【0029】

本開示のさらに別の実施形態では、顔の偽造防止モデルのトレーニングデバイスが提供される。デバイスは、メモリと、メモリに結合されたプロセッサとを備え、プロセッサが、メモリに格納された命令に基づいて上述の実施形態のいずれかに従う顔の偽造防止モデルのトレーニング方法を実施するように構成される。

【0030】

本開示のさらに別の実施形態では、コンピュータプログラムが提供される。コンピュータプログラムは、プロセッサによる実行時に、プロセッサに、顔の偽造防止モデルのトレーニング方法に従う偽造された顔認識方法または上述の実施形態のいずれかに従う偽造された顔認識方法を実行させる命令を備える。

【0031】

本開示の他の特徴および利点は、添付の図面を参照して本開示の例示的な実施形態の以降の詳細な説明から明らかになるであろう。

【0032】

本開示のさらなる理解を提供する目的で本明細書に述べる添付の図面は、本出願の一部を構成する。本開示に示される実施形態ならびに図解は、本開示の説明を目的とするが、本開示について不適切な定義を構成するものではない。

【図面の簡単な説明】

【0033】

【図1】本開示のいくつかの実施形態による、偽造された顔の認識方法の概略のフローチャートである。

【図2】本開示の他の実施形態による、偽造された顔の認識方法の概略のフローチャートである。

【図3】本開示のいくつかの実施形態による、偽造された顔認識デバイスの概略の構造図である。

【図4】本開示のいくつかの他の実施形態による、偽造された顔認識デバイスの概略の構造図である。

【図5】本開示のさらに他の実施形態による、偽造された顔認識デバイスの構造の概略図である。

【発明を実施するための形態】

【0034】

本開示の実施形態の技術的解決策が、本開示の実施形態の添付の図面とともに、以降に明確におよび完全に説明されるであろう。明らかに、説明される実施形態は、実施形態の全てではなく、本開示の実施形態のいくつかに過ぎない。実際に単なる例示である少なくとも一つの説明の実施形態の以下の説明は、決して、本開示ならびにその適用または使用に関するいかなる限定としても機能してはならない。本開示の実施形態に基づいて、発明の努力が含まれないという前提で当業者によって得られた他のすべての実施形態は、本開示の保護範囲に含まれるものとする。

【0035】

発明者は、既存の偽造された顔認識方法において、訓練されたモデルが正確に偽造された顔を認識できるように、モデルを訓練するための多数のサンプルを使用する必要があることが分かっている。新しいカテゴリの偽造された顔画像が出現すると、偽造された顔画像のサンプル数が非常に少ない場合、再開したモデルの訓練を達成することは不可能であり、その結果、モデルは新しいカテゴリの偽造された顔をタイムリーに認識できず、新しいカテゴリの偽造された顔の攻撃をタイムリーに効果的に防ぐことが不可能になる。

【0036】

本開示により解決されるべき一つの技術的課題は、新しいカテゴリの偽造された顔画像のタイムリーで効果的な認識を実現し、少数の新しいカテゴリの偽造された顔画像が現れた場合に顔認識システムのセキュリティを向上する方法である。

【0037】

モデルが新しいカテゴリの偽造された顔をタイムリーに効果的に認識できず、新しいカテゴリの偽造された顔画像が出現し、かつサンプルが非常に少ない場合に、新しいカテゴリの偽造された顔からの攻撃をタイムリーにおよび効果的に防止できないという課題を解決するために、本解決策が提供される。本開示のいくつかの実施形態による偽造された顔の認識方法が、図1とともに以下に説明される。

【0038】

図1は、本開示のいくつかの実施形態による偽造された顔の認識方法の概略的なフローチャートを示す。図1に示すように、この実施形態の方法はステップS102～S106を含む。

【0039】

ステップS102では、新しいカテゴリの偽造された顔画像の小さいサンプルセットが取得される。

【0040】

本開示では、小さいサンプルセット内の画像数はしきい値より少ない。このしきい値は、顔偽造防止モデルが、ディープラーニングトレーニング方法に従って、小さいサンプルセットを用いて更新され、モデルが収束することが不可能であることを認めるものである。しきい値は、例えば、10～30であるが、リストされる例に制限されない。新しいカテゴリの偽造された顔画像は、顔偽造防止モデルが事前にトレーニングされているときに使用した偽造された顔画像のカテゴリとは異なるカテゴリに属し、顔偽造防止モデルが事前にトレーニングされているときに使用した偽造された顔のカテゴリは、既存のカテゴリと呼ばれ得る。

【0041】

異なる既存のカテゴリの偽装された顔画像は、偽造方法またはモデルの少なくとも1つで異なる。偽造方法は、例えば、写真、ビデオ、およびマスクを含み、モデルは、例えば、深度(Depth)モデル、近赤外線(NIR)モデル、および赤緑青(RGB)モデルを含む。例えば、写真の偽造方法および深度モデルによる偽造された顔画像は、写真の偽造方法およびRGBモデルによる偽造された顔画像と異なるカテゴリに属し、写真の偽造方法および深度モデルによる偽造された顔画像はまた、ビデオの偽造方法およびRGBモデルによる偽造された顔画像と異なるカテゴリに属する。マルチモデル(マルチ-モデル)画像は、同じ物体の異なる属性を記述するための異なる技術手段によって収集された画像を指す。例えば、ある物体に対して、カメラによってキャプチャされた色画像およびレーザレーダによってスキャンされた深度画像は、物体の2つのモデル画像と呼ばれる。新しいカテゴリの偽造された顔画像は、偽造方法またはモデルの少なくとも一つの既存の画像と異なり、既存の画像は、既存のカテゴリの偽造された顔画像および実際の顔画像を含む。

【0042】

ステップS104では、事前にトレーニングされた顔の偽造防止モデルのパラメータが、新しいカテゴリの偽造された顔画像の小さなサンプルセットを用いて更新される。事前にトレーニングされた顔の偽造防止モデルのパラメータが、マルチタスクに基づいてそれぞれ決定された顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットである事前にトレーニングされたパラメータの複数のセットに基づいて決定され、各タスクが、1つまたは複数の既存のカテゴリの各々の偽造された顔画像の小さなサンプルセットと、実際の顔画像の小さなサンプルセットとを含む。

【0043】

いくつかの実施形態では、顔の偽造防止モデルのパラメータが、新しいカテゴリの偽造された顔画像の小さなサンプルセットの複数の偽造された顔画像と、偽造された顔画像の各々に対応する分類ラベルとに基づいて更新される。顔の偽造防止モデルは、分類モデルまたは回帰モデルであってよい。顔の偽造防止モデルが分類モデルである場合、各分類ラベルは、分類ラベルに対応する偽造された顔画像のカテゴリをラベル付けするように構成された第1の分類ラベルであり、カテゴリは、偽造方法またはモデルの少なくとも一つを含む。代替的に、顔の偽造防止モデルが回帰モデルである場合、各分類ラベルは、正のサンプルまたは負のサンプルとして、分類ラベルに対応する偽造された顔画像をラベル付けするように構成された第2の分類ラベルである。第1の分類ラベルは、偽造方法または偽造された顔画像のモデルの少なくとも一つをラベル付けしてよい。異なる偽造方法および異なるモデルの画像の特徴を学習する必要がある場合、偽造方法およびモデルの両方がラベル付けされる。

【0044】

新しいカテゴリの偽造された顔画像の小さなサンプルセットの偽造された顔画像の各々は、事前にトレーニングされた顔の偽造防止モデルに入力され、顔の偽造防止モデルのパラメータの勾配が、出力値、偽造された顔画像の各々に対応する分類ラベル、および事前に設定された損失関数に基づいて決定され、事前にトレーニングされた顔の偽造防止モデルのパラメータが、勾配に基づいて更新される。顔の偽造防止モデルが分類モデルである場合、事前に設定された損失関数は、MSE(平均二乗誤差)損失関数であってよい。顔の偽造防止モデルが回帰モデルである場合、事前に設定された損失関数は、交差エントロピー損失関数であってよいが、これらは取り上げた例に限定されるものではない。勾配に基づいて事前にトレーニングされた顔の偽造防止モデルのパラメータを更新する方法は、本明細書に詳述されないが、要望に応じて既存の勾配降下法でもよい。

【0045】

いくつかの実施形態では、新しいカテゴリの偽造された顔画像の小さなサンプルセットの複数の偽造された顔画像は、1つのタスクのためのサポートサンプル画像として顔の偽造防止モデルに入力され、顔の偽造防止モデルのパラメータの勾配は、偽造された顔画像の各々に対する顔の偽造防止モデルの出力値と、偽造された顔画像の各々に対応する分類ラベルとに基づいて決定され、顔の偽造防止モデルのパラメータが、顔の偽造防止モデルのパラメータの勾配に基づいて更新される。

【0046】

タスクは、新しいカテゴリの偽造された顔画像の小さなサンプルセットに基づいて構築され得る。新しいカテゴリの偽造された顔画像の小さなサンプルセット内の偽造された顔画像は、タスクのサポートサンプル画像であってよい。このことは、後述する偽造された顔画像の事前トレーニング方法でタスクを設定する形式に類似している。構築されたタスクは、1つまたは複数の異なる新しいカテゴリを含み、新しいカテゴリの各々は、対応する小さなサンプルセットを有する。タスクはまた、実際の顔画像の小さなサンプルセットなどを有する。

【0047】

いくつかの実施形態では、顔の偽造防止モデルは分類モデルであり、顔の偽造防止モデルのパラメータは、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の偽造された顔画像の各々と、偽造された顔画像の各々に対応する第1の分類ラベルとに基づいて更新される。例えば、深度モデルによる実際の顔画像の第1の分類ラベルは0であり、マスクの偽造方法および深度モデルによる偽造された顔画像の第1の分類ラベルは1であり、新しいカテゴリの第1の分類ラベルは2である。

【0048】

偽造された顔画像および実際の顔画像は、適用シナリオに応じて第1の分類ラベルおよび第2の分類ラベルを用いてラベル付けされ得る。例えば、顔の偽造防止モデルのパラメータを更新するプロセスの間に、第1の分類ラベルを使用して、モデルの正確性を向上するために、損失関数の値や勾配の値などを計算することができる。顔の偽造防止モデルは画像を分類して、結果を出力するとき、実際の顔画像および偽造された顔画像の2つのカテゴリに画像を区別するだけで済む。画像の偽造防止モデルを事前トレーニングした後のテストプロセスの間に、第2の分類ラベルを使用して、画像が偽造されたものか実際のものかを認識することで、顔の偽造防止モデルの精度をテストできる。例えば、偽造された顔画像を表す第2の分類ラベルが0であり、実際の顔画像を表す第2の分類ラベルが1である。

【0049】

さらに、顔の偽造防止モデルが分類モデルである場合、偽造された顔画像の各々に対する顔の偽造防止モデルの出力値は、偽造された顔画像の各々がそれぞれ異なるカテゴリに属する確率であり、顔の偽造防止モデルのパラメータの第1の勾配は、偽造された顔画像の各々がそれぞれ異なるカテゴリに属する確率と、偽造された顔画像の各々に対応する第1の分類ラベルとに基づいて決定される。

【0050】

いくつかの実施形態では、顔の偽造防止モデルは回帰モデルであってよく、顔の偽造防止モデルのパラメータは、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の偽造された顔画像の各々と、偽造された顔画像の各々に対応する第2の分類ラベルとに基づいて更新される。回帰モデルは最終的に、入力画像に対する値を出力し、値に対応するしきい値が設定され得る。値がしきい値より高い場合、画像は実際の顔画像であることを意味し、値がしきい値より低い場合、画像は偽造された顔画像であることを意味する。したがって、回帰モデルは、画像の第2の分類ラベルを適用し得る。

【0051】

さらに、画像の偽造防止モデルが回帰モデルである場合、偽造された顔画像の各々に対する顔の偽造防止モデルの出力値は、偽造された顔画像の各々が正のサンプルに属する確率であり、第2の勾配は、偽造された顔画像の各々が正のサンプルに属する確率と、偽造された顔画像の各々に対応する第2の分類ラベルとに基づいて決定され、顔の偽造防止モデルのパラメータが、第2の勾配に基づいて更新される。

【0052】

事前にトレーニングされた顔の偽造防止モデルのパラメータは、次の方法でトレーニングされる：顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、複数のタスクに基づいてそれぞれ決定され、次いで、顔の偽造防止モデルのパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて再決定される。各タスクは、1つまたは複数の既存のカテゴリの各々の偽造された顔画像の小さなサンプルセットと、1つまたは複数の既存のカテゴリの各々の実際の顔画像の小さなサンプルセットとを含む。実際の顔画像はまた、異なるモデルの実際の顔画像に分けられる。各タスクは、1つまたは複数のモデルの各々の実際の顔画像の小さなサンプルセットを含み得る。異なるタスクにおける実際の顔画像は、同じモデルまたは異なるモデルを有する。すなわち、既存のカテゴリの偽造された顔画像と、既存のカテゴリ実際の顔画像とから構成された小さなサンプルセットが、複数のタスクに割り当てられる。異なる小さなサンプルセットを使用して、顔の偽造防止モデルをトレーニングし、トレーニング後に複数のトレーニング結果に基づいて顔の偽造防止モデルのパラメータを再決定する必要がある。異なる小さなサンプルセットによる顔の偽造防止モデルをトレーニングするプロセスは、モデル学習のプロセスであり、複数のトレーニング結果に基づいてパラメータを再決定するプロセスは、「学習方法を学習する」モデルのプロセスである。

【0053】

上述の2つのプロセスの後に、モデルは、小さなサンプルセットの特徴を学習するだけでなく、小さなサンプルセットの特徴を学習する方法を学習し、あるいは、偽造された顔と実際の顔とを区別する方法を単に学習する、または偽造された手掛かりを単に学習するのではなく、顔の偽造防止モデルは最終的に、「偽装された顔と実際の顔とを区別することを学習する方法」および「偽造された手掛かりを見つけることを学習する方法」を学習する。したがって、新しいカテゴリの偽造された顔画像が小さなサンプルセットに属する場合、顔の偽造防止モデルはまた、速い収束と、新しいカテゴリの偽造された顔の特徴の速い学習とを行い、効果的かつタイムリーに防御する。

【0054】

ステップS106では、認識されるべき顔画像が、パラメータが更新された後に顔の偽造防止モデルに入力され、認識されるべき顔画像が偽造された顔画像であるかどうかが判定される。

【0055】

認識されるべき顔画像は、いずれも顔の偽造防止モデルによって認識され得る新しいカテゴリまたは既存のカテゴリに属する偽造された顔画像であることがある。

【0056】

上述の実施形態の方法では、事前にトレーニングされた顔の偽造防止モデルのパラメータは、新しいカテゴリの偽造された顔画像の小さなサンプルセットを用いて直接更新され、その結果、更新された顔の偽造防止モデルは、既存のカテゴリおよび新しいカテゴリの様々な偽造された顔画像を認識できる。これは、事前にトレーニングされた顔の偽造防止モデルが、既存のカテゴリの偽造された顔画像の小さなサンプルセットと、実際の顔画像の小さなサンプルセットとによってトレーニングされ、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、それぞれ複数のタスクによって決定され、次いで、顔の偽造防止モデルのパラメータが、トレーニングプロセスの間に事前にトレーニングされたパラメータの複数のセットに基づいて再決定されるためである。このトレーニングプロセスは、2つのステージ：既存のカテゴリの偽造された顔画像と、既存のカテゴリの実際の顔画像の複数の小さなサンプルセットをそれぞれ用いて顔の偽造防止モデルをトレーニングする第1のステージであって、モデルが、小さなサンプルセットの特徴を学習するステージ、または、偽造された顔と実際の顔とを区別することを学習するステージである、第1のステージと、集約を実行するとともに、複数のトレーニング結果に基づいて顔の偽造防止モデルのパラメータを再更新する第2のステージであって、モデルが特徴の小さなサンプルセットを学習する方法を学習するか、偽造された顔と実際の顔とを区別することを学習する方法を学習するステージである、第2のステージとを含む。

【0057】

したがって、既存のカテゴリの偽造された顔画像と既存のカテゴリの実際の顔画像の小さなサンプルセットを有する複数のタスクを学習した後、顔の偽造防止モデルは、小さなサンプルセットを学習する方法を習得するか、偽造された顔と実際の顔を区別することを学習する方法、あるいは偽造された手掛かりを見つけることを学習する方法を習得し、適切な初期化パラメータを取得する。新しいカテゴリの偽造された顔画像が小さなサンプルセットの条件に関係する場合、顔の偽造防止モデルは更新される。以前に学習した速い学習能力による利点として、顔の偽造防止モデルはまた、新しいカテゴリの偽造された顔の特徴の速い収束と速い学習とを実行し、顔の偽造防止モデルのタイムリーで効果的な更新を実行でき、新しいカテゴリの偽造された顔画像をタイムリーに効果的に認識し、新しいカテゴリの偽造された顔からの攻撃に対してタイムリーに効果的に防御できる。

【0058】

本開示の他の実施形態によれば偽造された顔認識方法を図2とともに以下に説明する。この実施形態は、顔の偽造防止モデルの事前トレーニング方法および動作方法を含む。

【0059】

図2は、本開示の他の実施形態による偽造された顔認識方法の概略的なフローチャートを示す。図2に示すように、本実施形態の方法は、ステップS202～S214を含む。

【0060】

ステップS202では、顔の偽造防止モデルは、ディープラーニングトレーニング方法に従って、既存のカテゴリの偽造された顔画像と、既存のカテゴリの実際の顔画像とを用いて最初にトレーニングされ、事前トレーニング前の顔の偽造防止モデルの初期パラメータが決定される。

【0061】

まず、顔の偽造防止モデルは、既存のディープラーニングトレーニング方法を使用することによってトレーニングされ、次いで、後続の事前トレーニングプロセスに進み、その結果、2つのトレーニング後の顔の偽造防止モデルは、適切な区別と一般化を提供する。ディープラーニングトレーニング方法により、顔の偽造防止モデルは、より正確に画像を区別できるようになり、本開示の事前トレーニング方法により、モデルは、異なるカテゴリの偽造された顔画像を一般化でき、2つのトレーニング後の顔の偽造防止モデルは、新しいタスクへの素早い適応性を提供するだけでなく、既知のタスクまたは類似のタスクについての適切な区別を提示することもできる。

【0062】

ステップS204では、既存のカテゴリの偽造された顔画像と既存のカテゴリの実際の顔画像とは、複数のタスクに分割される。各タスクは、複数の方法を有し、各方法は、1つのモデルの複数の実際の顔画像または既存のカテゴリの複数の偽造された顔画像を有し、各方法は、サポートサンプル画像から構成された小さなサンプルセットとして、第2の事前設定された数の実際の顔画像または偽造された顔画像と、クエリサンプル画像として、第3の事前設定された数の実際の顔画像または偽造された顔画像とを有する。各タスクは、第1の事前設定された数の既存のカテゴリを有する。各既存のカテゴリは、偽造方法および/またはモデルを表す。顔の偽造防止モデルは単に、異なる偽造方法を用いて偽造された顔画像を認識するように構成され、既存のカテゴリは単に、偽造方法を表すように構成され、全ての偽造された顔画像および実際の顔画像は同じモデルに属する。顔の偽造防止モデルは、異なる偽造方法および異なるモデルの偽造された顔画像を認識するように構成される場合、各既存のカテゴリは、偽造方法またはモデルを表す。

【0063】

タスクは複数の方法を有する。各方法は、第2の事前設定された数のサポートサンプル画像と、第3の事前設定された数のクエリサンプル画像とを含む。各方法のサポートサンプル画像は、小さなサンプルセットを形成し、各タスクにおける各方法のサポートサンプル画像は、例えば10～30であるしきい値より少ない。事前トレーニングプロセスの間、サポートサンプル画像によって形成された小さなサンプルセット内の画像数は、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の画像数と同じであっても異なっていてもよい。サポートサンプル画像によって形成された小さなサンプルセット内の画像数が、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の画像数以下である場合、顔の偽造防止モデルは、事前トレーニングプロセスにおける新しいカテゴリの小さなサンプルセットに基づいて続いて更新され、顔の偽造防止モデルはより良好な認識効果を提示できる。これは、顔の偽造防止モデルが、事前トレーニングプロセスの間により少ない数のサンプルを学習する方法を学習するためであり、更新時に新しいカテゴリの多数の画像があるので、モデルのパラメータの更新がより良好に達成され得る。

【0064】

毎回、第1の事前設定された数の既存カテゴリがランダムに選択され、次いで、第2の事前設定された数のサポートサンプル画像および第3の事前設定された数のクエリサンプル画像が、既存カテゴリの選択された偽造された顔画像からランダムに選択され得る。1つまたは複数のモデルの実際の顔画像がランダムに選択され、次いで、第2の事前設定された数のサポートサンプル画像および第3の事前設定された数のクエリサンプル画像が、選択された実際の顔画像からランダムに選択され、タスクを生成する。異なるタスクの画像を完全に同じできない。

【0065】

ステップS206では、第4の事前設定された数のタスクが選択されて、バッチを形成し、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、バッチの複数のタスクに基づいてそれぞれ決定され、顔の偽造防止モデルのパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて再決定される。

【0066】

第4の事前設定された数のタスクがランダムに選択され、バッチを形成する。例えば、5つのタスクがバッチとして選択される。各バッチについて、顔の偽造防止モデルのパラメータが2回更新され得る。第1の更新は、各タスクにおいてサポートサンプル画像によって顔の偽造防止モデルのパラメータを更新することである。第2の更新は、各タスクにおいてクエリサンプル画像によって顔の偽造防止モデルのパラメータを更新することである。すなわち、更新は、前述の、学習プロセスと、「学習方法の学習」のプロセスで構成される。これは、各バッチがパラメータを更新するためにモデルに一度直接入力される既存のディープラーニング方法とは異なる。

【0067】

いくつかの実施形態では、バッチ内の各タスクについて、タスクに対応する第3の勾配(第1の勾配から更新された)は、各サポートサンプル画像と各サポートサンプル画像に対応する分類ラベルとに基づいて決定され、顔の偽造防止モデルのパラメータのセットが、第3の勾配に基づいて決定される。中間パラメータに属し、顔の偽造防止モデルのパラメータを正確に更新しない複数のタスクによって決定された事前にトレーニングされたパラメータの複数のセットは、次の更新のために格納され得る。さらに、バッチに対応する第4の勾配(第2の勾配から更新された)は、バッチ内の複数のタスクの各々について決定されたパラメータのセットと、複数のタスクに対応するクエリサンプル画像と、クエリサンプル画像の各々に対応する分類ラベルとに基づいて決定される。顔の偽造防止モデルのパラメータは、バッチに対応する第4の勾配に基づいて再決定される。第2の時間の間に決定された顔の偽造防止モデルのパラメータを使用して、顔の偽造防止モデルのパラメータを更新する。

【0068】

例えば、バッチ内の各タスクτ_i∈Tについて、iは、タスクのシリアル番号を表す正の整数であり、Tはバッチのタスクセットである。各タスクτ_iについて、タスクに対応する顔の偽造防止モデルのパラメータの第3の勾配

【数1】

が計算され、ここで、θは、顔の偽造防止モデルの現在のパラメータを表し、

【数2】

は、タスクτ_iのためのサポートサンプル画像を使用して現在のパラメータθに関して計算された損失関数の勾配

【数3】

を表す。タスクτ_iについて決定された顔の偽造防止モデルのパラメータは、

【数4】

と表され、ここで、αは、第1のステップ値を表す。バッチ内の複数のタスクは、格納される複数の

【数5】

(重みパラメータ行列であってよい)を決定する。

【0069】

さらに、バッチに対して、バッチに対応する第4の勾配が、

【数6】

と表され、これは、バッチ内の複数のタスクの損失がまず加算され、次いで勾配が計算されることを表している。損失および第4の勾配は、タスクτ_iのクエリサンプル画像と、対応する

【数7】

に基づいて計算される。このバッチに対して更新される顔の偽造防止モデルのパラメータは、

【数8】

である。βは、第2のステップ値である。

【数9】

は、第4の勾配を計算するための中間変数であり、モデルのパラメータはバッチの開始時にθに基づいて各バッチについて更新されることが分かる。顔の偽造防止モデルは、クエリサンプル画像によって更新され、タスクについてのモデルの一般化能力を向上させ、サポートサンプル画像の過剰適合を回避できる。

【0070】

顔の偽造防止モデルが分類モデルである場合、分類ラベルの各々は、分類ラベルに対応するサポートサンプル画像のカテゴリをラベル付けするように構成された第1の分類ラベルであり、カテゴリは、偽造方法またはモデルの少なくとも一つを含む。代替的に、顔の偽造防止モデルが回帰モデルである場合、分類ラベルの各々は、分類ラベルに対応するサポートサンプル画像を正のサンプルまたは負のサンプルとしてラベル付けするように構成された第2の分類ラベルである。実際の顔画像について、事前設定された値は、偽装方法を使用してラベル付けを実行するときにラベル付けされ得る。すなわち、顔の偽造防止モデルが分類モデルである場合、このバッチ内の各タスクについて、このタスクに対応する第3の勾配が、各サポートサンプル画像および各サポートサンプル画像に対応する第1の分類ラベルに基づいて決定される。代替的に、顔の偽造防止モデルが回帰モデルである場合、バッチ内の各タスクについて、このタスクに対応する第3の勾配が、各サポートサンプル画像および各サポートサンプル画像に対応する第2の分類ラベルに基づいて決定される。

【0071】

ステップS208では、顔の偽造防止モデルが収束条件に達しているかどうかが判定され、YESの場合、顔の偽造防止モデルの事前トレーニングが完了し、NOの場合、再スタートのためにステップS206に戻る。

【0072】

収束条件は、例えば、損失関数の値が最小になるか事前設定された損失関数の値に到達することに一致する。損失関数の値が収束条件に達しない場合、顔の偽造防止モデルをトレーニングするための別のバッチを選択するために、ステップS206に戻る。

【0073】

上述のステップは、顔の偽造防止モデルの事前トレーニングプロセスに属する。各タスクの各カテゴリのサポートサンプル画像は非常に少ない数であり、ゆえに小さなサンプルセットに属しているが、多数のサンプル(既存のカテゴリの多数のサンプル画像および実際の画像カテゴリを含む)が、事前トレーニングプロセス全体の間に使用されることに、留意されたい。また、サンプル数が多いほど良好である。違いは、多くのタスクおよび多くの小さなサンプルセットが分割されていることだけであり、その結果、モデルは、事前トレーニングプロセスの間に「学習方法を学習する」ことができ、モデルの精度を上げることができる。

【0074】

ステップS210では、新しいカテゴリの偽造された顔画像の小さなサンプルセットが取得される。

【0075】

新しいカテゴリの偽造された顔画像の小さなサンプルセットは、タスクにおいてサポートサンプル画像として働き得る。タスクは、1つまたは複数の新しいカテゴリを含み、各新しいカテゴリが小さなサンプルセットに対応する。

【0076】

ステップS212では、事前トレーニングされた顔の偽造防止モデルのパラメータは、新しいカテゴリの偽造された顔画像の小さなサンプルセットを用いて更新される。

【0077】

新しいカテゴリの偽造された顔画像の小さなサンプルセットを用いて事前にトレーニングされた顔の偽造防止モデルのパラメータを更新する方法は、ステップS206のタスクτ_iのサポートサンプル画像を使用することによって顔の偽造防止モデルのパラメータ

【数10】

を決定するプロセスに類似している。例えば、タスクτ_jのサポートサンプル画像として1つまたは複数の新しいカテゴリの小さなサンプルセット内の偽造された顔画像の場合、このタスクτ_jに対応する顔の偽造防止モデルのパラメータの第3の勾配

【数11】

が計算され、タスクτ_j対して決定された顔の偽造防止モデルのパラメータは、

【数12】

と表され、ここで、αは第1のステップ値を表す。すなわち、更新された顔の偽造防止モデルのパラメータは、

【数13】

である。クエリサンプル画像を使用した更新プロセスは、実行されない。

【0078】

ステップS214では、認識されるべき顔画像が、パラメータが更新された後に顔の偽造防止モデルに入力され、認識されるべき顔画像が偽造された顔画像かどうかが判定される。

【0079】

本開示の解決策は、新しい偽造方法の偽造された顔画像を認識するために適用されるだけでなく、新しいモデルの偽造された顔画像を認識できる。例えば、新しい偽造方法の偽造された顔画像を認識する必要だけがある場合、既存の偽造方法の偽造された顔画像および実際の顔画像が、事前トレーニングの間にトレーニングサンプルとして働き、トレーニングサンプルは、同じモデルのものであり、新しい偽造方法の偽造された顔画像もそのようなモデルに属する。別の例では、偽造された顔画像を認識する必要だけがある場合、既存のモデルの偽造された顔画像および実際の顔画像が、事前トレーニングの間にトレーニングサンプルとして働き、既存のモデルのこれらの偽造された顔画像は、同じ偽造方法によって偽造され、新しい偽造モデルの偽造された顔画像もそのような偽造方法に属する。トレーニングサンプルが、異なる偽造方法および異なるモデルの両方の偽造された顔画像と、事前トレーニングの間に1つまたは複数のモデルの実際の顔画像とを含む場合、新しい偽造された顔画像は、トレーニングサンプルにおける任意の偽造方法または任意のモデルと異なることがある。

【0080】

例えば、新しい偽造方法の偽造された顔画像について、いくつかの実施形態では、新しい偽造方法の偽造された顔画像の小さなサンプルセットが取得され、顔の偽造防止モデルのパラメータが、新しい偽造方法の偽造された顔画像の小さなサンプルセットを用いて更新され、事前トレーニングされた顔の偽造防止モデルのパラメータは、複数のタスクに基づいてそれぞれ決定された顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットである事前にトレーニングされたパラメータの複数のセットに基づいて決定され、各タスクは、1つまたは複数の既存の偽造方法の各々の偽造された顔画像の小さなサンプルセットと実際の顔画像の小さなサンプルセットとを含み、認識されるべき顔画像が、パラメータが更新された後に顔の偽造防止モデルに入力され、認識されるべき顔画像が偽造された顔画像であるかどうか判定される。

【0081】

例えば、新しいモデルの偽造された顔画像について、いくつかの実施形態では、新しいモデルの偽造された顔画像の小さなサンプルセットが取得され、顔の偽造防止モデルのパラメータが、新しいモデルの偽造された顔画像の小さなサンプルセットを用いて更新され、事前トレーニングされた顔の偽造防止モデルのパラメータは、複数のタスクに基づいてそれぞれ決定された顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットである事前にトレーニングされたパラメータの複数のセットに基づいて決定され、各タスクは、1つまたは複数の既存のモデルの各々の偽造された顔画像の小さなサンプルセットと1つまたは複数の既存のモデルの各々の実際の顔画像の小さなサンプルセットとを含み、認識されるべき顔画像が、パラメータが更新された後に顔の偽造防止モデルに入力され、認識されるべき顔画像が偽造された顔画像であるかどうか判定される。

【0082】

事前トレーニングプロセスは、上述の実施形態のものに類似している。トレーニングサンプルが、異なる偽造方法および異なるモデルの偽造された顔画像を含む状況では、例えば、3つの既知のモデルと3つの既知の偽造方法がある場合、最大9つの異なる既存のカテゴリの偽造された顔画像が存在し得る。さらに、3つのモデルの実際の顔画像が存在する場合、生成されるタスクは、最大12の小さなサンプルセットを含み得る。

【0083】

上述の実施形態では、事前にトレーニングされた顔の偽造防止モデルが、1つまたは複数の既存のモデルの偽造された顔画像から構成された複数の小さなサンプルセット、1つまたは複数の既存の偽造方法、あるいは複数の既存のモデルの実際の顔画像によってトレーニングされ、顔の偽造防止モデルのパラメータの複数のグループが複数のタスクによってそれぞれ決定され、次いで、顔の偽造防止モデルのパラメータが、トレーニングプロセスの間事前にトレーニングされたパラメータの複数のセットに基づいて再決定される。このトレーニングプロセスは、2つのステージ：既存のカテゴリの偽造された顔画像と、既存のカテゴリの実際の顔画像の複数の小さなサンプルセットをそれぞれ用いて顔の偽造防止モデルをトレーニングする第1のステージであって、モデルが、小さなサンプルセットの特徴を学習するステージ、または、偽造された顔と実際の顔とを区別することを学習するステージである、第1のステージと、集約を実行するとともに、複数のトレーニング結果に基づいて顔の偽造防止モデルのパラメータを再更新する第2のステージであって、モデルが特徴の小さなサンプルセットを学習する方法を学習するか、偽造された顔と実際の顔とを区別することを学習する方法を学習するステージである、第2のステージとを含む。

【0084】

したがって、事前トレーニングを受けた顔の偽造防止モデルは、小さなサンプルセットを学習する方法を習得するか、偽造された顔と実際の顔を区別することを学習する方法を習得し、適切な初期化パラメータを取得する。新しいモデルの偽造された顔画像が小さなサンプルセットの条件に属するとき、顔の偽造防止モデルが更新される。以前に学習した早い学習能力による利点として、顔の偽造防止モデルはまた、新しいカテゴリの偽造された顔の特徴の速い収束と速い学習とを実行し、顔の偽造防止モデルのタイムリーで効果的な更新を実行でき、新しいカテゴリの偽造された顔画像をタイムリーに効果的に認識し、新しいカテゴリの偽造された顔からの攻撃に対してタイムリーに効果的に防御できる。

【0085】

本開示はまた、図3とともに以下に説明する、偽造された顔認識デバイスを提供する。

【0086】

図3は、本開示のいくつかの実施形態による偽造された顔認識デバイスの概略の構造図を示す。図3に示すように、本実施形態のデバイス30は、小さなサンプル取得モジュール302、モデル調整モジュール304、および顔認識モジュール306を備える。

【0087】

小さなサンプル取得モジュール302は、新しいカテゴリの偽造された顔画像の小さなサンプルセットを取得するように構成される。

【0088】

モデル調整モジュール304は、新しいカテゴリの偽造された顔画像の小さなサンプルセットを用いて事前にトレーニングされた顔の偽造防止モデルのパラメータを更新するように構成され、事前トレーニングされた顔の偽造防止モデルの事前にトレーニングされたパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて決定され、事前にトレーニングされたパラメータの複数のセットが複数のタスクに基づいてそれぞれ決定され、各タスクが、1つまたは複数の既存のカテゴリの各々の偽造された顔画像の小さなサンプルセットと、1つまたは複数の既存のカテゴリの各々の実際の顔画像の小さなサンプルセットとを含む。

【0089】

いくつかの実施形態では、モデル調整モジュール304が、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の偽造された顔画像と、偽造された顔画像の各々に対応する分類ラベルとに基づいて、顔の偽造防止モデルのパラメータを更新するように構成され、顔の偽造防止モデルが分類モデルである場合、分類ラベルは、分類ラベルに対応する偽造された顔画像のカテゴリをラベル付けするように構成された第1の分類ラベルであり、カテゴリが、偽造方法またはモデルの少なくとも一つを含む。あるいは、顔の偽造防止モデルが回帰モデルである場合、分類ラベルは、分類ラベルに対応する偽造された顔画像を正のサンプルまたは負のサンプルとしてラベル付けするように構成された第2の分類ラベルである。

【0090】

いくつかの実施形態では、モデル調整モジュール304が、新しいカテゴリの偽造された顔画像の小さなサンプルセット内の偽造された顔画像を、1つのタスクのためのサポートサンプル画像として顔の偽造防止モデルに入力し、偽造された顔画像の各々についての顔の偽造防止モデルの出力値と、偽造された顔画像の各々に対応する分類ラベルとに基づいて顔の偽造防止モデルのパラメータの勾配を決定し、顔の偽造防止モデルのパラメータの勾配に基づいて、顔の偽造防止モデルのパラメータを更新するように構成される。

【0091】

いくつかの実施形態では、顔の偽造防止モデルが分類モデルである場合、偽造された顔画像の各々についての偽造防止モデルの出力値が、偽造された顔画像の各々がそれぞれ異なるカテゴリに属する確率であり、モデル調整モジュール304が、偽造された顔画像の各々がそれぞれ異なるカテゴリに属する確率と、偽造された顔画像の各々に対応する第1の分類ラベルとに基づいて、顔の偽造防止モデルのパラメータの第1の勾配を決定するように構成され、あるいは、顔の偽造防止モデルが回帰モデルである場合、偽造された顔画像の各々についての偽造防止モデルの出力値が、偽造された顔画像の各々が正のサンプルに属する確率であり、モデル調整モジュール304が、偽造された顔画像の各々が正のサンプルに属する確率と、偽造された顔画像の各々に対応する第2の分類ラベルとに基づいて、顔の偽造防止モデルのパラメータの第2の勾配を決定するように構成される。

【0092】

顔認識モジュール306は、パラメータ更新の後に顔の偽造防止モデルに認識されるべき顔画像を入力して、認識されるべき顔画像が偽造された顔画像であるかどうかを判定するように構成される。

【0093】

いくつかの実施形態では、デバイス30はさらに、事前トレーニングモジュール308を備える。事前トレーニングモジュール308は、既存のカテゴリの偽造された顔画像と既存のカテゴリの実際の顔画像とを複数のタスクに分けることであって、各タスクが複数の方法を有し、各方法が、1つのモデルの複数の実際の顔画像または既存のカテゴリの複数の偽造された顔画像を有し、各タスクが第1の事前設定された数の既存のカテゴリを有し、各方法が、サポートサンプル画像から構成される小さなサンプルセットとして、第2の事前設定された数の実際の顔画像または偽造された顔画像と、クエリサンプル画像として、第3の事前設定された数の実際の顔画像または偽造された顔画像とを備える、ことと、第4の事前設定された数のタスクを選択して毎回バッチを形成することであって、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、バッチの複数のタスクに基づいてそれぞれ決定され、顔の偽造防止モデルのパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて再決定される、ことと、顔の偽造防止モデルが収束条件に達するまで、顔の偽造防止モデルの事前トレーニングを完了することとを行うように構成される。

【0094】

いくつかの実施形態では、事前トレーニングモジュール308は、各サポートサンプル画像および各サポートサンプル画像に対応する分類ラベルに基づいてタスクに対応する第3の勾配を決定し、バッチ内の各タスクについての第3の勾配に基づいて顔の偽造防止モデルのパラメータの一つのセットを決定することと、バッチ内の複数のタスクの各々によって決定されるパラメータのセット、複数のタスクに対応するクエリサンプル画像、およびクエリサンプル画像の各々に対応する分類ラベルに基づいてバッチに対応する第4の勾配を決定することと、バッチに対応する第4の勾配に基づいて、顔の偽造防止モデルのパラメータを再決定することを行うように構成される。

【0095】

いくつかの実施形態では、顔の偽造防止モデルが分類モデルである場合、分類ラベルの各々が、分類ラベルに対応するサポートサンプル画像のカテゴリをラベル付けするように構成された第1の分類ラベルであり、カテゴリが偽造方法またはモデルの少なくとも一つを含む。あるいは、顔の偽造防止モデルが回帰モデルである場合、分類ラベルの各々が、分類ラベルに対応するサポートサンプル画像を正のサンプルまたは負のサンプルとしてラベル付けするように構成された第2の分類ラベルである。

【0096】

いくつかの実施形態では、事前トレーニング前の顔の偽造防止モデルの初期パラメータが、ディープラーニングトレーニング方法に従って決定される。

【0097】

いくつかの実施形態では、異なる既存のカテゴリの偽造された顔画像が、偽造方法またはモデルの少なくとも一つにおいて異なり、偽造方法が、複数の写真、ビデオ、またはマスクを含み、モデルが、深度モデル、近赤外線モデル、または赤緑青(RGB)モデルの複数を含み、異なるタスクの実際の顔画像は、同じモデルまたは異なるモデルを有し、新しいカテゴリの偽造された顔画像が、偽造方法またはモデルの少なくとも一つ内の既存の画像と異なり、既存の画像が、既存のカテゴリの偽造された顔画像と、既存のカテゴリの実際の顔画像とを含む。

【0098】

本開示の実施形態の偽造された顔認識デバイスは、様々なコンピューティングデバイスまたはコンピュータシステムによって実施され、図4および5とともに以降に説明される。

【0099】

図4は、本開示のいくつかの実施形態による偽造された顔認識デバイスの概略の構造図を示す。図4に示すように、実施形態のデバイス40は、メモリ410と、メモリ410に結合されたプロセッサ420とを備え、プロセッサ420は、メモリ410に格納された命令に基づいて本開示のいずれかの実施形態に記載の偽造された顔認識方法を実施するように構成される。

【0100】

メモリ410は、例えば、システムメモリ、所定の不揮発性記憶媒体などを含み得る。システムメモリは、例えば、オペレーティングシステム、アプリケーション、ブートローダ、データベース、および他のプログラムを格納する。

【0101】

図5は、本開示の他の実施形態による偽造された顔認識デバイスの概略の構造図を示す。図5に示すように、本実施形態のデバイス50は、メモリ410およびプロセッサ420に類似する、メモリ510およびプロセッサ520を備える。さらに、I/Oインターフェース530、ネットワークインターフェース540、ストレージインターフェース550などがある。これらのインターフェース530、540、550、ならびにその間のメモリ510およびプロセッサ520は、例えばバス560を介して接続され得る。I/Oインターフェース530は、ディスプレイ、マウス、キーボード、およびタッチ識別機などの入力および出力デバイスのための接続インターフェースを提供する。ネットワークインターフェース540は、様々なネットワークデバイスのための接続インターフェースを提供する。例えば、それはデータベースサーバまたはクラウドストレージサーバに接続され得る。ストレージインターフェース550は、SDカードまたはUSBフラッシュディスクなどの外部ストレージデバイスのための接続インターフェースを提供する。

【0102】

本開示のさらに他の実施形態では、顔の偽造防止モデルのトレーニング方法が提供される。顔の偽造防止モデルのトレーニング方法は、既存のカテゴリの偽造された顔画像および既存のカテゴリの実際の顔画像を複数のタスクに分けるステップであって、各タスクが、1つまたは複数の既存のカテゴリの各々の偽造された顔画像の小さなサンプルセットと、1つまたは複数の既存のカテゴリの各々の実際の顔画像の小さなサンプルセットとを含む、ステップと、複数のタスクを使用して顔の偽造防止モデルを事前トレーニングして、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットをそれぞれ決定するステップと、事前にトレーニングされたパラメータの複数のセットに基づいて、事前にトレーニングされた顔の偽造防止モデルのパラメータを決定するステップと、新しいカテゴリの偽造された顔画像の小さなサンプルセットを取得するステップであって、新しいカテゴリが、顔の偽造防止モデルが事前トレーニングされたときに使用された既存のカテゴリと異なる、ステップと、新しいカテゴリの偽造された顔画像の小さなサンプルセットを用いて事前にトレーニングされた顔の偽造防止モデルのパラメータを更新するステップとを備える。

【0103】

いくつかの実施形態では、各タスクが複数の方法を備え、各方法が、1つのモデルの複数の実際の顔画像または既存のカテゴリの複数の偽造された顔画像を有し、各タスクが、第1の事前設定された数の既存のカテゴリを有し、各方法が、サポートサンプル画像から構成された小さなサンプルセットとして、第2の事前設定された数の実際の顔画像または偽造された顔画像を有し、クエリサンプル画像として第3の事前設定された数の実際の顔画像または偽造された顔画像を有し、複数のタスクを使用して顔の偽造防止モデルを事前トレーニングして、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットをそれぞれ決定するステップおよび事前にトレーニングされたパラメータの複数のセットに基づいて、事前にトレーニングされた顔の偽造防止モデルのパラメータを決定するステップが、第4の事前設定された数のタスクを選択して毎回バッチを形成するステップであって、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、バッチの複数のタスクに基づいてそれぞれ決定され、顔の偽造防止モデルのパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて再決定される、ステップと、顔の偽造防止モデルが収束条件に達するまで、顔の偽造防止モデルの事前トレーニングを完了するステップとを備える。

【0104】

いくつかの実施形態では、顔の偽造防止モデルの事前にトレーニングされたパラメータの複数のセットが、バッチの複数のタスクに基づいてそれぞれ決定され、顔の偽造防止モデルのパラメータが、事前にトレーニングされたパラメータの複数のセットに基づいて再決定されることが、各サポートサンプル画像および各サポートサンプル画像に対応する分類ラベルに基づいてタスクに対応する第3の勾配を決定し、バッチ内の各タスクに対する第3の勾配に基づいて顔の偽造防止モデルのパラメータの1つのセットを決定することと、バッチ内の複数のタスクの各々によって決定されたパラメータのセットと、複数のタスクに対応するクエリサンプル画像と、クエリサンプル画像の各々に対応する分類ラベルとに基づいてバッチに対応する第4の勾配を決定することと、バッチに対応する第4の勾配に基づいて顔の偽造防止モデルのパラメータを再決定することとを備える。

【0105】

本開示のさらに別の実施形態では、顔の偽造防止モデルのトレーニングデバイスが提供される。デバイスは、メモリと、メモリに結合されたプロセッサとを備え、プロセッサが、メモリに格納された命令に基づいて上述の実施形態のいずれかに従う顔の偽造防止モデルのトレーニング方法を実施するように構成される。

【0106】

本開示のさらに別の実施形態では、コンピュータプログラムが提供される。コンピュータプログラムは、プロセッサによる実行時に、プロセッサに、顔の偽造防止モデルのトレーニング方法に従う偽造された顔認識方法または上述の実施形態のいずれかに従う偽造された顔認識方法を実行させる命令を備える。

【0107】

当業者には、本開示の実施形態が、方法、システム、またはコンピュータプログラム製品として提供され得ることが明らかであろう。したがって、本開示は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはソフトウェアとハードウェアの態様の組み合わせの形をとることができる。さらに、本開示は、コンピュータ使用可能なプログラムコードを含む１つまたは複数のコンピュータ使用可能な非一時的記憶媒体(ディスクメモリ、CD-ROM、光メモリなどを含むがこれらに限定されない)に具現化されたコンピュータプログラム製品の形態をとることができる。

【0108】

本開示は、本開示の実施形態による、方法のフローチャートおよび/またはブロック図、デバイス(システム)、およびコンピュータプログラム製品とともに説明される。フローチャートおよび/またはブロック図の各ステップおよび/または各ブロック、ならびにフローチャートおよび/またはブロック図のステップおよび/またはブロックの組み合わせは、コンピュータプログラム命令によって実装されることが分かる。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込み処理機、または他のプログラム可能なデータ処理デバイスのプロセッサに提供されてマシンを生み出し、コンピュータまたは他のプログラム可能なデータ処理デバイスのプロセッサによって実行される命令が、フローチャートの1つまたは複数のステップおよび/またはブロック図の1つまたは複数のブロックで指定された機能を実現するためのデバイスを生み出す。

【0109】

これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能なデータ処理デバイスを特定の方法で動作するようにガイドすることができるコンピュータ可読メモリに格納され得、その結果、コンピュータ可読メモリに格納された命令は、命令デバイスを含む製造物を生み出す。命令デバイスは、フローチャートの1つまたは複数のステップ、またはブロック図の1つまたは複数のブロックに指定された機能を実現する。

【0110】

これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能なデータ処理デバイスにロードされ得、その結果、一連の動作ステップがコンピュータまたは他のプログラム可能なデバイス上で実行されて、コンピュータ上で実行される命令などのコンピュータ実装処理を生み出し、コンピュータまたは他のプログラム可能なデバイス上で実行される命令は、フローチャートの1つまたは複数のステップおよび/またはブロックビューの1つまたは複数のブロックで指定された機能を実現するためのステップを提供する。

【0111】

上述の説明は単に、本開示の好ましい実施形態であり、本開示を限定しようとするものではない。本開示の原則の範囲内における任意の修正、等価な置換、改善などは、本開示の保護範囲にすべて含まれる。

【符号の説明】

【0112】

302 小さいサンプル取得モジュール
304 モデル調整モジュール
306 顔認識モジュール
308 事前トレーニングモジュール
410 メモリ
420 プロセッサ
510 メモリ
520 プロセッサ
530 I/Oインターフェース
540 ネットワークインターフェース
550 ストレージインターフェース
560 バス

【図1】

【図2】

【図3】

【図4】

【図5】