▶ ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-26
(45)【発行日】2022-11-04
(54)【発明の名称】生体検出方法及び装置、電子機器ならびに記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20221027BHJP
G06V 40/16 20220101ALI20221027BHJP
G06V 40/40 20220101ALI20221027BHJP
【ＦＩ】
G06T7/00 660A
G06T7/00 350C
G06T7/00 510F
G06V40/16 A
G06V40/40
【請求項の数】
16
(21)【出願番号】P 2020544595
(86)(22)【出願日】2019-11-22
(65)【公表番号】
(43)【公表日】2021-08-19
(86)【国際出願番号】 CN2019120404
(87)【国際公開番号】W WO2020199611
(87)【国際公開日】2020-10-08
【審査請求日】2020-08-24
(31)【優先権主張番号】201910257350.9
(32)【優先日】2019-04-01
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】321006888
【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】ヤン グオウェイ
(72)【発明者】
【氏名】シャオ ジン
(72)【発明者】
【氏名】イエン ジュンジエ
(72)【発明者】
【氏名】ワン シャオガン
【審査官】笠田 和宏
(56)【参考文献】
【文献】中国特許出願公開第１０７２２０６３５（ＣＮ，Ａ）
【文献】特表２０１９－５０４６５９（ＪＰ，Ａ）
【文献】特開２００７－２７２７７５（ＪＰ，Ａ）
【文献】特開２０１７－０１６１９２（ＪＰ，Ａ）
【文献】特開２０１０－１７８１６０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／４０
(57)【特許請求の範囲】
【請求項1】
処理待ち画像を処理し、前記処理待ち画像の複数の画素点が偽造物に対応する確率を得るステップであって、前記処理待ち画像の複数の画素点が偽造物に対応する確率は、確率行列である、ことと、前記処理待ち画像における予測顔領域を特定するステップと、
前記処理待ち画像の複数の画素点が偽造物に対応する確率及び前記予測顔領域に基づき、前記処理待ち画像の生体検出結果を得るステップと、を含み、
前記処理待ち画像の複数の画素点が偽造物に対応する確率及び前記予測顔領域に基づき、前記処理待ち画像の生体検出結果を得るステップは、
前記処理待ち画像の複数の画素点が偽造物に対応する確率に基づき、前記処理待ち画像の偽造物領域を特定するステップと、
前記偽造物領域及び前記予測顔領域の位置に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む、
生体検出方法。
【請求項2】
処理待ち画像を処理し、前記処理待ち画像の複数の画素点が偽造物に対応する確率を得る前記ステップは、ニューラルネットワークを用いて前記処理待ち画像を処理し、前記処理待ち画像における各画素点が偽造物に対応する確率を出力するステップを含む、請求項１に記載の生体検出方法。
【請求項3】
前記ニューラルネットワークは、画素レベルのラベルを有するサンプルデータに基づいて訓練して得られる、請求項２に記載の生体検出方法。
【請求項4】
前記処理待ち画像の複数の画素点が偽造物に対応する確率及び前記予測顔領域に基づき、前記処理待ち画像の生体検出結果を得る前記ステップは、前記複数の画素点の位置情報及び前記予測顔領域に基づき、前記複数の画素点から前記予測顔領域に含まれる少なくとも２つの画素点を特定するステップと、
前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む、請求項１から３のいずれか一項に記載の生体検出方法。
【請求項5】
前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記処理待ち画像の生体検出結果を判定する前記ステップは、前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記少なくとも２つの画素点のうちの少なくとも１つの偽造物画素点を特定するステップと、
前記少なくとも１つの偽造物画素点が前記少なくとも２つの画素点に占める割合に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む、請求項４に記載の生体検出方法。
【請求項6】
前記少なくとも１つの偽造物画素点が前記少なくとも２つの画素点に占める割合に基づき、前記処理待ち画像の生体検出結果を判定する前記ステップは、前記割合が第１閾値以上であることに応答し、前記処理待ち画像の生体検出結果が偽造物であると判定するステップ、及び／又は
前記割合が前記第１閾値未満であることに応答し、前記処理待ち画像の生体検出結果が生体であると判定するステップ、を含む、請求項５に記載の生体検出方法。
【請求項7】
前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記処理待ち画像の生体検出結果を判定する前記ステップは、前記少なくとも２つの画素点が偽造物に対応する確率に対して平均処理を行い、確率平均 値を得るステップと、
前記確率平均値に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む、請求項４に記載の生体検出方法。
【請求項8】
前記偽造物領域及び前記予測顔領域の位置に基づき、前記処理待ち画像の生体検出結果を判定する前記ステップは、前記偽造物領域及び前記予測顔領域の位置に基づき、前記偽造物領域と前記予測顔領域との重畳領域を特定するステップと、
前記重畳領域が前記予測顔領域に占める割合に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む、請求項１に記載の生体検出方法。
【請求項9】
前記処理待ち画像における予測顔領域を特定する前記ステップは、前記処理待ち画像に対して顔キーポイント検出を行い、キーポイント予測情報を得るステップと、
前記キーポイント予測情報に基づき、前記処理待ち画像における予測顔領域を特定するステップと、を含む、請求項１から８のいずれか一項に記載の生体検出方法。
【請求項10】
前記処理待ち画像に対して顔キーポイント検出を行い、キーポイント予測情報を得る前記ステップの前に、さらに、前記処理待ち画像に対して顔検出を行い、前記処理待ち画像における顔ボックス領域を得るステップを含み、
前記処理待ち画像に対して顔キーポイント検出を行い、キーポイント予測情報を得る前記ステップは、
前記顔ボックス領域の画像に対して顔キーポイント検出を行い、キーポイント予測情報を得るステップを含む、請求項９に記載の生体検出方法。
【請求項11】
前記処理待ち画像における予測顔領域を特定する前記ステップは、前記処理待ち画像に対して顔検出を行い、前記処理待ち画像における予測顔領域を得るステップを含む、請求項１から８のいずれか一項に記載の生体検出方法。
【請求項12】
処理待ち画像を処理する前記ステップの前に、さらに、単眼カメラにより収集された前記処理待ち画像を取得するステップを含む、請求項１から１１のいずれか一項に記載の生体検出方法。
【請求項13】
処理待ち画像を処理し、前記処理待ち画像の複数の画素点が偽造物に対応する確率を得るための画素予測モジュールであって、前記処理待ち画像の複数の画素点が偽造物に対応する確率は、確率行列である、画素予測モジュールと、前記処理待ち画像における予測顔領域を特定するための顔検出モジュールと、
前記処理待ち画像の複数の画素点が偽造物に対応する確率及び前記予測顔領域に基づき、前記処理待ち画像の生体検出結果を得るための分析モジュールと、を含み、
前記分析モジュールは、さらに、前記処理待ち画像の複数の画素点が偽造物に対応する確率に基づき、前記処理待ち画像の偽造物領域を特定するステップと、前記偽造物領域及び前記予測顔領域の位置に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を実行するために用いられる、
生体検出装置。
【請求項14】
請求項１から１２のいずれか一項に記載の方法を実行するためのプロセッサと、前記プロセッサにより実行されるように構成されたコンピュータプログラムを記憶するためのメモ リと、を含む、電子機器。
【請求項15】
コンピュータに請求項１から１２のいずれか一項に記載の方法を実行させるコンピュータプログラムを記憶するためのコンピュータ可読記憶媒体。
【請求項16】
プロセッサに請求項１から１２のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、出願番号が２０１９１０２５７３５０．９であり、出願日が２０１９年０４月０１日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願は、出願番号が２０１９１０２５７３５０．９であり、出願日が２０１９年０４月０１日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【0002】
本願はコンピュータビジョンの技術分野に関するが、ビジョン技術分野に限定されるものではなく、具体的には、生体検出方法及び装置、電子機器ならびに記憶媒体に関する。
【背景技術】
【0003】
顔認識技術は、顔によるロック解除、顔決済、本人確認、ビデオ監視などのシーンにおいて広く適用されている。しかし、顔認識システムには、顔付きの画像及びビデオ、マスクなどの偽造物により攻撃して被害をもたらすというリスクが存在する。顔認識システムの安全性を保証するためには、生体検出技術によってシステムに入力される顔の真偽を確認する必要があり、即ち入力された生体特徴が、生きている個体からのものであるかどうかを判断する必要である。
【0004】
現在、顔運動に基づく顔認識方法は、一回当たりの生体検出に所要時間が長すぎるので、顔認識システムの全体的な効率が低下する。１フレームの画像に基づく認識及び検出方法には、通常、複眼カメラ、３Ｄ構造化光学デバイスなどの余分のハードウェア機器が必要であり、コストが増加し、適用性が低下する。１フレームの画像による生体検出の精度をどのように向上させるかは当分野において早急に解決しなければならない技術課題である。
【発明の概要】
【0005】
本願の実施例は生体検出方法及び装置、電子機器ならびに記憶媒体を提供する。
【0006】
本願の実施例の第１態様は、処理待ち画像を処理し、前記処理待ち画像の複数の画素点が偽造物に対応する確率を得るステップと、前記処理待ち画像における予測顔領域を特定するステップと、前記処理待ち画像の複数の画素点が偽造物に対応する確率及び前記予測顔領域に基づき、前記処理待ち画像の生体検出結果を得るステップと、を含む生体検出方法を提供する。
【0007】
一実施形態では、処理待ち画像を処理し、前記処理待ち画像の複数の画素点が偽造物に対応する確率を得る前記ステップは、ニューラルネットワークを用いて前記処理待ち画像を処理し、前記処理待ち画像における各画素点が偽造物に対応する確率を出力するステップを含む。
【0008】
一実施形態では、前記ニューラルネットワークは、画素レベルのラベルを有するサンプルデータに基づいて訓練して得られる。
【0009】
一実施形態では、前記処理待ち画像の複数の画素点が偽造物に対応する確率及び前記予測顔領域に基づき、前記処理待ち画像の生体検出結果を得る前記ステップは、前記複数の画素点の位置情報及び前記予測顔領域に基づき、前記複数の画素点から前記予測顔領域に含まれる少なくとも２つの画素点を特定するステップと、前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む。
【0010】
一実施形態では、前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記処理待ち画像の生体検出結果を判定する前記ステップは、前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記少なくとも２つの画素点のうちの少なくとも１つの偽造物画素点を特定するステップと、
前記少なくとも１つの偽造物画素点が前記少なくとも２つの画素点に占める割合に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む。
前記少なくとも１つの偽造物画素点が前記少なくとも２つの画素点に占める割合に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む。
【0011】
一実施形態では、前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記処理待ち画像の生体検出結果を判定する前記ステップは、前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記少なくとも２つの画素点のうちの少なくとも１つの偽造物画素点を特定するステップと、前記少なくとも１つの偽造物画素点が前記少なくとも２つの画素点に占める割合に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む。
【0012】
一実施形態では、前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記処理待ち画像の生体検出結果を判定する前記ステップは、前記少なくとも２つの画素点が偽造物に対応する確率に対して平均処理を行い、確率平均値を得るステップと、前記確率平均値に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む。
【0013】
一実施形態では、前記処理待ち画像の複数の画素点が偽造物に対応する確率及び前記予測顔領域に基づき、前記処理待ち画像の生体検出結果を得る前記ステップは、前記処理待ち画像の複数の画素点が偽造物に対応する確率に基づき、前記処理待ち画像の偽造物領域を特定するステップと、前記偽造物領域及び前記予測顔領域の位置に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む。
【0014】
一実施形態では、前記偽造物領域及び前記予測顔領域の位置に基づき、前記処理待ち画像の生体検出結果を判定する前記ステップは、前記偽造物領域及び前記予測顔領域の位置に基づき、前記偽造物領域と前記予測顔領域との重畳領域を特定するステップと、前記重畳領域が前記予測顔領域に占める割合に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む。
【0015】
一実施形態では、前記方法はさらに、前記複数の画素点が偽造物に対応する確率に基づいて特定された少なくとも１つの偽造物画素点を表示するステップ、及び／又は、前記複数の画素点が偽造物に対応する確率に基づいて特定された少なくとも１つの偽造物画素点の情報を表示用に出力するステップを含む。
【0016】
一実施形態では、前記処理待ち画像における予測顔領域を特定する前記ステップは、前記処理待ち画像に対して顔キーポイント検出を行い、キーポイント予測情報を得るステップと、前記キーポイント予測情報に基づき、前記処理待ち画像における予測顔領域を特定するステップと、を含む。
【0017】
一実施形態では、前記処理待ち画像に対して顔キーポイント検出を行い、キーポイント予測情報を得る前記ステップの前に、前記方法はさらに、前記処理待ち画像に対して顔検出を行い、前記処理待ち画像における顔ボックス領域を得るステップを含み、前記処理待ち画像に対して顔キーポイント検出を行い、キーポイント予測情報を得る前記ステップは、前記顔ボックス領域の画像に対して顔キーポイント検出を行い、キーポイント予測情報を得るステップを含む。
【0018】
一実施形態では、前記処理待ち画像における予測顔領域を特定する前記ステップは、前記処理待ち画像に対して顔検出を行い、前記処理待ち画像における予測顔領域を得るステップを含む。
【0019】
一実施形態では、処理待ち画像を処理する前記ステップの前に、前記方法はさらに、単眼カメラにより収集された前記処理待ち画像を取得するステップを含む。
【0020】
本願の実施例の第２態様は、処理待ち画像を処理し、前記処理待ち画像の複数の画素点が偽造物に対応する確率を得るための画素予測モジュールと、前記処理待ち画像における予測顔領域を特定するための顔検出モジュールと、前記処理待ち画像の複数の画素点が偽造物に対応する確率及び前記予測顔領域に基づき、前記処理待ち画像の生体検出結果を得るための分析モジュールと、を含む生体検出装置を提供する。
【0021】
本願の実施例の第３態様は、本願の実施例の第１態様のいずれかの方法に記載の一部又は全てのステップを実行するためのプロセッサと、前記プロセッサにより実行されるように構成されたコンピュータプログラムを記憶するためのメモリと、を含む電子機器を提供する。
【0022】
本願の実施例の第４態様は、コンピュータに本願の実施例の第１態様のいずれかの方法に記載の一部又は全てのステップを実行させるコンピュータプログラムを記憶するためのコンピュータ可読記憶媒体を提供する。
【0023】
本願の実施例の第５態様は、前記第１態様のいずれかの方法に記載の一部又は全てのステップを実行するための前記プロセッサにより実行されるように構成されたコンピュータプログラムを含むコンピュータプログラム製品を提供する。
【0024】
本願の実施例では、処理待ち画像を処理することで、上記処理待ち画像の複数の画素点が偽造物に対応する確率を得て、上記処理待ち画像における予測顔領域を特定し、さらに上記処理待ち画像の複数の画素点が偽造物に対応する確率及び上記予測顔領域に基づき、上記処理待ち画像の生体検出結果を得ており、１フレームの画像による生体検出の精度を向上可能である。
【図面の簡単な説明】
【0025】
【図1】本願の実施例で開示される生体検出方法のフローチャートである。
【図2】本願の実施例で開示される別の生体検出方法のフローチャートである。
【図3】本願の実施例で開示されるニューラルネットワークによる処理プロセスの模式図である。
【図4】本願の実施例で開示される生体検出装置の構成模式図である。
【図5】本願の実施例で開示される電子機器の構成模式図である。
【発明を実施するための形態】
【0026】
ここの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に適合する実施例を示し、明細書とともに本開示の技術的解決手段を説明するために用いられる。
【0027】
以下に本願の実施例における図面を参照し、本願の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例は本願の実施例の一部にすぎず、全ての実施例ではない。本願における実施例に基づき、当業者が創造的な労力を要することなく、得られた全ての他の実施例は、いずれも本願の保護範囲に属する。
【0028】
本願の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本明細書の用語の「少なくとも１つ」は多種のうちのいずれか１つ又は多種のうちの少なくとも２つの任意の組合を示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣから構成される集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。本願の明細書、特許請求の範囲及び上記図面における「第１」、「第２」等の用語は、特定の順序を記述するものではなく、異なる対象を区別するためのものである。また、「含む」、「有する」という用語及びそれらのいかなる変形も、非排他的に含むことを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、挙げられたステップ又はユニットに限定されるものではなく、さらに挙げられないステップ又はユニットを選択可能に含み、又は、さらに、これらのプロセス、方法又は機器に固有の他のステップ又はユニットを選択可能に含む。
【0029】
本明細書で言及される「実施例」は、実施例により説明された特定の特徴、構造又は特性が本願の少なくとも１つの実施例に含まれることが可能であるのを意味する。明細書の各箇所で出現する該用語は必ず同じ実施例を指すというわけでなく、他の実施例に対して排他的に独立した実施例又は代替的な実施例であるというわけでもない。本明細書に記載の実施例を他の実施例と組み合わせてよいことが当業者に明示的又は暗示的に理解される。
【0030】
本願の実施例に係る生体検出装置は生体を検出可能な装置であり、端末機器を含む電子機器であってもよく、具体的な実施では、上記端末機器は、例えば、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパネル）を有する携帯電話、ラップトップコンピュータ又はタブレットコンピュータのような他の携帯型機器を含むが、それらに限定されない。ある実施例では、前記機器が携帯型通信機器ではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパネル）を有するデスクトップコンピュータであることを理解すべきである。
【0031】
本願の実施例における深層学習の概念は人工ニューラルネットワークの研究に由来する。深層学習構造の１つとして、複数の隠れ層を含む多層パーセプトロンが挙げられる。深層学習は下位層特徴を組み合わせることで、より抽象的な上位層を形成して属性クラス又は特徴を表現し、それによってデータの分散特徴表現を見つける。
【0032】
深層学習は、機械学習におけるデータの表現学習に基づく方法である。観測値（例えば１つの画像）は、例えば各画素点の強度値のベクトルで表現するか、又は一連のエッジ、特定形状の領域などとしてより抽象的に表現するように、様々な方式で表現可能である。そしていくつかの特定の表現方法を使用したら、より容易にタスク（例えば、顔認識又は表情認識）を実例から学習することができる。深層学習は、教師なし又は半教師ありの特徴学習、及び階層的特徴抽出のための効率的なアルゴリズムを利用して、手動の代わりに特徴を抽出するという利点を有する。深層学習は、機械学習の研究における新しい分野であり、人間の脳の分析学習をシミュレートしたニューラルネットワークを確立することを目的としており、それは人間の脳の仕組みを模倣してデータ、例えば画像、音声及びテキストを解釈する。
【0033】
機械学習の方法と同様に、深層機械学習の方法も教師あり学習と教師なし学習に分けられている。異なる学習フレームワーク下で確立された学習モデルは、互いの差異がかなり大きい。例えば、教師あり学習に基づく深層機械学習モデルとして、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）が挙げられ、深層学習に基づくネットワーク構造モデルとも呼ばれる。それは畳み込み計算を含み、深層構造を有するフィードフォワードニューラルネットワーク（Ｆｅｅｄ ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）であり、深層学習の代表的なアルゴリズムの１つである。教師なし学習に基づく機械学習モデルとして、ディープビリーフネット（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔ、ＤＢＮ）が挙げられる。
【0034】
【0035】
１０１で、処理待ち画像を処理し、上記処理待ち画像の複数の画素点が偽造物に対応する確率を得る。生体検出は、本人検証シーンにおいて対象の実際の生理学的特徴を特定する方法であり、通常、顔認識において、生体検出は、瞬き、開口、首振り、及び頷きなどの組み合わせ動作に基づき、顔キーポイントの位置特定及び顔追跡などの技術を使用して、操作が真の生体本人によるものであるかどうかを検証可能であり、写真、顔写真の貼り替え、マスク、遮蔽及び撮影複製などの一般的な攻撃手段を防ぎ、それにより詐欺行為の判別を助け、ユーザの利益を保障することができる。
【0036】
本願の実施例では、前記生体検出方法は顔の利用が必要である様々なシーンに適用することができる。例えば、前記生体検出方法はセキュリティ分野に適用することができ、セキュリティ分野のセキュリティ機器は安全確保のために顔を検証する際に、本願の実施例の提供する生体検出方法によって、現在収集した画像が生きている人間から収集した画像であるかどうかを判定することができる。
【0037】
例えば、セキュリティ分野の入退室機器は、顔画像を収集し、又は他の収集機器から顔画像を受信した後、本願の実施例が提供する方法を用いて生体検証を行い、生体検証をパスした場合、現在収集された画像が実際の本人から収集されたと判定し、さらに顔検証及び／又は虹彩検証などの他の生体特徴検証技術によりセキュリティ検証を行い、生体特徴の結果の正確性を確保し、それによってセキュリティ分野の安全性を確保する。本願の実施例が提供する方法を採用すれば、一つの画像などに基づいて画素レベルの偽造物検証を行い、生体検証を短時間で完了し、検証の速度を高め、遅延を削減することができる。
【0038】
また例えば、移動端末などの端末機器は決済時に、決済の安全性を確保するために、生体特徴を参照して決済検証を行うことができるが、偽造物によるなりすましによって生体特徴の検証をパスする不正行為を抑止するために、移動端末などで、本願の実施例における生体検証も行い、該移動端末は画像を収集してから、本願の生体検証を自律的に実行し、それにより偽造物によるなりすましのリスクを低減することができ、一方、本願の実施例が提供する生体検証方法を用いて生体検証を行えば、収集すべき画像が少なく検証速度が速いという利点を得ることができる。
【0039】
上述したように、このような、顔運動に基づく生体検出方法は一回当たりの検出においてかかる時間が長いため、顔認識システムの全体的な効率が低下する。
【0040】
生体検出方法の実行主体は上記生体検出装置であってもよく、例えば、生体検出方法は端末機器又はサーバ又は他の処理機器によって実行してもよく、ここで、端末機器はユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話機、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルド機器、計算機器、車載機器、ウェアラブル機器などであってもよい。いくつかの可能な実施形態では、該生体検出方法はプロセッサによってメモリに記憶されたコンピュータ可読命令を呼び出すように実現してもよい。
【0041】
本願の実施例は主に、１フレームの画像による生体検出における技術的課題を解決できる。ここで、上記処理待ち画像は１フレームの画像であってもよいし、カメラにより収集された画像、例えば端末機器のカメラにより撮影された写真、又は端末機器のカメラにより撮影されたビデオにおける１フレームの画像などであってもよく、本願の実施例は処理待ち画像を取得する方式及び実施例の具体的な実施形態を限定しない。
【0042】
本願の実施例で記載される１フレームの画像は、１つの静止画であり、その連続したフレームにより動画、例えばテレビのビデオなどの効果が形成される。一般に、フレーム数とは、簡単に言えば、１秒間で伝送される画像のフレーム数であり、またグラフィックス処理装置が１秒毎にリフレッシュ可能な回数と解されてもよく、通常ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）で表される。高いフレームレートで、よりスムーズでより鮮明な動画を得ることができる。
【0043】
一可能な実施形態では、上記処理待ち画像をニューラルネットワークに入力して処理し、上記処理待ち画像における各画素点が偽造物に対応する確率を出力するようにしてもよい。訓練後の畳み込みニューラルネットワークに基づいて処理待ち画像を処理してもよく、ここで、上記畳み込みニューラルネットワークは任意のエンドツーエンド、ポイントツーポイントの畳み込みニューラルネットワークであってもよく、完全教師あり学習用のセマンティックセグメンテーションネットワークを含む既存のセマンティックセグメンテーションネットワークであってもよい。
【0044】
一実施形態では、画素レベルのラベルを有するサンプルデータを使用して上記畳み込みニューラルネットワークを訓練してもよい。訓練後の上記畳み込みニューラルネットワークは、入力される１フレームの画像において、１画素点ずつにそれが偽造物に属する確率を予測することができる。
【0045】
いくつかの実施例では、サンプルデータは、偽造物からのサンプルデータである第１タイプのデータ、及び本人の撮影画像としての非偽造物データである第２タイプのデータを含む。これらのサンプルデータは画像データであり、画像データにおける画素にはいずれもラベルが付けられており、このようなラベルは画素レベルのラベルである。
【0046】
ここで、上記複数の画素点は処理待ち画像の全て又は一部の画素点であってもよく、本願の実施例はこれを限定しない。本願の実施例における生体検出装置は処理待ち画像における画素点を認識し、該処理待ち画像の複数の画素点が偽造物に対応する確率を予測することができる。上記処理待ち画像は顔が含まれる画像であってもよい。
【0047】
いくつかの実施例では、生体検出装置の入力は顔が含まれる上記処理待ち画像であってもよく、出力は上記処理待ち画像の複数の画素点が偽造物に対応する確率であってもよく、上記複数の画素点が偽造物に対応する確率は確率行列の形であってもよく、つまり、該処理待ち画像の画素点の確率行列を得ることができ、該確率行列は上記処理待ち画像における複数の画素点が偽造物に対応する確率を示すことができる。上記処理待ち画像の複数の画素点が偽造物に対応する確率を得た後、ステップ１０２を実行できる。
【0048】
１０２で、上記処理待ち画像における予測顔領域を特定する。いくつかの実施例では、顔認識アルゴリズムによって、画像における顔を検出して顔のキー特徴点を位置特定してから、その中の主な顔領域を特定するようにてもよい。上記顔領域は該処理待ち画像において顔が存在する領域と解されてもよい。
【0049】
本願の実施例では顔キーポイント検出アルゴリズムに基づいて上記処理待ち画像における予測顔領域を特定することができる。一実施形態では、上記処理待ち画像に対して顔キーポイント検出を行い、キーポイント予測情報を得て、さらに上記キーポイント予測情報に基づき、上記処理待ち画像における予測顔領域を特定するようにしてもよい。いくつかの実施例では、顔キーポイント検出によって上記処理待ち画像における顔のキーポイントを得てその凸包を求めることができ、この凸包はおおよその顔領域とすることができる。
【0050】
実数ベクトル空間Ｖにおいて、所与の集合Ｘに関して、Ｘを含む全ての凸集合の共通部分ＳはＸの凸包と呼ばれる。Ｘの凸包はＸ内の全ての点（Ｘ１、…Ｘｎ）の凸結合で構成することが可能である。一般的に言えば、二次元平面上の点集合が与えられた場合、凸包は最外層の点を連結してなる凸多角形と解されてもよく、それは、点集合内の全ての点を包含することができ、処理待ち画像において、ボックスで囲まれる顔領域と表現されてもよい。上記顔キーポイント検出アルゴリズムは、平面上の複数の点を入力しそれらの凸包を出力する任意のアルゴリズム、例えば回転キャリパー法、Ｇｒａｈａｍスキャン法及びＪａｒｖｉｓステップ法などのアルゴリズムであってもよく、またＯｐｅｎＣＶにおける関連アルゴリズムを含んでもよい。
【0051】
ＯｐｅｎＣＶはＢＳＤライセンス（オープンソース）に基づいて発行されるクロスプラットフォームのコンピュータビジョンライブラリであり、Ｌｉｎｕｘ、Ｗｉｎｄｏｗｓ、Ａｎｄｒｏｉｄ及びＭａｃ ＯＳオペレーティングシステムにおいて動作可能である。それは軽量で高効率であり、一連のＣ関数及び少しのＣ＋＋クラスからなるとともに、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ＭＡＴＬＡＢなどの言語のインタフェースを提供し、画像処理及びコンピュータビジョンの面での多数の共通アルゴリズムを実現している。
【0052】
いくつかの実施例では、上記処理待ち画像に対して顔キーポイント検出を行い、キーポイント予測情報を得る前に、上記方法はさらに、上記処理待ち画像に対して顔検出を行い、上記処理待ち画像における顔ボックス領域を得るステップを含み、上記処理待ち画像に対して顔キーポイント検出を行い、キーポイント予測情報を得る上記ステップは、上記顔ボックス領域の画像に対して顔キーポイント検出を行い、キーポイント予測情報を得るステップを含んでもよい。
【0053】
いくつかの顔キーポイント検出アルゴリズムでは、顔の外部輪郭及び器官を特定する必要がある。本願の実施例では、顔を高い正確度で位置特定することができるため、上記顔キーポイントを得る前に、まず顔検出（高い正確度が要求されるが、任意の有用な顔検出アルゴリズムでも可能である）を行って顔の輪郭枠、即ち上記顔ボックス領域を得て、さらに該顔ボックス領域を入力として顔キーポイント検出を行い、上記キーポイント予測情報を得てから、予測顔領域を特定するようにしてもよい。
【0054】
本願の実施例ではキーポイントの数を限定せず、顔の輪郭をマークできればよい。
【0055】
いくつかの可能な実施形態では、処理待ち画像に対して顔検出を行い、上記処理待ち画像における予測顔領域を得るようにしてもよい。
【0056】
いくつかの実施例では、顔分割の方法に基づいて顔検出を行い、上記処理待ち画像における予測顔領域を特定するようにしてもよい。本願の実施例では、顔領域の正確度が厳しく要求されていないため、顔領域を大まかに特定可能な関連アルゴリズムであれば上記予測顔領域の特定に用いられることができ、本願の実施例はこれを限定しない。
【0057】
処理待ち画像の複数の画素点が偽造物に対応する確率を得て、及び上記処理待ち画像における予測顔領域を特定した後、ステップ１０３を実行できる。１０３で、上記処理待ち画像の複数の画素点が偽造物に対応する確率及び上記予測顔領域に基づき、上記処理待ち画像の生体検出結果を得る。
【0058】
上記得られた複数の画素点が偽造物に対応する確率及び得られた顔のおおよその位置（予測顔領域）に基づいて総合的に分析することで、処理待ち画像における顔の真偽を判断することができる。ここで、上記複数の画素点が偽造物に対応する確率に基づいて確率分布図を生成でき、上記確率分布図は、処理待ち画像において画素点が偽造物に対応する確率を示す画像と解されてもよく、比較的直感的であり、それに踏まえて、上記予測顔領域と組み合わせて、該予測顔領域における画素点が偽造物に対応する確率を特定し、それによって生体検出における判定を行うようにしてもよい。ここで、予め設定された閾値によって画素点を判定してもよい。
【0059】
一可能な実施形態では、上記複数の画素点の位置情報及び上記予測顔領域に基づき、上記複数の画素点から上記予測顔領域に含まれる少なくとも２つの画素点を特定し、そして上記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、上記処理待ち画像の生体検出結果を判定するようにしてもよい。
【0060】
いくつかの実施例では、処理待ち画像における画素点の位置が特定されてもよく、生体検出装置はその中の各画素点の位置情報を特定し、さらに上記画素点の位置情報及び上記予測顔領域に基づき、画素点と該予測顔領域との相対位置を判断し、それによって該予測顔領域内の画素点をさらに特定することができ、つまり、上記予測顔領域に含まれる少なくとも２つの画素点を特定することができ、それはＰとしてもよく、予測顔領域の画素点の総数であってもよい。上記少なくとも２つの画素点の各々が偽造物に対応する確率に基づいて生体検出結果を判定できることは、予測顔領域内の画素点について、それが偽造物に対応する確率が高ければ高いほど、確率が高い画素点が多ければ多いほど、生体検出結果が偽造物である可能性が高くなり、逆であれば、生体検出結果が生体である可能性が高くなると解されてもよい。
【0061】
さらに、上記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、上記処理待ち画像の生体検出結果を判定する上記ステップは、上記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、上記少なくとも２つの画素点のうちの少なくとも１つの偽造物画素点を特定するステップと、上記少なくとも１つの偽造物画素点が上記少なくとも２つの画素点に占める割合に基づき、上記処理待ち画像の生体検出結果を判定するステップと、を含む。
【0062】
いくつかの実施例では、処理待ち画像の各画素点が偽造物に対応する確率が得られており、また予測顔領域に含まれる少なくとも２つの画素点も特定されているため、該少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、上記少なくとも２つの画素点のうちの少なくとも１つの偽造物画素点を特定することができ、上記偽造物画素点は偽造物であると判定された画素点と解されてもよい。
【0063】
ここで、偽造物画素点は確率と予め設定された閾値との比較に基づいて判定してもよい。一般的には、偽造物画素点が予測顔領域の画素点に占める割合が高ければ高いほど、生体検出の結果が偽造物であると判定される可能性が高くなる。
【0064】
いくつかの実施例では、該生体検出装置に予め設定された閾値λ１が記憶されてもよく、上記少なくとも２つの画素点のうち偽造物に対応する確率が予め設定された閾値λ１より高い画素点の数を得てもよく、つまり、偽造物画素点はＱとしてもよい。
【0065】
上記偽造物画素点を特定した後、上記少なくとも１つの偽造物画素点が上記少なくとも２つの画素点に占める割合Ｑ／Ｐを算出することができ、上記割合を特定した後、上記処理待ち画像の生体検出結果を判定できる。
【0066】
いくつかの実施例では、上記少なくとも１つの偽造物画素点が上記少なくとも２つの画素点に占める割合に基づき、上記処理待ち画像の生体検出結果を判定する上記ステップは、上記割合が第１閾値以上であることに応答し、上記処理待ち画像の生体検出結果が偽造物であると判定するステップを含む。
【0067】
いくつかの他の実施例では、上記割合が上記第１閾値未満であることに応答し、上記処理待ち画像の生体検出結果が生体であると判定する。
【0068】
いくつかの実施例では、上記第１閾値λ２が予め設定されていてもよく、該生体検出装置には上記第１閾値λ２が記憶されていてもよく、それは１画素ずつに分析して生体検出における判定を行うために、つまり上記割合Ｑ／Ｐと第１閾値λ２の大きさを比較することで、処理待ち画像における顔が偽造物であるかどうかを分析するために用いられる。一般的には、上記割合Ｑ／Ｐが高ければ高いほど、生体検出結果が偽造物である可能性が高くなる。
【0069】
割合Ｑ／Ｐが第１閾値λ２以上である場合、上記処理待ち画像の生体検出結果が偽造物であると判定でき、割合Ｑ／Ｐが第１閾値λ２未満である場合、上記処理待ち画像の生体検出結果が生体であると判定できる。
【0070】
本願の実施例において画素点の判定に使用される各閾値は予め設定されてもよく、実情に応じて決定されてもよく、修正及び増減が加えられてもよく、本願の実施例はこれを限定しない。
【0071】
一可能な実施形態では、上記処理待ち画像の生体検出結果は、該処理待ち画像における顔が生体であるか、それとも偽造物であるかという結果を含み、上記生体検出結果を得た後、上記生体検出結果を出力できる。
【0072】
一実施形態では、該方法はさらに、前記複数の画素点が偽造物に対応する確率に基づいて特定された少なくとも１つの偽造物画素点を表示するステップを含む。
【0073】
一実施形態では、該方法はさらに、前記複数の画素点が偽造物に対応する確率に基づいて特定された少なくとも１つの偽造物画素点の情報を表示用に出力するステップを含む。
【0074】
いくつかの実施例では、生体検出装置は、上記少なくとも１つの偽造物画素点を表示してもよく、上記複数の画素点が偽造物に対応する確率に基づいて特定された少なくとも１つの偽造物画素点の情報を出力するように、生体検出結果を表示してもよく、上記情報は上記偽造物画素点を表示するために用いることができ、つまり、偽造物画素点を表示するために上記情報を他の端末機器へ伝送することができる。偽造物画素点を表示又はマークすることで、毎回の判定の根拠となる画像内の実際の領域が直感的に見られるため、検出結果の解釈可能性がより高い。
【0075】
具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならず、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
【0076】
本願の実施例では、処理待ち画像を処理し、上記処理待ち画像の複数の画素点が偽造物に対応する確率を得て、上記処理待ち画像における予測顔領域を特定し、さらに上記処理待ち画像の複数の画素点が偽造物に対応する確率及び上記予測顔領域に基づき、上記処理待ち画像の生体検出結果を得ることができ、複眼カメラ、３Ｄ構造化光学などの余分のハードウェア機器を必要とせず、単眼カメラが１つだけである場合にも１フレームの画像による生体検出の精度を大幅に向上させることができ、適応性がより高く、検出コストが削減される。
【0077】
図２は本願の実施例で開示される別の生体検出方法のフローチャートであり、図２は図１のもとにさらに最適化したものである。本願の実施例のステップを実行する主体は前述した生体検出装置であってもよい。図２に示すように、該生体検出方法は以下のステップを含む。２０１で、ニューラルネットワークを用いて処理待ち画像を処理し、上記処理待ち画像における各画素点が偽造物に対応する確率を出力する。
【0078】
訓練後のニューラルネットワークは処理待ち画像における各画素点が偽造物に対応する確率を得る。いくつかの実施例では、処理待ち画像のサイズＭ×Ｎを得て、ニューラルネットワークに基づいて顔が含まれる処理待ち画像を処理するようにしてもよく、Ｍ×Ｎ次確率行列を出力してもよく、上記Ｍ×Ｎ次確率行列内の要素は上記処理待ち画像における各画素点が偽造物に対応する確率をそれぞれ示すことができ、ここで、上記Ｍ及びＮは１より大きい整数である。
【0079】
本願の実施例における画像サイズの長さと幅は画素を単位としてもよく、画素及び解像度画素はデジタル映像の最も基本的な単位であり、各画素は１つの小さな点であり、異なる色の点（画素）が集まったら画像となる。画像の解像度は多数の端末機器に選択可能な撮像大きさ及びサイズであり、ｄｐｉを単位とする。一般的な解像度は６４０×４８０、１０２４×７６８、１６００×１２００、２０４８×１５３６が挙げられる。撮像での２群の数字のうち、前者は画像の幅であり、後者は画像の高さであり、両者を乗算して得られたのは画像の画素である。
【0080】
本願の実施例は主に、１フレームの画像による生体検出における技術的課題を解決する。ここで、上記処理待ち画像は１フレームの画像であってもよいし、カメラにより収集された画像、例えば端末機器のカメラにより撮影された写真、又は端末機器のカメラにより撮影されたビデオにおける１フレームの画像などであってもよい。
【0081】
いくつかの実施例では、処理待ち画像を処理する上記ステップの前に、上記方法はさらに、単眼カメラにより収集された上記処理待ち画像を取得するステップを含む。
【0082】
本願の実施例は処理待ち画像を取得する方式及び実施例の具体的な実施形態を限定しない。
【0083】
本願の実施例で記載される１フレームの画像は、１つの静止画であり、その連続したフレームにより動画、例えばテレビビデオなどの効果が形成される。一般に、フレーム数とは、簡単に言えば、１秒間で伝送される画像のフレーム数であり、またグラフィックス処理装置が１秒毎にリフレッシュ可能な回数と解されてもよく、通常ｆｐｓで表される。高いフレームレートで、よりスムーズでより鮮明な動画を得ることができる。
【0084】
本願の実施例は訓練後の畳み込みニューラルネットワークに基づいて顔が含まれる処理待ち画像を処理することができ、ここで、上記畳み込みニューラルネットワークは任意のエンドツーエンド、ポイントツーポイントの畳み込みニューラルネットワークであってもよく、完全教師あり学習用のセマンティックセグメンテーションネットワークを含む既存のセマンティックセグメンテーションネットワークであってもよい。
【0085】
一実施形態では、画素レベルのラベルを有するサンプルデータを使用して上記畳み込みニューラルネットワークを訓練してもよく、画像レベルのラベルを有するデータを使用する従来の方法に比べ、同じ精度を達成するために必要なデータ量を大幅に減らすことができる。訓練後の畳み込みニューラルネットワークは、入力される１フレームの画像において１画素点ずつにそれが偽造物に対応する確率を予測することができる。
【0086】
本願の実施例の生体検出方法の実行主体は生体検出装置であってもよく、例えば、端末機器又はサーバ又は他の処理機器によって実行してもよく、ここで、端末機器はユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話機、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルド機器、計算機器、車載機器、ウェアラブル機器などであってもよい。いくつかの可能な実施形態では、該生体検出方法はプロセッサによってメモリに記憶されたコンピュータ可読命令を呼び出すように実現してもよく、本願の実施例はこれを限定しない。
【0087】
本願の実施例において上記生体検出装置は処理待ち画像のサイズＭ×Ｎを認識し、畳み込みニューラルネットワークによって顔が含まれる上記処理待ち画像を処理し、上記処理待ち画像における各画素点が偽造物に対応する確率を予測することができ、対応するＭ×Ｎ次確率行列の形で出力することができ、これは、上記Ｍ×Ｎ次確率行列内の要素が処理待ち画像における各画素点が偽造物に対応する確率をそれぞれ示すと解されてもよく、ここで、上記Ｍ及びＮは１より大きい整数である。
【0088】
本開示の実施例では、上記畳み込みニューラルネットワークに基づいて確率分布図をさらに生成でき、上記確率分布図は処理待ち画像において各画素点が偽造物に対応する確率を示す画像と解されてもよく、比較的直感的であり、生体検出における判定を容易にすることもできる。
【0089】
いくつかの実施例では、上記畳み込みニューラルネットワークはミニバッチ確率的勾配降下アルゴリズム及び学習率減衰方法に基づいて訓練して得られてもよく、また類似する役割を果たす最適化アルゴリズムで代替してもよく、ネットワークモデルが訓練中に収束可能なように保証すればよく、本願の実施例は訓練アルゴリズムを限定しない。
【0090】
勾配降下（Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）は反復法の１つであり、最小二乗の問題（線形及び非線形のどちらでもよい）を解くために用いることができる。機械学習アルゴリズムのモデルパラメータを求める問題、即ち制約のない最適化問題を解く場合、勾配降下は最も一般的な方法の１つである。損失関数の最小値を求める時に、勾配降下法によって段階的に反復して求めて、最小化された損失関数及びモデルパラメータ値を得ることができる。機械学習において、基本的な勾配降下法に基づいて２つの勾配降下方法が拡張されており、それぞれ確率的勾配降下（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＳＧＤ）法及びハッチ勾配降下（Ｂａｔｃｈ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＢＧＤ）法である。
【0091】
本願の実施例におけるミニバッチ勾配降下（Ｍｉｎｉ－Ｂａｔｃｈ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＭＢＧＤ）は、バッチ勾配降下と確率的勾配降下を折衷した方法である。その原理として、毎回の反復に「ｂａｔｃｈ＿ｓｉｚｅ」個のサンプルを繰り返して使用してパラメータを更新することである。該方法は、行列によって演算し、毎回１つのｂａｔｃｈでニューラルネットワークのパラメータを最適化するのは、一つのデータによる最適化よりそれほど遅くない。それに対し、毎回１つのｂａｔｃｈを使用すれば収束に必要な反復回数を大幅に低減するとともに、収束によって得られた結果を勾配降下による効果に近づけることができる。
【0092】
学習率（Ｌｅａｒｎｉｎｇ ｒａｔｅ）は教師あり学習及び深層学習における重要なパラメータとして、目標関数が局所最小値に収束可能かどうか、及びいつ最小値に収束するかを決定するものである。適当な学習率は目標関数を適当な期間内で局所最小値に収束させることができる。
【0093】
一実施形態では、上記学習率減衰方法において調整可能なパラメータは、初期学習率（例えば０．００５とする）、及び減衰多項式のべき乗（例えば０．９とする）を含み、勾配降下アルゴリズムにおいて調整可能なのは、運動量（例えば０．５とする）、及び、重み値減衰パラメータ（例えば０．００１とする）を含む。上記パラメータは訓練及び適用の実情に応じて設定及び修正してもよく、本願の実施例は訓練プロセスの具体的なパラメータ設定を限定しない。
【0094】
２０２で、上記処理待ち画像における予測顔領域を特定する。
【0095】
上記ステップ２０２は図１に示す実施例におけるステップ１０２の具体的な説明を参照すればよく、ここでは説明を省略する。
【0096】
予測顔領域を特定し、上記処理待ち画像における各画素点が偽造物に対応する確率を得た後、ステップ２０３を実行できる。
【0097】
２０３で、上記各画素点の位置情報及び上記予測顔領域に基づき、上記各画素点から上記予測顔領域に含まれる少なくとも２つの画素点を特定する。
【0098】
いくつかの実施例では、処理待ち画像における画素点の位置が特定されてもよく、生体検出装置は、その中の各画素点の位置情報を特定し、さらに上記画素点の位置情報及び上記予測顔領域に基づき、画素点と該予測顔領域との相対位置を判断し、該予測顔領域内の画素点をさらに特定することができ、つまり、上記予測顔領域に含まれる少なくとも２つの画素点を特定することができ、それはＰとしてもよく、予測顔領域の画素点の総数であってもよい。その後、ステップ２０４を実行できる。
【0099】
２０４で、上記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、上記少なくとも２つの画素点のうちの少なくとも１つの偽造物画素点を特定する。
【0100】
いくつかの実施例では、処理待ち画像の各画素点が偽造物に対応する確率が得られており、また予測顔領域に含まれる少なくとも２つの画素点も特定されているため、該少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、上記少なくとも２つの画素点のうちの少なくとも１つの偽造物画素点を特定することができ、上記偽造物画素点は偽造物であると判定された画素点と解されてもよい。
【0101】
ここで、偽造物画素点は確率と予め設定された閾値との比較に基づいて判定してもよい。該生体検出装置には予め設定された閾値λ１が記憶されていてもよく、上記少なくとも２つの画素点のうち偽造物に対応する確率が予め設定された閾値λ１より大きい画素点の数を得てもよく、つまり偽造物画素点の数はＱとしてもよい。
【0102】
上記少なくとも２つの画素点のうちの少なくとも１つの偽造物画素点を特定した後、ステップ２０５を実行できる。
【0103】
２０５で、上記少なくとも１つの偽造物画素点が上記少なくとも２つの画素点に占める割合を特定する。さらに、上記偽造物画素点を特定した後、上記少なくとも１つの偽造物画素点が上記少なくとも２つの画素点に占める割合Ｑ／Ｐ、即ち予測顔領域において偽造物画素点が占める割合を算出できる。上記割合を特定した後、ステップ２０６及び／又はステップ２０７を実行できる。
【0104】
２０６で、上記割合が第１閾値以上であることに応答し、上記処理待ち画像の生体検出結果が偽造物であると判定する。本願の実施例では上記第１閾値λ２が予め設定されていてもよく、該生体検出装置には上記第１閾値λ２が記憶されていてもよく、それは１画素ずつに分析して生体検出における判定を行うために、つまり上記割合Ｑ／Ｐが第１閾値λ２より大きくなるかどうかを判断することで、処理待ち画像における顔が偽造物であるかどうかを分析するために用いられる。割合Ｑ／Ｐが第１閾値λ２以上である場合、予測顔領域において偽造物画素点と判定された画素点が占める割合が高く、上記処理待ち画像の生体検出結果が偽造物であると判定でき、かつ上記生体検出結果を出力できる。割合Ｑ／Ｐが第１閾値λ２より小さい場合、予測顔領域において偽造物画素点と判定された画素点が占める割合が低く、ステップ２０７を実行でき、つまり上記処理待ち画像の生体検出結果が生体であると判定できる。
【0105】
さらに、上記処理待ち画像における顔が偽造物であると判定した後、警告情報を出力するか、又は所定の端末機器に上記警告情報を送信することで、ユーザに顔認識中に偽造物が検出されたと注意を促し、顔認識の安全性を保証することができる。
【0106】
２０７で、上記割合が上記第１閾値より小さいことに応答し、上記処理待ち画像の生体検出結果が生体であると判定する。
【0107】
別の実施形態では、該方法はさらに、
前記少なくとも２つの画素点が偽造物に対応する確率に対して平均処理を行い、確率平均値を得るステップと、
前記確率平均値に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む。
前記少なくとも２つの画素点が偽造物に対応する確率に対して平均処理を行い、確率平均値を得るステップと、
前記確率平均値に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含む。
【0108】
いくつかの実施例では、同様に、上記少なくとも２つの画素点が偽造物に対応する確率に対して平均処理を行い、確率平均値、即ち該予測顔領域内の各画素点が偽造物に属する確率の平均値Ｒを得るようにしてもよい。
【0109】
いくつかの実施例では、該生体検出装置には目標閾値λ３が予め設定して記憶されていてもよく、さらに、上記確率平均値Ｒが目標閾値λ３より大きくなるかどうかを判断することで、生体検出における判定を行うことができる。上記確率平均値Ｒが目標閾値λ３より大きい場合、該顔の画素点が偽造物に属する確率が相対的に高く、上記処理待ち画像の生体検出結果が偽造物であると判定でき、上記確率平均値Ｒが目標閾値λ３以下である場合、該顔の画素点が偽造物に属する確率が相対的に低く、上記処理待ち画像の生体検出結果が生体であると判定できる。
【0110】
さらに別の実施形態では、前記処理待ち画像の複数の画素点が偽造物に対応する確率及び前記予測顔領域に基づき、前記処理待ち画像の生体検出結果を得る上記ステップは、前記処理待ち画像の複数の画素点が偽造物に対応する確率に基づき、前記処理待ち画像の偽造物領域を特定するステップと、前記偽造物領域及び前記予測顔領域の位置に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を含んでもよい。
【0111】
上記偽造物領域は処理待ち画像において偽造物に対応する確率が相対的に高い画素点が集まった領域と解されてもよい。いくつかの実施例では、生体検出装置には第２閾値λ４が記憶されていてもよく、複数の画素点が偽造物に対応する確率と第２閾値λ４とを比較し、該第２閾値λ４以上である画素点が存在する領域を偽造物領域と判定することができ、さらに、主に両者の重畳度合いを確認するように、偽造物領域と予測顔領域の位置を比較し、生体検出結果を判定することができる。
【0112】
いくつかの実施例では、上記偽造物領域及び上記予測顔領域の位置に基づき、上記偽造物領域と上記予測顔領域との重畳領域を特定し、そして上記重畳領域が上記予測顔領域に占める割合に基づき、上記処理待ち画像の生体検出結果を判定するようにしてもよい。
【0113】
上記偽造物領域と上記予測顔領域の位置対照によって、上記偽造物領域と上記予測顔領域との重畳領域を特定し、さらに該重畳領域が上記予測顔領域に占める割合ｎを算出することができ、それは該重畳領域の面積が該予測顔領域の面積を占める比率であってもよく、該割合ｎによって処理待ち画像の生体検出結果を判定でき、一般的には、該割合ｎが高ければ高いほど、検出結果が偽造物である可能性が高くなる。いくつかの実施例では、生体検出装置には第３閾値λ５が記憶されていてもよく、上記割合ｎと第３閾値λ５を比較し、上記割合ｎが第３閾値λ５以上である場合、上記処理待ち画像の生体検出結果が偽造物であると判定し、上記割合ｎが第３閾値λ５より小さい場合、上記処理待ち画像の生体検出結果が生体であると判定することができる。
【0114】
本願の実施例において画素点の判定に使用される各閾値は予め設定されても、実情に応じて決定されてもよく、かつ修正及び増減が加えられてもよく、本願の実施例はこれを限定しない。
【0115】
図３に示すニューラルネットワークによる処理プロセスの模式図を参照すると、図中、画像Ａは処理待ち画像であり、具体的には顔が含まれる画像であり、顔認識中に生体検出が必要であり、Ｂプロセスは本願の実施例における訓練後のニューラルネットワークを用いて、入力される画像Ａを畳み込むことを表し、ここで、白枠は畳み込み層において特徴抽出プロセスを行った複数の特徴マップと解されてもよく、ニューラルネットワークによる処理プロセスは図１、図２における関連説明を参照すればよく、ここでは説明を省略する。ニューラルネットワークによって画像Ａを１画素点ずつに予測することで、予測顔領域、及び特定された画像における各画素点が偽造物に対応する確率を含んでもよい画像Ｃを出力でき、つまり生体検出結果（偽造物又は生体）を得ることができる。生体検出結果が偽造物である場合、画像Ｃに示す予測顔領域は偽造物領域（画像Ｃ中部の浅色領域）となり、その中に含まれる確率判断用の画素点は上記偽造物画素点と呼ばれてもよく、隅部の黒色領域はおおむね画像背景と判定された部分であり、生体検出への影響が小さい。上記ニューラルネットワークに基づく処理対象の入力画像の処理では、その出力結果からも判定の根拠となる画像における実際の領域が直感的に見られ、その生体検出結果がより高い解釈可能性を有する。
【0116】
具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならず、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
【0117】
本願の実施例は顔認識システムの一部として、システムに入力される顔の真偽を判定し、全顔認識システムの安全を保障することができる。いくつかの実施例では、監視システム又は出退勤システムなどの顔認識シーンに用いられてもよく、画像における顔が偽造物に属する確率を直接予測する方法に比べ、画素点に基づく確率分析は生体検出の精度が向上し、しかも、単眼カメラ及び１フレームの画像の検出に適し、適応性が高く、複眼カメラ、３Ｄ構造化光などのハードウェア機器を用いた生体検出と比べてコストが削減される。画素レベルのラベルを有するサンプルデータを使用して畳み込みニューラルネットワークを訓練することは、一般的な、画像レベルのラベルを有するデータを使用することに比べ、同じ精度を達成するために必要なデータ量が１から２桁減らされ、生体検出の精度を向上させた上で訓練に必要なデータ量が低減され、処理効率が向上する。
【0118】
本願の実施例はニューラルネットワークを用いて処理待ち画像を処理することで、上記処理待ち画像における各画素点が偽造物に対応する確率を出力し、上記処理待ち画像における予測顔領域を特定し、上記各画素点の位置情報及び上記予測顔領域に基づき、上記各画素点から上記予測顔領域に含まれる少なくとも２つの画素点を特定し、さらに上記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、上記少なくとも２つの画素点のうちの少なくとも１つの偽造物画素点を特定し、その後、上記少なくとも１つの偽造物画素点が上記少なくとも２つの画素点に占める割合を特定し、上記割合が第１閾値以上であることに応答し、上記処理待ち画像の生体検出結果が偽造物であると判定し、上記割合が上記第１閾値より小さいことに応答し、上記処理待ち画像の生体検出結果が生体であると判定しており、複眼カメラ、３Ｄ構造化光学などの余分のハードウェア機器を必要とせず、単眼カメラが１つだけである場合にも、１画素点ずつに予測することで、１フレームの画像の生体検出の精度を大幅に向上させることができ、適応性がより高く、検出コストが削減される。
【0119】
以上の記述は主に方法の実行プロセスの点から本願の実施例の解決手段を説明した。なお、生体検出装置は上記機能を実現するために、各機能を実行する対応するハードウェア構造及び／又はソフトウェアモジュールを含んでいることが理解される。当業者であれば、本願は、本明細書に開示される実施例に記載の各例のユニット及びアルゴリズムステップを組み合わせ、ハードウェア又はハードウェアとコンピュータソフトウェアの組み合わせという形で実現可能であることを容易に認識できる。ある機能はハードウェアで実行するか、それともコンピュータソフトウェアでハードウェアを駆動するように実行するかは、技術的解決手段の特定の用途及び設計上の制約条件によって決められる。専門技術者であれば、特定の用途に向けて異なる方法を使用して、記載の機能を実現できるが、このような実現は本願の範囲を超えたものであると理解すべきではない。
【0120】
本願の実施例は上記方法が例示するように生体検出装置の機能ユニットを分割でき、例えば、各機能に対応して各機能ユニットを分割してもよく、２つ以上の機能を１つの処理ユニットに統合してもよい。上記統合されたユニットはハードウェアの形で実現してもよく、ソフトウェア機能ユニットの形で実現してもよい。説明すべきは、本願の実施例におけるユニットの分割は例示的なもので、論理機能の分割にすぎず、実際に実現する場合に別の形態で分割してもよいことである。
【0121】
図４は本願の実施例で開示される生体検出装置の構成模式図である。図４に示すように、該生体検出装置３００は、処理待ち画像を処理し、前記処理待ち画像の複数の画素点が偽造物に対応する確率を得るための画素予測モジュール３１０と、前記処理待ち画像における予測顔領域を特定するための顔検出モジュール３２０と、前記処理待ち画像の複数の画素点が偽造物に対応する確率及び前記予測顔領域に基づき、前記処理待ち画像の生体検出結果を得るための前記分析モジュール３３０と、を含む。
【0122】
いくつかの実施例では、前記画素予測モジュール３１０は、前記処理待ち画像を畳み込みニューラルネットワークに入力して処理し、前記処理待ち画像における各画素点が偽造物に対応する確率を得るために用いられる。
【0123】
いくつかの実施例では、上記畳み込みニューラルネットワークは、画素レベルのラベルを有するサンプルデータに基づいて訓練して得られる。
【0124】
いくつかの実施例では、前記分析モジュール３３０は、前記複数の画素点の位置情報及び前記予測顔領域に基づき、前記複数の画素点から前記予測顔領域に含まれる少なくとも２つの画素点を特定するための第１ユニット３３１と、前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記処理待ち画像の生体検出結果を判定するための第２ユニット３３２と、を含む。
【0125】
いくつかの実施例では、前記第２ユニット３３２は、前記少なくとも２つの画素点の各々が偽造物に対応する確率に基づき、前記少なくとも２つの画素点のうちの少なくとも１つの偽造物画素点を特定するステップと、前記少なくとも１つの偽造物画素点が前記少なくとも２つの画素点に占める割合に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を実行するために用いられる。
【0126】
一実施形態では、前記第２ユニット３３２は、前記割合が第１閾値以上であることに応答し、前記処理待ち画像の生体検出結果が偽造物であると判定するために、及び／又は、前記割合が前記第１閾値未満であることに応答し、前記処理待ち画像の生体検出結果が生体であると判定するために用いられる。
【0127】
いくつかの実施例では、前記第２ユニット３３２は、前記少なくとも２つの画素点が偽造物に対応する確率に対して平均処理を行い、確率平均値を得るステップと、前記確率平均値に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を実行するために用いられる。
【0128】
一実施形態では、前記分析モジュール３３０は、前記処理待ち画像の複数の画素点が偽造物に対応する確率に基づき、前記処理待ち画像の偽造物領域を特定するステップと、前記偽造物領域及び前記予測顔領域の位置に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を実行するために用いられる。
【0129】
いくつかの実施例では、前記分析モジュール３３０は、前記偽造物領域及び前記予測顔領域の位置に基づき、前記偽造物領域と前記予測顔領域との重畳領域を特定するステップと、前記重畳領域が前記予測顔領域に占める割合に基づき、前記処理待ち画像の生体検出結果を判定するステップと、を実行するために用いられる。
【0130】
一可能な実施形態では、該生体検出装置３００はさらに、前記複数の画素点が偽造物に対応する確率に基づいて特定された少なくとも１つの偽造物画素点を表示するための表示モジュール３４０、及び／又は、前記複数の画素点が偽造物に対応する確率に基づいて特定された少なくとも１つの偽造物画素点の情報を表示用に出力するための伝送モジュール３５０を含む。
【0131】
いくつかの実施例では、前記顔検出モジュール３２０は、前記処理待ち画像に対して顔キーポイント検出を行い、キーポイント予測情報を得るステップと、前記キーポイント予測情報に基づき、前記処理待ち画像における予測顔領域を特定するステップと、を実行するために用いられる。
【0132】
いくつかの実施例では、前記顔検出モジュール３２０はさらに、前記処理待ち画像に対して顔検出を行い、前記処理待ち画像における顔ボックス領域を得るために用いられ、前記顔検出モジュール３２０は、前記顔ボックス領域の画像に対して顔キーポイント検出を行い、キーポイント予測情報を得るために用いられる。
【0133】
一実施形態では、前記顔検出モジュール３２０は、前記処理待ち画像に対して顔検出を行い、前記処理待ち画像における予測顔領域を得るために用いられる。
【0134】
一実施形態では、上記生体検出装置３００はさらに、単眼カメラにより収集された前記処理待ち画像を取得するための画像取得モジュール３６０を含む。
【0135】
【0136】
図４に示す生体検出装置３００を実現すれば、生体検出装置３００は処理待ち画像を処理し、上記処理待ち画像の複数の画素点が偽造物に対応する確率を得て、上記処理待ち画像における予測顔領域を特定し、さらに上記処理待ち画像の複数の画素点が偽造物に対応する確率及び上記予測顔領域に基づき、上記処理待ち画像の生体検出結果を得ることができ、複眼カメラ、３Ｄ構造化光学などの余分のハードウェア機器を必要とせず、単眼カメラが１つだけである場合にも１フレームの画像による生体検出の精度を大幅に向上させることができ、適応性がより高く、検出コストが削減される。
【0137】
図５は本願の実施例で開示される電子機器の構成模式図である。図５に示すように、該電子機器４００はプロセッサ４０１及びメモリ４０２を含み、ここで、電子機器４００はさらにバス４０３を含んでもよく、プロセッサ４０１とメモリ４０２はバス４０３を介して互いに接続することができ、バス４０３は周辺構成要素相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バス又は拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってもよい。バス４０３はアドレスバス、データバス、制御バスなどに分けられる。表示の便宜上、図４には１つの太線で表すが、バスが１つだけ又はバスが１タイプだけあるというわけではない。ここで、電子機器４００は、例えば液晶ディスプレイのようなディスプレイを含んでもよい入出力機器４０４を含んでもよい。メモリ４０２はコンピュータプログラムを記憶するために用いられ、プロセッサ４０１はメモリ４０２に記憶されたコンピュータプログラムを呼び出して上記図１及び図２の実施例で記載される一部又は全ての方法ステップを実行するために用いられる。
【0138】
図５に示す電子機器４００を実現すれば、電子機器４００は処理待ち画像を処理し、上記処理待ち画像の複数の画素点が偽造物に対応する確率を得て、上記処理待ち画像における予測顔領域を特定し、さらに上記処理待ち画像の複数の画素点が偽造物に対応する確率及び上記予測顔領域に基づき、上記処理待ち画像の生体検出結果を得ることができ、複眼カメラ、３Ｄ構造化光学などの余分のハードウェア機器を必要とせず、単眼カメラが１つだけである場合にも１フレームの画像による生体検出の精度を大幅に向上させることができ、適応性がより高く、検出コストが削減される。
【0139】
本願の実施例は、コンピュータに上記方法の実施例に記載のいずれかの生体検出方法の一部又は全てのステップを実行させるコンピュータプログラムを記憶するためのコンピュータ記憶媒体をさらに提供する。
【0140】
本願の実施例は、上記方法の実施例に記載のいずれかの生体検出方法の一部又は全てのステップを実行するためのプロセッサにより実行されるように構成されたコンピュータプログラムを含むコンピュータプログラム製品を提供する。
【0141】
説明すべきは、前述した各方法の実施例について、説明の便宜上、いずれも一連の動作の組み合わせとして説明したが、本願によれば、いくつかのステップが他の順序で又は同時に実行されてもよいことから、当業者であれば、本願は記載された動作の順序に限定されないことが理解される点である。次に、当業者であれば、明細書に記載の実施例はいずれも好適な実施例であり、係る動作及びモジュールは必ずしも本願に必須なものではないことも理解すべきである。
【0142】
上記実施例では、各実施例に対する記述が着目している点が異なり、ある実施例において詳細に記述されていない部分は、他の実施例の関連説明を参照すればよい。
【0143】
なお、本願が提供するいくつかの実施例では、開示される装置が他の形態で実現されてもよいことを理解すべきである。例えば、上述した装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニット又はコンポーネントは組み合わせてもよいし、又は別のシステムに統合してもよいし、又は一部の特徴を省略もしくは実行しなくてもよい。また、図示又は説明した各構成要素の結合、又は直接結合、又は通信接続は、いくつかのインタフェース、機器又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。
【0144】
別々の部材として前述したユニット（モジュール）は物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよい。本実施例の解決手段の目的を達成するには、実際の必要に応じて一部又は全てのユニットを選択することができる。
【0145】
また、本願の各実施例における各機能ユニットは全て１つの処理ユニットに統合されてもよいし、それぞれ独立して物理的に存在してもよく、２つ以上で１つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形で実現してもよく、ソフトウェア機能ユニットの形で実現してもよい。
【0146】
前記統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売又は使用される場合、コンピュータ可読メモリに記憶されてもよい。このような見解をもとに、本願の技術的解決手段は実質的に、又は従来技術に寄与する部分、又は該技術的解決手段の全て又は一部がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品はメモリに記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであってもよい）に本願の各実施例に記載の方法の全て又は一部のステップを実行させる複数の命令を含む。前記メモリは、ＵＳＢメモリ、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、ポータブルハードディスク、磁気ディスク又は光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。
【0147】
当業者であれば、上記の実施例の各方法における全て又は一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、該プログラムは、フラッシュディスク、読み取り専用メモリ、ランダムアクセスメモリ、磁気ディスク又は光ディスクなどを含むコンピュータ可読メモリに記憶可能である。
【0148】
以上、本願の実施例を詳細に説明した。本明細書では具体例により本願の原理及び実施形態を説明したが、以上の実施例の説明は本願の方法及びその核心思想に対する理解を助けるためのものにすぎず、同時に、当業者であれば、本願の思想に基づき、具体的な実施形態及び適用範囲を一定程度変更することができ、まとめて言えば、本明細書の内容は本願を限定するものと理解すべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】