特開 2022-105583 顔生体検出方法、装置、電子機器、記憶媒体及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022105583

(43)【公開日】2022-07-14

(54)【発明の名称】顔生体検出方法、装置、電子機器、記憶媒体及びコンピュータプログラム

(51)【国際特許分類】

   G06V 10/56 20220101AFI20220707BHJP

   G06T 7/00 20170101ALI20220707BHJP

   G06T 7/90 20170101ALI20220707BHJP

   G06V 40/16 20220101ALI20220707BHJP

   A61B 5/1171 20160101ALI20220707BHJP

   A61B 5/00 20060101ALI20220707BHJP

【ＦＩ】

G06V10/56

G06T7/00 660A

G06T7/90 C

G06V40/16 Z

A61B5/1171 300

A61B5/1171 200

A61B5/00 101A

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2022078696

(22)【出願日】2022-05-12

(31)【優先権主張番号】202110524896.3

(32)【優先日】2021-05-13

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】王 珂 堯

(72)【発明者】

【氏名】陸 杰

(72)【発明者】

【氏名】李 云 昊

(72)【発明者】

【氏名】岳 海 瀟

(72)【発明者】

【氏名】馮 浩 城

(57)【要約】

【課題】本開示は、顔生体検出方法を開示し、人工知能分野に関し、具体的にコンピュータ視覚及びディープラーニング技術であり、顔認識シーンに適用されるものである。
【解決手段】具体的な手段は、複数の顔画像を含む顔画像シーケンスを取得し、顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得し、人の眼の画像シーケンスに基づいて、複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得し、瞳孔の色の認識結果に応じて、顔画像シーケンスが電子機器の現場で収集された顔画像のシーケンスであることを表し、顔画像シーケンスにおける少なくとも１つの顔画像を用いて、顔生体検出結果を取得する。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数の顔画像を含む顔画像シーケンスを取得することと、
前記顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得することと、
前記人の眼の画像シーケンスに基づいて、前記複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得することと、
前記瞳孔の色の認識結果に応じて、前記顔画像シーケンスが、電子機器が顔認識プロセスを起動した後に現場で収集された顔画像のシーケンスであることを表し、前記顔画像シーケンスにおける少なくとも１つの顔画像を用いて、顔生体検出結果を取得することとを含む顔生体検出方法。

【請求項2】

請求項１に記載の方法であって、
前記顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得しることは、
前記顔画像シーケンスにおける各顔画像に対して、
顔領域検出を行い、目標顔が検出された第１画像を取得し、
前記第１画像に基づいて、前記目標顔のキーポイント座標を特定し、
前記キーポイント座標に基づいて、前記目標顔に対して顔の位置合わせを行い、第２画像を取得し、
前記第２画像に基づいて、前記人の眼の画像シーケンスにおける対応する人の眼の画像を取得するという操作を実行することを含む顔生体検出方法。

【請求項3】

請求項２に記載の方法であって、
前記第２画像に基づいて、前記人の眼の画像シーケンスにおける対応する人の眼の画像を取得することは、
前記第２画像に基づいて、左眼画像及び右眼画像を取得することと、
前記左眼画像と前記右眼画像を重ね合わせ、前記人の眼の画像シーケンスにおける対応する両眼画像を取得することとを含む顔生体検出方法。

【請求項4】

請求項３に記載の方法であって、
前記人の眼の画像シーケンスに基づいて、前記複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得することは、
前記人の眼の画像シーケンスにおける各両眼画像を瞳孔色認識モデルに入力して、対応する瞳孔の色の認識結果を出力することを含む顔生体検出方法。

【請求項5】

請求項１～４のいずれか１項に記載の方法であって、
前記複数の顔画像を含む顔画像シーケンスを取得する前に、
前記電子機器が顔認識プロセスを起動した後の予め設定された時間帯内に所定時間ごとに１種類の色の光を発するように制御され、
前記電子機器が１種類の色の光を発する度に顔画像を１回収集するように制御されることをさらに含む顔生体検出方法。

【請求項6】

請求項５に記載の方法であって、
前記電子機器が顔認識プロセスを起動した後の予め設定された時間帯内に所定時間ごとに１種類の色の光を送信するように制御されることは、
前記電子機器が前記予め設定された時間帯内に前記所定時間ごとに１種類の色の光をランダムに発するように制御されることを含む顔生体検出方法。

【請求項7】

請求項６に記載の方法であって、
前記電子機器が前記予め設定された時間帯内に前記所定時間ごとに１種類の色の光をランダムに発するように制御されることは、
前記電子機器が前記予め設定された時間帯内に前記所定時間ごとに１種類の色の画像をランダムに表示するように制御されることによって、対応する色の光を発することを含む顔生体検出方法。

【請求項8】

顔画像を取得することと、
前記顔画像に基づいて、対応する人の眼の画像を取得することと、
前記人の眼の画像に基づいて、前記人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得することと、
前記瞳孔の色の認識結果に応じて、前記顔画像が電子機器が顔認識プロセスを起動した後に現場で収集された顔画像であることを表し、前記顔画像を用いて顔生体検出結果を取得することとを含む顔生体検出方法。

【請求項9】

複数の顔画像を含む顔画像シーケンスを取得する第１取得モジュールと、
前記顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得する第２取得モジュールと、
前記人の眼の画像シーケンスに基づいて、前記複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得する第１画像認識モジュールと、
前記瞳孔の色の認識結果に応じて、前記顔画像シーケンスが電子機器が顔認識プロセスを起動した後に現場で収集された顔画像のシーケンスであることを表し、前記顔画像シーケンスにおける少なくとも１つの顔画像を用いて顔生体検出結果を取得する第１検出モジュールとを含む顔生体検出装置。

【請求項10】

請求項９に記載の装置であって、
前記第２取得モジュールは、さらに、
前記顔画像シーケンスにおける各顔画像に対して、
顔領域検出を行い、目標顔が検出された第１画像を取得し、
前記第１画像に基づいて、前記目標顔のキーポイント座標を特定し、
前記キーポイント座標に基づいて、前記目標顔に対して顔の位置合わせを行い、第２画像を取得し、
前記第２画像に基づいて、前記人の眼の画像シーケンスにおける対応する人の眼の画像を取得するという操作を実行する顔生体検出装置。

【請求項11】

請求項１０に記載の装置であって、
前記第２取得モジュールは、さらに、
前記第２画像に基づいて、左眼画像及び右眼画像を取得し、
前記左眼画像と前記右眼画像を重ね合わせ、前記人の眼の画像シーケンスにおける対応する両眼画像を取得する顔生体検出装置。

【請求項12】

請求項１１に記載の装置であって、
前記第１画像認識モジュールは、さらに、
前記人の眼の画像シーケンスにおける各両眼画像を瞳孔色認識モデルに入力して、対応する瞳孔の色の認識結果を出力する顔生体検出装置。

【請求項13】

請求項９～１２のいずれか１項に記載の装置であって、
前記複数の顔画像を含む顔画像シーケンスを取得する前に、前記電子機器が顔認識プロセスを起動した後に予め設定された時間帯内に所定時間ごとに１種類の色の光を発するように制御され、前記電子機器が１種類の色の光を発した度に顔画像を１回収集するように制御される制御モジュールをさらに含む顔生体検出装置。

【請求項14】

請求項１３に記載の装置であって、
前記制御モジュールは、さらに、
前記電子機器が前記予め設定された時間帯内に前記所定時間ごとに１種類の色の光をランダムに発するように制御される顔生体検出装置。

【請求項15】

請求項１４に記載の装置であって、
前記制御モジュールは、さらに、
前記電子機器が前記予め設定された時間帯内に前記所定時間ごとに１種類の色の画像をランダムに表示するように制御されることによって、対応する色の光を発する顔生体検出装置。

【請求項16】

顔画像を取得する第３取得モジュールと、
前記顔画像に基づいて、対応する人の眼の画像を取得する第３取得モジュールと、
前記人の眼の画像に基づいて、前記人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得する第２画像認識モジュールと、
前記瞳孔の色の認識結果に応じて、前記顔画像が電子機器が顔認識プロセスを起動した後に現場で収集された顔画像であることを表し、前記顔画像を用いて、顔生体検出結果を取得する第２検出モジュールと、を含む顔生体検出装置。

【請求項17】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されたメモリとを備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、
前記命令は、前記少なくとも１つのプロセッサが請求項１～８のいずれか１項に記載の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される電子機器。

【請求項18】

コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１～８のいずれか１項に記載の方法を実行させる記憶媒体。

【請求項19】

プロセッサにより実行される場合に、請求項１～８のいずれか１項に記載の方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能分野に関し、具体的に、コンピュータ視覚及びディープラーニング技術であり、顔認識のシーンに適用されるものである。具体的に、顔生体検出方法、装置、電子機器、記憶媒体及びコンピュータプログラムに関する。

【背景技術】

【0002】

顔生体検出は、１枚の顔画像が生体の顔を撮影した画像であるか否かを区別する。顔生体検出モジュールは、顔認識システムの基礎構成モジュールであり、顔認識システムの安全性を保証することができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、顔生体検出方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。

【課題を解決するための手段】

【0004】

本開示の一態様によれば、顔生体検出方法を提供し、該顔生体検出方法は、複数の顔画像を含む顔画像シーケンスを取得することと、前記顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得することと、前記人の眼の画像シーケンスに基づいて、前記複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得することと、前記瞳孔の色の認識結果に応じて、前記顔画像シーケンスが、電子機器が顔認識プロセスを起動した後に現場で収集された顔画像のシーケンスであることを表し、前記顔画像シーケンスにおける少なくとも１つの顔画像を用いて、顔生体検出結果を取得することとを含む。

【0005】

本開示の別の態様によれば、別の顔生体検出方法を提供し、該顔生体検出方法は、顔画像を取得することと、前記顔画像に基づいて、対応する人の眼の画像を取得することと、前記人の眼の画像に基づいて、前記人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得することと、前記瞳孔の色の認識結果に応じて、前記顔画像が、電子機器が顔認識プロセスを起動した後に現場で収集された顔画像であることを表し、前記顔画像を用いて、顔生体検出結果を取得することとを含む。

【0006】

本開示の別の態様によれば、顔生体検出装置を提供し、該顔生体検出装置は、複数の顔画像を含む顔画像シーケンスを取得する第１取得モジュールと、前記顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得する第２取得モジュールと、前記人の眼の画像シーケンスに基づいて、前記複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得する第１画像認識モジュールと、前記瞳孔の色の認識結果に応じて、前記顔画像シーケンスが、電子機器が顔認識プロセスを起動した後に現場で収集された顔画像のシーケンスであることを表し、前記顔画像シーケンスにおける少なくとも１つの顔画像を用いて、顔生体検出結果を取得する第１検出モジュールとを含む。

【0007】

本開示の別の態様によれば、別の顔生体検出装置を提供し、該顔生体検出装置は、顔画像を取得する第３取得モジュールと、前記顔画像に基づいて、対応する人の眼の画像を取得する第４取得モジュールと、前記人の眼の画像に基づいて、前記人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得する第２画像認識モジュールと、前記瞳孔の色の認識結果に応じて、前記顔画像が、電子機器が起動した後に現場で収集された顔画像であることを表し、前記顔画像を用いて顔生体検出結果を取得する第２検出モジュールとを含む。

【0008】

本開示の別の態様によれば、電子機器を提供し、該電子機器、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続されるメモリとを備え、前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、前記命令は、前記少なくとも１つのプロセッサが本開示の実施例に記載の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される。

【0009】

本開示の別の態様によれば、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体が提供され、前記コンピュータ命令は、コンピュータに本開示の実施例に記載の方法を実行させる。

【0010】

本開示の別の態様によれば、コンピュータプログラムを提供し、該コンピュータプログラムは、プロセッサにより実行される場合に、本開示の実施例に記載の方法を実現する。

【0011】

理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。

【0012】

ここで、図面は、本開示の発明をよりよく理解するために用いられ、本開示を限定するものではない。

【図面の簡単な説明】

【0013】

【図1】本開示の実施例に適用される顔生体検出方法及び装置のシステムアーキテクチャを例示的に示す図である。

【図2】本開示の実施例に係る顔生体検出方法を例示的に示すフローチャートである。

【図3】本開示の他の実施例に係る顔生体検出方法を例示的に示すフローチャートである。

【図4】本開示の実施例に係る顔生体検出を例示的に示す原理図である。

【図5】本開示の実施例に係る顔生体検出装置を例示的に示すブロック図である。

【図6】本開示の他の実施例に係る顔生体検出装置を例示的に示すブロック図である。

【図7】本開示の実施例の顔生体検出方法を実現するための電子機器を例示的に示すブロック図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分かるべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。

【0015】

顔生体検出アルゴリズムの実現手段は多く、主に伝統的な顔手動特徴抽出及び分類方法とニューラルネットワークを用いたディープラーニング方法とを含む。

【0016】

理解されるべきこととして、伝統的な顔手動特徴抽出及び分類方法を用いて顔生体検出を行うことは、まず手動で設計された特徴抽出器に基づいて顔特徴を抽出する必要があり、次にサポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭと略称する）のような伝統的な分類器に基づいて特徴分類を行う必要があり、最終的に顔生体の判定結果を取得する。

【0017】

本開示の発明構想を実現するプロセスにおいて、発明者は、リアルのシーンにおいて顔の姿勢が大きすぎるか又は光照射の差異が大きい場合、上記伝統的な方法を用いて顔生体検出を行うことは、ロバスト性が低く、検出結果が十分正確にならなく、認識効果が理想的ではないというようなことを発見した。

【0018】

一方、ニューラルネットワークに基づくディープラーニング方法を用いて顔生体検出を行うことは、ニューラルネットワークを用いて顔特徴抽出及び分類を行う必要がある。上記伝統的な方法に比べて、このようなディープラーニング方法は、安定性のより高い顔特徴を抽出することができ、したがって、検出精度に大幅に向上する。

【0019】

しかしながら、本開示の発明構想を実現するプロセスにおいて、発明者は、いくつかの応用シーンにおいて、ディープラーニングに基づく顔生体検出アルゴリズムは、汎化性が低く、かつ複雑な攻撃サンプル及び攻撃方式に対して、このようなアルゴリズムは、安全性が低いという問題が存在し、実際の応用性能に影響を与えるというようなことを発見した。

【0020】

これに対して、本開示の実施例は、能動光に基づく顔生体検出方法を提供し、検証コードとして色配列をランダムに生成して、機器のスクリーンを用いて異なる色の光を顔に出力しながら、機器のフロントカメラを用いて異なる色の光の照射での顔の画像を収集し、その後、瞳孔色アルゴリズムを用いて実際に取得された画像の色順序がランダムに生成された検証コードで表した色順序と一致するか否かを検証する。両者が一致であれば、実際に取得された画像が機器のフロントカメラで現場で収集された顔画像であることを示す。これを基礎として、実際に取得された画像のうちの少なくとも１つを畳み込みニューラルネットワークの入力として画像認識を行い、最終的な顔生体検出結果を取得することができる。

【0021】

本開示の実施例によれば、顔生体検出モデル（畳み込みニューラルネットワーク）に入力されて顔生体検出を行う顔画像は、現在のタスクに基づき現場で収集された画像であり、攻撃者が悪意的に機器のフロントカメラによる画像収集を遮断することによって不正に注入された顔画像攻撃サンプルではないことを保証することができ、したがって、顔生体検出フロー全体の安全性を向上させることができる。

【0022】

以下、図面及び具体的な実施例を参照しながら本開示を詳細に説明する。
本開示の実施例に適する顔生体検出方法及び装置のシステムアーキテクチャは、以下のように説明される。

【0023】

図１は、本開示の実施例に適用される顔生体検出方法及び装置のシステムアーキテクチャを例示的に示す。留意されるべきこととして、図１に示すのは、当業者が本開示の技術的内容をより理解しやすいように本開示の実施例のシステムアーキテクチャを適用可能な例示に過ぎず、当業者が本開示の技術内容を理解することに役立つが、本開示の実施例は他の環境又はシーンに適用されないことを意味するものではない。

【0024】

図１に示すように、顔認識システムアーキテクチャ１００は、機器のフロントカメラ１０１と、機器の表示スクリーン１０２と、機器の顔生体検出モジュール１０３とを含んでよい。

【0025】

実施例において、顔生体検出モジュール１０３は、検証コードとして色配列（例えば赤、緑、青）をランダムに生成してよい。表示スクリーン１０２は、顔生体検出モジュール１０３によりランダムに生成された色配列における色の順序に従い、対応する色の光を顔に順次出力してよい。それと同時に、表示スクリーン１０２が１種類の色の光を出力する度に、フロントカメラ１０１は、顔の対応する色の光での画像を収集してよい。そして、顔生体検出モジュール１０３は、瞳孔色アルゴリズムを用いて、実際に取得された画像の色順序がそのランダムに生成された検証コードで表された色順序と一致するか否かを検証してよい。検証で両者が一致すると特定されば、実際に取得された画像はフロントカメラ１０１が現在のタスクに基づいて現場で収集された顔画像であることを表す。そうでなければ、即ち検証で両者が一致しないと特定されば、実際に取得された画像は攻撃者が不正に注入した顔画像攻撃サンプルであることを表す。

【0026】

実際に取得された画像がフロントカメラ１０１が現在のタスクに基づいて現場で収集された顔画像であることが特定されたことを基礎とし、顔生体検出モジュール１０３は、実際に取得された画像のうちの少なくとも１つを顔生体検出モデル（例えば、畳み込みニューラルネットワーク）の入力として顔生体検出を行い、最終的に、顔生体検出結果を取得してよい。

【0027】

理解されるべきこととして、図１において表示スクリーンを用いて異なる色の光を出力することは、単に模式的なものである。実際の必要に応じて、システムアーキテクチャに他のタイプの能動光源を設置して異なる色の光を出力してもよい。

【0028】

本開示の実施例に係る顔生体検出方法及び装置の応用シーンは、以下のように説明される。

【0029】

説明すべきこととして、本開示の実施例が提供する顔生体検出方法は、顔認識分野の勤怠、ドアコントロール、セキュリティ、金融決済などの多くのシーンに適用されてよく、生体検知性能を向上させることに寄与する。

【0030】

本開示の実施例が提供する顔生体検出の発明を使用することによって、現在の多くの一般的な攻撃方式を効果的に防止することができ、同時に、ネットワークトレーニングの収束速度を加速し、顔生体検出アルゴリズムの汎化性及び精度を向上させ、顔生体検出アルゴリズムの未知の攻撃サンプル又は攻撃方式に対する防御効果を向上させることができ、さらに、顔生体検出技術を基礎とする多くのアプリケーションの効果及びユーザー体験を向上させることに寄与でき、サービス項目のさらなる普及に有利となる。

【0031】

本開示の実施例によれば、本開示は顔生体検出方法を提供する。
図２は、本開示の実施例に係る顔生体検出方法のフローチャートを例示的に示す。

【0032】

図２に示すように、顔生体検出方法２００は、操作Ｓ２１０～Ｓ２４０を含んでよい。
操作Ｓ２１０において、複数の顔画像を含む顔画像シーケンスを取得する。

【0033】

操作Ｓ２２０において、顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得する。

【0034】

操作Ｓ２３０において、人の眼の画像シーケンスに基づいて、複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得する。

【0035】

操作Ｓ２４０において、瞳孔の色の認識結果に応じて、顔画像シーケンスが電子機器が顔認識プロセスを起動した後に現場で収集された顔画像のシーケンスであることを表し、顔画像シーケンスにおける少なくとも１つの顔画像を用いて顔生体検出結果を取得する。

【0036】

説明すべきこととして、瞳孔の色の認識結果は、顔画像シーケンスが電子機器が顔認識プロセスを起動した後に現場で収集された顔画像のシーケンスであるか否かを特定するために用いられてよい。ここで、電子機器は、顔認識プロセスを起動した後の予め設定された時間帯内に所定時間ごとに１種類の色の光を発し、かつ１種類の色の光を発する度に、顔画像を１回収集する。

【0037】

いくつかの実施例において、毎回顔生体検出を行う度に、現在取得された顔画像が電子機器（例えば、顔認識機器）が今回顔認識プロセスを起動した後に現場で収集された画像であるか否かを先に検証してよい。現在取得された顔画像が該電子機器が今回顔認識プロセスを起動した後に現場で収集された画像であると特定された場合、さらに、現在取得された顔画像のうちの少なくとも１つを顔生体検出モデルの入力とし、顔生体検出を継続する。これによって、実際に顔生体検出を行うための画像は、攻撃者が現在の電子機器の現場での画像の収集を遮断することにより不正に注入された顔画像攻撃サンプル（事前に収集された顔画像又は他の電子機器により現場で収集された顔画像を含む）ではなく、現在の電子機器が今回の顔生体検出のタスクについて現場で収集された顔画像であることを保証することができる。

【0038】

したがって、本開示の実施例によれば、顔生体検出プロセスにおいて、顔画像攻撃サンプルの注入攻撃を防止することができ、それによって、顔認識の安全性を向上させる。

【0039】

本開示の発明構想を実現するプロセスにおいて、発明者は、異なる色の光を用いて顔に照射することによって、人の眼の瞳孔が異なる色のスポットを表示することを発見した。したがって、本開示の実施例において、この原理を用いて現在取得された顔画像が、電子機器が今回顔認識プロセスを起動した後に現場で収集された画像であるか否かを検証することを考える。

【0040】

例示的に、毎回顔生体検出を行う度に、検証コードとして１つの色配列（例えば、赤、緑、青）をランダムに生成してよい。同時に、電子機器が該色配列に従い所定時間（例えば、５秒）ごとに１種類の色の光を発して顔に照射するように制御され、例えば、赤色光、緑色光及び青色光を順に出力する。また、電子機器は、１種類の色の光を発する度に、顔画像を１回収集し、例えば、赤色光を出力する時に１つの顔画像を収集し、緑色光を出力する時に１つの顔画像を収集し、青色光を出力する時に１つの顔画像を収集し、合計で順次３つの顔画像を収集する。これに基づいて、理論的に、今回の顔生体検出プロセスにおいて、顔生体検出モジュールにより取得された顔画像が順に上記３つの顔画像であるべきである。しかしながら、攻撃者は顔画像攻撃サンプルを注入して上記３つの顔画像を偽装する可能性がある。したがって、実際に取得された３つの顔画像に基づいて、対応する３つの人の眼画像を取得し、その後、瞳孔色アルゴリズムを用いて、この３つの人の眼画像における人の眼の瞳孔に表示されたスポットの色順序が上記の検証コードで表された色順序と一致するか否かを順次検証し、例えば、順に赤、緑、青であるか否かを検証する。両者が一致すれば、顔生体検出モジュールが実際に取得した画像は、電子機器が今回の顔生体検出のタスクにおいて現場で順次収集された３つの顔画像であると考えられる。そうでなければ、即ち両者が一致しなければ、顔生体検出モジュールが実際に取得した画像は、不正に注入された顔画像攻撃サンプルであると考えられる。

【0041】

さらに、いくつかの応用シーンにおいて、さらに他の攻撃方式が存在し、例えば、攻撃アイテム（例えば、電子写真、紙の写真など、又は３Ｄヘッドモデル、３Ｄヘッドギアなど）を用いて生体の顔に代わって攻撃するなどである。

【0042】

異なる材質の攻撃アイテムの光に対する反射率と人体皮膚の光に対する反射率が異なるため、能動光による顔生体検出方法は、操作Ｓ２４０において、顔画像シーケンスにおける少なくとも１つの顔画像を用いて顔生体検出を行うことによって、生体の顔と非生体の顔の光に対する反射率という要素を十分に考慮することができ、すなわち、モデルに入力された顔画像が生体の顔に対して撮影された画像であるか又は攻撃アイテムに対して撮影された画像であるかを判断することができ、したがって、本発明は、より正確な顔生体検出結果を取得することができる。

【0043】

理解されるべきこととして、本開示の実施例において、顔画像のポジティブサンプル及び様々なネガティブサンプル（例えば、様々な顔画像攻撃サンプル）に基づいて、顔生体検出モデルを予めトレーニングしてよい。操作Ｓ２４０において、顔画像シーケンスにおける少なくとも１つの顔画像を該モデルに直接入力して顔生体検出を行ってよい。

【0044】

したがって、本開示の実施例によれば、顔生体検出プロセスにおいて、複雑なサンプル攻撃の場合に直面する際に、生体検出アルゴリズムの正確性及び汎化性を大幅に向上させることができる。

【0045】

説明すべきこととして、本開示の実施例において、特徴抽出ネットワークは、ＭｏｂｉｌｅＮｅｔＶ２を畳み込みニューラルネットワークのバックボーンネットワークｂａｃｋｂｏｎｅとして使用してよい。上記例を参照し続け、異なる色の光で収集された３つの顔画像を、チャネル層に結合して９チャネル画像を畳み込みニューラルネットワークの入力として形成し、該入力は、ネットワークの最後の層の特徴マップ上で全体平均プール化操作を行った後、最後に全結合層及びＳｏｆｔｍａｘ層を介して画像分類を行い、最終的な顔生体検出分類を完了する。

【0046】

説明すべきこととして、本開示の実施例において、検証コードとして色配列をランダムに生成する時に、色配列に複数の要素を含んでよく、これによって、色配列が解読される難しさを増加させることができ、さらに顔生体検出性能を向上させることができる。理解されるべきこととして、本開示の実施例において、検証コードとして色配列をランダムに生成する時に、色配列に１つの元素のみを含んでよく、該発明は、後続の実施例で詳細に説明する。

【0047】

選択可能な実施例として、顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得することは、以下の操作を含む。

【0048】

顔画像シーケンスにおける各顔画像に対して、以下の操作を実行する。顔領域検出を行い、目標顔が検出された第１画像を取得し、第１画像に基づいて、目標顔のキーポイント座標を特定し、キーポイント座標に基づいて、目標顔に対して顔の位置合わせを行い、顔が位置合わせされた第２画像を取得する。

【0049】

第２画像に基づいて、人の眼の画像シーケンスにおける対応する人の眼の画像を取得する。

【0050】

本開示の実施例において、先に顔画像を取得し、さらに顔画像から人の眼の画像を切り取り、その後、人の眼の画像に基づいて人の眼の瞳孔色認識を行う。これから分かるように、人の眼の画像の品質は、人の眼の瞳孔の色の認識結果への影響が重要である。

【0051】

したがって、本開示の実施例において、顔画像から人の眼の画像を切り取る前に、取得された人の眼の画像の品質を向上させるように画像前処理操作を先に行ってよい。ここで、本開示の実施例において、画像前処理操作は、顔位置検出、顔キーポイント検出、顔位置合わせ、画像正規化処理、ランダムデータ強化等の操作を含んでよいが、それらに限定されない。

【0052】

例示的に、顔生体検出プロセスにおいて、まず、顔認識機器を用いて顔（生体の顔、非生体の顔（攻撃アイテム）を含む）に３種類の異なる色の光をランダムに当て、次に、顔認識機器のフロントカメラを用いて、顔のこの３種類の色の光での顔画像を収集し、順次収集された３枚の画像を１組とし、即ち１つの顔画像シーケンスとする。

【0053】

同時に、顔がＮ個例えば７２個のキーポイントを含むことを定義してよく、例えばそれぞれ（ｘ１，ｙ１）、（ｘ２，ｙ２）…、（ｘ７１，ｙ７１）、（ｘ７２，ｙ７２）である。

【0054】

さらに、該３枚の画像のうちの各画像に対して画像前処理を行ってよく、そのうちの各画像に対して、まず、検出モデルにより顔を検出し、目標顔の大まかな位置領域を取得し、すなわち目標顔を含む１枚の画像を取得する。ここで、検出モデルは、予めトレーニングされた顔検出モデルであり、画像における顔の位置を検出することができる。次に、検出された顔領域に基づいて、顔キーポイント検出モデルにより顔キーポイントを検出し、目標顔のキーポイント座標値を取得する。ここで、顔キーポイント検出モデルは、予めトレーニングされたモデルであり、直接呼び出され、検出された目標顔の画像を入力し、Ｎ個例えば７２個の顔のキーポイント座標値を取得し、それぞれ（ｘ１，ｙ１）……（ｘ７２，ｙ７２）である。その後、目標顔のキーポイント座標値に基づいて、目標顔に対して顔位置合わせを行い、対応する顔画像を取得する。例示的に、具体的な方法は、以下のとおりであってよく、７２個の顔のキーポイント座標値に基づいて、ｘとｙの最大値及び最小値（例えばｘｍｉｎ，ｘｍａｘ，ｙｍｉｎ，ｙｍａｘ）を先に取得し、さらにｘとｙの最大値及び最小値に基づいて顔枠を特定し、その後、この顔枠を３倍拡大して顔画像を切り取り、切り出された顔画像をサイズが２２４×２２４の画像に調整する。この画像は、顔位置合わせ処理後に得られた画像としてよい。

【0055】

さらに、顔整合処理後に得られた各画像に対して、正規化処理を行ってもよい。本開示の実施例において、画像正規化処理とは、画像における各画素を順次正規化処理することである。いくつかの実施例において、画像正規化処理の方法は、画像における各画素の画素値について１２８を減算し、さらに２５６で割り、各画素の画素値を［－０．５，０．５］区間内にすることを含む。

【0056】

さらに、正規化処理後に得られた各画像に対して、ランダムデータ強化処理を行ってもよい。

【0057】

本開示の実施例において、後続に人の眼の瞳孔色認識を行うように、画像を前処理した後に得られた各画像に対して、対応する人の眼の画像を続けて切り取り、最終的に３枚の人の眼の画像を取得してよい。

【0058】

本開示の実施例によれば、人の眼の画像を切り取る前に、画像に対して顔の位置合わせ処理を先に行うことによって、取得された人の眼の画像の品質が顔の偏りにより低くなり、さらに瞳孔色認識を行うことができないか又は瞳孔の色の認識効果が低いことを回避することができる。

【0059】

さらに、選択可能な実施例として、第２画像に基づいて、人の眼の画像シーケンスにおける対応する人の眼の画像を取得し、以下の操作を含む。

【0060】

第２画像に基づいて、左眼画像及び右眼画像を取得する。
左眼画像と右眼画像を重ね合わせ、人の眼の画像シーケンスにおける対応する両眼画像を取得する。

【0061】

いくつかの実施例において、前処理された後に得られた各顔画像に対して、後続に人の眼の瞳孔色認識を行うように、その中から対応する両眼画像を切り取りてよい。

【0062】

上記の例を参照し続け、以下の操作により両眼画像を切り取ることができる。上記例によれば、７２個人顔キーポイント座標値を取得した後、まず両眼領域画像を切り取り、次に人顔キーポイントに基づいて、左眼の眼角座標（ｘ１３，ｙ１３）及び（ｘ１７，ｙ１７）を探し出し、かつこの２つの眼角座標に基づいて左眼の眼角の距離Ｌ１及び左眼の中心点Ｃ１を求め、さらにアフィン変換行列Ｍ１を求め、かつアフィン変換行列Ｍ１に基づいて原画（前に切り出された両眼画像）をサイズが５６×３６の左眼のみの画像にアフィン変換する。

【0063】

同様に、人顔キーポイントに基づいて、右眼の眼角座標（ｘ３０，ｙ３０）及び（ｘ３４，ｙ３４）を探し出し、かつこの２つの眼角座標に基づいて右眼の眼角の距離Ｌ２及び右眼の中心点Ｃ２を求め、さらにアフィン変換行列Ｍ２を求め、かつアフィン変換行列Ｍ２に基づいて原画（前に取られた両眼画像）をサイズが５６×３６の右眼のみの画像にアフィン変換する。

【0064】

両眼の画像を重ね合わせ、即ち、上記の左眼の画像と上記の右眼の画像を重ね合わせ、対応する両眼画像を取得する。例示的に、左眼画像が５６×３６×３（３はＲ、Ｇ、Ｂの３つのチャネルを表す）であれば、右眼画像も５６×３６×３（３はＲ、Ｇ、Ｂの３つのチャネルを表す）であれば、該左眼画像と右眼画像は重畳した後に５６×３６×６である。

【0065】

本開示の実施例において、予めトレーニングして得られた瞳孔色認識モデルを直接呼び出すことができ、上記の両眼画像をモデルの入力とし、瞳孔の色を認識する。例示的には、瞳孔色認識モデルは５層の畳み込み層＋３層の最大プーリング層＋１層の全結合層の畳み込みニューラルネットワークであってもよい。

【0066】

本開示の実施例によれば、両眼画像を用いて瞳孔色認識を行い、ある眼のみが閉じられるか又は遮蔽されることを防止することができ、瞳孔色認識を行うことができないか又は瞳孔の色の認識効果が低い。

【0067】

他の実施例において、前処理された後に得られた各顔画像に対して、さらにその中から対応する単眼画像（例えば左眼画像又は右眼画像）を切り取りて、後続に人の眼の瞳孔色認識を行うために用いられる。ここで、左眼画像及び右眼画像を切り取る方法は、両眼画像を切り取るプロセスに係る左眼画像及び右眼画像を切り取る方法と同じであり、ここでは説明を省略する。

【0068】

理解されるべきこととして、単眼画像を用いて瞳孔色認識を行うことは、両眼画像を用いて瞳孔色認識を行うことと比べて、前者は、ある眼の閉じる又は遮蔽されるため瞳孔の色の認識を行うことができないか又は瞳孔の色の認識効果が低い可能性がより大きい。

【0069】

さらに、選択可能な実施例として、人の眼の画像シーケンスに基づいて、複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得することは、人の眼の画像シーケンスにおける各両眼画像を瞳孔色認識モデルに入力して、対応する瞳孔の色の認識結果を出力することを含む。

【0070】

説明すべきこととして、瞳孔色認識モデルは、予めトレーニングして取得され、瞳孔色認識を行う時に直接呼び出されてよい。

【0071】

選択可能な実施例として、該方法は、複数の顔画像を含む顔画像シーケンスを取得する前に、電子機器が顔認識プロセスを起動した後の予め設定された時間帯内に所定時間ごとに１種類の色の光を発するように制御され、電子機器が１種類の色の光を発した後に顔画像を１回収集するように制御されることをさらに含んでもよい。

【0072】

本開示の実施例によれば、顔に異なる色の光線を照射することによって人の眼の瞳孔が異なる色のスポットを表示するという原理を用いて、実際に取得された顔画像が電子機器が現在のタスク現場に基づいて生体の顔を収集して得られた画像であるか否かを判断することができる。

【0073】

さらに、選択可能な実施例として、電子機器が予め設定された時間帯内に所定時間ごとに１種類の色の光を発するように制御されることは、電子機器が予め設定された時間帯内に所定時間ごとに１種類の色の光をランダムに発するように制御されることを含んでよい。

【0074】

さらに、選択可能な実施例として、電子機器が予め設定された時間帯内に所定時間ごとに１種類の色の光を発するように制御されることは、電子機器のディスプレイが予め設定された時間帯内に所定時間ごとに１種類の色の光をランダムに発するように制御されることを含んでよい。

【0075】

又は、本開示の他の実施例において、電子機器が予め設定された時間帯内に所定時間ごとに一定の色の光を発するように制御されてもよい。例示的に、毎回顔生体検出を行う度に、電子機器が順に赤、緑、青の３種類の色の光を発するように制御されてもよい。

【0076】

又は、本開示の他の実施例において、電子機器が予め設定された時間帯内に所定時間ごとに予め設定された論理に従い一定の色の光を発するように制御されてもよい。例示的に、さらに３種類の発光順序を設定してもよく、例えば、「００は順に赤、緑、青の３種類の色の光を順に発することを示す」、「０１は順に緑、赤、青の３種類の色の光を順に発することを示す」、「１０は順に青、緑、赤の３種類の色の光を順に発することを示す」、また、１回目～Ｎ回目に顔生体検出を行う際に、００、０１、１０、００、０１、１０…の順序に従い、繰り返して対応する色順序の光を順に発してよい。

【0077】

理解されるべきこととして、電子機器が対応する色の光をランダムに発するように制御されることは、電子機器が他の方式で対応する色の光を発するように制御されることに比べて、前者は色順序が攻撃者により解読される難しさを増加させることができ、そして顔生体検出の安全性をさらに向上させることができる。

【0078】

さらに、選択可能な実施例として、電子機器が予め設定された時間帯内に所定時間ごとに１種類の色の光をランダムに発するように制御されることは、電子機器が予め設定された時間帯内に所定時間ごとに１種類の色の画像をランダムに表示するように制御されることによって、対応する色の光を発することを含んでよい。

【0079】

さらに、選択可能な実施例として、電子機器が予め設定された時間帯内に所定時間ごとに１種類の色の光をランダムに発するように制御されることは、電子機器のディスプレイが予め設定された時間帯内に所定時間ごとに１種類の色の画像をランダムに表示するように制御されることによって、対応する色の光を発することを含んでよい。

【0080】

例示的に、電子機器が順に赤、緑、青の３種類の色の光を発するように制御されることが必要となる場合に、電子機器のスクリーンに赤色画像、緑色画像及び青色画像を順に表示することによって実現されてよい。

【0081】

本開示の実施例によれば、顔認識機器に能動光源を追加する必要がなくて、コストダウンすることができる。

【0082】

本開示の実施例によれば、本開示は、別の顔生体検出方法をさらに提供する。
図３は、本開示の他の実施例に係る顔生体検出方法を例示的に示すフローチャートである。

【0083】

図３に示すように、顔生体検出方法３００は、操作Ｓ３１０～Ｓ３４０を含んでよい。
操作Ｓ３１０において、顔画像を取得する。

【0084】

操作Ｓ３２０において、顔画像に基づいて、対応する人の眼の画像を取得する。
操作Ｓ３３０において、人の眼の画像に基づいて、人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得する。

【0085】

操作Ｓ３４０において、瞳孔の色の認識結果に応じて、顔画像が電子機器の現場で収集された顔画像であることを表し、顔画像を用いて顔生体検出を行う。

【0086】

説明すべきこととして、瞳孔の色の認識結果は、顔画像が電子機器が顔認識プロセスを起動した後に現場で収集された画像であるか否かを特定するために用いられてよく、ここで、電子機器は顔認識プロセスを起動した後に１種類の色の光をランダムに発し、画像を収集する。

【0087】

いくつかの実施例において、毎回顔生体検出を行う度に、現在取得された顔画像が電子機器が今回顔認識プロセスを起動した後に現場で収集された画像であるか否かを先に検証してよい。現在取得された顔画像が該電子機器が今回顔認識プロセスを起動した後に現場で収集された画像であると特定された場合、さらに、現在取得された顔画像のうちの少なくとも１つを顔生体検出モデルの入力とし、顔生体検出を継続する。これによって、実際に顔生体検出を行うための画像は、攻撃者が現在の電子機器の現場での画像の収集を遮断することにより不正に注入された顔画像攻撃サンプルではなく、現在の電子機器が今回の顔生体検出のタスクについて現場で収集された顔画像であることを保証することができる。

【0088】

したがって、本開示の実施例によれば、顔生体検出プロセスにおいて、顔画像攻撃サンプルの注入攻撃を防止することができ、それによって、顔認識の安全性を向上させる。

【0089】

本開示の発明構想を実現するプロセスにおいて、発明者は、異なる色の光を用いて顔に照射することによって、人の眼の瞳孔が異なる色のスポットを表示することを発見した。したがって、本開示の実施例において、この原理を用いて現在取得された顔画像が、電子機器が今回顔認識プロセスを起動した後に現場で収集された画像であるか否かを検証することを考える。

【0090】

例示的に、毎回顔生体検出を行う度に、色検証コードをランダムに生成してよい。同時に、電子機器が該色検証コードに従い、対応する色の光を発して顔に照射するように制御され、例えば、色検証コードが赤色を表すと、赤色光を発する。また、電子機器は、対応する色の光を発した後、顔画像を収集し、例えば、赤色光を出力した後、１枚の顔画像を収集する。これに基づいて、理論的に、今回の顔生体検出プロセスにおいて、顔生体検出モジュールにより取得された顔画像は上記の赤色光情報付きの顔画像であるべきである。しかしながら、攻撃者は顔画像攻撃サンプルを注入して上記の顔画像を偽装する可能性がある。したがって、実際に取得された顔画像に基づいて、対応する人の眼の画像を取得し、その後、瞳孔色アルゴリズムを用いて、この人の眼の画像における人の眼の瞳孔に表示された光スポットの色順序が上記の検証コードで表された色と一致するか否かを検証し、例えば、赤色であるか否かを検証する。両者が一致すれば、顔生体検出モジュールが実際に取得した画像は、電子機器が今回の顔生体検出タスクにおいて現場で収集された顔画像であると考えられる。そうでなければ、即ち両者が一致しなければ、顔生体検出モジュールが実際に取得した画像は、不正に注入された顔画像攻撃サンプルであると考えられる。

【0091】

さらに、いくつかの応用シーンにおいて、さらに他の攻撃方式が存在し、例えば、攻撃アイテム（例えば、電子写真、紙の写真など、又は３Ｄヘッドモデル、３Ｄヘッドギアなど）を用いて生体の顔に代わって攻撃するなどである。

【0092】

異なる材質の攻撃アイテムの光に対する反射率と人体皮膚の光に対する反射率が異なるため、能動光による顔生体検出方法は、操作Ｓ３４０において、顔画像シーケンスにおける少なくとも１つの顔画像を用いて顔生体検出を行うことによって、生体の顔と非生体の顔の光に対する反射率という要素を十分に考慮することができ、すなわち、モデルに入力された顔画像が生体の顔に対して撮影された画像であるか又は攻撃アイテムに対して撮影された画像であるかを判断することができ、したがって、本発明は、より正確な顔生体検出結果を取得することができる。

【0093】

理解されるべきこととして、本開示の実施例において、顔画像のポジティブサンプル及び様々なネガティブサンプル（例えば、様々な顔画像攻撃サンプル）に基づいて、顔生体検出モデルを予めトレーニングしてよい。操作Ｓ３４０において、直接取得された顔画像を該モデルに入力して顔生体検出を行ってよい。

【0094】

したがって、本開示の実施例によれば、顔生体検出プロセスにおいて、複雑なサンプル攻撃の場合に直面する際に、生体検出アルゴリズムの正確性及び汎化性を大幅に向上させることができる。

【0095】

説明すべきこととして、本開示の実施例において、検証コードとして１種類の色をランダムに生成する時に、検証コードに１種類の色の情報のみを含むため、検証コードに複数種類の色の情報を含むことに比べて、本発明は、色が解読される難しさを増加させ、かつ顔生体検出性能を向上させることができるが、このような向上は非常に限られている。

【0096】

以下、図４及び具体的な実施例を参照して本開示を詳細に説明する。
図４に示すように、顔生体検出プロセスにおいて、１組の顔画像（１つ又は複数の顔画像を含む顔画像シーケンス）を取得した後、顔検出モデルを用いて各顔画像における目標顔の位置領域を先に検出してから、さらに顔キーポイント検出を行い、その後、各画像に前処理（顔の位置合わせ等を含む）を行い、さらに、顔キーポイントに基づいて、対応する両眼画像を切り取り、各両眼画像に対して瞳孔色認識を行う。瞳孔の色の認識結果は、該組の顔画像の色順序がランダムに生成された色検証コードで表された色順序と一致することを表すと、該組の顔画像のうちの少なくとも１つを顔生体検出モデルの入力とし、顔生体検出を行い、対応する生体検出結果を出力する。

【0097】

本開示の実施例によれば、本開示は顔生体検出装置をさらに提供する。
図５は、本開示の実施例に係る顔生体検出装置を例示的示すブロック図である。

【0098】

図５に示すように、顔生体検出装置５００は、第１取得モジュール５１０と、第２取得モジュール５２０と、第１画像認識モジュール５３０と、第１検出モジュール５４０とを含んでよい。

【0099】

第１取得モジュール５１０は、複数の顔画像を含む顔画像シーケンスを取得する。
第２取得モジュール５２０は、該顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得する。

【0100】

第１画像認識モジュール５３０は、該人の眼の画像シーケンスに基づいて、該複数の人の眼の画像うちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得する。

【0101】

第１検出モジュール５４０は、瞳孔の色の認識結果に応じて、該顔画像シーケンスが該電子機器が顔認識プロセスを起動した後に現場で収集された顔画像のシーケンスであることを表し、該顔画像シーケンスにおける少なくとも１つの顔画像を用いて顔生体検出結果を取得する。

【0102】

選択可能な実施例として、該第２取得モジュールは、さらに、該顔画像シーケンスにおける各顔画像に対して、以下の操作を実行する。顔領域検出を行い、目標顔が検出された第１画像を取得し、該第１画像に基づいて、該目標顔のキーポイント座標を特定し、該キーポイント座標に基づいて、該目標顔に顔の位置合わせを行い、第２画像を取得し、該第２画像に基づいて、該人の眼の画像シーケンスにおける対応する人の眼の画像を取得する。

【0103】

選択可能な実施例として、該第２取得モジュールは、さらに、該第２画像に基づいて、左眼画像及び右眼画像を取得し、該左眼画像及び該右眼画像を重ね合わせ、対応する両眼画像を取得する。

【0104】

選択可能な実施例として、第１画像認識モジュールは、さらに、人の眼の画像シーケンスにおける各両眼画像を瞳孔色認識モデルに入力して、対応する瞳孔の色の認識結果を出力する。

【0105】

選択可能な実施例として、該装置は、制御モジュールをさらに含み、該制御モジュールは、複数の顔画像を含む該顔画像シーケンスを取得する前に、該電子機器が顔認識プロセスを起動した後の予め設定された時間帯内に所定時間ごとに１種類の色の光を発するように制御され、該電子機器が１種類の色の光を発する度に顔画像を１回収集するように制御される。

【0106】

選択可能な実施例として、該制御モジュールは、さらに、該電子機器が該予め設定された時間帯内に該所定時間ごとに１種類の色の光をランダムに発するように制御される。

【0107】

選択可能な実施例として、該制御モジュールは、さらに、該電子機器が該予め設定された時間帯内に該所定時間ごとに１種類の色の画像をランダムに表示して対応する色の光を発する。

【0108】

本開示の実施例によれば、本開示は、別の顔生体検出装置をさらに提供する。
図６は、本開示の他の実施例に係る顔生体検出装置を例示的に示すブロック図である。

【0109】

図６に示すように、顔生体検出装置６００は、第３取得モジュール６１０と、第４取得モジュール６２０と、第２画像認識モジュール６３０と、第２検出モジュール６４０とを含んでよい。

【0110】

第３取得モジュール６１０は、顔画像を取得する。
第４取得モジュール６２０は、該顔画像に基づいて、対応する人の眼の画像を取得する。

【0111】

第２画像認識モジュール６３０は、該人の眼の画像に基づいて、該人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得する。

【0112】

第２検出モジュール６４０は、瞳孔の色の認識結果に応じて、該顔画像が電子機器が顔認識プロセスを起動した後に現場で収集された顔画像であることを表し、該顔画像を用いて顔生体検出結果を取得する。

【0113】

理解すべきこととして、本開示の装置の一部の実施例は、本開示の方法の一部の実施例に対応して同じ又は類似であり、解決しようとする技術的課題と達成される技術的効果も同じ又は類似であり、ここでは説明を省略する。

【0114】

本開示の技術案において、係るユーザ個人情報の収集、記憶、使用、加工、伝送、提供、開示及び応用等の処理は、いずれも関連する法律・法規の規定に適合し、必要なセキュリティ対策を採用し、かつ公序良俗に反するものではない。

【0115】

本開示の技術案において、ユーザの個人情報を取得するか又は収集する前に、いずれもユーザの許可又は同意を取得する。

【0116】

本開示の実施例によれば、本開示は、電子機器、可読記憶媒体及びコンピュータプログラムをさらに提供する。

【0117】

図７は、本開示の実施例を実施することが可能な電子機器７００の１例を例示的に示すブロック図である。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。

【0118】

図７に示すように、電子機器７００は、演算ユニット７０１を含み、演算ユニット７０１は、リードオンリーメモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ７０３には、さらに電子機器７００の操作に必要な様々なプログラム及びデータを記憶してもよい。演算部７０１、ＲＯＭ７０２、及びＲＡＭ７０３は、バス７０４を介して相互に接続される。入出力インタフェース７０５も、バス７０４に接続さる。

【0119】

電子機器７００における複数の部品は、Ｉ／Ｏインタフェース７０５に接続され、例えばキーボード、マウス等の入力ユニット７０６と、例えば様々な種類のディスプレイ、スピーカ等の出力ユニット７０７と、例えば磁気ディスク、光ディスク等の記憶ユニット７０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット７０９とを含む。通信部７０９は、電子機器７００がインターネット等のコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他の機器と情報／データをやり取りすることを可能にする。

【0120】

演算部７０１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。演算部７０１の幾つかの例としては、中央処理装置（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算ユニット７０１は、例えば顔生体検出方法のような上記に記載の各方法及び処理を実行する。例えば、いくつかの実施例において、顔生体検出方法は、例えば記憶ユニット７０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ７０２及び／又は通信ユニット７０９を介して電子機器７００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされて演算ユニット７０１により実行される場合、上記に記載の顔生体検出方法の１つ又は複数の操作を実行してもい。代替的に、他の実施例において、演算ユニット７０１は、他の任意の適切な方式（例えば、ファームウェアを介する）により顔生体検出方法を実行するように構成されてもよい。

【0121】

本明細書で説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。

【0122】

本開示の方法を実施するためのプログラムコードは、１つ又は複数の言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能／操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。

【0123】

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

【0124】

ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、音声入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。

【0125】

ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。

【0126】

本開示の発明において、係るユーザ情報の記録、記憶及び応用等は、いずれも関連する法律・法規の規定に適合し、かつ公序良俗に反するものではない。

【0127】

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストと呼ばれ、クラウドコンピューティングサービスシステムにおける１つのホスト製品であり、それによって、従来の物理ホストとＶＰＳサービス（“Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ”、又は“ＶＰＳ”と略称する）に存在する管理難度が大きく、サービス拡張性が弱いという欠陥を解決している。サーバは、分散型システムのサーバであってもよく、又はブロックチェーンを組み合わせしたサーバであってもよい。

【0128】

理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。

【0129】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-05-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数の顔画像を含む顔画像シーケンスを取得することと、
前記顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得することと、
前記人の眼の画像シーケンスに基づいて、前記複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得することと、
前記瞳孔の色の認識結果に応じて、前記顔画像シーケンスが、電子機器が顔認識プロセスを起動した後に現場で収集された顔画像のシーケンスであることを表し、前記顔画像シーケンスにおける少なくとも１つの顔画像を用いて、顔生体検出結果を取得することとを含む顔生体検出方法。

【請求項2】

請求項１に記載の方法であって、
前記顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得しることは、
前記顔画像シーケンスにおける各顔画像に対して、
顔領域検出を行い、目標顔が検出された第１画像を取得し、
前記第１画像に基づいて、前記目標顔のキーポイント座標を特定し、
前記キーポイント座標に基づいて、前記目標顔に対して顔の位置合わせを行い、第２画像を取得し、
前記第２画像に基づいて、前記人の眼の画像シーケンスにおける対応する人の眼の画像を取得するという操作を実行することを含む顔生体検出方法。

【請求項3】

請求項２に記載の方法であって、
前記第２画像に基づいて、前記人の眼の画像シーケンスにおける対応する人の眼の画像を取得することは、
前記第２画像に基づいて、左眼画像及び右眼画像を取得することと、
前記左眼画像と前記右眼画像を重ね合わせ、前記人の眼の画像シーケンスにおける対応する両眼画像を取得することとを含む顔生体検出方法。

【請求項4】

請求項３に記載の方法であって、
前記人の眼の画像シーケンスに基づいて、前記複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得することは、
前記人の眼の画像シーケンスにおける各両眼画像を瞳孔色認識モデルに入力して、対応する瞳孔の色の認識結果を出力することを含む顔生体検出方法。

【請求項5】

請求項１～４のいずれか１項に記載の方法であって、
前記複数の顔画像を含む顔画像シーケンスを取得する前に、
前記電子機器が顔認識プロセスを起動した後の予め設定された時間帯内に所定時間ごとに１種類の色の光を発するように制御され、
前記電子機器が１種類の色の光を発する度に顔画像を１回収集するように制御されることをさらに含む顔生体検出方法。

【請求項6】

請求項５に記載の方法であって、
前記電子機器が顔認識プロセスを起動した後の予め設定された時間帯内に所定時間ごとに１種類の色の光を送信するように制御されることは、
前記電子機器が前記予め設定された時間帯内に前記所定時間ごとに１種類の色の光をランダムに発するように制御されることを含む顔生体検出方法。

【請求項7】

請求項６に記載の方法であって、
前記電子機器が前記予め設定された時間帯内に前記所定時間ごとに１種類の色の光をランダムに発するように制御されることは、
前記電子機器が前記予め設定された時間帯内に前記所定時間ごとに１種類の色の画像をランダムに表示するように制御されることによって、対応する色の光を発することを含む顔生体検出方法。

【請求項8】

顔画像を取得することと、
前記顔画像に基づいて、対応する人の眼の画像を取得することと、
前記人の眼の画像に基づいて、前記人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得することと、
前記瞳孔の色の認識結果に応じて、前記顔画像が電子機器が顔認識プロセスを起動した後に現場で収集された顔画像であることを表し、前記顔画像を用いて顔生体検出結果を取得することとを含む顔生体検出方法。

【請求項9】

複数の顔画像を含む顔画像シーケンスを取得する第１取得モジュールと、
前記顔画像シーケンスに基づいて、複数の人の眼の画像を含む対応する人の眼の画像シーケンスを取得する第２取得モジュールと、
前記人の眼の画像シーケンスに基づいて、前記複数の人の眼の画像のうちの各人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得する第１画像認識モジュールと、
前記瞳孔の色の認識結果に応じて、前記顔画像シーケンスが電子機器が顔認識プロセスを起動した後に現場で収集された顔画像のシーケンスであることを表し、前記顔画像シーケンスにおける少なくとも１つの顔画像を用いて顔生体検出結果を取得する第１検出モジュールとを含む顔生体検出装置。

【請求項10】

請求項９に記載の装置であって、
前記第２取得モジュールは、さらに、
前記顔画像シーケンスにおける各顔画像に対して、
顔領域検出を行い、目標顔が検出された第１画像を取得し、
前記第１画像に基づいて、前記目標顔のキーポイント座標を特定し、
前記キーポイント座標に基づいて、前記目標顔に対して顔の位置合わせを行い、第２画像を取得し、
前記第２画像に基づいて、前記人の眼の画像シーケンスにおける対応する人の眼の画像を取得するという操作を実行する顔生体検出装置。

【請求項11】

請求項１０に記載の装置であって、
前記第２取得モジュールは、さらに、
前記第２画像に基づいて、左眼画像及び右眼画像を取得し、
前記左眼画像と前記右眼画像を重ね合わせ、前記人の眼の画像シーケンスにおける対応する両眼画像を取得する顔生体検出装置。

【請求項12】

請求項１１に記載の装置であって、
前記第１画像認識モジュールは、さらに、
前記人の眼の画像シーケンスにおける各両眼画像を瞳孔色認識モデルに入力して、対応する瞳孔の色の認識結果を出力する顔生体検出装置。

【請求項13】

請求項９～１２のいずれか１項に記載の装置であって、
前記複数の顔画像を含む顔画像シーケンスを取得する前に、前記電子機器が顔認識プロセスを起動した後に予め設定された時間帯内に所定時間ごとに１種類の色の光を発するように制御され、前記電子機器が１種類の色の光を発した度に顔画像を１回収集するように制御される制御モジュールをさらに含む顔生体検出装置。

【請求項14】

請求項１３に記載の装置であって、
前記制御モジュールは、さらに、
前記電子機器が前記予め設定された時間帯内に前記所定時間ごとに１種類の色の光をランダムに発するように制御される顔生体検出装置。

【請求項15】

請求項１４に記載の装置であって、
前記制御モジュールは、さらに、
前記電子機器が前記予め設定された時間帯内に前記所定時間ごとに１種類の色の画像をランダムに表示するように制御されることによって、対応する色の光を発する顔生体検出装置。

【請求項16】

顔画像を取得する第３取得モジュールと、
前記顔画像に基づいて、対応する人の眼の画像を取得する第３取得モジュールと、
前記人の眼の画像に基づいて、前記人の眼の画像における人の眼の瞳孔に表示されたスポットの色を認識し、瞳孔の色の認識結果を取得する第２画像認識モジュールと、
前記瞳孔の色の認識結果に応じて、前記顔画像が電子機器が顔認識プロセスを起動した後に現場で収集された顔画像であることを表し、前記顔画像を用いて、顔生体検出結果を取得する第２検出モジュールと、を含む顔生体検出装置。

【請求項17】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されたメモリとを備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、
前記命令は、前記少なくとも１つのプロセッサが請求項１に記載の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される電子機器。

【請求項18】

コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１に記載の方法を実行させる記憶媒体。

【請求項19】

プロセッサにより実行される場合に、請求項１に記載の方法を実現するコンピュータプログラム。