特許 7110412 生体検出方法及び装置、電子機器並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-22

(45)【発行日】2022-08-01

(54)【発明の名称】生体検出方法及び装置、電子機器並びに記憶媒体

(51)【国際特許分類】

   G06V 40/16 20220101AFI20220725BHJP

   G06T 7/00 20170101ALI20220725BHJP

【ＦＩ】

G06V40/16 A

G06T7/00 510F

【請求項の数】 12

(21)【出願番号】P 2020572853

(86)(22)【出願日】2020-04-29

(65)【公表番号】

(43)【公表日】2022-01-06

(86)【国際出願番号】 CN2020087861

(87)【国際公開番号】W WO2021031609

(87)【国際公開日】2021-02-25

【審査請求日】2020-12-24

(31)【優先権主張番号】201910763887.2

(32)【優先日】2019-08-19

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520229127

【氏名又は名称】深▲セン▼市商湯科技有限公司

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】▲趙▼ 宏斌

(72)【発明者】

【氏名】▲蒋▼ 文忠

(72)【発明者】

【氏名】▲劉▼ 毅

(72)【発明者】

【氏名】胡 斯▲ティン▼

(72)【発明者】

【氏名】李 均▲強▼

【審査官】大塚 俊範

(56)【参考文献】

【文献】特表２０１５－５２８９４２（ＪＰ，Ａ）

【文献】特開２０１８－１５２０７９（ＪＰ，Ａ）

【文献】特開２０１９－１２１８６０（ＪＰ，Ａ）

【文献】中国特許出願公開第１０９８４０４７５（ＣＮ，Ａ）

【文献】国際公開第２００９／１０７２３７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ ４０／１６

(57)【特許請求の範囲】

【請求項1】

第１カメラにより収集された第１画像を取得し、前記第１画像に対して顔検出処理を行うことと、
前記第１画像に顔が含まれることを検出した場合に前記第１カメラのタイプと異なるタイプの第２カメラにより収集された第２画像を取得し、且つ、前記第１画像から顔が検出されていない場合に前記第１カメラにより収集された第１画像の取得を再実行することと、
前記第２画像に対して顔検出処理を行い、前記第２画像に顔が含まれることを検出した場合、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得ることと、を含み、
前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得ることは、
前記第１画像で所定の条件を満たす顔に対応する第１サブ画像を取得することと、
前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定することと、
前記第１サブ画像、及び前記第１サブ画像とマッチングした第２サブ画像を生体検出ニューラルネットワークに入力し、前記第１サブ画像における顔の生体検出結果を得ることと、を含む、生体検出方法。

【請求項2】

前記第２カメラにより収集された第２画像を取得することは、
前記第１カメラにより第１画像を収集した場合、前記第２カメラにより収集された第２画像を取得することと、
前記第１画像に顔が含まれることを検出した場合、前記第２カメラにより収集された第２画像を取得することと、のうち少なくとも１つを含むことを特徴とする
請求項１に記載の生体検出方法。

【請求項3】

前記第２画像から顔が検出されていないことに応答して、前記第１画像における顔が非生体であると決定することを更に含むことを特徴とする
請求項１又は２に記載の生体検出方法。

【請求項4】

前記第１画像で所定の条件を満たす顔に対応する第１サブ画像を取得することは、
前記第１画像での各顔の位置情報に基づいて、最大面積を有する顔に対応する第１サブ画像を得ることを含むことを特徴とする
請求項３に記載の生体検出方法。

【請求項5】

前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定することは、
前記第１サブ画像及び第２サブ画像に対して特徴抽出を行い、前記第１サブ画像の第１顔特徴及び前記第２サブ画像の第２顔特徴を得ることと、
前記第１顔特徴と第２顔特徴との類似度を得ることと、
前記第１顔特徴との類似度が第１閾値より大きい第２顔特徴が存在することに応答して、第１顔特徴との類似度が最も高い第２顔特徴に対応する第２サブ画像が、前記第１顔特徴に対応する第１サブ画像とマッチングしたと決定することと、を含むことを特徴とする
請求項３又は４に記載の生体検出方法。

【請求項6】

前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定することは、
前記第１画像での前記第１サブ画像の第１位置と、前記第２画像での前記第２サブ画像の第２位置と、の距離を取得することと、
いずれか１つの第２サブ画像の第２位置と前記第１サブ画像の第１位置との距離が距離閾値未満であることに応答して、前記いずれか１つのサブ画像が前記第１サブ画像とマッチングしたと決定することと、を含むことを特徴とする
請求項３又は４に記載の生体検出方法。

【請求項7】

前記第２画像に顔が含まれることを検出した場合、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得ることは、
前記第２画像に、前記第１サブ画像とマッチングした第２サブ画像が存在しないことに応答して、前記生体検出方法を再実行することを更に含むことを特徴とする
請求項３から６のうちいずれか一項に記載の生体検出方法。

【請求項8】

前記生体検出方法を繰り返して実行した回数が回数閾値より大きいことに応答して、前記生体検出結果が非生体であると決定することを更に含むことを特徴とする
請求項７に記載の生体検出方法。

【請求項9】

前記第１カメラは、可視光カメラであり、前記第２カメラは、赤外線カメラであることを特徴とする
請求項１から８のうちいずれか一項に記載の生体検出方法。

【請求項10】

第１カメラにより収集された第１画像を取得し、前記第１画像に対して顔検出処理を行うように構成される第１検出モジュールと、
前記第１画像に顔が含まれることを検出した場合に前記第１カメラのタイプと異なるタイプの第２カメラにより収集された第２画像を取得し、且つ、前記第１画像から顔が検出されていない場合に前記第１カメラにより収集された第１画像の取得を再実行するように構成される取得モジュールと、
前記第２画像に対して顔検出処理を行い、前記第２画像に顔が含まれることを検出した場合、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得るように構成される第２検出モジュールと、を備え、
前記第２検出モジュールは、
前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得る際に、前記第１画像で所定の条件を満たす顔に対応する第１サブ画像を取得し、前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定し、前記第１サブ画像、及び前記第１サブ画像とマッチングした第２サブ画像を生体検出ニューラルネットワークに入力し、前記第１サブ画像における顔の生体検出結果を得る、生体検出装置。

【請求項11】

プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶された命令を呼び出して、請求項１から９のうちいずれか一項に記載の方法を実行するように構成される、電子機器。

【請求項12】

コンピュータに請求項１から９のうちいずれか一項に記載の方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１９年０８月１９日に提出された出願番号２０１９１０７６３８８７．２の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

【0002】

本願の実施例は、コンピュータビジョン技術分野に関し、特に生体検出方法及び装置、電子機器並びに記憶媒体に関する。

【背景技術】

【0003】

現在、顔認識技術は、広く適用されている。日常生活において、例えば、アカウント登録、身元認証などにおいて、いずれも顔認識を適用することができる。これに伴い、非生体が顔認識に攻撃を与えるため、生体検出は、技術検討のホットスポットになってきた。

【0004】

従来の生体検出において、一般的には、単一のカメラにより収集された画像のみを利用して、生体特徴の検出を行う。該方法の検出精度が高くない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の実施例は、生体検出方法及び装置、電子機器並びに記憶媒体を提供する。

【課題を解決するための手段】

【0006】

本願の実施例は、生体検出方法を提供する。前記方法は、
第１カメラにより収集された第１画像を取得し、前記第１画像に対して顔検出処理を行うことと、
前記第１画像に顔が含まれることを検出した場合、第２カメラにより収集された第２画像を取得することであって、前記第１カメラのタイプは、第２カメラのタイプと異なる、ことと、
前記第２画像に対して顔検出処理を行い、前記第２画像に顔が含まれることを検出した場合、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得ることと、を含む。

【0007】

幾つかの実施例において、第２カメラにより収集された第２画像を取得することは、
第１カメラにより第１画像を収集した場合、前記第２カメラにより収集された第２画像を取得することと、
前記第１画像に顔が含まれることを検出した場合、前記第２カメラにより収集された第２画像を取得することと、のうち少なくとも１つを含む。

【0008】

幾つかの実施例において、前記方法は、
前記第２画像から顔が検出されていないことに応答して、前記第１画像における顔が非生体であると決定することを更に含む。

【0009】

幾つかの実施例において、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得ることは、
前記第１画像で所定の条件を満たす顔に対応する第１サブ画像を取得することと、
前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定することと、
前記第１サブ画像及び前記第１サブ画像とマッチングした第２サブ画像を生体検出ニューラルネットワークに入力し、前記第１サブ画像における顔の生体検出結果を得ることと、を含む。

【0010】

幾つかの実施例において、前記第１画像で所定の条件を満たす顔に対応する第１サブ画像を取得することは、
第１画像での各顔の位置情報に基づいて、最大面積を有する顔に対応する第１サブ画像を得ることを含む。

【0011】

幾つかの実施例において、前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定することは、
前記第１サブ画像及び第２サブ画像に対して特徴抽出を行い、前記第１サブ画像の第１顔特徴及び前記第２サブ画像の第２顔特徴を得ることと、
前記第１顔特徴と第２顔特徴との類似度を得ることと、
前記第１顔特徴との類似度が第１閾値より大きい第２顔特徴が存在することに応答して、第１顔特徴との類似度が最も高い第２顔特徴に対応する第２サブ画像が、前記第１顔特徴に対応する第１サブ画像とマッチングしたと決定することと、を含む。

【0012】

幾つかの実施例において、前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定することは、
前記第１画像での、前記第１サブ画像の第１位置と、前記第２画像での、前記第２サブ画像の第２位置と、の距離を取得することと、
いずれか１つの第２サブ画像の第２位置と前記第１サブ画像の第１位置との距離が距離閾値未満であることに応答して、前記いずれか１つのサブ画像が前記第１サブ画像とマッチングしたと決定することと、を含む。

【0013】

幾つかの実施例において、前記第２画像に顔が含まれることを検出した場合、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得ることは、
前記第２画像に、前記第１サブ画像とマッチングした第２サブ画像が存在しないことに応答して、前記生体検出方法を再実行することを更に含む。

【0014】

幾つかの実施例において、前記方法は、
前記生体検出方法を繰り返して実行した回数が回数閾値より大きいことに応答して、前記生体検出結果が非生体であると決定することを更に含む。

【0015】

幾つかの実施例において、前記方法は、
前記第１画像から顔が検出されていない場合、第１カメラにより収集された第１画像の取得を再実行することを更に含む。

【0016】

幾つかの実施例において、前記第１カメラは、可視光カメラであり、前記第２カメラは、赤外線カメラである。

【0017】

本願の実施例は、生体検出装置を提供する。前記装置は、
第１カメラにより収集された第１画像を取得し、前記第１画像に対して顔検出処理を行うように構成される第１検出モジュールと、
前記第１画像に顔が含まれることを検出した場合、第２カメラにより収集された第２画像を取得するように構成される取得モジュールであって、前記第１カメラのタイプは、第２カメラのタイプと異なる、取得モジュールと、
前記第２画像に対して顔検出処理を行い、前記第２画像に顔が含まれることを検出した場合、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得るように構成される第２検出モジュールと、を備える。

【0018】

幾つかの実施例において、第２カメラにより収集された第２画像を取得することは、
第１カメラにより第１画像を収集した場合、前記第２カメラにより収集された第２画像を取得することと、
前記第１画像に顔が含まれることを検出した場合、前記第２カメラにより収集された第２画像を取得することと、のうち少なくとも１つを含む。

【0019】

幾つかの実施例において、前記第２検出モジュールは更に、前記第２画像から顔が検出されていないことに応答して、前記第１画像における顔が非生体であると決定するように構成される。

【0020】

幾つかの実施例において、前記第２検出モジュールは、
前記第１画像で所定の条件を満たす顔に対応する第１サブ画像を取得するように構成される取得ユニットと、
前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定するように構成されるマッチングユニットと、
前記第１サブ画像及び前記第１サブ画像とマッチングした第２サブ画像を生体検出ニューラルネットワークに入力し、前記第１サブ画像における顔の生体検出結果を得るように構成される生体検出ユニットと、を更に備える。

【0021】

幾つかの実施例において、前記取得ユニットは更に、第１画像での各顔の位置情報に基づいて、最大面積を有する顔に対応する第１サブ画像を得るように構成される。

【0022】

幾つかの実施例において、前記マッチングユニットは更に、前記第１サブ画像及び第２サブ画像に対して特徴抽出を行い、前記第１サブ画像の第１顔特徴及び前記第２サブ画像の第２顔特徴を得、
前記第１顔特徴と第２顔特徴との類似度を得、
前記第１顔特徴との類似度が第１閾値より大きい第２顔特徴が存在する場合、第１顔特徴との類似度が最も高い第２顔特徴に対応する第２サブ画像が、前記第１顔特徴に対応する第１サブ画像とマッチングしたと決定するように構成される。

【0023】

幾つかの実施例において、前記マッチングユニットは更に、前記第１画像での、前記第１サブ画像の第１位置と、前記第２画像での、前記第２サブ画像の第２位置と、の距離を取得し、
いずれか１つの第２サブ画像の第２位置と前記第１サブ画像の第１位置との距離が距離閾値未満である場合、前記いずれか１つのサブ画像が前記第１サブ画像とマッチングしたと決定するように構成される。

【0024】

幾つかの実施例において、前記マッチングユニットは更に、前記第２画像に、前記第１サブ画像とマッチングした第２サブ画像が存在しない場合、第１画像を再取得して生体検出を実行するように構成される。

【0025】

幾つかの実施例において、前記マッチングユニットは更に、前記生体検出方法を繰り返して実行した回数が回数閾値より大きい場合、前記生体検出結果が非生体であると決定するように構成される。

【0026】

幾つかの実施例において、前記第１検出モジュールは、前記第１画像から顔が検出されていない場合、第１カメラにより収集された第１画像の取得を再実行するように構成される。

【0027】

幾つかの実施例において、前記第１カメラは、可視光カメラであり、前記第２カメラは、赤外線カメラである。

【0028】

本願の実施例は、電子機器を提供する。前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶された命令を呼び出して、上記いずれか一項に記載の方法を実行するように構成される。

【0029】

本願の実施例は、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体は、コンピュータに上記いずれか一つに記載の方法を実行させるためコンピュータプログラムを記憶する。

【発明の効果】

【0030】

本願の実施例において、まず、第１カメラにより収集された第１画像を取得し、第１画像から顔を検出した場合、第２カメラにより収集された、タイプが第１画像と異なる第２画像を取得し、更に、第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得る。本願の実施例は、両眼カメラにより収集された画像を利用して生体検出を行う。つまり、２種類のカメラにより収集された画像における顔検出結果により、生体検出結果を得、生体検出の精度を向上させる。

【0031】

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

【0032】

本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。

【図面の簡単な説明】

【0033】

【図1】本願の実施例による生体検出方法を示すフローチャートである。

【図2】本願の実施例による生体検出方法のステップＳ３０を示すフローチャートである。

【図3】本願の実施例による生体検出方法のステップＳ３２を示すフローチャートである。

【図4】本願の実施例による生体検出プロセスを示す概略図である。

【図5】本願の実施例による生体検出装置を示すブロック図である。

【図6】本願の実施例による電子機器を示すブロック図である。

【図7】本願の実施例によるもう１つの電子機器を示すブロック図である。

【発明を実施するための形態】

【0034】

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本発明に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。

【0035】

以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。

【0036】

ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。

【0037】

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

【0038】

なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。

【0039】

本願の実施例で提供される生体検出方法の実行主体は、画像処理装置であってもよい。例えば、生体検出方法は、端末装置、サーバ又は他の処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器、身分検証機器などであってもよい。幾つかの考えられる実現形態において、該生体検出方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。

【0040】

図１は、本願の実施例による生体検出方法を示すフローチャートである。図１に示すように、前記生体検出方法は、以下を含む。

【0041】

Ｓ１０において、第１カメラにより収集された第１画像を取得し、前記第１画像に対して顔検出処理を行う。

【0042】

幾つかの実施例において、本願の実施例の生体検出方法は、生体検出を必要とする如何なる適用シーンに適用可能である。例えば、顔情報の書き込み、支払い検証、身分検証などのシーンにおいて、いずれも、本願の実施例の生体検出方法を適用することができ、本願の実施例は、これを具体的に限定しない。本願の実施例の生体検出方法により、収集された画像における顔に対応する人物対象が生体であるかどうかを認識することができる。なお、本願の実施例の生体検出方法を適用した電子機器に、例えば、第１カメラ及び第２カメラのような２つのカメラが配置されてもよい。第１カメラのタイプと第２カメラのタイプが異なる。例えば、第１カメラは、可視光（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ：ＲＧＢ）カメラであってもよく、第２カメラは、赤外線（Ｉｎｆｒａｒｅｄ Ｒａｄｉａｔｉｏｎ：ＩＲ）カメラであってもよい。ここで、第１カメラのイメージングスケールは、第２カメラのイメージングスケールと同じであってもよい。上記は、例示的な説明に過ぎず、本願を具体的に限定するものではない。

【0043】

幾つかの実施例において、まず、第１カメラにより収集された第１画像を取得することができる。ここで、該第１画像は、第１カメラによりリアルタイムに収集された画像である。例えば、生体検出実行命令を受信した場合、第１カメラに、第１カメラを起動する命令を送信し、第１カメラにより第１画像を収集する。第１画像は、カラー画像（ＲＧＢ画像）である。

【0044】

幾つかの実施例において、第１画像を取得した場合、第１画像に対する顔検出処理を行うことができる。第１カメラにより収集された第１画像に、１つ又は複数の顔が含まれてもよく、又は、如何なる顔が含まなくてもよい。顔検出処理により、第１画像に顔が含まれるかどうかを認識することができ、また、含まれる顔の位置などの情報を認識することができる。本願の実施例は、顔を認識できるニューラルネットワークにより、該顔検出処理を実行する。例えば、ニューラルネットワークは、第１画像の特徴抽出を実行するための少なくとも１つの畳み込み層を含んでもよい。全結合層により、顔の検出及び分類を行う。上記実施例は、本願の実施例における顔検出を実現させるニューラルネットワークを具体的に限定するものではない。例えば、領域候補ネットワークなどのような、顔認識機能を有する他のニューラルネットワークにより、顔検出を実現させることもできる。

【0045】

Ｓ２０において、前記第１画像に顔が含まれることを検出した場合、第２カメラにより収集された第２画像を取得し、前記第１カメラのタイプは、第２カメラのタイプと異なる。

【0046】

幾つかの実施例において、Ｓ１０により、第１画像の顔検出結果を得ることができる。該顔検出結果は、第１画像に顔が含まれるかどうかに関わる情報を含んでもよい。また、顔を検出した場合、例えば、顔検出枠の位置情報のような、顔に対応する位置情報を含んでもよい。ここで、第１画像に顔が含まれることを検出した場合、第２カメラにより収集された第２画像を更に取得することができる。上記実施例に記載したように、第２カメラは、タイプが第１カメラのタイプと異なるカメラである。第２カメラは、赤外線カメラであってもよく、対応する収集された第２画像は、赤外画像（ＩＲ画像）である。

【0047】

幾つかの実施例において、第２カメラにより収集された第２画像を取得することは、第１カメラにより第１画像を収集した場合、前記第２カメラにより収集された第２画像を取得することと、前記第１画像に顔が含まれることを検出した場合、前記第２カメラにより収集された第２画像を取得することと、のうち少なくとも１つを含む。

【0048】

一例において、第１画像から顔を検出した場合、第２カメラに起動命令を送信し、第２カメラを起動し、第２カメラにより画像を収集する。更に、第２カメラにより収集された第２画像を取得する。つまり、取得された第２画像は、第１画像から顔を検出した時刻で、第２カメラにより収集された第２画像であってもよい。又は、もう１つの例において、第１カメラを起動すると同時に、第２カメラを起動し、第２カメラにより収集された画像をリアルタイムに記憶する。第１画像に顔が含まれることを検出した場合、第２カメラにより収集された第２画像を取得する。該第２画像は、第１カメラにより収集された第１画像を取得した時刻で、第２カメラにより収集された第２画像であってもよく、又は、第１画像を収集した時刻から第１画像における顔を検出した時刻までのいずれか１つの時刻で、第２カメラにより収集された第２画像であってもよい。

【0049】

幾つかの実施例において、第１画像から顔が検出されていない場合、第１カメラにより新たな第１画像を再収集し、生体検出方法を再実行することができる。

【0050】

Ｓ３０において、前記第２画像に対して顔検出処理を行い、前記第２画像に顔が含まれることを検出した場合、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得る。

【0051】

幾つかの実施例において、第２画像を取得した場合、第２画像に対する顔検出処理を実行することができる。該処理は、第１画像に対する顔検出処理と同じである。顔検出を実行できるニューラルネットワークにより、第２画像に対して顔検出処理を行うこともできる。第２画像を該顔検出ニューラルネットワークに入力し、顔検出ニューラルネットワークにより、第２画像に顔が含まれるかどうかを認識し、また、含まれる顔の位置情報を認識する。

【0052】

幾つかの実施例において、第２画像の顔検出結果に基づいて、生体検出結果を決定することができる。例えば、第２画像から顔が検出されていない場合、第１画像から検出された顔が非生体であることを証明することができる。この場合、第１画像は、光沢のある写真又は電子写真であってもよい。この場合、第１画像における顔が非生体であると直接的に判定することができる。

【0053】

幾つかの実施例において、第２画像に顔が含まれることを検出した場合、第１画像における顔と第２画像における顔とのマッチング結果に基づいて、生体検出結果を決定することもできる。２種類のカメラにより収集された画像の顔検出結果を結合する。例えば、第２画像から、第１画像における顔とマッチングした顔を検出した場合、該２つのマッチングした顔に基づいて生体検出を実現させる。又は、第２画像から、第１画像における顔とマッチングした顔が検出されていない場合、第１画像における顔が非生体であると決定することができる。

【0054】

本願の実施例は、２種類のカメラにより収集された画像における顔検出結果を結合することで、２つの画像における顔マッチング結果を更に決定し、マッチング結果に基づいて生体検出結果を得る。該プロセスによれば、検出精度を向上させることができる。

【0055】

以下、図面を参照しながら、本願の実施例を詳細に説明する。上記実施例に記載したように、第１画像から顔を検出した場合、第２カメラにより収集された第２画像の顔検出結果に基づいて、生体検出を行い、生体検出結果を得ることができる。

【0056】

図２は、本願の実施例による生体検出方法のステップＳ３０を示すフローチャートである。本願の実施例において、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得ることは、以下を含む。

【0057】

Ｓ３１において、前記第１画像で所定の条件を満たす顔に対応する第１サブ画像を取得する。

【0058】

幾つかの実施例において、第２画像の顔検出結果が、顔が検出されていないことを表す場合、第１画像における顔が非生体であることを示す。第２画像から顔が検出された場合、第１画像から、所定の要件を満たす顔に対応する画像領域を選択する。該画像領域は、第１サブ画像である。

【0059】

上記実施例に記載したように、顔検出結果に、検出した顔の位置情報が含まれてもよい。該位置情報は、検出した顔に対応する検出枠の位置であってもよい。例えば、座標の形式で表されてもよい。例えば、（ｘ１，ｘ２，ｙ１，ｙ２）として表されてもよい。ここで、（ｘ１，ｙ１）及び（ｘ２，ｙ２）は、それぞれ、検出枠の２つの対角頂点の位置座標である。上記位置座標により、第１画像及び第２画像で検出された各顔が位置する位置領域を決定することができる。上記は、例示的な説明に過ぎず、他の形式で、顔が位置する位置領域を表すこともできる。

【0060】

本願の実施例は、第１画像における最大面積を有する顔を、所定の要件を満たす顔として決定することができる。なお、該最大面積を有する顔が位置する位置領域は、第１サブ画像とされてもよい。例えば、顔認証又は生体検出を必要とする他の場合に、一般的には、画像における最大面積領域を占める顔を検出されるべき顔として決定することができる。この場合、該最大面積を有する顔の位置領域に対応する画像を、所定の要件を満たす顔に対応する第１サブ画像として決定することができる。ここで、本願の実施例は、検出した顔の位置情報に基づいて、顔が位置する位置領域の面積を決定することができる。つまり、顔に対応する検出枠の位置に基づいて、検出枠の面積を決定することができる。該検出枠の面積を顔が位置する位置領域の面積として決定することができる。

【0061】

又は、他の実施例において、ユーザにより入力された選択情報を受信することで、選択情報に対応する顔を決定し、該選択された顔を、所定の要件を満たす顔とする。同様に、該選択された顔に対応する位置領域を第１サブ画像とする。更に、第１画像における、ユーザにより選択された顔に対応する生体検出結果を適応的に検出することができる。ここで、ユーザにより入力された選択情報は、例えば矩形形状の枠の選択操作のような、第１画像に対する枠選択操作であってもよい。本願の実施例は、枠選択操作における顔を、所定の要件を満たす顔とし、枠選択操作により選択された領域の画像を第１サブ画像とすることができる。又は、枠選択操作に含まれる顔の情報位置に対応する画像を第１サブ画像とすることもできる。本願は、これを具体的に限定するものではない。なお、枠選択操作に対応する枠の形状は矩形に限定されず、他の形状であってもよい。

【0062】

幾つかの実施例において、得られた第１サブ画像は、複数であってもよい。つまり、所定の要件を満たす顔は、複数であってもよい。例えば、枠選択操作により、所定の要件を満たす複数の顔を選択する。従って、各顔にそれぞれ対応する第１サブ画像を得ることができる。

【0063】

Ｓ３２において、前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定する。

【0064】

幾つかの実施例において、第２画像に対して顔検出処理を行うことで、第２画像の顔検出結果を得ることができる。ここで、第２画像に顔が含まれるかどうかに関わる情報及び第２画像に含まれる顔の位置情報を含んでもよい。なお、第２画像に含まれる顔の位置情報により、第２画像における各顔位置領域に対応する第２サブ画像を得ることができる。つまり、第２画像における各顔位置情報に対応する位置領域の画像を第２サブ画像とする。これにより、第１サブ画像を各第２サブ画像とそれぞれマッチングし、第１サブ画像とマッチングした第２サブ画像を得る。第１サブ画像と第２サブ画像がマッチングしたことは、第１サブ画像における顔と第２サブ画像における顔が同一の人物対象の顔であることを意味する。例えば、各第１サブ画像と各第２サブ画像の特徴の類似度を得、類似度が第１閾値より大きい第２サブ画像を、第１サブ画像とマッチングした第２サブ画像と決定する。一例において、第１画像で所定の条件を満たす顔は、顔Ａであってもよい。例えば、顔Ａは、第１画像で最大の面積を有する位置領域に対応する顔である。顔Ａの位置情報に基づいて、顔Ａに対応する第１サブ画像を決定することができる。第２画像に、顔Ｂ、Ｃ及びＤが含まれてもよい。検出した顔Ｂ、Ｃ及びＤの位置情報に基づいて、第２画像での、顔Ｂ、Ｃ及びＤにそれぞれ対応する第２サブ画像を決定することができる。続いて、顔Ａの第１サブ画像を、それぞれ、顔Ｂ、Ｃ及びＤの第２サブ画像とマッチングし、例えば、顔Ａの第１サブ画像に対応する顔特徴と顔Ｂ、Ｃ及びＤの第２サブ画像の顔特征との類似度を得る。該類似度に基づいて、顔Ｂ、Ｃ及びＤに、顔Ａとマッチングした顔が存在するかどうかを決定することができる。つまり、第１サブ画像とマッチングした第２サブ画像が存在するかどうかを決定することができる。Ｂ、Ｃ及びＤに、Ａの顔特徴との類似度が第１閾値より大きい顔が存在すれば、類似度が最も高い顔に対応する第２サブ画像を、第１サブ画像とマッチングした第２サブ画像と決定することができる。例えば、Ａの顔特徴とＢの顔特徴との類似度は９８％であり、Ａの顔特徴とＣの顔特徴との類似度は、５０％であり、Ａの顔特徴とＤの顔特徴との類似度は、８５％であり、類似度閾値は、９０％であってもよい。この場合、Ａとマッチングした顔Ｂが存在すると決定することができる。なお、Ｂに対応する第２サブ画像は、Ａに対応する第１サブ画像とマッチングした。又は、他の実施例において、第１サブ画像と第２サブ画像との距離により、第２サブ画像とマッチングした第１サブ画像を決定することもできる。

【0065】

Ｓ３３において、前記第１サブ画像及び前記第１サブ画像とマッチングした第２サブ画像を生体検出ニューラルネットワークに入力し、前記第１サブ画像における顔の生体検出結果を得る。

【0066】

幾つかの実施例において、第１サブ画像とマッチングした第２サブ画像を得た場合、第１サブ画像及び第２サブ画像を生体検出ニューラルネットワークに入力し、生体検出ニューラルネットワークにより、第１サブ画像及び第２サブ画像に含まれる顔が生体であるかどうかの生体検出結果を予測することができる。ここで、生体検出ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。該生体検出ネットワークが訓練された後、入力された第１サブ画像及び第２サブ画像における画像が生体であるかどうかを認識することができる。ここで、生体検出ネットワークは、第１サブ画像及び第２サブ画像における顔が生体である確率、及び生体であるかどうかを示す識別子を出力することができる。該識別子は、第１サブ画像及び第２サブ画像における顔が生体であることを示す第１識別子、及び非生体であることを示す第２識別子を含んでもよい。第１識別子は、１であってもよく、第２識別子は、０であってもよい。ここで、上記確率が第２閾値より大きい場合、第１サブ画像及び第２サブ画像における顔が生体であることを表す。この場合、第１識別子を出力する。上記確率が第２閾値以下である場合、第１サブ画像及び第２サブ画像における顔が非生体であることを表す。この場合、第２識別子を出力する。なお、本願の実施例は、生体検出ニューラルネットワークのネットワークの構造を具体的に限定するものではない。それは、生体検出の目的を実現できる如何なるニューラルネットワークであってもよい。

【0067】

上記実施例により、生体検出ニューラルネットワークを利用して、マッチングした第１サブ画像と第２サブ画像における顔の生体検出結果を更に認識することができる。該方式により、生体検出の精度を更に向上させることができる。

【0068】

以下、例を挙げて、第１サブ画像とマッチングした第２サブ画像の決定プロセスを説明する。図３は、本願の実施例による生体検出方法のステップＳ３２を示すフローチャートである。前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定することは、以下を含む。

【0069】

Ｓ３２１において、前記第１サブ画像及び第２サブ画像に対して特徴抽出を行い、前記第１サブ画像の第１顔特徴及び前記第２サブ画像の第２顔特徴を得る。

【0070】

幾つかの実施例において、第１画像で所定の条件を満たす顔に対応する第１サブ画像に対してそれぞれ特徴抽出を行い、各第１サブ画像に対応する第１顔特徴を得る。第２画像における各顔に対応する第２サブ画像に対して特徴抽出を行い、各第２サブ画像に対応する第２顔特徴を得ることができる。本願の実施例は、特徴抽出ネットワークにより、該特徴抽出を実行することができる。例えば、残差ネットワーク、ピラミッドネットワーク等の畳み込みニューラルネットワークにより特徴抽出を実行することができる。本願は、これを具体的に限定するものではない。

【0071】

幾つかの実施例において、第１顔特徴の次元は、第２顔特徴の次元と同じである。各第１サブ画像及び第２サブ画像を得た場合、第１サブ画像及び第２サブ画像を所定の規格に調整し、各サブ画像の寸法を同じくする。従って、特徴抽出により、第１顔特徴及び第２顔特徴を得た場合、各顔特徴の次元は同じである。

【0072】

Ｓ３２２において、前記第１顔特徴と第２顔特徴との類似度を得る。

【0073】

幾つかの実施例において、第１顔特徴及び第２顔特徴を得た場合、各第１顔特徴と各第２顔特徴との類似度をそれぞれ算出することができる。例えば、第１顔特徴と第２顔特徴とのコサイン類似度を算出することができる。又は、上記類似度を表すための、第１顔特徴と第２顔特徴とのユークリッド距離を算出することもできる。他の実施例において、他のパラメータで、第１顔特徴と第２顔特徴との類似度を表すこともできる。ここでは逐一に例を挙げて説明することをしない。

【0074】

Ｓ３２３において、前記第１顔特徴との類似度が第１閾値より大きい第２顔特徴が存在する場合、第１顔特徴との類似度が最も高い第２顔特徴に対応する第２サブ画像が、前記第１顔特徴に対応する第１サブ画像とマッチングしたと決定する。

【0075】

幾つかの実施例において、各第１顔特徴に対して、該顔特徴との類似度が第１閾値より大きい第２顔特徴が存在すれば、第１顔特徴に対応する第１サブ画像とマッチングした第２サブ画像が存在することを表す。この場合、類似度が最も高い第２顔特徴に対応する第２サブ画像を、第１サブ画像とマッチングした画像と決定する。この場合、該マッチングした２つの画像に、同一の人物対象に対応する顔が含まれることを表す。

【0076】

なお、少なくとも１つの第１顔特徴に対して、任意の第２顔特徴と該第１顔特徴との類似度がいずれも第１閾値未満であることは、該第１顔特徴と類似した第２顔特徴が存在しないことを表す。この場合、該第１顔特徴に対応する第１サブ画像とマッチングした第２サブ画像が存在しないことを表す。第１サブ画像とマッチングした第２サブ画像が存在しないと決定した場合、第１サブ画像及び第２サブ画像における顔が非生体であると直接的に判定することができる。又は、生体検出方法を再実行する。つまり、再び、第１カメラにより第１画像を収集し、続いて、生体検出方法の各プロセスを再実行する。なお、複数回繰り返して実行した場合、回数閾値を超えても、第１顔特徴と類似した第２顔特徴が依然として検出されておらず、つまり、第１サブ画像とマッチングした第２サブ画像が依然として検出されていないと、第１サブ画像及び第２サブ画像における顔が非生体であると決定することができる。上記方式により、収集した画像又は人物の移動状態の変動などの要因による影響を低減させ、生体検出の精度を向上させることができる。

【0077】

本願の別の幾つかの実施形態において、前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定することは、前記第１画像での、前記第１サブ画像の第１位置と、前記第２画像での、前記第２サブ画像の第２位置と、の距離を取得することと、いずれか１つの第２サブ画像の第２位置と前記第１サブ画像の第１位置との距離が距離閾値未満であることに応答して、前記いずれか１つのサブ画像が前記第１サブ画像とマッチングしたと決定することと、を含む。

【0078】

本願の実施例において、第１画像での、第１サブ画像の第１位置及び第２画像での、第２サブ画像の第２位置をそれぞれ取得することができる。ここで、第１画像と第２画像の寸法は同じであってもよい。又は、第１画像と第２画像の寸法が異なる場合、第１画像及び第２画像に対して正規化処理を行い、正規化された第１画像及び第２画像の寸法を同じくし、続いて、正規化された第１画像における第１サブ画像の第１位置及び第２画像における第２サブ画像の第２位置を得る。第１位置及び第２位置を得た後、各第１位置と第２位置とのシティ一ブロック距離（ｃｉｔｙ ｂｌｏｃｋ ｄｉｓｔａｎｃｅ）を算出することができる。該シティ一ブロック距離が距離閾値未満である場合、対応する第２サブ画像及び第１サブ画像を、同一の人物対象の顔と決定することができる。つまり、第２サブ画像は、第１サブ画像とマッチングした。この場合、第１サブ画像の顔に対応する人物対象が生体であると決定することができる。第１位置とのシティ一ブロック距離が距離閾値未満である第２位置が存在しなければ、第１サブ画像とマッチングした第２サブ画像が存在しないことを表す。つまり、第２画像に、第１サブ画像における顔と同一の人物対象の顔が存在しない。この場合、第１サブ画像及び第２サブ画像における顔が非生体であると決定することができる。ここで、シティ一ブロック距離の算出方式は、ｄ（ｉ，ｊ） ＝ ｜Ｘ１ － Ｘ２｜ ＋ ｜Ｙ１ － Ｙ２｜であってもよい。ここで、ｄ（ｉ，ｊ）は、座標が（ｘ１，ｙ１）であるｉ点と座標が（ｘ２，ｙ２）であるｊ点とのシティ一ブロック距離を表す。

【0079】

本願の実施例において、第１閾値、第２閾値、距離閾値及び回数閾値は、所定の値であってもよく、本願の実施例は、これを具体的に限定するものではない。例えば、本願において、第１閾値は、９０％であってもよく、第２閾値は、８０％であってもよく、回数閾値は、例えば５のような、１より大きい値であってもよく、距離閾値は、５又は他の値であってもよい。上記は、例示的な説明に過ぎず、本願を具体的に限定するものではない。

【0080】

第１サブ画像とマッチングした第２サブ画像を得た場合、マッチングした第１サブ画像及び第２サブ画像を生体検出ニューラルネットワークに入力し、生体検出結果を得ることができる。

【0081】

本願の実施例を明確にするために、以下、例を挙げて、本願の実施例の生体検出プロセスを説明する。図４は、本願の実施例による生体検出プロセスを示す概略図である。図４に示すように、第１カメラがＲＧＢカメラであって第２カメラがＩＲカメラであることを例として説明する。ここで、まず、第１カメラにより収集された第１画像を取得し、例えば、ＲＧＢプレビューフレームを取得する。この場合、第２カメラにより収集された第２画像を得ることもできる。第１画像における顔を認識する。つまり、ＲＧＢ画像に対して顔検出を行う。顔が検出されていないと、プロセスを終了して、第１画像の収集を再実行する。このように繰り返して実行する。第１画像から顔を検出した場合、第２カメラにより収集された第２画像を取得し、第２画像に対して顔検出を行う。第２画像から顔が検出されていないと、第１画像における顔が非生体であると決定する。第２画像から顔を検出した場合、第１画像における最大面積を有する顔を、所定の要件を満たす顔とし、第２画像における、該最大面積を有する顔とマッチングした顔を決定する。つまり、最大面積を有する顔に対応する第１サブ画像とマッチングした第２サブ画像を決定することができる。続いて、マッチングした第１サブ画像及び第２サブ画像を生体検出ニューラルネットワークに入力し、生体検出結果を得る。得られた確率値ｓｃｏｒｅ（スコア）が第２閾値（生体閾値）より大きいと、マッチングした第１サブ画像及び第２サブ画像における顔が生体であると決定することができる。そうでなければ、非生体であると決定する。なお、第２画像から、第１サブ画像とマッチングした第２サブ画像が検出されていないと、第１サブ画像に対応する顔が非生体であると決定する。又は、生体検出方法を繰り返して実行した回数が回数閾値より大きい場合、第１サブ画像とマッチングした第２サブ画像が依然として検出されていないと、第１サブ画像における顔が非生体であると決定することができる。

【0082】

要するに、本願の実施例において、まず、第１カメラにより収集された第１画像を取得し、第１画像から顔を検出した場合、第２カメラにより収集された、タイプが第１画像と異なる第２画像を取得し、更に、第２画像の顔検出結果に基づいて、生体検出結果を得る。本願の実施例は、両眼カメラにより収集された画像を利用して生体検出を行う。つまり、２種類のカメラにより収集された画像における顔検出結果により、生体検出結果を得、生体検出の精度を向上させる。なお、本願の実施例は、両眼カメラ（第１カメラ及び第２カメラ）を利用することで、非活体による攻撃の点で、より多くの方策及び判定方法を実現させることができる。例えば、赤外撮像のイメージング特性に基づいて、電子スクリーンによる攻撃を容易に判定することができ、非生体による攻撃を効果的に防止することができる。

【0083】

要するように、本願の実施例において、まず、第１カメラにより収集された第１画像を取得し、第１画像から顔を検出した場合、第２カメラにより収集された、タイプが第１画像と異なる第２画像を取得し、更に、第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得る。本願の実施例は、両眼カメラにより収集された画像を利用して生体検出を行う。つまり、２種類のカメラにより収集された画像における顔検出結果により、生体検出結果を得、生体検出の精度を向上させる。

【0084】

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。

【0085】

本願に言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。

【0086】

なお、本願は、生体検出装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願で提供されるいずれか１つの生体検出方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。

【0087】

図５は、本願の実施例による生体検出装置を示すブロック図である。図５に示すように、前記生体検出装置は、
第１カメラにより収集された第１画像を取得し、前記第１画像に対して顔検出処理を行うように構成される第１検出モジュール４１と、
前記第１画像に顔が含まれることを検出した場合、第２カメラにより収集された第２画像を取得するように構成される取得モジュールであって、前記第１カメラのタイプは、第２カメラのタイプと異なる、取得モジュール４２と、
前記第２画像に対して顔検出処理を行い、前記第２画像に顔が含まれることを検出した場合、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得るように構成される第２検出モジュール４３と、を備える。

【0088】

幾つかの実施例において、第２カメラにより収集された第２画像を取得することは、
第１カメラにより第１画像を収集した場合、前記第２カメラにより収集された第２画像を取得することと、
前記第１画像に顔が含まれることを検出した場合、前記第２カメラにより収集された第２画像を取得することと、のうち少なくとも１つを含む。

【0089】

幾つかの実施例において、前記第２検出モジュールは更に、前記第２画像から顔が検出されていないことに応答して、前記第１画像における顔が非生体であると決定するように構成される。

【0090】

幾つかの実施例において、前記第２検出モジュールは、
前記第１画像で所定の条件を満たす顔に対応する第１サブ画像を取得するように構成される取得ユニットと、
前記第１サブ画像と、前記第２画像から検出した顔に対応する第２サブ画像と、を比較し、前記第１サブ画像とマッチングした第２サブ画像を決定するように構成されるマッチングユニットと、
前記第１サブ画像及び前記第１サブ画像とマッチングした第２サブ画像を生体検出ニューラルネットワークに入力し、前記第１サブ画像における顔の生体検出結果を得るように構成される生体検出ユニットと、を更に備える。

【0091】

幾つかの実施例において、前記取得ユニットは更に、第１画像での各顔の位置情報に基づいて、最大面積を有する顔に対応する第１サブ画像を得るように構成される。

【0092】

幾つかの実施例において、前記マッチングユニットは更に、前記第１サブ画像及び第２サブ画像に対して特徴抽出を行い、前記第１サブ画像の第１顔特徴及び前記第２サブ画像の第２顔特徴を得、
前記第１顔特徴と第２顔特徴との類似度を得、
前記第１顔特徴との類似度が第１閾値より大きい第２顔特徴が存在する場合、第１顔特徴との類似度が最も高い第２顔特徴に対応する第２サブ画像が、前記第１顔特徴に対応する第１サブ画像とマッチングしたと決定するように構成される。

【0093】

幾つかの実施例において、前記マッチングユニットは更に、前記第１画像での、前記第１サブ画像の第１位置と、前記第２画像での、前記第２サブ画像の第２位置と、の距離を取得し、
いずれか１つの第２サブ画像の第２位置と前記第１サブ画像の第１位置との距離が距離閾値未満である場合、前記いずれか１つのサブ画像が前記第１サブ画像とマッチングしたと決定するように構成される。

【0094】

幾つかの実施例において、前記マッチングユニットは更に、前記第２画像に、前記第１サブ画像とマッチングした第２サブ画像が存在しない場合、第１画像を再取得して生体検出を実行するように構成される。

【0095】

幾つかの実施例において、前記マッチングユニットは更に、前記生体検出方法を繰り返して実行した回数が回数閾値より大きい場合、前記生体検出結果が非生体であると決定するように構成される。

【0096】

幾つかの実施例において、前記第１検出モジュールは、前記第１画像から顔が検出されていない場合、第１カメラにより収集された第１画像の取得を再実行するように構成される。

【0097】

幾つかの実施例において、前記第１カメラは、可視光カメラであり、前記第２カメラは、赤外線カメラである。

【0098】

幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。

【0099】

本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。

【0100】

本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、プロセッサは、上記方法を実行するように構成される。

【0101】

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

【0102】

図６は本願の実施例による電子機器を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。

【0103】

図６を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉｎｐｕｔ Ｏｕｔｐｕｔ：Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。

【0104】

処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションに寄与する。

【0105】

メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＰＲＯＭ）、読出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。

【0106】

電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。

【0107】

マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）及びタッチパネル（Ｔｏｕｃｈ Ｐａｎｅｌ：ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

【0108】

オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（Ｍｉｃｒｏｐｈｏｎｅ：ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。

【0109】

Ｉ／Ｏインタフェース８１２は、処理コンポーネント８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。

【0110】

センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、金属酸化膜半導体素子（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）又は電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

【0111】

通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ：ＲＦＩＤ）技術、赤外線データ協会（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）技術、超広帯域（Ｕｌｔｒａ ＷｉｄｅＢａｎｄ：ＵＷＢ）技術、ブルートゥース（登録商標）（ＢｌｕｅＴｏｏｔｈ：ＢＴ）技術及び他の技術に基づいて実現される。

【0112】

例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理機器（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

【0113】

例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。

【0114】

図７は、本願の実施例によるもう１つの電子機器を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図７を参照すると、電子機器１９００は、処理コンポーネント１９２２を備える。それは1つ又は複数のプロセッサと、メモリ１９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理コンポーネント１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は1つ以上のモジュールを含んでもよい。なお、処理コンポーネント１９２２は、命令を実行して、上記方法を実行するように構成される。

【0115】

電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０と、入力出力（Ｉ／Ｏ）インタフェース１９５８を更に備えてもよい。電子機器１９００は、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ， Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤＴＭ又は類似したなどの、メモリ１９３２に記憶されているオペレーティングシステムを実行することができる。

【0116】

例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２により実行されて上記方法を完了する。

【0117】

本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。

【0118】

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

【0119】

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

【0120】

本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよく、ユーザコンピュータ上で部分的に実行してもよく、独立したソフトウェアパッケージとして実行してもよく、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよく、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。

【0121】

ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。

【0122】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。

【0123】

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。

【0124】

図面におけるフローチャート及びブック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。

【0125】

以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

【産業上の利用可能性】

【0126】

本願の実施例は、生体検出方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、第１カメラにより収集された第１画像を取得し、前記第１画像に対して顔検出処理を行うことと、前記第１画像に顔が含まれることを検出した場合、第２カメラにより収集された第２画像を取得することであって、前記第１カメラのタイプは、第２カメラのタイプと異なる、ことと、前記第２画像に対して顔検出処理を行い、前記第２画像に顔が含まれることを検出した場合、前記第１画像から検出した顔と第２画像から検出した顔とのマッチング結果に基づいて、生体検出結果を得ることと、を含む。本願の実施例は、生体検出の精度を向上させることができる。

【符号の説明】

【0127】

41 第１検出モジュール
42 取得モジュール
43 第２検出モジュール
802 処理コンポーネント
804 メモリ
806 電源コンポーネント
808 マルチメディアコンポーネント
810 オーディオコンポーネント
812 入力／出力インタフェース
814 センサコンポーネント
816 通信コンポーネント
820 プロセッサ
1922 処理コンポーネント
1926 電源コンポーネント
1932 メモリ
1950 ネットワークインタフェース
1958 入力出力インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】