特許 7106742 顔認識方法、装置、電子機器及びコンピュータ不揮発性読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-15

(45)【発行日】2022-07-26

(54)【発明の名称】顔認識方法、装置、電子機器及びコンピュータ不揮発性読み取り可能な記憶媒体

(51)【国際特許分類】

   G06V 40/16 20220101AFI20220719BHJP

   G06T 7/00 20170101ALI20220719BHJP

【ＦＩ】

G06V40/16 A

G06T7/00 510F

【請求項の数】 15

(21)【出願番号】P 2021504210

(86)(22)【出願日】2019-11-12

(65)【公表番号】

(43)【公表日】2021-12-09

(86)【国際出願番号】 CN2019117656

(87)【国際公開番号】W WO2021017286

(87)【国際公開日】2021-02-04

【審査請求日】2021-01-25

(31)【優先権主張番号】201910709169.7

(32)【優先日】2019-08-01

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517406065

【氏名又は名称】平安科技（深▲せん▼）有限公司

【氏名又は名称原語表記】ＰＩＮＧ ＡＮ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】２３Ｆ，Ｐｉｎｇ’ａｎ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ，Ｎｏ．５０３３ Ｙｉｔｉａｎ Ｒｏａｄ，Ｆｕ’ａｎ Ｃｏｍｍｕｎｉｔｙ ｏｆ Ｆｕｔｉａｎ Ｓｔｒｅｅｔ，Ｆｕｔｉａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０００ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】趙 莫言

(72)【発明者】

【氏名】王 紅偉

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２０１０－２６２３９２（ＪＰ，Ａ）

【文献】特開２００３－１３２３３９（ＪＰ，Ａ）

【文献】特開２００９－２１１１５１（ＪＰ，Ａ）

【文献】国際公開第２０１５／１４６１０１（ＷＯ，Ａ１）

【文献】特開２０１３－１９６２９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

顔認識方法であって、
部分的な顔特徴が隠蔽されている第１の顔画像を受信すると、前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得ることと、
各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得することと、
各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得することと、
前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することと、
前記複数の対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得することと、
前記対象顔特徴テンプレートと前記第１の顔画像の前記複数の対象キーポイントとを縫い合わせ、第２の顔画像を得て、前記第２の顔画像に基づいて全てのキーポイントを検出した後に顔認識を実行することと、を含む顔認識方法。

【請求項2】

各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得することは、
予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントを順番に検索することにより、各前記検出可能なキーポイントに関連付けて記憶された認識スコアを取得することと、
前記予め設定されたキーポイント情報データベースから、前記検出可能なキーポイントを除いた他のキーポイントを前記欠落キーポイントとすることと、を含む請求項１に記載の方法。

【請求項3】

各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得することは、
全ての前記検出可能なキーポイントの認識スコアの和を求め、認識スコアの合計を得ることと、
前記認識スコアの合計から所定の認識スコアの閾値を減算し、前記認識スコアの合計と前記所定の認識スコアの閾値との差を得て、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアとすることと、を含む請求項１に記載の方法。

【請求項4】

前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することは、
前記影響スコアが所定のスコア閾値よりも高い場合、同一の顔特徴からの前記欠落キーポイントを１つのグループにグルーピングすることと、
予め設定されたキーポイント情報データベースから各グループの前記欠落キーポイントの番号と、同一の顔特徴に由来する全ての同一グループのキーポイントの番号を検索することと、
前記全ての同一グループのキーポイントの番号から各グループの前記欠落キーポイントの番号を除いた他のキーポイントを、各グループの欠落キーポイントに対応する前記対象キーポイントとすることと、を含む請求項１に記載の方法。

【請求項5】

前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することは、
前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、予め設定されたキーポイント情報データベースから、各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号を検索することと、
各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号に基づいて、前記複数の検出可能なキーポイントから、各前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することと、を含む請求項１に記載の方法。

【請求項6】

各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号に基づいて、前記複数の検出可能なキーポイントから、各前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することは、
前記複数の検出可能なキーポイントから、各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号を検索し、検索された検出可能なキーポイントの番号を得ることと、
前記検索された検出可能なキーポイントの番号に対応する検出可能なキーポイントを、各前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントとすることと、を含む請求項５に記載の方法。

【請求項7】

各前記対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得することは、
各前記対象キーポイントの座標に基づいて、対象顔特徴に由来する複数の対象キーポイントの座標を取得することと、
前記対象顔特徴に由来する複数の対象キーポイントの座標に基づいて、前記複数の対象キーポイントの２つずつのキーポイントの第１の距離を計算することと、
所定の顔特徴テンプレートライブラリから、前記対象顔特徴に対応する所定の顔特徴テンプレートセット内に、前記複数の対象キーポイントと同じ番号の複数の予め設定されたキーポイントの２つずつのキーポイントの第２の距離を取得することと、
前記第１の距離と前記第２の距離に基づいて、前記複数の対象キーポイントと前記所定の顔特徴テンプレートセット内の各テンプレートとの位置の組み合わせ度を計算することと、
前記所定の顔特徴テンプレートセットのうち、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きいテンプレートを、前記対象顔特徴テンプレートとすることと、を含む請求項１に記載の方法。

【請求項8】

電子機器であって、処理ユニットと、前記処理ユニットの顔認識プログラムを記憶するために用いられる記憶ユニットと、を含み、ここで、前記処理ユニットは、前記顔認識プログラムを実行することにより、
部分的な顔特徴が隠蔽されている第１の顔画像を受信すると、前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得ることと、
各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得することと、
各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得することと、
前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することと、
前記複数の対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得することと、
前記対象顔特徴テンプレートと前記第１の顔画像の前記複数の対象キーポイントとを縫い合わせ、第２の顔画像を得て、前記第２の顔画像に基づいて全てのキーポイントを検出した後に顔認識を実行することと、を実行するように構成される、電子機器。

【請求項9】

各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得することは、
予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントを順番に検索することにより、各前記検出可能なキーポイントに関連付けて記憶された認識スコアを取得することと、
前記予め設定されたキーポイント情報データベースから、前記検出可能なキーポイントを除いた他のキーポイントを前記欠落キーポイントとすることと、を含む請求項８に記載の電子機器。

【請求項10】

各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得することは、
全ての前記検出可能なキーポイントの認識スコアの和を求め、認識スコアの合計を得ることと、
前記認識スコアの合計から所定の認識スコアの閾値を減算し、前記認識スコアの合計と前記所定の認識スコアの閾値との差を得て、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアとすることと、を含む請求項８に記載の電子機器。

【請求項11】

前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することは、
前記影響スコアが所定のスコア閾値よりも高い場合、同一の顔特徴からの前記欠落キーポイントを１つのグループにグルーピングすることと、
予め設定されたキーポイント情報データベースから各グループの前記欠落キーポイントの番号と、同一の顔特徴に由来する全ての同一グループのキーポイントの番号を検索することと、
前記全ての同一グループのキーポイントの番号から各グループの前記欠落キーポイントの番号を除いた他のキーポイントを、各グループの欠落キーポイントに対応する前記対象キーポイントとすることと、を含む請求項８に記載の電子機器。

【請求項12】

前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することは、
前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、予め設定されたキーポイント情報データベースから、各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号を検索することと、
各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号に基づいて、前記複数の検出可能なキーポイントから、各前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することと、を含む請求項８に記載の電子機器。

【請求項13】

各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号に基づいて、前記複数の検出可能なキーポイントから、各前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することは、
前記複数の検出可能なキーポイントから、各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号を検索し、検索された検出可能なキーポイントの番号を得ることと、
前記検索された検出可能なキーポイントの番号に対応する検出可能なキーポイントを、各前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントとすることと、を含む請求項１２に記載の電子機器。

【請求項14】

各前記対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得することは、
各前記対象キーポイントの座標に基づいて、対象顔特徴に由来する複数の対象キーポイントの座標を取得することと、
前記対象顔特徴に由来する複数の対象キーポイントの座標に基づいて、前記複数の対象キーポイントの２つずつのキーポイントの第１の距離を計算することと、
所定の顔特徴テンプレートライブラリから、前記対象顔特徴に対応する所定の顔特徴テンプレートセット内に、前記複数の対象キーポイントと同じ番号の複数の予め設定されたキーポイントの２つずつのキーポイントの第２の距離を取得することと、
前記第１の距離と前記第２の距離に基づいて、前記複数の対象キーポイントと前記所定の顔特徴テンプレートセット内の各テンプレートとの位置の組み合わせ度を計算することと、
前記所定の顔特徴テンプレートセットのうち、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きいテンプレートを、前記対象顔特徴テンプレートとすることと、を含む請求項８に記載の電子機器。

【請求項15】

コンピュータ不揮発性読み取り可能な記憶媒体であって、顔認識プログラムが記憶されており、前記顔認識プログラムが処理ユニットによって実行されると、請求項１から７のいずれか１項に記載の方法を実行する、コンピュータ不揮発性読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互参照＞
本願は、２０１９年０８月０１日に中国国家知識産権局に提出された、出願番号２０１９１０７０９１６９．７、発明の名称「顔認識方法、装置、記憶媒体及び電子機器」の中国特許出願の優先権を主張し、その内容の全てが参照によって本願に組み込まれる。

【0002】

本願は、顔認識技術分野に関し、特に、顔認識方法、装置、電子機器及びコンピュータ不揮発性読み取り可能な記憶媒体に関する。

【背景技術】

【0003】

顔認識は、人間の顔特徴情報に基づいて、身元を認識する生体認識技術である。

【0004】

現在、顔認識の認識率は、顔が完全である通常の評価環境では、通常、十分に高いが、それは通常の環境での評価であり、本願の発明者は、顔画像を不完全に意図的に装飾するシナリオでは、認識率が大幅に低下し、すなわち、収集された不完全な顔画像を使用して、通常、データベースにおける予め設定された顔とマッチングせず、顔の認識を完了する。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の技術的問題を解決するために、本願は、顔認識方法、装置、電子機器及びコンピュータ不揮発性読み取り可能な記憶媒体を提供することを１つの目的とする。

【課題を解決するための手段】

【0006】

ここで、本願の採用する技術的解決手段は以下のとおりである。

【0007】

第１の態様によれば、顔認識方法であって、部分的な顔特徴が隠蔽されている第１の顔画像を受信すると、前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得ることと、各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得することと、各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得することと、前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することと、前記複数の対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得することと、前記対象顔特徴テンプレートと前記第１の顔画像の前記複数の対象キーポイントとを縫い合わせ、第２の顔画像を得て、前記第２の顔画像に基づいて全てのキーポイントを検出した後に顔認識を実行することと、を含む。

【0008】

第２の態様によれば、顔認識装置であって、部分的な顔特徴が隠蔽されている第１の顔画像を受信すると、前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得るために用いられる検出モジュールと、各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得するために用いられる第１の取得モジュールと、各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得するために用いられる第２の取得モジュールと、前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得するために用いられる第３の取得モジュールと、前記複数の対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得するために用いられる第４の取得モジュールと、前記対象顔特徴テンプレートと前記第１の顔画像の前記複数の対象キーポイントとを縫い合わせ、第２の顔画像を得て、前記第２の顔画像に基づいて全てのキーポイントを検出した後に顔認識を実行するために用いられる縫い合わせモジュールと、を含む。

【0009】

第３の態様によれば、電子機器であって、処理ユニットと、前記処理ユニットの顔認識プログラムを記憶するために用いられる記憶ユニットと、を含み、ここで、前記処理ユニットは、前記顔認識プログラムを実行することにより、第１の態様又は第１の態様のいずれかの可能な実施形態における方法を実行するように構成される。

【0010】

第４の態様によれば、コンピュータ不揮発性読み取り可能な記憶媒体であって、顔認識プログラムが記憶されており、前記顔認識プログラムが処理ユニットによって実行されると、第１の態様又は第１の態様のいずれかの可能な実施形態における方法を実現する。

【0011】

上記の技術的解決手段において、顔画像が隠蔽されている時、特徴を正確に補完することにより、さらに、顔認識を効率的かつ正確に実行できる。

【0012】

上記の一般的説明及び以下の詳細説明は両方とも単なる例示及び解説にすぎず、本願を制限するものではないことを理解されたい。

【図面の簡単な説明】

【0013】

ここでの図面は、明細書に組み込まれ、かつ明細書の一部を構成し、本願に適合する実施例を示し、明細書と共に本願の原理を解釈するために用いられる。

【図1】顔認識方法を模式的に示すフローチャートである。

【図2】顔認識方法のアプリケーションシナリオの例を模式的に示す図である。

【図3】所定の顔特徴の関連関係の複数の対象キーポイントの取得方法を模式的に示すフローチャートである。

【図4】顔認識装置を模式的に示すブロック図である。

【図5】例示的な実施例による、上述の顔認識方法を実現するための電子機器を模式的に示すブロック図である。

【図6】例示的な実施例による、上述の顔認識方法を実現するためのコンピュータ不揮発性読み取り可能な記憶媒体を模式的に示す概略図である。 上記の図面により、本願の明確な実施例が示されており、後でより詳細に説明することになるが、これらの図面及び言葉による説明は、いかなる方法によっても本願の概念の範囲を限定するものではなく、特定の実施例を参照することにより、当業者に本願の概念を説明するものである。

【発明を実施するための形態】

【0014】

ここでは、例示的な実施例を詳細に説明し、その例を添付の図面に示す。以下の説明が添付の図面に言及している場合、特に明記しない限り、異なる図面の同じ番号は同じ又は類似の要素を表す。以下の例示的な実施例に記載される実施形態は、本願と一致する全ての実施形態を表すわけではない。逆に、それらは、添付の特許請求の範囲に詳細に説明されているように、本願のいくつかの方面と一致する装置及び方法の単なる例である。

【0015】

以下、図面を参照して、例示的な実施形態をより完全に説明する。しかしながら、例示的な実施形態は、様々な形態で実施可能であり、本明細書に記載された例に限定されるものと解釈されるべきではない。むしろ、これらの実施形態を提供することにより、本願はより包括的かつ完全なものとなり、例示的な実施形態の概念が当業者に包括的に伝達される。記載された特徴、構造又は特性は、任意の適切な方法で１つ又は複数の実施形態に組み込むことができる。

【0016】

本例示的な実施形態において、まず顔認識方法を提供し、該顔認識方法は、サーバで実行されてもよく、サーバクラスタ又はクラウドサーバなどで実行されてもよく、当然、当業者は、必要に応じて他のプラットフォームで本願の方法を実行することも可能であり、本例示的な実施例では、これについて特別な限定をしない。図１に示すように、該顔認識方法は、部分的な顔特徴が隠蔽されている第１の顔画像を受信すると、前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得るステップＳ１１０と、各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得するステップＳ１２０と、各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得するステップＳ１３０と、前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得するステップＳ１４０と、前記複数の対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得するステップＳ１５０と、前記対象顔特徴テンプレートと前記第１の顔画像の前記複数の対象キーポイントとを縫い合わせ、第２の顔画像を得て、前記第２の顔画像に基づいて全てのキーポイントを検出した後に顔認識を実行するステップＳ１６０と、を含む。

【0017】

上記顔認識方法において、まず、部分的な顔特徴が隠蔽されている第１の顔画像を受信すると、前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得て、このようにして、部分的な顔特徴が隠蔽されている領域がある第１の顔画像で隠蔽されていない検出可能なキーポイントを検出できる。そして、各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得し、このようにして、顔認識に対する各検出可能なキーポイントの影響力の認識スコアを取得でき、さらに、隠蔽されている顔の認識可能性を正確に評価するために用いることができ、同時に、第１の顔画像の欠落キーポイントの番号を取得することにより、欠落キーポイントの位置を効率的に取得するために用いることができる。さらに、各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得し、前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得し、このようにして、第１の顔画像の認識に対する欠落キーポイントの影響が閾値を超えた場合、欠落キーポイントに関連付けられた同一顔特徴上の対象キーポイントを取得できる。さらに前記複数の対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得し、このようにして、複数の対象キーポイントとの位置の組み合わせ度に基づいて、隠蔽されている領域に適合する対象顔特徴テンプレートを正確に取得できる。さらに、前記対象顔特徴テンプレートと前記第１の顔画像の前記複数の対象キーポイントとを縫い合わせ、第２の顔画像を得て、前記第２の顔画像に基づいて、全てのキーポイントを検出した後に顔認識を実行し、このようにして、顔画像が隠蔽されている場合、特徴を正確に補完することにより、さらに、顔認識を効率的かつ正確に実行できる。

【0018】

以下、本例示的な実施形態における上記の顔認識方法の各ステップについて、添付の図面を参照して詳細に解釈し、説明する。

【0019】

ステップＳ１１０において、部分的な顔特徴が隠蔽されている第１の顔画像を受信すると、前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得る。本例示的な実施形態において、図２に示すように、サーバ２０１は、サーバ２０２から送信された部分的な顔特徴が隠蔽されている第１の顔画像を受信すると、サーバ２０１は、前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得る。このように、後続のステップにおいて、サーバ２０１は、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標に基づいて、第１の顔画像における顔特徴が隠蔽されている領域の影響を解析し、及び対応する認識補完措置を取ることができる。理解すべきものとして、後続のステップにおいて、条件が許せば、サーバ２０２は直接前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得て、そして後続のステップを行うこともできる。ここで、サーバ２０１はコンピュータ、マイクロプロセッシングユニットなどの処理能力を有するいずれかの機器であってもよく、ここでは特に限定されず、サーバ２０２は携帯電話、コンピュータなどの命令送信、データ記憶能力を有する機器であってもよく、ここでは特に限定されない。部分的な顔特徴が隠蔽されている領域がある第１の顔画像とは、例えば顔の目部位の一部が隠蔽されている顔画像である。該第１の顔画像は、顔画像を含むピクチャから、顔検出に基づく座標枠を経て、顔領域を切り出し、所定の大きさにスケーリングした後に得られたものである。このようにして、均一なサイズの第１の顔画像を得ることができ、さらに、顔画像上のキーポイントの座標などの位置情報を正確に取得することができる。第１の顔画像から全てのキーポイントを検出することは、既存の顔のキーポイント検出技術を使用して、第１の顔画像における所定数の目、口、鼻の輪郭などの顔上の目尻、目尻の輪郭上のポイントなどの所定の複数のキーポイントを位置決めし、同時に各キーポイントの座標を取得する。複数の検出可能なキーポイントは部分的な顔特徴が隠蔽されている領域がある第１の顔画像上の検出可能なキーポイントである。全てのキーポイントを検出する時、隠蔽されていない複数の検出可能なキーポイントを検出でき、同時に各検出可能なキーポイントの座標を得る。このようにして後続のステップにおいて、欠落キーポイントの情報を正確に取得できる。

【0020】

ステップＳ１２０において、各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得する。本例示的な実施形態において、予め設定されたキーポイント情報データベースには全ての顔のキーポイントの、例えば各キーポイントの番号及び、顔認識時に各キーポイントの顔認識への寄与度の認識スコアを記憶している。

【0021】

キーポイントの認識スコアが高いほど、顔認識時に該キーポイントがより重要であることを示し、例えば、ある認識規則において目の特徴注目度が高いと、目のキーポイントの認識スコアが高くなり、又は、目のあるキーポイントが比較的重要であると、対応する認識スコアが高くなる。欠落キーポイントとは、顔上の全ての所定の検出されるキーポイントから検出可能なキーポイントを除いたキーポイントであり、つまり、顔画像の隠蔽されている領域におけるキーポイントである。予め設定されたキーポイント情報データベースから、各検出可能なキーポイントを検索することにより、各検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を正確に得ることができる。さらに、後続のステップにおいて、顔認識に対する部分的な顔特徴が隠蔽されている領域の影響の程度を正確に判断することが可能となる。

【0022】

本例示的な一実施形態において、各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得することは、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントを順番に検索することにより、各前記検出可能なキーポイントに関連付けて記憶された認識スコアを取得することと、前記予め設定されたキーポイント情報データベースから、前記検出可能なキーポイントを除いた他のキーポイントを前記欠落キーポイントとすることと、を含む。予め設定されたキーポイント情報データベースにおいて、１枚の顔画像に対応する全てのキーポイント情報を記憶しており、各前記検出可能なキーポイントを順番に検索することにより、各検出可能なキーポイントに関連付けて記憶された認識スコアを正確に取得でき、同時に、１枚の顔画像から検出可能なキーポイントを除いた他のキーポイントを前記欠落キーポイントとして正確かつ効率的に得ることができる。

【0023】

ステップＳ１３０において、各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得する。本例示的な実施形態において、顔認識に対する部分的な顔特徴が隠蔽されている領域の影響スコアとは、顔認識を実行する時、部分的な顔特徴が隠蔽されている領域が顔認識に与える難易度のスコアである。該影響スコアが高ければ高いほど、顔認識が難しくなる。影響スコアの取得方法は、例えば、各検出可能なキーポイントの認識スコアの和を求め、認識スコアの合計を得て、そして、該認識スコアの合計の逆数を影響スコアとして求めることであり得る。該影響スコアを取得することにより、第１の顔画像が認識され得るか否かを正確に判断することができる。

【0024】

本例示的な一実施形態において、各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得することは、各前記検出可能なキーポイントの認識スコアの和を求め、認識スコアの合計を得ることと、前記認識スコアの合計から所定の認識スコアの閾値を減算し、前記認識スコアの合計と前記所定の認識スコアの閾値との差を得て、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアとすることと、を含む。前記認識スコアの合計から顔の認識可能性を特徴付けるための所定の認識スコアの閾値を減算し、認識スコアの合計と前記所定の認識スコアの閾値との差を得て、該差が負の値であれば、認識され得ないことを示し、且つ負の値が小さいほど、認識が難しくなる。このようにして、該差に基づいて、顔認識に対する部分的な顔特徴が隠蔽されている領域の影響スコアを正確に特徴付けることができる。

【0025】

ステップＳ１４０において、前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得する。本例示的な実施形態において、所定の顔特徴の関連付けの関係は顔の同一の特徴に由来するか否かであり、２つのキーポイントが同一の顔特徴に由来する場合、この２つのキーポイントが所定の顔特徴の関連付けの関係を有することを示し、例えば、眉毛に由来する複数のキーポイントが所定の顔特徴の関連付けの関係を有する。各顔のキーポイントに順番に事前に番号が付けられており、欠落キーポイントの番号に基づいて、それに接続されている複数の番号のキーポイントを正確に取得できる。さらに、予め設定されたキーポイント情報データベースに基づいて、同一の顔特徴上の番号記録によって、複数の検出可能なキーポイントのうち、欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを正確に検索できる。影響スコアが所定のスコア閾値よりも高い場合、部分的な顔特徴が隠蔽されている領域の原因で第１の顔画像の顔認識が不能になることを示す。欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することにより、対象キーポイントの位置に基づいて欠落キーポイントの位置を判断し、さらに後続のステップにおいて欠落キーポイントの解析計算を行い、欠落特徴の補完特徴を得ることができる。

【0026】

本例示的な一実施形態において、図３に示すように、前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することは、前記影響スコアが所定のスコア閾値よりも高い場合、同一の顔特徴からの前記欠落キーポイントを１つのグループにグルーピングするステップ３１０と、予め設定されたキーポイント情報データベースから各グループの前記欠落キーポイントの番号と、同一の顔特徴に由来する全ての同一グループのキーポイントの番号を検索するステップ３２０と、前記全ての同一グループのキーポイントの番号から各グループの前記欠落キーポイントの番号を除いた他のキーポイントを、各グループの欠落キーポイントに対応する前記対象キーポイントとするステップ３３０と、を含む。前記影響スコアが所定のスコア閾値よりも高い場合、即ち、顔認識に対する欠落キーポイントの影響が大きすぎる場合に、同一の顔特徴に由来する欠落キーポイントを１つのグループにグルーピングし、さらに、グルーピングに基づいて、予め設定されたキーポイント情報データベースから、各グループの欠落キーポイントの番号と、同一の顔特徴に由来する全ての同一グループのキーポイントの番号を効率的に検索し、そして、全ての同一グループのキーポイントの番号から各グループの欠落キーポイントの番号を除いた他のキーポイントを、正確に各グループの欠落キーポイントに対応する対象キーポイントとする。このようにして、まず欠落キーポイントをグルーピングすることで、各グループの対象キーポイントを取得し、これにより対象キーポイントを検索しやすく、同時に、対象キーポイントの管理が容易になり、後続のステップにおいて、欠落キーポイントに基づいて解析を実行する正確性及び効率を保証する。

【0027】

本例示的な一実施形態において、前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することは、前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、予め設定されたキーポイント情報データベースから、各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号を検索することと、各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号に基づいて、前記複数の検出可能なキーポイントから、各前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することと、を含む。このようにして、予め設定されたキーポイント情報データベースから、各欠落キーポイントの番号と同一の顔特徴に由来する全てのキーポイントの番号を順番に検索し、各キーポイントに対応する、同一の顔特徴に由来する全てのキーポイントの番号を正確に取得する。さらに、各欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号から、検出可能なキーポイントを検索することにより、各欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを正確に取得できる。

【0028】

本例示的な一実施形態において、各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号に基づいて、前記複数の検出可能なキーポイントから、各前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得することは、前記複数の検出可能なキーポイントの番号から、各前記欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号を検索し、検索された検出可能なキーポイントの番号を得ることと、前記検索された検出可能なキーポイントの番号に対応する検出可能なキーポイントを、各前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントとすることと、を含む。

【0029】

このようにして、検出された全ての検出可能なキーポイントの番号に基づいて、各欠落キーポイントの番号と、同一の顔特徴に由来する全てのキーポイントの番号を比較することにより、各欠落キーポイントに対応する検出可能なキーポイントの番号を検索する。さらに、検索された検出可能なキーポイントの番号に対応する検出可能なキーポイントを取得し、各欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントとする。

【0030】

ステップＳ１５０において、前記複数の対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得する。本例示的な実施形態において、所定の顔特徴テンプレートライブラリにおいて、例えば、人の目、眉毛の大きさが異なる顔特徴テンプレートを記憶している。各対象キーポイントの座標に基づいて、同一の顔特徴に由来する複数の対象キーポイントの座標、例えば、人の眉毛に由来する複数の対象キーポイントの座標が与えられてもよい。対象キーポイントは、顔特徴の一部が隠蔽された後の残る部分のキーポイントであるため、同一の顔特徴に由来する複数の目標キーポイントの座標により、これらの対象キーポイント間の距離を計算し、そして、所定の顔特徴テンプレートライブラリに記憶されている大きさが異なる顔特徴テンプレートで校正されたキーポイント間の相互距離と、類似度を計算することができる。所定の閾値を超える類似度を有するテンプレートは、複数の対象キーポイントの由来する顔特徴との高いマッチング度を有し、つまり複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい。このようにして、複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得することができる。後続のステップにおいて、取得された対象顔特徴テンプレートにより顔認識を実行し、隠蔽された領域がある顔画像の認識可能性を効果的に保証することができる。

【0031】

本例示的な一実施形態において、前記複数の対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得することは、各前記対象キーポイントの座標に基づいて、対象顔特徴に由来する複数の対象キーポイントの座標を取得することと、前記対象顔特徴に由来する複数の対象キーポイントの座標に基づいて、前記複数の対象キーポイントの２つずつのキーポイントの第１の距離を計算することと、所定の顔特徴テンプレートライブラリから、前記対象顔特徴に対応する所定の顔特徴テンプレートセット内に、前記複数の対象キーポイントと同じ番号の複数の予め設定されたキーポイントの２つずつのキーポイントの第２の距離を取得することと、前記第１の距離と前記第２の距離に基づいて、前記複数の対象キーポイントと前記所定の顔特徴テンプレートセット内の各テンプレートとの位置の組み合わせ度を計算することと、前記所定の顔特徴テンプレートセットのうち、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きいテンプレートを、前記対象顔特徴テンプレートとすることと、を含む。

【0032】

対象顔特徴は、例えば、解析処理を行う目、口などの顔特徴である。各対象キーポイントの同一の顔特徴に由来する複数の対象キーポイントの座標を取得することにより、対象顔特徴に由来する複数の対象キーポイントの座標を取得することができる。さらに、複数の対象キーポイントの２つずつのキーポイントの第１の距離を計算することにより、同時に、所定の顔特徴テンプレートライブラリから、対象顔特徴に対応する所定の顔特徴テンプレートセット内に、複数の対象キーポイントと同じ番号の複数の予め設定されたキーポイントの２つずつキーポイントの第２の距離を取得し、第１の距離と第２の距離の差を比較することにより、対象顔特徴における複数の対象キーポイントと所定の顔特徴テンプレートセットにおける各テンプレートの対応する番号のキーポイントとの位置の組み合わせ度を正確に計算する。続いて、所定の顔特徴テンプレートセット内に、対象顔特徴における複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きいテンプレートを、対象顔特徴テンプレートとし、後続のステップにおいて顔認識を実行するために用いられる。ここで、所定の組み合わせ度閾値は予め設定された顔特徴テンプレートの顔画像の組み合わせ度を特徴付ける閾値であり、位置の組み合わせ度が該閾値よりも大きいと組み合わせ不能又は組み合わせ不良を示し、位置の組み合わせ度が該閾値よりも小さいと良好な組み合わせを示す。

【0033】

前記第１の距離と前記第２の距離に基づいて、前記複数の対象キーポイントと前記所定の顔特徴テンプレートセット内の各テンプレートとの位置の組み合わせ度を計算する方法は、第１の距離と第２の距離の由来するキーポイントの番号が同じである第１の距離と第２の距離との差を求め、全ての第１の距離と第２の距離の差の和を得て、前記位置の組み合わせ度とする。又は、第１の距離と第２の距離の由来するキーポイントの番号が同じである第１の距離と第１の距離との差を求め、全ての第１の距離と第２の距離の差の和と所定の類似度閾値との差を得て、前記位置の組み合わせ度とする。

【0034】

ステップＳ１６０において、前記対象顔特徴テンプレートと前記第１の顔画像の前記複数の対象キーポイントとを縫い合わせ、第２の顔画像を得て、前記第２の顔画像に基づいて全てのキーポイントを検出した後に顔認識を実行する。

【0035】

本例示的な実施形態において、対象顔特徴テンプレート上の予め設定されたキーポイントを第１の顔画像上の同じ番号である複数の対象キーポイントの位置に移動することにより、対象顔特徴テンプレートと第１の顔画像上の複数の対象キーポイントとの縫い合わせを実現し、第２の顔画像を得る。さらに、第２の顔画像にキーポイント検出を行い、続いて、顔の代表的な部位（例えば眉毛、目、鼻、口など）の相対位置及び相対大きさを特徴として抽出し、さらに顔の輪郭の形状情報を特徴として補完して、顔認識を実行する。このようにして、顔画像に部分的な特徴が欠落した時、顔認識を効率的かつ正確に実行し、ユーザの身元を取得する。

【0036】

本願は、さらに、顔認識装置を提供する。図４に示すように、該顔認識装置は検出モジュール４１０、第１の取得モジュール４２０、第２の取得モジュール４３０、第３の取得モジュール４４０、第４の取得モジュール４５０、及び縫い合わせモジュール４６０を含み得る。ここで、検出モジュール４１０は、部分的な顔特徴が隠蔽されている第１の顔画像を受信すると、前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得るために用いられ、第１の取得モジュール４２０は、各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得するために用いられ、第２の取得モジュール４３０は、各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得するために用いられ、第３の取得モジュール４４０は、前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得するために用いられ、第４の取得モジュール４５０は、前記複数の対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得するために用いられ、縫い合わせモジュール４６０は、前記対象顔特徴テンプレートと前記第１の顔画像の前記複数の対象キーポイントとを縫い合わせ、第２の顔画像を得て、前記第２の顔画像に基づいて全てのキーポイントを検出した後に顔認識を実行するために用いられる。

【0037】

上述した顔認識装置における各モジュールの具体的な詳細については、対応する顔認識方法に詳細に記載されているので、ここでは繰り返さない。

【0038】

上記の詳細な説明では、動作を実行するための機器のモジュール又はユニットのいくつかが言及されているが、この区分は必須ではないことに留意されたい。実際には、本願の実施形態によれば、上述した２つ以上のモジュール又はユニットの特徴及び機能は、１つのモジュール又はユニットで具体化され得る。逆に、上述した１つのモジュール又はユニットの特徴及び機能は、さらに、複数のモジュール又はユニットに分割されて具体化され得る。さらに、本願の方法の各ステップは、図面に特定の順序で記載されているが、それらのステップが特定の順序で実行されなければならないこと、又は所望の結果を達成するために示された全てのステップが実行されなければならないことを、必ずしも要求又は意味しているわけではない。追加的又は代替的に、いくつかのステップを省略すること、複数のステップを１つのステップに統合して実行すること、及び／又は１つのステップを複数のステップに分解して実行することなどが可能である。以上の実施形態の説明により、当業者は、本明細書に記載された例示的な実施形態がソフトウェアによって、又はソフトウェアと必要なハードウェアとの組み合わせによって実現され得ることを容易に理解することができる。したがって、本願の実施形態に基づく技術的解決手段はソフトウェア製品の形式で具現化することができ、該ソフトウェア製品は、不揮発性記憶媒体（ＣＤ－ＲＯＭ、Ｕディスク、モバイルハードディスクなど）又はネットワークに記憶され得、１台のコンピューティングデバイス（パーソナルコンピュータ、サーバ、モバイル端末、又はネットワークデバイスなど）が本願の実施形態に係る方法を実行するようにするためのいくつかの命令を含む。

【0039】

本願の例示的な実施例において、さらに、上記方法を実現できる電子機器を提供する。

【0040】

本願の様々な態様は、システム、方法又はプログラム製品として実現され得ることを、当業者は理解することができる。したがって、本願の様々な態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、マイクロコードなどを含む）、又はハードウェアとソフトウェアの態様を組み合わせた実施形態として具体的に実現することができ、ここでは総称して「回路」、「モジュール」又は「システム」と呼ぶことができる。

【0041】

以下、図５を参照して、本願のこのような実施形態による電子機器５００を説明する。図５に示された電子機器５００は単なる例示であり、本願の実施例の機能及び使用範囲に何ら制限を与えるものではない。

【0042】

図５に示すように、電子機器５００は、汎用コンピューティングデバイスの形態で表される。電子機器５００の構成要素は、上述した少なくとも１つの処理ユニット５１０、上述した少なくとも１つの記憶ユニット５２０、異なるシステム構成要素（記憶ユニット５２０及び処理ユニット５１０を含む）を接続するバス５３０を含んでもよいが、これらに限定されるものではない。

【0043】

ここで、前記記憶ユニットは、本明細書の上述の「例示的な方法」の部分に記載された本願の様々な例示的な実施形態によるステップを前記処理ユニット５１０が実行するように、前記処理ユニット５１０によって実行され得るプログラムコードを記憶する。例えば、前記処理ユニット５１０は、図１に示されるような、部分的な顔特徴が隠蔽されている第１の顔画像を受信すると、前記第１の顔画像から全てのキーポイントを検出し、複数の検出可能なキーポイント及び各前記検出可能なキーポイントの座標を得るステップＳ１１０と、各前記検出可能なキーポイントに基づいて、予め設定されたキーポイント情報データベースから、各前記検出可能なキーポイントの認識スコア及び欠落キーポイントの番号を取得するステップＳ１２０と、各前記検出可能なキーポイントの認識スコアに基づいて、顔認識に対する前記部分的な顔特徴が隠蔽されている領域の影響スコアを取得するステップＳ１３０と、前記影響スコアが所定のスコア閾値よりも高い場合、前記欠落キーポイントの番号に基づいて、前記複数の検出可能なキーポイントのうち、前記欠落キーポイントと所定の顔特徴の関連付けの関係を有する複数の対象キーポイントを取得するステップＳ１４０と、前記複数の対象キーポイントの座標に基づいて、所定の顔特徴テンプレートライブラリから、前記複数の対象キーポイントとの位置の組み合わせ度が所定の組み合わせ度閾値よりも大きい対象顔特徴テンプレートを取得するステップＳ１５０と、前記対象顔特徴テンプレートと前記第１の顔画像の前記複数の対象キーポイントとを縫い合わせ、第２の顔画像を得て、前記第２の顔画像に基づいて全てのキーポイントを検出した後に顔認識を実行するステップＳ１６０と、を実行する。

【0044】

記憶ユニット５２０は、ランダムアクセス記憶ユニット（ＲＡＭ）５２０１及び／又はキャッシュ記憶ユニット５２０２などの発揮性記憶ユニット形態の読み取り可能な媒体を含んでもよく、さらに、読み出し専用記憶ユニット（ＲＯＭ）５２０３を含んでもよい。

【0045】

記憶ユニット５２０はまた、１グループ（少なくとも１つ）のプログラムモジュール５２０５を有するプログラム／ユーティリティ５２０４を含んでもよく、このようなプログラムモジュール５２０５は、オペレーティングシステム、１つ以上のアプリケーション、他のプログラムモジュール、及びプログラムデータを含むがこれらに限定されず、これらの例のそれぞれ又はいくつかの組み合わせは、ネットワーク環境の実現が含まれる場合がある。

【0046】

バス５３０は、記憶ユニットバス又は記憶ユニットコントローラ、周辺バス、グラフィックスアクセラレーションポート、処理ユニット、又は複数種類のバス構造のいずれかを使用したローカルバスを含む、いくつかの種類のバス構造の１つ又は複数を表すことができる。

【0047】

電子機器５００は、１つ又は複数の外部デバイス７００（例えば、キーボード、ポインティングデバイス、ブルートゥース（登録商標）デバイスなど）と通信してもよく、クライアントが該電子機器５００と対話することを可能にする１つ又は複数のデバイスと通信してもよく、及び／又は該電子機器５００が１つ又は複数の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ルータ、モデムなど）と通信してもよい。この通信は、入力／出力（Ｉ／Ｏ）インタフェース５５０を介して行われる。また、電子機器５００は、ネットワークアダプタ５６０を通じて、１つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はインターネットなどの公衆ネットワーク）と通信してもよい。図示されるように、ネットワークアダプタ５６０は、バス５３０を介して電子機器５００の他のモジュールと通信する。なお、図示されていないが、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、及びデータバックアップ記憶システムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを電子機器５００と組み合わせて使用できることを理解すべきである。

【0048】

以上の実施形態の説明により、当業者は、本明細書に記載された例示的な実施形態がソフトウェアによって、又はソフトウェアと必要なハードウェアとの組み合わせによって実現され得ることを容易に理解することができる。したがって、本願の実施形態に基づく技術的解決手段はソフトウェア製品の形式で具現化することができ、該ソフトウェア製品は、不揮発性記憶媒体（ＣＤ－ＲＯＭ、Ｕディスク、モバイルハードディスクなど）又はネットワークに記憶され得、１台のコンピューティングデバイス（パーソナルコンピュータ、サーバ、端末装置、又はネットワークデバイスなど）が本願の実施形態に係る方法を実行するようにするためのいくつかの命令を含む。

【0049】

本願の例示的な実施例では、図６を参照すると、本明細書の上述した方法を実現可能なプログラム製品が記憶されたコンピュータ読み取り可能な記憶媒体をさらに提供し、このコンピュータ読み取り可能な記憶媒体は、コンピュータ不揮発性読み取り可能な記憶媒体であってもよい。いくつかの可能な実施形態では、本願の様々な態様は、プログラムコードを含むプログラム製品の形態として実現することもでき、前記プログラム製品が端末デバイスで実行されるとき、前記プログラムコードは、本明細書の上述の「例示的な方法」の部分に記載された本願の様々な例示的な実施形態によるステップを前記端末デバイスに実行させるために用いられる。

【0050】

図６を参照すると、本願の実施形態による、上記の方法を実現するためのプログラム製品６００を説明し、これは、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）を採用し、かつプログラムコードを含み、パーソナルコンピュータなどの端末デバイスで実行することができる。しかしながら、本願のプログラム製品は、これに限定されず、本明細書において、読み取り可能な記憶媒体は、命令実行システム、装置、又はデバイスにより使用され、又はそれらと組み合わせて使用されるプログラムを含み又は記憶する任意の有形媒体であり得る。前記プログラム製品は、１つ又は複数の読み取り可能な媒体の任意の組み合わせを採用することができる。読み取り可能な媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体であってもよい。読み取り可能な記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置、又はデバイス、又はこれらの任意の組合せとすることができるが、これらに限定されない。読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）としては、１つ又は複数のワイヤを有する電気接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含む。コンピュータ読み取り可能な信号媒体は、ベースバンドで又は搬送波の一部として伝搬されるデータ信号を含み、読み取り可能なプログラムコードを担持することができる。このような伝搬されたデータ信号は、電磁信号、光信号、又は上記の任意の適切な組み合わせを含むが、これらに限定されない様々な形態を採用することができる。読み取り可能な信号媒体は、命令実行システム、装置、又はデバイスにより使用され又はそれらと組み合わせて使用するプログラムを送信、伝播、又は伝送することができる読み取り可能な記憶媒体以外の任意の読み取り可能な媒体であってもよい。読み取り可能な媒体に含まれるプログラムコードは、ワイヤレス、ワイヤード、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体を用いて伝送される。本願の操作を実行するためのプログラムコードは、Ｊａｖａ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組み合わせで記述されてもよい。プログラムコードは、完全にクライアントコンピューティングデバイスで実行され、部分的にクライアントデバイスで実行され、スタンドアロンソフトウェアパッケージとして実行され、部分的にクライアントコンピューティングデバイスで、部分的にリモートコンピューティングデバイスで実行され、又は完全にリモートコンピューティングデバイス又はサーバで実行され得る。リモートコンピューティングデバイスが関与するシナリオでは、リモートコンピューティングデバイスは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してクライアントコンピューティングデバイスに接続されるか、又は、外部コンピューティングデバイス（例えば、インターネットサービスプロバイダを使用してインターネットを介して接続される）に接続される。また、上記の図面は、本願の例示的な実施例による方法が含む処理の単なる例示であり、限定を目的とするものではない。なお、上記の図面に示された処理は、時系列的な順序を示すものでも、限定するものでもないことは言うまでもない。また、これらの処理は、例えば複数のモジュールで同期的に、あるいは非同期に実行される場合もあることは容易に理解できる。当業者は、明細書の検討及び本明細書に開示された発明の実施から、本願の他の実施例を容易に想到するであろう。本願は、本願の一般原理に準拠し、本願に開示されていない当技術分野における公知の知識又は慣用技術的手段を含む、本願のあらゆる変形、用途、又は適応的変更を包含することを意図する。明細書及び実施例は、単なる例示的なものとみなされ、本願の真の範囲及び精神は、特許請求の範囲によって示される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】