特表 2025-502745 顔認識方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-28

(54)【発明の名称】顔認識方法及び装置

(51)【国際特許分類】

   G06V 40/16 20220101AFI20250121BHJP

   G06T 7/00 20170101ALI20250121BHJP

   G06V 10/80 20220101ALI20250121BHJP

   G06T 7/70 20170101ALI20250121BHJP

   G06V 10/82 20220101ALI20250121BHJP

【ＦＩ】

G06V40/16 A

G06T7/00 350C

G06T7/00 300F

G06V10/80

G06T7/70 B

G06V10/82

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024538337

(86)(22)【出願日】2022-07-26

(85)【翻訳文提出日】2024-06-24

(86)【国際出願番号】 CN2022107827

(87)【国際公開番号】W WO2023124040

(87)【国際公開日】2023-07-06

(31)【優先権主張番号】202111656450.2

(32)【優先日】2021-12-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】524179651

【氏名又は名称】深▲セン▼須弥雲図空間科技有限公司

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＸＵＭＩ ＹＵＮＴＵ ＳＰＡＣＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】２５Ｆ２５０４， Ｗｉｒｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｎｏ． ３３６９， Ｂｉｎｈａｉ Ａｖｅｎｕｅ， Ｈａｉｚｈｕ Ｃｏｍｍｕｎｉｔｙ， Ｙｕｅｈａｉ Ｓｔｒｅｅｔ， Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ． Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０５４ （ＣＮ）

(74)【代理人】

【識別番号】100146374

【弁理士】

【氏名又は名称】有馬 百子

(72)【発明者】

【氏名】黄 澤元

【テーマコード（参考）】

5B043

5L096

【Ｆターム（参考）】

5B043AA09

5B043BA04

5B043CA09

5B043DA05

5B043EA05

5B043FA02

5B043GA01

5B043GA02

5B043GA11

5L096AA02

5L096AA06

5L096BA08

5L096BA18

5L096CA02

5L096CA15

5L096DA02

5L096HA11

5L096JA11

5L096JA16

(57)【要約】

【要約】
顔認識方法、装置である。該方法は、顔のポーズ特徴及び顔の特徴を融合すると、顔のポーズ特徴及び顔の特徴の詳細情報を融合することができ、融合した特徴に基づき認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成することができ、よって特定された対象顔の特徴及び顔のポーズ情報の正確さを向上させることができ、対象顔の特徴及び顔のポーズ情報に基づき特定したユーザ認識結果の正確さをさらに向上させることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

顔認識方法であって、
認識対象となる顔画像を取得するステップと、
前記認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出するステップと、
前記顔のポーズ特徴及び前記顔の特徴に基づき、前記認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成するステップと、
前記顔のポーズ情報が所定条件を満たすと、前記認識対象となる顔画像の対象顔の特徴に基づき、前記認識対象となる顔画像のユーザ認識結果を特定するステップと、
を含むことを特徴とする顔認識方法。

【請求項2】

前記顔のポーズ特徴はＮ個の顔のポーズ特徴を備え、前記顔特徴はＮ個の顔特徴を備え、前記認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出する前記ステップは、
第１顔特徴について、前記認識対象となる顔画像を第１畳み込み層に入力して前記第１顔特徴を取得するステップと、
第１顔のポーズ特徴について、前記認識対象となる顔画像を第１残留ブロックに入力し、第１顔のポーズ特徴を取得するステップと、
第ｉ顔のポーズ特徴について、第ｉ－１顔のポーズ特徴を第ｉ残留ブロックに入力し、前記第ｉ顔のポーズ特徴を取得するステップと、
第ｉ顔特徴について、第ｉ－１顔のポーズ特徴及び第ｉ－１顔特徴を第ｉ畳み込み層に入力し、第ｉ顔特徴を取得するステップと、を含み、ここで、ｉが２以上、且つｉがＮ以下であり、Ｎ、ｉが正整数である
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記顔のポーズ特徴及び前記顔の特徴に基づき、前記認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成する前記ステップは、
第Ｎ顔のポーズ特徴及び第Ｎ顔特徴を第Ｎ＋１畳み込み層に入力し、前記認識対象となる顔画像の対象顔の特徴を取得するステップを含む
ことを特徴とする請求項２に記載の方法。

【請求項4】

前記顔のポーズ特徴及び前記顔の特徴に基づき、前記認識対象となる顔画像の顔のポーズ情報を生成する前記ステップは、
前記顔のポーズ特徴に基づき、前記顔のポーズ特徴の対応するアテンションマップを生成するステップと、
前記顔特徴に基づき、前記顔特徴の対応するアテンションマップを生成するステップと、
前記顔のポーズ特徴の対応するアテンションマップ、前記顔特徴の対応するアテンションマップ及び第Ｎ顔のポーズ特徴に基づき、フルスペースアテンションマップを取得するステップと、
前記フルスペースアテンションマップに基づき、前記認識対象となる顔画像の顔のポーズ情報を生成するステップと、を含む
ことを特徴とする請求項２に記載の方法。

【請求項5】

前記顔のポーズ特徴の対応するアテンションマップ、前記顔特徴の対応するアテンションマップ及び第Ｎ顔のポーズ特徴に基づき、フルスペースアテンションマップを取得する前記ステップは、
前記顔のポーズ特徴の対応するアテンションマップ及び前記顔特徴の対応するアテンションマップに基づき、二ストリームアテンションマップを生成するステップと、
前記顔特徴の対応するアテンションマップに基づき、暗くて浅いアテンションマップを生成するステップと、
二ストリームアテンションマップ、暗くて浅いアテンションマップ及び第Ｎ顔のポーズ特徴に基づき、フルスペースアテンションマップを取得するステップと、を含む
ことを特徴とする請求項４に記載の方法。

【請求項6】

前記フルスペースアテンションマップに基づき、前記認識対象となる顔画像の顔のポーズ情報を生成する前記ステップは、
前記フルスペースアテンションマップに基づき、前記認識対象となる顔画像の顔のポーズ情報、及び前記顔のポーズ情報の対応するスコアベクトルを生成するステップを含み、
対応的に、前記顔のポーズ情報が所定条件を満たすと、前記認識対象となる顔画像の対象顔の特徴に基づき、前記認識対象となる顔画像のユーザ認識結果を特定する前記ステップは、
前記顔のポーズ情報及び前記顔のポーズ情報の対応するスコアベクトルが所定条件を満たすと、前記認識対象となる顔画像の対象顔の特徴に基づき、前記認識対象となる顔画像のユーザ認識結果を特定するステップを含む
ことを特徴とする請求項４に記載の方法。

【請求項7】

前記顔のポーズ情報は、ヨー角、ピッチ角、ロール角を含み、前記所定条件は、前記ヨー角が所定ヨー角閾値の以下、前記ピッチ角が所定ピッチ角閾値の以下、前記ロール角が所定ロール角閾値の以下、前記顔のポーズ情報の対応するスコアベクトルが所定スコアの以上であることである
ことを特徴とする請求項６に記載の方法。

【請求項8】

前記認識対象となる顔画像の対象顔の特徴に基づき、前記認識対象となる顔画像のユーザ認識結果を特定する前記ステップは、
前記認識対象となる顔画像の対象顔の特徴と、各所定ユーザ顔特徴のそれぞれとの類似性を特定するステップと、
類似性が最大である所定ユーザ顔特徴の対応するユーザ情報を認識対象となる顔画像的ユーザ認識結果とするステップと、を含む
ことを特徴とする請求項１に記載の方法。

【請求項9】

顔認識装置であって、
前記装置は、認識対象となる顔画像を取得するための画像取得ユニットと、前記認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出するための特徴抽出ユニットと、
前記顔のポーズ特徴及び前記顔の特徴に基づき、前記認識対象となる顔画像の対象顔の特徴、顔のポーズ情報、及び前記顔のポーズ情報の対応するスコアベクトルを生成するための情報生成ユニットと、
前記顔のポーズ情報及び前記顔のポーズ情報の対応するスコアベクトルが所定条件を満たすと、前記認識対象となる顔画像の対象顔の特徴に基づき、前記認識対象となる顔画像のユーザ認識結果を特定するための結果特定ユニットと、を備える
ことを特徴とする顔認識装置。

【請求項10】

メモリ、プロセッサ、前記メモリ内に記憶され前記プロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、前記プロセッサが前記コンピュータプログラムを実行する時に請求項１に記載の方法のステップを実現する
ことを特徴とするコンピュータ機器。

【請求項11】

コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行される時に請求項１に記載方法のステップを実現する
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本公開はデータ処理技術分野に関し、特に顔認識方法及び装置に関する。

【背景技術】

【0002】

顔認識システムは、新興の生体認証技術で、現在の国際科学技術分野で取り組まれる高精度技術で、幅広い発展の可能性を持っている。従来の顔検出技術は、多く理想的な環境での顔に対して優れたパフォーマンスを発揮するが、いくつかの複雑な環境やクロスワーキングシナリオなどの適用では、環境に対する一般化能力及びパフォーマンスが低い。特に、現実の適用シナリオで、特に顔の姿勢が急速かつ劇的に変化する場合に、従来方法の顔認識精度は実際適用の要求から、まだ遠く、さらなる研究及び改善が必要である。

【発明の概要】

【0003】

これに鑑みて、本公開の実施例は、従来技術において顔姿勢が急速かつ急激に変化する場合に、顔認識結果が不正確である問題を解決するように、顔認識方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体が提供される。

【0004】

本公開の実施例の第１態様は、
認識対象となる顔画像を取得するステップと、
認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出するステップと、
顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成するステップと、
顔のポーズ情報が所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定するステップと、を含む顔認識方法が提供される。

【0005】

本公開の実施例の第２態様は、
認識対象となる顔画像を取得するための画像取得ユニットと、
認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出するための特徴抽出ユニットと、
顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴、顔のポーズ情報、及び顔のポーズ情報の対応するスコアベクトルを生成するための情報生成ユニットと、
顔のポーズ情報及び顔のポーズ情報の対応するスコアベクトルが所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定するための結果特定ユニットと、を備える顔認識装置が提供さる。

【0006】

本公開の実施例の第３態様は、メモリ、プロセッサ、メモリ内に記憶されプロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、該プロセッサがコンピュータプログラムを実行する時に上記方法のステップを実現するコンピュータ機器が提供される。

【0007】

本公開の実施例の第４態様は、コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、該コンピュータプログラムがプロセッサによって実行される時に、上記方法のステップを実現するコンピュータ読み取り可能な記憶媒体が提供される。

【0008】

本公開の実施例が従来技術に比べて有する有益効果：本公開の実施例では、まず認識対象となる顔画像を取得することができ、その後、認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出することができ、次に、顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成し、顔のポーズ情報が所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定する。本実施例において、顔のポーズ特徴が顔の空間情報を反映し、且つ顔の構造特徴、エッジ特徴、角度特徴を含み、顔特徴が顔肌の色、テクスチャなどの特徴を反映するため、顔のポーズ特徴及び顔の特徴を融合すると、顔のポーズ特徴及び顔の特徴の詳細情報を融合することができるとともに、融合された特徴に基づき認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成することができ、よって、特定された対象顔の特徴及び顔のポーズ情報の正確さを向上させることができ、対象顔の特徴及び顔のポーズ情報に基づいて特定したユーザ認識結果の正確さを向上させることができる。

【図面の簡単な説明】

【0009】

本公開の実施例における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明に必要な図面を簡単に紹介し、明らかに、以下に説明する図面は本公開のいくつかの実施例に過ぎず、当業者にとって、創造的作業の必要がない前提で、これらの図面に基づいて他の図面を取得することができる。

【図1】本公開の実施例の適用シナリオのシナリオ概略図である。

【図2】本公開の実施例で提供される顔認識方法のフローチャートである。

【図3】本公開の実施例で提供される顔認識装置のブロック図である。

【図4】本公開の実施例で提供されるコンピュータ機器の概略図である。

【発明を実施するための形態】

【0010】

下記の説明において、限定ではなく、説明するために、例えば特定のシステム構造、技術のような具体的詳細を提供することにより、本公開の実施例を徹底的に理解する。しかしながら、当業者は、これらの具体的詳細がない他の実施例においても本公開を実現できることを分かるすべきである。他の場合には、周知のシステム、装置、回路及び方法についての詳細な説明を省略し、不要な詳細が本公開の説明を妨げることを回避する。

【0011】

以下、図面を参照しながら、本公開の実施例による顔認識方法及び装置を詳細に説明する。

【0012】

従来技術において、従来の顔検出技術は、多く理想的な環境での顔に対して優れたパフォーマンスを発揮するが、いくつかの複雑な環境やクロスワーキングシナリオなどの適用では、環境に対する一般化能力及びパフォーマンスが低い。特に、現実の適用シナリオで、特に顔の姿勢が急速かつ劇的に変化する場合に、従来方法の顔認識精度は実際適用の要求から、まだ遠く、さらなる研究及び改善が必要である。

【0013】

上記問題を解決するために、本発明は顔認識方法が提供され、本方法で、まず認識対象となる顔画像を取得することができ、その後、認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出することができ、次に、顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成し、顔のポーズ情報が所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定する。本実施例において、顔のポーズ特徴が顔の空間情報を反映し、且つ顔の構造特徴、エッジ特徴、角度特徴を含み、顔特徴が顔肌の色、テクスチャなどの特徴を反映するため、顔のポーズ特徴及び顔の特徴を融合し認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成すると、特定された対象顔の特徴及び顔のポーズ情報の正確さを向上させることができ、対象顔の特徴及び顔のポーズ情報に基づいて特定したユーザ認識結果の正確さを向上させることができる。

【0014】

例として説明すると、本発明の実施例は、図１に示す適用シナリオに適用することができる。このシナリオでは、ターミナル機器１とサーバ２を備えてもよい。

【0015】

ターミナル機器１は、ハードウェアであってもよいし、ソフトウェアであってもよい。ターミナル機器１は、ハードウェアである場合に、画像収集機能を有し、且つサーバ２と通信するようにサポートする様々な電子機器であってもよい、スマートフォン、タブレット、ラップトップコンピュータ、及びデスクトップコンピュータ等を含むが、それらに限定されなく、ターミナル機器１は、ソフトウェアである場合に、例えば上記した電子機器にインストールされることができる。ターミナル機器１は、複数のソフトウェア或いはソフトウェアモジュールとして実現されてもよいし、単一のソフトウェア或いはソフトウェアモジュールとして実現されてもよく、本公開の実施例はこれを限定しない。サーバ２は、例えば、それと通信接続を構築するターミナル機器が送信した請求を受信するバックエンドサーバなどの様々なサビースを提供するサーバであってもよく、該バックエンドサーバは、ターミナル機器が送信した請求に対して受信及び分析等の処理を行って処理結果を生成することができる。サーバ２は、１台のサーバであってもよいし、いくつかのサーバからなるサーバクラスターであってもよいし、或いはクラウドコンピューティングサービスセンターであってもよく、本公開の実施例はこれを限定しない。

【0016】

なお、サーバ２は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ２は、ハードウェアである場合に、ターミナル機器１へ様々なサービスを提供する様々な電子機器であってもよい。サーバ２は、ソフトウェアである場合に、ターミナル機器１へ様々なサビースを提供する複数のソフトウェア或いはソフトウェアモジュールであってもよいし、ターミナル機器１へ様々なサビースを提供する単一のソフトウェア或いはソフトウェアモジュールであってもよく、本公開の実施例はこれを限定しない。

【0017】

ターミナル機器１とサーバ２は、ネットワークを介して通信接続されてもよい。ネットワークは、同軸ケーブル、ツイストペア及び光ファイバを用いて接続される有線ネットワークであってもよいし、例えば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、近距離無線通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，ＮＦＣ）、赤外線（Ｉｎｆｒａｒｅｄ）等の配線する必要がなく様々な通信機器相互接続を実現可能な無線ネットワークであってもよく、本公開の実施例はこれを限定しない。

【0018】

具体的には、ユーザは、ターミナル機器１によって認識対象となる顔画像を入力することができ、ターミナル機器１は、評価対象となる業務データ及び対象評価方式をサーバ２に送信する。サーバ２は、まず認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出し、その後、顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成することができ、顔のポーズ情報が所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定することができ、認識対象となる顔画像のユーザ認識結果をターミナル機器１に戻して、ターミナル機器１がユーザへ認識対象となる顔画像のユーザ認識結果を表示するようにする。このように顔のポーズ特徴及び顔の特徴を融合すると、顔のポーズ特徴及び顔の特徴の詳細情報を融合することができ、融合した特徴に基づき認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成することができ、よって特定された対象顔の特徴及び顔のポーズ情報の正確さを向上させることができ、対象顔の特徴及び顔のポーズ情報に基づき特定したユーザ認識結果の正確さをさらに向上させることができる。

【0019】

なお、ターミナル機器１、サーバ２及びネットワークの具体的なタイプ、数及び組み合わせについては、適用シナリオの実際需要に応じて調整することができ、本公開の実施例はこれを限定しない。

【0020】

注意すべきこととしては、上記適用シナリオは、本公開を容易に理解するために例示されるに過ぎないものであり、本公開の実施形態は、この点について限定されない。逆に、本公開の実施形態は、適用の任意シナリオに用いられてもよい。

【0021】

図２は本公開の実施例で提供される顔認識方法のフローチャートである。図２の顔認識方法は、図１のターミナル機器或いはサーバによって実行されてもよい。図２に示すように、該顔認識方法は、下記のステップを含む。

【0022】

Ｓ２０１：認識対象となる顔画像を取得する。

【0023】

本実施例において、認識対象となる顔画像は、顔認識の必要がある画像として理解されることができる。例示として、認識対象となる顔画像は、固定位置に取り付けられた監視カメラによって収集されてもよいし、移動式ターミナル機器によって収集されてもよいし、画像が予め記憶された記憶機器から読み取られてもよい。

【0024】

Ｓ２０２：認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出する。

【0025】

認識対象となる顔画像を取得した後、認識対象となる顔画像における横顔を正確的に認識するために、まず認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出する必要がある。ここで、顔のポーズ特徴は顔の空間情報を反映することができ、例えば、顔の構造特徴、エッジ特徴、角度特徴を含んでもよく、顔特徴は、顔の肌の色、テクスチャ、年齢、光照、レースなどに関するセマンティック情報を反映することができる。

【0026】

Ｓ２０３：顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成する。

【0027】

本実施例において、まず、顔のポーズ特徴及び顔の特徴を融合し、顔のポーズ特徴を利用して顔特徴を情報補充することによって、顔特徴の情報を豊富にすることができる。そして、顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成し、よって特定された対象顔の特徴及び顔のポーズ情報の正確さを向上させることができる。ここで、対象顔の特徴は、顔詳細情報（例えばテクスチャ情報、肌の色の情報等）の特徴ベクトルを含むと理解されてもよい。顔のポーズ情報は、顔のヨー角、ピッチ角、ロール角を含んでもよく、顔のポーズ情報は、顔のステアリング角度及びステアリング振幅を反映することができる。

【0028】

Ｓ２０４：顔のポーズ情報が所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定する。

【0029】

顔が横を向いたり、頭を下げたりすぎると、顔画像のポーズ角度も大きくなり、よって認識用の顔情報が少なくなり、さらに該顔が攻撃を受けやすくなる（例えば、なりすまされているユーザの写真を使用して復号化しやすい）。故に、本実施例において、まず顔のポーズ情報が所定条件を満たすか否かを判断する必要があり、一実現方式において、該所定条件は、ヨー角が所定ヨー角閾値の以下、ピッチ角が所定ピッチ角閾値の以下、ロール角が所定ロール角閾値の以下である。

【0030】

顔のポーズ情報が所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定することができる。例示として、本実施例において、まずいくつかの所定ユーザ情報を予め設定することができ、且つそれぞれの所定ユーザ情報がいずれも対応する所定ユーザ顔特徴を有し、本実施例において、まず認識対象となる顔画像の対象顔の特徴と、各所定ユーザ顔特徴のそれぞれとの類似性を特定することができ、例えば、ユークリッド距離、コサイン距離などの方式を利用してもベクトル距離を測定することができ、ベクトル距離に基づき類似性を特定し、その後、類似性が最大である所定ユーザ顔特徴の対応するユーザ情報を認識対象となる顔画像のユーザ認識結果とすることができる。

【0031】

本公開の実施例が従来技術に比べて有する有益効果：本公開の実施例では、まず認識対象となる顔画像を取得することができ、その後、認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出することができ、次に、顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成し、顔のポーズ情報が所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定する。本実施例において、顔のポーズ特徴が顔の空間情報を反映し、且つ顔の構造特徴、エッジ特徴、角度特徴を含み、顔特徴が顔肌の色、テクスチャなどの特徴を反映するため、顔のポーズ特徴及び顔の特徴を融合すると、顔のポーズ特徴及び顔の特徴の詳細情報を融合することができるとともに、融合された特徴に基づき認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成することができ、よって、特定された対象顔の特徴及び顔のポーズ情報の正確さを向上させることができ、対象顔の特徴及び顔のポーズ情報に基づいて特定したユーザ認識結果の正確さを向上させることができる。

【0032】

次に、Ｓ２０２の一実現方式、即ち、認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を如何に抽出するかについて説明する。本実施例において、顔のポーズ特徴はＮ個の顔のポーズ特徴を含むことができ、顔特徴はＮ個の顔特徴を含むことができ、Ｓ２０２は下記のステップを含んでもよい。

【0033】

Ｓ２０２ａ：第１顔特徴について、認識対象となる顔画像を第１畳み込み層に入力して第１顔特徴を取得する。

【0034】

Ｓ２０２ｂ：第１顔のポーズ特徴について、認識対象となる顔画像を第１残留ブロックに入力し、第１顔のポーズ特徴を取得する。

【0035】

Ｓ２０２ｃ：第ｉ顔のポーズ特徴について、第ｉ－１顔のポーズ特徴を第ｉ残留ブロックに入力し、第ｉ顔のポーズ特徴を取得する。

【0036】

Ｓ２０２ｄ：第ｉ顔特徴について、第ｉ－１顔のポーズ特徴及び第ｉ－１顔特徴を第ｉ畳み込み層に入力し、第ｉ顔特徴を取得し、ここで、ｉが２以上、且つｉがＮ以下であり、Ｎ、ｉが正整数である。

【0037】

本実施例において、顔特徴抽出モデル及び顔のポーズ特徴抽出モデルの２つのモデルが設けられてもよい。ここで、顔のポーズ特徴抽出モデルは、少なくとも第１残留ブロック、第２残留ブロック、…、第Ｎ残留ブロックであるＮ個の残留ブロックを含んでもよく、ここで、これらＮ個の残留ブロックは、カスケード接続であり、一実現方式において、顔のポーズ特徴抽出モデルは、少なくとも４つの残留ブロックを含み、それぞれの残留ブロックは、それぞれ２つ、３つ、２つの残留ネットワークから構成され、それぞれの残留ネットワークにおけるネットワークアーキテクチャは２つの畳み込み層（即ちｃｏｎｖ）、２つのバッチ正規化層（即ちｂｎ）及び２つの双曲線正接活性化関数（即ちｔａｎｈ）を含んでもよく、具体的な接続構造は、ｃｏｎｖ＋ｂｎ＋ｔａｎｈ＋ｃｏｎｖ＋ｂｎ＋ｔａｎｈであり、そして、これら３つの残留ブロックの出力特徴図のチャンネル数がそれぞれ６４、１２８、２５６である。なお、双曲線正接活性化関数を活性化関数とする理由としては、毎回の特徴演算が（－１，１）の間で値を取るようにして、後のポーズ演算に寄与することができる。理解できるように、認識対象となる顔画像を第１残留ブロックに入力し、第１顔のポーズ特徴を取得することができ、第１顔のポーズ特徴を第２残留ブロックに入力し、第２顔のポーズ特徴を取得し、…、第ｉ顔のポーズ特徴について、第ｉ－１顔のポーズ特徴を第ｉ残留ブロックに入力し、第ｉ顔のポーズ特徴を取得することができ、ここで、ｉが２以上、且つｉがＮ以下であり、Ｎ、ｉがいずれも正整数である。

【0038】

ここで、顔特徴抽出モデルは、少なくとも第１畳み込み層、第２畳み込み層、…、第Ｎ畳み込み層であるＮ個の畳み込み層を含んでもよく、ここで、これらのＮ個の畳み込み層はカスケード接続である。ここで、顔特徴抽出モデルはＩＲｅｓＮｅｔ－５０ネットワークであってもよく、それぞれの畳み込み層は、畳み込みカーネルサイズが３ｘ３、チャンネル数が１９２である１つの畳み込み演算子と、、畳み込みカーネルサイズが１ｘ１、チャンネル数が１２８である１つの畳み込み演算子を含んでもよい。本実施例において、第１顔特徴について、認識対象となる顔画像を第１畳み込み層に入力し、第１顔特徴を取得し、第１顔のポーズ特徴（例えば次元は（２８，２８，６４）である）及び第１顔特徴（例えば次元は（２８，２８，１２８）である）を第２畳み込み層に入力し（例えば、第１顔特徴及び第１顔特徴を特徴融合してから、融合した特徴を第２畳み込み層に入力する）、第２顔特徴を取得し、…、第ｉ－１顔のポーズ特徴及び第ｉ－１顔特徴を第ｉ畳み込み層に入力し、第ｉ顔特徴を取得し、ここで、ｉが２以上、且つｉがＮ以下であり、Ｎ、ｉがいずれも正整数である。強調すべきこととして、顔のポーズ特徴を補充とし、顔特徴とともに畳み込み層に入力して次の顔特徴を演算する原因として、ポーズ情報が、空間情報をより多く考慮し、顔の構造特徴、エッジ特徴、角度特徴に対して比較的完全に抽出する一方、顔特徴の抽出には年齢、光照、レイス、肌の色、テクスチャ等の様々なセマンティック情報を考慮する必要があり、空間構造で一定の不足及びセマンティックの混乱があるので、顔のポーズ特徴抽出モデルによって抽出された顔のポーズ特徴は、顔特徴抽出モデルに追加されると、顔特徴の情報処理に効果的な補充をもたらす。

【0039】

なお、顔のポーズ特徴抽出モデルにおける残留ブロックの数は、顔特徴抽出モデルにおける畳み込み層の数よりも少なく、チャンネル数が少なく、その原因としては、顔のポーズ特徴抽出モデルで処理されるものは、比較的単一のセマンティック情報であり、大量の演算の必要がない。

【0040】

次に、Ｓ２０３の一実現方式、即ち認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を如何に生成するかについて説明する。本実施例において、Ｓ２０３における「顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴を生成する」ステップは、下記のステップを含んでもよい。

【0041】

第Ｎ顔のポーズ特徴及び第Ｎ顔特徴を第Ｎ＋１畳み込み層に入力し、認識対象となる顔画像の対象顔の特徴を取得する。

【0042】

本実施例において、顔特徴抽出モデルは、第Ｎ＋１畳み込み層をさらに備え、第Ｎ顔のポーズ特徴及び第Ｎ顔特徴を第Ｎ＋１畳み込み層に入力し、認識対象となる顔画像の対象顔の特徴を取得することができる。

【0043】

本実施例において、Ｓ２０３における「顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の顔のポーズ情報を生成する」ステップは、下記のステップを含んでもよい。

【0044】

ステップａ：顔のポーズ特徴に基づき、顔のポーズ特徴の対応するアテンションマップを生成する。

【0045】

本実施例において、すべての顔のポーズ特徴に対してダウンサンプリング処理を行い、すべての顔のポーズ特徴の次元をともに同一にすることができる。そして、それぞれの顔のポーズ特徴をアテンションモデルに入力し、顔のポーズ特徴の対応するアテンションマップを取得する。ここで、アテンションモデルは、畳み込みカーネルサイズが１ｘ１、チャンネル数が１である１つの畳み込み演算子、及びｓｉｇｍｏｉｄ関数を含む。例えば、１つの顔のポーズ特徴の次元は（２８，２８，６４）であり、該顔のポーズ特徴に対して、まず畳み込みカーネルサイズが３ｘ３、ステップサイズが２、チャンネル数が６４である畳み込み演算を２回行い、次元を（７，７，６４）に低下させてから、上記１ｘ１畳み込み演算及びｓｉｇｍｏｉｄ演算を導入し、その対応するアテンションマップを、次元（７，７，１）のアテンションマップとして取得し、その後、３つの次元を１个次元に変えて最終的なアテンションマップの次元を（７，７，１）として取得する。

【0046】

ステップｂ：顔特徴に基づき、顔特徴の対応するアテンションマップを生成する。

【0047】

本実施例において、すべての顔特徴に対してダウンサンプリング処理を行い、すべての顔特徴の次元をともに同一にすることができる。そして、それぞれの顔特徴をアテンションモデルに入力し、顔特徴の対応するアテンションマップを取得する。ここで、アテンションモデルは、畳み込みカーネルサイズが１ｘ１、チャンネル数が１である１つの畳み込み演算子、及びｓｉｇｍｏｉｄ関数を含む。例えば、１つの顔特徴の次元は（２８，２８，６４）であり、該顔特徴に対して、まず畳み込みカーネルサイズが３ｘ３、ステップサイズが２、チャンネル数が６４である畳み込み演算を２回行い、次元を（７，７，６４）に低下させてから、上記１ｘ１畳み込み演算及びｓｉｇｍｏｉｄ演算を導入し、その対応するアテンションマップを、次元（７，７，１）のアテンションマップとして取得し、その後、３つの次元を１个次元に変えて最終的なアテンションマップの次元を（７，７，１）として取得する。

【0048】

ステップｃ：顔のポーズ特徴の対応するアテンションマップ、顔特徴の対応するアテンションマップ及び第Ｎ顔のポーズ特徴に基づき、フルスペースアテンションマップを取得する。

【0049】

本実施例において、まず、顔のポーズ特徴の対応するアテンションマップ及び顔特徴の対応するアテンションマップに基づき、二ストリームアテンションマップを生成することができる。例えば、第ｉ顔のポーズ特徴の対応するアテンションマップ及び第ｉ顔特徴の対応するアテンションマップに基づき、第ｉ二ストリームアテンションマップを生成することができ、具体的には、下記の式により第ｉ二ストリームアテンションマップＤ_ｉを演算することができ、Ｄ_ｉ＝ｒｅｓｈａｐｅ（［Ａ，Ｂ］^ＴＷ_１）であり、ここで、Ａは顔特徴の対応するアテンションマップであり、Ｂは顔のポーズ特徴の対応するアテンションマップであり、Ｗ_１は学習パラメータ行列であり、その行列次元が（７ｘ７ｘ２，ｑｘ７ｘ７）であり、Ｗ_１のそれぞれの行が、空間におけるそれぞれの点と他の点との関連値を代表するが、このような関連は、さまざまな形式を取ることができるので、ｑ種類の形式の関連学習を導入し、ｒｅｓｈａｐｅ（）は行列を特定の次元の行列に変換する関数である。

【0050】

そして、顔特徴の対応するアテンションマップに基づき、暗くて浅いアテンションマップを生成することができる。すべての顔特徴の対応するアテンションマップに基づき、暗くて浅いアテンションマップを生成することができる。具体的には、下記の式により暗くて浅いアテンションマップＥを演算することができ、Ｅ＝ｒｅｓｈａｐｅ（［Ａ_１，Ａ_２，…，Ａ_Ｎ］^ＴＷ_２）であり、ｒｅｓｈａｐｅ（）は、行列を特定の次元の行列に変換する関数であり、Ａは顔特徴の対応するアテンションマップであり、Ｎは顔特徴の数であり、Ｗ_２は学習パラメータ行列であり、Ｗ_２の行列次元は（７＊７＊２，ｑ’＊ｑ）であり、参数ｑ’は４に設定されてもよく、ｑ’はここで間仕切りの役割も果し、Ｅの次元は（ｑ’，ｑ）である。

【0051】

次に、二ストリームアテンションマップ、暗くて浅いアテンションマップ及び第Ｎ顔のポーズ特徴に基づき、フルスペースアテンションマップを取得する。例えば、下記の式によりフルスペースアテンションマップＲを演算することができ、Ｒ＝（Ｅ^ＴＤ_１＋Ｅ^ＴＤ_２＋…＋Ｅ^ＴＤ_Ｎ）^ＴＰ_Ｎであり、ここで、Ｅは暗くて浅いアテンションマップであり、Ｄ_ｉは第ｉ二ストリームアテンションマップであり、１≦ｉ≦Ｎであり、Ｐ_Ｎは第Ｎ顔のポーズ特徴である。

【0052】

ステップｄ：フルスペースアテンションマップに基づき、認識対象となる顔画像の顔のポーズ情報を生成する。

【0053】

本実施例において、フルスペースアテンションマップに基づき、認識対象となる顔画像の顔のポーズ情報、及び顔のポーズ情報の対応するスコアベクトルを生成することができる。顔のポーズ情報の対応するスコアベクトルは、顔全体情報の豊かさ（顔写真に含まれる識別情報）を評価するためのものであり、理解できるように、スコアベクトルが高いほど、顔全体情報の豊かさが高くなり、逆に、スコアベクトルが低いほど、顔全体情報の豊かさが低くなる。具体的には、下記の式により認識対象となる顔画像の顔のポーズ情報Ｏを演算することができ、Ｏ＝ｓｉｇｍｏｉｄ（（ｒｅｌｕ（Ｒ^ＴＷ_３））^ＴＷ_４）であり、ここで、Ｒはフルスペースアテンションマップであり、Ｗ_３及びＷ_４はパラメータ行列であり、Ｗ３及びＷ４の次元はそれぞれ（２５６，１２８）、（１２８，１）である。

【0054】

理解できるように、フルスペースアテンションマップに多種形式のフルスペースアテンション情報が融合され、深いポーズと浅いポーズ（即ち暗くて浅いアテンションマップ）、顔全体特徴情報（即ち第Ｎ顔のポーズ特徴）も融合されたため、フルスペースアテンションマップに基づき生成された認識対象となる顔画像の顔のポーズ情報、及び顔のポーズ情報の対応するスコアベクトルはより正確になる。

【0055】

対応的に、顔のポーズ情報が所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定するステップは、下記を含んでもよい。

【0056】

顔のポーズ情報及び顔のポーズ情報の対応するスコアベクトルが所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定する。

【0057】

ここで、所定条件は、ヨー角が所定ヨー角閾値の以下、ピッチ角が所定ピッチ角閾値の以下、ロール角が所定ロール角閾値の以下、顔のポーズ情報の対応するスコアベクトルが所定スコアの以上であることであってもよい。なお、顔のポーズ情報の対応するスコアベクトルが予定のスコアよりも小さいと、該顔が攻撃を受けやすくなる（例えば、なりすまされているユーザの写真を使用して復号化しやすい）ため、顔のポーズ情報の対応するスコアは、ベクトルが所定のスコアの以上である必要がある。

【0058】

なお、上述実施例は、顔認識モデルに適用されることができ、ここで、該顔認識モデルのトレーニング過程は、下記のように説明する。

【0059】

本実施例において、Ｎ個のクラス中心（１つの正クラス中心とＮ－１個の負クラス中心）、つまりＮ個のベクトルを導入してもよい。これらのベクトルと顔ベクトルＴ（正規化後）とが点の乗算を行い、Ｎ個の数値を取得し、これらＮ個の数値は現在顔とＮ個のクラス中心との類似性ｘを代表する。一般的なトレーニング方式は、これらＮ個のｘをｓｏｆｔｍａｘ操作し、その後、クロスエントロピーを演算する。しかし、このような決定境界は正確ではなく、トレーニング方式も非効率的なものである。故に、本実施例において、Ｔと正クラス中心との類似性はｘ_＋であり、ｘ_＋は、ポーズ、評価値に関連する決定値から減算する必要がある。より大きな決定値を減算することは、顔特徴の決定境界がより小さくなることを意味する。ここで、ヨー角をｙ、ピッチ角をｐ、ロール角をｒ、評価値をｓ、決定値をｍと設定すると、一般式は、
ｘ_＋＝ｘ_＋－ｍであり、

上記のように、ｆは関数であり、ｍ_０及びｍ_１はハイパーパラメータであり、例えばｍ０＝０．２、ｍ１＝０．２である。

【0060】

上の式には、現在、どの顔により大きな決定値と、より小さな決定境界を与えるかを決める１つの値ｉもある。一般に、ｍ が大きいほど、決定境界が厳しくなり、顔の特徴がクラス中心に近くなり、生成された勾配が大きくなる。ｉを０に設定すると、上記一般式は、ヨー角、ピッチ角、ロール角が非常に小さく且つ評価値が非常に高い顔に、より大きい決定値、より小さい決定境界、より大きい勾配を与え、ｉが徐々に増大すると、上記一般式は、ヨー角、ピッチ角、ロール角が比較的大きく且つ評価値が比較的低い顔に、より大きい決定値、より小さい決定境界、より大きい勾配を与える。つまり、ｉが値０を取ると、ネットワークは主に前向きな顔をトレーニングし、前向きな顔の勾配を与え、ｉが徐々に増大すると、ネットワークは、主に横顔をトレーニングし、横顔の勾配を与える。

【0061】

顔認識モデルのトレーニング決定技術的解決手段：モデルがトレーニングを起動する時に、ｉを０に設定する。その後、モデル損失は徐々に減少する。検証セットでモデルの精度が徐々に向上する場合に、ｉを０から０．１まで、０．１から０．２までなどのように、毎回０．１ずつ徐々に増やすことができる。検証セットでの精度を観察し続ける。精度が低下したことがわかったら、ｉを０．１減らし、一定期間のトレーニング後にｉを元の値に戻してみる。元の値まで増やすことを３回繰り返すが、精度が向上し続けることができない場合は、０．１下げ、フィッティング後にトレーニングを終了する。この際、得られる顔の空間分布は、クラス中心の付近で角度が小さく、クラスのエッジで角度が大きいという適当な分布を示す。

【0062】

空間分布が合理的であるため、推論過程で、大きな姿勢での顔のより優れた特徴表現を取得することができ、３つのポーズ角度及び評価値を直接的に取得することもできる。これによって、顔の比較がより柔軟になり、顔の比較における２枚の写真のポーズ角度が大きすぎると、この比較を中止してもよい。

【0063】

上記したすべての選択可能な技術的解決手段は、任意の組み合わせで本公開の選択可能な実施例を形成してもよいが、ここで一つずつに説明しない。

【0064】

下記は、本公開の方法実施例を実行するための本公開の装置実施例である。本公開の装置実施例に開示されない詳細については、本公開の方法実施例を参照してください。

【0065】

図３は本公開の実施例で提供される顔認識装置の概略図である。図３に示すように、該顔認識装置は、
認識対象となる顔画像を取得するための画像取得ユニット３０１と、
認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出するための特徴抽出ユニット３０２と、
顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴、顔のポーズ情報、及び顔のポーズ情報の対応するスコアベクトルを生成するための情報生成ユニット３０３と、
顔のポーズ情報及び顔のポーズ情報の対応するスコアベクトルが所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定するための結果特定ユニット３０４と、を備える。

【0066】

好ましくは、顔のポーズ特徴はＮ個の顔のポーズ特徴を備え、顔特徴はＮ個の顔特徴を備え、特徴抽出ユニット３０２は、
第１顔特徴について、認識対象となる顔画像を第１畳み込み層に入力して第１顔特徴を取得するためのもの、
第１顔のポーズ特徴について、認識対象となる顔画像を第１残留ブロックに入力し、第１顔のポーズ特徴を取得するためのもの、
第ｉ顔のポーズ特徴について、第ｉ－１顔のポーズ特徴を第ｉ残留ブロックに入力し、第ｉ顔のポーズ特徴を取得するためのもの、
第ｉ顔特徴について、第ｉ－１顔のポーズ特徴及び第ｉ－１顔特徴を第ｉ畳み込み層に入力し、第ｉ顔特徴を取得するためのものであり、ここで、ｉが２以上、且つｉがＮ以下であり、Ｎ、ｉが正整数である。

【0067】

好ましくは、情報生成ユニット３０３は、
第Ｎ顔のポーズ特徴及び第Ｎ顔特徴を第Ｎ＋１畳み込み層に入力し、認識対象となる顔画像の対象顔の特徴を取得するためのものである。

【0068】

好ましくは、情報生成ユニット３０３は、
顔のポーズ特徴に基づき、顔のポーズ特徴の対応するアテンションマップを生成するためのもの、
顔特徴に基づき、顔特徴の対応するアテンションマップを生成するためのもの、
顔のポーズ特徴の対応するアテンションマップ、顔特徴の対応するアテンションマップ及び第Ｎ顔のポーズ特徴に基づき、フルスペースアテンションマップを取得するためのもの、
フルスペースアテンションマップに基づき、認識対象となる顔画像の顔のポーズ情報を生成するためのものである。

【0069】

好ましくは、情報生成ユニット３０３は、具体的に、
顔のポーズ特徴の対応するアテンションマップ及び顔特徴の対応するアテンションマップに基づき、二ストリームアテンションマップを生成するためのもの、
顔特徴の対応するアテンションマップに基づき、暗くて浅いアテンションマップを生成するためのもの、
二ストリームアテンションマップ、暗くて浅いアテンションマップ及び第Ｎ顔のポーズ特徴に基づき、フルスペースアテンションマップを取得するためのものである。

【0070】

好ましくは、情報生成ユニット３０３は、具体的に、
フルスペースアテンションマップに基づき、認識対象となる顔画像の顔のポーズ情報、及び顔のポーズ情報の対応するスコアベクトルを生成するためのものであり、
対応的に、結果特定ユニット３０４は、
顔のポーズ情報及び顔のポーズ情報の対応するスコアベクトルが所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定するためのものである。

【0071】

好ましくは、顔のポーズ情報は、ヨー角、ピッチ角、ロール角を含み、所定条件は、ヨー角が所定ヨー角閾値の以下、ピッチ角が所定ピッチ角閾値の以下、ロール角が所定ロール角閾値の以下、顔のポーズ情報の対応するスコアベクトルが所定スコアの以上であることである。

【0072】

好ましくは、結果特定ユニット３０４は、
認識対象となる顔画像の対象顔の特徴と、各所定ユーザ顔特徴のそれぞれとの類似性を特定するためのもの、
類似性が最大である所定ユーザ顔特徴の対応するユーザ情報を認識対象となる顔画像的ユーザ認識結果とするためのものである。

【0073】

本公開の実施例で提供される技術的解決手段は、認識対象となる顔画像を取得するための画像取得ユニットと、認識対象となる顔画像の顔のポーズ特徴及び顔の特徴を抽出するための特徴抽出ユニットと、顔のポーズ特徴及び顔の特徴に基づき、認識対象となる顔画像の対象顔の特徴、顔のポーズ情報、及び顔のポーズ情報の対応するスコアベクトルを生成するための情報生成ユニットと、顔のポーズ情報及び顔のポーズ情報の対応するスコアベクトルが所定条件を満たすと、認識対象となる顔画像の対象顔の特徴に基づき、認識対象となる顔画像のユーザ認識結果を特定するための結果特定ユニットと、を備える顔認識装置である。本実施例において、顔のポーズ特徴が顔の空間情報を反映し、且つ顔の構造特徴、エッジ特徴、角度特徴を含み、顔特徴が顔肌の色、テクスチャなどの特徴を反映するため、顔のポーズ特徴及び顔の特徴を融合すると、顔のポーズ特徴及び顔の特徴の詳細情報を融合することができるとともに、融合された特徴に基づき認識対象となる顔画像の対象顔の特徴及び顔のポーズ情報を生成することができ、よって、特定された対象顔の特徴及び顔のポーズ情報の正確さを向上させることができ、対象顔の特徴及び顔のポーズ情報に基づいて特定したユーザ認識結果の正確さを向上させることができる。

【0074】

理解すべきこととして、上記実施例における各ステップの番号の大きさは実行順序の前後を意味するものではなく、各プロセスの実行順序はその機能及び固有論理で確定されるべきであり、本公開の実施例の実施プロセスを任意に限定するものではない。

【0075】

図４は本公開の実施例で提供されるコンピュータ機器４の概略図である。図４に示すように、該実施例のコンピュータ機器４は、プロセッサ４０１、メモリ４０２、及び該メモリ４０２内に記憶されプロセッサ４０１で実行可能なコンピュータプログラム４０３を備える。プロセッサ４０１は、コンピュータプログラム４０３を実行する時に、上記各方法実施例におけるステップを実現する。或いは、プロセッサ４０１は、コンピュータプログラム４０３を実行する時に、上記各装置実施例における各モジュール／ユニットの機能を実現する。

【0076】

例示として、コンピュータプログラム４０３は、１つ又は複数のモジュール／ユニットに分割され、１つ又は複数のモジュール／ユニットがメモリ４０２内に記憶され、プロセッサ４０１によって実行されて、本公開を完成するようにしてもよい。１つ又は複数のモジュール／ユニットは、特定機能を発揮することができるシリーズのコンピュータプログラムコマンドセクションであってもよく、該コマンドセクションは、コンピュータプログラム４０３がコンピュータ機器４で実行されるプロセスを説明するためのものである。

【0077】

コンピュータ機器４は、デスクトップコンピュータ、ノートパソコン、パームトップコンピュータ及びクラウドサーバ等の計算機器であってもよい。コンピュータ機器４は、プロセッサ４０１及びメモリ４０２を備えてもよいが、それらに限定されない。当業者であれば理解できるように、図４はコンピュータ機器４の例示に過ぎず、コンピュータ機器４を限定するものではなく、図示より多いか又は少ない部品を含み、或いはある部品や異なる部品を組み合わせることができ、例えばコンピュータ機器は、入出力機器、ネットワークアクセス機器、バスなどを含んでもよい。

【0078】

プロセッサ４０１は、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ ＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ ＧａｔｅＡｒｒａｙ，ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネント等であってもよい。汎用プロセッサはマイクロプロセッサであってもよいし、任意の一般的なプロセッサ等であってもよい。

【0079】

メモリ４０２は、例えばコンピュータ機器４のハードディスク又はメモリのようなコンピュータ機器４の内部記憶ユニットであってもよい。メモリ４０２は、コンピュータ機器４の外部記憶機器、例えばコンピュータ機器４に装備するプラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ，ＳＭＣ）、セキュリティデジタル（ＳｅｃｕｒｅＤｉｇｉｔａｌ，ＳＤ）カード、フラッシュカード（ＦｌａｓｈＣａｒｄ）等であってもよい。更には、メモリ４０２は、コンピュータ機器４の内部記憶ユニットも、外部記憶機器も備えても良い。メモリ４０２は、コンピュータプログラムと、コンピュータ機器に所要のほかのプログラム及びデータを記憶するためのものである。メモリ４０２は、出力された、又は出力されるべきデータを一時的に記憶するために用いられてもよい。

【0080】

当業者であれば、説明の利便性及び簡潔のために、上記各機能ユニット、モジュールの分割のみを例に挙げて説明したが、実際の適用において、必要に応じて上記機能を異なる機能ユニット、モジュールに割り当てて完成させることができ、すなわち装置の内部構造を異なる機能ユニット又はモジュールに分割することにより、以上に説明した全て又は一部の機能を完了することを明確に理解することができる。実施例における各機能ユニット、モジュールは一つの処理ユニットに統合されてもよく、各ユニットが単独で物理的に存在してもよく、二つ以上のユニットが一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形式で実現されてもよく、ソフトウェア機能ユニットの形式で実現されてもよい。なお、各機能ユニット、モジュールの具体的な名称について互いに区別されやすいためのものであり、本公開の保護範囲を限定するものではない。上記システムにおけるユニット、モジュールの具体的な動作過程については、前述方法の実施例における対応過程を参照することができ、ここで説明を省略する。

【0081】

上記実施例において、各実施例に対する説明はそれぞれの重点を有し、ある実施例において詳しく説明又は記載されていない部分については、他の実施例の関連説明を参照することができる。

【0082】

当業者であれば、本明細書に開示された実施例で説明された各例のユニット及びアルゴリズムステップを、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現することができることを意識することができる。これらの機能がハードウェアで実行されるか、あるいはソフトウェアで実行されるかについては、技術的解決手段の特定の適用及び設計の制約条件に決められる。当業者はそれぞれの特定の適用に対して異なる方法を用いて説明された機能を実現してもよいが、このような実現は本公開の範囲を超えると考えられるべきではない。

【0083】

本公開で提供される実施例において、開示された装置／コンピュータ機器及び方法は、他の方式で実現することができると理解すべきである。例えば、上記説明された装置／コンピュータ機器の実施例は例示的なものに過ぎず、例えば、モジュール又はユニットの分けは、論理的機能分けに過ぎず、実際に実現時に他の分け方式があてもよく、例えば複数のユニット又はコンポーネントを結合するか又は他のシステムに統合することができ、又はいくつかの特徴を無視するか、あるいは実行しなくてもよい。また、表示されるか又は議論される相互間の結合又は直接結合又は通信接続はいくつかのインタフェース、装置又はユニットによる間接結合又は通信接続であってもよく、電気的、機械的又は他の形式であってもよい。

【0084】

分離部材として説明されるユニットは物理的に分離されてもよいし、又はそうでなくてもよく、ユニットとして表示される部材は物理的ユニットであってもよいし又はそうでなくてもよく、即ち１つの箇所に位置してもよいし、又は複数のネットワークユニットに分布してもよい。実際な需要に応じてそのうちの一部又は全部のユニットを選択して本実施例の方案の目的を達成することができる。

【0085】

なお、本公開における各機能ユニットは一つの処理ユニットに統合されてもよいし、各ユニットが単独で物理的に存在してもよいし、二つ以上のユニットが一つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形式で実現されてもよく、ソフトウェア機能ユニットの形式で実現されてもよい。

【0086】

統合されたモジュール／ユニットは、ソフトウェア機能ユニットの形式で実現されるとともに、独立した製品として販売されるか又は使用される場合に、コンピュータ読み取り可能な記憶媒体記憶媒体に記憶されてもよい。このような理解により、本公開は上記実施例の方法における全部又は一部のプロセスの実現について、コンピュータプログラムにより関連するハードウェアを指令して完了することができ、コンピュータプログラムをコンピュータ読み取り可能な記憶媒体に記憶することができ、該コンピュータプログラムがプロセッサにより実行される場合に、上記それぞれの方法実施例のステップを実現することができる。コンピュータプログラムは、コンピュータプログラムコードを含んでもよく、コンピュータプログラムコードはソースコード形式、オブジェクトコード形式、実行可能なファイル又はある中間形式等であってもよい。コンピュータ読み取り可能な記憶媒体は、コンピュータプログラムコードをキャリア可能な任意のエンティティ又は装置、記録媒体、Ｕディスク、リムーバブルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、電気搬送波信号、電気通信信号及びソフトウェア配布媒体等を含んでもよい。なお、コンピュータ読み取り可能な記憶媒体に含まれた内容は司法管轄エリア内立法及び特許実践の要求に応じて適当に増減を行うことができ、例えばある司法管轄エリアにおいて、立法及び特許実践に基づいて、コンピュータ読み取り可能な記憶媒体は電気搬送波信号及び電気通信信号を含まない。

【0087】

上記した実施例は本公開の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、前述の実施例を参照して本公開を詳細に説明したが、当業者は、依然として前述の各実施例に記載の技術的解決手段を補正してもよく、又はそのうちの一部の技術的特徴を同等置換することができるが、これらの補正又は置換が、対応する技術的解決手段の実質が本公開の各実施例の技術的解決手段の思想及び範囲から逸脱することがなく、いずれも本公開の保護範囲内に含まれるべきであることを理解すべきである。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】