特許 7402239 顔認識方法、ニューラルネットワークのトレーニング方法、顔認識装置、電子機器及びコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-12

(45)【発行日】2023-12-20

(54)【発明の名称】顔認識方法、ニューラルネットワークのトレーニング方法、顔認識装置、電子機器及びコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231213BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 350C

【請求項の数】 14

(21)【出願番号】P 2021540572

(86)(22)【出願日】2019-10-31

(65)【公表番号】

(43)【公表日】2022-04-05

(86)【国際出願番号】 CN2019114674

(87)【国際公開番号】W WO2020173117

(87)【国際公開日】2020-09-03

【審査請求日】2021-07-16

(31)【優先権主張番号】201910145024.9

(32)【優先日】2019-02-26

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】516159397

【氏名又は名称】ベイジン センスタイム テクノロジー デベロップメント シーオー．，エルティーディー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ワン，フェイ

(72)【発明者】

【氏名】キアン，チェン

【審査官】宮島 潤

(56)【参考文献】

【文献】中国特許出願公開第１０９２４１８８８（ＣＮ，Ａ）

【文献】中国特許出願公開第１０８４９１８０５（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

第１のカメラにより第１の顔画像を取得するステップと、
前記第１の顔画像の第１の顔特徴を抽出するステップと、
前記第１の顔特徴を、前記第１のカメラと異なるタイプのカメラである第２のカメラが取得した第２の顔画像の特徴から抽出された予め記憶された第２の顔特徴と対比し、前記第１の顔特徴と前記第２の顔特徴との間の類似度を示す参照類似度を取得するステップと、
前記参照類似度に基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定するステップと、を含み、
前記第１のカメラはサーモカメラであって前記第２のカメラは可視光カメラであり、或いは、前記第１のカメラは可視光カメラであって前記第２のカメラはサーモカメラであり、
前記参照類似度に基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定する前記ステップは、
前記参照類似度に加えて、更に参照誤報率及び類似度閾値にも基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定するステップであって、前記類似度閾値は前記参照類似度の閾値であり、異なる参照誤報率は異なる類似度閾値に対応するステップ、或いは、
前記参照類似度に加えて、更に閾値情報にも基づいて、正規化された参照類似度を決定し、前記正規化された参照類似度に基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定するステップであって、前記閾値情報は、ポジティブサンプルペアの類似度、ネガティブサンプルペアの類似度及び予め設定された異なる誤報率に基づいて取得され、前記閾値情報は、第１の閾値及び第２の閾値を含み、前記参照類似度は、第１の閾値と第２の閾値との間にあり、前記正規化された参照類似度は、前記参照類似度、前記第１の閾値及び前記第２の閾値に基づいて決定されるステップを含み、
前記参照類似度に加えて、更に参照誤報率及び類似度閾値にも基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定するステップは、
前記参照誤報率に基づいて前記類似度閾値を決定し、前記第１の顔特徴と少なくとも２つの第２の顔特徴との前記参照類似度を取得することにより、前記第１の顔特徴との類似度が最も高い第２の顔特徴を決定するステップと、
前記類似度が最も高い第２の顔特徴と前記第１の顔特徴との前記参照類似度が前記類似度閾値よりも大きい場合、前記類似度が最も高い第２の顔特徴と前記第１の顔特徴とが同じ人に対応すると決定するステップと、を含み、
前記正規化された参照類似度に基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定するステップは、
第１の顔特徴と少なくとも２つの第２の顔特徴との参照類似度に基づいて取得した少なくとも２つの正規化された参照類似度に基づいて前記第１の顔特徴との類似度が最も高い第２の顔特徴を決定し、かつ前記第１の顔特徴との類似度が最も高い該第２の顔特徴と第１の顔特徴との正規化された前記参照類似度が前記類似度閾値よりも大きければ、前記第１の顔特徴との類似度が最も高い第２の顔特徴と前記第１の顔特徴とが同じ人に対応すると決定するステップを含む、ことを特徴とする顔認識方法。

【請求項2】

前記第１の顔画像の第１の顔特徴を抽出する前記ステップとは、
前記第１の顔画像を予めトレーニングされたニューラルネットワークに入力し、前記ニューラルネットワークにより前記第１の顔画像の第１の顔特徴を出力するステップを含み、前記ニューラルネットワークは、第１のタイプの画像サンプル及び第２のタイプの画像サンプルに基づいてトレーニングすることにより取得され、前記第１のタイプの画像サンプルは第１タイプのカメラによって撮影され、前記第２のタイプの画像サンプルは第２タイプのカメラによって撮影され、
前記第１のタイプのカメラはサーモカメラであって前記第２のタイプのカメラは可視光カメラであり、或いは、前記第１のタイプのカメラは可視光カメラであって前記第２のタイプのカメラはサーモカメラであり、
前記第１のタイプの画像サンプル及び前記第２のタイプの画像サンプルには顔が含まれ、
前記ニューラルネットワークは２種類の異なるタイプの画像に対する特徴抽出能力を有することを特徴とする請求項１に記載の顔認識方法。

【請求項3】

前記ニューラルネットワークは、前記第１のタイプの画像サンプル、前記第２のタイプの画像サンプル及び混合タイプの画像サンプルに基づいてトレーニングされ、前記混合タイプの画像サンプルは、前記第１のタイプの画像サンプルと前記第２のタイプの画像サンプルとをペアリングすることにより取得されるものである、ことを特徴とする請求項２に記載の顔認識方法。

【請求項4】

前記第１のカメラは車載カメラを含み、第１のカメラにより第１の顔画像を取得する前記ステップは、
前記車載カメラにより前記第１の顔画像を取得するステップを含み、前記第１の顔画像は、車両の車両使用者の顔画像を含む、ことを特徴とする請求項１～３のいずれか１項に記載の顔認識方法。

【請求項5】

前記車両使用者は、前記車両を運転する人、前記車両に乗る人、前記車両を修理する人、前記車両に給油する人及び前記車両を制御する人のうちの１人以上を含む、ことを特徴とする請求項４に記載の顔認識方法。

【請求項6】

前記車両使用者は、前記車両を運転する人を含み、前記車載カメラにより前記第１の顔画像を取得する前記ステップは、
トリガ命令を受信した場合、前記車載カメラにより車両を運転する人の前記第１の顔画像を取得するステップ、
或いは、前記車両の走行中に、前記車載カメラにより車両を運転する人の前記第１の顔画像を取得するステップ、
或いは、前記車両の走行速度が参照速度に達した場合、前記車載カメラにより車両を運転する人の前記第１の顔画像を取得するステップを含み、
前記トリガ命令は、ユーザが入力したトリガ命令であり、或いは他の電子機器が送信したトリガ命令である、ことを特徴とする請求項４に記載の顔認識方法。

【請求項7】

前記第２の顔画像は、前記車両使用者が顔登録を行うための画像であり、前記第１の顔特徴を予め記憶された第２の顔特徴と対比する前記ステップの前に、前記顔認識方法は、
前記第２のカメラにより前記第２の顔画像を取得するステップと、
前記第２の顔画像の第２の顔特徴を抽出するステップと、
前記第２の顔画像の第２の顔特徴を保存するステップと、をさらに含む、ことを特徴とする請求項４～６のいずれか１項に記載の顔認識方法。

【請求項8】

異なるタイプのカメラによって撮影された顔の画像が含まれる、第１のタイプの画像サンプル及び第２のタイプの画像サンプルを取得するステップと、
前記第１のタイプの画像サンプル及び前記第２のタイプの画像サンプルに基づいてニューラルネットワークをトレーニングするステップと、を含み、
異なるタイプのカメラは第１のカメラ及び第２のカメラを含み、前記第１のタイプの画像サンプルは第１のカメラによって撮影され、前記第２のタイプの画像サンプルは第２のカメラによって撮影され、
前記第１のカメラはサーモカメラであり、前記第２のカメラは可視光カメラであり、或いは、前記第１のカメラは可視光カメラであり、前記第２のカメラはサーモカメラであり、
前記ニューラルネットワークは２種類の異なるタイプの画像に対する特徴抽出能力を有し、
前記第１のタイプの画像サンプル及び前記第２のタイプの画像サンプルに基づいてニューラルネットワークをトレーニングする前記ステップは、
前記第１のタイプの画像サンプルと前記第２のタイプの画像サンプルとをペアリングして、前記第１のタイプの画像サンプルと前記第２のタイプの画像サンプルの混合タイプの画像サンプルを取得するステップであって、前記混合タイプの画像サンプルは複数ペアの混合タイプの画像サンプルを含み、各ペアの混合タイプの画像サンプルは、第１のタイプの画像サンプル及び第２のタイプの画像サンプルを含むステップと、
前記第１のタイプの画像サンプル、前記第２のタイプの画像サンプル及び前記混合タイプの画像サンプルに基づいて前記ニューラルネットワークをトレーニングするステップと、を含む、ことを特徴とするニューラルネットワークのトレーニング方法。

【請求項9】

前記第１のタイプの画像サンプル、前記第２のタイプの画像サンプル及び前記混合タイプの画像サンプルに基づいて前記ニューラルネットワークをトレーニングする前記ステップは、
前記ニューラルネットワークにより前記第１のタイプの画像サンプルの顔予測結果、前記第２のタイプの画像サンプルの顔予測結果及び前記混合タイプの画像サンプルの顔予測結果を取得するステップと、
前記第１のタイプの画像サンプルの顔予測結果と顔ラベリング結果との差異、前記第２のタイプの画像サンプルの顔予測結果と顔ラベリング結果との差異及び前記混合タイプの画像サンプルの顔予測結果と顔ラベリング結果との差異に基づいて前記ニューラルネットワークをトレーニングするステップであって、顔ラベリング結果は画像サンプルに含まれる顔のラベリング情報であるステップと、を含む、ことを特徴とする請求項８に記載のニューラルネットワークのトレーニング方法。

【請求項10】

前記ニューラルネットワークには第１の分類器、第２の分類器及び混合分類器が含まれ、前記ニューラルネットワークにより前記第１のタイプの画像サンプルの顔予測結果、前記第２のタイプの画像サンプルの顔予測結果及び前記混合タイプの画像サンプルの顔予測結果を取得する前記ステップは、
前記第１のタイプの画像サンプルの顔特徴を前記第１の分類器に入力して前記第１のタイプの画像サンプルの顔予測結果を取得するステップと、
前記第２のタイプの画像サンプルの顔特徴を前記第２の分類器に入力して前記第２のタイプの画像サンプルの顔予測結果を取得するステップと、
前記混合タイプの画像サンプルの顔特徴を前記混合分類器に入力して前記混合タイプの画像サンプルの顔予測結果を取得するステップと、を含む、ことを特徴とする請求項９に記載のニューラルネットワークのトレーニング方法。

【請求項11】

前記第１のタイプの画像サンプル、前記第２のタイプの画像サンプル及び前記混合タイプの画像サンプルに基づいて前記ニューラルネットワークをトレーニングする前記ステップの後に、
前記ニューラルネットワーク中から前記第１の分類器、前記第２の分類器及び前記混合分類器を除去して、顔認識を行うためのニューラルネットワークを取得するステップをさらに含むことを特徴とする請求項１０に記載のニューラルネットワークのトレーニング方法。

【請求項12】

第１のカメラにより第１の顔画像を取得する第１の取得ユニットと、
前記第１の顔画像の第１の顔特徴を抽出する第１の抽出ユニットと、
前記第１の顔特徴を、前記第１のカメラと異なるタイプのカメラである第２のカメラが取得した第２の顔画像の特徴から抽出された予め記憶された第２の顔特徴と対比し、第１の顔特徴と前記第２の顔特徴との間の類似度を示す参照類似度を取得する対比ユニットと、
前記参照類似度に基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定する決定ユニットと、を含み、
前記第１のカメラはサーモカメラであって前記第２のカメラは可視光カメラであり、或いは、前記第１のカメラは可視光カメラであって前記第２のカメラはサーモカメラであり、
前記参照類似度に基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定する前記決定ユニットは、
前記参照類似度に加えて、更に参照誤報率及び類似度閾値にも基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定することであって、前記類似度閾値は前記参照類似度の閾値であり、異なる参照誤報率は異なる類似度閾値に対応すること、或いは、
前記参照類似度に加えて、更に閾値情報にも基づいて、正規化された参照類似度を決定し、前記正規化された参照類似度に基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定することであって、前記閾値情報は、ポジティブサンプルペアの類似度、ネガティブサンプルペアの類似度及び予め設定された異なる誤報率に基づいて取得され、前記閾値情報は、第１の閾値及び第２の閾値を含み、前記参照類似度は、第１の閾値と第２の閾値との間にあり、前記正規化された参照類似度は、前記参照類似度、前記第１の閾値及び前記第２の閾値に基づいて決定されること、を含み、
前記参照類似度に加えて、更に参照誤報率及び類似度閾値にも基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定することは、
前記参照誤報率に基づいて前記類似度閾値を決定し、前記第１の顔特徴と少なくとも２つの第２の顔特徴との前記参照類似度を取得することにより、前記第１の顔特徴との類似度が最も高い第２の顔特徴を決定することと、
前記類似度が最も高い第２の顔特徴と前記第１の顔特徴との前記参照類似度が前記類似度閾値よりも大きい場合、前記類似度が最も高い第２の顔特徴と前記第１の顔特徴とが同じ人に対応すると決定することと、を含み、
前記正規化された参照類似度に基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定することは、
第１の顔特徴と少なくとも２つの第２の顔特徴との参照類似度に基づいて取得した少なくとも２つの正規化された参照類似度に基づいて前記第１の顔特徴との類似度が最も高い第２の顔特徴を決定し、かつ前記第１の顔特徴との類似度が最も高い該第２の顔特徴と前記第１の顔特徴との正規化された前記参照類似度が前記類似度閾値よりも大きければ、第１の顔特徴との類似度が最も高い第２の顔特徴と前記第１の顔特徴とが同じ人に対応すると決定することを含む、ことを特徴とする顔認識装置。

【請求項13】

プロセッサ及びメモリを含み、前記プロセッサは前記メモリに結合され、前記メモリは、前記プロセッサによって実行されると、前記プロセッサに請求項１～７のいずれか１項に記載の顔認識方法を実行させ、又は前記プロセッサに請求項８～１１のいずれか１項に記載のニューラルネットワークのトレーニング方法を実行させるプログラム命令を記憶する、ことを特徴とする電子機器。

【請求項14】

プロセッサによって実行されると、前記プロセッサに請求項１～７のいずれか１項に記載の顔認識方法を実行させ、又は前記プロセッサに請求項８～１１のいずれか１項に記載のニューラルネットワークのトレーニング方法を実行させるプログラム命令を含むコンピュータプログラムが記憶されている、ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0002】

本開示は、画像処理の技術分野に関し、特に顔認識方法、ニューラルネットワークのトレーニング方法、装置及び電子機器に関する。

【背景技術】

【0003】

人工知能と車両業界の急速な発展に伴い、最新の人工知能技術を量産車両に適用することは、既にもっとも市場の将来性を有する方向となる。現在の車両市場に求められている人工知能製品は、運転支援システム、運転者監視システム、車両運行管理システムなどを含むが、これらに限定されない。これらの市場ニーズを満たすために、通常、運転者の顔を認識し、かつこれを基に後続きの管理及び制御を行う必要がある。

【発明の概要】

【0004】

本開示は、顔認識の技術手段及びニューラルネットワークのトレーニングの技術手段を提供する。

【0005】

第１の態様では、本開示の実施例に係る顔認識方法は、
第１のカメラにより第１の顔画像を取得するステップと、
前記第１の顔画像の第１の顔特徴を抽出するステップと、
前記第１の顔特徴を、前記第１のカメラと異なるタイプのカメラである第２のカメラが取得した第２の顔画像の特徴から抽出された予め記憶された第２の顔特徴と対比し、参照類似度を取得するステップと、
前記参照類似度に基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定するステップと、を含む。

【0006】

本開示の実施例では、顔認識を行う場合、異なるタイプのカメラにより取得された第１の顔画像及び第２の顔画像の認識を実現することができる。本開示の実施例の実施では、異なるタイプのカメラにより第１の顔画像及び第２の顔画像を取得することにより、本開示の実施例に係る顔認識方法をより多くのシーンに適用することができ、顔認証を容易にするだけでなく、顔登録時のカメラも限定されず、顔登録の利便性を向上させる。

【0007】

第２の態様では、本開示の実施例に係るニューラルネットワークのトレーニング方法は、
異なるタイプのカメラによって撮影され、かつ顔が含まれる第１のタイプの画像サンプル及び第２のタイプの画像サンプルを取得するステップと、
前記第１のタイプの画像サンプル及び前記第２のタイプの画像サンプルに基づいてニューラルネットワークをトレーニングするステップと、を含む。

【0008】

本開示の実施例では、異なるタイプのカメラによって撮影された顔画像を用いてニューラルネットワークをトレーニングすることにより、該ニューラルネットワークが顔特徴を出力する精度を効果的に向上させることができるとともに、顔認識を行うとき、該ニューラルネットワークを用いて顔特徴を抽出すると、顔認識の精度を効果的に向上させる。

【0009】

第３の態様では、本開示の実施例に係る顔認識装置は、
第１のカメラにより第１の顔画像を取得する第１の取得ユニットと、
前記第１の顔画像の第１の顔特徴を抽出する第１の抽出ユニットと、
前記第１の顔特徴を、前記第１のカメラと異なるタイプのカメラである第２のカメラが取得した第２の顔画像の特徴から抽出された予め記憶された第２の顔特徴と対比し、参照類似度を取得する対比ユニットと、
前記参照類似度に基づいて前記第１の顔特徴と前記第２の顔特徴とが同じ人に対応するか否かを決定する決定ユニットと、を含む。

【0010】

第４の態様では、本開示の実施例に係るニューラルネットワークのトレーニング装置は、
異なるタイプのカメラによって撮影され、かつ顔が含まれる第１のタイプの画像サンプル及び第２のタイプの画像サンプルを取得する取得ユニットと、
前記第１のタイプの画像サンプル及び前記第２のタイプの画像サンプルに基づいてニューラルネットワークをトレーニングするトレーニングユニットと、を含む。

【0011】

第５の態様では、本開示の実施例に係る電子機器は、
プロセッサ及びメモリを含み、前記メモリは、前記プロセッサに結合され、さらにプログラム命令を記憶し、前記プロセッサは、前記電子機器が上記第１の態様の方法における対応する機能を実行することをサポートするように構成される。

【0012】

第６の態様では、本開示の実施例に係る電子機器は、プロセッサ及びメモリを含み、前記メモリは、前記プロセッサに結合され、さらにプログラム命令を記憶し、前記プロセッサは、前記電子機器が上記第２の態様の方法における対応する機能を実行することをサポートするように構成される。

【0013】

第７の態様では、本開示の実施例に係る顔認識システムは、ニューラルネットワークのトレーニング装置及び顔認識装置を含み、前記ニューラルネットワークのトレーニング装置は、前記顔認識装置に結合され、
前記ニューラルネットワークのトレーニング装置は、ニューラルネットワークをトレーニングし、
前記顔認識装置は、前記ニューラルネットワークのトレーニング装置によってトレーニングされたニューラルネットワークを適用する。

【0014】

第８の態様では、本開示の実施例に係るコンピュータ可読記憶媒体には、コンピュータにおいて実行されると、コンピュータに上記各態様に記載の方法を実行させる命令が記憶されている。

【0015】

第９の態様では、本開示の実施例に係る、命令を含むコンピュータプログラムは、命令がコンピュータにおいて実行されると、コンピュータに上記各態様に記載の方法を実行させる。

【0016】

本開示の出願人は、本開示の実施例を実施するプロセスにおいて、従来の顔認識方法において認証される画像タイプと登録される画像タイプとが同じ画像タイプであることを制限することが多く、例えば登録プロセスにおいてＲＧＢ画像を使用する場合、認証プロセスにおいてもＲＧＢ画像を使用する必要があり、このように、複数のタイプのカメラが関係するシーンでの従来の顔認識解決手段の適用が制限されることを発見した。本開示の実施例は、複数のタイプのカメラが関係するシーンに顔画像認識の解決手段を提供し、本開示の実施例の実施では、一タイプのカメラにより取得された第２の顔画像の顔画像をベースライブラリ特徴とし、別のタイプのカメラにより取得された第１の顔画像の顔特徴をベースライブラリ特徴と対比し、対比結果に基づいて顔認識を実現することにより、本開示の実施例に係る顔認識方法をより多くのシーンに適用することができ、顔認証を容易にするだけでなく、顔登録時のカメラも限定されず、顔登録の利便性を向上させる。

【図面の簡単な説明】

【0017】

本開示の実施例又は背景技術における技術手段をより明確に説明するために、以下、本開示の実施例又は背景技術に使用する必要がある図面について説明する。

【図1】本開示の実施例に係る顔認識方法のフローチャートである。

【図2】本開示の実施例に係るニューラルネットワークのトレーニング方法のフローチャートである。

【図3】本開示の実施例に係るトレーニングプロセスの概略図である。

【図4】本開示の実施例に係る顔認識装置の概略構成図である。

【図5】本開示の実施例に係る別の顔認識装置の概略構成図である。

【図6】本開示の実施例に係るニューラルネットワークのトレーニング装置の概略構成図である。

【図7】本開示の実施例に係るトレーニングユニットの概略構成図である。

【図8】本開示の実施例に係る別のニューラルネットワークのトレーニング装置の概略構成図である。

【図9】本開示の実施例に係る電子機器の概略構成図である。

【発明を実施するための形態】

【0018】

本開示の目的、技術手段及び利点をより明確にするために、以下に図面を参照しながら本開示をさらに詳細に説明する。

【0019】

本開示の明細書と特許請求の範囲と上記図面における用語「第１」、「第２」などは、異なる対象を区別するためのものであり、特定の順序を説明するためのものではない。また、用語「含む」と「備える」及びそれらのいかなる変形は、非排他的な包含をカバーすることを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、示されたステップ又はユニットに限定されないが、好ましくは、示されていないステップ又はユニットをさらに含むか、又は好ましくは、これらのプロセス、方法又は機器に固有の他のステップ又はユニットをさらに含む。

【0020】

図１を参照すると、図１は、本開示の実施例に係る顔認識方法のフローチャートであり、該顔認識方法は、顔認識装置に適用でき、さらに電子機器に適用でき、該電子機器は、サーバ又は端末装置を含んでよく、該サーバは、任意タイプのサーバ、例えばクラウドサーバなどを含んでよく、本開示の実施例では限定しない。該端末装置は、携帯電話、タブレットコンピュータ、デスクトップコンピュータ、車載機器、運転者状態監視システム、乗車管理システム、自動車レンタル管理システム、オンライン配車管理システムなどを含んでよく、本開示の実施例は、該端末装置の具体的な形態を一意的に限定しない。以下、該顔認識方法の電子機器への適用を例として説明する。

【0021】

図１に示すように、該顔認識方法は、以下のステップ１０１～１０４を含む。

【0022】

ステップ１０１では、第１のカメラにより第１の顔画像を取得する。

【0023】

本開示の実施例では、該第１の顔画像は、第１のカメラにより撮影された画像を含んでよく、或いは、該第１の顔画像は、第１のカメラにより撮影されたビデオストリームデータ中の任意のフレームの画像などを含んでよく、本開示の実施例は、該第１の顔画像の元を限定しない。

【0024】

本開示の実施例では、第１のカメラはサーモカメラであってよく、或いは、第１のカメラは可視光カメラである。第１のカメラがサーモカメラである場合、第２のカメラは、サーモカメラと異なる他のカメラであってよく、例えば、第２のカメラは可視光カメラであってよい。第１のカメラが可視光カメラである場合、第２のカメラは可視光カメラと異なる他のカメラであってよく、例えば、第２のカメラはサーモカメラであってよい。一例では、可視光カメラは赤緑青（ｒｅｄ ｇｒｅｅｎ ｂｌｕｅ、ＲＧＢ）カメラを含んでよい。サーモカメラは赤外線（ｉｎｆｒａｒｅｄ ｒａｄｉａｔｉｏｎ、ＩＲ）カメラを含んでよい。ＩＲカメラの結像は、環境光の干渉を受けず、昼間や夜であれ、晴れ、曇天や雨天であれ、外部道路やトンネルなどの異なる適用シーンであるかに関わらず、いずれも品質の差異が大きくない画像を収集することができる。ＲＧＢカメラは、価格が低く、適用が普及し、多くの端末又はシーンにいずれもＲＧＢカメラが配置され、かつＲＧＢ画像も非常に普及して汎用される。したがって、車の適用シーンにおいて車載カメラはＩＲカメラであってよい。それによりＲＧＢカメラを用いて顔登録を行い、登録の利便性及び柔軟性を向上させ、ＩＲカメラを用いて顔認識を行い、車載カメラを用いてリアルタイムな画像収集を行い、顔認識の結果に基づいてロック解除、権限制御、人員／車両管理などの処理を行うことを容易にする。なお、以上は一例に過ぎず、具体的な実現において、他のタイプのカメラをさらに含む可能性があり、本明細書において繰り返して説明しない。

【0025】

一例では、第１のカメラは、電子機器に接続された外付けカメラであってよく、或いは該電子機器の内蔵されたカメラなどであってよく、本開示の実施例は、該第１のカメラの具体的な実現形態を限定しない。それに応じて、第２のカメラの一例では、第１のカメラ及び第２のカメラは、異なるタイプの車載カメラであってよく、つまり第１の顔画像は、車載カメラにより車両の運転領域において取得された顔画像であってよい。なお、具体的な実現において、該第１のカメラ及び該第２のカメラが様々な電子機器に内蔵される場合、一例として、第１のカメラがカメラに内蔵されてよく、或いは携帯電話に内蔵されてよく、或いは車載機器などに内蔵されてよく、本開示の実施例は、該第１のカメラ及び該第２のカメラの具体的な形態を一意的に限定しない。

【0026】

一例では、第１のカメラが車載カメラである場合、第１のカメラにより第１の顔画像を取得するステップは、
車載カメラにより第１の顔画像を取得するステップを含み、第１の顔画像は、車両の車両使用者の顔画像を含む。

【0027】

本実施例では、車両は、自動車、軽車両、乗用車、トラック、定時運行車、タクシー、二輪車、三輪車、四輪及び四輪以上車、小車、車両型ロボット、ラジコン模型自動車などを含んでよく、本開示の実施例は、該車両の具体的なタイプを限定しない。

【0028】

本実施例では、車両使用者は、車両を運転する人、車両に乗る人、車両を修理する人、車両に給油する人及び車両を制御する人のうちの１人以上を含んでよい。車両を制御する人はラジコン模型自動車を制御する人であってよく、車両に給油する人は給油作業者であってよく、車両を修理する人は自動車修理作業者であってよく、車両に乗る人はタクシー又は定時運行車などに乗る人であってよく、車両を運転する人は運転手などであってよい。本開示の実施例は、以上の車両使用者の具体的なタイプを限定しない。

【0029】

一例では、車両使用者が車両を運転する人を含む場合、本開示の実施例は、電子機器がいつ第１の顔画像を取得するかというトリガ条件をさらに提供し、例えば、車載カメラにより第１の顔画像を取得するステップは、
トリガ命令を受信した場合、車載カメラにより第１の顔画像を取得するステップ、
或いは、車両の走行中に、車載カメラにより第１の顔画像を取得するステップ、
或いは、車両の走行速度が参照速度に達した場合、車載カメラにより第１の顔画像を取得するステップを含む。

【0030】

本実施例では、トリガ命令は、電子機器が受信した、ユーザが入力したトリガ命令であってもよく、電子機器に接続された他の電子機器が送信したトリガ命令などであってもよく、本実施例は、該トリガ命令の元及び具体的な形態を限定しない。

【0031】

本実施例では、車両の走行中は、車両が点火するときと理解でき、つまり、電子機器が、車両の走行が開始したことを検出すれば、該電子機器は、車両の運転領域におけるユーザの顔画像、すなわち第１の顔画像を取得することができる。

【0032】

本実施例では、参照速度は、車両の走行速度がどの程度に達するとき、電子機器が第１の顔画像を取得するかを判断するため、該参照速度が具体的にはどのぐらいであるかを限定しない。該参照速度は、ユーザにより設定されてもよく、電子機器に接続された、車両の走行速度を測定する装置により、設定されてもよく、電子機器により設定されてもよく、本実施例は限定しない。

【0033】

本実施例の実施では、トリガ条件を設定することにより第１の顔画像を取得することにより、車両使用者の身分を識別し、電子機器が顔認識を行う効率を効果的に向上させることができる。

【0034】

ステップ１０２では、第１の顔画像の第１の顔特徴を抽出する。

【0035】

本開示の実施例では、電子機器は、任意の方法により第１の顔画像の第１の顔特徴を抽出することができ、例えば、該電子機器は、特徴点抽出アルゴリズムにより第１の顔特徴を抽出することができ、該特徴点抽出については、ｓｕｓａｎ演算子特徴抽出、ｈａｒｒｉｓ演算子特徴抽出、ｓｉｆｔ特徴抽出又はニューラルネットワーク特徴方法などを用いることができるが、これらに限定されない。また、例えば、該電子機器は、幾何学的特徴の顔特徴抽出方法又はテンプレートマッチングに基づく顔特徴抽出方法により該第１の顔特徴などを抽出し、本開示の実施例は、該電子機器がどのように第１の顔特徴を抽出するかについて限定しない。

【0036】

一例では、該電子機器は、ニューラルネットワークにより第１の顔の第１の顔特徴を抽出してよく、該ニューラルネットワークは、予めトレーニングされたニューラルネットワークであってよい。該予めトレーニングされたニューラルネットワークは、本開示の実施例における電子機器によってトレーニングされたニューラルネットワークであってもよく、他の装置によってトレーニングされたニューラルネットワークであってもよく、次に本開示の実施例における電子機器が該他の装置から取得したニューラルネットワークなどであってもよく、本開示の実施例は限定しない。

【0037】

本開示の実施例では、ニューラルネットワークは、畳み込み層、非線形層、プーリング層などのネットワーク層により一定の方式で積層設計されてよく、本開示の実施例は、具体的なネットワーク構造を限定しない。ニューラルネットワークの構造を設計した後、ニューラルネットワークの所定のトレーニング完了条件を満たすまで、ラベリング情報付きの画像に基づいて、教師又は弱教師方式を用いて設計されたニューラルネットワークに対して勾配誤差逆伝播を行うなどの方法で幾千ひいては幾万回の反復トレーニングを行い、ニューラルネットワークのネットワークパラメータを調整してよい。具体的なトレーニング方式について、本開示の実施例は限定しない。

【0038】

ニューラルネットワークによる顔画像の特徴抽出は、端末間の出力を実現することができ、例えば、第１の顔画像を予めトレーニングされたニューラルネットワークに入力し、ニューラルネットワークが該第１の顔画像から特徴抽出を行って取得された特徴図を出力し、すなわち端末間で顔画像特徴抽出のプロセスを実現する。顔特徴抽出は、顔のいくつかの特徴に対して顔特徴抽出を行うことであり、顔特徴は顔表徴と呼ばれてもよい。一例として、ニューラルネットワークによる顔特徴抽出は、具体的にはディープニューラルネットワークにより顔の深さレベルの抽象的な特徴を抽出することであってよい。

【0039】

一例では、第１の顔画像を予めトレーニングされたニューラルネットワークに入力し、ニューラルネットワークにより第１の顔画像の第１の顔特徴を出力し、ニューラルネットワークは、異なるタイプのカメラによって撮影され、かつ顔が含まれる第１のタイプの画像サンプル及び第２のタイプの画像サンプルに基づいてトレーニングすることにより取得される。本開示では、２種類の異なるタイプのカメラによって撮影された画像サンプルを用いてニューラルネットワークをトレーニングすることにより、ニューラルネットワークは、異なるタイプの画像の特徴抽出能力を学習することができ、これによりトレーニングされたニューラルネットワークに基づいて異なるタイプの画像に対する顔認識能力を実現する。

【0040】

ステップ１０３では、第１の顔特徴を、第１のカメラと異なるタイプのカメラである第２のカメラが取得した第２の顔画像の特徴から抽出された予め記憶された第２の顔特徴と対比し、参照類似度を取得する。

【0041】

本開示の実施例では、第１の顔画像は、顔認証を行う必要がある顔画像として理解されてよく、或いは顔認識を行う必要がある顔画像として理解されてよく、或いは検索する必要がある顔画像として理解されてよい。第２の顔画像は、顔登録時の顔画像として理解されてよく、或いは身分ベースライブラリに保存された顔画像として理解されてよい。該身分ベースライブラリに身分情報、及び各身分情報に対応する顔特徴が保存される。以下、第１の顔画像が顔認識を行う必要がある顔画像であり、そして第２の顔画像が顔登録時の顔画像であることを例として説明する。

【0042】

本開示の実施例では、第１のカメラ及び第２のカメラは異なるタイプのカメラに属し、つまり第１の顔画像と第２の顔画像は異なるタイプの顔画像として理解できる。例えば、第１の顔画像がＲＧＢ顔画像であれば、第２の顔画像はＩＲ顔画像であってよい。或いは、第１の顔画像はＩＲ顔画像であり、第２の顔画像はＲＧＢ顔画像である。或いは、他のタイプの顔画像などであり、本開示の実施例は限定しない。第１のカメラ及び第２のカメラの具体的な説明について、前述の実施例を参照することができ、本明細書において１つずつ詳述しない。

【0043】

本開示の実施例では、参照類似度は、第１の顔画像が身分ベースライブラリにおける第２の顔画像に対応するユーザに属する類似度であり、すなわち参照類似度は、第１の顔画像と第２の顔画像が同じ人に対応する類似度を示すことができる。例えば、電子機器は、顔特徴の対比により参照類似度を取得することができる。

【0044】

一例では、第２の顔画像が車両使用者に対して顔登録を行うための画像である場合、本開示の実施例は、第２の顔画像の顔特徴を取得する方法をさらに提供し、例えば第１の顔特徴を予め記憶された第２の顔特徴と対比する前に、図１に示される方法は、
第２のカメラにより第２の顔画像を取得するステップと、
第２の顔画像の第２の顔特徴を抽出するステップと、
第２の顔画像の第２の顔特徴を保存するステップと、をさらに含む。

【0045】

本実施例は、第２の顔画像の顔特徴を抽出する方法を限定せず、例えば予めトレーニングされたニューラルネットワークにより該第２の顔画像の顔特徴を抽出することにより第２の顔特徴を取得してよい。また例えばローカルバイナリパターン（ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎｓ、ＬＢＰ）方法により該第２の顔画像の顔特徴を抽出してよい。また例えばｓｉｆｔ特徴抽出方法、幾何学的特徴の顔特徴抽出方法、及びテンプレートマッチングに基づく顔特徴抽出方法などにより該第２の顔画像の顔特徴を抽出してよい。なお、本実施例は、第２の顔画像の顔特徴をどのように抽出するかについて一意的に限定しない。本実施例では、第２の顔特徴を電子機器に保存することにより、顔認識に保障を提供することができる。

【0046】

ステップ１０４では、参照類似度に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定する。

【0047】

本開示の実施例では、参照類似度に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定する場合、例えば参照類似度と類似度閾値（静的な類似度閾値と理解できる）との間の関係を比較することにより決定してよく、参照類似度が類似度閾値以上であれば、第１の顔特徴と第２の顔特徴とが同じ人に対応すると決定することができる。参照類似度が類似度閾値より小さければ、第１の顔特徴と第２の顔特徴とが異なる人に対応すると決定することができる。

【0048】

一例では、本開示の実施例は、動的な類似度閾値を用いて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定する方法をさらに提供する。例えば、参照類似度に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定するステップは、
参照類似度、参照誤報率及び類似度閾値に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定するステップを含み、異なる誤報率は、異なる類似度閾値に対応する。

【0049】

本実施例では、異なる誤報率は、異なる類似度閾値に対応し、つまり、誤報率と類似度閾値との間に対応関係がある。異なる誤報率が具体的に対応する類似度閾値がどのぐらいであるかについて、本開示の実施例は限定しない。例えば、該誤報率と類似度閾値との間の対応関係は、ユーザにより設定されてよく、或いは電子機器により自主的に設定されてよく、本開示の実施例は限定しない。なお、本開示の実施例における参照誤報率は、電子機器により決定された誤報率であり、例えば電子機器が誤報率と類似度閾値との間の対応関係から決定した１つの誤報率である。

【0050】

例えば、誤報率と類似度閾値との間の関係は以下のとおりである：誤報率が万分の一である場合、類似度閾値は０．７であり、誤報率が十万分の一である場合、類似度閾値は０．８であってよく、誤報率が百万分の一である場合、類似度閾値は０．９であってよく、誤報率が千万分の一である場合、類似度閾値は０．９８であってよい。これにより、参照誤報率を決定した後、該電子機器は、該参照誤報率に基づいて類似度閾値を決定することができることにより、取得された参照類似度及び決定された類似度閾値に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定することができる。なお、本開示の実施例は、電子機器がどのように参照誤報率を決定するかについて限定せず、例えば該電子機器は、ユーザが入力した決定命令により決定してよく、或いは他の方法で決定してよい。

【0051】

本実施例の実施では、異なる誤報率により異なる類似度閾値を取得することにより第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定することは、固定の類似度閾値を用いる方式で顔を認証する解決手段を回避することにより、２つの顔画像の間の関係を判断するための類似度を動的に決定することができ、顔認識の精度を向上させる。

【0052】

一例では、本開示の実施例は、第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定する方法をさらに提供し、例えば参照類似度に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定するステップは、
参照類似度及び閾値情報に基づいて、正規化された参照類似度を決定するステップと、
正規化された参照類似度に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定するステップと、を含む。

【0053】

本実施例では、閾値情報は、ポジティブサンプルペアの類似度、ネガティブサンプルペアの類似度及び予め設定された異なる誤報率に基づいて取得され、ポジティブサンプルペア及びネガティブサンプルペアは、第１のタイプの画像及び第２のタイプの画像に基づいて取得され、各ポジティブサンプルペアは２枚の画像を含み、かつ２枚の画像における顔は同じ人に対応し、各ネガティブサンプルペアは２枚の画像を含み、かつ２枚の画像における顔は異なる人に対応し、かつポジティブサンプルペアとネガティブサンプルペアとの類似度は、予めトレーニングされたニューラルネットワークにより決定される。一例では、該閾値情報は、第１の閾値及び第２の閾値を含でんよく、これにより電子機器は、参照類似度、該第１の閾値及び該第２の閾値に基づいて、正規化された参照類似度を決定することができ、該参照類似度は、第１の閾値と第２の閾値との間にあり、かつ閾値情報において、該参照類似度は、第１の閾値及び第２の閾値に最も近い。第１のタイプの画像と第２のタイプの画像は、それぞれ異なるタイプのカメラにより取得される。

【0054】

本実施例では、参照類似度により、閾値情報から第１の閾値及び第２の閾値を決定してよく、これにより電子機器は、該第１の閾値及び該第２の閾値に基づいて、正規化された参照類似度を決定することができる。該正規化された参照類似度は、第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定するための最終類似度である。例えば、参照類似度の数値がＴ（ｎ－１）（例えば第１の閾値である）とＴ（ｎ）（例えば第２の閾値である）との間にある場合、正規化された参照類似度は、０．３＋（ｎ－１）／１０＋０．１^＊（参照類似度－Ｔ（ｎ－１））^＊（Ｔ（ｎ）－Ｔ（ｎ－１））に決定することができる。なお、以上は正規化の方法の例に過ぎず、本実施例を限定するものと理解すべきではない。

【0055】

なお、本実施例における電子機器は、正規化された参照類似度を決定した後に、該電子機器は、固定の類似度閾値を用いて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定してよい。一例では、該電子機器は、さらに動的な類似度閾値（すなわち異なる誤報率に基づいて異なる類似度閾値を取得する）を用いて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定してよい。

【0056】

本実施例を実施して、第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定する類似度の精度をさらに向上させ、顔認証の精度を向上させることができる。

【0057】

一例では、身分ベースライブラリにおける顔画像は、複数である可能性があり、すなわち予め記憶された第２の顔特徴は複数の個人に対応する可能性があるため、該第２の顔画像の数は少なくとも２つを含み、参照類似度の数は少なくとも２つを含んでよい。したがって、本開示の実施例は、顔認識方法をさらに提供し、参照類似度、参照誤報率及び類似度閾値に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定するステップは、
参照誤報率に基づいて類似度閾値を決定し、そして少なくとも２つの参照類似度から第１の顔特徴との類似度が最も高い第２の顔特徴を決定するステップと、
類似度が最も高い第２の顔特徴と第１の顔特徴との参照類似度が類似度閾値よりも大きい場合、類似度が最も高い第２の顔特徴と第１の顔特徴とが同じ人に対応すると決定するステップとを含む。

【0058】

本実施例では、電子機器は、それぞれ第１の顔特徴と少なくとも２つの第２の顔特徴との参照類似度を取得することにより、少なくとも２つの参照類似度から第１の顔特徴との類似度が最も高い第２の顔特徴を決定し、次に該類似度が最も高い第２の顔特徴と第１の顔特徴との参照類似度が類似度閾値よりも大きいか否か（異なる誤報率に基づいて取得される）を対比してよく、大きければ、該類似度が最も高い第２の顔特徴と第１の顔特徴とが同じ人に対応することを示す。

【0059】

さらに、電子機器が第１の顔特徴と少なくとも２つの第２の顔特徴との参照類似度に基づいて取得した、正規化された参照類似度の数も少なくとも２つを含む。したがって、正規化された参照類似度を決定した後、該電子機器は、さらに、正規化された参照類似度に基づいて第１の顔特徴との類似度が最も高い第２の顔特徴を決定してよく、かつ第１の顔特徴との類似度が最も高い該第２の顔特徴と第１の顔特徴との正規化された参照類似度が類似度閾値（異なる誤報率に基づいて取得されてよい）よりも大きければ、第１の顔特徴との類似度が最も高い第２の顔特徴と第１の顔特徴における顔が同じ顔に属し、すなわち同じ人に対応すると決定することができる。

【0060】

本開示の実施例では、電子機器は、登録時の顔画像と顔認識時の顔画像とが同じ人に対応するか否かを対比する必要があるため、本開示の実施例は、顔登録時の顔画像を取得する電子機器と、顔認識時の顔画像を取得する電子機器とが同じタイプ（又は同一）の電子機器であるか否かについて限定しない。

【0061】

本開示の出願人は、本開示の実施例を実施するプロセスにおいて、従来の顔認識方法において認証される画像タイプと登録される画像タイプとが同じ画像タイプであることを制限することが多く、例えば登録プロセスにおいてＲＧＢ画像を使用する場合、認証プロセスにおいてもＲＧＢ画像を使用する必要があり、このように、複数のタイプのカメラが関係するシーンでの従来の顔認識解決手段の適用が制限されることを発見した。本開示の実施例は、複数のタイプのカメラが関係するシーンに顔画像認識の解決手段を提供し、本開示の実施例の実施では、一タイプのカメラにより取得された第２の顔画像の顔画像をベースライブラリ特徴とし、別のタイプのカメラにより取得された第１の顔画像の顔特徴をベースライブラリ特徴と対比し、対比結果に基づいて顔認識を実現することにより、本開示の実施例に係る顔認識方法をより多くのシーンに適用することができ、顔認証を容易にするだけでなく、顔登録時のカメラも限定されず、顔登録の利便性を向上させる。

【0062】

一例として、以下に例を挙げて本開示の実施例が適用するシーンを説明する。

【0063】

シーン１

【0064】

（１）登録プロセスについて、ユーザは、携帯電話により顔登録を完了し、すなわち携帯電話に設置されたカメラにより撮影された顔画像により登録フローを行ってよく、携帯電話に一般的に可視光カメラ（例えばＲＧＢカメラ）が設置されるため、登録された顔画像は、ＲＧＢカメラにより撮影された第２の顔画像である。その後に登録された顔画像を携帯電話により又は携帯電話を介してサーバにより車載機器に送信し、車載機器は、該登録された顔画像を記憶し、すなわち車載機器は、第２の顔画像を記憶する。或いは、ユーザは、携帯電話に設置された可視光カメラにより第２の顔画像を撮影して、該第２の顔画像をサーバ又は車載機器に送信することにより、サーバ又は車載機器において第２の顔画像の登録を完了し、登録が完了した後に第２の顔画像に基づいて抽出された第２の顔特徴を保存してよい。

【0065】

（２）認識プロセスについて、ユーザは、車載機器により認識する必要がある顔画像（すなわち第１の顔画像）を収集し、車載機器に赤外線カメラが設置されてよく、これにより赤外線カメラにより撮影された、例えばＩＲ顔画像を顔認識しようとする対象の画像、第１の顔画像としてよい。該車載機器は、ＩＲ画像の顔特徴を抽出して、ＩＲ画像の顔特徴を登録されたＲＧＢ画像の顔特徴と照合することにより、識別ようとする対象のユーザと登録されたユーザとが同じ人であるか否かを決定する。

【0066】

なお、本開示の実施例に示されるシーン１は、運転者状態監視システム、乗車管理システム、自動車レンタル管理システム及びオンライン配車管理システムなどに適用できる。例えば、運転者状態監視システムに対して、該システムは、一般的には、顔認識、運転者動作検出、運転者疲労検出及び運転者注意力監視などのいくつかのモジュールを含む。したがって、上記システムは、顔認識の段階的ではシーン１に示された方法により顔認識を行うことにより、運転者の身分又は車両を賃貸する人の身分などを決定することができる。

【0067】

シーン２

【0068】

本開示の実施例に係る顔認識方法は、小区域入出管理システム及びセキュリティ設定制御システムなどにさらに適用でき、例えば小区域入出管理システムを例とする。

【0069】

（１）登録プロセスについて、ユーザ（ある小区域内の住人）は、携帯電話により顔登録を行い、すなわち携帯電話に設置された可視光カメラ（例えばＲＧＢカメラ）により該ユーザの顔画像、すなわち第２の顔画像を取得してよい。その後に登録された顔画像を携帯電話により又は携帯電話を介してサーバにより入出制御機器に送信し、入出制御機器は、該第２の顔画像を記憶する。或いは、ユーザは、携帯電話に設置された可視光カメラにより第２の顔画像を撮影して、該第２の顔画像を入出制御機器に送信することにより、該入出制御機器により第２の顔画像の登録を完了し、登録が完了した後に第２の顔画像に基づいて抽出された第２の顔特徴を保存してよい。

【0070】

（２）認識プロセスについて、ユーザが小区域を入出する必要がある場合、入出制御機器は、赤外線カメラ（例えばＩＲカメラ）により該ユーザの顔画像、すなわち第１の顔画像を取得してよい。その後に該入出制御機器は、第１の顔画像の顔特徴を抽出して第１の顔特徴を取得し、該入出制御機器は、ＩＲカメラにより撮影された第１の顔画像であるＩＲ画像の顔特徴を、登録されたＲＧＢカメラにより撮影されたＲＧＢ画像の顔特徴と対比することにより、小区域に入出しようとするユーザと登録されたユーザとが同じ人であるか否かを決定する。

【0071】

なお、以上は本開示の実施例において例示されたいくつかのシーンに過ぎず、具体的な実現では、本開示の実施例に係る方法は、さらに多くのシーンに適用でき、例えば本開示の実施例に係る方法は、携帯電話のロック解除などの端末のロック解除及び銀行身分認証システムなどにさらに適用でき、本開示の実施例は限定しない。携帯電話のロック解除での適用に対して、ユーザは、携帯電話により顔登録を行ってよく、その後に毎回携帯電話を使用するプロセスにおいて、該携帯電話は、いずれも本開示の実施例に係る方法を実行して顔画像の識別を実現することができる。なお、顔登録時の携帯電話と、顔認識時の携帯電話とは異なる携帯電話であってよく、すなわち顔登録時の携帯電話におけるカメラと顔認識時の携帯電話におけるカメラとは、タイプが異なってよい。また、金融身分認証システムである銀行身分認証システムに対して、ユーザが銀行口座を開設する時に、銀行端末により顔登録を行ってよく、その後に後続きの銀行業務を取り扱うプロセスにおいて、他の銀行端末は、本開示の実施例に係る方法を実行して顔画像の認識を実現して、ユーザの銀行業務の安全性を確保することができる。顔登録時の銀行端末及び顔認識時の銀行端末におけるカメラのタイプは異なってよい。

【0072】

したがって、本開示の実施例において示されたシーンを本開示の実施例を限定するものと理解すべきではない。

【0073】

本開示の出願人は、本開示の実施例を実施するプロセスにおいて、同じ人がＲＧＢカメラ及びＩＲカメラにより２枚の顔画像を撮影して、この２枚の画像を用いてＲＧＢ画像、ＩＲ画像、ＲＧＢと赤外線画像の混合画像という３組の混合比較組み合わせを形成し、同じニューラルネットワークを介して取得された類似度に差異が存在する可能性があることをさらに発見した。

【0074】

同時に、２人の異なる人は、それぞれＲＧＢカメラ及びＩＲカメラにより４枚の顔画像を撮影して、この４枚の顔画像を用いて異なる画像組み合わせ、例えばユーザ１ＲＧＢ画像とユーザ２ＲＧＢ画像、ユーザ１ＩＲ画像とユーザ２ＩＲ画像、ユーザ１ＲＧＢ画像とユーザ２ＩＲ画像、ユーザ１ＩＲ画像とユーザ２ＲＧＢ画像を構成する。この４組の混合比較組み合わせは、同じニューラルネットワークを介して取得された類似度にも差異が存在する可能性がある。

【0075】

これにより、本開示の実施例は、ニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＮＮ）をトレーニングする技術手段を提供し、上記発生した問題を効果的に低減するか又は回避することができる。なお、本開示の実施例におけるニューラルネットワークは、ディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＤＮＮ）、畳み込みニューラルネットワークなどを含んでよく、本開示の実施例は、該ニューラルネットワークの具体的な形態を限定しない。

【0076】

以下、本開示の実施例に係るニューラルネットワークをトレーニングする技術手段を詳細に説明する。

【0077】

図２を参照すると、図２は、本開示の実施例に係るニューラルネットワークのトレーニング方法のフローチャートであり、該ニューラルネットワークのトレーニング方法は、ニューラルネットワークのトレーニング装置に適用でき、そして該ニューラルネットワークのトレーニング方法は、電子機器に適用でき、該電子機器は、サーバ又は端末装置を含んでよく、該端末装置は、携帯電話、タブレットコンピュータ、デスクトップコンピュータ、パームサイズパーソナルコンピュータ、車載機器、及び車載ロボットなどを含んでよく、本開示の実施例は、該電子機器の具体的な形態を一意的に限定しない。なお、該ニューラルネットワークのトレーニング方法は、さらに顔認識装置に適用できる。つまり、図２に示される方法及び図１に示される方法は、同じタイプの電子機器により実行されてもよく、異なるタイプの電子装置により実行されてもよく、本開示の実施例は限定しない。同じタイプの電子機器により実行され、つまり、図１に示される方法は、端末装置により実行され、図２に示される方法は、端末装置により実行されてもよい。或いは、図２に示される方法は、図１に示される方法と同じ装置により実行されてよく、本開示の実施例は限定しない。

【0078】

以下、ニューラルネットワークのトレーニングプロセスにおいて使用されたトレーニング画像を画像サンプルと呼び、画像サンプルは、ラベリング情報を含み、ラベリング情報は、画像中の顔ＩＤ（顔のラベリング情報と理解されてよい）、画像のタイプなどのうちの少なくとも１つを含むが、それらに限定されず、同じ人に対応する顔ＩＤは同じであり、画像のタイプは、画像収集に対応するカメラタイプを特徴付ける。図２に示すように、該ニューラルネットワークのトレーニング方法は、以下のステップ２０１～２０２を含む。

【0079】

ステップ２０１では、異なるタイプのカメラによって撮影され、かつ顔が含まれる第１のタイプの画像サンプル及び第２のタイプの画像サンプルを取得する。

【0080】

本開示の実施例では、第１のタイプの画像サンプルは、少なくとも顔の画像を含み、第２のタイプの画像サンプルは、少なくとも顔の画像を含み、かつ該第１のタイプの画像サンプルと該第２のタイプの画像サンプルは、異なるタイプのカメラにより取得される。例えば、第１のタイプの画像サンプルがＲＧＢカメラによって取得されると、第２のタイプの画像サンプルは、他のタイプのカメラ、例えばＩＲカメラによって取得されてよい。なお、異なるタイプのカメラの具体的な実施形態について、図１に示される形態を参照することができ、本明細書において繰り返して説明しない。

【0081】

なお、該第１のタイプの画像サンプルの数量、及び該第２のタイプの画像サンプルの数量について、本開示の実施例は限定しない。該第１のタイプの画像サンプルの数及び該第２のタイプの画像サンプルの数は、ニューラルネットワークのトレーニング度合いを計量基準などとしてよい。

【0082】

ステップ２０２では、第１のタイプの画像サンプル及び第２のタイプの画像サンプルに基づいてニューラルネットワークをトレーニングする。

【0083】

本開示の実施例では、電子機器は、２種類の異なるタイプのカメラによって撮影された画像サンプルを用いてニューラルネットワークをトレーニングしてよく、これによりニューラルネットワークは、トレーニングプロセスにおいて２種類の異なるタイプの画像に対する特徴抽出能力を学習することができる。ニューラルネットワークのトレーニングが完了した後、トレーニングされたニューラルネットワークに基づいて、この２種類の異なる画像のうちの任意の１種類の画像に対して特徴抽出を行い、かつ特徴抽出の精度を保証することができ、これによりこの２種類のカメラに基づいて顔登録及び認識を行う適用需要を満たす。つまり、ニューラルネットワークをトレーニングする時に、単純に１つのタイプの画像サンプルを用いてトレーニングせず、複数のタイプの画像サンプルを用いてトレーニングすることにより、トレーニングされたニューラルネットワークは、異なるタイプの画像サンプルの特徴を効果的に取得することができる。

【0084】

一例では、教師ありトレーニングを例とし、ニューラルネットワークのトレーニング方法は、例えば、第１のタイプ画像サンプル及び第２のタイプ画像サンプルをニューラルネットワークに入力し、ニューラルネットワークを介して第１のタイプ画像サンプル及び第２のタイプ画像サンプルを処理した後に、ニューラルネットワークの、第１のタイプ画像サンプルへの予測結果及び第２のタイプ画像サンプルへの予測結果（すなわち各画像サンプルの顔予測結果）をそれぞれ出力する。その後に、所定の損失関数により画像サンプルの顔予測結果と画像サンプルのラベリング情報（すなわち真の顔ラベリング情報）との間の損失を計算し、すなわち所定の損失関数により第１のタイプの画像サンプルの予測結果とラベリング情報との間の損失及び第２のタイプの画像サンプルの予測結果とラベリング情報との間の損失を計算する。それにより該損失をニューラルネットワークに逆伝播し、ニューラルネットワークは、逆伝播された損失に基づいて畳み込みカーネル、重みなどのネットワークパラメータのパラメータ値を調整する。一般的には、調整した後に、所定のトレーニング完了条件（例えば、損失が所定の閾値よりも小さいか又は反復トレーニングの回数が設定回数を超えるなど）を満たすまで、他の第１のタイプの画像サンプル及び他の第２のタイプの画像サンプルをさらに入力し、上記トレーニングプロセスを繰り返してよい。なお、以上は本開示の実施例に係るトレーニングプロセスに過ぎず、具体的な実現では、さらに他の方法などを含む可能性があり、本開示の実施例は限定しない。

【0085】

一例では、第１のタイプの画像サンプル及び第２のタイプの画像サンプルに基づいてニューラルネットワークをトレーニングするステップは、
第１のタイプの画像サンプルと第２のタイプの画像サンプルとをペアリングして第１のタイプの画像サンプルと第２のタイプの画像サンプルの混合タイプの画像サンプルを取得するステップと、
第１のタイプの画像サンプル、第２のタイプの画像サンプル及び混合タイプの画像サンプルに基づいてニューラルネットワークをトレーニングするステップと、を含む。

【0086】

本実施例では、第１のタイプの画像サンプルと第２のタイプの画像サンプルとがペアリングされ、つまり、混合タイプの画像サンプルにおける各ペアの混合タイプの画像サンプルは、第１のタイプの画像サンプル及び第２のタイプの画像サンプルを含み、これにより２種類の異なるタイプのトレーニング用画像サンプルを形成する。第１のタイプの画像サンプル、第２のタイプの画像サンプル及び混合タイプの画像サンプルによりニューラルネットワークをトレーニングすることにより、該ニューラルネットワークは、各単一タイプの画像の特徴抽出能力を学習することができるだけでなく、この２種類の異なるタイプの画像の特徴抽出能力をよりよく共同学習することができ、ニューラルネットワークの特徴抽出の精度を向上させることにより、トレーニングされたニューラルネットワークは、本開示の実施例に係る顔認識方法に効果的に適用することができる。

【0087】

一例では、第１のタイプの画像サンプル、第２のタイプの画像サンプル及び混合タイプの画像サンプルに基づいてニューラルネットワークをトレーニングするステップは、
ニューラルネットワークにより第１のタイプの画像サンプルの顔予測結果、第２のタイプの画像サンプルの顔予測結果及び混合タイプの画像サンプルの顔予測結果を取得するステップと、
第１のタイプの画像サンプルの顔予測結果と顔ラベリング結果との差異、第２のタイプの画像サンプルの顔予測結果と顔ラベリング結果との差異及び混合タイプの画像サンプルの顔予測結果と顔ラベリング結果との差異に基づいてニューラルネットワークをトレーニングするステップと、を含む。

【0088】

本実施例では、電子機器は、ニューラルネットワークにより第１のタイプの画像サンプルの顔予測結果、第２のタイプの画像サンプルの顔予測結果及び混合タイプの画像サンプルの顔予測結果をそれぞれ取得してよい。その後に、該第１のタイプの画像サンプルの顔予測結果と顔ラベリング結果との差異、第２のタイプの画像サンプルの顔予測結果と顔ラベリング結果との差異及び混合タイプの画像サンプルの顔予測結果と顔ラベリング結果との差異に基づいてニューラルネットワークをトレーニングする。例えば、第１のタイプの画像サンプルの顔予測結果と顔ラベリング結果との間の損失に基づいてニューラルネットワークをトレーニングし、そして第２のタイプの画像サンプルの顔予測結果と顔ラベリング結果との間の損失に基づいてニューラルネットワークをトレーニングし、そして混合タイプの画像サンプルの顔予測結果と顔ラベリング結果との間の損失に基づいてニューラルネットワークをトレーニングしてよい。なお、具体的なトレーニング方法について、前述の実施例の説明を参照することができ、本明細書において１つずつ詳述しない。

【0089】

一例では、ニューラルネットワークが顔特徴を抽出する精度をさらに向上させるために、本開示の実施例は、トレーニング方法をさらに提供し、例えば、ニューラルネットワークには第１の分類器、第２の分類器及び混合分類器が含まれ、ニューラルネットワークにより第１のタイプの画像サンプル、第２のタイプの画像サンプル及び混合タイプの画像サンプルの顔予測結果を取得するステップは、
第１のタイプの画像サンプルの特徴を第１の分類器に入力して、第１のタイプの画像サンプルの顔予測結果を取得するステップと、
第２のタイプの画像サンプルを第２の分類器に入力して、第２のタイプの画像サンプルの顔予測結果を取得するステップと、
混合タイプの画像サンプルの特徴を混合分類器に入力して、混合タイプの画像サンプルの顔予測結果を取得するステップと、を含む。

【0090】

本実施例では、分類器は、異なるタイプの画像サンプルの顔予測結果を分類してよく、例えば分類器により該分類器に入力された画像サンプルの顔予測結果を取得することができることにより、分類器の出力に基づいて損失を決定し、さらにニューラルネットワークに逆伝播し、該ニューラルネットワークをトレーニングすることができる。一例では、それぞれ、第１の分類器により第１のタイプの画像サンプルの顔予測結果を出力し、第２の分類器により第２のタイプの画像サンプルの顔予測結果を出力し、そして混合分類器により混合タイプの画像サンプルの顔予測結果を出力してよい。画像サンプルのタイプに対応する分類器により顔予測結果を出力することにより、分類器が顔予測結果を出力する精度を効果的に向上させ、さらに分類器の出力結果に基づいて混合タイプの画像特徴抽出をサポートするニューラルネットワークのトレーニングの精度を向上させ、ニューラルネットワークが異なるタイプ画像の顔特徴を抽出する場合の正確性及びロバスト性を向上させることができる。

【0091】

第１のタイプの画像サンプル、第２のタイプの画像サンプル及び混合タイプの画像サンプルに基づいてニューラルネットワークをトレーニングする具体的な実現形態は、図３に示されるものであってよく、図３は、本開示の実施例に係るトレーニングプロセスの概略図である。第１のタイプの画像サンプルがＲＧＢ画像サンプルであり、ＲＧＢ画像サンプルライブラリに含まれる各画像サンプルは、いずれもＲＧＢ画像サンプルであり、第２のタイプの画像サンプルがＩＲ画像サンプルであり、ＩＲ画像サンプルライブラリに含まれる各画像サンプルは、いずれもＩＲ画像サンプルであり、混合タイプの画像サンプルがＲＧＢ＆ＩＲ画像サンプルであることを例とし、混合タイプの画像サンプルライブラリには、一部のＲＧＢ画像サンプル及び部分ＩＲ画像サンプルが含まれ、ＲＧＢ＆ＩＲ画像サンプルとして表示される。同時に、第１の分類器がＲＧＢ分類器であり、第２の分類器がＩＲ分類器であり、混合分類器がＲＧＢ＆ＩＲ分類器であることを例とし、ＲＧＢ分類器は、ＲＧＢ画像サンプルライブラリにおけるＲＧＢ画像サンプルを分類し、あるＲＧＢ画像サンプルの分類結果は、該ＲＧＢ画像サンプルにおける顔がＲＧＢ画像サンプルライブラリにおける各顔ＩＤカテゴリに属する確率を示し、ＩＲ分類器は、ＩＲ画像サンプルライブラリにおけるＩＲ画像サンプルを分類し、あるＩＲ画像サンプルの分類結果は、該ＩＲ画像サンプルにおける顔がＩＲ画像サンプルライブラリにおける各顔ＩＤカテゴリに属する確率を示し、ＲＧＢ＆ＩＲ分類器は、混合タイプの画像サンプルライブラリにおけるＲＧＢ画像サンプル及びＩＲ画像サンプルを分類し、あるＲＧＢ＆ＩＲ画像サンプルは、該画像サンプルにおける顔が混合タイプの画像サンプルライブラリにおける各顔ＩＤカテゴリに属する確率を示す。ＲＧＢ＆ＩＲ画像サンプルにおける「＆」は、混合分類器であるＲＧＢ＆ＩＲ分類器に入力された画像サンプルがＲＧＢタイプの画像サンプルである可能性があり、ＩＲタイプの画像サンプルである可能性もあることを示してよい。したがって、本開示における「＆」を本開示を限定するものと理解すべきではない。

【0092】

図３に示すように、ＲＧＢ画像サンプル、ＩＲ画像サンプル及びＲＧＢ＆ＩＲ画像サンプルをそれぞれニューラルネットワークに入力した後、該ニューラルネットワークは、特徴抽出器によりＲＧＢ画像サンプルの特徴、ＩＲ画像サンプルの特徴及びＲＧＢ＆ＩＲ画像サンプルの特徴を出力してよい。その後に、ＲＧＢ画像サンプルの特徴、ＩＲ画像サンプルの特徴及びＲＧＢ＆ＩＲ画像サンプルの特徴をそれぞれＲＧＢ分類器、ＩＲ分類器、ＲＧＢ＆ＩＲ分類器に入力する。これにより、該ニューラルネットワークは、分類器により各画像サンプルの顔予測結果を出力し、該各画像サンプルの顔予測結果と各画像サンプルの顔ラベリング結果とを比較すれば、各画像サンプルの顔予測結果と各画像サンプルの顔ラベリング結果との間の損失を取得し、さらに該損失をニューラルネットワーク全体に逆伝播し、ニューラルネットワーク全体をトレーニングする。本実施例では、ニューラルネットワークに分類器を追加することにより、分類器がニューラルネットワーク全体のトレーニングを支援することにより、トレーニングされたニューラルネットワークは、異なるタイプの画像の特徴を正確にかつ効果的に抽出し、これにより顔認識の精度及び効率を向上させることができる。

【0093】

なお、第１の分類器、第２の分類器及び混合分類器によりニューラルネットワーク全体のトレーニングを完了した後に、図２に示される方法は、
トレーニングされた上記ニューラルネットワーク中から第１の分類器、第２の分類器及び混合分類器を除去して、顔認識を行うためのニューラルネットワークを取得するステップをさらに含む。

【0094】

つまり、第１の分類器、第２の分類器及び混合分類器は、ニューラルネットワークのトレーニングを支援することができるが、具体的な適用において、例えば本開示の実施例に係る方法を適用してニューラルネットワークを介して顔認識を行うプロセスにおいて、該ニューラルネットワークは、該第１の分類器、第２の分類器及び混合分類器を含まなくてよく、これにより、ニューラルネットワークのトレーニング装置のトレーニングが完了した後、ニューラルネットワークにおける第１の分類器、第２の分類器及び混合分類器を除去することができる。

【0095】

本開示の実施例では、異なるタイプのカメラによって撮影された画像を用いてニューラルネットワークをトレーニングすることにより、該ニューラルネットワークが特徴を出力する効率を効果的に向上させ、異なるタイプの画像が同じニューラルネットワークにより特徴を抽出することによる類似度の差異を低減するか又は回避することができる。

【0096】

一例では、図１に示される正規化された参照類似度を決定するための閾値情報を取得するために、本開示の実施例は、閾値情報の取得方法をさらに提供し、以下に示すとおりである。

【0097】

第１のタイプの画像サンプル、第２のタイプの画像サンプル及び混合タイプの画像サンプルに基づいてニューラルネットワークをトレーニングした後に、図２に示される方法は、
異なるカメラにより取得された第１のタイプの画像及び第２のタイプの画像を取得するステップと、
第１のタイプの画像及び第２のタイプの画像に基づいて、それぞれ２つの画像を含み、かつその２つの画像における顔が同じ人に対応するポジティブサンプルペアと、それぞれ２つの画像を含み、かつその２つの画像における顔が異なる人に対応するネガティブサンプルペアとを取得するステップと、
トレーニングされたニューラルネットワークを介してそれぞれポジティブサンプルペアの類似度及びネガティブサンプルペアの類似度を決定するステップと、
ポジティブサンプルペアの類似度、ネガティブサンプルペアの類似度及び予め設定された異なる誤報率に基づいて、第１の閾値及び第２の閾値を含む閾値情報を決定するステップと、をさらに含む。

【0098】

本実施例では、第１のタイプの画像は、少なくとも顔の画像を含み、第２のタイプの画像は、少なくとも顔の画像を含み、かつ該第１のタイプの画像と該第２のタイプの画像は、異なるタイプのカメラによって取得される。例えば、ＲＧＢカメラにより複数の人のＲＧＢ画像を取得し、そしてＩＲカメラにより複数の人のＩＲ画像を取得することができ、例えばＮ人を含み、各人は、Ｍ枚のＲＧＢ画像及びＭ枚のＩＲ画像を含む。該Ｍ及びＮは、いずれも２以上の整数である。

【0099】

一例では、第１のタイプの画像及び第２のタイプの画像に基づいてポジティブサンプルペアを取得するステップは、
第１のタイプの画像をペアリングして第１のタイプの画像のポジティブサンプルペアを取得するステップと、
第２のタイプの画像をペアリングして第２のタイプの画像のポジティブサンプルペアを取得するステップと、
第１のタイプの画像と第２のタイプの画像とをペアリングして混合画像のポジティブサンプルペアを取得するステップと、を含む。

【0100】

本実施例では、例えばＮ人を含み、各人がＭ枚のＲＧＢ画像及びＭ枚のＩＲ画像を含むことを例とすると、各人が含むＭ枚のＲＧＢ画像をペアリングしてＭ^＊（Ｍ－１）／２個のＲＧＢポジティブサンプルペアを取得し、各人が含むＭ枚のＩＲ画像をペアリングしてＭ^＊（Ｍ－１）／２個のＩＲポジティブサンプルペアを取得し、各人が含むＭ枚のＲＧＢ画像とＭ枚のＩＲ画像とをペアリングしてＭ＊Ｍ個のＲＧＢ＆ＩＲポジティブサンプルペアを取得する。

【0101】

ネガティブサンプルペアの場合、各人の画像と他の異なる人の画像とをペアリングし、ネガティブサンプルペアを構成することができる。例えば、第１のユーザ及び第２のユーザを例とすると、該ネガティブサンプルペアは、第１のユーザのＩＲ画像と第２のユーザのＩＲ画像、第１のユーザのＲＧＢ画像と第２のユーザのＲＧＢ画像、及び第１のユーザのＩＲ画像と第２のユーザのＲＧＢ画像を含んでよい。

【0102】

ポジティブサンプルペア及びネガティブサンプルペアを取得した後に、図２に示されるトレーニングされたニューラルネットワーク上でテストすることができ、例えば、トレーニングされたニューラルネットワークによりポジティブサンプルペアの顔特徴及びネガティブサンプルペアの顔特徴を出力し、該ポジティブサンプルペアの顔特徴に基づいて該ポジティブサンプルペアの類似度を取得し、そして該ネガティブサンプルペアの顔特徴に基づいて該ネガティブサンプルペアの類似度を取得する。それにより異なる誤報率での通過率及び対応する閾値を取得する。具体的には、例えば、ポジティブサンプルペアの類似度及びネガティブサンプルペアの類似度を取得した場合、目標誤報率に基づいて、各サンプルペアの類似度から類似度が最も低いサンプルペアを見つけ、かつ該類似度が最も低いサンプルペアが誤報のサンプルペアに属し、これにより該類似度が最も低いサンプルペアに対応する類似度を該目標誤報率に対応する閾値とすることができる。なお、目標誤報率は、予め設定されたか又は選択された１つの誤報率であると理解することができ、本開示の実施例は、該目標誤報率の具体的な値を限定しない。

【0103】

表１に示すように、表１は、本開示の実施例に係る閾値情報である。

【0104】

【表1】

【0105】

誤報率は、電子機器により自主的に設定されてよいなど、本開示の実施例は、該誤報率の具体的な値を限定しない。

【0106】

例えば、目標誤報率が０．００００１であり、ポジティブサンプルペア及びネガティブサンプルペアが合計１００００００ペアであれば、誤報のサンプルペアは、合計１０対であることが分かる。ポジティブサンプルペア及びネガティブサンプルペアから該１０ペアの誤報のサンプルペアを見つけ、その後にその中から類似度が最も低いサンプルペアを取り出すことができ、これにより該類似度が最も低いサンプルペアの類似度は、目標誤報率に対応する閾値である。表１に対して、目標誤報率０．００００１に対応する閾値はＴ（５）である。なお、本開示の実施例は、類似度が最も低いサンプルペアをどのように選択するかの方法を限定せず、例えば、ランキング法により該類似度が最も低いサンプルペアなどを取得することができる。表１に示される各対応関係は一例に過ぎず、本開示の実施例は具体的な値を限定しない。

【0107】

本実施例では、ニューラルネットワークをトレーニングした後に、さらに大量の画像に基づいて該ニューラルネットワークをテストすることにより異なる誤報率での閾値を取得し、すなわち閾値情報を取得することができ、さらに該ニューラルネットワークを適用するとき、異なる誤報率に基づいて異なる閾値情報（例えば第１の閾値及び第２の閾値）を用いて正規化された参照類似度を決定することができる。なお、表１の具体的な適用について、図１に示される実現形態を参照することができ、例えば電子機器は、表１中の閾値情報及び電子機器により取得された第１の顔特徴と第２の顔特徴の参照類似度に基づいて、正規化された参照類似度を決定することにより、正規化された参照類似度に基づいて該第１の顔特徴と該第２の顔特徴とが同じ人に対応するか否かを決定してよい。

【0108】

なお、以上の各実施例にはそれぞれ重要視があり、１つの実施例で詳細に説明されない実現形態は、他の実施例の実現形態を対応して参照することができ、本明細書において１つずつ詳述しない。

【0109】

以上には本開示の実施例の方法を詳細に説明し、以下に、本開示の実施例の装置及び電子機器が提供され、簡潔に説明することに鑑み、技術的原理、技術的効果などの面で詳細に説明されない装置の部分は、以上の方法実施例の対応する記載を参照することができ、説明を省略する。

【0110】

図４を参照すると、図４は、本開示の実施例に係る顔認識装置の概略構成図であり、該顔認識装置は、図１に示される顔認識方法を実行することができる。図４に示すように、該顔認識装置は、
第１のカメラにより第１の顔画像を取得する第１の取得ユニット４０１と、
第１の顔画像の第１の顔特徴を抽出する第１の抽出ユニット４０２と、
第１の顔特徴を、第１のカメラと異なるタイプのカメラである第２のカメラが取得した第２の顔画像の特徴から抽出された第２の顔特徴と対比し、参照類似度を取得する対比ユニット４０３と、
参照類似度に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定する決定ユニット４０４と、を含む。

【0111】

本開示の出願人は、本開示の実施例を実施するプロセスにおいて、従来の顔認識方法において認証される画像タイプと登録される画像タイプとが同じ画像タイプであることを制限することが多く、例えば登録プロセスにおいてＲＧＢ画像を使用する場合、認証プロセスにおいてもＲＧＢ画像を使用する必要があり、このように、複数のタイプのカメラが関係するシーンでの従来の顔認識解決手段の適用が制限されることを発見した。本開示の実施例は、複数のタイプのカメラが関係するシーンに顔画像認識の解決手段を提供し、本開示の実施例の実施では、一タイプのカメラにより取得された第２の顔画像の顔画像をベースライブラリ特徴とし、別のタイプのカメラにより取得された第１の顔画像の顔特徴をベースライブラリ特徴と対比し、対比結果に基づいて顔認識を実現することにより、本開示の実施例に係る顔認識方法をより多くのシーンに適用することができ、顔認証を容易にするだけでなく、顔登録時のカメラも限定されず、顔登録の利便性を向上させる。

【0112】

一例では、第１のカメラはサーモカメラであり、第２のカメラは可視光カメラであり、或いは、第１のカメラは可視光カメラであり、第１のカメラはサーモカメラである。

【0113】

一例では、決定ユニット４０４は、具体的には、参照類似度、参照誤報率及び類似度閾値に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定し、異なる誤報率は異なる類似度閾値に対応する。

【0114】

本開示の実施例の実施では、異なる誤報率により異なる類似度閾値を取得することにより第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定することは、固定の類似度閾値を用いる方式で顔を認証する解決手段を回避することにより、２つの顔画像の間の関係を判断するための類似度を動的に決定することができ、顔認証又は顔認識の効率及び精度を向上させる。

【0115】

一例では、決定ユニット４０４は、具体的には、参照類似度及び閾値情報に基づいて、正規化された参照類似度を決定し、そして正規化された参照類似度に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定する。

【0116】

本開示の実施例では、参照類似度及び予め設定された情報に基づいて、正規化された参照類似度を決定することにより、該正規化された参照類似度に基づいて第１の顔特徴と第２の顔特徴とが同じ人に対応するか否かを決定する。固定の類似度閾値を用いる方式で顔を認証する解決手段を効果的に改善することにより、２枚の顔画像の間の関係を判断するための類似度（すなわち正規化された参照類似度）を動的に決定することができ、顔認識の効率及び精度を向上させる。

【0117】

一例では、第１の抽出ユニット４０２は、具体的には、第１の顔画像を予めトレーニングされたニューラルネットワークに入力し、ニューラルネットワークにより第１の顔画像の第１の顔特徴を出力し、ニューラルネットワークは、異なるタイプのカメラによって撮影され、かつ顔が含まれる第１のタイプの画像サンプル及び第２のタイプの画像サンプルに基づいてトレーニングすることにより取得される。

【0118】

本開示の実施例では、異なるタイプの画像サンプルによりニューラルネットワークをトレーニングすることにより、該ニューラルネットワークを適用して顔を認識するなど、顔認識の効率及び精度を効果的に向上させる。

【0119】

一例では、ニューラルネットワークは、第１のタイプの画像サンプル、第２のタイプの画像サンプル及び混合タイプの画像サンプルに基づいてトレーニングすることにより取得され、混合タイプの画像サンプルは、第１のタイプの画像サンプルと第２のタイプの画像サンプルとをペアリングすることにより取得される。

【0120】

一例では、第１のカメラは車載カメラを含み、第１の取得ユニット４０１は、具体的には、車載カメラにより第１の顔画像を取得し、第１の顔画像は、車両の車両使用者の顔画像を含む。

【0121】

本開示の実施例は、運転者監視システムに効果的に適用することにより、運転者の顔認識の効率を向上させることができる。

【0122】

一例では、車両使用者は、車両を運転する人、車両に乗る人、車両を修理する人、車両に給油する人及び車両を制御する人のうちの１つ以上を含む。

【0123】

一例では、上記車両使用者が車両を運転する人を含む場合、第１の取得ユニット４０１は、具体的には、トリガ命令を受信した場合、車載カメラにより第１の顔画像を取得し、
或いは第１の取得ユニット４０１は、具体的には、車両の走行中に、車載カメラにより第１の顔画像を取得し、
或いは第１の取得ユニット４０１は、具体的には、車両の走行速度が参照速度に達した場合、車載カメラにより第１の顔画像を取得する。

【0124】

一例では、第２の顔画像は、車両使用者が顔登録を行うための画像であり、図５に示すように、顔認識装置は、
第２のカメラにより第２の顔画像を取得する第２の取得ユニット４０５と、
第２の顔画像の第２の顔特徴を抽出する第２の抽出ユニット４０６と、
第２の顔画像の第２の顔特徴を保存する保存ユニット４０７と、をさらに含む。

【0125】

説明すべきものとして、各ユニットの実現は、さらに図１に示される方法実施例の対応する説明を対応して参照することができる。

【0126】

図６を参照すると、図６は、本開示の実施例に係るニューラルネットワークのトレーニング装置の概略構成図であり、該ニューラルネットワークのトレーニング装置は、図２に示される顔認識方法を実行することができる。図６に示すように、該ニューラルネットワークのトレーニング装置は、
異なるタイプのカメラによって撮影され、かつ顔が含まれる第１のタイプの画像サンプル及び第２のタイプの画像サンプルを取得する取得ユニット６０１と、
第１のタイプの画像サンプル及び第２のタイプの画像サンプルに基づいてニューラルネットワークをトレーニングするトレーニングユニット６０２と、を含む。

【0127】

本開示の実施例では、異なるタイプのカメラによって撮影された顔画像を用いてニューラルネットワークをトレーニングすることにより、ニューラルネットワークが顔特徴を出力する精度を効果的に向上させることができ、また顔認識を行うとき、該ニューラルネットワークを用いて顔特徴を抽出すると、顔認識の精度を効果的に向上させる。

【0128】

一例では、図７に示すように、トレーニングユニット６０２は、
第１のタイプの画像サンプルと第２のタイプの画像サンプルとをペアリングして第１のタイプの画像サンプルと第２のタイプの画像サンプルの混合タイプの画像サンプルを取得するペアリングサブユニット６０２１と、
第１のタイプの画像サンプル、第２のタイプの画像サンプル及び混合タイプの画像サンプルに基づいてニューラルネットワークをトレーニングするトレーニングサブユニット６０２２と、を含む。

【0129】

本実施例では、第１のタイプの画像サンプルと第２のタイプの画像サンプルとがペアリングされ、つまり、混合タイプの画像サンプルにおける各ペアの混合タイプの画像サンプルは、第１のタイプの画像サンプル及び第２のタイプの画像サンプルを含み、これにより２種類の異なるタイプのトレーニング用画像サンプルを形成する。第１のタイプの画像サンプル、第２のタイプの画像サンプル及び混合タイプの画像サンプルによりニューラルネットワークをトレーニングすることにより、該ニューラルネットワークは、各単一タイプの画像の特徴抽出能力を学習することができるだけでなく、この２種類の異なるタイプの画像の特徴抽出能力をよりよく共同学習することができ、ニューラルネットワークの特徴抽出の精度を向上させることにより、トレーニングされたニューラルネットワークは、本開示の実施例に係る顔認識方法に効果的に適用することができる。

【0130】

一例では、トレーニングサブユニット６０２２は、具体的には、ニューラルネットワークにより第１のタイプの画像サンプルの顔予測結果、第２のタイプの画像サンプルの顔予測結果及び混合タイプの画像サンプルの顔予測結果を取得し、そして第１のタイプの画像サンプルの顔予測結果と顔ラベリング結果との差異、第２のタイプの画像サンプルの顔予測結果と顔ラベリング結果との差異及び混合タイプの画像サンプルの顔予測結果と顔ラベリング結果との差異に基づいてニューラルネットワークをトレーニングする。

【0131】

一例では、ニューラルネットワークには、第１の分類器、第２の分類器及び混合分類器が含まれ、トレーニングサブユニット６０２２は、具体的には、第１のタイプの画像サンプルの特徴を第１の分類器に入力して第１のタイプの画像サンプルの顔予測結果を取得し、第２のタイプの画像サンプルを第２の分類器に入力して前記第２のタイプの画像サンプルの顔予測結果を取得し、そして混合タイプの画像サンプルの顔特徴を混合分類器に入力して混合タイプの画像サンプルの顔予測結果を取得する。

【0132】

一例では、図８に示すように、上記装置は、
トレーニングされたニューラルネットワーク中から第１の分類器、第２の分類器及び混合分類器を除去して、顔認識を行うためのニューラルネットワークを取得するニューラルネットワーク適用ユニットをさらに含む。

【0133】

説明すべきものとして、各ユニットの実現は、さらに図２に示される方法実施例の対応する説明を対応して参照することができる。

【0134】

図９を参照すると、図９は、本開示の実施例に係る電子機器の概略構成図である。図９に示すように、該電子機器は、バスなどを含んでよい接続線により互いに接続されるプロセッサ９０１、メモリ９０２及び入出力インタフェース９０３を含む。

【0135】

入出力インタフェース９０３は、データ及び／又は信号を入力し、データ及び／又は信号を出力することができる。

【0136】

メモリ９０２は、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、リードオンリーメモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＥＰＲＯＭ）又はコンパクトリードオンリーメモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）を含むが、これらに限定されず、該メモリ９０２は、関連命令及びデータに用いられる。

【0137】

プロセッサ９０１は、１つ以上であってよく、上記１つ以上のプロセッサは、１つ以上の中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）及び／又は１つ以上の加速ユニットなどであってよい。ＣＰＵは、シングルコアＣＰＵであってもよく、マルチコアＣＰＵであってもよい。加速ユニットは、画像処理装置（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）などを含むが、それらに限定されない。

【0138】

なお、本開示の実施例に係るプロセッサは、他のタイプのプロセッサであってよく、本開示の実施例は、該プロセッサのタイプを一意的に限定しない。本開示の実施例に係るメモリは、他のタイプのメモリなどであってもよく、本開示の実施例は、該メモリのタイプも限定しない。

【0139】

一例では、各操作の実現は、さらに図１に示される方法実施例の対応する説明を参照することができる。各操作の実現は、さらに図２に示される方法実施例の対応する説明に対応して参照することができる。或いは、各操作の実現は、さらに図４及び図５に示される実施例の対応する説明を対応して参照することができる。各操作の実現は、さらに図６～図８に示される実施例の対応する説明を対応して参照することができる。

【0140】

一実施例では、プロセッサ９０１は、ステップ１０１～ステップ１０４に示す方法を実行することができる。一例として、プロセッサは、さらに入出力インタフェースを制御して第１の顔画像などを取得することができ、本開示の実施例は、第１の顔画像をどのように取得するかについて一意的に限定しない。

【0141】

また例えば、一実施例では、プロセッサは、ステップ２０１及びステップ２０２に示す方法を実行することができる。

【0142】

また例えば、プロセッサ９０１は、第１の取得ユニット４０１、さらに第１の抽出ユニット４０２、対比ユニット４０３、及び決定ユニット４０４が実行する方法などを実行することができる。

【0143】

また例えば、プロセッサ９０１は、さらに取得ユニット６０１及びトレーニングユニット６０２が実行する方法などを実行することができる。

【0144】

これにより、図９に示される電子機器の具体的な実現形態について、前述の各実施例の説明を対応して参照することができ、本明細書において１つずつ詳述しない。

【0145】

本開示の実施例は、コンピュータ可読記憶媒体をさらに提供する。上記方法実施例における全部又は一部のフローは、コンピュータプログラムにより関連ハードウェアを命令して完了でき、該プログラムは、上記コンピュータ記憶媒体に記憶でき、該プログラムは、実行中に上記各方法実施例のフローを含でんよい。コンピュータ可読記憶媒体は、前述のいずれかの実施例の顔認識装置又はニューラルネットワークのトレーニング装置の内部記憶ユニット、例えば顔認識装置又はニューラルネットワークのトレーニング装置のハードディスク又はメモリであってよい。上記コンピュータ可読記憶媒体は、上記顔認識装置又はニューラルネットワークのトレーニング装置の外部記憶装置、例えば上記顔認識装置又はニューラルネットワークのトレーニング装置に備えられた挿着式ハードディスク、スマートメモリカード（ｓｍａｒｔ ｍｅｄｉａ ｃａｒｄ、ＳＭＣ）、セキュア・デジタル（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ、ＳＤ）カード、フラッシュメモリカード（ｆｌａｓｈ ｃａｒｄ）などであってもよい。さらに、上記コンピュータ可読記憶媒体は、上記顔認識装置又はニューラルネットワークのトレーニング装置の内部記憶ユニットを含むだけでなく、外部記憶装置を含んでよい。上記コンピュータ可読記憶媒体は、上記コンピュータプログラム及び上記顔認識装置又はニューラルネットワークのトレーニング装置に必要な他のプログラム及びデータを記憶する。上記コンピュータ可読記憶媒体は、出力されたか又は出力しようとするデータを一時的に記憶してもよい。

【0146】

１つ以上の選択可能な実施形態では、本開示の実施例は、実行されると、コンピュータに上記任意の実施例のいずれか１項に記載の方法を実行させるコンピュータ可読命令を記憶するコンピュータプログラムをさらに提供する。

【0147】

該コンピュータプログラムは、具体的には、ハードウェア、ソフトウェア又はそれらの組み合わせ方式により実現できる。１つの選択可能な例では、上記コンピュータプログラムは、具体的には、コンピュータ記憶媒体として具現化され、別の選択可能な例では、上記コンピュータプログラムは、具体的に、ソフトウェア、例えばソフトウェア開発パケット（ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｋｉｔ、ＳＤＫ）などとして具現化される。

【0148】

上記実施例では、全て又は部分的にソフトウェア、ハードウェア、ファームウェア又は他の任意の組み合わせにより実現される。ソフトウェアプログラムで実現されると、全て又は部分的にコンピュータプログラムの形態で実現されてよい。上記コンピュータプログラムは、１つ以上のコンピュータ命令を含む。コンピュータに上記コンピュータプログラム命令をロードし実行する場合、本開示の実施例に記載のフロー又は機能に基づいて全て又は部分的に生成される。上記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブル装置であってよい。上記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてよく、或いは上記コンピュータ可読記憶媒体により伝送されてよい。上記コンピュータ可読記憶媒体は、コンピュータがアクセス可能な任意の利用可能媒体又は１つ以上の利用可能媒体集積を含むサーバ、データセンタなどのデータ記憶装置であってよい。上記利用可能媒体は、磁気媒体（例えば、ソフトディスク、ハードディスク、磁気テープ）、光学媒体（例えば、ＤＶＤ（登録商標））又は半導体媒体（例えば、ソリッドステートデバイス（ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ、ＳＳＤ）などであってよい。

【0149】

本開示の実施例の方法におけるステップは、実際の需要に応じて順序調整、統合及び削除を行うことができる。

【0150】

本開示の実施例装置におけるモジュールは、実際の必要に応じて合併、分割及び削除を行うことができる。

【0151】

上記のように、上記実施例は、本開示の技術手段を説明するためのものに過ぎず、限定するものではないと説明すべきであり、前述の実施例を参照して本開示を詳細に説明したが、当業者が理解すべきこととして、依然として、前述の各実施例において記載される技術手段を修正するか、又はその技術的特徴の一部に同等置換を行うことができ、これらの修正や置換によって、対応する技術手段の本質は、本開示の実施例に係る技術手段の範囲から逸脱することはない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】