知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-06-26
(45)【発行日】2024-07-04
(54)【発明の名称】シャムニューラルネットワークに基づく顔認識方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240627BHJP
G06V 10/82 20220101ALI20240627BHJP
【ＦＩ】
G06T7/00 660A
G06T7/00 350C
G06V10/82
【請求項の数】
1
(21)【出願番号】P 2023206524
(22)【出願日】2023-12-06
【審査請求日】2023-12-08
(31)【優先権主張番号】202311112644.5
(32)【優先日】2023-08-31
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】523260303
【氏名又は名称】雲南電網有限責任公司徳宏供電局
(74)【代理人】
【識別番号】100216471
【弁理士】
【氏名又は名称】瀬戸 麻希
(72)【発明者】
【氏名】秦君
(72)【発明者】
【氏名】商経鋭
(72)【発明者】
【氏名】高正剛
(72)【発明者】
【氏名】楊天国
(72)【発明者】
【氏名】李暁敏
(72)【発明者】
【氏名】呉慶升
(72)【発明者】
【氏名】奪実祥偉
(72)【発明者】
【氏名】▲ぱん▼丁黎
(72)【発明者】
【氏名】楊舒舒
(72)【発明者】
【氏名】李宏梅
【審査官】藤原 敬利
(56)【参考文献】
【文献】特表２０２１－５２６２５３（ＪＰ，Ａ）
【文献】特開２０２１－００２１１６（ＪＰ，Ａ）
【文献】特開２０２１－００２１０５（ＪＰ，Ａ）
【文献】Steven et al.，Siamese Network's Performance for Face Recognition，2020 IEEE International Conference on Sustainable Engineering and Creative Computing(ICSECC)，米国，IEEE，2020年12月17日，https://ieeexplore.ieee.org/document/9557529
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｔ １／００－ ７／９０
Ｇ０６Ｖ １０／００－２０／９０
Ｇ０６Ｖ ４０／００－４０／７０
(57)【特許請求の範囲】
【請求項1】
シャムニューラルネットワークに基づく顔認識方法であって、前記シャムニューラルネットワークは完全に同一の第１ニューラルネットワークと第２ニューラルネットワークを含
み、前記顔認識方法は、
第１画像を前記第１ニューラルネットワークに入力し、第２画像を前記第２ニューラルネ
ットワークに入力すること、ここで、前記第１画像および前記第２画像はそれぞれ同一対
象を撮影したものであり、
第１画像および第２画像はそれぞれ異なる写真機によって異なる角度で同一対象を撮影し
たものであり、
前記第１画像に関する前記第１ニューラルネットワークの第１出力結果および前記第２画
像に関する前記第２ニューラルネットワークの第２出力結果を取得すること、
前記第１出力結果および前記第２出力結果を計算して比較し、比較結果に基づいて前記第
１画像および前記第２画像の目標対象を決定すること、を含み、
前記比較結果は類似性得点であり、前記類似性得点を取得する方法は、
前記第１ニューラルネットワークによって前記第１画像の第１特徴を抽出して処理するこ
と、
前記第２ニューラルネットワークによって前記第２画像の第２特徴を抽出して処理するこ
と、
前記第１特徴と前記第２特徴間の相違を計算し、類似性得点を取得し、結果を出力するこ
と、を含み、
前記第１ニューラルネットワークおよび前記第２ニューラルネットワークは両方とも畳み
込み層およびプーリング層を含み、
前記畳み込み層は前記第１画像または前記第２画像から近隣空間特徴を抽出するために使
用され、前記プーリング層は前記近隣空間特徴を次元削減処理するために使用され、
前記第１画像または前記第２画像を入力する前に、コントラスト損失関数を用いて前記第
１ニューラルネットワークおよび前記第２ニューラルネットワークを最適化し、
前記コントラスト損失関数は距離の損失に基づいて画像の類似度を推定し、ここで、画像
中の２つの類似する点が小さいユークリッド距離を有し、２つの異なる点が大きいユーク
リッド距離を有し、
前記コントラスト損失関数は以下を含み、
ここで、ｘ値は１または０であり、モデルは入力が類似していると予測する場合、ｘの値
は０であり、そうでないとｘは１であり、
ｍａｘ（）は０とｍ-Ｄｗ間の大きい値を表す関数であり、Ｄｗはシャムニューラルネッ
トワークの出力間のユークリッド距離として定義され、
前記第１画像または前記第２画像を入力する前に、三重損失関数を用いて前記第１ニュー
ラルネットワークおよび前記第２ニューラルネットワークを最適化することは、
前記第１ニューラルネットワークおよび前記第２ニューラルネットワークにそれぞれ訓練
画像を入力して三重損失を訓練することを含み、
前記訓練画像は正画像、目標画像および負画像を含み、ここで、前記正画像は前記目標画
像との類似度が高く、前記負画像は前記目標画像との類似度が低く、
前記三重損失関数は以下を含み、
ことを特徴とするシャムニューラルネットワークに基づく顔認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、電力網管理の技術分野に関し、特にシャムニューラルネットワークに基づく顔
認識方法に関する。
認識方法に関する。
【背景技術】
【0002】
電力産業の急速な発展とインテリジェントアプリケーションの普及に伴い、電力網のセキ
ュリティと管理が重要な課題となっている。非接触生体認証技術である顔認証技術は、電
力網システムのセキュリティ監視・管理に広く利用されている。
しかし、現在のところ、顔認証方式は精度が低く、パワーグリッド環境における光の変化
やオクルージョンなどの問題により、需要を満たすことができない。
ュリティと管理が重要な課題となっている。非接触生体認証技術である顔認証技術は、電
力網システムのセキュリティ監視・管理に広く利用されている。
しかし、現在のところ、顔認証方式は精度が低く、パワーグリッド環境における光の変化
やオクルージョンなどの問題により、需要を満たすことができない。
【発明の概要】
【0003】
本出願の実施例は、先行技術における顔認証方式は精度が低く、パワーグリッド環境にお
ける光の変化やオクルージョンなどの問題により、需要を満たすことができないという問
題を解決する、シャムニューラルネットワークに基づく顔認識方法を提供する。
本出願の実施例は、シャムニューラルネットワークに基づく顔認識方法を提供し、シャム
ニューラルネットワークは完全に同一の第１ニューラルネットワークと第２ニューラルネ
ットワークを含み、顔認識方法は、
第１画像を第１ニューラルネットワークに入力し、第２画像を第２ニューラルネットワー
クに入力すること、ここで、第１画像和第２画像はそれぞれ同一対象を撮影したものであ
り、
第１画像に関する第１ニューラルネットワークの第１出力結果および第２画像に関する第
２ニューラルネットワークの第２出力結果を取得すること、
第１出力結果と第２出力結果を計算して比較し、比較結果に基づいて第１画像と第２画像
の目標対象を決定すること、を含む。
実現可能な実施態様では、比較結果は類似性得点であり、類似性得点を取得する方法は、
第１ニューラルネットワークによって第１画像の第１特徴を抽出して処理すること、
第２ニューラルネットワークによって第２画像の第２特徴を抽出して処理すること、
第１特徴と第２特徴間の相違を計算し、類似性得点を取得し、結果を出力すること、を含
む。
実現可能な実施態様では、第１ニューラルネットワークと第２ニューラルネットワークは
両方とも畳み込み層およびプーリング層を含み、
畳み込み層は第１画像または第２画像から近隣空間特徴を抽出するために使用され、プー
リング層は近隣空間特徴を次元削減処理するために使用される。
実現可能な実施態様では、コントラスト損失関数を用いて第１ニューラルネットワークと
第２ニューラルネットワークを最適化し、
コントラスト損失関数は距離の損失に基づいて画像の類似度を推定し、ここで、画像中の
２つの類似する点が小さいユークリッド距離を有し、２つの異なる点が大きいユークリッ
ド距離を有する。
実現可能な実施態様では、コントラスト損失関数は以下を含み、
式（１）
ここで、ｘ値は１または０であり、モデルは入力が類似していると予測する場合、ｘの値
は０であり、そうでないとＹは１であり、
ｍａｘ（）は０とｍ-Ｄｗ間の大きい値を表す関数であり、Ｄｗはシャムニューラルネッ
トワークの出力間のユークリッド距離として定義され、
はユークリッド距離に基づいて計算され、具体的に式（２）に従って計算される。
式（２）
は類似性の出力値を示し、ｙ１およびｙ２は入力データペアを示す。
実現可能な実施態様では、三重損失関数を用いて第１ニューラルネットワークと第２ニュ
ーラルネットワークを最適化することは、
第１ニューラルネットワークおよび第２ニューラルネットワークにそれぞれ訓練画像を入
力して三重損失を訓練することを含み、
訓練画像は正画像、目標画像および負画像を含み、ここで、正画像は目標画像との類似度
が高く、負画像は目標画像との類似度が低い。
実現可能な実施態様では、三重損失関数は以下を含み、
ここで、
は損失関数の計算結果を示し、
、
、
はそれぞれ目標点の正負特徴埋め込みを示し、
は伸び率を示す。
本出願の実施例はシャムニューラルネットワークに基づく顔認識方法を提供し、シャムニ
ューラルネットワークに基づく顔認識方法では、シャムニューラルネットワークは完全に
同一の第１ニューラルネットワークと第２ニューラルネットワークを含み、顔認識方法は
、第１画像を第１ニューラルネットワークに入力し、第２画像を第２ニューラルネットワ
ークに入力すること、ここで、第１画像和第２画像はそれぞれ同一対象を撮影したもので
あり、第１画像に関する第１ニューラルネットワークの第１出力結果および第２画像に関
する第２ニューラルネットワークの第２出力結果を取得すること、第１出力結果と第２出
力結果を計算して比較し、比較結果に基づいて第１画像と第２画像の目標対象を決定する
こと、を含む。第１ニューラルネットワークおよび第２ニューラルネットワークを通じて
、同一対象の２つの画像を計算して比較し、２つの画像間の類似性および相違性を計算し
、判定結果に基づいて目標を認識し、顔認識の精度を向上させることができる。
ける光の変化やオクルージョンなどの問題により、需要を満たすことができないという問
題を解決する、シャムニューラルネットワークに基づく顔認識方法を提供する。
本出願の実施例は、シャムニューラルネットワークに基づく顔認識方法を提供し、シャム
ニューラルネットワークは完全に同一の第１ニューラルネットワークと第２ニューラルネ
ットワークを含み、顔認識方法は、
第１画像を第１ニューラルネットワークに入力し、第２画像を第２ニューラルネットワー
クに入力すること、ここで、第１画像和第２画像はそれぞれ同一対象を撮影したものであ
り、
第１画像に関する第１ニューラルネットワークの第１出力結果および第２画像に関する第
２ニューラルネットワークの第２出力結果を取得すること、
第１出力結果と第２出力結果を計算して比較し、比較結果に基づいて第１画像と第２画像
の目標対象を決定すること、を含む。
実現可能な実施態様では、比較結果は類似性得点であり、類似性得点を取得する方法は、
第１ニューラルネットワークによって第１画像の第１特徴を抽出して処理すること、
第２ニューラルネットワークによって第２画像の第２特徴を抽出して処理すること、
第１特徴と第２特徴間の相違を計算し、類似性得点を取得し、結果を出力すること、を含
む。
実現可能な実施態様では、第１ニューラルネットワークと第２ニューラルネットワークは
両方とも畳み込み層およびプーリング層を含み、
畳み込み層は第１画像または第２画像から近隣空間特徴を抽出するために使用され、プー
リング層は近隣空間特徴を次元削減処理するために使用される。
実現可能な実施態様では、コントラスト損失関数を用いて第１ニューラルネットワークと
第２ニューラルネットワークを最適化し、
コントラスト損失関数は距離の損失に基づいて画像の類似度を推定し、ここで、画像中の
２つの類似する点が小さいユークリッド距離を有し、２つの異なる点が大きいユークリッ
ド距離を有する。
実現可能な実施態様では、コントラスト損失関数は以下を含み、
ここで、ｘ値は１または０であり、モデルは入力が類似していると予測する場合、ｘの値
は０であり、そうでないとＹは１であり、
ｍａｘ（）は０とｍ-Ｄｗ間の大きい値を表す関数であり、Ｄｗはシャムニューラルネッ
トワークの出力間のユークリッド距離として定義され、
実現可能な実施態様では、三重損失関数を用いて第１ニューラルネットワークと第２ニュ
ーラルネットワークを最適化することは、
第１ニューラルネットワークおよび第２ニューラルネットワークにそれぞれ訓練画像を入
力して三重損失を訓練することを含み、
訓練画像は正画像、目標画像および負画像を含み、ここで、正画像は目標画像との類似度
が高く、負画像は目標画像との類似度が低い。
実現可能な実施態様では、三重損失関数は以下を含み、
本出願の実施例はシャムニューラルネットワークに基づく顔認識方法を提供し、シャムニ
ューラルネットワークに基づく顔認識方法では、シャムニューラルネットワークは完全に
同一の第１ニューラルネットワークと第２ニューラルネットワークを含み、顔認識方法は
、第１画像を第１ニューラルネットワークに入力し、第２画像を第２ニューラルネットワ
ークに入力すること、ここで、第１画像和第２画像はそれぞれ同一対象を撮影したもので
あり、第１画像に関する第１ニューラルネットワークの第１出力結果および第２画像に関
する第２ニューラルネットワークの第２出力結果を取得すること、第１出力結果と第２出
力結果を計算して比較し、比較結果に基づいて第１画像と第２画像の目標対象を決定する
こと、を含む。第１ニューラルネットワークおよび第２ニューラルネットワークを通じて
、同一対象の２つの画像を計算して比較し、２つの画像間の類似性および相違性を計算し
、判定結果に基づいて目標を認識し、顔認識の精度を向上させることができる。
【図面の簡単な説明】
【0004】
ここで説明される添付図面は、本発明のさらなる理解を提供するために使用され、本発明
の一部を構成し、本発明の概略的実施例およびその説明は本出願を解釈するために使用さ
れ、本発明の不当な限定を構成するものではない。
の一部を構成し、本発明の概略的実施例およびその説明は本出願を解釈するために使用さ
れ、本発明の不当な限定を構成するものではない。
【図1】本出願の一実施例が提供するシャムニューラルネットワークに基づく顔認識方法の概略図である。
【図2】本出願の一実施例が提供するシャムニューラルネットワークの構造概略図である。
【図3】本出願の一実施例が提供するシャムニューラルネットワーク畳み込みカーネル剪定の概略図である。
【発明を実施するための形態】
【0005】
当業者が本出願の技術的解決策をより良く理解できるようにするために、以下、本出願の
実施例における添付図面と併せて、本出願の実施例の技術的解決策を明確かつ完全に説明
するが、明らかに、説明される実施例は本出願の一部の実施例に過ぎず、すべての実施例
ではない。本出願の実施例に基づいて、当業者は創造的な労働をすることなく得られた他
の実施例は、すべて本出願の保護範囲に含まれる。
電力産業の急速な発展とインテリジェントアプリケーションの普及に伴い、電力網のセキ
ュリティと管理が重要な課題となっている。非接触生体認証技術である顔認証技術は、電
力網システムのセキュリティ監視・管理に広く利用されている。
しかし、現在のところ、顔認証方式は精度が低く、パワーグリッド環境における光の変化
やオクルージョンなどの問題により、需要を満たすことができない。
上記問題を解決するために、本出願の実施例は、シャムニューラルネットワークに基づく
顔認識方法を提供し、以下、明細書の添付図面と併せて本出願の実施例が提供する解決策
を詳細に説明する。
実施例における添付図面と併せて、本出願の実施例の技術的解決策を明確かつ完全に説明
するが、明らかに、説明される実施例は本出願の一部の実施例に過ぎず、すべての実施例
ではない。本出願の実施例に基づいて、当業者は創造的な労働をすることなく得られた他
の実施例は、すべて本出願の保護範囲に含まれる。
電力産業の急速な発展とインテリジェントアプリケーションの普及に伴い、電力網のセキ
ュリティと管理が重要な課題となっている。非接触生体認証技術である顔認証技術は、電
力網システムのセキュリティ監視・管理に広く利用されている。
しかし、現在のところ、顔認証方式は精度が低く、パワーグリッド環境における光の変化
やオクルージョンなどの問題により、需要を満たすことができない。
上記問題を解決するために、本出願の実施例は、シャムニューラルネットワークに基づく
顔認識方法を提供し、以下、明細書の添付図面と併せて本出願の実施例が提供する解決策
を詳細に説明する。
【0006】
図１は、本出願の一実施例が提供するシャムニューラルネットワークに基づく顔認識方法
の概略図である。
図１に示すように、本出願の実施例は、シャムニューラルネットワークに基づく顔認識方
法を提供し、シャムニューラルネットワークは第１ニューラルネットワークおよび第２ニ
ューラルネットワークを含み、顔認識方法は、
Ｓ１００：第１画像を第１ニューラルネットワークに入力する。
いくつかの例では、写真機またはカメラ収集された第１画像を認識した後、該第１画像を
第１ニューラルネットワークに送信し、該第１画像は認識写真機によって撮影された収集
対象の写真であってもよい。
Ｓ２００：第２画像を第２ニューラルネットワークに入力する。
Ｓ１００に対応して、第２ニューラルネットワークは第２画像を受信する。例示的に、認
識写真機またはカメラによって第２画像を収集した後、該第２画像を第２ニューラルネッ
トワークに送信し、該第２画像は認識写真機によって撮影された収集対象の写真であって
もよい。
さらに、ここで、第１画像および第２画像はそれぞれ異なる写真機によって異なる角度で
同一対象を撮影したものである。
Ｓ３００：第１ニューラルネットワークおよび第２ニューラルネットワークはそれぞれ第
１画像および第２画像を計算して比較する。
第１ニューラルネットワークはデータベース中のデータおよび計算モデルに基づいて第１
画像を計算して比較し、第２ニューラルネットワークはデータベース中のデータおよび計
算モデルに基づいて第２画像を計算して比較し、第１画像および第２画像の目標対象を決
定し、該目標画像の身元を認識する。
例示的に、比較結果は類似性得点であり、類似性得点を取得する方法は、第１ニューラル
ネットワークによって第１画像の第１特徴を抽出して処理すること、第２ニューラルネッ
トワークによって第２画像の第２特徴を抽出して処理すること、第１特徴と第２特徴間の
相違を計算し、類似性得点を取得し、結果を出力することを含む。
例示的に、シャムニューラルネットワークに基づく電力網顔認識方法は、写真機によって
収集された同一の２枚画像、すなわち異なる角度で撮影された２枚の写真を比較してそれ
らの間の類似度を見つけることで実現される。該シャムニューラルネットワークは２つの
同一ニューラルネットワークから構成され、それぞれ入力画像の２つのコピーを受信し、
重みを共有して訓練することができる。なお、該シャムニューラルネットワークは画像間
の類似性と相違性を学習し、顔認識タスクにおいて高い精度を得ることができる。電力網
の顔認識の精度および信頼性を向上させることができる。
言い換えれば、本出願の実施例は、シャムニューラルネットワークに基づく顔認識方法を
提供し、前記シャムニューラルネットワークは完全に同一の第１ニューラルネットワーク
と第２ニューラルネットワークを含み、前記顔認識方法は、第１画像を前記第１ニューラ
ルネットワークに入力し、第２画像を前記第２ニューラルネットワークに入力すること、
ここで、前記第１画像および前記第２画像はそれぞれ同一対象を撮影したものであり、前
記第１画像に関する前記第１ニューラルネットワークの第１出力結果および前記第２画像
に関する前記第２ニューラルネットワークの第２出力結果を取得すること、前記第１出力
結果および前記第２出力結果を計算して比較し、比較結果に基づいて前記第１画像および
前記第２画像の目標対象を決定すること、を含む。第１ニューラルネットワークおよび第
２ニューラルネットワークを通じて、同一対象の２つの画像を計算して比較し、２つの画
像間の類似性および相違性を計算し、判定結果に基づいて目標を認識し、顔認識の精度を
向上させることができる。
の概略図である。
図１に示すように、本出願の実施例は、シャムニューラルネットワークに基づく顔認識方
法を提供し、シャムニューラルネットワークは第１ニューラルネットワークおよび第２ニ
ューラルネットワークを含み、顔認識方法は、
Ｓ１００：第１画像を第１ニューラルネットワークに入力する。
いくつかの例では、写真機またはカメラ収集された第１画像を認識した後、該第１画像を
第１ニューラルネットワークに送信し、該第１画像は認識写真機によって撮影された収集
対象の写真であってもよい。
Ｓ２００：第２画像を第２ニューラルネットワークに入力する。
Ｓ１００に対応して、第２ニューラルネットワークは第２画像を受信する。例示的に、認
識写真機またはカメラによって第２画像を収集した後、該第２画像を第２ニューラルネッ
トワークに送信し、該第２画像は認識写真機によって撮影された収集対象の写真であって
もよい。
さらに、ここで、第１画像および第２画像はそれぞれ異なる写真機によって異なる角度で
同一対象を撮影したものである。
Ｓ３００：第１ニューラルネットワークおよび第２ニューラルネットワークはそれぞれ第
１画像および第２画像を計算して比較する。
第１ニューラルネットワークはデータベース中のデータおよび計算モデルに基づいて第１
画像を計算して比較し、第２ニューラルネットワークはデータベース中のデータおよび計
算モデルに基づいて第２画像を計算して比較し、第１画像および第２画像の目標対象を決
定し、該目標画像の身元を認識する。
例示的に、比較結果は類似性得点であり、類似性得点を取得する方法は、第１ニューラル
ネットワークによって第１画像の第１特徴を抽出して処理すること、第２ニューラルネッ
トワークによって第２画像の第２特徴を抽出して処理すること、第１特徴と第２特徴間の
相違を計算し、類似性得点を取得し、結果を出力することを含む。
例示的に、シャムニューラルネットワークに基づく電力網顔認識方法は、写真機によって
収集された同一の２枚画像、すなわち異なる角度で撮影された２枚の写真を比較してそれ
らの間の類似度を見つけることで実現される。該シャムニューラルネットワークは２つの
同一ニューラルネットワークから構成され、それぞれ入力画像の２つのコピーを受信し、
重みを共有して訓練することができる。なお、該シャムニューラルネットワークは画像間
の類似性と相違性を学習し、顔認識タスクにおいて高い精度を得ることができる。電力網
の顔認識の精度および信頼性を向上させることができる。
言い換えれば、本出願の実施例は、シャムニューラルネットワークに基づく顔認識方法を
提供し、前記シャムニューラルネットワークは完全に同一の第１ニューラルネットワーク
と第２ニューラルネットワークを含み、前記顔認識方法は、第１画像を前記第１ニューラ
ルネットワークに入力し、第２画像を前記第２ニューラルネットワークに入力すること、
ここで、前記第１画像および前記第２画像はそれぞれ同一対象を撮影したものであり、前
記第１画像に関する前記第１ニューラルネットワークの第１出力結果および前記第２画像
に関する前記第２ニューラルネットワークの第２出力結果を取得すること、前記第１出力
結果および前記第２出力結果を計算して比較し、比較結果に基づいて前記第１画像および
前記第２画像の目標対象を決定すること、を含む。第１ニューラルネットワークおよび第
２ニューラルネットワークを通じて、同一対象の２つの画像を計算して比較し、２つの画
像間の類似性および相違性を計算し、判定結果に基づいて目標を認識し、顔認識の精度を
向上させることができる。
【0007】
いくつかの例では、第１ニューラルネットワークおよび第２ニューラルネットワークは両
方とも畳み込み層およびプーリング層を含み、畳み込み層は第１画像および第２画像から
それぞれ近隣空間特徴を抽出するために使用され、プーリング層は近隣空間特徴を次元削
減処理するために使用される。
第１ニューラルネットワークおよび第２ニューラルネットワークの画像入力は、同一カテ
ゴリまたは他のカテゴリの２枚の写真とすることができ、シャムニューラルネットワーク
は異なるカテゴリの画像間の類似性得点を計算し、顔認識タスクにおいて、各顔は異なる
カテゴリ。
２枚の写真が同一カテゴリのものであれば（つまり同一）、出力は１となり、そうでない
と、ゼロとなる（つまり同一でない）。
さらに、各ニューラルネットワークの最大プーリングは特徴マッピングブロック最大値を
定義し、ダウンサンプリング（プーリング）の特徴マッピングを生成し、併進不変性をわ
ずかに導入し、すなわち、ほとんどのプールされた出力値は画像の小さな変化に大きく影
響されない。
上層に密接に接続されているのは完全接続層であり、該層のニューロンはすべて上層のニ
ューロンと相互に接続されており、ニューラルネットワークの最も一般的に使用される層
で、特徴伝播と特徴マッピングの役割を果たす。該シャムニューラルネットワークは、正
サンプル、負サンプル、目標サンプルの３つのカテゴリを区別するだけでよいため、各画
像ごとにラベル付けが必要な従来のデータセットと異なり、シャムニューラルネットワー
クアーキテクチャ用の訓練データを作成することが非常に簡単である。
高精度のモデルを作成するために、まずデータセットを収集する必要がある。該データセ
ットは社内で収集された全従業員が様々な角度から撮影した画像で構成されている。その
後、Ａｒｒａｙ（）方法を用いてデータをＮｕｍＰｙ配列に変換し、画像の値を整数から
浮動小数点数に変換した後２５５で割られた。各値の範囲を０～１にする。上記データを
データセットに導入し、変換方法を用いて画像の大きさを高さと幅の１００ピクセルに圧
縮する。
０と１のみ使用されるため、効果的に勾配降下が行われ、より性能の高いモデルが得られ
る。ＴｅｎｓｏｒＦｌｏｗのデータセットジェネレータでは、我々のアンカー画像、正サ
ンプルおよび負サンプルを使用することができる。
いくつかの例では、該シャムニューラルネットワークシステムの顔認識精度を向上させる
ために、コントラスト損失関数は第１ニューラルネットワークおよび第２ニューラルネッ
トワークを最適化する。
ここで、コントラスト損失関数は距離の損失に基づいて画像の類似度を推定し、ここで、
画像中の２つの類似する点が小さいユークリッド距離を有し、２つの異なる点が大きいユ
ークリッド距離を有する。具体的に、コントラスト損失関数は埋め込みを学習するために
使用され、ネットワークの出力ベクトル情報を抽出して類似性を推定し、２つの類似点が
小さいユークリッド距離を有し、２つの異なる点が大きいユークリッド距離を有する。正
サンプルが同じ形で符号化され、負サンプルが異なる形で符号化されれば、損失が減少す
る。コントラスト損失関数は式（１）に示される。
式（１）
ここで、ｘ値は１または０である。モデルは入力が類似していると予測する場合、ｘの値
は０であり、そうでないとＹは１である。ｍａｘ（）は０とｍ-Ｄｗ間の大きい値を表す
関数であり、Ｄｗはシャムニューラルネットワークの出力間のユークリッド距離として定
義され、
はユークリッド距離に基づいて計算され、具体的に式（２）に従って計算される。
式（２）
は類似性の出力値を示し、ｙ１およびｙ２は入力データペアを示す。
別の例では、三重損失関数を用いて第１ニューラルネットワークおよび第２ニューラルネ
ットワークを最適化することは、
第１ニューラルネットワークおよび第２ニューラルネットワークにそれぞれ訓練画像を入
力して三重損失を訓練することを含み、
訓練画像は正画像、目標画像および負画像を含み、ここで、正画像は目標画像との類似度
が高く、負画像は目標画像との類似度が低い。
例示的に、三重損失関数は以下を含み、
ここで、
は損失関数の計算結果を示し、
、
、
はそれぞれ目標点の正負特徴埋め込みを示し、
は伸び率を示す。
方とも畳み込み層およびプーリング層を含み、畳み込み層は第１画像および第２画像から
それぞれ近隣空間特徴を抽出するために使用され、プーリング層は近隣空間特徴を次元削
減処理するために使用される。
第１ニューラルネットワークおよび第２ニューラルネットワークの画像入力は、同一カテ
ゴリまたは他のカテゴリの２枚の写真とすることができ、シャムニューラルネットワーク
は異なるカテゴリの画像間の類似性得点を計算し、顔認識タスクにおいて、各顔は異なる
カテゴリ。
２枚の写真が同一カテゴリのものであれば（つまり同一）、出力は１となり、そうでない
と、ゼロとなる（つまり同一でない）。
さらに、各ニューラルネットワークの最大プーリングは特徴マッピングブロック最大値を
定義し、ダウンサンプリング（プーリング）の特徴マッピングを生成し、併進不変性をわ
ずかに導入し、すなわち、ほとんどのプールされた出力値は画像の小さな変化に大きく影
響されない。
上層に密接に接続されているのは完全接続層であり、該層のニューロンはすべて上層のニ
ューロンと相互に接続されており、ニューラルネットワークの最も一般的に使用される層
で、特徴伝播と特徴マッピングの役割を果たす。該シャムニューラルネットワークは、正
サンプル、負サンプル、目標サンプルの３つのカテゴリを区別するだけでよいため、各画
像ごとにラベル付けが必要な従来のデータセットと異なり、シャムニューラルネットワー
クアーキテクチャ用の訓練データを作成することが非常に簡単である。
高精度のモデルを作成するために、まずデータセットを収集する必要がある。該データセ
ットは社内で収集された全従業員が様々な角度から撮影した画像で構成されている。その
後、Ａｒｒａｙ（）方法を用いてデータをＮｕｍＰｙ配列に変換し、画像の値を整数から
浮動小数点数に変換した後２５５で割られた。各値の範囲を０～１にする。上記データを
データセットに導入し、変換方法を用いて画像の大きさを高さと幅の１００ピクセルに圧
縮する。
０と１のみ使用されるため、効果的に勾配降下が行われ、より性能の高いモデルが得られ
る。ＴｅｎｓｏｒＦｌｏｗのデータセットジェネレータでは、我々のアンカー画像、正サ
ンプルおよび負サンプルを使用することができる。
いくつかの例では、該シャムニューラルネットワークシステムの顔認識精度を向上させる
ために、コントラスト損失関数は第１ニューラルネットワークおよび第２ニューラルネッ
トワークを最適化する。
ここで、コントラスト損失関数は距離の損失に基づいて画像の類似度を推定し、ここで、
画像中の２つの類似する点が小さいユークリッド距離を有し、２つの異なる点が大きいユ
ークリッド距離を有する。具体的に、コントラスト損失関数は埋め込みを学習するために
使用され、ネットワークの出力ベクトル情報を抽出して類似性を推定し、２つの類似点が
小さいユークリッド距離を有し、２つの異なる点が大きいユークリッド距離を有する。正
サンプルが同じ形で符号化され、負サンプルが異なる形で符号化されれば、損失が減少す
る。コントラスト損失関数は式（１）に示される。
ここで、ｘ値は１または０である。モデルは入力が類似していると予測する場合、ｘの値
は０であり、そうでないとＹは１である。ｍａｘ（）は０とｍ-Ｄｗ間の大きい値を表す
関数であり、Ｄｗはシャムニューラルネットワークの出力間のユークリッド距離として定
義され、
別の例では、三重損失関数を用いて第１ニューラルネットワークおよび第２ニューラルネ
ットワークを最適化することは、
第１ニューラルネットワークおよび第２ニューラルネットワークにそれぞれ訓練画像を入
力して三重損失を訓練することを含み、
訓練画像は正画像、目標画像および負画像を含み、ここで、正画像は目標画像との類似度
が高く、負画像は目標画像との類似度が低い。
例示的に、三重損失関数は以下を含み、
【0008】
例示的に、第１ニューラルネットワークおよび第２ニューラルネットワークの訓練ステッ
プは以下のとおりであり、
まずシャムニューラルネットワークについて、損失関数およびアダム関数最適化器でをネ
ットワークを初期化させる。次に、第１画像および第２画像をそれぞれ第１ニューラルネ
ットワークおよび第２ニューラルネットワークに入力する。第１画像および第２画像を使
用して損失計算を行う。最後に、モデルの勾配を決定し、最適化器を使用して重みを更新
する。
さらに、２値クロスエントロピー損失は、埋め込み学習に使用され、２つの類似する点が
小さいユークリッド距離を有し、２つの異なる点がかなり大きいユークリッド距離を有す
る。最後に、最適化器は重みパラメータを調整し、損失関数を最小化する。
例示的に、Ａｄａｍはよく知られた勾配降下最適化方法である。計算効率が高く、メモリ
使用量も少ない。
最後に、認識と分類の性能パラメータの精度と想起値を評価することができる。この方法
は、例えば各命令の精度が異なるため、オーバーフィットの検出にも役たち、例えば関数
がオーバーフィットしている場合、モデルがオーバーフィットする。
図２は本出願の一実施例が提供するシャムニューラルネットワークの構造概略図である。
図２に示すように、例えば、２枚の顔画像を顔認識ネットワークの入力とし、シャムニュ
ーラルネットワークの２つの関連サブネットワーク（第１ニューラルネットワークおよび
第２ニューラルネットワーク）によって順伝播および逆伝播演算処理が行われる。２つの
ニューラルネットワークの設計、パラメータおよび重みが同じであるため、これらのサブ
ネットワークはコードを生成し、２つの入力画像間の距離を計算する。なお、該シャムニ
ューラルネットワークは他の畳み込みニューラルネットワークの入力と同様に、画像を入
力とし、ニューラルネットワークによって抽出された隠れた特徴を数値に変換する。しか
し、該シャムニューラルネットワークは他の畳み込みニューラルネットワークの出力と異
なり、古典的なＣＮＮでは、各画像を正しく分類するために、訓練中パラメータを微調整
する必要がある。
また、該シャムニューラルネットワークは２つの入力画像特徴間の距離と類似度を計算す
るとき、画像を出力カテゴリに直接割り当てることなく、類似性関数を用いて入力を比較
する。
また、いくつかの例では、該シャムニューラルネットワークにおいて畳み込みカーネル剪
定を使用し、畳み込みカーネル剪定は一般に特定の方法によって一定間隔で畳み込みカー
ネル内の部分重みを剪定し、すなわち剪定が必要な畳み込みカーネルは一定の操作によっ
て部分重みを剪定することを指す。構造化剪定は、ハードウェアレベルでもソフトウェア
レベルでも非常に扱いやすい。
なお、畳み込みカーネル剪定は、計算量とメモリ占用量を削減できるだけでなく、ネット
ワークの汎化能力を向上させることができる。さらに、埋め込みシステムやモバイル機器
上でのニューラルネットワークの動作速度を加速させ、それによってネットワークの実用
性と性能パフォーマンスをさらに向上させることができる。
図３は、本出願の一実施例が提供するシャムニューラルネットワークの畳み込みカーネル
剪定の概略図である。
図３に示すように、下の括弧はある層の入力特徴マップの行列とある畳み込みカーネル行
列であり、従来の畳み込み演算方式に従って、演算のために入力行列と畳み込みカーネル
行列を分割し、最後に各部の畳み込み演算結果を合わせて、上の括弧内に示すように、畳
み込みカーネル分割後、一定のステップサイズとずれを設定して畳み込みカーネルの構造
化剪定を実行し、図ではステップサイズを２、ずれを０または１に設定した後、畳み込み
カーネル内の赤い数字は剪定後の保持重み、黒い数字は剪定された重みであり、剪定後の
畳み込みカーネル行列全体は元の１２×２から６×２に縮小され、
ここで、保持後の畳み込みカーネル重みは図の赤い重みであり、入力特徴マップで実際に
使用される重みも元の４×１２から４×６に縮小され、すなわち、畳み込みカーネル剪定
後の保持重みに対応する重みのみを使用し、図の青い数字行列は剪定後の出力特徴マップ
行列であり、対応の黒い数字行列は剪定前の出力特徴マップ行列である。
表１．シャムニューラルネットワークに基づく顔認識方法とアドバンスド方法の認識結果
である。
表１に示すように、シャムニューラルネットワークに基づく顔認識方法の精度を評価し、
本出願の実施例は認識結果とアドバンスド方法を比較する。ｄｅｎｓｅとｓｉｇｍｏｉｄ
を活性化関数として訓練した後、他の分類器および他の活性化関数訓練結果と比較して非
常に優れ、精度が９６％に達した。現在、顔認識技術の各方法と結果は通常良好であり、
９０％～９６％の精度を有し、「屋外顔タグ」データセットのシャムニューラルネットワ
ークは最も良好な認識結果を生成する。
表１．シャムニューラルネットワークに基づく顔認識方法とアドバンスド方法の認識結果
表２．既存方法の本出願の実施例のデータセットに適用した試験結果の統計である。
本出願は既存方法の本出願の実施例のデータセットに適用した試験結果を統計し、具体的
な結果は表２に示される。結果から分かるように、Ｒｅｓｎｅｔ方法の認識率は８１．２
１％であった。ＴｒｉｐｌｅＮｅｔ方法の認識率は８４．３２％であり、ＦａｃｅＮｅｔ
方法の認識率は８５．５２％であった。ＳＮ-ＬＦ方法の認識率は９０．３１％であり、
本出願のシャムニューラルネットワークに基づく顔認識方法は９６％の認識率を有し、他
の方法の認識率よりもはるかに高い。
表２．既存方法の本出願の実施例のデータセットに適用した試験結果の統計
当業者は本出願が提供するいくつかの実施例に基づいて、本出願の実施例を組み合わせて
、分割、再編成などを行って他の実施例を得ることができ、これらの実施例はいずれも本
出願の保護範囲を超えるものではないことが容易に理解される。
以上の具体的な実施形態では、本出願の実施例の目的、技術的解決策および有益な効果を
より詳細に説明したが、以上は本出願の実施例の具体的な実施形態に過ぎず、本出願の実
施例の保護範囲を限定するものではなく、本出願の実施例の技術的解決策に基づいてなさ
れた修正、等価置換、改良などは、すべて本出願の実施例の保護範囲内に含まれるものと
する。
プは以下のとおりであり、
まずシャムニューラルネットワークについて、損失関数およびアダム関数最適化器でをネ
ットワークを初期化させる。次に、第１画像および第２画像をそれぞれ第１ニューラルネ
ットワークおよび第２ニューラルネットワークに入力する。第１画像および第２画像を使
用して損失計算を行う。最後に、モデルの勾配を決定し、最適化器を使用して重みを更新
する。
さらに、２値クロスエントロピー損失は、埋め込み学習に使用され、２つの類似する点が
小さいユークリッド距離を有し、２つの異なる点がかなり大きいユークリッド距離を有す
る。最後に、最適化器は重みパラメータを調整し、損失関数を最小化する。
例示的に、Ａｄａｍはよく知られた勾配降下最適化方法である。計算効率が高く、メモリ
使用量も少ない。
最後に、認識と分類の性能パラメータの精度と想起値を評価することができる。この方法
は、例えば各命令の精度が異なるため、オーバーフィットの検出にも役たち、例えば関数
がオーバーフィットしている場合、モデルがオーバーフィットする。
図２は本出願の一実施例が提供するシャムニューラルネットワークの構造概略図である。
図２に示すように、例えば、２枚の顔画像を顔認識ネットワークの入力とし、シャムニュ
ーラルネットワークの２つの関連サブネットワーク（第１ニューラルネットワークおよび
第２ニューラルネットワーク）によって順伝播および逆伝播演算処理が行われる。２つの
ニューラルネットワークの設計、パラメータおよび重みが同じであるため、これらのサブ
ネットワークはコードを生成し、２つの入力画像間の距離を計算する。なお、該シャムニ
ューラルネットワークは他の畳み込みニューラルネットワークの入力と同様に、画像を入
力とし、ニューラルネットワークによって抽出された隠れた特徴を数値に変換する。しか
し、該シャムニューラルネットワークは他の畳み込みニューラルネットワークの出力と異
なり、古典的なＣＮＮでは、各画像を正しく分類するために、訓練中パラメータを微調整
する必要がある。
また、該シャムニューラルネットワークは２つの入力画像特徴間の距離と類似度を計算す
るとき、画像を出力カテゴリに直接割り当てることなく、類似性関数を用いて入力を比較
する。
また、いくつかの例では、該シャムニューラルネットワークにおいて畳み込みカーネル剪
定を使用し、畳み込みカーネル剪定は一般に特定の方法によって一定間隔で畳み込みカー
ネル内の部分重みを剪定し、すなわち剪定が必要な畳み込みカーネルは一定の操作によっ
て部分重みを剪定することを指す。構造化剪定は、ハードウェアレベルでもソフトウェア
レベルでも非常に扱いやすい。
なお、畳み込みカーネル剪定は、計算量とメモリ占用量を削減できるだけでなく、ネット
ワークの汎化能力を向上させることができる。さらに、埋め込みシステムやモバイル機器
上でのニューラルネットワークの動作速度を加速させ、それによってネットワークの実用
性と性能パフォーマンスをさらに向上させることができる。
図３は、本出願の一実施例が提供するシャムニューラルネットワークの畳み込みカーネル
剪定の概略図である。
図３に示すように、下の括弧はある層の入力特徴マップの行列とある畳み込みカーネル行
列であり、従来の畳み込み演算方式に従って、演算のために入力行列と畳み込みカーネル
行列を分割し、最後に各部の畳み込み演算結果を合わせて、上の括弧内に示すように、畳
み込みカーネル分割後、一定のステップサイズとずれを設定して畳み込みカーネルの構造
化剪定を実行し、図ではステップサイズを２、ずれを０または１に設定した後、畳み込み
カーネル内の赤い数字は剪定後の保持重み、黒い数字は剪定された重みであり、剪定後の
畳み込みカーネル行列全体は元の１２×２から６×２に縮小され、
ここで、保持後の畳み込みカーネル重みは図の赤い重みであり、入力特徴マップで実際に
使用される重みも元の４×１２から４×６に縮小され、すなわち、畳み込みカーネル剪定
後の保持重みに対応する重みのみを使用し、図の青い数字行列は剪定後の出力特徴マップ
行列であり、対応の黒い数字行列は剪定前の出力特徴マップ行列である。
表１．シャムニューラルネットワークに基づく顔認識方法とアドバンスド方法の認識結果
である。
表１に示すように、シャムニューラルネットワークに基づく顔認識方法の精度を評価し、
本出願の実施例は認識結果とアドバンスド方法を比較する。ｄｅｎｓｅとｓｉｇｍｏｉｄ
を活性化関数として訓練した後、他の分類器および他の活性化関数訓練結果と比較して非
常に優れ、精度が９６％に達した。現在、顔認識技術の各方法と結果は通常良好であり、
９０％～９６％の精度を有し、「屋外顔タグ」データセットのシャムニューラルネットワ
ークは最も良好な認識結果を生成する。
表１．シャムニューラルネットワークに基づく顔認識方法とアドバンスド方法の認識結果
本出願は既存方法の本出願の実施例のデータセットに適用した試験結果を統計し、具体的
な結果は表２に示される。結果から分かるように、Ｒｅｓｎｅｔ方法の認識率は８１．２
１％であった。ＴｒｉｐｌｅＮｅｔ方法の認識率は８４．３２％であり、ＦａｃｅＮｅｔ
方法の認識率は８５．５２％であった。ＳＮ-ＬＦ方法の認識率は９０．３１％であり、
本出願のシャムニューラルネットワークに基づく顔認識方法は９６％の認識率を有し、他
の方法の認識率よりもはるかに高い。
表２．既存方法の本出願の実施例のデータセットに適用した試験結果の統計
、分割、再編成などを行って他の実施例を得ることができ、これらの実施例はいずれも本
出願の保護範囲を超えるものではないことが容易に理解される。
以上の具体的な実施形態では、本出願の実施例の目的、技術的解決策および有益な効果を
より詳細に説明したが、以上は本出願の実施例の具体的な実施形態に過ぎず、本出願の実
施例の保護範囲を限定するものではなく、本出願の実施例の技術的解決策に基づいてなさ
れた修正、等価置換、改良などは、すべて本出願の実施例の保護範囲内に含まれるものと
する。
【要約】 （修正有）
【課題】シャムニューラルネットワークに基づく顔認識方法を提供する。
【解決手段】完全に同一の第１ニューラルネットワークと第２ニューラルネットワークを含むシャムニューラルネットワークに基づく顔認識方法は、第１画像を第１ニューラルネットワークに入力することと、第２画像を第２ニューラルネットワークに入力することと、を含む。ここで、第１、第２画像は、それぞれ同一対象を撮影したものである。方法はまた、第１画像に関する第１ニューラルネットワークの第１出力結果及び第２画像に関する第２ニューラルネットワークの第２出力結果を取得し、出力結果を計算して比較し、比較結果に基づいて第１画像と第２画像の目標対象を決定することを含む。第１、第２ニューラルネットワークを通じて、同一対象の２つの画像を計算して比較し、２つの画像間の類似性および相違性を計算し、判定結果に基づいて目標を認識することで、顔認識の精度を向上させる。
【選択図】図１
【解決手段】完全に同一の第１ニューラルネットワークと第２ニューラルネットワークを含むシャムニューラルネットワークに基づく顔認識方法は、第１画像を第１ニューラルネットワークに入力することと、第２画像を第２ニューラルネットワークに入力することと、を含む。ここで、第１、第２画像は、それぞれ同一対象を撮影したものである。方法はまた、第１画像に関する第１ニューラルネットワークの第１出力結果及び第２画像に関する第２ニューラルネットワークの第２出力結果を取得し、出力結果を計算して比較し、比較結果に基づいて第１画像と第２画像の目標対象を決定することを含む。第１、第２ニューラルネットワークを通じて、同一対象の２つの画像を計算して比較し、２つの画像間の類似性および相違性を計算し、判定結果に基づいて目標を認識することで、顔認識の精度を向上させる。
【選択図】図１
【図1】
【図2】
【図3】
