特表 2023-522501 多層前処理に基づく高速顔検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-05-31

(54)【発明の名称】多層前処理に基づく高速顔検出方法

(51)【国際特許分類】

   G06V 10/82 20220101AFI20230524BHJP

   G06T 7/00 20170101ALI20230524BHJP

   G06T 7/90 20170101ALI20230524BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G06T7/90 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022512825

(86)(22)【出願日】2021-04-29

(85)【翻訳文提出日】2022-02-24

(86)【国際出願番号】 CN2021091026

(87)【国際公開番号】W WO2022198751

(87)【国際公開日】2022-09-29

(31)【優先権主張番号】202110322204.7

(32)【優先日】2021-03-25

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】518371489

【氏名又は名称】南京郵電大学

【氏名又は名称原語表記】ＮＡＮＪＩＮＧ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＰＯＳＴＳ ＡＮＤ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ

【住所又は居所原語表記】Ｎｏ．６６ Ｘｉｎ Ｍｏｆａｎ Ｒｏａｄ， Ｇｕｌｏｕ Ｎａｎｊｉｎｇ， Ｊｉａｎｇｓｕ ２１０００３ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000291

【氏名又は名称】弁理士法人コスモス国際特許商標事務所

(72)【発明者】

【氏名】張 暉

(72)【発明者】

【氏名】叶 子皓

(72)【発明者】

【氏名】趙 海涛

(72)【発明者】

【氏名】孫 雁飛

(72)【発明者】

【氏名】朱 洪波

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096FA06

5L096FA18

5L096FA59

5L096FA69

5L096GA40

5L096GA41

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

本願は、入力された原画像に対して色空間変換を実行することと、楕円肌色モデルを使用して、画像における肌色領域を抽出することと、形態学的操作により肌色領域を補正することと、有効検索位置フィルタリング方法により、被検フレームを生成することと、重ね合わせの程度が高すぎる被検フレームを併合することと、畳み込みニューラルネットワークを使用して各被検フレームを１つずつ検出することと、最終的な顔位置決めフレームの座標を計算することとを含む顔検出方法を開示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

被検出画像をＲＧＢ色空間からＹＣｂＣｒ色空間に変換するＳ１０１と、
楕円肌色モデルを使用して、Ｓ１０１で取得された画像のピクセルごとに肌色ピクセルであるかどうかを判断し、肌色領域を取得するＳ１０２であって、いずれかのピクセルの青の色度と赤の色度の成分が楕円肌色モデルの要件を満たしている場合、前記ピクセルを前記肌色ピクセルとして判断するＳ１０２と、
Ｓ１０２で取得された前記肌色領域を形態学的処理して、処理済み肌色領域を取得するＳ１０３と、
Ｓ１０３で処理して取得された前記処理済み肌色領域に対して有効検索位置フィルタリングを行い、有効検索位置を取得し、輪郭抽出技術を利用して有効検索位置の輪郭を抽出し、各輪郭に対応して１つの被検フレームを生成するＳ１０４と、
顔検出機能を有する畳み込みニューラルネットワークを使用して、Ｓ１０４で取得された前記被検フレームを１つずつ検出し、前記被検フレーム内の顔位置決め座標を示すＳ１０５と、
前記被検フレームの座標及び前記被検フレーム内の前記顔位置決め座標に基づいて、顔位置決めフレームの座標を確定するＳ１０６とを含む顔検出方法。

【請求項2】

前記楕円肌色モデルの要件は、

【数21】

であり、
ここで、Ｃｂは前記ピクセルの前記青の色度の成分を表し、Ｃｒは前記ピクセルの前記赤の色度の成分を表す請求項１に記載の方法。

【請求項3】

前記処理済み肌色領域に対して有効検索位置フィルタリングを行うステップは、
フィルタ行列を使用して前記処理済み肌色領域に対して有効検索位置フィルタリングを行うことであって、前記処理済み肌色領域におけるピクセル値、前記フィルタ行列におけるピクセル値及び前記有効検索位置におけるピクセル値は下記の式を満たすことを含み、

【数22】

ここで、ｄｓｔ（ｉ，ｊ）は有効検索位置ｄｓｔにおける座標（ｉ，ｊ）でのピクセル値を表し、ｓｒｃ（ｉ＋ｘ，ｊ＋ｙ）は肌色領域ｓｒｃにおける座標（ｉ＋ｘ，ｊ＋ｙ）でのピクセル値を表し、ｆ（ｘ，ｙ）はフィルタ行列ｆにおける座標（ｘ，ｙ）でのピクセル値を表し、前記フィルタ行列ｆのサイズは（２ａ＋１）×（２ｂ＋１）であり、中心座標は（０，０）であり、ｔは予め設定された有効検索率ＥＳＲの閾値を表し、ａｒｅａは前記フィルタ行列ｆにおける、値が１であるピクセルの数を表す請求項１に記載の方法。

【請求項4】

前記被検フレームの左上角の座標（ｌｅｆｔ，ｔｏｐ）及び右下角の座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）はそれぞれ、

【数23】

それぞれ輪郭外接矩形の左上角及び右下角の座標を表す請求項３に記載の方法。

【請求項5】

前記有効検索率は、前記被検フレームにおける前記肌色領域の面積と前記被検フレームとの面積との比として定義される請求項３に記載の方法。

【請求項6】

前記被検出画像を前記ＲＧＢ色空間から前記ＹＣｂＣｒ色空間に変換するステップは、
下記の式を利用して、前記被検出画像に対して前記色空間変換を行うことを含み、

【数24】

ここで、Ｙ、Ｃｂ、Ｃｒは、前記ピクセルの輝度、前記青の色度の成分、前記赤の色度の成分をそれぞれ表し、Ｒ、Ｇ、Ｂは、前記ピクセルの赤、緑、青の成分をそれぞれ表す請求項１に記載の方法。

【請求項7】

前記肌色領域を形態学的処理するステップは、
開操作でゆるい肌色ポイントや細線構造を取り除くことを含む請求項１に記載の方法。

【請求項8】

前記肌色領域を形態学的処理するステップは、
閉操作で、穴を埋め、ギャップを埋めることを更に含む請求項７に記載の方法。

【請求項9】

前記被検フレームは、少なくとも被検フレームＡ及び被検フレームＢを含み、前記Ｓ１０４は、
前記被検フレームＡ、Ｂを併合し、前記被検フレームＡとＢを併合して取得された被検フレームＣの面積が前記被検フレームＡとＢの面積の和以下である場合、前記被検フレームＡとＢを併合し、そうでない場合、被検フレームＡとＢを併合しないことを更に含む請求項１に記載の方法。

【請求項10】

前記被検フレームＣの左上角の座標

【数25】

それぞれ前記被検フレームＢの左上角の座標及び右下角の座標である請求項９に記載の方法。

【請求項11】

前記顔位置決めフレームの左上角の座標（ｌ，ｔ）及び右下角の座標（ｒ，ｂ）はそれぞれ、

【数26】

それぞれ、前記畳み込みニューラルネットワークから出力された、前記被検フレームＣのいずれかの顔位置決めフレームの左上角の座標及び右下角の座標である請求項９に記載の方法。

【請求項12】

コンピュータプログラムを格納するメモリと、前記コンピュータプログラムを実行すると、請求項１～１１のいずれか１項に記載の方法のステップを実施するプロセッサとを含むコンピュータデバイス。

【請求項13】

プロセッサによって実行されると、請求項１～１１のいずれか１項に記載の方法のステップを実施するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、ターゲット検出の分野に関し、具体的には、多層前処理によって顔検出を高速で正確に行う方法に関する。

【0002】

本願は、２０２１年３月２５日に中国特許局に提出された出願番号が２０２１１０３２２２０４７であり、発明の名称が「多層前処理に基づく高速顔検出方法」である中国特許出願の優先権を主張し、その全体が参照により本願に組み込まれる。

【背景技術】

【0003】

顔認識技術は、監視、セキュリティ、人事管理や画像制作のさまざまな分野で広く使用されている重要な技術である。顔認識技術には、顔の検出と識別の２つの部分があり、この中で、顔検出とは、画像内のすべての顔が現れる位置を検出することであるが、顔識別とは、２つの顔が同じ人物であるかどうかを判断することである。すべての顔の位置が検出された場合にのみ次のステップが実行できるため、顔検出は顔認識技術の基礎である。

【0004】

ターゲット検出分野の１つのサブ分野としての顔検出には、デジタル画像機能と分類アルゴリズムを組み合わせたＨａａｒカスケード分類器や、深層学習の分野での畳み込みニューラルネットワークなど、多くの成熟したアルゴリズムがある。この中で、畳み込みニューラルネットワークは、現在最も高度なアルゴリズムの１つとして、顔検出の問題で非常にうまく機能している。最適に設計され、完全にトレーニングされたさまざまな畳み込みニューラルネットワークは、さまざまな照明、角度、さらには部分的に遮断された場合でさえも高精度で顔を検出できる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の例示的な実施例は、複数の画像処理方法と畳み込みニューラルネットワーク技術を組み合わせており、畳み込みニューラルネットワークの演算が遅いという問題を解決することを目的とする多層前処理に基づく高速顔検出方法を提供する。

【課題を解決するための手段】

【0006】

本願の一形態では、多層前処理に基づく高速顔検出方法を提供し、具体的な操作ステップは、
被検出画像をＲＧＢ色空間からＹＣｂＣｒ色空間に変換するＳ１０１と、
楕円肌色モデルを使用して、Ｓ１０１で取得された画像のピクセルごとに肌色ピクセルであるかどうかを判断し、肌色領域を取得するＳ１０２であって、いずれかのピクセルの青の色度と赤の色度の成分が楕円肌色モデルの要件を満たしている場合、前記ピクセルを前記肌色ピクセルとして判断するＳ１０２と、
Ｓ１０２で取得された前記肌色領域を形態学的処理して、処理済み肌色領域を取得するＳ１０３と、
Ｓ１０３で処理して取得された前記処理済み肌色領域に対して有効検索位置フィルタリングを行い、有効検索位置を取得し、輪郭抽出技術を利用して有効検索位置の輪郭を抽出し、各輪郭に対応して１つの被検フレームを生成するＳ１０４と、
顔検出機能を有する畳み込みニューラルネットワークを使用して、Ｓ１０４で取得された前記被検フレームを１つずつ検出し、前記被検フレーム内の顔位置決め座標を示すＳ１０５と、
前記被検フレームの座標及び前記被検フレーム内の前記顔位置決め座標に基づいて、顔位置決めフレームの座標を確定するＳ１０６とを含む。

【0007】

一実施例では、前記楕円肌色モデルの要件は、

【数1】

であり、
ここで、Ｃｂはピクセルの青の色度の成分を表し、Ｃｒはピクセルの赤の色度の成分を表す。

【0008】

一実施例では、前記処理済み肌色領域に対して有効検索位置フィルタリングを行うステップは、
フィルタ行列を使用して前記処理済み肌色領域に対して有効検索位置フィルタリングを行うことであって、前記処理済み肌色領域におけるピクセル値、前記フィルタ行列におけるピクセル値及び前記有効検索位置におけるピクセル値は下記の式を満たすことを含み、

【数2】

ここで、ｄｓｔ（ｉ，ｊ）は有効検索位置ｄｓｔにおける座標（ｉ，ｊ）でのピクセル値であり、ｓｒｃ（ｉ＋ｘ，ｊ＋ｙ）は肌色領域ｓｒｃにおける座標（ｉ＋ｘ，ｊ＋ｙ）でのピクセル値であり、ｆ（ｘ，ｙ）はフィルタ行列ｆにおける座標（ｘ，ｙ）でのピクセル値であり、フィルタ行列ｆのサイズは（２ａ＋１）×（２ｂ＋１）であり、中心座標は（０，０）であり、ｔは予め設定された有効検索率ＥＳＲ閾値であり、ａｒｅａはフィルタ行列ｆにおける、値が１であるピクセルの数である。

【0009】

一実施例では、被検フレームの左上角の座標（ｌｅｆｔ, ｔｏｐ）及び右下角の座標（ｒｉｇｈｔ, ｂｏｔｔｏｍ）はそれぞれ、

【数3】

それぞれ輪郭外接矩形の左上角及び右下角の座標である。

【0010】

一実施例では、前記有効検索率は、前記被検フレームにおける前記肌色領域の面積と前記被検フレームの面積との比として定義される。

【0011】

一実施例では、前記被検出画像を前記ＲＧＢ色空間から前記ＹＣｂＣｒ色空間に変換するステップは、
下記の式を利用して、前記被検出画像に対して前記色空間変換を行うことを含み、

【数4】

ここで、Ｙ、Ｃｂ、Ｃｒは、ピクセルの輝度、青の色度の成分、赤の色度の成分をそれぞれ表し、Ｒ、Ｇ、Ｂはピクセルの赤、緑、青の成分をそれぞれ表す。

【0012】

一実施例では、前記肌色領域を形態学的処理するステップは、開操作でゆるい肌色ポイントや細線構造を取り除くことを含む。

【0013】

一実施例では、前記肌色領域を形態学的処理するステップは、閉操作で、穴を埋め、ギャップを埋めることを更に含む。

【0014】

一実施例では、前記被検フレームは、少なくとも被検フレームＡ及び被検フレームＢを含み、前記Ｓ１０４は、
前記被検フレームＡ、Ｂを併合し、前記被検フレームＡとＢを併合して取得された被検フレームＣの面積が前記被検フレームＡとＢの面積の和以下である場合、前記被検フレームＡとＢを併合し、そうでない場合、被検フレームＡとＢを併合しないことを更に含む。

【0015】

一実施例では、被検フレームＣの左上角の

【数5】

それぞれ被検フレームＢの左上角の座標及び右下角の座標である。

【0016】

一実施例では、Ｓ１０６における顔位置決めフレームの左上角及び右下角の座標はそれぞれ、

【数6】

それぞれ畳み込みニューラルネットワークから出力された、被検フレームＣのある顔を位置決める左上角及び右下角の座標である。

【0017】

一実施例では、有効検索率は、被検フレームにおける肌色領域面積と被検フレームの面積との比として定義される。

【0018】

本願の別の形態では、コンピュータプログラムを格納するメモリと、前記コンピュータプログラムを実行すると、上記の実施例のいずれかに記載の方法のステップを実施するプロセッサとを含むコンピュータデバイスを提供する。

【0019】

本願の更に別の形態では、プロセッサによって実行されると、上記の実施例のいずれかに記載の方法のステップを実施するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供する。

【0020】

有益な効果は以下のとおりである。本願は、顔検出畳み込みニューラルネットワークの高精度を維持しながら、多層前処理技術により検索が必要な領域のサイズを縮小し、それによってその実行速度を大幅に向上させることができる。

【図面の簡単な説明】

【0021】

【図1】本願の一実施例に係る多層前処理に基づく高速顔検出方法のフローチャートである。

【図2】本願の一実施例に係る有効検索位置フィルタリング（ＥＳＰＦフィルタリング）の模式図である。

【図3】本願の一実施例に係る被検フレームの生成の模式図である。

【図4】本願の一実施例に係る被検フレームの併合の模式図である。

【発明を実施するための形態】

【0022】

前述のように、最適に設計され、完全にトレーニングされたさまざまな畳み込みニューラルネットワークは、さまざまな照明、角度、さらには部分的に遮断された場合でさえも高精度で顔を検出できるが、畳み込みニューラルネットワークにも独自の欠点があり、つまり、高速な演算は、強力な浮動小数点演算機能を備えたＧＰＵに大きく依存している。コスト、体積や電力の制約により、小さなエッジ端末では畳み込みニューラルネットワークの高速演算をサポートすることは困難である。

【0023】

本出願の目的、技術的解決手段および利点をより明確にするために、本出願は、図面および実施例を参照して、以下でさらに詳細に説明される。本明細書に記載の特定の実施例は、本出願を解釈するためにのみ使用され、本出願を限定するものではないことを理解されたい。

【0024】

本出願の技術的解決策を、図面および特定の実施例と併せて、以下でさらに詳しく説明する。

【0025】

図１に示す実施例では、多層前処理に基づく高速顔検出方法は、具体的には下記の操作ステップを含む。

【0026】

Ｓ１０１：入力画像（被検出画像）を色空間変換し、デフォルトのＲＧＢ色空間からＹＣｂＣｒ色空間に変換する。これは、ＹＣｂＣｒが色の輝度と色度を分離したため、さまざまな照明条件で色を分類するシーンに適しているためである。

【0027】

コンピュータ分野では、画像またはビデオのエンコーディングのほとんどはＲＧＢ色空間に基づいているため、ＹＣｂＣｒを使用する場合は、まずＲＧＢ色空間をＹＣｂＣｒ色空間に変換する必要がある。赤、緑、青の３色に対する人間の目の感度は同じではないため、輝度Ｙを変換するときは、赤、緑、青に異なる重みを付ける必要がある。具体的な換算式は次のとおりである。

【数7】

【0028】

Ｓ１０２：楕円肌色モデルを使用して、Ｓ１０１で取得された画像のピクセルごとに肌色ピクセルであるかどうかを判断し、肌色領域を取得し、いずれかのピクセルの青の色度と赤の色度の成分が楕円肌色モデルの要件を満たしている場合、前記ピクセルを前記肌色ピクセルとして判断する。

【0029】

多数の肌色を統計したところ、ＹＣｂＣｒ空間では、肌色はほぼ楕円柱状の分布を示しており、つまり、ＣｂＣｒ平面では、肌色の分布は楕円に近いことがわかった。統計研究によると、Ｃｒを横軸、Ｃｂを縦軸として平面直交座標系を確立する場合、肌色楕円の中心位置は（１５５，１１３）、長軸の長さは３０、短軸の長さは２０、傾斜角は４５°（反時計回り）である。したがって、肌色楕円の方程式は次のようになる。

【数8】

【0030】

肌色楕円モデルを作成した後、１つのピクセルについては、青の色度Ｃｂと赤の色度Ｃｒの成分によって構成されるポイントが肌色楕円内にある場合、肌色ピクセルであると判断でき、そうでない場合は、非肌色ピクセルである。式２を簡略化して、ピクセルが肌色のピクセルである判断が得られる条件は次のようになる。

【数9】

【0031】

Ｓ１０１では、ＲＧＢ画像がＹＣｂＣｒ空間に変換された後、そのうちのあるピクセルのＣｂおよびＣｒ成分が式３を満たす場合、そのピクセルは肌色ピクセルと見なすことができる。入力画像における各ピクセルに対して、式３で判断することにより、肌色領域（または肌色マスク）を取得できる。

【0032】

Ｓ１０３：Ｓ１０２で取得された前記肌色領域を形態学的処理して、処理済み肌色領域を取得する。

【0033】

形態学的操作は、２値化された画像の形状の特徴を処理するための画像処理の分野における一連の技術である。基本的な考え方は、特定の形状の構造要素とルールを使用して画像のピクセル値を変更することで、ノイズの除去、穴やギャップの埋め、グリッチのトリミング、エッジの平滑化の効果を実現し、これにより、さらなる画像分析とターゲット認識を実現することである。基本的な形態学的操作には、侵食（Ｅｒｏｓｉｏｎ）と膨張（Ｄｉｌａｔｉｏｎ）が含まれる。侵食はノイズやグリッチなどの微細構造を除去するために使用され、膨張は穴やギャップを埋めるために使用される。侵食操作を行う場合、構造要素を入力画像上でピクセルごとにスライドさせ、構造要素内のすべての１値が向かい合っている入力画像ピクセルを対応ピクセルと呼び、スライドごとに対応ピクセルの最小値を構造要素のアンカーポイント位置に向かい合っている出力画像のピクセルに書き込む。これは次の式で表される。

【数10】

【0034】

ここで、ｄｓｔ、ｓｒｃ、Ｅは出力画像、入力画像及び構造要素をそれぞれ表し、構造要素はアンカーポイントを座標中心とし、（ｉ，ｊ）は現在の構造要素のアンカーポイント位置座標であり、（ｘ，ｙ）はアンカーポイントに対する構造要素のオフセットである。式４は、侵食プロセス中に、構造要素の１値領域が入力画像の１値領域で完全に覆われている場合にのみ、出力画像のアンカーポイント位置のピクセル値が１であることを示している。これにより、画像の１値領域の輪郭が縮小し、つまり、視覚的に１値領域が侵食されているように見える。膨張操作は、最小値が最大値になることを除いて、侵食操作と同様であり、その式は次のとおりである。

【数11】

【0035】

式５は、膨張プロセス中に、構造要素の１値領域が入力画像の０値領域で完全に覆われている場合にのみ、出力画像のアンカーポイント位置でのピクセル値が０であることを示している。これにより、画像の１値領域の輪郭が拡張し、つまり、視覚的には１値領域が膨張されているように見える。侵食と膨張は、肌色領域の面積に大きな変化を引き起こす。

【0036】

肌色領域のサイズに影響を与えずにノイズを取り除き、穴やギャップを埋めるには、開操作（Ｏｐｅｎｉｎｇ）と閉操作（Ｃｌｏｓｉｎｇ）を使用する必要がある。開操作とは、同じ構造要素で画像を順次侵食および膨張することを指す。閉操作により、小さな接続を切断し、ノイズを除去することができる。閉操作とは、最初に膨張し、次に腐食することを指し、これにより、隣接する領域を接続したり、穴やギャップを埋めたりすることができる。取得された肌色領域に形態学的処理を行い、開操作によりゆるい肌色ポイントや細線構造を取り除き、閉操作により肌色領域の小さい穴を埋め、小さなギャップを埋める。開操作と閉操作は、ノイズを取り除き、穴やギャップを埋めながら、肌色領域の面積にほとんど影響を与えない。Ｓ１０２で取得された肌色マスクをそれぞれ開操作、閉操作して、最終的な肌色マスクを取得することができる。

【0037】

Ｓ１０４：Ｓ１０３で処理して取得された前記処理済み肌色領域に対して有効検索位置フィルタリングを行い、有効検索位置を取得し、輪郭抽出技術を利用して有効検索位置の輪郭を抽出し、各輪郭に対応して１つの被検フレームを生成する。

【0038】

最終的に取得された肌色領域に対して有効検索位置フィルタリング（Ｅｆｆｅｃｔｉｖｅ Ｓｅａｒｃｈ Ｐｏｓｉｔｉｏｎ Ｆｉｌｔｅｒｉｎｇ、ＥＳＰＦ）を行い、すべての有効検索位置ピクセル領域を取得する。ＥＳＰＦフィルタリングは、特殊な画像フィルタリング操作であり、楕円形状のフィルタ行列及び有効検索率（Ｅｆｆｅｃｔｉｖｅ Ｓｅａｒｃｈ Ｒａｔｅ、ＥＳＲ）に基づくフィルタリング計算操作を使用した。ここで、有効検索率は、被検フレームにおける肌色領域面積Ａ_ｓと被検フレーム面積との比Ａ_ｒとして定義され、その式は次の通りである。

【数12】

【0039】

ＥＳＰＦの計算過程は次の式で表すことができる。

【数13】

【0040】

式におけるｄｓｔ、ｓｒｃ及びｆは、それぞれ出力画像、入力画像及びフィルタ行列である。フィルタ行列のサイズは（２ａ＋１）×（２ｂ＋１）であり、中心座標は（０，０）であり、ｔは予め設定されたＥＳＲ閾値であり、ａｒｅａはフィルタ行列における１値ピクセルの数である。ＥＳＰＦフィルタリング中に使用されるフィルタ行列は楕円行列であり、図２におけるフィルタ行列に示すように、そのうちの１値は矩形に内接する標準的な楕円形として配列される。

【0041】

図２に示すように、ＥＳＰＦフィルタリングの出力画像は有効検索位置であり、さらに輪郭抽出技術を利用してそのうちの有効検索位置の輪郭を抽出し、各輪郭に対して１つの被検フレームを生成する。被検フレームは、輪郭外接矩形を周囲に一定の距離だけ拡張することによって得られ、当該輪郭外接矩形の４つの辺はいずれも輪郭に外接し、各辺は画像の各辺に平行である。拡張距離はフィルタ行列のサイズの半分に等しい。輪郭外接矩形フレームの左上角及び右下角の座標がそれぞれ

【数14】

フィルタ行列のサイズが（２ａ＋１）×（２ｂ＋１）であると、拡張することで取得された被検フレームの左上角の座標及び右下角の座標は、

【数15】

である。

【0042】

最終的に被検フレームを生成する効果は図３に示され、ＥＳＰＦフィルタリング後に取得された各被検フレームはＥＳＲが高い。このとき、面積が小さい肌色領域、細長い肌色領域等の非顔肌色部分がＥＳＰＦフィルタリングにより取り除かれ、肌色領域が連通するという問題も解決される。

【0043】

Ｓ１０５：顔検出機能を有する畳み込みニューラルネットワークを使用して、Ｓ１０４で取得された前記被検フレームを１つずつ検出し、前記被検フレーム内の顔位置決め座標を示す。

【0044】

併合できる被検フレームがあるかどうかを確認し、それらをすべて併合して、最終被検フレームを取得する。被検フレームを併合することは、併合する必要がある２つの被検フレームＡとＢを１つのより大きな被検フレームＣに置き換えことであり、被検フレームＣはＡとＢを完全に覆うとともに、面積をできるだけ小さくする必要があり、従って、被検フレームＣの左上角の座標及び右下角の座標は、次のとおりである。

【数16】

【0045】

また、被検フレームを併合するには、総面積が増加しないという条件を満たす、即ち、

【数17】

を満たすべきである。図４は、被検フレームを併合した効果を示し、大面積で重ね合わせた２対の被検フレームは併合され、畳み込みニューラルネットワークによって検索する必要がある面積がさらに削減され、検索効率が向上する。

【0046】

Ｓ１０６：前記被検フレームの座標及び前記被検フレーム内の前記顔位置決め座標に基づいて、顔位置決めフレームの座標を確定して、顔検出結果を取得する。

【0047】

顔検出機能を有する畳み込みニューラルネットワークを使用して、各最終被検フレームを１つずつ検出し、その中の顔位置決め座標を出力し、ここで出力される位置決め座標は被検フレームに対するものである。

【0048】

ステップ７：畳み込みニューラルネットワークは、被検フレームに対する被検フレーム内のすべての顔位置決めフレームの座標を出力し、被検フレームの左上角及び右下角の座標が

【数18】

であり、畳み込みニューラルネットワークによって出力されるある顔位置決めフレームの左上角及び右下角の座標が

【数19】

であると、当該顔位置決めフレームの左上角及び右下角の実際座標はそれぞれ下記の通りである。

【数20】

【0049】

被検フレームの座標及びその中の顔位置決め座標に基づいて顔位置決めフレームの画像での実際座標を計算し出力し、最終的な顔検出結果を取得する。

【0050】

理解できるように、図１のフローチャートにおける各ステップは、矢印で示されるように順次表示されているが、これらのステップは必ずしも矢印で示された順序で順番に実行されるとは限らない。本明細書に明示的に記載されていない限り、これらのステップの実行は厳密には限定されず、これらのステップは他の順序で実行されてもよい。さらに、図１における少なくとも一部のステップは複数のサブステップ又は複数の段階を含んでもよく、これらのサブステップ又は段階は必ずしも同時に実行及び完了する必要はないが、異なる時間に実行されてもよく、これらのサブステップ又は段階の実行順序も必ずしも順次実行する必要はなく、他のステップや他のステップのサブステップ又は段階の少なくとも一部と交代又は交互に実行されてもよい。

【0051】

当業者は、上記の実施例の方法におけるプロセスの全部または一部が、コンピュータプログラムを介して関連するハードウェアに指示することによって完了でき、前記コンピュータプログラムが不揮発性コンピュータ可読記憶媒体に格納できることを理解することができ、当該コンピュータプログラムが実行されるときに、上記の各方法の実施例のフローを含んでもよい。ここで、本出願で提供される様々な実施例で使用される、メモリ、ストレージ、データベースまたは他の媒体の任意の引用は、不揮発性および／または揮発性メモリを含んでもよい。不揮発性メモリには、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的にプログラム可能なＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュメモリが含まれてもよい。揮発性メモリには、ランダムアクセスメモリ（ＲＡＭ）または外部キャッシュメモリが含まれてもよい。例として、限定ではないが、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、強化型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）やメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などのさまざまな形態で入手できる。

【0052】

上記の実施例の各技術的特徴は任意に組み合わせることができ、簡潔に説明するために、上記の実施例における各技術的特徴のすべての可能な組み合わせは記載されていないが、これらの技術的特徴の組み合わせに矛盾がない限り、本明細書に記載されている範囲とみなされるべきである。

【0053】

上記の実施例は、本出願のいくつかの実施例だけを示し、その説明は、具体的かつ詳細であるが、本発明の特許の範囲に対する限定として解釈されるべきではない。ただし、当業者にとって、本出願の概念から逸脱することなく、いくつかの補正および改良を行うことができ、それらはすべて本出願の保護範囲に属する。したがって、本出願の特許の保護範囲は、添付の特許請求の範囲に従うものとする。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】