(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-15
(45)【発行日】2024-01-23
(54)【発明の名称】人体画像処理方法および電子機器
(51)【国際特許分類】
G06T 11/80 20060101AFI20240116BHJP
G06T 5/00 20240101ALI20240116BHJP
【ＦＩ】
G06T11/80 A
G06T5/00 700
【請求項の数】
9
(21)【出願番号】P 2022562359
(86)(22)【出願日】2020-11-18
(65)【公表番号】
(43)【公表日】2023-05-23
(86)【国際出願番号】 CN2020129901
(87)【国際公開番号】W WO2021253723
(87)【国際公開日】2021-12-23
【審査請求日】2022-10-12
(31)【優先権主張番号】202010547139.3
(32)【優先日】2020-06-16
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520230293
【氏名又は名称】北京達佳互▲れん▼信息技術有限公司
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】▲劉▼ ▲曉▼坤
(72)【発明者】
【氏名】秦 文▲ユ▼
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開２０１９－１０６０４５（ＪＰ，Ａ）
【文献】特開２００６－０１８４６７（ＪＰ，Ａ）
【文献】特開２００４－３０３１９３（ＪＰ，Ａ）
【文献】特開２０１８－００５４３４（ＪＰ，Ａ）
【文献】特開２０１９－０７４７９５（ＪＰ，Ａ）
【文献】特開２００９－１１１９４７（ＪＰ，Ａ）
【文献】特開２００５－００４４６８（ＪＰ，Ａ）
【文献】米国特許出願公開第２００８／０２１２８９４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１１／００１３８２９（ＵＳ，Ａ１）
【文献】米国特許第８２６５４１０（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １１／８０
Ｇ０６Ｔ １／００－７／００
Ｈ０４Ｎ ２３／６０
Ｇ０９Ｇ ５／００
(57)【特許請求の範囲】
【請求項1】
処理すべき人体画像における初期候補領域を確定することと、前記処理すべき人体画像に対してフィルタリングすることにより、第１フィルタリング画像を得ることと、
前記第１フィルタリング画像における前記初期候補領域と同じ位置の第１フィルタリング候補領域を確定し、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域であることと、
前記初期候補領域と第１フィルタリング候補領域において各位置が同じ画素点間の階調値の差に基づいて、前記初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分することと、
前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第１融合係数を確定することと、
前記第１融合係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域のそれぞれを、前記第１フィルタリング候補領域において位置が同じ領域と線形融合することにより、処理後の瑕疵領域と処理後の非瑕疵領域を得ることと、
前記処理後の瑕疵領域と前記処理後の非瑕疵領域とを統合することにより、前記処理すべき人体画像における中間候補領域を得ることと、
前記初期候補領域と前記中間候補領域において各位置が同じ画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合を行うことにより、ターゲット候補領域を取得することと、
前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力することと、を含む、
人体画像処理方法。
【請求項2】
前記処理すべき人体画像における初期候補領域を確定することは、前記処理すべき人体画像に対して肌色検出を行うことにより、第１マスク画像を取得することと、
標準マスク画像をツイストマッピングすることにより、第２マスク画像を得て、ここで、前記標準マスク画像における異なる領域の画素点は、異なる階調値に設定され、異なる階調値は、異なる処理係数を特徴づけることと、
前記第１マスク画像から選別することにより、第１種の画素点を得て、前記第１種の画素点の階調値は、予め設定された第１階調閾値より低いことと、
前記第２マスク画像から選別することにより、第２種の画素点を得て、前記第２種の画素点の階調値は、予め設定された第２階調閾値より高いことと、
前記処理すべき人体画像において第１指定領域および第２指定領域を含まない他の領域を前記初期候補領域として設定し、前記第１指定領域は、前記処理すべき人体画像において前記第１種の画素点が示す領域であり、前記第２指定領域は、前記処理すべき人体画像において前記第２種の画素点が示す領域であることと、を含む、
請求項１に記載の方法。
【請求項3】
前記標準マスク画像をツイストマッピングすることにより、第２マスク画像を得ることは、顔特徴点識別モデルを用いて、前記処理すべき人体画像における候補顔特徴点を識別することと、
標準顔特徴点画像および前記標準マスク画像を取得することと、
前記候補顔特徴点と前記標準顔特徴点画像における標準顔特徴点とのマッピング関係に基づいて、前記標準マスク画像をツイストマッピングすることにより、前記第２マスク画像を得ることと、を含む、
請求項２に記載の方法。
【請求項4】
前記処理すべき人体画像を指定された倍数でサブサンプリングすることと、前記第１フィルタリング画像を前記指定された倍数でアップサンプリングすることと、
をさらに含む、
請求項１から３のいずれか１項に記載の方法。
【請求項5】
前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第１融合係数を確定することは、前記初期候補領域における各画素点に対して予め設定された処理係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵領域における各画素点の第１融合係数をそれぞれ確定することを含む、
請求項１から３のいずれか１項に記載の方法。
【請求項6】
前記第１融合係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域のそれぞれを、前記第１フィルタリング候補領域において位置が同じ領域と線形融合することは、前記瑕疵皮膚領域および前記非瑕疵皮膚領域において、前記第１フィルタリング候補領域内の相対位置と同じである２つの画素点を１組の画素点とし、ここで、前記第１フィルタリング候補領域において前記瑕疵皮膚領域内の相対位置と同じである１組の画素点の配置パラメータは、前記第１フィルタリング候補領域において前記非瑕疵皮膚領域内の相対位置と同じである１組の画素点の配置パラメータと異なり、前記配置パラメータは、瑕疵皮膚領域および非瑕疵皮膚領域に対する処理の程度を特徴づけることを含み、
画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、
１組の画素点間のユークリッド距離を計算し、
前記ユークリッド距離、前記１組の画素点の第１マスク画像における位置が同じ画素点の階調値、前記１組の画素点の第２マスク画像における位置が同じ画素点の処理係数、および前記１組の画素点に対して予め設定された配置パラメータに基づいて、前記１組の画素点の第１融合係数を確定し、前記第１マスク画像は、前記処理すべき人体画像に対して肌色検出を行うことにより得られ、前記第２マスク画像は、標準マスク画像をツイストマッピングすることにより得られ、
前記第１融合係数に基づいて、前記１組の画素点を１つの画素点に融合する、
請求項１から３のいずれか１項に記載の方法。
【請求項7】
前記処理すべき人体画像に対してフィルタリングすることにより、第２フィルタリング画像を得ることと、
前記第１マスク画像と前記ターゲット候補領域を含む処理すべき人体画像において各位置が同じ画素点の階調値に基づいて、各画素点の第２融合係数を確定することと、
前記第２融合係数に基づいて、前記第２フィルタリング画像を前記ターゲット候補領域を含む処理すべき人体画像と線形融合することにより、出力すべき前記ターゲット画像を取得することと、をさらに含む、
請求項６に記載の方法。
【請求項8】
実行可能な命令を記憶するためのメモリと、メモリに記憶された実行可能な命令を読み出して実行するためのプロセッサと、を含み、
ここで、前記実行可能な命令を実行することにより、以下のことを前記プロセッサに実行させ、即ち、
処理すべき人体画像における初期候補領域を確定し、
前記処理すべき人体画像に対してフィルタリングすることにより、第１フィルタリング画像を得て、
前記第１フィルタリング画像における前記初期候補領域と同じ位置の第１フィルタリング候補領域を確定し、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域であり、
前記初期候補領域と第１フィルタリング候補領域において各位置が同じ画素点間の階調値の差に基づいて、前記初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分し、
前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第１融合係数を確定し、
前記第１融合係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域のそれぞれを、前記第１フィルタリング候補領域において位置が同じ領域と線形融合することによりし、処理後の瑕疵領域と処理後の非瑕疵領域を得て、
前記処理後の瑕疵領域と前記処理後の非瑕疵領域とを統合することにより、前記処理すべき人体画像における中間候補領域を得て、
前記初期候補領域と前記中間候補領域において各位置が同じ画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合を行うことにより、ターゲット候補領域を取得し、
前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力する、
電子機器。
【請求項9】
命令が記憶されたコンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に記憶された命令が電子機器によって実行されるときに、以下のことを前記電子機器に実行させ、即ち、
処理すべき人体画像における初期候補領域を確定し、
前記処理すべき人体画像に対してフィルタリングすることにより、第１フィルタリング画像を得て、
前記第１フィルタリング画像における前記初期候補領域と同じ位置の第１フィルタリング候補領域を確定し、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域であり、
前記初期候補領域と第１フィルタリング候補領域において各位置が同じ画素点間の階調値の差に基づいて、前記初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分し、
前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第１融合係数を確定し、
前記第１融合係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域のそれぞれを、前記第１フィルタリング候補領域において位置が同じ領域と線形融合することによりし、処理後の瑕疵領域と処理後の非瑕疵領域を得て、
前記処理後の瑕疵領域と前記処理後の非瑕疵領域とを統合することにより、前記処理すべき人体画像における中間候補領域を得て、
前記初期候補領域と前記中間候補領域において各位置が同じ画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合を行うことにより、ターゲット候補領域を取得し、
前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力する、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連する出願の援用）
本開示は、２０２０年０６月１６日に中国特許庁に提出された出願番号２０２０１０５４７１３９.３、発明名称「人体画像処理方法、人体画像処理装置、電子機器および記憶媒体」の中国特許出願の優先権を主張し、その全ての内容は参照により本開示に援用する。
本開示は、２０２０年０６月１６日に中国特許庁に提出された出願番号２０２０１０５４７１３９.３、発明名称「人体画像処理方法、人体画像処理装置、電子機器および記憶媒体」の中国特許出願の優先権を主張し、その全ての内容は参照により本開示に援用する。
【0002】
本開示は、画像処理の分野に関し、特に人体画像処理方法および電子機器に関するものである。
【背景技術】
【0003】
画像技術の発展に伴い、端末装置は、生中継または撮影中に収集された画像に対して美顔を行い、例えば画像におけるニキビ跡、あざ、シミなどの顔面瑕疵の除去を実現することができる。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の実施例は、人体画像処理方法および電子機器を提供する。
【0005】
本開示の実施例による技術案は、以下の通りである。
【0006】
一側面によれば、
処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対して第１フィルタリング処理を行うことにより、第１フィルタリング画像を得て、前記第１フィルタリング画像における前記初期候補領域に対応する第１フィルタリング候補領域を確定し、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域であることと、
前記初期候補領域と第１フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分することと、
前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第１融合係数を確定し、前記第１融合係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域のそれぞれを、前記第１フィルタリング候補領域において対応する領域と線形融合処理し、処理後の前記瑕疵領域と前記非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とすることと、
前記初期候補領域と前記中間候補領域において各対応する画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合処理を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力することと、を含む、人体画像処理方法に関する。
処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対して第１フィルタリング処理を行うことにより、第１フィルタリング画像を得て、前記第１フィルタリング画像における前記初期候補領域に対応する第１フィルタリング候補領域を確定し、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域であることと、
前記初期候補領域と第１フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分することと、
前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第１融合係数を確定し、前記第１融合係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域のそれぞれを、前記第１フィルタリング候補領域において対応する領域と線形融合処理し、処理後の前記瑕疵領域と前記非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とすることと、
前記初期候補領域と前記中間候補領域において各対応する画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合処理を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力することと、を含む、人体画像処理方法に関する。
【0007】
別の側面によれば、
実行可能な命令を記憶するためのメモリと、
メモリに記憶された実行可能な命令を読み出して実行することにより、上記人体画像処理方法を実現するプロセッサと、を含む、電子機器に関する。
実行可能な命令を記憶するためのメモリと、
メモリに記憶された実行可能な命令を読み出して実行することにより、上記人体画像処理方法を実現するプロセッサと、を含む、電子機器に関する。
【0008】
別の側面によれば、命令が記憶されたコンピュータ可読記憶媒体に関し、前記コンピュータ可読記憶媒体に記憶された命令が電子機器によって実行されるときに、上記人体画像処理方法を前記電子機器に実行させることができる。
【図面の簡単な説明】
【0009】
【図1】本開示の実施例における受信された処理すべき人体画像の概略図である。
【図2】本開示の実施例における処理すべき人体画像の処理が完了した後に得られた画像の概略図である。
【図3】本開示の実施例における画像最適化の概略フローチャートである。
【図4】本開示の実施例における標準顔特徴点画像を確定する概略図である。
【図5】本開示の実施例における対応して確立された標準マスク画像の概略図である。
【図6】本開示の実施例における第１マスク画像の概略図である。
【図7】本開示の実施例における最適化された処理すべき人体画像の概略図である。
【図8】本開示の実施例における画像最適化を実行する電子機器の概略論理構造図である。
【図9】本開示の実施例における画像最適化を実行する電子機器の概略エンティティ構造図である。
【発明を実施するための形態】
【0010】
画像技術の発展に伴い、端末装置は、生中継または撮影中に収集された画像に対して美顔を行い、例えば画像におけるニキビ跡、あざ、シミなどの顔面瑕疵の除去を実現することができる。関連技術において、顔面瑕疵に対する処理は、以下のようないくつかの方法がある。
【0011】
第１の方法では、特定のニキビ除去アルゴリズムを採用することにより、ニキビ跡などの顔面瑕疵の除去を実現する。
【0012】
しかしながら、ニキビ除去アルゴリズムによる計算の複雑さのため、顔面瑕疵の除去に一定の処理時間が必要であり、現在、第１の方法は、写真撮影のみに使用され、リアルタイムで行われる生中継やビデオ通話には適用できない。
【0013】
第２の方法では、美肌補正を行って、美肌補正動作の処理レベルを調整することにより、顔面瑕疵の除去を実現する。
【0014】
しかしながら、図１と図２を参照すると、生中継またはビデオ通話をリアルタイムで行う過程で、図１に示すようなオリジナル画像が収集され、画像の美肌補正レベルを調整しない場合、顔面瑕疵に対して軽く改善処理を行うだけであり、顔面瑕疵の除去を実現するには美肌補正レベルを高くする必要があり、このようにすると、顔面瑕疵を除去した上で肌テクスチャを除去し、図２に示すような処理効果を生んで、明らかに、高い美肌補正レベルで処理された画像の顔の皮膚をつるつるとした純色に近くし、深刻な塗布跡が存在し、画像を明らかに歪ませる。
【0015】
第３の方法では、ＰＳ（Ｐｈｏｔｏｓｈｏｐ）技術を採用して、双曲線美肌補正方法に基づいて、処理すべき画像をグレースケール図に変換し、比較的に、顔面瑕疵部分はグレースケール図において階調値の小さい暗部として表示され、正常な皮膚領域は階調値の大きい明部として表示されるため、双曲線美肌補正により、暗部と明部のコントラストをより明確にし、この後、暗部に対応する顔面瑕疵を手動で除去する。
【0016】
第３の方法を採用すると、人工的な処理に依存して、１枚の画像を処理するのに多くの時間がかかり、リアルタイムで行われる生中継またはビデオ通話中に顔面瑕疵の除去を実現することができない。
【0017】
そこで、本開示の実施例において、処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対して第１フィルタリング処理を行うことにより、第１フィルタリング画像を得て、前記第１フィルタリング画像における前記初期候補領域に対応する第１フィルタリング候補領域を確定し、この後、前記初期候補領域と第１フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分し、さらに確定された第１融合係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域を、前記第１フィルタリング候補領域において対応する領域と線形融合処理し、処理後の瑕疵領域と処理後の非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とし、さらに前記初期候補領域と前記中間候補領域において各対応する画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合処理を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力する。
【0018】
本開示では、本開示に係る方法を実行できる処理装置は、サーバまたは処理能力を有する他の端末装置を含み、ここで、前記端末装置は、携帯電話、コンピュータ、処理能力のあるカメラ装置などを含むが、これらに限定されない。
【0019】
本開示では、まず、処理すべき人体画像における処理が必要な初期画像領域を確定し、前記処理すべき人体画像における処理しないことが望ましい部分、またはわずかに処理した部分に対してそれぞれマスクを行うことにより、対応するマスク画像を取得し、例えば、顔部の顔面瑕疵だけを処理する必要がある場合、処理しない顔部器官領域およびわずかに処理した面部器官エッジ領域に対して、標準マスク画像を予め作成し、前記標準マスク画像における異なる領域の画素点に対して、異なる階調値を設定し、ここで、異なる領域内の画素点に対して設定された階調値の大きさは、異なる領域内の画素点に対する処理の程度の強弱を特徴づける。
【0020】
さらに、処理すべき人体画像を取得した後、予め作成された基礎マスク画像および肌色検出技術に基づいて、前記処理すべき人体画像に対応する第１マスク画像および第２マスク画像を確定し、ひいては前記第１マスク画像および前記第２マスク画像における画素点を選別し、選別された画素点からなる領域を前記処理すべき人体画像における処理が必要な初期候補領域と確定する。
【0021】
同時に、得られた前記処理すべき人体画像に対して第１フィルタリング処理および第２フィルタリング処理をそれぞれ行うことにより、対応する第１フィルタリング画像および第２フィルタリング画像を得て、言い換えれば、人体画像に対して異なる程度のフィルタリングを行うことにより、第１フィルタリング画像および第２フィルタリング画像を得る。次に、前記第１フィルタリング画像における前記初期候補領域に対応する第１フィルタリング候補領域、および前記第２フィルタリング画像における前記初期候補領域に対応する第２フィルタリング候補領域を確定し、ひいては前記第１フィルタリング画像における第１フィルタリング候補領域および前記処理すべき人体画像における初期候補領域を線形融合することにより、前記処理すべき人体画像における中間候補領域を得る。
【0022】
さらに前記処理すべき人体画像における初期候補領域と前記処理すべき人体画像における中間候補領域において各対応する画素点の階調値の差に基づいて、前記処理すべき人体画像における中間候補領域に対して線形光重合を行うことにより、ターゲット候補領域を取得し、ここで、初期候補領域と中間候補領域において各対応する画素点とは、初期候補領域と中間候補領域において各位置が同じ画素点を指す。さらに、出力した画像の真正性を保証するために、選択肢の一つとして、ターゲット候補領域を含む前記処理すべき人体画像を前記第２フィルタリング画像と線形融合することにより、リアルな質感のターゲット画像を得る。
【0023】
以下、図３を参照して、本開示の選択可能な実施例を詳細に説明し、本開示の実施例は、サーバ、または処理能力を有する他の端末装置によって実行される。
【0024】
３０１において、処理すべき人体画像における初期候補領域を確定する。
【0025】
収集した処理すべき人体画像を取得した後、前記処理すべき人体画像をＩｎｐｕｔＩｍａｇｅとし、さらに前記処理すべき人体画像における初期候補領域を確定し、前記初期候補領域を確定するプロセスは、以下の通りである。
【0026】
Ｓ１において、前記処理すべき人体画像に対応する第１マスク画像および第２マスク画像を確定する。
【0027】
肌色検出技術を採用して、前記処理すべき人体画像に対応する第１マスク画像を取得し、予め配置された標準マスク画像をツイストマッピング（Ｗａｒｐマッピング）することにより、前記処理すべき人体画像に対応する第２マスク画像を得て、ここで、前記標準マスク画像における異なる領域の画素点は、異なる階調値に設定され、異なる階調値は、予め設定された異なる処理係数を特徴づける。
【0028】
いくつかの実施例では、まず、肌色検出技術を採用して前記処理すべき人体画像を検出し、前記処理すべき人体画像における皮膚領域と非皮膚領域を識別し、第１マスク画像を取得し、言い換えれば、当該人体画像に対して肌色検出を行うことにより、人体画像における皮膚領域と非皮膚領域を区分するための第１マスク画像を得て、ここで、前記第１マスク画像における各画素点の階調値は、識別された前記処理すべき人体画像において当該画素点の相対位置と同じ箇所が皮膚である確率値を特徴付ける。
【0029】
さらに、予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第２マスク画像を得て、ここで、前記標準マスク画像における異なる領域の画素点は、異なる階調値に設定され、異なる階調値は、予め設定された異なる処理係数を特徴づけ、なお、標準マスク画像における同じ領域の画素点は、同じ階調値に設定される。
【0030】
いくつかの実施例では、第２マスク画像を取得する前に、予め設定された顔特徴点識別モデルを用いて、前記処理すべき人体画像における候補顔特徴点を識別する。また、予め顔特徴点識別モデルを用いて、標準人体画像を識別することにより、標準人体特徴点画像を取得する。次に、実際の処理ニーズに応じて、処理しない画像領域を確定し、例えば、眉毛、目、口、涙袋、鼻孔、小鼻、顎ライン、目袋、法令線などの標準人体特徴点によって確定された顔特徴が存在する領域を、処理しない画像領域として選択的に設定する。そして、処理ニーズに応じて、前記処理しない画像領域内の画素点の階調値を設定して、標準マスク画像を確立する。
【0031】
いくつかの実施例では、後述する前記処理すべき人体画像の処理完了時に、処理しない画像領域に明らかな割れ目が存在することを回避するとともに、処理を必要とする画像領域と処理しない画像領域との間の自然な遷移を保証するために、前記処理を必要とする画像領域と前記処理しない画像領域のエッジには階調値をインクリメントさせ、前記エッジに対する適切な処理を実現する。
【0032】
いくつかの実施例では、標準マスク画像を配置する場合、標準マスク画像における各画素点の階調値を０～１の値に設定し、通常、階調値が １の画像領域は処理しない領域として設定され、階調値が０の領域は最も高度に処理され、階調値が小さいほど、対応する処理の程度が高くなり、標準マスク画像が確立され、ここで、前記処理の程度のレベルは、線形融合を行う場合の線形融合係数の大きさに現れ、線形融合係数に基づく画像間の線形融合の詳細について、後続のフローで説明し、ここでは説明しない。
【0033】
例えば、図４と図５を参照し、予め顔特徴点識別モデルに基づいて、図４に示された標準顔特徴点画像を確立し、処理しない領域が眉毛、目、鼻孔、唇、目尻であることを例に挙げて、前記眉毛、目、鼻孔、唇、目尻が存在する領域の画素点の階調値を1に設定すると仮定すると、図５の白色領域として表示され、前記眉毛、目、鼻孔、唇、目尻のエッジ領域を、階調値が１から０にグラデーションした領域に適応的に設定し、例えば０.８、０.７、０.６５から徐々に０にグラデーションして、図５に示された標準マスク画像を得る。
【0034】
さらに、予め設定された顔特徴点識別モデルを用いて、前記処理すべき人体画像における候補顔特徴点を識別し、次に、予め配置された標準顔特徴点画像および標準マスク画像を取得し、前記候補顔特徴点と前記標準顔特徴点との対応関係に基づいて、前記標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第２マスク画像を得る。
【0035】
なお、候補顔特徴点と標準顔特徴点との対応関係とは、人体画像における各候補顔特徴点と標準顔特徴点画像における標準顔特徴点とのマッピング関係を指し、さらに、各ペアになる特徴点のマッピング関係に基づいて、標準マスク画像をツイストマッピングすることにより、第２マスク画像を得る。
【0036】
いくつかの実施例では、前記処理すべき人体画像における候補顔特徴点を識別した後、前記候補顔特徴点を、予め配置された前記標準顔特徴点画像と比較して、人体画像における各候補顔特徴点と前記標準顔特徴点画像における標準顔特徴点とのマッピング関係を確立し、次に、ツイストマッピング（Ｗａｒｐ）方式を採用して、前記マッピング関係に基づいて、標準マスク画像をツイストマッピングすることにより、当該第２マスク画像を得る。
【0037】
なお、本開示の実施例において、標準マスク画像は、標準顔特徴点画像上でマスク被覆を行った後に得られる。ここで、前記第２マスク画像は、前記標準マスク画像のマスクマッピングに基づいて得られ、前記第２マスク画像は、処理すべき人体画像における異なる画像領域の処理の程度を示すために使用され、前記第１マスク画像における対応する領域の画素点の階調値をＳｋｉｎＭａｓｋと表記し、前記第１マスク画像は、肌色検出技術に基づいて前記処理すべき人体画像を検出した後に生成され、前記肌色検出技術は、画像を識別することにより、画像における各画素点が肌であるかどうかを判断するための確率値を出力することができ、本開示の実施例において、前記肌色検出技術の前記処理すべき人体画像における各画素点または各領域に対する確率値を、当該画素点または当該領域内の画素点の階調値として、前記第１マスク画像を確立し、前記第２マスク画像における対応する領域の画素点の階調値をＯｒｇａｎＭａｓｋと表記し、前記第２マスク画像における各画素点の階調値は、０～１の間である。
【0038】
Ｓ２において、第１マスク画像と第２マスク画像に基づいて前記処理すべき人体画像における初期候補領域を選別する。
【0039】
まず、第１マスク画像と第２マスク画像を確定した後、第１種の画素点として、前記第１マスク画像における階調値が予め設定された第１階調閾値より低い画素点を選別し、第２種の画素点として、前記第２マスク画像における階調値が予め設定された第２階調閾値より高い画素点を選別する。
【0040】
言い換えれば、第１マスク画像から選別することにより、第１種の画素点を得て、第１種の画素点の階調値は、第１階調閾値より低く、第２マスク画像から選別することにより、第２種の画素点を得て、第２種の画素点の階調値は、第２階調閾値より高い。
【0041】
次に、前記第１種の画素点の前記処理すべき人体画像における対応する領域を第１指定領域とし、前記第２種の画素点の前記処理すべき人体画像における対応する領域を第２指定領域とし、さらに前記処理すべき人体画像において前記第１指定領域および前記第２指定領域を含まない他の領域を初期候補領域として設定し、ここで、第１指定領域は、人体画像において第１種の画素点が示す領域であり、第２指定領域は、人体画像において第２種の画素点が示す領域である。
【0042】
例えば、図４～図６に示すように、前記処理すべき人体画像に対して顔特徴点識別を行った後、図５に示された標準マスク画像に基づいて、前記処理すべき人体画像に対応する第１マスク画像を得て、第１マスク画像における画素点の第１階調閾値を１に設定すると仮定すると、第１マスク画像における階調値が１より低い第１種の画素点が選別され、図６中の破線枠以外の顔領域（顔器官のエッジ領域を含む）に対応することができ、さらに肌色検出技術に基づいて、第２マスク画像を得て、第２マスク画像から階調値が予め設定された第２階調閾値より高い第２種の画素点を選別し、第２階調閾値を０に設定する場合、対応的に、図６中の顔皮膚、首皮膚を含むすべての皮膚領域を選別し、さらに、第１マスク画像から選別された前記顔領域の画素点（即ち第１種の画素点）と第２マスク画像から選別された皮膚領域の画素点（即ち第２種の画素点）のそれぞれに対応する分布領域とを統合し、処理が必要な前記処理すべき人体画像における初期候補領域を得る。
【0043】
このようにすると、実際の処理ニーズに応じて、第１マスク画像と第２マスク画像の画素点を選別することにより、前記処理すべき人体画像における処理する必要がある初期候補領域を確定することができ、前記処理すべき人体画像における異なる領域画像に対するオーダーメイドの処理を実現し、第1マスク画像と第2マスク画像に基づいて画素点を選別することにより、対応的に顔器官を除くすべての皮膚領域を初期候補領域とし、画像処理の有効性と制御可能性を保証する。
【0044】
３０２において、前記処理すべき人体画像に対して第１フィルタリング処理を行うことにより、第１フィルタリング画像を得て、前記第１フィルタリング画像における前記初期候補領域に対応する第１フィルタリング候補領域を確定し、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域である。
【0045】
収集した前記処理すべき人体画像を取得し、前記処理すべき人体画像に対して第１フィルタリング処理を行うことにより、前記処理すべき人体画像に対応する第１フィルタリング画像を得て、言い換えれば、第１フィルタリング方法で、人体画像に対してフィルタリングすることにより、第１フィルタリング画像を得て、ここで、前記第１フィルタリング方法は、平均値フィルタリング処理、ガウスフィルタリング処理、ガイドフィルタリング処理、および表面ぼかし処理を含むが、これらに限定されない。本開示では、これについて限定せず、ここでは説明しない。
【0046】
いくつかの実施例では、前記処理すべき人体画像に対して第１フィルタリング処理を行う前に、前記処理すべき人体画像を指定された倍数でサブサンプリングし、さらにサブサンプリング後の前記処理すべき人体画像に基づいて第１フィルタリング処理を行うことにより、第１フィルタリング画像を得て、前記処理すべき人体画像および第１フィルタリング画像を処理する前に、得られた第１フィルタリング画像を前記指定された倍数でアップサンプリングすることにより、前記処理すべき人体画像のサイズと同じ画像を得る。
【0047】
さらに、前記処理すべき人体画像における初期候補領域の前記処理すべき人体画像における位置に基づいて、前記第１フィルタリング画像における前記初期候補領域に対応する第１フィルタリング候補領域を確定し、ここで、初期候補領域に対応する第１フィルタリング候補領域とは、初期候補領域と同じ位置の第１フィルタリング候補領域を指し、言い換えれば、第１フィルタリング候補領域の第１フィルタリング画像における位置は、初期候補領域の人体画像における位置と同じである。
【0048】
例えば、前記処理すべき人体画像のサイズが１６８×１０２４で、予め設定された倍数が４倍に設定されると仮定すると、前記処理すべき人体画像に対して４倍のサブサンプリングを行った後、前記処理すべき人体画像は、サイズ４２×２５６の画像に圧縮され、前記サイズ４２×２５６の画像に対して第１フィルタリング処理を行うことにより、第１フィルタリング画像を得て、次に得られたサイズ４２×２５６の第１フィルタリング画像に対して４倍のアップサンプリングを行うことにより、サイズ１６８×１０２４の画像に復元し、前記処理すべき人体画像における初期候補領域の位置に基づいて、サイズ１６８×１０２４の第１フィルタリング画像から、前記初期候補領域と同じ位置の第１フィルタリング候補領域を確定する。
【0049】
このようにすると、一方、前記処理すべき人体画像のサイズを修正することなく、前記処理すべき人体画像におけるすべての画素点に対して直接に第１フィルタリング処理を行い、画像処理のきめ細かさを保証することができる。一方、前記処理すべき人体画像に対してサブサンプリングとアップサンプリングを行うことにより、処理時間を減少させ、リアルタイムで画像処理を行うことを保証するとともに、画像処理の効率を向上させる。
【0050】
３０３において、初期候補領域と第１フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分する。
【0051】
前記処理すべき人体画像における初期候補領域および第１フィルタリング画像における第１フィルタリング候補領域を確定した後、前記初期候補領域と第１フィルタリング候補領域において各対応する画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分する。
【0052】
いくつかの実施例では、前記初期候補領域および前記第１フィルタリング候補領域において相対位置が同じである２つの画素点を１組の画素点とし、画素点の組ごとの階調値の差に基づいて、前記初期候補領域内の瑕疵皮膚領域と非瑕疵皮膚領域を区分する。
【0053】
以下、前記処理すべき人体画像の初期候補領域に存在する画素点Ｘと第１フィルタリング画像の第１フィルタリング候補領域に存在する画素点Ｘ１を例に挙げて説明し、ここで、画素点Ｘと画素点Ｘ１の画像における位置の座標は、同じである。
【0054】
前記画素点Ｘと画素点Ｘ１との間の階調の差を計算し、ＤｉｆｆＩｍａｇｅ１と表記し、前記ＤｉｆｆＩｍａｇｅ１の値が０より小さいと確定した場合、前記画素点Ｘと画素点Ｘ１を１組の瑕疵画素点としてマークし、対応的に瑕疵マスク画像を設定し、ＤａｒｋＭａｓｋと表記し、且つ前記１組の瑕疵画素点を設定し、瑕疵画素点Ｘと瑕疵画素点Ｘ１の前記瑕疵マスク画像における対応する位置の画素点の階調値は１であり、他の位置の画素点の階調値は０に設定される。逆に、前記ＤｉｆｆＩｍａｇｅ１の値が０より大きいいと確定した場合、前記画素点Ｘと画素点Ｘ１を１組の非瑕疵画素点としてマークし、対応的に非瑕疵マスク画像を設定し、ＢｒｉｇｈｔＭａｓｋと表記し、且つ前記１組の非瑕疵画素点を設定し、非瑕疵画素点Ｘと非瑕疵画素点Ｘ１の前記非瑕疵マスク画像における対応する位置の画素点の階調値は１であり、他の位置の画素点の階調値は０である。
【0055】
さらに、前記処理すべき人体画像の初期候補領域において瑕疵画素点によって確定された領域を瑕疵皮膚領域に設定し、非瑕疵画素点によって確定された領域を非瑕疵皮膚領域に設定する。
【0056】
なお、前記処理すべき人体画像について、前記処理すべき人体画像における顔のニキビ、斑、あざなどの顔の瑕疵に対応して、前記処理すべき人体画像のグレースケール図では通常に階調値の低い画素点として表現され、第１フィルタリング画像は、通常に、高度にぼやけた画像として処理され、即ち、第１フィルタリング画像において、各画素点の階調値は、通常の皮膚の階調値より小さく、且つ近似的に同じであってもよく、さらに、前記処理すべき人体画像の初期候補領域における各画素点の階調値と、第１フィルタリング画像の第１候補領域内の画素点の階調値との大小関係を比較することにより、前記処理すべき人体画像の初期候補領域を、瑕疵皮膚領域と非瑕疵皮膚領域とに区分する。
【0057】
３０４において、瑕疵皮膚領域と非瑕疵皮膚領域内の各画素点の第１融合係数を確定し、前記第１融合係数に基づいて、前記瑕疵領域および前記非瑕疵領域のそれぞれを、前記第１フィルタリング候補領域において対応する領域と線形融合処理し、処理後の前記瑕疵領域と前記非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とする。
【0058】
言い換えれば、３０４において、瑕疵皮膚領域と非瑕疵皮膚領域内の各画素点の第１融合係数を確定し、前記第１融合係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域のそれぞれを、前記第１フィルタリング候補領域において位置が同じ領域と線形融合することにより、処理後の瑕疵領域と処理後の非瑕疵領域を得て、処理後の瑕疵領域と処理後の非瑕疵領域とを統合することにより、中間候補領域を得る。
【0059】
前記処理すべき人体画像の初期候補領域における瑕疵皮膚領域と非瑕疵皮膚領域を確定した後、前記初期候補領域における各画素点に対応して予め設定された処理係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域における各画素点の第１融合係数をそれぞれ確定し、さらに前記第１融合係数に基づいて前記初期候補領域における瑕疵皮膚領域および非瑕疵皮膚領域と前記第１フィルタリング画像における第１フィルタリング候補領域との線形融合を実現する。
【0060】
いくつかの実施例では、以下の２つの実施形態により、本開示の実施例において、前記瑕疵領域および前記非瑕疵領域を、前記第１フィルタリング候補領域において対応する領域と線形融合する処理プロセスを説明する。
【0061】
形態１として、取得した前記処理すべき人体画像を直接に処理する。
【0062】
前記処理すべき人体画像を取得した後、前記処理すべき人体画像のサイズを調整することなく、前記処理すべき人体画像に対して直接に第１フィルタリング処理を行うことにより、第１フィルタリング画像を得て、前記処理すべき人体画像における初期候補領域に対応した、前記第１フィルタリング画像における第１フィルタリング候補領域を確定し、前記初期候補領域と前記第１フィルタリング候補領域における各画素点の階調値に基づいて、前記初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分し、さらに対応する瑕疵マスク画像と非瑕疵マスク画像を確定する。
【0063】
なお、本開示の実施例において、前記第１フィルタリング画像が前記処理すべき人体画像に対して第１フィルタリング処理を行った後に得られるので、前記第１フィルタリング画像が、前記処理すべき人体画像における各画素点に必然的に１対１で対応し、且つ前記処理すべき人体画像に第１マスク画像と第２マスク画像が対応して設定され、前記処理すべき人体画像における瑕疵皮膚領域と非瑕疵皮膚領域が、それぞれ瑕疵皮膚マスク画像と非瑕疵皮膚マスク画像に対応するので、サイズが同じ第１フィルタリング画像、処理すべき人体画像、第１マスク画像、第２マスク画像、瑕疵マスク画像及び非瑕疵マスク画像の間に、相対位置が同じである画素点の間に関連性があり、相対位置が同じであることは、同じ方向を向いている異なる画像が同じ位置に配置されている場合、ある固定基準物に対して同じ位置にある画素点として記述する。
【0064】
本開示の実施例において、前記瑕疵皮膚領域および前記非瑕疵皮膚領域において、前記第１フィルタリング候補領域内の相対位置と同じである２つの画素点を１組の画素点とし、ここで、前記第１フィルタリング候補領域において前記瑕疵皮膚領域内の相対位置と同じである１組の画素点に対応する配置パラメータは、前記第１フィルタリング領域において前記非瑕疵皮膚領域内の相対位置と同じである１組の画素点に対応する配置パラメータと異なり、前記配置パラメータは、瑕疵皮膚領域および非瑕疵皮膚領域に対する処理の程度を特徴づける。
【0065】
さらに、画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、１組の画素点間のユークリッド距離を計算し、前記ユークリッド距離、前記１組の画素点の前記第１マスク画像における対応する画素点の階調値、前記１組の画素点の前記第２マスク画像における対応する処理係数、および予め設定された配置パラメータに基づいて、前記１組の画素点に対応する第１融合係数を確定し、さらに前記第１融合係数に基づいて、前記１組の画素点を１つの画素点に融合する。ここで、第１マスク画像は、人体画像に対して肌色検出を行うことにより得られ、第２マスク画像は、標準マスク画像をツイストマッピングすることにより得られる。
【0066】
以下、前記初期候補領域における瑕疵皮膚領域内にある任意の画素点Ｙと、前記第１フィルタリング候補領域において前記画素点Ｙに対応する位置にある同一の画素点Ｙ１とを例に挙げて、瑕疵皮膚領域内の画素点と第１フィルタリング候補領域の画素点とを線形融合するプロセスを説明する。
【0067】
【数1】
【0068】
ここで、ＦｌａｗＩｍａｇｅ１は、画素点Ｙと画素点Ｙ１とを線形融合処理した後に得られた前記処理すべき人体画像における中間候補領域内の対応する画素点の階調値を表し、ＩｎｐｕｔＩｍａｇｅは、前記処理すべき人体画像の瑕疵皮膚領域内に存在する画素点Ｙの階調値を表し、ＢｌｕｒＩｍａｇｅは、第１フィルタリング画像の第１フィルタリング候補領域内にある画素点Ｙ１の階調値を表し、
は、第１融合係数であり、ここで、ＤａｒｋＭａｓｋは、画素点Ｙの瑕疵マスク画像における対応する画素点の階調値、即ち１を表し、ａとｂは、瑕疵皮膚領域の画素点に対して予め設定された処理係数であり、実際の処理ニーズに応じて調整され、本開示の実施例において、ａは４を取り、ｂは０.５を取り、ＭｉｘＡｌｐｈａは、中間処理係数であり、ＭｉｘＡｌｐｈａの計算プロセスは、以下の通りであり、即ち、
【数2】
【数3】
【0069】
ここで、ＭｉｘＡｌｐｈａは、第１融合係数であり、ＢｌｕｒＩｍａｇｅは、第１フィルタリング画像における画素点Ｙ１の階調値を表し、ＩｎｐｕｔＩｍａｇｅは、前記処理すべき人体画像において前記画素点Ｙ１に対応する画素点Ｙの階調値を表し、ｄｉｓｔａｎｃｅ（ＢｌｕｒＩｍａｇｅ、ＩｎｐｕｔＩｍａｇｅ）は、画素点ＹとＹ１とのユークリッド距離を表し、ＯｒｇａｎＭａｓｋは、第２マスク画像において画素点ＹとＹ１に対応する画素点の階調値を表し、ＳｋｉｎＭａｓｋは、第１マスク画像において画素点ＹとＹ１に対応する画素点の階調値を表す。
【0070】
さらに、前記処理すべき人体画像の初期候補領域における瑕疵皮膚領域の画素点と第１フィルタリング画像との線形融合が完了した後、前記初期候補領域における非瑕疵皮膚領域に対して線形融合動作を行う。
【0071】
以下、前記初期候補領域における非瑕疵皮膚領域内にある任意の画素点Ｚと、前記第１フィルタリング候補領域において前記画素点Ｚに対応する位置にある同一の画素点Ｚ１とを例に挙げて、非瑕疵皮膚領域内の画素点と第１フィルタリング候補領域の画素点とを線形融合するプロセスを説明する。
【0072】
【数4】
【0073】
ここで、ＦｌａｗＩｍａｇｅ１は、瑕疵皮膚領域の線形融合処理が完了した前記処理すべき人体画像における対応する画素点Ｚの階調値を表し、ＢｌｕｒＩｍａｇｅは、第１フィルタリング画像における対応する画素点Ｚ１の階調値を表し、ＦｌａｗＩｍａｇｅ１′は、瑕疵領域の線形融合処理が完了した前記処理すべき人体画像における非瑕疵皮膚領域内の画素点の線形融合後の階調値を表し、
は、第１融合係数であり、ＤａｒｋＭａｓｋは、前記非瑕疵画素点Ｚの非瑕疵マスク画像における対応する画素点の階調値、即ち１を表し、ｃは、瑕疵皮膚領域内の画素点に対して予め設定された処理係数であり、実際の処理ニーズに応じて調整されることができ、本開示において、値は０.１を取り、ＭｉｘＡｌｐｈａの計算方法は、上述瑕疵皮膚領域の計算方法と同様であり、ここでは説明しない。
【数5】
【0074】
形態２として、サブサンプリングとアップサンプリングの連携処理を用いて前記処理すべき人体画像を処理する。
【0075】
前記処理すべき人体画像を取得した後に、前記処理すべき人体画像を指定された倍数でサブサンプリングした後、サブサンプリング処理すべき人体画像を得て、前記サブサンプリング処理すべき人体画像に対して第１フィルタリング処理を行うことにより、第１フィルタリング画像を得て、前記サブサンプリング処理すべき人体画像における初期候補領域に対応した、前記第１フィルタリング画像における第１フィルタリング候補領域を確定する。さらに、前記第１フィルタリング画像とサブサンプリング処理すべき人体画像のそれぞれに対応する画素点間の階調値に基づいて、前記サブサンプリング処理すべき人体画像における瑕疵皮膚領域と非瑕疵皮膚領域を確定し、同時に対応する瑕疵マスク画像と非瑕疵マスク画像を確定する。
【0076】
さらに、得られた瑕疵マスク画像、非瑕疵マスク画像、第１フィルタリング画像を前記指定された倍数でアップサンプリング処理することにより、前記処理すべき人体画像のサイズと同じ画像を得る。
【0077】
なお、本開示の実施例において、前記第１フィルタリング画像が前記処理すべき人体画像に対して第１フィルタリング処理を行った後に得られるので、前記第１フィルタリング画像が、前記処理すべき人体画像における各画素点に必然的に１対１で対応し、且つ前記処理すべき人体画像に第１マスク画像と第２マスク画像が対応して設定され、前記処理すべき人体画像における瑕疵皮膚領域と非瑕疵皮膚領域が、それぞれ瑕疵マスク画像と非瑕疵マスク画像に対応するので、サイズが同じ第１フィルタリング画像、処理すべき人体画像、第１マスク画像、第２マスク画像、瑕疵マスク画像及び非瑕疵マスク画像の間に、相対位置が同じである画素点の間に関連性があり、相対位置が同じであることは、同じ方向を向いている異なる画像が同じ位置に配置されている場合、ある固定基準物に対して同じ位置にある画素点として記述する。
【0078】
本開示の実施例において、前記瑕疵皮膚領域および前記非瑕疵皮膚領域において、前記第１フィルタリング候補領域内の相対位置と同じである２つの画素点を１組の画素点とし、ここで、前記第１フィルタリング候補領域において前記瑕疵皮膚領域内の相対位置と同じである１組の画素点に対応する配置パラメータは、前記第１フィルタリング領域において前記非瑕疵皮膚領域内の相対位置と同じである１組の画素点に対応する配置パラメータと異なり、前記配置パラメータは、瑕疵皮膚領域および非瑕疵皮膚領域に対する処理の程度を特徴づける。さらに、画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、１組の画素点間のユークリッド距離を計算し、前記ユークリッド距離、前記１組の画素点の前記第１マスク画像における対応する画素点の階調値、前記１組の画素点の前記第２マスク画像における対応する処理係数、および予め設定された配置パラメータに基づいて、前記１組の画素点に対応する第１融合係数を確定し、さらに前記第１融合係数に基づいて、前記１組の画素点を１つの画素点に融合する。
【0079】
さらに、形態１と同様な処理方法により、計算して得られた第１融合係数に基づいて、前記初期候補領域における瑕疵皮膚領域と非瑕疵皮膚領域とを、第１フィルタリング画像における第１フィルタリング候補領域と線形融合処理することを実現し、ここでは説明しない。
【0080】
このようにすると、前記第１フィルタリング画像における第１フィルタリング領域と前記処理すべき人体画像における瑕疵皮膚領域と非瑕疵皮膚領域との線形融合を実現し、そして、本開示の実施例において、瑕疵皮膚領域および非瑕疵皮膚領域に対して設定された処理係数が異なるので、瑕疵皮膚領域と非瑕疵皮膚領域の画素点を適切に調整することができ、前記処理すべき人体画像の初期候補領域における階調値の低い画素点に階調値を増加させることを実現し、具体的には、瑕疵皮膚領域内の画素点に対して増亮処理を行い、前記処理すべき人体画像における本来比較的明るい非瑕疵皮膚領域に対して適切な処理を行うことを実現し、これは皮膚の瑕疵部分が通常に明らかに暗い領域として表示されるため、線形融合の処理方法によって皮膚瑕疵部分の初期カバー処理を実現することができ、同時に、形態１の処理方法を用いることにより、元のサイズの前記処理すべき人体画像に基づいて操作し、前記処理すべき人体画像に対する細かい処理を実現することができ、形態２の処理方法を用いることにより、前記処理すべき人体画像を処理する過程において、サブサンプリングとアップサンプリングの連携により、前記処理すべき人体画像に対する迅速な処理を実現することができる。
【0081】
３０５において、前記初期候補領域と前記中間候補領域において各対応する画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合処理を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力する。
【0082】
前記処理すべき人体画像における初期候補領域を、第１フィルタリング画像における第１フィルタリング候補領域と線形融合した後、対応して前記処理すべき人体画像における中間候補領域を取得し、さらに、前記処理すべき人体画像における初期候補領域および前記処理すべき人体画像における中間候補領域において各対応する画素点の階調値をそれぞれに確定し、前記処理すべき人体画像における初期候補領域および前記処理すべき人体画像における中間候補領域において対応する画素点を１組の画素点とし、画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、１組の画素点間の階調値の差を確定し、前記階調値の差に基づいて前記処理すべき人体画像における中間候補領域を線形光重合する。さらに、前記中間候補領域において線形光重合処理された後の画素点に基づいて、前記処理すべき人体画像におけるターゲット候補領域を得る。
【0083】
つまり、初期候補領域と中間候補領域において各位置が同じ画素点間の階調値の差に基づいて、中間候補領域に対して線形光重合を行うことにより、ターゲット候補領域を取得する。
【0084】
以下、１組の画素点、前記処理すべき人体画像における初期候補領域にある画素点Ｍ、および前記処理すべき人体画像における中間候補領域にある画素点Ｍｃを例に挙げて説明する。
【0085】
前記処理すべき人体画像における初期候補領域内の画素点Ｍの階調値と、上記３０３に係る線形融合結果とに基づいて、前記処理すべき人体画像における中間候補領域内の画素点Ｍｃの階調値を確定し、画素点Ｍと画素点Ｍｃとの階調値の差を計算し、ＤｉｆｆＩｍａｇｅ２と表記し、得られたＤｉｆｆＩｍａｇｅ２に基づいて、前記中間候補領域内の画素点Ｍｃを線形光重合処理し、具体的に実現するための式は、次の通りであり、即ち、
ＤｉｆｆＩｍａｇｅ２＝ＦｌａｗＩｍａｇｅ１'－ＩｎｐｕｔＩｍａｇｅ＋ｄ。
ＤｉｆｆＩｍａｇｅ２＝ＦｌａｗＩｍａｇｅ１'－ＩｎｐｕｔＩｍａｇｅ＋ｄ。
【0086】
ここで、前記ＦｌａｗＩｍａｇｅ１’’は、前記処理すべき人体画像の中間候補領域内の画素点Ｍｃの階調値を表し、ＩｎｐｕｔＩｍａｇｅは、前記処理すべき人体画像の初期候補領域内の画素点Ｍの階調値を表し、ｄは、設定された調節パラメータであり、実際の処理ニーズに応じて調整されることができ、本開示において、値は適応的に０.５を取り、ＤｉｆｆＩｍａｇｅ２は、線形光重合処理するための基礎パラメータである。
【0087】
ＦｌａｗＩｍａｇｅ２＝２.０＊ＤｉｆｆＩｍａｇｅ２＋ＦｌａｗＩｍａｇｅ１'－１.０
【0088】
ここで、ＦｌａｗＩｍａｇｅ２は、画素点Ｍｃを線形光重合処理した後に得られた前記処理すべき人体画像におけるターゲット候補領域において対応する画素点の階調値を表す。
【0089】
このようにすると、前記処理すべき人体画像における中間候補領域内の画素点と前記処理すべき人体画像における初期候補領域において対応する画素点間の階調値の差に基づいて、線形光重合処理を採用して、前記処理すべき人体画像の中間候補領域における画素点の階調値をさらに調整することにより、瑕疵を除去した処理すべき人体画像を得る。
【0090】
なお、本開示の実施例において、前記処理すべき人体画像における初期候補領域を確定した後、且つ前記処理すべき人体画像におけるターゲット候補領域を得る前に、前記処理すべき人体画像を設定された倍数でサブサンプリング処理し、さらに第２フィルタリング処理を行うことにより、前記処理すべき人体画像に対応する第２フィルタリング画像を得て、前記第２フィルタリング画像において前記処理すべき人体画像における初期候補領域に対応する第２フィルタリング候補領域を確定し、または、前記処理すべき人体画像に対して第２フィルタリング処理を行うことにより、第２フィルタリング画像を得て、前記第２フィルタリング画像において前記処理すべき人体画像における初期候補領域に対応する第２フィルタリング候補領域を確定する。さらに、前記第２フィルタリング画像における第２フィルタリング候補領域を、前記処理すべき人体画像におけるターゲット候補領域と線形融合処理することにより、前記処理すべき画像に対する処理が完了した後に得られた出力可能なターゲット画像を取得する。
【0091】
さらに、設定された倍数でサブサンプリング処理された前記処理すべき人体画像について、第２フィルタリング処理を行うことにより第２フィルタリング画像を得た後に、前記第２フィルタリング画像と前記処理すべき人体画像のサイズが同じになるようにするために、得られた第２フィルタリング画像を前記設定された倍数で適応的にアップサンプリング処理する必要があり、ここで、前記第２フィルタリング処理の方法は、ガイドフィルタリング処理、ガウスフィルタリング処理などを実行することを含むが、これらに限定されない。
【0092】
なお、本開示の実施例において、ガイドフィルタリングの処理方法を用いて、前記処理すべき人体画像に基づいて第２フィルタリング画像を得る場合、前記処理すべき人体画像をガイドマップおよび出力マップとして処理することにより、得られた第２フィルタリング画像がエッジ保存平滑化の特性を持つようにする。
【0093】
前記第２フィルタリング画像における第２フィルタリング候補領域および前記処理すべき人体画像におけるターゲット候補領域がいずれも同一の処理すべき人体画像に基づいて得られるので、前記第２フィルタリング画像、前記処理すべき人体画像におけるターゲット候補領域が、前記処理すべき人体画像に基づいて得られた前記第２マスク画像と同様に対応する。
【0094】
さらに、以下の式により、前記第２フィルタリング画像における第２フィルタリング候補領域内の画素点を、対応する前記処理すべき人体画像におけるターゲット候補領域内の画素点と線形融合する。
【0095】
ＯｕｔｐｕｔＩｍａｇｅ＝ｍｉｘ（ＦｌａｗＩｍａｇｅ２,ＧＦＩｍａｇｅ、ＳｋｉｎＭａｓｋ＊ＢｌｕｒＡｌｐｈａ）
【0096】
ここで、ＯｕｔｐｕｔＩｍａｇｅは、処理後の前記処理すべき人体画像におけるターゲット候補領域に対応する画素点の階調値を表し、ＦｌａｗＩｍａｇｅ２は、前記処理すべき人体画像におけるターゲット候補領域内のある画素点の階調値を表し、ＧＦＩｍａｇｅは、前記ある画素点に対応する前記第２フィルタリング画像における画素点の階調値を表し、ＳｋｉｎＭａｓｋは、第１マスク画像における前記ある画素点に対応する画素点の階調値を表し、ＢｌｕｒＡｌｐｈａは、予め設定された調整可能なパラメータであり、実際のニーズに応じて適応的に調節されることができる。
【0097】
上記のプロセスでは、処理すべき人体画像に対してフィルタリングすることにより、当該第２フィルタリング画像を得て、処理すべき人体画像に対して肌色検出を行うことにより、第１マスク画像を得た後に、第１マスク画像とターゲット候補領域を含む人体画像において各位置が同じ画素点の階調値に基づいて、各画素点の第２融合係数を確定し、さらに、第２融合係数に基づいて、第２フィルタリング画像をターゲット候補領域を含む人体画像と線形融合することにより、ターゲット画像を取得し、さらにターゲット画像を出力する。
【0098】
なお、本開示の実施例の実際の構成では、動画や生放送の応用シーンにおいて、取得した前記処理すべき人体画像がキャスターやインタラクティブビデオの画像である場合、人物の皮膚領域および設定された器官エッジ領域を初期候補領域とし、調整可能なパラメータＢｌｕｒＡｌｐｈａを設定して画像の調整を行い、ＢｌｕｒＡｌｐｈａの値が大きいほど、対応して得られた出力画像における人物の肌の均一性が良くなり、ＢｌｕｒＡｌｐｈａの値が小さいほど、対応して得られた出力画像における人物の肌テクスチャが多く残り、画像がよりリアルになり、例えばＢｌｕｒＡｌｐｈａの値を０.３とし、肌の均一性と真正性を両立させる。
【0099】
このようにすると、図７に示された処理結果を得ることができ、図２と図７とを比較して分かるように、本開示による技術案では、皮膚領域の瑕疵を除去するとともに、皮膚のテクスチャを保証し、得られた画像をよりリアルにし、ガイドフィルタリングを採用することでエッジ保存されたフィルタリング画像を得ることができ、エッジ保存されたフィルタリング画像と線形融合することにより、処理後のターゲット画像に真実ではない塗り付け感が現れることを回避でき、処理後のターゲット画像が美観で自然であることを保証する。
【0100】
同一の発明概念に基づいて、図８に示すように、本開示の実施例において、人体画像処理装置８００は、少なくとも確定ユニット８０１、区分ユニット８０２、処理ユニット８０３、および出力ユニット８０４を含み、ここで、
確定ユニット８０１は、処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対してフィルタリングすることにより、第１フィルタリング画像を得て、前記第１フィルタリング画像における前記初期候補領域と同じ位置の第１フィルタリング候補領域を確定するように構成され、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域である。
確定ユニット８０１は、処理すべき人体画像における初期候補領域を確定し、前記処理すべき人体画像に対してフィルタリングすることにより、第１フィルタリング画像を得て、前記第１フィルタリング画像における前記初期候補領域と同じ位置の第１フィルタリング候補領域を確定するように構成され、ここで、前記初期候補領域は、指定領域を含まない皮膚領域であり、前記指定領域は、処理を必要としない予め設定された領域である。
【0101】
区分ユニット８０２は、前記初期候補領域と第１フィルタリング候補領域において各位置が同じ画素点間の階調値の差に基づいて、前記処理すべき人体画像における初期候補領域を瑕疵皮膚領域と非瑕疵皮膚領域に区分するように構成される。
【0102】
処理ユニット８０３は、前記瑕疵皮膚領域と前記非瑕疵皮膚領域内の各画素点の第１融合係数を確定し、前記第１融合係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵皮膚領域のそれぞれを、前記第１フィルタリング候補領域において位置が同じ領域と線形融合し、処理後の瑕疵領域と処理後の非瑕疵領域とを統合した後に前記処理すべき人体画像における中間候補領域とするように構成される。
【0103】
出力ユニット８０４は、前記初期候補領域と前記中間候補領域において各位置が同じ画素点間の階調値の差に基づいて、前記中間候補領域に対して線形光重合を行うことにより、ターゲット候補領域を取得し、前記ターゲット候補領域を含む前記処理すべき人体画像をターゲット画像として出力するように構成される。
【0104】
いくつかの実施例では、前記確定ユニット８０１は、
肌色検出技術を採用して、処理すべき人体画像に対して肌色検出を行うことにより、前記処理すべき人体画像に対応する第１マスク画像を取得し、予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第２マスク画像を得るために使用され、ここで、前記標準マスク画像における異なる領域の画素点は、異なる階調値に設定され、異なる階調値は、予め設定された異なる処理係数を特徴づけ、
第１種の画素点として、前記第１マスク画像における階調値が予め設定された第１階調閾値より低い画素点を選別し、第２種の画素点として、前記第２マスク画像における階調値が予め設定された第２階調閾値より高い画素点を選別し、
前記第１種の画素点の前記処理すべき人体画像における対応する領域を第１指定領域とし、前記第２種の画素点の前記処理すべき人体画像における対応する領域を第２指定領域とし、
前記処理すべき人体画像において前記第１指定領域および前記第２指定領域を含まない他の領域を初期候補領域として設定する、ように構成される。
肌色検出技術を採用して、処理すべき人体画像に対して肌色検出を行うことにより、前記処理すべき人体画像に対応する第１マスク画像を取得し、予め配置された標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第２マスク画像を得るために使用され、ここで、前記標準マスク画像における異なる領域の画素点は、異なる階調値に設定され、異なる階調値は、予め設定された異なる処理係数を特徴づけ、
第１種の画素点として、前記第１マスク画像における階調値が予め設定された第１階調閾値より低い画素点を選別し、第２種の画素点として、前記第２マスク画像における階調値が予め設定された第２階調閾値より高い画素点を選別し、
前記第１種の画素点の前記処理すべき人体画像における対応する領域を第１指定領域とし、前記第２種の画素点の前記処理すべき人体画像における対応する領域を第２指定領域とし、
前記処理すべき人体画像において前記第１指定領域および前記第２指定領域を含まない他の領域を初期候補領域として設定する、ように構成される。
【0105】
いくつかの実施例では、前記確定ユニット８０１は、
予め設定された顔特徴点識別モデルを用いて、前記処理すべき人体画像における候補顔特徴点を識別し、
予め配置された標準顔特徴点画像および標準マスク画像を取得し、前記候補顔特徴点と前記標準顔特徴点画像における標準顔特徴点とのマッピング関係に基づいて、前記標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第２マスク画像を得る、ように構成される。
予め設定された顔特徴点識別モデルを用いて、前記処理すべき人体画像における候補顔特徴点を識別し、
予め配置された標準顔特徴点画像および標準マスク画像を取得し、前記候補顔特徴点と前記標準顔特徴点画像における標準顔特徴点とのマッピング関係に基づいて、前記標準マスク画像をツイストマッピングすることにより、前記処理すべき人体画像に対応する第２マスク画像を得る、ように構成される。
【0106】
いくつかの実施例では、前記処理ユニット８０３は、さらに、
【0107】
前記処理すべき人体画像を指定された倍数でサブサンプリング処理し、
得られた第１フィルタリング画像を前記指定された倍数でアップサンプリングする、ように構成される。
得られた第１フィルタリング画像を前記指定された倍数でアップサンプリングする、ように構成される。
【0108】
いくつかの実施例では、前記処理ユニット８０３は、さらに、
前記初期候補領域における各画素点に対して予め設定された処理係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵領域における各画素点の第１融合係数をそれぞれ確定するように構成される。
前記初期候補領域における各画素点に対して予め設定された処理係数に基づいて、前記瑕疵皮膚領域および前記非瑕疵領域における各画素点の第１融合係数をそれぞれ確定するように構成される。
【0109】
いくつかの実施例では、前記処理ユニット８０３は、さらに、
前記瑕疵皮膚領域および前記非瑕疵皮膚領域において、前記第１フィルタリング候補領域内の相対位置と同じである２つの画素点を１組の画素点とするように構成され、ここで、前記第１フィルタリング候補領域において前記瑕疵皮膚領域内の相対位置と同じである１組の画素点に対応する配置パラメータは、前記第１フィルタリング候補領域において前記非瑕疵皮膚領域内の相対位置と同じである１組の画素点に対応する配置パラメータと異なり、前記配置パラメータは、瑕疵皮膚領域および非瑕疵皮膚領域に対する処理の程度を特徴づけ、
画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、
１組の画素点間のユークリッド距離を計算し、前記ユークリッド距離、前記１組の画素点の前記第１マスク画像における対応する画素点の階調値、前記１組の画素点の前記第２マスク画像における対応する処理係数、および予め設定された配置パラメータに基づいて、前記１組の画素点に対応する第１融合係数を確定し、前記第１マスク画像は、前記人体画像に対して肌色検出を行うことにより得られ、前記第２マスク画像は、標準マスク画像をツイストマッピングすることにより得られ、
前記第１融合係数に基づいて、前記１組の画素点を１つの画素点に融合する。
前記瑕疵皮膚領域および前記非瑕疵皮膚領域において、前記第１フィルタリング候補領域内の相対位置と同じである２つの画素点を１組の画素点とするように構成され、ここで、前記第１フィルタリング候補領域において前記瑕疵皮膚領域内の相対位置と同じである１組の画素点に対応する配置パラメータは、前記第１フィルタリング候補領域において前記非瑕疵皮膚領域内の相対位置と同じである１組の画素点に対応する配置パラメータと異なり、前記配置パラメータは、瑕疵皮膚領域および非瑕疵皮膚領域に対する処理の程度を特徴づけ、
画素点の組ごとに、以下の動作をそれぞれ実行し、即ち、
１組の画素点間のユークリッド距離を計算し、前記ユークリッド距離、前記１組の画素点の前記第１マスク画像における対応する画素点の階調値、前記１組の画素点の前記第２マスク画像における対応する処理係数、および予め設定された配置パラメータに基づいて、前記１組の画素点に対応する第１融合係数を確定し、前記第１マスク画像は、前記人体画像に対して肌色検出を行うことにより得られ、前記第２マスク画像は、標準マスク画像をツイストマッピングすることにより得られ、
前記第１融合係数に基づいて、前記１組の画素点を１つの画素点に融合する。
【0110】
いくつかの実施例では、前記出力ユニット８０４は、さらに、前記処理すべき人体画像に対してフィルタリングすることにより、第２フィルタリング画像を得て、
前記第１マスク画像において前記ターゲット候補領域を含む前記処理すべき人体画像に対応する各画素点の階調値に基づいて、各画素点の第２融合係数を確定し、前記第２融合係数に基づいて前記第２フィルタリング画像を前記ターゲット候補領域を含む前記処理すべき人体画像と線形融合することにより、処理後の前記処理すべき人体画像を取得しターゲット画像として出力するように構成される。
前記第１マスク画像において前記ターゲット候補領域を含む前記処理すべき人体画像に対応する各画素点の階調値に基づいて、各画素点の第２融合係数を確定し、前記第２融合係数に基づいて前記第２フィルタリング画像を前記ターゲット候補領域を含む前記処理すべき人体画像と線形融合することにより、処理後の前記処理すべき人体画像を取得しターゲット画像として出力するように構成される。
【0111】
同一の発明概念に基づいて、図９に示すように、人体画像処理装置９００は、サーバまたは処理機能を有する端末装置である。図９を参照すると、装置９００は、１つ以上のプロセッサをさらに含む処理コンポーネント９２２と、処理コンポーネント９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するためのメモリ９３２で表されるメモリリソースとを含む。メモリ９３２に記憶されたアプリケーションプログラムは、それぞれが１組の命令に対応する１つ以上のモジュールを含む。また、処理コンポーネント９２２は、命令を実行することにより上記方法を実行するように構成される。
【0112】
装置９００は、装置９００の電源管理を実行するように構成される電源コンポーネント９２６と、装置９００をネットワークに接続するように構成される有線又は無線ネットワークインターフェース９５０と、入出力（I/O）インターフェース９５８とをさらに含む。装置９００は、例えばWindows Server TM、Mac OS X TM、UnixTM、Linux（登録商標） TM、FreeBSD TM又は類似するものなどのメモリ９３２に記憶されたオペレーティングシステムに基づいて操作する。
【0113】
同一の発明概念に基づいて、本開示の実施例において人体画像処理に基づく実施例では、実行可能な命令を記憶するためのメモリと、メモリに記憶された実行可能な命令を読み出して実行することにより、上記実施例のいずれかの人体画像処理方法を実現するために使用されるプロセッサと、を含む電子機器を提供する。
【0114】
同一の発明概念に基づいて、本開示の実施例において人体画像処理に基づく実施例では、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体に記憶された命令が電子機器によって実行されるときに、上記実施例のいずれかの人体画像処理方法を前記電子機器に実行させることができる。コンピュータ可読記憶媒体は、磁気ディスクメモリ、読み出し専用光ディスク（Compact Disc Read-Only Memory、CD-ROM）、光メモリなどを含むがこれらに限定されない。
【0115】
以上のように、本開示の実施例による技術案は、皮膚瑕疵が通常に画像のグレースケール図において階調値が小さい領域として表現されるという事実に基づいて、処理すべき人体画像における画素点の階調値を調整することにより、リアルタイムで皮膚瑕疵を除去することが可能となり、画像処理結果のリアルな質感を確保し、画像の処理品質を向上させ、画像の処理効果を劇的に向上させ、生中継またはビデオ撮影の際に、画像のリアルタイム処理を実現する。
【0116】
本開示のすべての実施例は、単独で実行されることができ、または他の実施例と組み合わせて実行されることができ、本開示によって要求される保護範囲とみなされる。
【符号の説明】
【0117】
８００ 装置
８０１ 確定ユニット
８０２ 区分ユニット
８０３ 処理ユニット
８０４ 出力ユニット
９００ 人体画像処理装置
９２２ 処理コンポーネント
９２６ 電源コンポーネント
９３２ メモリ
９５０ ネットワークインターフェース
９５８ 入出力インターフェース
８０１ 確定ユニット
８０２ 区分ユニット
８０３ 処理ユニット
８０４ 出力ユニット
９００ 人体画像処理装置
９２２ 処理コンポーネント
９２６ 電源コンポーネント
９３２ メモリ
９５０ ネットワークインターフェース
９５８ 入出力インターフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】