特許 7114774 顔融合モデルのトレーニング方法、装置及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-29

(45)【発行日】2022-08-08

(54)【発明の名称】顔融合モデルのトレーニング方法、装置及び電子機器

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220801BHJP

【ＦＩ】

G06T7/00 300D

G06T7/00 660A

【請求項の数】 15

(21)【出願番号】P 2021051619

(22)【出願日】2021-03-25

(65)【公開番号】P2021103574

(43)【公開日】2021-07-15

【審査請求日】2021-03-25

(31)【優先権主張番号】202010307679.4

(32)【優先日】2020-04-17

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】ヤオ， クン

(72)【発明者】

【氏名】ホン， ジービン

(72)【発明者】

【氏名】シュー， ジェティン

【審査官】千葉 久博

(56)【参考文献】

【文献】特表２０２０－５０８５２２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２５１４０１（ＵＳ，Ａ１）

【文献】須貝聡子, 外1名，“ポーズ画像の生成における非対象物除去の効果”，研究報告コンピュータビジョンとイメージメディア（CVIM），日本，情報処理学会，2019年10月31日，第2019-CVIM-219巻, 第1号，p.1-5

【文献】Fangneng Zhan, 外2名，"Spatial Fusion GAN for Image Synthesis"，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，米国，IEEE，2019年06月15日，p.3648-3657

【文献】Donggyu Joo, 外2名，"Generating a Fusion Image: One's Identity and Another's Shape"，2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，米国，IEEE，2018年06月18日，p.1635-1643

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

ユーザ画像とテンプレート画像に対して顔交換処理を行って、顔交換された参照テンプレート画像を生成するステップと、
前記参照テンプレート画像における顔領域の五官情報を用いて、前記テンプレート画像の五官姿勢を調整して、第１の入力画像を生成するステップと、
前記テンプレート画像に対して自己顔交換処理を行って、第２の入力画像を生成するステップであって、前記自己顔交換処理とは、前記テンプレート画像をそれぞれ基底画像とターゲット顔を含むソース画像として、前記テンプレート画像に対して顔交換処理を行うことを指すステップと、
前記第１の入力画像及び前記第２の入力画像を初期顔融合モデルのジェネレータに入力して、融合された顔領域画像を生成するステップと、
前記融合された顔領域画像と前記テンプレート画像の背景領域画像を融合して、融合画像を生成するステップと、
前記融合画像と前記テンプレート画像を、それぞれ前記初期顔融合モデルの判別器に入力し、前記判別器の判別結果に基づいて、顔融合モデルが生成されるまで、前記初期顔融合モデルに対して逆伝播補正を行うステップと、を含むことを特徴とする、顔融合モデルのトレーニング方法。

【請求項2】

前記初期顔融合モデルのジェネレータによって、前記第１の入力画像及び前記第２の入力画像を処理するステップの前に、
予め設定されたルールに従って、前記第２の入力画像における顔の肌色を調整するステップをさらに含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記予め設定されたルールに従って、前記第２の入力画像における顔の肌色を調整するステップの前に、
前記第２の入力画像における顔の肌色に基づいて、ターゲット肌色調整範囲を決定するステップをさらに含み、
前記予め設定されたルールに従って、前記第２の入力画像における顔の肌色を調整するステップは、
予め設定されたルールに従って、前記ターゲット肌色調整範囲内に前記第２の入力画像における顔の肌色を調整するステップを含むことを特徴とする、請求項２に記載の方法。

【請求項4】

前記予め設定されたルールに従って、前記第２の入力画像における顔の肌色を調整するステップは、
予め設定された調整値に従って、前記第２の入力画像における顔の予め設定された領域の肌色を調整するステップを含むことを特徴とする、請求項２または３に記載の方法。

【請求項5】

請求項１から４のいずれかに記載の顔融合モデルを応用した顔融合方法であって、
顔融合要求を取得するステップであって、前記融合要求にはターゲットユーザ画像とターゲットテンプレート画像とが含まれるステップと、
前記ターゲットユーザ画像及び前記ターゲットテンプレート画像に対して顔交換処理を行って、顔交換された参照テンプレート画像を生成するステップと、
前記参照テンプレート画像に基づいて、前記ターゲットテンプレート画像に対して五官姿勢調整を行って、入力画像を生成するステップと、
前記顔融合モデルのジェネレータによって前記入力画像及び前記参照テンプレート画像を処理し、融合された顔領域画像を生成するステップと、
前記融合された顔領域画像と前記ターゲットテンプレート画像における背景領域画像を融合して、ターゲット融合画像を生成するステップと、を含むことを特徴とする顔融合方法。

【請求項6】

前記ターゲット融合画像を生成するステップの後に、
前記ターゲットテンプレート画像における顔領域に遮蔽物が含まれるか否かを検出するステップと、
前記ターゲットテンプレート画像における顔領域に遮蔽物が含まれる場合、前記ターゲットテンプレート画像から前記遮蔽物を分割するステップと、
前記ターゲットテンプレート画像内の前記遮蔽物の位置に基づいて、前記遮蔽物と前記ターゲット融合画像を合成して、ターゲット画像を生成するステップと、をさらに含むことを特徴とする、請求項５に記載の顔融合方法。

【請求項7】

ユーザ画像とテンプレート画像に対して顔交換処理を行って、顔交換された参照テンプレート画像を生成するための第１の生成モジュールと、
前記参照テンプレート画像における顔領域の五官情報を用いて、前記テンプレート画像の五官姿勢を調整して、第１の入力画像を生成するための第２の生成モジュールと、
前記テンプレート画像に対して自己顔交換処理を行って、第２の入力画像を生成するための第３の生成モジュールであって、前記自己顔交換処理とは、前記テンプレート画像をそれぞれ基底画像とターゲット顔を含むソース画像として、前記テンプレート画像に対して顔交換処理を行うことを指す第３の生成モジュールと、
前記第１の入力画像及び前記第２の入力画像を初期顔融合モデルのジェネレータに入力して、融合された顔領域画像を生成するための第４の生成モジュールと、
前記融合された顔領域画像と前記テンプレート画像の背景領域画像を融合して、融合画像を生成するための第５の生成モジュールと、
前記融合画像と前記テンプレート画像を、それぞれ前記初期顔融合モデルの判別器に入力し、前記判別器の判別結果に基づいて、顔融合モデルが生成されるまで、前記初期顔融合モデルに対して逆伝播補正を行うための補正モジュールと、を含むことを特徴とする、顔融合モデルのトレーニング装置。

【請求項8】

予め設定されたルールに従って、前記第２の入力画像における顔の肌色を調整するための調整モジュールをさらに含むことを特徴とする、請求項７に記載の装置。

【請求項9】

前記第２の入力画像における顔の肌色に基づいて、ターゲット肌色調整範囲を決定するための決定モジュールをさらに含み、
前記調整モジュールは、
予め設定されたルールに従って、前記ターゲット肌色調整範囲内に前記第２の入力画像における顔の肌色を調整するための第１の調整ユニットを含むことを特徴とする、請求項８に記載の装置。

【請求項10】

前記調整モジュールは、
予め設定された調整値に従って、前記第２の入力画像における顔の予め設定された領域の肌色を調整するための第２の調整ユニットを含むことを特徴とする、請求項８または９に記載の装置。

【請求項11】

請求項７から１０のいずれかに記載の顔融合モデルを応用した顔融合装置であって、
顔融合要求を取得するための取得モジュールであって、前記融合要求にはターゲットユーザ画像とターゲットテンプレート画像とが含まれる取得モジュールと、
前記ターゲットユーザ画像及び前記ターゲットテンプレート画像に対して顔交換処理を行って、顔交換された参照テンプレート画像を生成するための第１の生成モジュールと、
前記参照テンプレート画像に基づいて、前記ターゲットテンプレート画像に対して五官姿勢調整を行って、入力画像を生成するための第２の生成モジュールと、
前記顔融合モデルのジェネレータによって前記入力画像及び前記参照テンプレート画像を処理し、融合された顔領域画像を生成するための第３の生成モジュールと、
前記融合された顔領域画像と前記ターゲットテンプレート画像における背景領域画像を融合して、ターゲット融合画像を生成するための第４の生成モジュールと、を含むことを特徴とする、顔融合装置。

【請求項12】

前記ターゲットテンプレート画像における顔領域に遮蔽物が含まれるか否かを検出するための検出モジュールと、
前記ターゲットテンプレート画像における顔領域に遮蔽物が含まれる場合、前記ターゲットテンプレート画像から前記遮蔽物を分割するための分割モジュールと、
前記ターゲットテンプレート画像内の前記遮蔽物の位置に基づいて、前記遮蔽物と前記ターゲット融合画像を合成して、ターゲット画像を生成するための第５の生成モジュールと、をさらに含むことを特徴とする、請求項１１に記載の顔融合装置。

【請求項13】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが請求項１から４または５から６のいずれかに記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行されることを特徴とする、電子機器。

【請求項14】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、前記コンピュータに請求項１から４または５から６のいずれかに記載の方法を実行させることを特徴とする、非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項15】

コンピュータプログラムであって、
前記コンピュータプログラムは、コンピュータに請求項１から４または５から６のいずれかに記載の方法を実行させることを特徴とする、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、画像処理技術分野に関し、特に人工知能技術分野に関し、顔融合モデルのトレーニング方法、装置及び電子機器を提供する。

【背景技術】

【0002】

顔融合は、ターゲット顔をユーザ画像からテンプレート画像にシームレスに融合させることを目的とし、融合された画像は顔領域の意味的合理性及びエッジの整合性を維持する必要がある。

【0003】

関連技術では、顔融合を行う際に、テンプレート画像内の顔領域とユーザ画像内の顔領域では、照明条件や個人の肌色の違いが大きいなどの場合があるため、融合された画像の肌色の違いが大きいという問題が生じやすい。

【発明の概要】

【発明が解決しようとする課題】

【0004】

顔融合モデルのトレーニング方法、装置、電子機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

第１の態様は、顔融合モデルのトレーニング方法を提供し、ユーザ画像とテンプレート画像に顔交換処理を行って顔交換された参照テンプレート画像を生成するステップと、前記顔交換された参照テンプレート画像に基づいて、前記テンプレート画像に五官姿勢調整を行って第１の入力画像を生成するステップと、前記テンプレート画像に自己顔交換処理を行って第２の入力画像を生成するステップと、前記第１の入力画像及び前記第２の入力画像を初期顔融合モデルのジェネレータに入力して融合された顔領域画像を生成するステップと、前記融合された顔領域画像と前記テンプレート画像の背景領域画像を融合して融合画像を生成するステップと、前記融合画像と前記テンプレート画像を、それぞれ前記初期顔融合モデルの判別器に入力し、前記判別器の判別結果に基づいて、顔融合モデルが生成されるまで、前記初期顔融合モデルに逆伝播補正を行うステップと、を含む。

【0006】

第２の態様は、前述のような顔融合モデルを応用した顔融合方法を提供し、顔融合要求を取得するステップであって、前記融合要求にはターゲットユーザ画像とターゲットテンプレート画像とが含まれるステップと、前記ターゲットユーザ画像及び前記ターゲットテンプレート画像に顔交換処理を行って顔交換された参照テンプレート画像を生成するステップと、前記参照テンプレート画像に基づいて、前記ターゲットテンプレート画像に五官姿勢調整を行って入力画像を生成するステップと、前記顔融合モデルのジェネレータによって前記入力画像及び前記参照テンプレート画像を処理し、融合された顔領域画像を生成するステップと、前記融合された顔領域画像と前記ターゲットテンプレート画像における背景領域画像を融合してターゲット融合画像を生成するステップと、を含む。

【0007】

第３の態様は、顔融合モデルのトレーニング装置を提供し、ユーザ画像とテンプレート画像に顔交換処理を行って、顔交換された参照テンプレート画像を生成するための第１の生成モジュールと、前記顔交換された参照テンプレート画像に基づいて、前記テンプレート画像に五官姿勢調整を行って第１の入力画像を生成するための第２の生成モジュールと、前記テンプレート画像に自己顔交換処理を行って第２の入力画像を生成するための第３の生成モジュールと、前記第１の入力画像及び前記第２の入力画像を初期顔融合モデルのジェネレータに入力して融合された顔領域画像を生成するための第４の生成モジュールと、前記融合された顔領域画像と前記テンプレート画像の背景領域画像を融合して融合画像を生成するための第５の生成モジュールと、前記融合画像と前記テンプレート画像を、それぞれ前記初期顔融合モデルの判別器に入力し、前記判別器の判別結果に基づいて、顔融合モデルが生成されるまで、前記初期顔融合モデルに逆伝播補正を行うための補正モジュールと、を含む。

【0008】

第４の態様は、前述のような顔融合モデルを応用した顔融合装置を提供し、顔融合要求を取得するための取得モジュールであって、前記融合要求にはターゲットユーザ画像とターゲットテンプレート画像とが含まれる取得モジュールと、前記ターゲットユーザ画像及び前記ターゲットテンプレート画像に顔交換処理を行って顔交換された参照テンプレート画像を生成するための第１の生成モジュールと、前記参照テンプレート画像に基づいて、前記ターゲットテンプレート画像に五官姿勢調整を行って入力画像を生成するための第２の生成モジュールと、前記顔融合モデルのジェネレータによって前記入力画像及び前記参照テンプレート画像を処理し、融合された顔領域画像を生成するための第３の生成モジュールと、前記融合された顔領域画像と前記ターゲットテンプレート画像における背景領域画像を融合して、ターゲット融合画像を生成するための第４の生成モジュールと、を含む。

【0009】

第５の態様は、電子機器を提供し、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが前述のような顔融合モデルのトレーニング方法または顔融合方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0010】

第６の態様は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに前述のような顔融合モデルのトレーニング方法または顔融合方法を実行させる。
第７の態様は、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータに前述のような顔融合モデルのトレーニング方法または顔融合方法を実行させる。

【発明の効果】

【0011】

本出願の技術案によれば、テンプレート画像における顔領域及びユーザ画像における顔領域では照明条件や個人の肌色の違いが大きいなどの場合に、融合された画像の肌色の違いが大きいという関連技術における問題を解決する。

【0012】

この部分に記載されている内容は、本開示の実施例の肝心で重要な特徴を特定することを意図しておらず、本開示の範囲を限定することも意図しない。本開示の他の特徴は、以下の説明を通じて容易に理解される。

【図面の簡単な説明】

【0013】

図面は、本技術案をよりよく理解するために使用され、本出願を限定するものではない。

【図1】本出願の実施例により提供される顔融合モデルのトレーニング方法の概略フローチャートである。

【図2】本出願の実施例により提供されるもう１つの顔融合モデルのトレーニング方法の概略フローチャートである。

【図3】本出願の実施例により提供される顔融合方法の概略フローチャートである。

【図4】本出願の実施例により提供されるもう１つの顔融合方法の概略フローチャートである。

【図5】本出願の実施例により提供される顔融合モデルのトレーニング装置の概略構成図である。

【図6】本出願の実施例により提供される顔融合装置の概略構成図である。

【図7】本出願の実施例により提供される電子機器の概略構成図である。

【発明を実施するための形態】

【0014】

以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項が含まれるが、それらは単なる例示と見なすべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と補正を行うことができることを認識されたい。同様に、明確かつ簡潔のため、以下の説明では、周知の機能及び構造の説明を省略する。

【0015】

本出願の実施例は、テンプレート画像の顔領域及びユーザ画像の顔領域では、照明条件や個人の肌色の違いが大きいなどの場合に、融合された画像の肌色の違いが大きいという関連技術の問題を解決するための、顔融合モデルのトレーニング方法を提供する。

【0016】

以下、図面を参照して、本出願により提供される顔融合モデルのトレーニング方法、装置、電子機器及び記憶媒体を詳細に説明する。

【0017】

図１は本出願の実施例により提供される顔融合モデルのトレーニング方法の概略フローチャートである。

【0018】

図１に示すように、当該顔融合モデルのトレーニング方法は、以下のステップを含む。

【0019】

ステップ１０１、ユーザ画像とテンプレート画像に顔交換処理を行い、顔交換された参照テンプレート画像を生成する。

【0020】

本出願の実施例の顔融合モデルは、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ、生成された敵対的ネットワーク）に基づいて実現することができる。

【0021】

ユーザ画像とは、ターゲット顔を含むソース画像を指す。テンプレート画像とは、ユーザ画像におけるターゲット顔と融合するための基底画像を指す。

【0022】

本出願の実施例では、任意の顔交換アルゴリズムを用いて、ユーザ画像とテンプレート画像に顔交換処理を行い、ユーザ画像の顔領域をテンプレート画像の顔領域に融合させる。すなわち、ユーザ画像とテンプレート画像に初歩的な顔交換融合を行うだけで、顔交換された参照テンプレート画像を生成することができる。

【0023】

ステップ１０２、顔交換された参照テンプレート画像に基づいてテンプレート画像に五官姿勢調整を行い、第１の入力画像を生成する。

【0024】

本出願の実施例において、ユーザ画像とテンプレート画像に顔交換処理を行うことは、テンプレート画像における顔領域の五官情報をユーザ画像における顔領域の五官情報に置き換えるものである。すなわち、参照テンプレート画像の顔領域の五官情報がユーザ画像の顔領域の五官情報であるため、参照テンプレート画像における顔領域の五官情報を用いて、テンプレート画像に五官姿勢調整を行うことで、第１の入力画像を生成することができる。つまり、第１の入力画像には、テンプレート画像の背景領域、顔領域の肌色情報などや、ユーザ画像の顔領域の五官情報が含まれる。

【0025】

ステップ１０３、テンプレート画像に自己顔交換処理を行って第２の入力画像を生成する。

【0026】

自己顔交換処理とは、テンプレート画像をそれぞれ基底画像とターゲット顔を含むソース画像として、テンプレート画像に顔交換処理を行うことを指す。

【0027】

顔交換アルゴリズムによって顔交換処理を行う場合には、通常、顔交換アルゴリズムが基底画像及びソース画像に基づいて顔交換された画像を生成するように、基底画像とターゲット顔を含むソース画像とを顔交換アルゴリズムの２つの入力データとする必要がある。

【0028】

本出願の実施例では、顔交換アルゴリズムがテンプレート画像内の顔領域の五官情報に基づいて、テンプレート画像内の顔領域の五官情報を置き換えるように、テンプレート画像を、それぞれ顔交換アルゴリズムの２つの入力データとする。すなわち、テンプレート画像に自己顔交換処理を行った結果を第２の入力画像とする。

【0029】

テンプレート画像に自己顔交換処理を行うことは、ターゲット画像自身の五官情報を用いてテンプレート画像に顔交換処理を行うものであるため、生成された第２の入力画像内の肌色情報は、テンプレート画像内の肌色情報と一致するので、顔領域の肌色の違いは大きくない。

【0030】

ステップ１０４、第１の入力画像と第２の入力画像を初期顔融合モデルのジェネレータに入力して、融合された顔領域画像を生成する。

【0031】

初期顔融合モデルは、ＧＡＮモデルであってもよい。初期顔融合モデルがＧＡＮモデルの場合には、初期顔融合モデルにはジェネレータ及び判別器という２つの部分が含まれてもよい。

【0032】

本出願の実施例では、生成された第１の入力画像と第２の入力画像を初期顔融合モデルのジェネレータに入力して、ジェネレータが、第１の入力画像の顔領域と第２の入力画像の顔領域を融合し、融合された顔領域画像を生成する。第１の入力画像には、ユーザ画像の顔領域の五官情報及び、テンプレート画像の顔領域の肌色情報が含まれ、第２の入力画像には、テンプレート画像の顔領域の五官情報及び、肌色情報が含まれるため、生成された融合された顔領域画像には、ユーザ画像における顔領域の五官情報を融合できるだけでなく、第２の入力画像を監督データとして、融合された顔領域画像の肌色情報とテンプレート画像の肌色情報を一致させることもでき、融合された顔領域画像の肌色の整合性を向上させることができる。

【0033】

１つの可能な実現形態として、ジェネレータは、第１の入力画像と第２の入力画像を融合した全体画像、及び顔領域マスクを出力し、次に融合された全体画像と顔領域マスクの積を融合された顔領域画像とすることもできる。具体的には、融合された顔領域画像は式（１）によって決定することができる。
Ｉ′＝Ｇｏｕｔ×ｍａｓｋ （１）

【0034】

Ｉ′は融合された顔領域画像であり、Ｇｏｕｔは融合された全体画像であり、ｍａｓｋは顔領域マスクである。

【0035】

ステップ１０５、融合された顔領域画像とテンプレート画像の背景領域画像を融合して、融合画像を生成する。

【0036】

テンプレート画像の背景領域画像とは、テンプレート画像における顔領域を除く他の領域画像を指し、例えば、髪や首などの人体における、顔を除く他の部位、及び人体を除く他の背景要素を含むことができる。

【0037】

第１の入力画像と第２の入力画像を直接融合すると、融合された背景領域画像に歪みが生じたり、合成品質が悪くなったりする場合がある。顔融合を行う場合には、背景領域画像を融合する必要がないため、本出願の実施例では、テンプレート画像における背景領域画像を融合画像における背景領域画像として採用することができる。

【0038】

１つの可能な実現形態では、融合された顔領域画像、顔領域マスク及びテンプレート画像に基づいて、融合画像を生成することができる。具体的には、融合画像は、式（２）によって決定することができる。
Ｉｏｕｔ＝Ｉ′＋ＩＧＴ×（１－ｍａｓｋ） （２）

【0039】

Ｉｏｕｔは融合画像であり、Ｉ′は融合された顔領域画像であり、ＩＧＴはテンプレート画像であり、ｍａｓｋは顔領域マスクである。

【0040】

ステップ１０６、融合画像とテンプレート画像をそれぞれ初期顔融合モデルの判別器に入力し、判別器の判別結果に基づいて、顔融合モデルが生成されるまで、初期顔融合モデルに逆伝播補正を行う。

【0041】

判別器は、二分類ネットワークモデルであってもよい。判別器は、入力された画像を判別し、入力画像が実画像であるか合成された偽画像であるかを決定することができる。

【0042】

本出願の実施例では、大量のユーザ画像及びテンプレート画像を用いて融合画像を生成し、次に各テンプレート画像及びそれに対応する融合画像を初期顔融合モデルの判別器に入力して、判別器がテンプレート画像及び融合画像を判別し、各入力画像に対する判別結果を出力することができる。

【0043】

１つの可能な実現形態では、判別器で出力された判別結果は、［０、１］の値の範囲内にある数値であってもよい。画像に対応する判別結果の値が大きいほど、判別器はその画像が実画像であると考える確率が大きく、画像に対応する判別結果の値が小さいほど、判別器はその画像が実画像であると考える確率が小さい。判別器が、各テンプレート画像及び各融合画像の判別結果を生成した後、各テンプレート画像及び各融合画像の判別結果に基づいて、顔融合モデルに対応するターゲット関数の値を決定し、ターゲット関数の値を逆伝播して、ターゲット関数の値に基づいてジェネレータ及び判別器のパラメータを最適化し、更新された顔融合モデルを生成することができる。

【0044】

その後、更新された顔融合モデルによって次のトレーニングプロセスを行い、すなわち上記ステップ１０１～１０６を繰り返すことで、ジェネレータで生成された融合画像がよりリアルになり、判別器が偽画像を認識する能力が向上する。両者の対抗プロセスでは、更新された顔融合モデルに対応するターゲット関数の値が予め設定された範囲となるまで、ジェネレータと判別器の性能を最適化する場合、更新された顔融合モデルの性能は要求を満たすことを示し、顔融合モデルに対するトレーニングプロセスを終了することができる。

【0045】

１つの可能な実現形態では、顔融合モデルに対応するターゲット関数は式（３）によって表すことができる。

【数1】

【0046】

【数2】

は顔融合モデルに対応するターゲット関数であり、Ｇはジェネレータに対応するターゲット関数であり、Ｄは判別器に対応するターゲット関数であり、Ｄｒｅａｌはテンプレート画像に対応する判別結果の値であり、Ｄｆａｋｅは融合画像に対応する判別結果の値である。

【0047】

もう１つの可能な実現形態では、上記ターゲット関数によってジェネレータを最適化することに加え、融合画像とテンプレート画像との間の損失を用いてジェネレータを補助的に最適化することもできる。つまり、上記ターゲット関数の値が予め設定された範囲にあり、かつ融合画像とテンプレート画像との間の損失も予め設定された範囲にある場合、顔融合モデルに対するトレーニングプロセスを完成することができる。融合画像とテンプレート画像との間の損失関数は、式（４）によって表すことができる。

【数3】

【0048】

【数4】

は融合画像とテンプレート画像との間の損失関数であり、Ｉｏｕｔは融合画像であり、ＩＧＴはテンプレート画像である。

【0049】

本出願の実施例の技術案では、ユーザ画像とテンプレート画像に顔交換処理を行って参照テンプレート画像を生成し、参照テンプレート画像に基づいてテンプレート画像に五官姿勢調整を行って第１の入力画像を生成し、その後、テンプレート画像に自己顔交換処理を行って第２の入力画像を生成し、次に、第１の入力画像と第２の入力画像を初期顔融合モデルのジェネレータに入力して融合画像を生成し、初期顔融合モデルの判別器の融合画像とテンプレート画像に対する判別結果に基づいて、顔融合モデルが生成されるまで、初期顔融合モデルに逆伝播補正を行う。これにより、ＧＡＮによって顔融合する場合には、五官が調整された後のテンプレート画像をジェネレータに入力して自己顔交換されたテンプレート画像を監督データとすることで、融合画像にはテンプレート画像の照明及び肌色情報が含まれるので、融合画像の肌色の整合性を向上させることができる。

【0050】

本出願の１つの可能な実現形態では、ジェネレータが融合画像を生成する過程において、肌色の違いが大きい場合に自動的に肌色を調整するため、テンプレート画像を自己顔交換した後の画像に肌色乱れ処理を行うこともできる。モデルトレーニングプロセスで、ジェネレータは肌色の違いが大きい領域に肌色の調整を行う方法を学習するので、融合画像の肌色の整合性をさらに向上させることができる。

【0051】

以下、図２と組み合わせて、本出願の実施例により提供される顔融合モデルのトレーニング方法をさらに説明する。

【0052】

図２は本出願の実施例により提供されるもう１つの顔融合モデルのトレーニング方法の概略フローチャートである。

【0053】

図２に示すように、当該顔融合モデルのトレーニング方法は、以下のステップを含む。

【0054】

ステップ２０１、ユーザ画像とテンプレート画像に顔交換処理を行い、顔交換された参照テンプレート画像を生成する。

【0055】

ステップ２０２、顔交換された参照テンプレート画像に基づいて、テンプレート画像に五官姿勢調整を行って第１の入力画像を生成する。

【0056】

ステップ２０３、テンプレート画像に自己顔交換処理を行って第２の入力画像を生成する。

【0057】

上記ステップ２０１～２０３の具体的な実現プロセス及び原理は、上記実施例の詳細な説明を参照することができるので、ここでは説明を省略する。

【0058】

ステップ２０４、予め設定されたルールに従って、第２の入力画像における顔の肌色を調整する。

【0059】

予め設定されたルールは、顔領域エッジの肌色と顔領域の肌色とが大きく異なるように、第２の入力画像の顔領域のエッジで肌色調整を行ってもよい。或いは、予め設定されたルールは、五官エッジの肌色と他の顔領域の肌色が大きく異なるように、第２の入力画像の顔領域の五官エッジで肌色調整を行ってもよい。

【0060】

予め設定されたルールは、上記に挙げたものを含むが、これらに限定されない。実際に使用する場合、実際のニーズに基づいて予め設定されたルールを決定することができ、本出願の実施例はこれを限定しない。

【0061】

本出願の実施例では、第２の入力画像が顔融合モデルをトレーニングする監督データであるため、融合画像を統計分析することにより、融合画像において肌色ムラが発生しやすい部位を決定して、肌色ムラが発生しやすい部位で第２の入力画像における顔の肌色を調整することができる。第２の入力画像が監督データの場合には、ジェネレータは肌色の違いが大きい融合画像を生成することができる。判別器融合画像が偽画像であることをより認識しやすくなり、逆伝播補正の過程で、ジェネレータは判別器の判別結果に基づいて、画像融合の過程で、顔領域のどの領域の肌色情報を注目する必要があるか、及び肌色がより一致する融合画像を生成するように顔領域の注目領域をどのように肌色調整するかを学習することができる。

【0062】

１つの可能な実現形態では、調整後の第２の入力画像に歪みが生じることを回避するため、第２の入力画像の顔領域の肌色に基づいて、第２の入力画像に肌色調整を行う範囲を決定することもできる。すなわち、本出願の実施例の１つの可能な実現形態では、上記ステップ２０４の前に、第２の入力画像の顔の肌色に基づいて、ターゲット肌色調整範囲を決定するステップをさらに含むことができ、対応的に、上記ステップ２０４は、予め設定されたルールに従って、ターゲット肌色調整範囲内に第２の入力画像の顔の肌色を調整するステップを含むことができる。

【0063】

本出願の実施例では、ターゲット肌色調整範囲と第２の入力画像における顔の肌色が異なるように、第２の入力画像における顔の肌色に基づいて、ターゲット肌色調整範囲を決定することもできる。例えば、第２の入力画像における顔の肌色が白い（すなわち顔領域に対応する画素値が小さい）場合には、ターゲット肌色調整範囲を大きい値に調整することができる。すなわち、ターゲット肌色調整範囲に基づいて第２の入力画像を肌色調整する場合には、調整後の領域の肌色が黒くなる。このため、調整後の第２の入力画像には肌色差があるだけでなく、調整後の第２の入力画像に歪みが生じることを回避することができる。

【0064】

ターゲット肌色調整範囲を決定した後、予め設定されたルールに基づいて、ターゲット肌色調整範囲内に第２の入力画像に肌色調整を行うことができる。

【0065】

もう１つの可能な実現形態では、第２の入力画像に肌色調整を行う領域を予め設定することもできる。すなわち、本出願の実施例の１つの可能な実現形態において、上記ステップ２０４は、予め設定された調整値に従って、第２の入力画像における顔の予め設定された領域の肌色を調整するステップを含むことができる。

【0066】

予め設定された調整値は、大量の実験データを統計分析することで標定されてもよいし、リアルタイムの第２の入力画像における顔領域の肌色情報に基づいて決定されてもよく、本出願の実施例はこれを限定しない。

【0067】

顔の予め設定された領域は、大量の実験データを統計分析することで標定されてもよい。例えば、顔の予め設定された領域は、顔領域の境界領域であってもよいし、顔のうち五官の境界領域であってもよいし、境界領域に隣接する一定の範囲内の顔内部領域であってもよく、本出願の実施例はこれを限定しない。

【0068】

本出願の実施例では、予め設定された調整値及び顔の予め設定された領域を予め決定し、予め設定された調整値に基づいて、第２の入力画像における顔の予め設定された領域の肌色を調整することができる。

【0069】

ステップ２０５、第１の入力画像と第２の入力画像を初期顔融合モデルのジェネレータに入力して、融合された顔領域画像を生成する。

【0070】

ステップ２０６、融合された顔領域画像とテンプレート画像の背景領域画像を融合して、融合画像を生成する。

【0071】

ステップ２０７、融合画像とテンプレート画像をそれぞれ初期顔融合モデルの判別器に入力し、判別器の判別結果に基づいて、顔融合モデルが生成されるまで、初期顔融合モデルに逆伝播補正を行う。

【0072】

上記ステップ２０５～２０７の具体的な実現プロセス及び原理は、上記実施例の詳細な説明を参照することができ、ここでは説明を省略する。

【0073】

本出願の実施例の技術案では、ユーザ画像とテンプレート画像に顔交換処理を行い、参照テンプレート画像を生成し、参照テンプレート画像に基づいてテンプレート画像に五官姿勢調整を行って第１の入力画像を生成し、その後、テンプレート画像に自己顔交換処理を行って第２の入力画像を生成し、及び予め設定されたルールに従って第２の入力画像における顔の肌色を調整し、次に、第１の入力画像と第２の入力画像を初期顔融合モデルのジェネレータに入力して融合画像を生成し、初期顔融合モデルの判別器の融合画像とテンプレート画像に対する判別結果に基づいて、顔融合モデルが生成されるまで、初期顔融合モデルに逆伝播補正を行う。これにより、テンプレート画像に自己顔交換及び肌色調整処理を行い、自己顔交換及び肌色調整処理後のターゲット画像を監督データとしてジェネレータに入力する。このように、肌色差を残してリアルなテストシーンをシミュレートすることで、融合画像にテンプレート画像の照明及び肌色情報が含まれるだけでなく、融合画像における肌色情報の自然な遷移を保証し、融合画像の肌色の整合性をさらに向上させることができる。

【0074】

以下、図３と組み合わせて、本出願の実施例により提供される上記顔融合モデルを応用した顔融合方法をさらに説明する。

【0075】

図３は本出願の実施例により提供される顔融合方法の概略フローチャートである。

【0076】

図３に示すように、当該顔融合方法は、以下のステップを含む。

【0077】

ステップ３０１、顔融合要求を取得し、融合要求には、ターゲットユーザ画像とターゲットテンプレート画像とが含まれる。

【0078】

本出願の実施例の顔融合モデルは、顔の特殊効果をサポートするさまざまなエンターテインメントアプリケーション、映画の特殊効果の制作など、顔融合を行う任意のシーンで適用することができる。本出願の実施例の顔融合モデルは、トレーニングが完成した後、任意の電子機器に配置して本出願の実施例の顔融合方法を実行することができる。

【0079】

顔融合要求は、ユーザ操作に基づいて生成されてもよいし、顔融合モデルに関連つけられるアプリケーションで送信された命令に基づいて生成されてもよい。例えば、本出願の実施例の顔融合モデルを特殊効果の機能を有するカメラアプリケーションに適用する場合、カメラアプリケーションの「顔融合」コントロールがトリガされたことを検出したときに、顔融合要求を取得したと決定することができる。本出願の実施例の顔融合モデルがあるゲームアプリケーションに適用される場合には、予め設定されたゲームの特殊効果がトリガされたときに、顔融合要求を取得したと決定することができる。

【0080】

ターゲットユーザ画像とは、ターゲット顔を含むソース画像を指す。ターゲットテンプレート画像とは、ターゲットユーザ画像におけるターゲット顔と融合するための基底画像を指す。

【0081】

本出願の実施例では、顔融合要求を取得する場合には、顔融合要求に基づいてターゲットユーザ画像及びターゲットテンプレート画像を取得することができる。

【0082】

ステップ３０２、ターゲットユーザ画像及びターゲットテンプレート画像に顔交換処理を行って、顔交換された参照テンプレート画像を生成する。

【0083】

本出願の実施例では、顔融合モデルのトレーニング段階と同じ顔交換アルゴリズムを用いてターゲットユーザ画像及びターゲットテンプレート画像に顔交換処理を行い、ターゲットユーザ画像における顔領域をターゲットテンプレート画像における顔領域に融合させる。すなわち、ターゲットユーザ画像とターゲットテンプレート画像に初歩的な顔交換融合を行うだけで、顔交換された参照テンプレート画像を生成することができる。

【0084】

ステップ３０３、参照テンプレート画像に基づいて、ターゲットテンプレート画像に五官姿勢調整を行い、入力画像を生成する。

【0085】

本出願の実施例では、ターゲットユーザ画像とターゲットテンプレート画像に顔交換処理を行うことは、ターゲットテンプレート画像における顔領域の五官情報をターゲットユーザ画像における顔領域の五官情報に置き換えることである。すなわち、参照テンプレート画像における顔領域の五官情報が、ターゲットユーザ画像における顔領域の五官情報であるため、参照テンプレート画像における顔領域の五官情報を用いてターゲットテンプレート画像に五官姿勢調整を行って、入力画像を生成することができる。つまり、入力画像には、ターゲットテンプレート画像の背景領域、顔領域の肌色情報や、ターゲットユーザ画像の顔領域の五官情報が含まれる。

【0086】

ステップ３０４、顔融合モデルのジェネレータを用いて入力画像及び参照テンプレート画像を処理して、融合された顔領域画像を生成する。

【0087】

本出願の実施例では、入力画像及び参照テンプレート画像を生成した後、入力画像及び参照テンプレート画像を顔融合モデルのジェネレータに入力して、ジェネレータが入力画像及び参照テンプレート画像を用いて融合された顔領域画像を生成する。

【0088】

参照テンプレート画像は、ターゲットユーザ画像とターゲットテンプレート画像を直接合成して生成されたものであるため、参照テンプレート画像には最も多くのターゲットユーザ画像情報が含まれている。入力画像は、参照テンプレート画像に基づいてターゲットテンプレート画像を五官調整して生成されたものであるため、入力画像にはターゲットユーザ画像の五官情報と、ターゲットテンプレート画像の肌色情報の両方が含まれている。融合された顔領域画像は、ターゲットユーザ画像の五官情報及びターゲットテンプレート画像の肌色情報をよりよく表現することができ、融合された顔領域画像の肌色の整合性を保証することができる。

【0089】

１つの可能な実現形態として、ジェネレータは、入力画像と参照テンプレート画像を融合した全体画像、及び顔領域マスクを出力し、次に融合された全体画像と顔領域マスクの積を融合された顔領域画像とすることもできる。具体的には、融合された顔領域画像は式（５）によって決定することができる。

【数5】

【0090】

【数6】

は融合された顔領域画像であり、Ｇｏｕｔ２は融合された全体画像であり、ｍａｓｋ２は顔領域マスクである。

【0091】

ステップ３０５、融合された顔領域画像とターゲットテンプレート画像における背景領域画像を融合して、ターゲット融合画像を生成する。

【0092】

ターゲットテンプレート画像における背景領域画像とは、ターゲットテンプレート画像における顔領域を除く他の領域画像を指し、髪や首などの人体における顔を除く他の部位や、人体を除く他の背景要素を含むことができる。

【0093】

入力画像と参照テンプレート画像を直接融合すると、融合された背景領域画像に歪みが生じたり、合成品質が悪くなったりする場合がある。顔融合を行う場合には、背景領域画像を融合する必要がないため、本出願の実施例では、ターゲットテンプレート画像の背景領域画像を、ターゲット融合画像の背景領域画像として採用することができる。

【0094】

１つの可能な実現形態では、融合された顔領域画像、顔領域マスク及びターゲットテンプレート画像に基づいて、融合画像を生成することができる。具体的には、ターゲット融合画像は、式（６）によって決定することができる。

【数7】

【0095】

Ｉｏｕｔ２はターゲット融合画像であり、

【数8】

は融合された顔領域画像であり、ＩＧＴ２はターゲットテンプレート画像であり、ｍａｓｋ２は顔領域マスクである。

【0096】

本出願の実施例の技術案では、顔融合要求におけるターゲットユーザ画像とターゲットテンプレート画像に顔交換処理を行って顔交換された参照テンプレート画像を生成し、参照テンプレート画像に基づいて、ターゲットテンプレート画像に五官姿勢調整を行って入力画像を生成し、その後、顔融合モデルのジェネレータによって入力画像及び参照テンプレート画像を処理して融合された顔領域画像を生成し、融合された顔領域画像とターゲットテンプレート画像の背景領域画像とを融合して、ターゲット融合画像を生成する。これにより、ＧＡＮによって顔融合する場合には、五官が調整された後のターゲットテンプレート画像を監督データとしてジェネレータに入力することにより、融合画像にはターゲットテンプレート画像の照明及び肌色情報が含まれる。これにより、融合画像の肌色の整合性を向上させることができる。

【0097】

本出願の１つの可能な実現形態では、ターゲットテンプレート画像の顔領域に髪やメガネなどの遮蔽物が含まれている可能性があるため、顔領域の遮蔽された部分の融合効果が悪い場合であっても、ターゲットテンプレート画像によってターゲット融合画像を補正して、ターゲット融合画像の融合効果をさらに向上させることができる。

【0098】

以下、図４と組み合わせて、本出願の実施例により提供される顔融合方法をさらに説明する。

【0099】

図４は本出願の実施例により提供されるもう１つの顔融合方法の概略フローチャートである。

【0100】

図４に示すように、当該顔融合方法は、以下のステップを含む。

【0101】

ステップ４０１、顔融合要求を取得する。融合要求には、ターゲットユーザ画像とターゲットテンプレート画像とが含まれる。

【0102】

ステップ４０２、ターゲットユーザ画像及びターゲットテンプレート画像に顔交換処理を行い、顔交換された参照テンプレート画像を生成する。

【0103】

ステップ４０３、参照テンプレート画像に基づいて、ターゲットテンプレート画像に五官姿勢調整を行って入力画像を生成する。

【0104】

ステップ４０４、顔融合モデルのジェネレータによって入力画像及び参照テンプレート画像を処理して融合された顔領域画像を生成する。

【0105】

ステップ４０５、融合された顔領域画像とターゲットテンプレート画像における背景領域画像を融合してターゲット融合画像を生成する。

【0106】

上記ステップ４０１～４０５の具体的な実現プロセス及び原理は、上記実施例の詳細な説明を参照することができ、ここでは説明を省略する。

【0107】

ステップ４０６、ターゲットテンプレート画像における顔領域に、遮蔽物が含まれるか否かを検出する。

【0108】

遮蔽物は、髪、メガネ、マスク、帽子などを含むが、本出願の実施例はこれを限定しない。

【0109】

本出願の実施例では、遮蔽物の色は、通常、顔領域の肌色と大きく違うため、顔領域の各部の画素値の違いに基づいて、ターゲットテンプレート画像における顔領域に遮蔽物が含まれるか否か、および遮蔽物の位置と範囲を検出することができる。

【0110】

実際に使用する場合には、実際のニーズに基づいて適切な遮蔽物検出アルゴリズムを選択することができ、本出願の実施例はこれを限定しない。

【0111】

ステップ４０７、ターゲットテンプレート画像における顔領域に遮蔽物が含まれる場合、ターゲットテンプレート画像から遮蔽物を分割する。

【0112】

本出願の実施例では、ターゲットテンプレート画像の顔領域に含まれる遮蔽物が検出された場合、分割ネットワークモデルを採用してターゲットテンプレート画像から遮蔽物を分割し、ターゲットテンプレート画像に対応する遮蔽物マスクを決定する。

【0113】

ステップ４０８、ターゲットテンプレート画像内の遮蔽物の位置に基づいて、遮蔽物とターゲット融合画像を合成して、ターゲット画像を生成する。

【0114】

１つの可能な実現形態では、ターゲットテンプレート画像内の遮蔽物の位置は、ターゲットテンプレート画像に対応する遮蔽物マスクによって表すことができる。これにより、ターゲットテンプレート画像における遮蔽物を分割した後、ターゲット融合画像、ターゲットテンプレート画像及びターゲットテンプレート画像に対応する遮蔽物マスクに基づいて、遮蔽物とターゲット融合画像を合成して、ターゲット画像を生成することができる。具体的には、ターゲット画像は式（７）によって決定することができる。
Ｉ＝ＩＧＴ２×ｅｎｄ＿ｍａｓｋ＋Ｉｏｕｔ２×（１－ｅｎｄ＿ｍａｓｋ）（７）

【0115】

Ｉはターゲット画像であり、ＩＧＴ２はターゲットテンプレート画像であり、ｅｎｄ＿ｍａｓｋはターゲットテンプレート画像に対応する遮蔽物マスクであり、Ｉｏｕｔ２はターゲット融合画像である。

【0116】

本出願の実施例の技術案では、ターゲット融合画像を生成した後、ターゲットテンプレート画像における顔領域に遮蔽物が含まれるか否かを検出し、ターゲットテンプレート画像における顔領域に遮蔽物が含まれる場合には、ターゲットテンプレート画像から遮蔽物を分割し、ターゲットテンプレート画像内の遮蔽物の位置に基づいて、遮蔽物とターゲット融合画像を合成して、ターゲット画像を生成する。これにより、ターゲット融合画像に遮蔽除去後処理を施し、ターゲットテンプレート画像の遮蔽物領域を用いてターゲット融合画像を補正することで、融合画像にターゲットテンプレート画像の照明及び肌色情報が含まれるようにし、融合画像の肌色の整合性を向上させるだけでなく、融合画像の融合効果もさらに向上させることができる。

【0117】

上記実施例を実現するために、本出願は、顔融合モデルのトレーニング装置をさらに提供する。

【0118】

図５は本出願の実施例により提供される顔融合モデルのトレーニング装置の概略構成図である。

【0119】

図５に示すように、当該顔融合モデルのトレーニング装置５０は、ユーザ画像とテンプレート画像に顔交換処理を行って、顔交換された参照テンプレート画像を生成するための第１の生成モジュール５１と、顔交換された参照テンプレート画像に基づいて、テンプレート画像に五官姿勢調整を行って、第１の入力画像を生成するための第２の生成モジュール５２と、テンプレート画像に自己顔交換処理を行って、第２の入力画像を生成するための第３の生成モジュール５３と、第１の入力画像及び第２の入力画像を初期顔融合モデルのジェネレータに入力して、融合された顔領域画像を生成するための第４の生成モジュール５４と、融合された顔領域画像とテンプレート画像の背景領域画像を融合して、融合画像を生成するための第５の生成モジュール５５と、融合画像とテンプレート画像を、それぞれ初期顔融合モデルの判別器に入力し、判別器の判別結果に基づいて、顔融合モデルが生成されるまで、初期顔融合モデルに逆伝播補正を行うための補正モジュール５６と、を含む。

【0120】

実際に使用する場合には、本出願の実施例により提供される顔融合モデルのトレーニング装置は、上記顔融合モデルのトレーニング方法が実行できるように、任意の電子機器に配置することができる。

【0121】

本出願の実施例の技術案では、ユーザ画像とテンプレート画像に顔交換処理を行い、参照テンプレート画像を生成し、参照テンプレート画像に基づいてテンプレート画像に五官姿勢調整を行って第１の入力画像を生成し、その後、テンプレート画像に自己顔交換処理を行って第２の入力画像を生成し、次に、第１の入力画像と第２の入力画像を初期顔融合モデルのジェネレータに入力して融合画像を生成し、初期顔融合モデルの判別器の融合画像とテンプレート画像に対する判別結果に基づいて、顔融合モデルが生成されるまで、初期顔融合モデルに逆伝播補正を行う。これにより、ＧＡＮによって顔融合する場合には、五官が調整された後のテンプレート画像をジェネレータに入力して、自己顔交換されたテンプレート画像を監督データとすることにより、融合画像にはテンプレート画像の照明及び肌色情報が含まれるので、融合画像の肌色の整合性を向上させることができる。

【0122】

本出願の１つの可能な実現形態において、上記顔融合モデルのトレーニング装置５０は、予め設定されたルールに従って、第２の入力画像における顔の肌色を調整するための調整モジュールをさらに含む。

【0123】

本出願のもう１つの可能な実現形態において、上記顔融合モデルのトレーニング装置５０は、第２の入力画像における顔の肌色に基づいて、ターゲット肌色調整範囲を決定するための決定モジュールをさらに含み、対応的に、上記調整モジュールは、予め設定されたルールに従って、ターゲット肌色調整範囲内に第２の入力画像における顔の肌色を調整するための第１の調整ユニットを含む。

【0124】

本出願のもう１つの可能な実現形態では、上記調整モジュールは、予め設定された調整値に従って、第２の入力画像における顔の予め設定された領域の肌色を調整するための第２の調整ユニットをさらに含む。

【0125】

図１、図２に示す顔融合モデルのトレーニング方法の実施例の説明は、当該実施例の顔融合モデルのトレーニング装置５０にも適用されるが、ここでは説明を省略する。

【0126】

本出願の実施例の技術案では、ユーザ画像とテンプレート画像に顔交換処理を行って参照テンプレート画像を生成し、参照テンプレート画像に基づいてテンプレート画像に五官姿勢調整を行って第１の入力画像を生成し、その後テンプレート画像に自己顔交換処理を行って第２の入力画像を生成し、及び予め設定されたルールに従って第２の入力画像における顔の肌色を調整し、次に、第１の入力画像と第２の入力画像を初期顔融合モデルのジェネレータに入力して融合画像を生成し、初期顔融合モデルの判別器の融合画像とテンプレート画像に対する判別結果に基づいて、顔融合モデルが生成されるまで、初期顔融合モデルに逆伝播補正を行う。これにより、テンプレート画像に自己顔交換及び肌色調整処理を行い、自己顔交換及び肌色調整処理後のターゲット画像を監督データとしてジェネレータに入力することで、肌色差を残したリアルなテストシーンをシミュレートすることができ、融合画像にテンプレート画像の照明及び肌色情報が含まれるだけでなく、融合画像における肌色情報の自然な遷移を保証し、融合画像の肌色の整合性をさらに向上させることができる。

【0127】

上記実施例を実現するために、本出願は、顔融合装置をさらに提供する。

【0128】

図６は本出願の実施例により提供される顔融合装置の概略構成図である。

【0129】

図６に示すように、当該顔融合装置６０は、顔融合要求を取得するための取得モジュール６１であって、融合要求にはターゲットユーザ画像とターゲットテンプレート画像とが含まれる取得モジュール６１と、ターゲットユーザ画像及びターゲットテンプレート画像に顔交換処理を行って、顔交換された参照テンプレート画像を生成するための第１の生成モジュール６２と、参照テンプレート画像に基づいて、ターゲットテンプレート画像に五官姿勢調整を行って、入力画像を生成するための第２の生成モジュール６３と、顔融合モデルのジェネレータによって入力画像及び参照テンプレート画像を処理し、融合された顔領域画像を生成するための第３の生成モジュール６４と、融合された顔領域画像とターゲットテンプレート画像における背景領域画像を融合して、ターゲット融合画像を生成するための第４の生成モジュール６５と、を含む。

【0130】

実際に使用する場合には、本出願の実施例により提供される顔融合装置は、上記顔融合方法を実行できるように、任意の電子機器に配置することができる。

【0131】

本出願の実施例の技術案では、顔融合要求におけるターゲットユーザ画像とターゲットテンプレート画像に顔交換処理を行って顔交換された参照テンプレート画像を生成し、参照テンプレート画像に基づいてターゲットテンプレート画像に五官姿勢調整を行って入力画像を生成し、その後、顔融合モデルのジェネレータによって入力画像及び参照テンプレート画像を処理して融合された顔領域画像を生成し、融合された顔領域画像とターゲットテンプレート画像における背景領域画像を融合してターゲット融合画像を生成する。これにより、ＧＡＮによって顔融合する場合、五官が調整された後のターゲットテンプレート画像を監督データとしてジェネレータに入力することで、融合画像には、ターゲットテンプレート画像の照明及び肌色情報が含まれるので、融合画像の肌色の整合性を向上させることができる。

【0132】

本出願の１つの可能な実現形態において、上記顔融合装置６０は、ターゲットテンプレート画像における顔領域に遮蔽物が含まれるか否かを検出するための検出モジュールと、ターゲットテンプレート画像における顔領域に遮蔽物が含まれる場合、ターゲットテンプレート画像から遮蔽物を分割するための分割モジュールと、ターゲットテンプレート画像内の遮蔽物の位置に基づいて、遮蔽物とターゲット融合画像を合成して、ターゲット画像を生成するための第５の生成モジュールと、をさらに含む。

【0133】

図３、図４に示す顔融合方法の実施例の説明は、当該実施例の顔融合装置６０にも適用されるが、ここでは説明を省略する。

【0134】

本出願の実施例の技術案では、ターゲット融合画像を生成した後、ターゲットテンプレート画像における顔領域に遮蔽物が含まれるか否かを検出し、ターゲットテンプレート画像における顔領域に遮蔽物が含まれる場合には、ターゲットテンプレート画像から遮蔽物を分割し、ターゲットテンプレート画像内の遮蔽物の位置に基づいて、遮蔽物とターゲット融合画像を合成して、ターゲット画像を生成する。これにより、ターゲット融合画像に遮蔽除去後処理を施し、ターゲットテンプレート画像の遮蔽物領域を用いてターゲット融合画像を補正することで、融合画像にはターゲットテンプレート画像の照明及び肌色情報が含まれるので、融合画像の肌色の整合性を向上させるだけでなく、融合画像の融合効果もさらに向上させることができる。

【0135】

本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
本出願の実施例によれば、本出願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本出願によって提供される顔融合モデルのトレーニング方法及び顔融合方法を実行させる。

【0136】

図７には、本出願の実施例に係る顔融合モデルのトレーニング方法及び顔融合方法の電子機器のブロック図が示されている。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなど、様々な形式のデジタルコンピュータを表してもよい。電子機器は、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図しない。

【0137】

図７に示すように、当該電子機器は、１つ又は複数のプロセッサ７０１と、メモリ７０２と、高速インターフェース及び低速インターフェースを含む、各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力／出力装置（インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要であれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、必要な操作の一部（例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図７では、１つのプロセッサ７０１を例とする。

【0138】

メモリ７０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。前記メモリには、少なくとも１つのプロセッサによって実行される命令を記憶し、前記少なくとも１つのプロセッサが、本出願により提供される顔融合モデルのトレーニング方法または顔融合方法を実行する。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータが本出願により提供される顔融合モデルのトレーニング方法または顔融合方法を実行するためのコンピュータ命令を記憶する。

【0139】

メモリ７０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例における顔融合モデルのトレーニング方法に対応するプログラム命令／モジュール（例えば、図５に示す第１の生成モジュール５１、第２の生成モジュール５２、第３の生成モジュール５３、第４の生成モジュール５４、第５の生成モジュール５５及び補正モジュール５６）、及び本出願の実施例における顔融合方法に対応するプログラム命令／モジュール（例えば、図６に示す取得モジュール６１、第１の生成モジュール６２、第２の生成モジュール６３、第３の生成モジュール６４及び第４の生成モジュール６５）のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられる。プロセッサ７０１は、メモリ７０２に記憶された非一時的なソフトウェアプログラム、命令及びモジュールを実行することで、３次元再建装置の様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記方法の実施例における顔融合モデルのトレーニング方法または顔融合方法を実現する。

【0140】

メモリ７０２は、プログラム記憶領域とデータ記憶領域とを含み、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶する。データ記憶領域は、顔融合モデルのトレーニング方法及び顔融合方法の電子機器の使用によって作成されたデータなどを記憶することができる。メモリ７０２は、高速ランダムアクセスメモリを含むことができ、例えば、少なくとも１つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリをさらに含むことができる。いくつかの実施例では、メモリ７０２は、プロセッサ７０１から遠隔して設定されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介してテストを実行する電子機器に接続することができる。上記ネットワークは、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。

【0141】

顔融合モデルのトレーニング方法及び顔融合方法の電子機器は、入力装置７０３と出力装置７０４とをさらに含むことができる。プロセッサ７０１、メモリ７０２、入力装置７０３、及び出力装置７０４は、バス又は他の方式を介して接続することができ、図７では、バスを介して接続することを例とする。

【0142】

入力装置７０３は、入力された数字又は文字情報を受信することができ、及びテストを実行する電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができる。例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポイティングデバイス、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置７０４は、ディスプレイデバイス、補助照明デバイス（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスは、タッチスクリーンであってもよい。

【0143】

本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施することができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈することができる。当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

【0144】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び／又は対象指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書で使用される、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を意味し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

【0145】

ユーザとのインタラクションを提供するため、ここで説明されているシステム及び技術をコンピュータ上で実施することができる。当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによりコンピュータに入力することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

【0146】

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

【0147】

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般的に、互いに離れ、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。

【0148】

本出願の実施例の技術案では、ユーザ画像とテンプレート画像に顔交換処理を行って参照テンプレート画像を生成し、参照テンプレート画像に基づいてテンプレート画像に五官姿勢調整を行って第１の入力画像を生成し、その後テンプレート画像に自己顔交換処理を行って第２の入力画像を生成し、次に、第１の入力画像と第２の入力画像を初期顔融合モデルのジェネレータに入力して融合画像を生成し、初期顔融合モデルの判別器の融合画像とテンプレート画像に対する判別結果に基づいて、顔融合モデルが生成されるまで、初期顔融合モデルに逆伝播補正を行う。これにより、ＧＡＮによって顔融合する場合には、五官が調整された後のテンプレート画像をジェネレータに入力して、自己顔交換されたテンプレート画像を監督データとすることにより、融合画像にはテンプレート画像の照明及び肌色情報が含まれるので、融合画像の肌色の整合性を向上させることができる。

【0149】

上記に示される様々な形式のフローを用いて、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。

【0150】

上記具体的な実施形態は、本出願に対する保護範囲を限定するものではない。当業者は、設計要件と他の要因に応じて、様々な補正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の精神と原則内で行われる補正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】