特表2024-527444 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ▲騰▼▲訊▼科技（深▲セン▼）有限公司の特許一覧

特表2024-527444画像処理方法及び装置、コンピュータ機器、記憶媒体並びにコンピュータプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-25

(54)【発明の名称】画像処理方法及び装置、コンピュータ機器、記憶媒体並びにコンピュータプログラム

(51)【国際特許分類】

G06T 3/00 20240101AFI20240718BHJP

G06T 1/40 20060101ALI20240718BHJP

G06V 10/74 20220101ALI20240718BHJP

G06N 3/0464 20230101ALI20240718BHJP

【ＦＩ】

G06T3/00

G06T1/40

G06V10/74

G06N3/0464

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022565906

(86)(22)【出願日】2022-08-11

(85)【翻訳文提出日】2022-10-27

(86)【国際出願番号】 CN2022111736

(87)【国際公開番号】W WO2023231182

(87)【国際公開日】2023-12-07

(31)【優先権主張番号】202210626467.1

(32)【優先日】2022-06-02

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＡＮＤＲＯＩＤ

２．ｉＯＳ

(71)【出願人】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

【氏名又は名称原語表記】ＴＥＮＣＥＮＴＴＥＣＨＮＯＬＯＧＹ（ＳＨＥＮＺＨＥＮ）ＣＯＭＰＡＮＹＬＩＭＩＴＥＤ

【住所又は居所原語表記】３５／Ｆ，ＴｅｎｃｅｎｔＢｕｉｌｄｉｎｇ，ＫｅｊｉｚｈｏｎｇｙｉＲｏａｄ，ＭｉｄｗｅｓｔＤｉｓｔｒｉｃｔｏｆＨｉ－ｔｅｃｈＰａｒｋ，ＮａｎｓｈａｎＤｉｓｔｒｉｃｔ，Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ５１８０５７，ＣＨＩＮＡ

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾直樹

(72)【発明者】

【氏名】▲羅▼ 宇辰

(72)【発明者】

【氏名】朱俊▲偉▼

(72)【発明者】

【氏名】▲賀▼ 珂珂

(72)【発明者】

【氏名】▲儲▼ 文青

(72)【発明者】

【氏名】▲タイ▼ ▲穎▼

(72)【発明者】

【氏名】汪 ▲チェン▼杰

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD20

5B057DA12

5B057DB02

5B057DB09

5B057DC36

5B057DC40

5L096AA06

5L096CA01

5L096DA01

5L096EA03

5L096FA06

5L096FA25

5L096FA67

5L096GA10

5L096HA11

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

本出願は、画像処理方法及び装置、コンピュータ機器、記憶媒体並びにプログラム製品を提供し、人工知能、機械学習、スマート交通などの技術分野に関する。前記画像処理方法は、顔交換要求に応答して、ソース画像のアイデンティティ特徴及び目標画像の少なくとも１つのスケールの初期属性特徴を顔交換モデルに入力するステップであって、該顔交換要求は、目標画像内の目標顔をソース画像内のソース顔に置き換えることを要求するために用いられる、ステップと、顔交換モデルにより、アイデンティティ特徴及び少なくとも１つのスケールの初期属性特徴に対して、反復して特徴融合を行い、融合特徴を得るステップと、融合特徴に基づいて、顔交換モデルにより目標顔交換画像を生成し、該目標顔交換画像を出力するステップであって、目標顔交換画像内の顔は、ソース顔のアイデンティティ特徴と目標顔の目標属性特徴とを融合したものである、ステップと、を含む。

【特許請求の範囲】

【請求項1】

コンピュータ機器が実行する画像処理方法であって、
受信した顔交換要求に応答して、ソース画像のアイデンティティ特徴及び目標画像の少なくとも１つのスケールの初期属性特徴を取得するステップであって、前記顔交換要求は、前記目標画像内の目標顔を前記ソース画像内のソース顔に置き換えることを要求するために用いられ、前記アイデンティティ特徴は、前記ソース顔が属する対象を表し、前記初期属性特徴は、前記目標顔の３次元属性を表す、ステップと、
前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴を顔交換モデルに入力するステップと、
前記顔交換モデルにより、前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴に対して、反復して特徴融合を行い、融合特徴を得るステップと、
前記融合特徴に基づいて、前記顔交換モデルにより目標顔交換画像を生成し、前記目標顔交換画像を出力するステップであって、前記目標顔交換画像内の顔は、前記ソース顔のアイデンティティ特徴と前記目標顔の目標属性特徴とを融合したものである、ステップと、を含む、画像処理方法。

【請求項2】

前記顔交換モデルは、少なくとも１つの畳み込み層を含み、各前記畳み込み層は1つの前記スケールに対応し、前記顔交換モデルにより、前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴に対して、反復して特徴融合を行い、融合特徴を得るステップは、
前記顔交換モデルの各畳み込み層により、それぞれ前記アイデンティティ特徴及び対応するスケールの初期属性特徴に対して、
現在の畳み込み層の前の畳み込み層によって出力された第１特徴マップを取得するステップと、
前記アイデンティティ特徴及び前記第１特徴マップに基づいて、第２特徴マップを生成し、前記少なくとも１つのスケールの初期属性特徴から、目標属性特徴を選別するステップであって、前記目標属性特徴は、前記目標顔のアイデンティティ特徴以外の特徴である、ステップと、
前記目標属性特徴及び前記第２特徴マップに基づいて、第３特徴マップを生成するステップであって、前記第３特徴マップは、前記現在の畳み込み層の次の畳み込み層の第１特徴マップである、ステップと
前記少なくとも１つの畳み込み層のうち最後の畳み込み層によって出力された第３特徴マップを前記融合特徴として決定するステップと、を実行する、ステップを含む、ことを特徴とする
請求項１に記載の画像処理方法。

【請求項3】

前記少なくとも１つのスケールの初期属性特徴から、目標属性特徴を選別するステップは、
前記第２特徴マップ及び前記初期属性特徴に基づいて、対応するスケールでの前記目標画像の制御マスクを決定するステップであって、前記制御マスクは、目標顔のアイデンティティ特徴以外の特徴を載せる画素点を表すために用いられる、ステップと、
前記制御マスクに基づいて、前記少なくとも１つのスケールの初期属性特徴を選別し、目標属性特徴を得るステップと、を含む、ことを特徴とする
請求項２に記載の画像処理方法。

【請求項4】

前記第２特徴マップ及び前記初期属性特徴に基づいて、対応するスケールでの前記目標画像の制御マスクを決定するステップは、
前記第２特徴マップ及び前記初期属性特徴に対して特徴連結を行い、連結特徴マップを得るステップと、
予め設定されたマッピング畳み込みカーネル及び活性化関数に基づいて、前記連結特徴マップを前記制御マスクにマッピングするステップと、を含む、ことを特徴とする
請求項３に記載の画像処理方法。

【請求項5】

前記初期属性特徴及び前記畳み込み層の数は、いずれも目標数であり、前記目標数の畳み込み層は直列に接続され、異なる前記初期属性特徴は異なる前記スケールに対応し、各前記畳み込み層は１つの前記スケールの初期属性特徴に対応し、前記目標数は２以上であり、
前記現在の畳み込み層の前の畳み込み層によって出力された第１特徴マップを取得するステップは、
前記現在の畳み込み層が前記目標数の畳み込み層のうちの１番目の畳み込み層である場合、初期特徴マップを取得し、前記初期特徴マップを現在の畳み込み層に入力される第１特徴マップとして使用するステップ、を含む、ことを特徴とする
請求項２に記載の画像処理方法。

【請求項6】

前記アイデンティティ特徴及び前記第１特徴マップに基づいて、前記第２特徴マップを生成するステップは、
前記アイデンティティ特徴に対してアフィン変換を行い、第１制御ベクトルを得るステップと、
前記第１制御ベクトルに基づいて、前記現在の畳み込み層の第１畳み込みカーネルを第２畳み込みカーネルにマッピングするステップと、
前記第２畳み込みカーネルに基づいて、前記第１特徴マップに対して畳み込み操作を行い、第２特徴マップを生成するステップと、を含む、ことを特徴とする
請求項２に記載の画像処理方法。

【請求項7】

前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴を顔交換モデルに入力する前に、前記画像処理方法は、
サンプル画像ペアにおけるサンプルソース画像のサンプルアイデンティティ特徴と、前記サンプル画像ペアにおけるサンプル目標画像の少なくとも１つのスケールのサンプル初期属性特徴とを取得するステップと、
初期顔交換モデルの生成器により、前記サンプルアイデンティティ特徴及び前記少なくとも１つのスケールのサンプル初期属性特徴に対して、反復して特徴融合を行い、サンプル融合特徴を得るステップと、
前記サンプル融合特徴に基づいて、前記初期顔交換モデルの生成器によりサンプル生成画像を生成するステップと、
前記初期顔変換モデルの判別器により、前記サンプル生成画像及び前記サンプルソース画像を判別し、判別結果を得るステップと、
前記判別結果に基づいて前記初期顔変換モデルの損失を決定し、前記損失に基づいて前記初期顔変換モデルをトレーニングし、前記顔変換モデルを得るステップと、をさらに含む、ことを特徴とする
請求項１に記載の画像処理方法。

【請求項8】

前記判別結果は、前記サンプルソース画像に対する第１判別結果及び前記サンプル生成画像に対する第２判別結果を含み、前記判別結果に基づいて前記初期顔変換モデルの損失を決定するステップは、
前記サンプル目標画像の少なくとも１つのスケールのサンプルマスクを取得し、前記少なくとも１つのスケールのサンプルマスクに基づいて、第１損失値を決定するステップと、
前記第１判別結果及び前記第２判別結果に基づいて、第２損失値を決定するステップと、
前記第１損失値及び前記第２損失値に基づいて、トレーニング総損失を得るステップと、
前記トレーニング総損失に基づいて、目標条件に合致するまで前記初期顔変換モデルをトレーニングし、前記目標条件に合致する時に、トレーニングを停止し、前記顔変換モデルを得るステップと、を含む、ことを特徴とする
請求項７に記載の画像処理方法。

【請求項9】

前記サンプルソース画像及び前記サンプル目標画像は、同じ対象に対応し、
前記第１損失値及び前記第２損失値に基づいて、トレーニング総損失を得るステップは、
前記サンプル生成画像及び前記サンプル目標画像に基づいて、第３損失値を取得するステップと、
前記第３損失値、前記第１損失値及び前記第２損失値に基づいて、前記トレーニング総損失を得るステップと、を含む、ことを特徴とする
請求項８に記載の画像処理方法。

【請求項10】

前記判別器は、少なくとも１つの畳み込み層を含み、前記第１損失値及び前記第２損失値に基づいて、トレーニング総損失を得るステップは、
第１判別特徴マップの非顔領域と第２判別特徴マップの非顔領域との間の第１類似度を決定するステップであって、前記第１判別特徴マップは、前記畳み込み層のうちの第１部分畳み込み層によって出力されたサンプル目標画像の特徴マップであり、前記第２判別特徴マップは、前記第１部分畳み込み層によって出力されたサンプル生成画像の特徴マップである、ステップと、
第３判別特徴マップと第４判別特徴マップとの間の第２類似度を決定するステップであって、前記第３判別特徴マップは、前記畳み込み層のうちの第２部分畳み込み層によって出力されたサンプル目標画像の特徴マップであり、前記第４判別特徴マップは、前記第２部分畳み込み層によって出力されたサンプル生成画像の特徴マップである、ステップと、
前記第１類似度及び前記第２類似度に基づいて、第４損失値を決定するステップと、
前記第１損失値、前記第２損失値及び前記第４損失値に基づいて、前記トレーニング総損失を得るステップと、を含む、ことを特徴とする
請求項８に記載の画像処理方法。

【請求項11】

前記第１損失値及び前記第２損失値に基づいて、トレーニング総損失を得るステップは、
前記サンプルソース画像の第１アイデンティティ特徴、前記サンプル目標画像の第２アイデンティティ特徴、及び前記サンプル生成画像の第３アイデンティティ特徴を抽出するステップと、
前記第１アイデンティティ特徴及び前記第３アイデンティティ特徴に基づいて、前記サンプルソース画像と前記サンプル生成画像との間の第１アイデンティティ類似度を決定するステップと、
前記第２アイデンティティ特徴及び前記第３アイデンティティ特徴に基づいて、前記サンプル生成画像と前記サンプル目標画像との間の第１アイデンティティ距離を決定するステップと、
前記第１アイデンティティ特徴及び前記第２アイデンティティ特徴に基づいて、前記サンプルソース画像と前記サンプル目標画像との間の第２アイデンティティ距離を決定するステップと、
前記第１アイデンティティ距離及び前記該第２アイデンティティ距離に基づいて、距離差異を決定するステップと、
前記第１アイデンティティ類似度及び前記距離差異に基づいて、第５損失値を決定するステップと、
前記第１損失値、第２損失値及び第５損失値に基づいて、前記トレーニング総損失を得るステップと、を含む、ことを特徴とする
請求項８に記載の画像処理方法。

【請求項12】

画像処理装置であって、特徴取得モジュール及び顔交換モジュールを備え、
前記特徴取得モジュールは、
受信した顔交換要求に応答して、ソース画像のアイデンティティ特徴及び目標画像の少なくとも１つのスケールの初期属性特徴を取得するように構成され、前記顔交換要求は、前記目標画像内の目標顔を前記ソース画像内のソース顔に置き換えることを要求するために用いられ、前記アイデンティティ特徴は、前記ソース顔が属する対象を表し、前記初期属性特徴は、前記目標顔の３次元属性を表し、
前記顔交換モジュールは、
前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴を顔交換モジュール内の顔交換モデルに入力するステップと、
前記顔交換モデルにより、前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴に対して、反復して特徴融合を行い、融合特徴を得るステップと、
前記融合特徴に基づいて、前記顔交換モデルにより目標顔交換画像を生成し、前記目標顔交換画像を出力するステップであって、前記目標顔交換画像内の顔は、前記ソース顔のアイデンティティ特徴と前記目標顔の目標属性特徴とを融合したものである、ステップと、を実行するように構成される、画像処理装置。

【請求項13】

コンピュータ機器であって、メモリと、プロセッサとを含み、
前記メモリは、コンピュータプログラムを記憶し、
前記プロセッサは、前記メモリに記憶されたコンピュータプログラムを実行して、請求項１乃至１１のいずれか一項に記載の画像処理方法を実現する、コンピュータ機器。

【請求項14】

プロセッサに、請求項１乃至１１のいずれか一項に記載の画像処理方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。

【請求項15】

プロセッサに、請求項１乃至１１のいずれか一項に記載の画像処理方法を実行させるためのコンピュータプログラムを含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本出願は、出願番号が２０２２１０６２６４６７．１であり、出願日が２０２２年０６月０２日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照により本出願に組み込まれる。

【0002】

本出願は、人工知能、機械学習、スマート交通などの技術分野に関し、特に画像処理方法及び装置、コンピュータ機器、記憶媒体並びにプログラム製品に関する。

【背景技術】

【0003】

顔交換は、コンピュータビジョンの分野で重要な技術であり、コンテンツ生成、映画やテレビのポートレート制作、エンターテイメントビデオ制作、アバター又はプライバシー保護などの場面で広く使用されている。顔交換とは、画像内の対象の顔を別の顔に置き換えることを意味する。

【0004】

関連技術では、通常、ニューラルネットワークモデルを使用して顔交換を実現し、例えば、画像を顔交換のためのニューラルネットワークモデルに入力し、ニューラルネットワークモデルにより画像に対して顔交換を行って得られた画像を出力する。しかし、関連技術における顔交換技術で得られた画像と理想的な顔交換後の画像との間に大きな違いがあり、顔交換の効果が低いという問題がある。

【発明の概要】

【課題を解決するための手段】

【0005】

本出願の実施形態は、画像処理方法及び装置、コンピュータ機器、コンピュータ可読記憶媒体並びにコンピュータプログラム製品を提供し、それは、顔交換後の画像の品質を向上させることができる。

【0006】

本出願の実施形態は、画像処理方法を提供し、前記画像処理方法は、
受信した顔交換要求に応答して、ソース画像のアイデンティティ特徴及び目標画像の少なくとも１つのスケールの初期属性特徴を取得するステップであって、前記顔交換要求は、前記目標画像内の目標顔を前記ソース画像内のソース顔に置き換えることを要求するために用いられ、前記アイデンティティ特徴は、前記ソース顔が属する対象を表し、前記初期属性特徴は、前記目標顔の３次元属性を表す、ステップと、
前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴を顔交換モデルに入力するステップと、
前記顔交換モデルにより、前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴に対して、反復して特徴融合を行い、融合特徴を得るステップと、
前記融合特徴に基づいて、前記顔交換モデルにより目標顔交換画像を生成し、前記目標顔交換画像を出力するステップであって、前記目標顔交換画像内の顔は、前記ソース顔のアイデンティティ特徴と前記目標顔の目標属性特徴とを融合したものである、ステップと、を含む。

【0007】

本出願の実施形態は、画像処理装置をさらに提供し、前記画像処理装置は、
受信した顔交換要求に応答して、ソース画像のアイデンティティ特徴及び目標画像の少なくとも１つのスケールの初期属性特徴を取得するように構成される特徴取得モジュールであって、前記顔交換要求は、前記目標画像内の目標顔を前記ソース画像内のソース顔に置き換えることを要求するために用いられ、前記アイデンティティ特徴は、前記ソース顔が属する対象を表し、前記初期属性特徴は、前記目標顔の３次元属性を表す、特徴取得モジュールと、
前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴を顔交換モジュール内の顔交換モデルに入力するステップと、
前記顔交換モデルにより、前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴に対して、反復して特徴融合を行い、融合特徴を得るステップと、
前記融合特徴に基づいて、前記顔交換モデルにより目標顔交換画像を生成し、前記目標顔交換画像を出力するステップであって、前記目標顔交換画像内の顔は、前記ソース顔のアイデンティティ特徴と前記目標顔の目標属性特徴とを融合したものである、ステップと、を実行するように構成される、前記顔交換モジュールと、を備える。

【0008】

本出願の実施形態は、コンピュータ機器をさらに提供し、前記コンピュータ機器は、メモリと、プロセッサとを含み、
前記メモリは、コンピュータプログラムを記憶しており、
前記プロセッサは、前記メモリに記憶されたコンピュータプログラムを実行して、本出願の実施形態に記載の画像処理方法を実現する。

【0009】

本出願の実施形態は、プロセッサに、本出願の実施形態に記載の画像処理方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体をさらに提供する。

【0010】

本出願の実施形態は、プロセッサに、本出願の実施形態に記載の画像処理方法を実行させるためのコンピュータプログラムを含む、コンピュータプログラム製品をさらに提供する。

【0011】

本出願の実施形態によって提供される技術案がもたらす有益な効果は、以下のとおりである。

【0012】

本出願の実施形態の画像処理方法では、ソース画像のアイデンティティ特徴及び目標画像の初期属性特徴を顔交換モデルに入力し、顔交換モデルにより、アイデンティティ特徴及び少なくとも１つのスケールの初期属性特徴に対して、反復して特徴融合を行い、融合特徴を得る。つまり、顔交換モデルの入力端において、アイデンティティ特徴と属性特徴に対して表示デカップリングを行うことにより、得られた融合特徴に、ソース画像内の対象のアイデンティティ特徴と、目標画像内の対象の顔の３次元属性とを融合させるようにする。

【0013】

融合特徴に基づいて、顔交換モデルにより目標顔交換画像を生成し、該目標顔交換画像を出力し、目標顔交換画像内の顔は、ソース顔のアイデンティティ特徴と目標顔の目標属性特徴とを融合したものである。このようにして、特徴融合で得られた融合特徴に基づいて、目標顔交換画像を生成することにより、目標顔交換画像内の顔とソース画像内の顔とのアイデンティティの一致性を保証する上で、目標顔交換画像内の目標顔の属性と細部特徴を効果的に保留し、顔交換画像内の顔の明瞭度、精度及び真実性を大幅に向上させ、高解像度の顔交換を実現する。

【図面の簡単な説明】

【0014】

【図1】本出願の実施形態による画像処理方法の実施環境の模式図である。

【図2】本出願の実施形態による画像処理方法の模式的フローチャートである。

【図3】本出願の実施形態による顔交換モデルの構造的模式図である。

【図4】本出願の実施形態による生成器内のブロックの構造的模式図である。

【図5】本出願の実施形態による顔交換モデルのトレーニング方法の模式的フローチャートである。

【図6】本出願の実施形態による少なくとも１つのスケールの制御マスクの模式図である。

【図7】本出願の実施形態による顔交換結果の対比模式図である。

【図8】本出願の実施形態による画像処理装置の構造的模式図である。

【図9】本出願の実施形態によるコンピュータ機器の構造的模式図である。

【発明を実施するための形態】

【0015】

以下に本出願における図面を参照しながら本出願の実施形態を説明する。図面を参照して説明される以下の実施形態は、本出願の実施形態の技術案を解釈するための例示的な説明であり、本出願の実施形態の技術案を限定しないことを理解すべきである。

【0016】

以下の説明では、「いくつかの実施形態」に関わり、それは、全ての可能な実施形態のサブセットを説明するが、「いくつかの実施形態」は、全ての可能な実施形態の同じサブセット又は異なるサブセットであり得、衝突することなく互いに組み合わせられ得ることを理解することができる。

【0017】

当業者は、本明細書で使用される単数形「１」、「１つ」、「前記」及び「該」は、特に説明しない限り、複数形も含むことができることを理解することができる。本出願の実施形態で使用される「含む」及び「備える」という用語は、対応する特徴が、呈された特徴、情報、データ、ステップ、及び操作として実現され得ることを意味するが、本技術分野でサポートされた他の特徴、情報、データ、ステップ、及び操作などとして実現されることを排除しない。

【0018】

理解可能なこととして、本出願の具体的な実施形態では、関連するソース画像、目標画像、ソース顔、目標顔及びモデルトレーニング時に使用されるサンプルデータセットにおける少なくとも１組のサンプルなどの対象に関連する任意のデータ、及び、顔交換モデルを用いて顔交換を行う時に使用される顔交換対象画像、目標顔の顔特徴、属性パラメータなどの対象に関連する任意のデータは、いずれも関連対象の同意又は許可を得た後に取得されるものである。以下の本出願の実施形態が具体的な製品又は技術に適用される場合、対象の許可又は同意を得る必要があり、関連データの収集、使用及び処理は、関連する国と地域の関連法律法規及び基準を遵守する必要がある。また、本出願の画像処理方法を用いていずれかの対象の顔画像に対して実行される顔交換過程は、いずれも、関連対象によってトリガーされた顔交換サービス又は顔交換要求に基づいて、関連対象の許可又は同意を得てから実行される顔交換過程である。

【0019】

本出願の実施形態で提供される画像処理方法は、下記の人工知能及びコンピュータビジョンなどの技術に関わり、例えば、人工知能技術におけるクラウドコンピューティング及びビッグデータ処理などの技術を使用して、顔交換モデルのトレーニング、画像内のマルチスケールの属性特徴の抽出などの過程を実現する。例えば、コンピュータビジョン技術を使用して、画像に対して顔認識を行うことで、画像内の顔に対応するアイデンティティ特徴を得る。

【0020】

理解すべきこととして、人工知能(ＡＩ：ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ)は、デジタルコンピュータ又はデジタルコンピュータによって制御される機械を使用して、人間の知能をシミュレート、延伸、拡張し、環境を感知し、知識を取得し、知識を使用して最適な結果を取得する理論、方法、技術、及び応用システムである。つまり、人工知能は、コンピュータ科学の総合技術であり、知能の本質を理解し、人間の知能に似た方法で反応する新しい知能機械を生産しようとするものである。人工知能は、つまり、各種の知能機械の設計原理と実現方法を研究し、機械に感知、推理と決定の機能を持たせる。

【0021】

人工知能技術は、総合学科であり、分野が広く、ハードウェアの技術もあれば、ソフトウェアの技術もある。人工知能基礎技術は一般的に、例えばセンサー、専用人工知能チップ、クラウドコンピューティング、分散型ストレージ、ビッグデータ処理技術、操作/インタラクションシステム、機電一体化などの技術を含む。人工知能ソフトウェア技術は主にコンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習/深層学習、自動運転、スマート交通などのいくつかのテーマを含む。

【0022】

理解すべきこととして、コンピュータビジョン技術 (ＣＶ：ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ)は、どのように機械に「見えるようにする」かについて研究する科学であり、人間の目の代わりにカメラとコンピュータを使用して目標を識別及び測定し、さらにグラフィック処理を行うことによって、コンピュータで処理した画像が、人間の目で観察したり、機器の検出に転送したりするのにより適した画像になる。科学学科として、コンピュータビジョンは関連する理論と技術を研究し、画像又は多次元データから情報を取得することができる人工知能システムを構築しようとするものである。コンピュータビジョン技術は、通常、画像処理、画像認識、画像セマンティック理解、画像検索、光学キャラクター認識（ＯＣＲ：ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）、ビデオ処理、ビデオセマンティック理解、ビデオコンテンツ/動作認識、３次元対象再構成、３Ｄ技術、仮想現実、拡張現実、同期位置決めと地図構築、自動運転、スマート交通などの技術を含み、一般的な顔認識、指紋認識などの生物特徴認識技術も含む。

【0023】

図１は、本出願による画像処理方法の実施環境の模式図である。図１に示すように、該実施環境は、サーバ１１と端末１２とを含む。

【0024】

該サーバ１１は、トレーニング済みの顔交換モデルが備えて構成され、該サーバ１１は、顔交換モデルに基づいて顔交換機能を端末１２に提供することができる。該顔交換機能は、ソース画像及び目標画像に基づいて顔交換画像を生成するために用いられてもよく、生成された顔交換画像は、ソース画像内のソース顔のアイデンティティ特徴とテンプレート画像内の目標顔の属性特徴とを持つ。該アイデンティティ特徴は、該ソース顔が属する対象を表し、該初期属性特徴は、該目標顔の３次元属性を表す。

【0025】

いくつかの実施形態では、該端末１２にはアプリケーションプログラムがインストールされており、該アプリケーションプログラムは、顔交換機能が予め配置され得、該サーバ１１は、アプリケーションプログラムのバックグラウンドサーバであり得る。該端末１２と該サーバ１１は該アプリケーションプログラムによってデータインタラクションを行うことで、顔交換過程を実現することができる。例示的に、該端末１２は、顔交換要求を該サーバ１１に送信することができ、該顔交換要求は、該目標画像内の目標顔を該ソース画像内のソース顔に置き換えることを要求するために用いられる。該サーバ１１は、該顔交換要求に基づいて、本出願の画像処理方法を実行して目標顔交換画像を生成し、該目標顔交換画像を該端末１２に返信することができる。例えば、該アプリケーションプログラムは、顔交換機能をサポートする任意の１つのアプリケーションであり、例えば、該アプリケーションプログラムは、ビデオ編集アプリケーション、画像処理ツール、ビデオアプリケーション、ライブブロードキャストアプリケーション、ソーシャルアプリケーション、コンテンツインタラクションプラットフォーム、ゲームアプリケーションなどを含むが、これらに限定されない。

【0026】

サーバは、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスタ又は分散システムであってもよく、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、コンテンツ配信ネットワーク（ＣＤＮ：ＣｏｎｔｅｎｔＤｅｌｉｖｅｒｙＮｅｔｗｏｒｋ）、及びビッグデータと人工知能プラットフォームなどの基礎的なクラウドコンピューティングサービスを提供するクラウドサーバ又はサーバクラスタであってもよい。上記ネットワークは、有線ネットワーク及び無線ネットワークを含むことができるが、これらに限定されず、ここで、該有線ネットワークは、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及び広域ネットワークを含み、該無線ネットワークは、ブルートゥース(登録商標)、Ｗｉ－Ｆｉ及びその他の無線通信を実現するネットワークを含む。端末は、スマートフォン(Ａｎｄｒｏｉｄ携帯電話、ｉＯＳ携帯電話など)、タブレットコンピュータ、ノートコンピュータ、デジタル放送受信機、モバイルインターネット機器(ＭＩＤ：ＭｏｂｉｌｅＩｎｔｅｒｎｅｔＤｅｖｉｃｅｓ)、パーソナルデジタルアシスタント（ＰＤＡ）、デスクトップコンピュータ、車載端末(車載ナビゲーション端末、車載コンピュータなど)、スマート家電、航空機、スマートスピーカー、スマートウォッチなどであってもよく、端末とサーバは有線通信又は無線通信で直接又は間接的に接続することができるが、これらに限定されない。具体的に、端末は、実際の応用シナリオ要件に基づいて決定されてもよく、ここでは限定されない。

【0027】

本出願の目的、技術案及び利点をより明確にするために、以下に図面を参照して本出願の実施形態を詳細に説明する。

【0028】

以下では、まず本出願に関連する技術用語を説明する。

【0029】

顔交換：画像内の顔を別の顔に置き換えることである。例示的に、ソース画像Ｘ_sと目標画像Ｘ_tが与えられた場合、本出願の画像処理方法を用いて顔交換画像Ｙ_s,tを生成する。顔交換画像Ｙ_s,tは、ソース画像Ｘ_sのアイデンティティ（Ｉｄｅｎｔｉｔｙ）特徴を持つとともに、目標画像Ｘ_t内のアイデンティティに関連しない属性（Ａｔｔｒｉｂｕｔｅ）特徴を留める。

【0030】

顔交換モデル: 目標画像内の目標顔を該ソース画像内のソース顔に置き換えるために用いられる。

【0031】

ソース画像：アイデンティティ特徴を提供する画像であり、生成された顔交換画像内の顔は、該ソース画像内の顔のアイデンティティ特徴を持つ。

【0032】

目標画像：属性特徴を提供する画像であり、生成された顔交換画像内の顔は、該目標画像内の顔の属性特徴を持つ。例えば、ソース画像が対象Ａの画像であり、目標画像が対象Ｂの画像であり、目標画像内の対象Ｂの顔を対象Ａの顔に置き換えて顔交換画像を得る場合、顔交換画像内の顔のアイデンティティが対象Ａの顔であり、顔交換画像内の顔が対象Ａの目の形状、両目の間隔、鼻の大きさなどのアイデンティティ特徴と同じであり、顔交換画像内の顔が対象Ｂの顔の表情、髪、光照射、しわ、姿勢、顔の遮蔽などの属性特徴を持つ。

【0033】

図２は、本出願の実施形態による画像処理方法の模式的フローチャートである。該方法の実行主体は、コンピュータ機器（端末又はサーバであり得る）であってもよい。図２に示すように、該方法は以下のステップ２０１～２０３を含む。

【0034】

ステップ２０１において、コンピュータ機器は、受信した顔交換要求に応答して、ソース画像のアイデンティティ特徴、及び目標画像の少なくとも１つのスケールの初期属性特徴を取得する。

【0035】

該顔交換要求は、該目標画像内の目標顔を該ソース画像内のソース顔に置き換えることを要求するために用いられる。実際の応用において、該顔交換要求はソース画像と目標画像とを含み、コンピュータ機器は、顔交換要求を解析することにより、ソース画像と目標画像とを得、又は、該顔交換要求はソース画像の識別子と目標画像の識別子とを含み、コンピュータ機器は、顔交換要求を解析することにより、ソース画像の識別子と目標画像の識別子とを得た後、該識別子に基づいてイメージライブラリでソース画像と目標画像とを検索する。

【0036】

該コンピュータ機器は、トレーニング済みの顔交換モデルを使用して顔交換画像を得ることができ、それによって顔交換機能を提供する。ここで、該アイデンティティ特徴は、該ソース顔が属する対象を表す。例示的に、アイデンティティ特徴は、対象のアイデンティティを識別する特徴であってもよく、アイデンティティ特徴は、対象の目標顔の五官特徴又は目標顔の輪郭特徴のうちの少なくとも１つを含むことができる。目標顔の五官特徴は、五官に対応する特徴を指し、目標顔の輪郭特徴は、目標顔の輪郭に対応する特徴を指す。例えば、アイデンティティ特徴は、目の形状、両目の間隔、鼻の大きさ、眉の形状、顔の輪郭などを含むことができるが、これらに限定されない。該初期属性特徴は、該目標顔の３次元属性を表し、例えば、初期属性特徴は、目標顔の３次元空間における姿勢、空間環境などの属性を表すことができる。例えば、初期属性特徴は、背景、光照射、しわ、姿勢、表情、髪、顔の遮蔽などを含むことができるが、これらに限定されない。

【0037】

いくつかの実施形態では、該顔交換モデルはアイデンティティ認識ネットワークを含むことができ、該コンピュータ機器はソース画像を顔交換モデルに入力し、顔交換モデルにおけるアイデンティティ認識ネットワークによりソース画像に対して顔認識を行い、該ソース画像のアイデンティティ特徴を得ることができる。例示的に、該アイデンティティ認識ネットワークは、入力された画像に基づいて、画像内の顔が属するアイデンティティを認識するために用いられる。例えば、該アイデンティティ認識ネットワークは、顔交換モデルにおける固定顔認識ネットワーク（ＦｉｘｅｄＦＲＮｅｔ：ＦｉｘｅｄＦａｃｅＲｅｃｏｇｎｉｔｉｏｎＮｅｔｗｏｒｋ）であってもよい。例えば、該ソース画像が顔画像である場合、アイデンティティ認識ネットワークはトレーニング済みの顔認識モデルであってもよく、顔認識モデルはソース画像内の顔が属する対象を認識し、該対象を識別するためのアイデンティティ特徴を得るために用いられ、該アイデンティティ特徴は、目の形状特徴、両目の間隔特徴、鼻の大きさ特徴、眉の形状特徴及び顔の輪郭特徴のうちの少なくとも１つを含むことができる。該アイデンティティ特徴は、顔認識モデルによって出力された固定次元の特徴ベクトル、例えば、５１２次元特徴ベクトルであってもよい。該５１２次元特徴ベクトルは、目の形状、両目の間隔、鼻の大きさ、眉の形状、顔の輪郭などの特徴を表すことができる。

【0038】

いくつかの実施形態では、該顔交換モデルは、属性特徴抽出ネットワークをさらに含み、該属性特徴抽出ネットワークは、エンコーダ及びデコーダを含むことができ、エンコーダは、少なくとも１つの符号化ネットワーク層（例えば、少なくとも２つの符号化ネットワーク層を含む）を含み、デコーダは、少なくとも１つの復号ネットワーク層（例えば、少なくとも２つの復号ネットワーク層を含む）を含む。例えば、該属性特徴抽出ネットワークは、エンコーダ及びデコーダを含むＵ型深層ネットワークである。実際の応用において、コンピュータ機器は、下記のような方式により該目標画像の少なくとも１つのスケールの初期属性特徴を取得することができる。

【0039】

コンピュータ機器は、エンコーダの少なくとも１つの符号化ネットワーク層により目標画像に対して層ごとのダウンサンプリングを行い、符号化特徴を得、デコーダの少なくとも１つの復号ネットワーク層により該符号化特徴に対して層ごとのアップサンプリングを行い、異なるスケールの復号特徴を出力し、そして少なくとも１つの復号ネットワーク層によってされた異なるスケールの復号特徴を初期属性特徴とする。ここで、各復号ネットワーク層は、１つの前記スケールに対応する。

【0040】

例示的に、該各符号化ネットワーク層は、目標画像に対して符号化操作を行って符号化特徴を得るために用いられ、各復号ネットワーク層は、符号化特徴に対して復号操作を行って初期属性特徴を得るために用いられる。デコーダは、実行時にエンコーダの動作原理に従って逆方向操作を実行し、例えば、エンコーダは、目標画像に対してダウンサンプリングを行うことができ、デコーダは、ダウンサンプリングが行われた符号化特徴に対してアップサンプリングを行うことができる。例えば、該エンコーダはオートエンコーダ（ＡＥ：Ａｕｔｏｅｎｃｏｄｅｒ）であってもよく、該デコーダはオートエンコーダに対応するデコーダであってもよい。

【0041】

いくつかの実施形態では、各符号化ネットワーク層は、前の符号化ネットワーク層によって出力された符号化特徴に対してダウンサンプリングを行い、少なくとも１つのスケールの符号化特徴を得るために用いられ、各符号化ネットワーク層は、１つのスケールに対応する。各復号ネットワーク層は、前の復号ネットワーク層によって出力された復号特徴に対してアップサンプリングを行い、少なくとも１つのスケールの初期属性特徴を得るために用いられ、各復号ネットワーク層は、１つのスケールに対応する。同じ層に位置する符号化ネットワーク層及び復号ネットワーク層のスケールは、同じであってもよい。ここで、該各復号ネットワーク層は、対応するスケールの符号化ネットワーク層の符号化特徴を組み合わせて前の復号ネットワーク層によって出力された初期属性特徴に対してアップサンプリングを行うことができる。図３に示すように、図３では、Ｕ型深層ネットワークを使用して目標画像Ｘ_tに対して特徴抽出を行い、例えば、目標画像をエンコーダに入力し、該エンコーダは、複数（即ち少なくとも２つ）の符号化ネットワーク層を含み、各符号化ネットワーク層は、１つの特徴マップの解像度（即ちスケール）に対応し、エンコーダの複数の符号化ネットワーク層により、目標画像Ｘ_tの符号化特徴の特徴マップの解像度がそれぞれ１０２４×１０２４、５１２×５１２、２５６×２５６、１２８×１２８、６４×６４であることを出力し、６４×６４の特徴マップをデコーダの１番目の復号ネットワーク層に入力してアップサンプリングを行い、１２８×１２８の復号特徴マップを得、１２８×１２８の復号特徴マップと１２８×１２８の符号化特徴マップを連結し、連結された特徴マップに対してアップサンプリングを行い、２５６×２５６の復号特徴マップを得、このように類推して、Ｕ型深層ネットワークのネットワーク構造に基づいて復号して得られた各種の解像度の特徴マップを初期属性特徴とする。該初期属性特徴では、各スケールの初期属性特徴は、該目標画像の対応するスケールにおける属性特徴を表すために用いられ、異なるスケールの初期属性特徴に対応する属性特徴は、異なってもよく、比較的小さなスケールの初期属性特徴は、目標画像内の目標顔のグローバル的な位置、姿勢などの情報を表すことができ、比較的大きな初期属性特徴は、目標画像内の目標顔の局所的な細部を表すことができ、それによって、該少なくとも１つのスケールの初期属性特徴は、対象の複数のレベルにおける属性特徴を網羅することができる。例えば、該少なくとも１つのスケールの初期属性特徴は、小さいものから大きいものまでの解像度を有する複数の特徴マップであってもよく、解像度Ｒ１の特徴マップは、目標画像内の目標顔の顔位置を表すことができ、解像度Ｒ２の特徴マップは、目標画像内の目標顔の姿勢表情を表すことができ、解像度Ｒ３の特徴マップは、目標画像内の目標顔の顔位置の顔の細部を表すことができる。ここで、解像度Ｒ１はＲ２よりも小さく、Ｒ２はＲ３よりも小さい。

【0042】

ステップ２０２において、コンピュータ機器は、顔交換モデルにより、アイデンティティ特徴及び少なくとも１つのスケールの初期属性特徴に対して、反復して特徴融合を行い、融合特徴を得る。

【0043】

ステップ２０３において、コンピュータ機器は、融合特徴に基づいて、顔交換モデルにより目標顔交換画像を生成し、目標顔交換画像を出力する。

【0044】

ここで、目標顔交換画像内の顔は、該ソース顔のアイデンティティ特徴及び該目標顔の目標属性特徴を融合したものである。

【0045】

いくつかの実施形態では、顔交換モデルは、生成器を含み、該生成器は、少なくとも１つの畳み込み層（例えば、少なくとも２つの畳み込み層を含む）を含み、該少なくとも１つの畳み込み層は、直列に接続され、各畳み込み層は1つのスケールに対応する。コンピュータ機器は、顔交換モデルにより、下記のような方式でアイデンティティ特徴及び少なくとも１つのスケールの初期属性特徴に対して、反復して特徴融合を行い、融合特徴を得ることができる。

【0046】

コンピュータ機器は、顔交換モデルの各畳み込み層により、それぞれアイデンティティ特徴及び対応するスケールの初期属性特徴に対して下記のような処理を実行する。現在の畳み込み層の前の畳み込み層によって出力された第１特徴マップを取得し、アイデンティティ特徴及び第１特徴マップに基づいて、第２特徴マップを生成し、少なくとも１つのスケールの初期属性特徴から、目標属性特徴を選別し、該目標属性特徴は、目標顔のアイデンティティ特徴以外の特徴であり、目標属性特徴及び第２特徴マップに基づいて、第３特徴マップを生成し、第３特徴マップは、現在の畳み込み層の次の畳み込み層の第１特徴マップである。少なくとも１つの畳み込み層のうち最後の畳み込み層によって出力された第３特徴マップを融合特徴として決定する。

【0047】

実際の応用において、初期属性特徴及び畳み込み層の数は、いずれも目標数であり、目標数の畳み込み層は直列に接続され、異なる初期属性特徴は異なるスケールに対応し、各畳み込み層は１つのスケールの初期属性特徴に対応し、目標数は２以上である。現在の畳み込み層が該目標数の畳み込み層のうちの１番目の畳み込み層である場合、初期特徴マップを取得し、初期特徴マップを現在の畳み込み層に入力される第１特徴マップとして使用する。ここで、実際の応用において、初期特徴マップは、次元が固定された全０の特徴ベクトルであってもよい。

【0048】

いくつかの実施形態では、コンピュータ機器は、下記のような方式で少なくとも１つのスケールの初期属性特徴から、目標属性特徴を選別することができる。前記特徴マップ及び前記属性特徴に基づいて、前記画像の対応するスケールにおける制御マスクを決定し、該制御マスクは、目標顔のアイデンティティ特徴以外の特徴を載せる画素点を表すために用いられ、制御マスクに基づいて、少なくとも１つのスケールの初期属性特徴を選別し、目標属性特徴を得る。

【0049】

例示的に、該コンピュータ機器は、該アイデンティティ特徴を該生成器の各畳み込み層に入力することができる。該コンピュータ機器は、該少なくとも１つのスケールの初期属性特徴を生成器における初期属性特徴のスケールにマッチングする畳み込み層に入力し、ここで、該生成器の各畳み込み層によって出力された特徴マップのスケールが異なり、初期属性特徴のスケールにマッチングする畳み込み層とは、畳み込み層が出力される特徴マップのスケールは、該初期属性特徴のスケールと同じである。例えば、生成器内のある畳み込み層は、前の畳み込み層からの６４×６４の特徴マップを処理し、１２８×１２８の特徴マップを出力するために用いられる場合、１２８×１２８の初期属性特性を該畳み込み層に入力することができる。

【0050】

いくつかの実施形態では、生成器において、該コンピュータ機器は、アイデンティティ特徴及び少なくとも１つのスケールの初期属性特徴に基づいて、該目標画像の少なくとも１つのスケールの制御マスクを決定し、該アイデンティティ特徴、少なくとも１つのスケールの制御マスク及び初期属性特徴に基づいて、目標顔交換画像を得ることができる。例示的に、該制御マスクは、目標顔のアイデンティティ特徴以外の特徴を載せる画素点を表し、該コンピュータ機器は、該少なくとも１つのスケールの制御マスク及び初期属性特徴に基づいて、少なくとも１つのスケールの目標属性特徴を決定し、該アイデンティティ特徴及び少なくとも１つのスケールの目標属性特徴に基づいて、該目標顔交換画像を生成することができる。

【0051】

該コンピュータ機器は、生成器の各畳み込み層の層ごとの処理により該目標顔交換画像を得ることができる。１つの可能な例では、該コンピュータ機器は、該生成器の各畳み込み層により、入力されたアイデンティティ特徴及び対応するスケールの初期属性特徴に対して次のステップＳ１～ステップＳ４を実行する。

【0052】

ステップＳ１において、コンピュータ機器は、現在の畳み込み層の前の畳み込み層によって出力された第１特徴マップを取得する。

【0053】

生成器において、各畳み込み層は、前の畳み込み層によって出力された特徴マップを処理して次の畳み込み層に出力することができる。ここで、１番目の畳み込み層の場合、該コンピュータ機器は、初期特徴マップを１番目の畳み込み層に入力することができ、例えば、該初期特徴マップは、４×４×５１２の全０の特徴ベクトルであってもよい。最後の畳み込み層の場合、該コンピュータ機器は、該最後の畳み込み層によって出力された特徴マップに基づいて、最終的な目標顔交換画像を生成することができる。

【0054】

ステップＳ２において、コンピュータ機器は、該アイデンティティ特徴及び該第１特徴マップに基づいて第２特徴マップを生成し、該第２特徴マップ及び該初期属性特徴に基づいて、該目標画像の対応するスケールにおける制御マスクを決定する。

【0055】

該制御マスクは、目標顔のアイデンティティ特徴以外の特徴を載せる画素点を表す。

【0056】

いくつかの実施形態では、該コンピュータ機器は、該アイデンティティ特徴に基づいて該現在の畳み込み層の畳み込みカーネルの重みを調整し、該第１特徴マップ及び調整後の畳み込みカーネルに基づいて該第２特徴マップを得る。例示的に、該コンピュータ機器が第２特徴マップを生成するステップは、該コンピュータ機器は、該アイデンティティ特徴に対してアフィン変換を行って第１制御ベクトルを得るステップと、該コンピュータ機器は、該第１制御ベクトルに基づいて該現在の畳み込み層の第１畳み込みカーネルを第２畳み込みカーネルにマッピングし、該第２畳み込みカーネルに基づいて該第１特徴マップに対して畳み込み操作を行い、第２特徴マップを生成するステップと、を含むことができる。例示的に、該アイデンティティ特徴は、アイデンティティ特徴ベクトルの形式で表現されてもよく、アフィン変換は、アイデンティティ特徴ベクトルに対して線形変換及び平行移動を実行して第１制御ベクトルを得る操作を指す。該アフィン変換操作は、平行移動、ズーム、回転、及び反転変換を含むが、これらに限定されなく、該生成器の各畳み込み層は、トレーニング済みのアフィンパラメータマトリックスを含み、該コンピュータ機器は、該アフィンパラメータマトリックスに基づいて、該アイデンティティ特徴ベクトルに対して平行移動、ズーム、回転、反転などの変換を行うことができる。例示的に、該コンピュータ機器は、第１制御ベクトルにより現在の畳み込み層の第１畳み込み層に対して変調操作（Ｍｏｄ）及び復調操作（Ｄｅｍｏｄ）を実行し、第２畳み込みカーネルを得ることができる。ここで、変調操作は、現在の畳み込み層の畳み込みカーネルの重みに対するズーム処理であり得、復調操作は、ズーム処理後の畳み込みカーネルの重みに対して正規化処理を行うことであり得、例えば、該コンピュータ機器は、現在の畳み込み層に入力された第１特徴マップに対応するズーム比及び該第１制御ベクトルにより、該畳み込みカーネルの重みに対してズーム処理を行うことができる。

【0057】

いくつかの実施形態では、該コンピュータ機器は、第２特徴マップ及び現在の畳み込み層に入力された対応するスケールの初期属性特徴に基づいて、対応するスケールの制御マスクを得る。該過程は、該コンピュータ機器は、該第２特徴マップ及び該初期属性特徴に対して特徴連結を行い、連結特徴マップを得るステップと、該コンピュータ機器は、予め設定されたマッピング畳み込みカーネル及び活性化関数に基づいて、該連結特徴マップを該制御マスクにマッピングするステップと、を含み得る。例示的に、該制御マスクは、２値化画像であり、該２値化画像において、目標顔のアイデンティティ特徴以外の特徴を載せる画素点、例えば、髪領域の画素点、背景領域の画素点などが１を取り、アイデンティティ特徴を載せる画素点が０を取る。例示的に、該マッピング畳み込みカーネルは、１×１の畳み込みカーネルであってもよく、該活性化関数は、Ｓｉｇｍｏｉｄ関数であってもよい。例えば、該第２特徴マップ及び該初期属性特徴は、特徴ベクトルの形式で表現されてもよく、該コンピュータ機器は、該第２特徴マップに対応する特徴ベクトル及び該初期属性特徴に対応する特徴ベクトルに対してマージ操作を実行し、該連結ベクトルを得、該連結ベクトルに対して畳み込み操作と活性化操作を実行し、該制御マスクを得ることができる。

【0058】

例示的に、該生成器は複数のブロックを含むことができ、各ブロックは複数の層を含み、コンピュータ機器は、アイデンティティ特徴及び各スケールの初期属性特徴を対応するスケールのブロックに入力し、該ブロックでは、少なくとも１つの層により入力されたアイデンティティ特徴及び初期属性特徴に対して層ごとの処理を行うことができる。例示的に、図４は、生成器におけるｉ番目のブロック（ｉ－ｔｈＧＡＮｂｌｏｃｋ，ｉ番目の対抗ネットワークブロック）のネットワーク構造を示し、ここで、Ｎは属性注入モジュール(ＡｔｔｒＩｎｊｅｃｔｉｏｎ)を表し、右側の破線ボックスは該属性注入モジュールの内部構造を拡大して示す。図４に示すように、ｉ番目のブロックは２つの層を含み、第１層を例として説明する。図４において、左側のｗはソース画像のアイデンティティ特徴ｆ_idを表し、Ａはアフィン変換（ＡｆｆｉｎｅＴｒａｎｓｆｏｒｍ）操作を表し、アイデンティティ特徴ベクトルに対してアフィン変換操作を行うことにより、第１制御ベクトルを得る。図４のＭｏｄ及びＤｅｍｏｄは、畳み込みカーネルＣｏｎｖ３×３に対して変調及び復調操作を表し、コンピュータ機器が現在のブロックの現在の層に入力された第１特徴マップに対してアップサンプリング（Ｕｐｓａｍｐｌｅ）操作を実行した後、Ｍｏｄ及びＤｅｍｏｄ操作後の畳み込みカーネルＣｏｎｖ３×３により、アップサンプリング（Ｕｐｓａｍｐｌｅ）後の第１特徴マップに対して畳み込み操作を実行し、第２特徴マップを得る。次に、該コンピュータ機器は、該第２特徴マップと現在のブロックに入力された初期属性特徴ｆ_i ^attに対して連結(Ｃｏｎｃａｔ)操作を実行し、畳み込みカーネルＣｏｎｖ１×１とＳｉｇｍｏｉｄ関数を使用して、連結して得られた連結特徴ベクトルを現在の層に対応する制御マスクＭ_i,j ^attにマッピングする。

【0059】

ステップＳ３において、コンピュータ機器は、該制御マスクに基づいて該初期属性特徴を選別し、目標属性特徴を得る。

【0060】

該コンピュータ機器は、該制御マスクに対応する特徴ベクトルと初期属性特徴に対応する特徴ベクトルとに対してドット乗算を行い、初期属性特徴における目標属性特徴を選別する。

【0061】

図４に示すように、該コンピュータ機器は、制御マスクＭ_i,j ^att及び初期属性特徴ｆ_idに対してドット乗算を行い、ドット乗算を行って得られた特徴ベクトルと第２特徴マップに対応する特徴ベクトルとを加算し、該目標属性特徴を得ることができる。

【0062】

ステップＳ４において、コンピュータ機器は、該目標属性特徴及び該第２特徴マップに基づいて、第３特徴マップを生成し、該第３特徴マップを次の畳み込み層の第１特徴マップとして該現在の畳み込み層の次の畳み込み層に出力する。

【0063】

該コンピュータ機器は、第２特徴マップに対応する特徴ベクトルと目標属性特徴に対応する特徴ベクトルとを加算し、該第３特徴マップを得ることができる。

【0064】

説明すべきこととして、生成器に含まれる各畳み込み層について、該コンピュータ機器は、生成器の最後の畳み込み層に対して上記のステップＳ１～Ｓ４を繰り返して実行するまで、上記のステップＳ１～Ｓ４を繰り返して実行し、最後の畳み込み層によって出力された第３特徴マップを得、該最後の畳み込み層によって出力された第３特徴マップに基づいて、目標顔交換画像を生成することができる。

【0065】

図４に示すように、ｉ番目のブロックが２つの層を含む場合、第３特徴マップをｉ番目のブロックの２番目の層に入力することができ、１番目の層の操作を繰り返し、２番目の層によって得られた特徴マップを次のブロックに出力し、最後のブロックまでこのように循環する。図３に示すように、該図３において、Ｎは属性注入モジュール(ＡｔｔｒＩｎｊｅｃｔｉｏｎｍｏｄｕｌｅ)を表し、破線ボックスはＳｔｙｌｅＧＡＮ２モデルを採用する生成器（Ｇｅｎｅｒａｔｏｒ）を表し、該生成器に含まれるＮ個のブロックに対して、ソース画像Ｘ_ｓのアイデンティティ特徴ｆ_idをそれぞれ入力し、属性注入モジュールにより対応する初期属性特徴ｆ₁ ^att、ｆ₂ ^att、...、ｆ_i ^att、...、ｆ_N-1 ^att、ｆ_N ^attをそれぞれ対応してＮ個のブロックに入力し、最後のブロックによって出力された特徴を取得するまで、各ブロックにおいて上記のステップＳ１～Ｓ４の過程を実行し、最後のブロックによって出力された特徴マップに基づいて、最終的な目標顔交換画像Ｙ_s,tを生成し、それによって顔交換を完了する。

【0066】

図５は、本出願の実施形態による顔交換モデルのトレーニング方法の模式的フローチャートであり、該方法の実行主体はコンピュータ機器であってもよく、図５に示すように、該方法は、
ステップ５０１において、コンピュータ機器は、サンプル画像ペアにおけるサンプルソース画像のサンプルアイデンティティ特徴と、サンプル画像ペアにおけるサンプル目標画像の少なくとも１つのスケールのサンプル初期属性特徴とを取得する。

【0067】

実際の応用において、コンピュータ機器は、サンプルデータセットを取得し、該サンプルデータセットは、少なくとも１つのサンプル画像ペアを含み、コンピュータ機器は、サンプルデータセットにより顔交換モデルをトレーニングする。ここで、各サンプル画像ペアは、１つのサンプルソース画像と１つのサンプル目標画像とを含む。いくつかの実施形態では、該サンプル画像ペアは、第１サンプル画像ペアと第２サンプル画像ペアとを含むことができ、第１サンプル画像ペアは、同じ対象に属するサンプルソース画像とサンプル目標画像とを含み、第２サンプル画像ペアは、異なる対象に属するサンプルソース画像とサンプル目標画像とを含む。例えば、該サンプル画像ペアは、対象Ａの１枚のソース画像Ｘ_ｓと１枚の目標画像Ｘ_tとからなる第１サンプル画像ペア、及び対象Ａの１枚のソース画像Ｘ_ｓと対象Ｂの１枚の目標画像Ｘ_tとからなる第２サンプル画像ペアを含む。第１サンプル画像ペア及び第２サンプル画像ペアは、いずれも真値ラベルがマークされ、該真値ラベルは、対応するソース画像及び目標画像が同じ対象であるかどうかを表す。

【0068】

ここで、サンプルソース画像のサンプルアイデンティティ特徴及びサンプル目標画像のサンプル初期属性特徴を取得することは、初期顔交換モデルにより実現され得る。いくつかの実施形態では、初期顔交換モデルは、初期のアイデンティティ認識ネットワーク及び属性特徴マップ抽出ネットワークを含むことができ、該コンピュータ機器は、初期のアイデンティティ認識ネットワーク及び属性特徴マップ抽出ネットワークにより、該サンプルソース画像のサンプルアイデンティティ特徴及びサンプル目標画像の少なくとも１つのスケールのサンプル初期属性特徴をそれぞれ抽出することができる。説明すべきこととして、ここで、サンプルアイデンティティ特徴及びサンプル初期属性特徴を取得する実施形態は、上記ステップ２０１でアイデンティティ特徴及び初期属性特徴を取得する方法と同様の過程であり、ここでは繰り返して説明しない。

【0069】

ステップ５０２において、コンピュータ機器は、該初期顔交換モデルの生成器により、サンプルアイデンティティ特徴及び少なくとも１つのスケールのサンプル初期属性特徴に対して、反復して特徴融合を行い、サンプル融合特徴を得、サンプル融合特徴に基づいて、初期顔交換モデルの生成器によりサンプル生成画像を生成する。

【0070】

いくつかの実施形態では、初期顔交換モデルの生成器は、サンプルソース画像のサンプルアイデンティティ特徴及びサンプル目標画像の少なくとも１つのスケールのサンプル初期属性特徴に基づいて、少なくとも１つのスケールのサンプルマスクを決定し、該サンプルアイデンティティ特徴、少なくとも１つのスケールのサンプルマスク及びサンプル初期属性特徴に基づいて、サンプル画像ペアに対応するサンプル生成画像を生成する。

【0071】

該生成器は、複数の畳み込み層を含み、各サンプル画像ペアに対して、該コンピュータ機器は、サンプルアイデンティティ特徴を各畳み込み層に入力し、少なくとも１つのスケールのサンプル初期属性特徴をサンプル初期属性特徴のスケールにマッチングする畳み込み層に入力し、各畳み込み層の層ごとの処理により、該サンプル生成画像を得る。

【0072】

例示的に、該コンピュータ機器は、該生成器の各畳み込み層により、入力されたサンプルアイデンティティ特徴及び対応するスケールのサンプル初期属性特徴に対して以下のステップを実行することができる。コンピュータ機器は、現在の初期畳み込み層の前の初期畳み込み層によって出力された第１サンプル特徴マップを取得し、該サンプルアイデンティティ特徴及び該第１サンプル特徴マップに基づいて、第２サンプル特徴マップを生成し、該第２サンプル特徴マップ及び該サンプル初期属性特徴に基づいて、該サンプル目標画像の対応するスケールにおけるサンプルマスクを決定し、コンピュータ機器は、該サンプルマスクに基づいて、該サンプル初期属性特徴を選別し、サンプル目標属性特徴を得る。コンピュータ機器は、該サンプル目標属性特徴及び該第２サンプル特徴マップに基づいて、第３サンプル特徴マップを生成し、該第３サンプル特徴マップを次の畳み込み層の第１サンプル特徴マップとして該現在の畳み込み層の次の畳み込み層に出力する。生成器の最後の畳み込み層に対して上記のステップを繰り返して実行するまで、このように循環して、最後の畳み込み層によって出力された第３特徴マップを得、該最後の畳み込み層によって出力された第３特徴マップに基づいて、サンプル生成画像を得る。

【0073】

説明すべきこととして、モデルトレーニング段階において、各畳み込み層によって実行されたステップは、トレーニング済みの顔交換モデルの生成器における各畳み込み層によって実行されたステップ（即ち、上記のステップＳ１－Ｓ４）と同様の過程であり、ここでは繰り返して説明しない。

【0074】

ステップＳ５０３において、コンピュータ機器は、初期顔変換モデルの判別器により、サンプル生成画像及びサンプルソース画像を判別し、判別結果を得る。

【0075】

ここで、サンプル画像ペアにおけるサンプルソース画像及びサンプル生成画像を該初期顔変換モデルの判別器に入力し、判別器による該サンプルソース画像と該サンプル生成画像のそれぞれの判別結果を得る。

【0076】

該初期顔変換モデルは、判別器をさらに含むことができ、各サンプル画像ペアに対して、該コンピュータ機器は、該サンプルソース画像及びサンプル生成画像を判別器に入力し、該判別器により該サンプルソース画像に対する第１判別結果、及び該サンプル生成画像に対する第２判別結果を出力する。ここで、該第１判別結果は、該サンプルソース画像が実画像である確率を表すことができ、該第２判別結果は、該サンプル生成画像が実画像である確率を表すことができる。

【0077】

いくつかの実施形態では、該判別器は、少なくとも１つの畳み込み層を含む。各畳み込み層は、判別器の前の畳み込み層によって出力された判別特徴マップを処理し、判別器の次の畳み込み層に出力するために用いられることができる。各畳み込み層は、判別器の最後の畳み込み層まで、サンプルソース画像に対して特徴抽出を行う判別特徴マップと、サンプル生成画像に対して特徴抽出を行う判別特徴マップとを出力し、最後の畳み込み層によって出力されたサンプルソース画像の判別特徴マップに基づいて、第１判別結果を得、最後の畳み込み層によって出力されたサンプル生成画像の判別特徴マップに基づいて、第２判別結果を得ることができる。

【0078】

ステップＳ５０４において、コンピュータ機器は、判別結果に基づいて初期顔変換モデルの損失を決定し、損失に基づいて前記初期顔変換モデルをトレーニングし、顔変換モデルを得る。

【0079】

各サンプル画像ペアに対して、コンピュータ機器は、サンプル画像ペアにおけるサンプル目標画像の少なくとも１つのスケールのサンプルマスクに基づいて、第１損失値を決定し、判別器によるサンプルソース画像とサンプル生成画像のそれぞれの判別結果（即ち、第１判別結果及び第２判別結果）に基づいて、第２損失値を決定し、次に、第１損失値と第２損失値に基づいて、トレーニング総損失を得、トレーニング総損失に基づいて、目標条件に合致するまで初期顔変換モデルをトレーニングし、目標条件に合致する時に、トレーニングを停止し、顔変換モデルを得る。

【0080】

実際の応用において、コンピュータ機器は、少なくとも１つのスケールのサンプルマスクを累加し、少なくとも１つのスケールのサンプルマスクに対応する累加値を該第１損失値とすることができる。例えば、該サンプルマスクは、２値化画像であり得、該コンピュータ機器は、２値化画像内の各画素点の値を累加して各サンプルマスクに対応する第１和値を得、少なくとも１つのスケールのサンプルマスクに対応する第１和値を累加して第１損失値を得ることができる。

【0081】

例示的に、該生成器が少なくとも１つの初期ブロックを含み、各初期ブロックが少なくとも１つの層を含むことを例として、各サンプル画像ペアに対して、該コンピュータ機器は、該各サンプル画像ペアにおけるサンプル目標画像の少なくとも１つのスケールのサンプルマスクに基づいて、次の式１により、第１損失値を決定することができる。
式１：Ｌ_mask＝Σ_i,j|Ｍ_i,j|₁

【0082】

ここで、Ｌ_maskは、第１損失値を表し、ｉは、生成器のｉ番目のブロックを表し、ｊは、ｉ番目のブロックのｊ番目の層を表し、Ｍ_i,jはｉ番目のブロックのｊ番目の層のサンプルマスクを表す。該コンピュータ機器は、上記の式1により、少なくとも１つのブロックの少なくとも１つの層のサンプルマスクを累加し、トレーニング段階では、第１損失値Ｌ_maskを最小化ことにより、生成器をトレーニングし、取得された制御マスクがアイデンティティ特徴以外のキー属性特徴の画素点を効果的に表すことができ、次いで制御マスクにより初期属性特徴におけるキー属性特徴を選別し、初期属性特徴における冗長特徴を濾過し、初期属性特徴におけるキー特徴、必要特徴を保留することができ、それによって冗長属性を回避し、最終的に生成された顔交換画像の正確性を向上させることができる。

【0083】

説明すべきこととして、異なるスケールの２値化画像によって表された目標顔のアイデンティティ特徴以外の特徴を載せる画素点の細分化程度は異なる。図６は、３つの目標画像のそれぞれに対応する異なるスケールのサンプルマスクを示し、各行のサンプルマスクは、そのうちの１つの目標画像に対応する各スケールのサンプルマスクである。図６に示すように、いずれかの目標画像に対して、左から右までの各サンプルマスクの解像度が順次増加し、１行目における各スケールのサンプルマスク変化を例として、４×４、８×８、１６×１６、３２×３２から、目標画像内の顔の位置を次第に明瞭に位置決め、ここで、顔領域に対応する画素点が０を取り、顔領域以外の背景領域に対応する画素点が１を取る。６４×６４、１２８×１２８、２５６×２５６、５１２×５１２、１０２４×１０２４から、目標画像内の顔の姿勢表情を次第に明瞭にし、目標画像内の顔の細部を次第に体現する。

【0084】

例示的に、該コンピュータ機器は、次の式２により、該判別器による該サンプルソース画像と該サンプル生成画像のそれぞれの判別結果に基づいて、第２損失値を決定することができる。
式２：Ｌ_GAN＝min_G max_DＥ[log(Ｄ(Ｘ_s))]＋Ｅ[log(１－Ｄ(Ｙ_s,t))]

【0085】

ここで、Ｌ_GANは、第２損失値を表し、Ｄ(Ｘ_s)は、判別器によるサンプルソース画像の第１判別結果を表し、該第１判別結果は、サンプルソース画像Ｘ_sが実画像である確率であり得、Ｄ(Ｙ_s,t)は、判別器によるサンプル生成画像Ｙ_s,tの第２判別結果を表し、該第２判別結果は、サンプル生成画像が実画像である確率であり得、Ｅ[log(Ｄ(Ｘ_s))]は、log(Ｄ(Ｘ_s))に対する期待であり、判別器の損失値を表すことができ、Ｅ[log(１－Ｄ(Ｙ_s,t))]は、log(１－Ｄ(Ｙ_s,t))に対する期待であり、生成器の損失値を表すことができ、min_Gは、生成器が期待する最小化損失関数値を表し、max_Dは、判別器の最大化損失関数値を表す。説明すべきこととして、該初期顔変換モデルは生成器と判別器とを含み、対抗ネットワークであってもよく、対抗ネットワークは、生成器と判別器とを互いにゲームさせることで学習し、期待された機械学習モデルを得、非監督式学習方法である。生成器のトレーニング目標は入力に基づいて期待された出力を得ることである。判別器のトレーニング目標は、生成器によって生成された画像をできるだけ実画像と区別することである。判別器の入力は、サンプルソース画像と生成器によって生成されたサンプル生成画像を含む。２つのネットワークモデルは互いに対抗して学習し、パラメータを絶えず調整し、最終的な目標は、生成器ができるだけ判別器をだますことで、判別器が生成器によって生成された画像が真実であるかどうかを判断することができないことである。

【0086】

いくつかの実施形態では、該コンピュータ機器は、第１損失値と第２損失値の和の値を該トレーニング総損失とすることができる。

【0087】

いくつかの実施形態では、該コンピュータ機器は、さらに同じ対象のサンプル画像に基づいてトレーニングを行うことができ、コンピュータ機器がトレーニング総損失を決定する前に、該コンピュータ機器は、第１サンプル画像ペアにおけるサンプル生成画像及びサンプル目標画像に基づいて該第１サンプル画像ペアに対応する第３損失値を取得する。該コンピュータ機器がトレーニング総損失を決定するステップは、該コンピュータ機器は、該第１サンプル画像ペアに対応する第３損失値、該サンプル画像ペアに対応する第１損失値及び第２損失値に基づいて、該トレーニング総損失を得るステップを含むことができる。

【0088】

例示的に、該コンピュータ機器は、次の式３により、第１サンプル画像ペアにおけるサンプル生成画像及びサンプル目標画像に基づいて第３損失値を取得することができる。
式３：Ｌ_rec＝|Ｙ_s,t－Ｘ_t|₁

【0089】

ここで、Ｌ_recは、第３損失値を表し、Ｙ_s,tは、第１サンプル画像ペアに対応するサンプル生成画像を表し、Ｘ_tは、該第１サンプル画像ペアにおけるサンプル目標画像を表す。説明すべきこととして、サンプルソース画像とサンプル目標画像が同じ対象に属する場合、顔交換結果をサンプル目標画像と同じに拘束することで、トレーニングされた顔交換モデルが同じ対象の画像に対して顔交換を行う際に、生成された顔交換画像が目標画像に近く、モデルトレーニングの正確性を向上させることができる。

【0090】

いくつかの実施形態では、該判別器は、少なくとも１つの畳み込み層を含む。該コンピュータ機器は、判別器の各畳み込み層の出力結果に基づいて損失計算を行うことができ、トレーニング総損失を決定する前に、各サンプル画像ペアに対して、該コンピュータ機器は、第１判別特徴マップの非顔領域と第２判別特徴マップの非顔領域との間の第１類似度を決定し、該第１判別特徴マップは、少なくとも１つの畳み込み層のうちの第１部分畳み込み層によって出力されたサンプル目標画像に対応する特徴マップであり、該第２判別特徴マップは、該第１部分畳み込み層によって出力されたサンプル生成画像に対応する特徴マップである。コンピュータ機器は、第３判別特徴マップと第４判別特徴マップとの間の第２類似度を決定し、該第３判別特徴マップは、畳み込み層のうちの第２部分畳み込み層によって出力されたサンプル目標画像の特徴マップであり、該第４判別特徴マップは、該第２部分畳み込み層によって出力されたサンプル生成画像の特徴マップである。コンピュータ機器は、各サンプル画像ペアに対応する第１類似度及び第２類似度に基づいて、第４損失値を決定する。該トレーニング総損失を決定するステップは、該コンピュータ機器は、第１損失値、第２損失値及び該第４損失値に基づいて、該トレーニング総損失を得るステップを含むことができる。

【0091】

例示的に、該コンピュータ機器は、トレーニング済みの分割モデルにより、該第１類似度を決定することができる。例えば、該コンピュータ機器は、該分割モデルにより、第１判別特徴マップ又は第２判別特徴マップの分割マスクを取得し、分割マスクに基づいて、第１判別特徴マップの非顔領域と第２判別特徴マップの非顔領域との間の第１類似度を決定することができる。ここで、分割マスクは、第１判別特徴マップ又は第２判別特徴マップの２値化画像であってもよく、２値化画像において、非顔領域に対応する画素点の値が１であり、非顔領域以外の領域に対応する画素点の値が０であり、それによって、顔以外の背景領域を効果的に抽出する。

【0092】

例示的に、該コンピュータ機器は、次の式４により、サンプル画像ペアに対応する第３損失値を決定することができる。

【数1】

【0093】

ここで、Ｌ_FMは、第４損失値を表し、Ｍ_bgは、分割マスクを表し、判別器はＭ個の畳み込み層を含み、１番目からｍ番目までの畳み込み層は第１部分畳み込み層であり、ｍ番目からＭ番目までの畳み込み層は第２部分畳み込み層である。Ｄⁱ(Ｘ_t)は、第１部分畳み込み層内のｉ番目の畳み込み層によって出力されたサンプル目標画像の特徴マップを表し、Ｄⁱ(Ｙ_s,t)は、第１部分畳み込み層内のｉ番目の畳み込み層によって出力されたサンプル生成画像の特徴マップを表し、Ｄ^j(Ｘ_t)は、第２部分畳み込み層内のｊ番目の畳み込み層によって出力されたサンプル目標画像の特徴マップを表し、Ｄ^j(Ｙ_s,t)は、第２部分畳み込み層内のｊ番目の畳み込み層によって出力されたサンプル生成画像の特徴マップを表す。説明すべきこととして、該ｍの値は０以上Ｍ以下の正の整数であり、ｍの値は必要に応じて設定されてもよく、本出願はこれに対して限定しない。

【0094】

いくつかの実施形態では、該コンピュータ機器は、さらに各画像に基づくアイデンティティ特徴間の類似状況をそれぞれ取得し、損失計算を行うことができる。例示的に、トレーニング総損失を決定する前に、各サンプル画像ペアに対して、該コンピュータ機器は、サンプルソース画像の第１アイデンティティ特徴、サンプル目標画像の第２アイデンティティ特徴、及びサンプル生成画像の第３アイデンティティ特徴をそれぞれ抽出することができ、該第１アイデンティティ特徴と第３アイデンティティ特徴とに基づいて、該サンプルソース画像と該サンプル生成画像との間の第１アイデンティティ類似度を決定する。該コンピュータ機器は、該第２アイデンティティ特徴と第３アイデンティティ特徴とに基づいて、該サンプル生成画像とサンプル目標画像との間の第１アイデンティティ距離を決定し、該第１アイデンティティ特徴と該第２アイデンティティ特徴とに基づいて、該サンプルソース画像とサンプル目標画像との間の第２アイデンティティ距離を決定し、該コンピュータ機器は、該第１アイデンティティ距離と該第２アイデンティティ距離とに基づいて、距離差異を決定する。該コンピュータ機器は、各サンプル画像ペアに対応する第１アイデンティティ類似度と距離差異とに基づいて、サンプル画像ペアに対応する第５損失値を決定する。該コンピュータ機器がトレーニング総損失を決定するステップは、該コンピュータ機器は、第１損失値、第２損失値及び第５損失値に基づいて、該トレーニング総損失を得るステップを含むことができる。

【0095】

例示的に、該コンピュータ機器は、次の式５により第５損失値を決定することができる。
式５：
Ｌ_ICL＝１－cos(ｚ_id(Ｙ_s,t),ｚ_id(Ｘ_s))＋(cos(ｚ_id(Ｙ_s,t),ｚ_id(Ｘ_t))－cos(ｚ_id(Ｘ_s),ｚ_id(Ｘ_t)))²

【0096】

ここで、Ｌ_ICLは、第５損失値を表し、ｚ_id(Ｘ_s)は、サンプルソース画像の第１アイデンティティ特徴を表し、ｚ_id(Ｘ_t)は、サンプル目標画像の第２アイデンティティ特徴を表し、ｚ_id(Ｙ_s,t)は、サンプル生成画像の第３アイデンティティ特徴を表し、１－cos(ｚ_id(Ｙ_s,t),ｚ_id(Ｘ_s))は、サンプルソース画像とサンプル生成画像との間の第１アイデンティティ類似度を表し、cos(ｚ_id(Ｙ_s,t),ｚ_id(Ｘ_t))は、サンプル生成画像とサンプル目標画像との間の第１アイデンティティ距離を表し、cos(ｚ_id(Ｘ_s),ｚ_id(Ｘ_t))は、サンプルソース画像とサンプル目標画像との間の第２アイデンティティ距離を表し、(cos(ｚ_id(Ｙ_s,t),ｚ_id(Ｘ_t))－cos(ｚ_id(Ｘ_s),ｚ_id(Ｘ_t)))²は、距離差異を表す。

【0097】

説明すべきこととして、該第１アイデンティティ距離と第２アイデンティティ距離により該距離差異を決定し、第２アイデンティティ距離によって該サンプルソース画像とサンプル目標画像との間の距離を測定するため、該距離差異を最小化することにより、第１アイデンティティ距離、即ちサンプル生成画像とサンプル目標画像との間に一定の距離を持たせ、該距離はサンプルソース画像とサンプル目標画像との間の距離に相当する。第１アイデンティティ類似度により、生成された画像が目標画像のアイデンティティ特徴を持つことを保証し、それによってモデルトレーニングの正確性を向上させ、顔交換の正確性を向上させる。

【0098】

該トレーニング総損失は以上の５つの損失値を含むことを例として、該コンピュータ機器は、次の式６により該トレーニング総損失を決定することができる。
式６：Ｌ_total＝Ｌ_GAN＋Ｌ_mask＋Ｌ_FM＋10*Ｌ_rec＋5*Ｌ_ICL

【0099】

ここで、Ｌ_totalは、トレーニング総損失を表し、Ｌ_GANは、第２損失値を表し、Ｌ_maskは、第１損失値を表し、Ｌ_FMは、第４損失値を表し、Ｌ_recは、第３損失値を表し、Ｌ_ICLは、第５損失値を表す。

【0100】

実際の応用において、コンピュータ機器は、トレーニング総損失に基づいて、目標条件に合致するまで初期顔変換モデルをトレーニングし、目標条件に合致する時に、トレーニングを停止し、顔変換モデルを得る。

【0101】

説明すべきこととして、該コンピュータ機器は、以上のステップ５０１～ステップ５０４に基づいて、初期顔変換モデルに対して反復トレーニングを行い、各反復トレーニングに対応するトレーニング総損失を得、各反復トレーニングのトレーニング総損失に基づいて、該初期顔変換モデルのパラメータを調整し、例えば、該トレーニング総損失が目標条件に合致するまで、初期顔変換モデルにおけるエンコーダ、デコーダ、生成器、判別器などに含まれるパラメータを最適化し、目標条件に合致する時に、該コンピュータ機器はトレーニングを停止し、最後の最適化で得られた初期顔変換モデルを顔変換モデルとすることができる。例えば、該コンピュータ機器は、Ａｄａｍアルゴリズム最適化器を使用して、０．０００１の学習率で、目標条件に達するまで、該初期顔変換モデルに対して反復トレーニングを行うことができ、目標条件に達する時に、トレーニングが収束に達したと見なし、トレーニングを停止する。例えば、該目標条件は、総損失の数値が目標数値範囲内にあること、例えば、総損失が０．５未満であることであってもよく、又は、該目標条件は、複数回の反復トレーニングに費やされた時間が最大時間長を超えることであってもよい。

【0102】

図３は、本出願の実施形態による顔交換モデルのフレームワーク模式図である。該コンピュータ機器は、対象Ａの顔画像をソース画像Ｘ_sとし、対象Ｂの顔画像を目標画像Ｘ_tとすることができる。該コンピュータ機器は、固定顔認識ネットワーク（ＦｉｘｅｄＦＲＮｅｔ）によりソース画像のアイデンティティ特徴ｆ_idを取得し、該コンピュータ機器は、該アイデンティティ特徴ｆ_idを生成器に含まれるＮ個のブロックにそれぞれ入力する。該コンピュータ機器は、Ｕ型深層ネットワーク構造のエンコーダ及びデコーダにより、該目標画像の少なくとも１つのスケールの初期属性特徴ｆ₁ ^att、ｆ₂ ^att、...、ｆ_i ^att、...、ｆ_N-1 ^att、ｆ_N ^attを取得して対応するスケールのブロックにそれぞれ入力する。該コンピュータ機器は、最後のブロックによって出力された特徴マップを得るまで、各ブロックに対して上記のステップＳ１～Ｓ４の過程を実行し、該コンピュータ機器は、最後のブロックによって出力された特徴マップに基づいて最終的な目標顔交換画像Ｙ_s,tを生成し、それによって顔交換を完了する。

【0103】

説明すべきこととして、本出願の画像処理方法により、高解像度の顔変換を実現し、例えば１０２４^２のような高解像度の顔変換画像を生成することができ、同時に、生成された高解像度の顔変換画像は比較的高い画質、及びソース画像内のソース顔のアイデンティティとの一致性を両立させ、目標画像内の目標顔のキー属性を効果的に高精度に保留する。関連技術における方法Ａは、２５６^２などの低解像度の顔変換画像しか生成できず、本出願の画像処理方法により、生成器の各畳み込み層において少なくとも１つのスケールの初期属性特徴とアイデンティティ特徴を処理し、少なくとも１つのスケールの制御マスクを使用して初期属性特徴を選別することにより、得られた目標属性特徴に目標顔アイデンティティ特徴などの冗長情報が効果的に濾過され、目標顔のキー属性特徴を効果的に保留する。そして、該少なくとも１つのスケールの初期属性特徴は異なるスケールの特徴に突出して対応し、比較的大きいスケールの初期属性特徴が比較的大きいスケールの制御マスクに対応することにより、キー属性に対する高より明瞭な選別を実現することができ、それによって目標顔の髪の毛、しわ、顔の遮蔽などの顔の細部特徴を高精度に保留し、生成された顔交換画像の精度と明瞭度を大幅に向上させ、顔交換画像の真実性を向上させる。

【0104】

また、本出願の画像処理方法は、顔交換後の顔交換画像全体を直接生成することができ、該顔交換画像全体は、顔交換後の顔と背景領域とを含み、関連技術における融合又は補強などの処理を必要としなく、顔交換過程の処理効率を大幅に向上させる。

【0105】

また、本出願の顔交換モデルトレーニング方法は、モデルトレーニング時に初期顔交換モデルにおけるサンプル生成画像を生成するための生成フレームワーク全体に対して端対端のトレーニングを行うことができ、多段階トレーニングによる誤りの蓄積を回避することで、本出願によってトレーニングされた顔交換モデルは、顔交換画像をより安定的に生成し、顔交換過程の安定性及び信頼性を向上させることができる。

【0106】

また、本出願の画像処理方法は、より高解像度の顔交換画像を生成することができ、しかも目標画像内の目標顔のテクスチャ質感、皮膚輝度、髪の毛などの細部を正確に保留し、顔交換の精度、明瞭度及び真実性を向上させ、ゲーム又は映画やテレビなどの顔交換の品質により高い要求があるシナリオに適用され得る。そして、アバターメンテナンスシナリオに対して、本出願の画像処理方法は、任意の対象の顔を任意の対象の顔に置き換える顔交換を実現することができ、特定のアバターに対して、該特定のアバターの顔を任意の対象の顔画像に入れ替えることで、アバターに対するメンテナンスが容易になり、アバターメンテナンスの利便性が向上する。

【0107】

以下に、本出願の画像処理方法を使用した顔交換結果と関連技術の顔交換結果を対比して示す。対比から分かるように、本出願の画像処理方法によって生成された高解像度の顔交換結果は定性と定量対比において、いずれも関連技術より明らかな優位性を示す。

【0108】

図７に示すように、図７は、関連技術におけるいくつかの方法（以下、方法Ａと称する）と、本出願で提案されたスキームの高解像度の顔交換結果との対比を示す。対比から分かるように、方法Ａは明らかな皮膚輝度の不一致問題を発生し、しかも顔の髪の毛の遮蔽を保留できない。本出願で提案されたスキームによって生成された結果は、目標顔の皮膚輝度、表情、皮膚テクスチャ、遮蔽などの属性特徴を保留し、しかもより良い画質を持ち、真実性もある。

【0109】

以下の表１において、関連技術における方法Ａと本出願で提案されたスキームの高解像度の顔交換結果との定量対比を示す。表１の実験データは、生成された顔交換画像における顔とソース画像における顔とのアイデンティティ類似度（ＩＤＲｅｔｒｉｅｖａｌ）、顔交換画像における顔と目標画像における顔との姿勢差異（ＰｏｓｅＥｒｒｏｒ）、及び顔交換画像における顔と実顔画像のピクチャ品質差異（ＦＩＤ）を比較する。表１の実験データから分かるように、本出願で提案されたスキームの高解像度の顔交換結果のアイデンティティ類似度は関連技術における方法Ａより明らかに高い。本出願で提案されたスキームの高解像度の顔交換結果の姿勢差異は関連技術における方法Ａより低く、本出願のスキームの姿勢差異はより低い。本出願で提案されたスキームの高解像度の顔交換結果のピクチャ品質差異は関連技術における方法Ａより明らかに低く、本出願のスキームで得られた顔交換画像と実画像のピクチャ品質差異は小さい。したがって、本出願で提案されたスキームは、画像品質、ソース顔とのアイデンティティ一致性、及び目標顔に対する属性保留を両立させ、関連技術における方法Ａに対して顕著な優位性を持つ。

【0110】

【表1】

【0111】

本出願の実施形態の画像処理方法では、ソース画像のアイデンティティ特徴と、目標画像の少なくとも１つのスケールの初期属性特徴とを取得し、該アイデンティティ特徴をトレーニング済みの顔交換モデル内の生成器に入力し、該少なくとも１つのスケールの初期属性特徴をそれぞれ該生成器内の対応するスケールの畳み込み層に入力し、目標顔交換画像を得る。該生成器の各畳み込み層において、アイデンティティ特徴と前の畳み込み層によって出力された第１特徴マップに基づいて、第２特徴マップを生成し、第２特徴マップと初期属性特徴とに基づいて、該目標画像の対応するスケールの制御マスクを決定することにより、目標画像内の目標顔のアイデンティティ特徴以外の特徴を載せる画素点を正確に位置決めすることができる。該制御マスクに基づいて初期属性特徴内の目標属性特徴を選別し、該目標属性特徴と該第２特徴マップとに基づいて、第３特徴マップを生成して次の畳み込み層に出力し、少なくとも１つの畳み込み層の層ごとの処理により、最終的な目標顔交換画像に目標顔の属性と細部特徴とを効果的に保留することを保証し、顔交換画像内の顔の明瞭度を大幅に向上させ、高解像度の顔交換を実現し、顔交換の精度を向上させる。

【0112】

図８は、本出願の実施形態による画像処理装置の構造的模式図である。図８に示すように、該画像処理装置は、
受信した顔交換要求に応答して、ソース画像のアイデンティティ特徴及び目標画像の少なくとも１つのスケールの初期属性特徴を取得するように構成される特徴取得モジュール８０１であって、該顔交換要求は、該目標画像内の目標顔を該ソース画像内のソース顔に置き換えることを要求するために用いられ、該アイデンティティ特徴は、該ソース顔が属する対象を表し、該初期属性特徴は、該目標顔の３次元属性を表す、特徴取得モジュール８０１と、
前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴を顔交換モジュール内の顔交換モデルに入力するステップと、
前記顔交換モデルにより、前記アイデンティティ特徴及び前記少なくとも１つのスケールの初期属性特徴に対して、反復して特徴融合を行い、融合特徴を得るステップと、
前記融合特徴に基づいて、前記顔交換モデルにより目標顔交換画像を生成し、前記目標顔交換画像を出力するステップであって、前記目標顔交換画像内の顔は、前記ソース顔のアイデンティティ特徴と前記目標顔の目標属性特徴とを融合したものである、ステップと、を実行するように構成される、顔交換モジュール８０２と、を備える。

【0113】

いくつかの実施形態では、前記顔交換モデルは、少なくとも１つの畳み込み層を含み、各前記畳み込み層は1つの前記スケールに対応し、顔交換モジュール８０２の畳み込み層は、取得ユニット、生成ユニット及び属性選別ユニットを含み、
取得ユニットは、現在の畳み込み層の前の畳み込み層によって出力された第１特徴マップを取得するように構成され、
生成ユニットは、該アイデンティティ特徴及び該第１特徴マップに基づいて、第２特徴マップを生成するように構成され、
属性選別ユニットは、前記少なくとも１つのスケールの初期属性特徴から、目標属性特徴を選別するように構成され、前記目標属性特徴は、前記目標顔のアイデンティティ特徴以外の特徴であり、
該生成ユニットは、さらに、該目標属性特徴及び該第２特徴マップに基づいて、第３特徴マップを生成し、該第３特徴マップを次の畳み込み層の第１特徴マップとして該現在の畳み込み層の次の畳み込み層に入力し、
前記少なくとも１つの畳み込み層のうち最後の畳み込み層によって出力された第３特徴マップを前記融合特徴として決定するように構成される。

【0114】

いくつかの実施形態では、顔交換モジュール８０２の畳み込み層は、
前記第２特徴マップ及び前記初期属性特徴に基づいて、対応するスケールでの前記目標画像の制御マスクを決定するように構成される制御マスク決定ユニットをさらに含み、
前記制御マスクは、目標顔のアイデンティティ特徴以外の特徴を載せる画素点を表すために用いられ、
生成ユニットは、さらに、前記制御マスクに基づいて、前記少なくとも１つのスケールの初期属性特徴を選別し、目標属性特徴を得るように構成される。

【0115】

いくつかの実施形態では、制御マスク決定ユニットは、さらに、
前記第２特徴マップ及び前記初期属性特徴に対して特徴連結を行い、連結特徴マップを得、
予め設定されたマッピング畳み込みカーネル及び活性化関数に基づいて、前記連結特徴マップを前記制御マスクにマッピングするように構成される。

【0116】

いくつかの実施形態では、前記初期属性特徴及び前記畳み込み層の数は、いずれも目標数であり、前記目標数の畳み込み層は直列に接続され、異なる前記初期属性特徴は異なる前記スケールに対応し、各前記畳み込み層は１つの前記スケールの初期属性特徴に対応し、前記目標数は２以上であり、
取得ユニットは、さらに、前記現在の畳み込み層が前記目標数の畳み込み層のうちの１番目の畳み込み層である場合、初期特徴マップを取得し、前記初期特徴マップを現在の畳み込み層に入力される第１特徴マップとして使用するように構成される。

【0117】

いくつかの実施形態では、該生成ユニットは、さらに、該アイデンティティ特徴に対してアフィン変換を行い、第１制御ベクトルを得、該第１制御ベクトルに基づいて、該現在の畳み込み層の第１畳み込みカーネルを第２畳み込みカーネルにマッピングし、該第２畳み込みカーネルに基づいて、該第１特徴マップに対して畳み込み操作を行い、第２特徴マップを生成するように構成される。

【0118】

いくつかの実施形態では、該画像処理装置は、顔交換モデルをトレーニングする場合、
サンプルデータセットを取得するように構成されるサンプル取得モジュールであって、該サンプルデータセットは、少なくとも１つのサンプル画像ペアを含み、各サンプル画像ペアは、１つのサンプルソース画像と１つのサンプル目標画像とを含む、サンプル取得モジュールと、
サンプル画像ペアにおけるサンプルソース画像のサンプルアイデンティティ特徴と、前記サンプル画像ペアにおけるサンプル目標画像の少なくとも１つのスケールのサンプル初期属性特徴とを取得するように構成されるサンプル特徴取得モジュールと、
該初期顔交換モデルの生成器により、前記サンプルアイデンティティ特徴及び前記少なくとも１つのスケールのサンプル初期属性特徴に対して、反復して特徴融合を行い、サンプル融合特徴を得、前記サンプル融合特徴に基づいて、前記初期顔交換モデルの生成器によりサンプル生成画像を生成するように構成される生成モジュールと、
前記初期顔変換モデルの判別器により、前記サンプル生成画像及び前記サンプルソース画像を判別し、判別結果を得るように構成される判別モジュールと、
前記判別結果に基づいて前記初期顔変換モデルの損失を決定するように構成される損失決定モジュールと、
前記損失に基づいて前記初期顔変換モデルをトレーニングし、前記顔変換モデルを得るように構成されるトレーニングモジュールと、をさらに備える。

【0119】

いくつかの実施形態では、前記判別結果は、前記サンプルソース画像に対する第１判別結果及び前記サンプル生成画像に対する第２判別結果を含み、
損失決定モジュールは、さらに、各サンプル画像ペアにおけるサンプル目標画像の少なくとも１つのスケールのサンプルマスクを取得し、該少なくとも１つのスケールのサンプルマスクに基づいて、第１損失値を決定し、第１判別結果及び前記第２判別結果に基づいて、第２損失値を決定するように構成され、
トレーニングモジュールは、さらに、前記トレーニング総損失に基づいて、目標条件に合致するまで前記初期顔変換モデルをトレーニングし、前記目標条件に合致する時に、トレーニングを停止し、前記顔変換モデルを得るように構成される。

【0120】

いくつかの実施形態では、前記サンプルソース画像及び前記サンプル目標画像は、同じ対象に対応し、
該損失決定モジュールは、さらに、サンプル生成画像及びサンプル目標画像に基づいて、第３損失値を取得し、第３損失値、第１損失値及び第２損失値に基づいて、該トレーニング総損失を得るように構成される。

【0121】

いくつかの実施形態では、該判別器は、少なくとも１つの畳み込み層を含み、該損失決定モジュールは、さらに、
各サンプル画像ペアに対して、第１判別特徴マップの非顔領域と第２判別特徴マップの非顔領域との間の第１類似度を決定するステップであって、該第１判別特徴マップは、少なくとも１つの畳み込み層のうちの第１部分畳み込み層によって出力されたサンプル目標画像の特徴マップであり、該第２判別特徴マップは、該第１部分畳み込み層によって出力されたサンプル生成画像の特徴マップである、ステップと、
第３判別特徴マップと第４判別特徴マップとの間の第２類似度を決定するステップであって、該第３判別特徴マップは、少なくとも１つの畳み込み層のうちの第２部分畳み込み層によって出力されたサンプル目標画像の特徴マップであり、該第４判別特徴マップは、該第２部分畳み込み層によって出力されたサンプル生成画像の特徴マップである、ステップと、
第１類似度及び第２類似度に基づいて、第４損失値を決定するステップと、
第１損失値、第２損失値及び該第４損失値に基づいて、該トレーニング総損失を得るステップと、を実行するように構成される。

【0122】

いくつかの実施形態では、該損失決定モジュールは、さらに、
各サンプル画像ペアに対して、サンプルソース画像の第１アイデンティティ特徴、サンプル目標画像の第２アイデンティティ特徴、及びサンプル生成画像の第３アイデンティティ特徴を抽出するステップと、
該第１アイデンティティ特徴及び該第３アイデンティティ特徴に基づいて、該サンプルソース画像と該サンプル生成画像との間の第１アイデンティティ類似度を決定するステップと、
該第２アイデンティティ特徴及び第３アイデンティティ特徴に基づいて、該サンプル生成画像と該サンプル目標画像との間の第１アイデンティティ距離を決定するステップと、
該第１アイデンティティ特徴及び第２アイデンティティ特徴に基づいて、該サンプルソース画像とサンプル目標画像との間の第２アイデンティティ距離を決定するステップと、
該第１アイデンティティ距離及び第２アイデンティティ距離に基づいて、距離差異を決定するステップと、
各サンプル画像ペアに対応する第１アイデンティティ類似度及び距離差異に基づいて、サンプル画像ペアに対応する第５損失値を決定するステップと、
第１損失値、第２損失値及び第５損失値に基づいて、該トレーニング総損失を得るステップと、を実行するように構成される。

【0123】

本出願の実施形態の画像処理装置では、ソース画像のアイデンティティ特徴と、目標画像の少なくとも１つのスケールの初期属性特徴とを取得し、該アイデンティティ特徴をトレーニング済みの顔交換モデル内の生成器に入力し、該少なくとも１つのスケールの初期属性特徴をそれぞれ該生成器内の対応するスケールの畳み込み層に入力し、目標顔交換画像を得る。該生成器の各畳み込み層において、アイデンティティ特徴と前の畳み込み層によって出力された第１特徴マップに基づいて、第２特徴マップを生成し、第２特徴マップと初期属性特徴とに基づいて、該目標画像の対応するスケールの制御マスクを決定することにより、目標画像内の目標顔のアイデンティティ特徴以外の特徴を載せる画素点を正確に位置決めすることができる。該制御マスクに基づいて初期属性特徴内の目標属性特徴を選別し、該目標属性特徴と該第２特徴マップとに基づいて、第３特徴マップを生成して次の畳み込み層に出力し、少なくとも１つの畳み込み層の層ごとの処理により、最終的な目標顔交換画像に目標顔の属性と細部特徴とを効果的に保留することを保証し、顔交換画像内の顔の明瞭度を大幅に向上させ、高解像度の顔交換を実現し、顔交換の精度を向上させる。

【0124】

図９は、本出願の実施形態によるコンピュータ機器の構造的模式図である。図９に示すように、該コンピュータ機器は、メモリ及びプロセッサを含む。前記メモリは、コンピュータプログラムを記憶する。該プロセッサは、メモリに記憶されたコンピュータプログラムを実行して、本出願の実施形態に提供された画像処理方法を実現する。

【0125】

いくつかの実施形態では、コンピュータ機器が提供される。図９に示すように、コンピュータ機器９００は、プロセッサ９０１、メモリ９０３を含む。プロセッサ９０１は、例えばバス９０２によってメモリ９０３に接続される。例えば、コンピュータ機器９００はトランシーバ９０４をさらに含むことができ、トランシーバ９０４は、データ送信及び／又はデータ受信など、該コンピュータ機器と他のコンピュータ機器との間のデータインタラクションのために用いられることができる。説明すべきこととして、実際の応用において、トランシーバ９０４は１つに限定されず、前記コンピュータ機器９００の構造は本出願の実施形態に対する限定を構成しない。

【0126】

プロセッサ９０１は、中央処理装置（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、汎用プロセッサ、データ信号プロセッサ（ＤＳＰ：ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ(ＦＰＧＡ：ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ)、又はその他のプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネント、又はそれらの任意の組み合わせであり得る。それは、本出願の開示された内容を組み合わせて説明された様々な例示的な論理ブロック、モジュール及び回路を実現又は実行することができる。プロセッサ９０１は、１つ以上のマイクロプロセッサの組み合わせ、ＤＳＰとマイクロプロセッサの組み合わせなど、計算機能を実現するための組み合わせであってもよい。

【0127】

バス９０２は、前述のコンポーネント間で情報を伝送するための１つのパスを含むことができる。バス９０２は、周辺部品相互接続規格（ＰＣＩ：ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張工業規格構造（ＥＩＳＡ：ＥｘｔｅｎｄｅｄＩｎｄｕｓｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ）バスなどであってもよい。バス９０２は、アドレスバス、データバス、コントロールバスなどに分けることができる。表示を容易にするために、図９では１本の太い線のみで表示されているが、１本のバス又は１種類のバスのみを表示しているわけではない。

【0128】

メモリ９０３は、読み取り専用メモリ（ＲＯＭ：ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）又は静的な情報及び命令を記憶することができる他のタイプの静的記憶装置、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）又は情報及び命令を記憶することができる他のタイプの動的記憶装置であってもよく、電気的に消去可能なプログラム可能な読み取り専用メモリ(ＥＥＰＲＯＭ：ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ)、読み取り専用ディスク(ＣＤ－ＲＯＭ：コンパクトディスクＲｅａｄＯｎｌｙＭｅｍｏｒｙ)又はその他の光ディスクメモリ、光ディスクストレージ(圧縮ディスクス、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ(登録商標)ディスクなどを含む)、磁気ディスク記憶媒体又はその他の磁気記憶デバイス、又はコンピュータプログラムを搬送又は記憶するために用いられ得、コンピュータによって読み取られ得るその他のいなかる媒体であってもよく、ここでは限定されない。

【0129】

メモリ９０３は、本出願の実施形態を実行するためのコンピュータプログラムを記憶するために用いられ、その実行はプロセッサ９０１によって制御される。プロセッサ９０１は、メモリ９０３に記憶されたコンピュータプログラムを実行して、前述の方法の実施形態で示されたステップを実現する。

【0130】

コンピュータ機器は、サーバ、端末又はクラウドコンピューティングセンターデバイスなどを含むが、これらに限定されない。

【0131】

本出願の実施形態は、コンピュータ可読記憶媒体を提供し、該コンピュータ可読記憶媒体は、コンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行される場合、前述の方法の実施形態のステップ及び対応する内容が実現され得る。

【0132】

本出願の実施形態は、コンピュータプログラムを含むコンピュータプログラム製品をさらに提供し、コンピュータプログラムがプロセッサによって実行される場合、前述の方法の実施形態のステップ及び対応する内容が実現され得る。

【0133】

本出願の明細書及び特許請求の範囲、並びに上記の図面における「第１」、「第２」、「第３」、「第４」、「１」、「２」などの用語(存在する場合)は、必ずしも特定の順序又は前後順序を説明することではなく、類似する対象を区別するために用いられる。このように使用されるデータは、適切な場合で交換可能であるため、本明細書に記載された本出願の実施形態は、図示又は文字で説明された順序以外の順序で実施され得ることを理解すべきである。

【0134】

以上は本出願の一部の実施シナリオの選択可能な実施形態だけであり、当業者にとっては、本出願の解決策の技術的概念から逸脱することなく、本出願の技術思想に基づく他の類似する実施手段を採用することは、同様に本出願の実施形態の保護範囲に属することを指摘すべきである。

【符号の説明】

【0135】

１１サーバ
１２端末
８０１特徴取得モジュール
８０２顔交換モジュール
９００コンピュータ機器
９０１プロセッサ
９０２バス
９０３メモリ
９０４トランシーバ

【図1】