特許7577131モデル訓練方法及び装置、アイデンティティ匿名化方法及び装置、機器、記憶媒体並びにコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-24
(45)【発行日】2024-11-01
(54)【発明の名称】モデル訓練方法及び装置、アイデンティティ匿名化方法及び装置、機器、記憶媒体並びにコンピュータプログラム
(51)【国際特許分類】
G06T 1/40 20060101AFI20241025BHJP
G06T 1/00 20060101ALI20241025BHJP
【ＦＩ】
G06T1/40
G06T1/00 340A
【請求項の数】
22
(21)【出願番号】P 2022566254
(86)(22)【出願日】2022-08-11
(65)【公表番号】
(43)【公表日】2024-03-25
(86)【国際出願番号】 CN2022111704
(87)【国際公開番号】W WO2023168903
(87)【国際公開日】2023-09-14
【審査請求日】2022-10-28
(31)【優先権主張番号】202210234385.2
(32)【優先日】2022-03-10
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】▲羅▼ 宇辰
(72)【発明者】
【氏名】朱 俊▲偉▼
(72)【発明者】
【氏名】▲賀▼ 珂珂
(72)【発明者】
【氏名】▲儲▼ 文青
(72)【発明者】
【氏名】▲タイ▼ ▲穎▼
(72)【発明者】
【氏名】汪 ▲チェン▼杰
【審査官】岡本 俊威
(56)【参考文献】
【文献】中国特許出願公開第１１３６４２４０９（ＣＮ，Ａ）
【文献】国際公開第２０２１／０８０１０３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／４０
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
コンピューティングデバイスが実行するモデル訓練方法であって、第１訓練画像の先験的アイデンティティ情報を抽出するステップと、
ターゲットネットワークモデルにおける投影モジュールの第１投影ユニットによって、前記先験的アイデンティティ情報をターゲット空間の第１空間に投影し、Ｎ個（Ｎは正の整数である）のアイデンティティ潜在ベクトルを得るステップと、
前記ターゲットネットワークモデルにおける投影モジュールの第２投影ユニットによって、前記Ｎ個のアイデンティティ潜在ベクトルを前記ターゲット空間の第２空間に投影し、Ｎ個の第１仮想アイデンティティベクトルを得るステップと、
前記ターゲットネットワークモデルにおける属性モジュールによって、第２訓練画像に対して属性ベクトル抽出を行い、前記第２訓練画像のＭ個（Ｍは正の整数である）の属性ベクトルを得るステップと、
前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の第１仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記第２訓練画像のアイデンティティ匿名化画像を得るステップと、
前記アイデンティティ匿名化画像に基づいて、前記ターゲットネットワークモデルの損失を決定し、前記損失に基づいて前記ターゲットネットワークモデルを訓練するステップと、を含む、モデル訓練方法。
【請求項2】
前記Ｎ個のアイデンティティ潜在ベクトルを得るステップは、前記第１投影ユニットによって前記先験的アイデンティティ情報を前記第１空間の平均値及び分散として投影するステップと、
前記第１空間の平均値及び分散に基づいてサンプリングを行い、前記Ｎ個のアイデンティティ潜在ベクトルを得るステップと、を含む、請求項１に記載のモデル訓練方法。
【請求項3】
前記モデル訓練方法は、前記Ｎ個のアイデンティティ潜在ベクトルの発散制約を決定するステップを更に含み、
前記アイデンティティ匿名化画像に基づいて、前記ターゲットネットワークモデルの損失を決定するステップは、
前記アイデンティティ匿名化画像及び前記発散制約に基づいて、前記ターゲットネットワークモデルの損失を決定するステップを含む、請求項１に記載のモデル訓練方法。
【請求項4】
前記モデル訓練方法は、第３訓練画像を取得するステップであって、前記第３訓練画像及び前記第１訓練画像は、第１ターゲットの２つの異なる画像である、ステップと、
前記ターゲットネットワークモデルの投影参照モジュールによって、前記第３訓練画像をターゲット空間に投影し、Ｎ個の第２仮想アイデンティティベクトルを得るステップであって、前記投影参照モジュールは前記投影モジュールと同じネットワーク構造を有し、且つ前記投影モジュールに従って更新される、ステップと、
前記Ｎ個の第１仮想アイデンティティベクトル及び前記Ｎ個の第２仮想アイデンティティベクトルに基づいて、アイデンティティ損失を決定するステップと、を更に含み、
前記アイデンティティ匿名化画像及び前記発散制約に基づいて、前記ターゲットネットワークモデルの損失を決定するステップは、
前記アイデンティティ匿名化画像、前記発散制約及び前記アイデンティティ損失に基づいて、前記ターゲットネットワークモデルの損失を決定するステップを含む、請求項３に記載のモデル訓練方法。
【請求項5】
前記Ｎ個の第１仮想アイデンティティベクトル及び前記Ｎ個の第２仮想アイデンティティベクトルに基づいて、アイデンティティ損失を決定するステップは、前記Ｎ個の第２仮想アイデンティティベクトルのうちのｉ番目（ｉは１からＮまでの正の整数である）の第２仮想アイデンティティベクトルについて、前記ｉ番目の第２仮想アイデンティティベクトルを使用してｉ番目の動的リスト内の、前記第１ターゲットに対応する仮想アイデンティティベクトルを更新するステップであって、前記ｉ番目の動的リストは、ｉ番目の解像度における異なるターゲットの仮想アイデンティティベクトルを含む、ステップと、
ｉ番目の第１仮想アイデンティティベクトル及び更新された前記ｉ番目の動的リストに基づいて、前記ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失を決定するステップと、
前記Ｎ個の第１仮想アイデンティティベクトルにそれぞれ対応するアイデンティティサブ損失の総和を、前記アイデンティティ損失として決定するステップと、を含む、請求項４に記載のモデル訓練方法。
【請求項6】
前記ｉ番目の第１仮想アイデンティティベクトル及び更新された前記ｉ番目の動的リストに基づいて、前記ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失を決定するステップは、前記ｉ番目の第２仮想アイデンティティベクトルと第１所定値との第１比率を取得し、前記第１比率を前記ｉ番目の第１仮想アイデンティティベクトルと乗算して第１結果を得、前記第１結果に対して指数演算を行って第１演算値を得るステップと、
更新された前記ｉ番目の動的リストのうち、各第２仮想アイデンティティベクトルと第１所定値との第２比率を取得し、各前記第２比率について、前記第２比率を、対応するｉ番目の第１仮想アイデンティティベクトルと乗算して第２結果を得、前記第２結果に対して指数演算を行って前記各第２仮想アイデンティティベクトルに対応する第２演算値を得るステップと、
各第２仮想アイデンティティベクトルに対応する第２演算値の和を決定し、前記第１演算値と前記和との第３比率を取得し、前記第３比率に対して対数演算を行って第３演算値を得るステップと、
前記第３演算値の負数を、前記ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失として決定するステップと、を含む、請求項５に記載のモデル訓練方法。
【請求項7】
前記属性モジュールは、符号化ユニット及び復号ユニットを備え、前記ターゲットネットワークモデルにおける属性モジュールによって、第２訓練画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るステップは、前記符号化ユニットによって前記第２訓練画像に対して特徴抽出を行い、前記第２訓練画像の特徴情報を得るステップと、
前記復号ユニットによって前記特徴情報を復号し、Ｍ個の属性ベクトルを得るステップと、を含む、請求項１ないし６のいずれか一項に記載のモデル訓練方法。
【請求項8】
前記融合モジュールは、複数の異なる解像度層を含み、前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の第１仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記第２訓練画像のアイデンティティ匿名化画像を得るステップは、前記Ｎ個の第１仮想アイデンティティベクトルに対応する解像度に基づいて、前記Ｎ個の第１仮想アイデンティティベクトルをパターンとして、前記Ｍ個の属性ベクトルをノイズとして使用して、対応する解像度層に入力し、前記第２訓練画像のアイデンティティ匿名化画像を得るステップを含む、請求項１ないし６のいずれか一項に記載のモデル訓練方法。
【請求項9】
前記アイデンティティ匿名化画像、前記発散制約及び前記アイデンティティ損失に基づいて、前記ターゲットネットワークモデルの損失を決定するステップは、前記アイデンティティ匿名化画像と前記第２訓練画像との間の再構築損失を決定するステップと、
前記再構築損失、前記発散制約及び前記アイデンティティ損失に基づいて、前記ターゲットネットワークモデルの損失を決定するステップと、を含む、請求項４に記載のモデル訓練方法。
【請求項10】
前記モデル訓練方法は、前記アイデンティティ匿名化画像と前記第１訓練画像との間の第１距離、前記アイデンティティ匿名化画像と前記第２訓練画像との間の第２距離、及び前記第１訓練画像と前記第２訓練画像との間の第３距離を決定するステップと、
前記第１距離、前記第２距離及び前記第３距離に基づいて、コントラスト損失を決定するステップと、を更に含み、
前記再構築損失、前記発散制約及び前記アイデンティティ損失に基づいて、前記ターゲットネットワークモデルの損失を決定するステップは、
前記再構築損失、前記発散制約、前記アイデンティティ損失及び前記コントラスト損失に基づいて、前記ターゲットネットワークモデルの損失を決定するステップを含む、請求項９に記載のモデル訓練方法。
【請求項11】
前記第１距離、前記第２距離及び前記第３距離に基づいて、コントラスト損失を決定するステップは、前記第２距離と前記第３距離との差の平方と、前記第１距離との和を決定するステップと、
所定値と前記和との差を、前記コントラスト損失として決定するステップと、を含む、請求項１０に記載のモデル訓練方法。
【請求項12】
前記融合モジュールが敵対的ネットワークである場合、前記再構築損失、前記発散制約、前記アイデンティティ損失及び前記コントラスト損失に基づいて、前記ターゲットネットワークモデルの損失を決定するステップは、前記アイデンティティ匿名化画像及び前記第１訓練画像に基づいて敵対的損失を決定するステップと、
前記再構築損失、前記発散制約、前記アイデンティティ損失、前記コントラスト損失及び前記敵対的損失の加重和を、前記ターゲットネットワークモデルの損失として決定するステップと、を含む、請求項１０に記載のモデル訓練方法。
【請求項13】
コンピューティングデバイスが実行するアイデンティティ匿名化方法であって、ターゲットネットワークモデルにおける投影モジュールのターゲット空間の第１空間でサンプリングを行い、Ｎ個（Ｎは正の整数である）のアイデンティティ潜在ベクトルを得るステップと、
前記投影モジュールの第２投影ユニットによって、前記Ｎ個のアイデンティティ潜在ベクトルを前記ターゲットネットワークモデルにおける前記投影モジュールの前記ターゲット空間の第２空間に投影し、Ｎ個の仮想アイデンティティベクトルを得るステップと、
ターゲットネットワークモデルにおける属性モジュールによって、処理対象画像に対して属性ベクトル抽出を行い、前記処理対象画像のＭ個（Ｍは正の整数である）の属性ベクトルを得るステップと、
前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記処理対象画像のアイデンティティ匿名化画像を得るステップと、を含む、アイデンティティ匿名化方法。
【請求項14】
前記第１空間の平均値及び分散は標準のガウス分布を満たし、前記第１空間でサンプリングを行い、Ｎ個のアイデンティティ潜在ベクトルを得るステップは、前記第１空間の平均値及び分散に基づいてサンプリングを行い、前記Ｎ個のアイデンティティ潜在ベクトルを得るステップを含む、請求項１３に記載のアイデンティティ匿名化方法。
【請求項15】
請求項１に記載の方法を行うように構成されたモデル訓練装置。
【請求項16】
請求項１３に記載の方法を行うように構成されたアイデンティティ匿名化装置。
【請求項17】
コンピュータプログラムを記憶するメモリと、前記コンピュータプログラムを実行することによって請求項１に記載のモデル訓練方法を実行するプロセッサと、を備える、コンピューティングデバイス。
【請求項18】
コンピュータプログラムを記憶するメモリと、
前記コンピュータプログラムを実行することによって請求項１３に記載のアイデンティティ匿名化方法を実行するプロセッサと、を備える、コンピューティングデバイス。
【請求項19】
コンピュータに、請求項１に記載のモデル訓練方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
【請求項20】
コンピュータに、請求項１３に記載のアイデンティティ匿名化方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
【請求項21】
プロセッサによって実行されるとき、前記プロセッサに請求項１３に記載のアイデンティティ匿名化方法を実行させる、コンピュータプログラム。
【請求項22】
プロセッサによって実行されるとき、前記プロセッサに請求項１に記載のモデル訓練方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願への相互参照）
本願は、２０２２年０３月１０日に中国特許局に提出された、出願番号が２０２２１０２３４３８５．２である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該国特許出願の全ての内容が参照により本願に組み込まれる。
本願は、２０２２年０３月１０日に中国特許局に提出された、出願番号が２０２２１０２３４３８５．２である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該国特許出願の全ての内容が参照により本願に組み込まれる。
【0002】
本願は、画像処理の技術分野に関し、特に、モデル訓練方法及び装置、アイデンティティ匿名化方法及び装置、機器、記憶媒体並びにプログラム製品に関するものである。
【背景技術】
【0003】
アイデンティティ匿名化は、デアイデンティティ化（Ｄｅ－Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）とも呼ばれ、画像又はビデオ内の識別可能なアイデンティティ特徴（Ｉｄｅｎｔｉｔｙ）を除去し、一方で他のアイデンティティと無関係な属性を変更せず、匿名化された写真やビデオを依然として視覚的にリアルにすることを保証することである。
【0004】
関連技術において、条件付き生成敵対的ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）を用いて匿名化された写真を生成し、原写真の姿勢キーポイントを抽出し、条件として原写真の姿勢キーポイント及び顔領域を除去した後の背景写真をモデルに入力し、新しい仮想アイデンティティを生成して空いている顔領域を埋めている。しかし、当該方法は、モデルとして顔領域を除去した後の背景写真を入力するため、モデルによって生成された画質が悪くなってしまう。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願の実施例は、アイデンティティ匿名化画像の生成品質を向上させることができる、モデル訓練方法及び装置、アイデンティティ匿名化方法及び装置、コンピューティングデバイス、コンピュータ可読記憶媒体並びにコンピュータプログラム製品を提供する。
【課題を解決するための手段】
【0006】
本願の実施例はモデル訓練方法を提供し、前記方法は、
ターゲットネットワークモデルにおける投影モジュールによって、第１訓練画像をターゲット空間に投影し、Ｎ個（Ｎは正の整数である）の第１仮想アイデンティティベクトルを得るステップと、
前記ターゲットネットワークモデルにおける属性モジュールによって、第２訓練画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るステップと、
前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の第１仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記第２訓練画像のアイデンティティ匿名化画像を得るステップと、
前記アイデンティティ匿名化画像に基づいて、前記ターゲットネットワークモデルの損失を決定し、前記損失に基づいて前記ターゲットネットワークモデルを訓練するステップと、を含む。
ターゲットネットワークモデルにおける投影モジュールによって、第１訓練画像をターゲット空間に投影し、Ｎ個（Ｎは正の整数である）の第１仮想アイデンティティベクトルを得るステップと、
前記ターゲットネットワークモデルにおける属性モジュールによって、第２訓練画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るステップと、
前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の第１仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記第２訓練画像のアイデンティティ匿名化画像を得るステップと、
前記アイデンティティ匿名化画像に基づいて、前記ターゲットネットワークモデルの損失を決定し、前記損失に基づいて前記ターゲットネットワークモデルを訓練するステップと、を含む。
【0007】
本願の実施例は更にアイデンティティ匿名化方法を提供し、前記方法は、
ターゲットネットワークモデルにおける投影モジュールのターゲット空間でサンプリングを行い、Ｎ個（Ｎは正の整数である）の仮想アイデンティティベクトルを得るステップと、
ターゲットネットワークモデルにおける属性モジュールによって、処理対象画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るステップと、
前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記処理対象画像のアイデンティティ匿名化画像を得るステップと、を含む。
ターゲットネットワークモデルにおける投影モジュールのターゲット空間でサンプリングを行い、Ｎ個（Ｎは正の整数である）の仮想アイデンティティベクトルを得るステップと、
ターゲットネットワークモデルにおける属性モジュールによって、処理対象画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るステップと、
前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記処理対象画像のアイデンティティ匿名化画像を得るステップと、を含む。
【0008】
本願の実施例は更にモデル訓練装置を提供し、前記装置は、投影ユニットと、属性ユニットと、融合ユニットと、訓練ユニットと、を備え、
前記投影ユニットは、ターゲットネットワークモデルにおける投影モジュールによって、第１訓練画像をターゲット空間に投影し、Ｎ個（Ｎは正の整数である）の第１仮想アイデンティティベクトルを得るように構成され、
前記属性ユニットは、前記ターゲットネットワークモデルにおける属性モジュールによって、第２訓練画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るように構成され、
前記融合ユニットは、前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記第２訓練画像のアイデンティティ匿名化画像を得るように構成され、
前記訓練ユニットは、前記アイデンティティ匿名化画像に基づいて、前記ターゲットネットワークモデルの損失を決定し、前記損失に基づいて前記ターゲットネットワークモデルを訓練するように構成される。
前記投影ユニットは、ターゲットネットワークモデルにおける投影モジュールによって、第１訓練画像をターゲット空間に投影し、Ｎ個（Ｎは正の整数である）の第１仮想アイデンティティベクトルを得るように構成され、
前記属性ユニットは、前記ターゲットネットワークモデルにおける属性モジュールによって、第２訓練画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るように構成され、
前記融合ユニットは、前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記第２訓練画像のアイデンティティ匿名化画像を得るように構成され、
前記訓練ユニットは、前記アイデンティティ匿名化画像に基づいて、前記ターゲットネットワークモデルの損失を決定し、前記損失に基づいて前記ターゲットネットワークモデルを訓練するように構成される。
【0009】
本願の実施例は更にアイデンティティ匿名化装置を提供し、前記装置は、サンプリングユニットと、属性ユニットと、匿名化ユニットと、を備え、
前記サンプリングユニットは、ターゲットネットワークモデルにおける投影モジュールのターゲット空間でサンプリングを行い、Ｎ個（Ｎは正の整数である）の仮想アイデンティティベクトルを得るように構成され、
前記属性ユニットは、ターゲットネットワークモデルにおける属性モジュールによって、処理対象画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るように構成され、
前記匿名化ユニットは、前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記処理対象画像のアイデンティティ匿名化画像を得るように構成される。
前記サンプリングユニットは、ターゲットネットワークモデルにおける投影モジュールのターゲット空間でサンプリングを行い、Ｎ個（Ｎは正の整数である）の仮想アイデンティティベクトルを得るように構成され、
前記属性ユニットは、ターゲットネットワークモデルにおける属性モジュールによって、処理対象画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るように構成され、
前記匿名化ユニットは、前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記処理対象画像のアイデンティティ匿名化画像を得るように構成される。
【0010】
本願の実施例は更に、プロセッサとメモリとを備えるコンピューティングデバイスを提供する。前記メモリは、コンピュータプログラムを記憶し、前記プロセッサは、前記メモリに記憶されたコンピュータプログラムを呼び出して実行することによって、本願の実施例による上記のモデル訓練方法又はアイデンティティ匿名化方法を実行する。
【0011】
本願の実施例は更に、本願の実施例による上記のモデル訓練方法又はアイデンティティ匿名化方法を実現するように構成される、チップを提供する。前記チップは、メモリからコンピュータプログラムを呼び出して実行することによって、前記チップを実装した機器に、本願の実施例による上記のモデル訓練方法又はアイデンティティ匿名化方法を実行するためのプロセッサを備える。
【0012】
本願の実施例は更に、実行されるとき、コンピュータに本願の実施例による上記のモデル訓練方法又はアイデンティティ匿名化方法を実現させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体を提供する。
【0013】
本願の実施例は更に、コンピュータによって実行されるとき、コンピュータに本願の実施例による上記のモデル訓練方法又はアイデンティティ匿名化方法を実現させるためのコンピュータプログラム命令を含む、コンピュータプログラム製品を提供する。
【0014】
本願の実施例は更に、コンピュータプログラムを提供し、コンピュータで実行されるとき、コンピュータに本願の実施例による上記のモデル訓練方法又はアイデンティティ匿名化方法を実現させる。
【発明の効果】
【0015】
本願の実施例は、以下の有益な効果を有する。
ターゲットネットワークモデルの訓練プロセスにおいて、第１訓練画像をターゲット空間に投影してＮ個の第１仮想アイデンティティベクトルを得ることにより、ターゲットネットワークモデルが画像内のアイデンティティ情報を十分に学習できるようにし、第２訓練画像に対して属性ベクトル抽出を行ってＭ個の属性ベクトルを得ることにより、ターゲットネットワークモデルが画像内の属性情報を十分に学習できるようにし、Ｎ個の第１仮想アイデンティティベクトル及びＭ個の属性ベクトルに基づいて画像生成を行って第２訓練画像のアイデンティティ匿名化画像を得、このようにして、訓練して得られたモデルは、原画像の属性情報を変更することなく、仮想アイデンティティ情報を搬送する画像を生成することができる。
ターゲットネットワークモデルの訓練プロセスにおいて、第１訓練画像をターゲット空間に投影してＮ個の第１仮想アイデンティティベクトルを得ることにより、ターゲットネットワークモデルが画像内のアイデンティティ情報を十分に学習できるようにし、第２訓練画像に対して属性ベクトル抽出を行ってＭ個の属性ベクトルを得ることにより、ターゲットネットワークモデルが画像内の属性情報を十分に学習できるようにし、Ｎ個の第１仮想アイデンティティベクトル及びＭ個の属性ベクトルに基づいて画像生成を行って第２訓練画像のアイデンティティ匿名化画像を得、このようにして、訓練して得られたモデルは、原画像の属性情報を変更することなく、仮想アイデンティティ情報を搬送する画像を生成することができる。
【0016】
ターゲットネットワークモデルの応用プロセスにおいて、投影モジュールのターゲット空間でサンプリングを行ってＮ個の仮想アイデンティティベクトルを得ることにより、仮想アイデンティティ情報の生成を実現し、処理対象画像に対して属性ベクトル抽出を行ってＭ個の属性ベクトルを得ることにより、処理対象画像内の属性特徴が失われないようにし、これにより生成されたアイデンティティ匿名化画像の品質を保証し、Ｎ個の仮想アイデンティティベクトル及びＭ個の属性ベクトルに基づいて画像生成を行って処理対象画像のアイデンティティ匿名化画像を得ることにより、処理対象画像の属性情報を変更することなく、仮想アイデンティティ情報を搬送するアイデンティティ匿名化画像、即ち実のアイデンティティを隠したアイデンティティ匿名化画像を生成することができる。即ち、本願の実施例は、アイデンティティ匿名化の際に、画像内の顔領域を除去せず、ターゲットネットワークモデルを用いて独立した仮想アイデンティティを生成することにより、アイデンティティ匿名化の忠実度及び解像度を向上させることができる。
【図面の簡単な説明】
【0017】
【図1A】本願の実施例による実画像の概略図である。
【図2】本願の実施例によるシステムアーキテクチャの概略図である。
【図3】本願の実施例によるモデル訓練方法の例示的なフローチャートである。
【図4】本願の実施例によるターゲットネットワークモデルの例示的な構造図である。
【図5】本願の実施例によるターゲットネットワークモデルの例示的な構造図である。
【図6】本願の実施例によるターゲットネットワークモデルの例示的な構造図である。
【図7】本願の実施例による融合モジュールの例示的な構造図である。
【図8】本願の実施例によるターゲットネットワークモデルの例示的な構造図である。
【図9】本願の実施例によるコントラスト損失の決定の概略図である。
【図10】本願の実施例によるコントラスト損失の決定の概略図である。
【図11】本願の実施例によるアイデンティティ匿名化方法の例示的なフローチャートである。
【図12】本願の実施例による投影モジュールの概略図である。
【図13】本願の実施例によるアイデンティティ匿名化画像の決定の概略図である。
【図14】本願の実施例によるモデル訓練装置の例示的なブロック図である。
【図15】本願の実施例によるアイデンティティ匿名化装置の例示的なブロック図である。
【図16】本願の実施例によるコンピューティングデバイスの例示的なブロック図である。
【発明を実施するための形態】
【0018】
以下、本願の実施例における図面を参照して、本願の実施例における技術的解決策を説明する。
本発明の実施例において、「Ａに対応するＢ」とは、ＢがＡに関連付けられていることを意味することを理解されたい。１つの実施形態において、Ａに従ってＢを決定することができる。更に、Ａに従ってＢを決定することは、Ａのみに従ってＢを決定することを意味せず、Ａ及び／又は他の情報に従ってＢを決定することもできることを理解されたい。
本願の実施例の説明において、特に明記しない限り、「複数」は、２つ又は２つ以上を意味する。
本発明の実施例において、「Ａに対応するＢ」とは、ＢがＡに関連付けられていることを意味することを理解されたい。１つの実施形態において、Ａに従ってＢを決定することができる。更に、Ａに従ってＢを決定することは、Ａのみに従ってＢを決定することを意味せず、Ａ及び／又は他の情報に従ってＢを決定することもできることを理解されたい。
本願の実施例の説明において、特に明記しない限り、「複数」は、２つ又は２つ以上を意味する。
【0019】
なお、本願の実施例の技術的解決策を明確に説明するために、本願の実施例では、「第１」、「第２」、「第３」等の用語を使用して、とほとんど同じである機能と作用の同じ項目又は類似する項目を区別する。当業者であれば、「第１」、「第２」、「第３」等の用語は、数及び実行順序に対して限定しなく、「第１」、「第２」、「第３」等の用語は、必ずしも異なることを限定しないことを理解することができる。
【0020】
本願の実施例の理解を容易にするために、まず、本願の実施例に係る関連概念に対して簡単に説明する。
【0021】
人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）とは、デジタルコンピュータ又はデジタルコンピュータによって制御される機械を利用して人の知能をシミュレーション、伸び拡張し、環境を感知し、知識を取得し、知識を使用して、最適な結果を取得する、理論、方法、技術及びアプリケーションシステムである。言い換えれば、人工知能は、コンピュータ科学の総合的な技術であり、知能の本質を理解し、人の知能と類似する方式で反応できる新しい知能機械を生産することを目的とする。人工知能は、様々な知能機械の設計原理と実現方法を研究し、機械に、感知、推理及び決定する機能を備えるようにする。
【0022】
人工知能技術は、総合的な学問であり、ハードウェアレベルの技術とソフトウェアレベルの技術の両方を含む幅広い分野に関する。人工知能の基礎的技術は、通常、センサ、固有人工知能チップ、クラウドコンピューティング、分散型記憶、ビッグデータ処理技術、操作／対話システム、メカトロニクスなどの技術を含む。人工知能ソフトウェア技術は主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習／深層学習などのいくつかを含む。
【0023】
機械学習（ＭＬ：Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）は、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの主題に関する多分野のクロス主題である。コンピュータが、人類の学習行動をどのようにシミュレーション又は実現するかを専門的に研究して、新しい知識又はスキルを取得し、既存の知識構造を再編成して、自体のパフォーマンスを改善し続けるようにする。機械学習は、人工知能の中心であり、コンピュータに知能を有させる基本的な方法であり、人工知能の各分野に適用される。機械学習及びディープラーニングは、通常、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、誘導学習、教育学習などの技術を含む。
【0024】
本願の実施例の方法は、画像に対して匿名化処理を実行する必要がある任意のシナリオに適用することができる。例えば、図１Ａないし図１Ｄに示すように、図１Ａは、実画像であり、図１Ｂないし図１Ｄは、図１Ａのアイデンティティ匿名化画像である。図１Ａを図１Ｂないし図１Ｄと比較すれば分かるように、図１Ｂないし図１Ｄは、図１Ａ内の識別可能なアイデンティティ特徴（Ｉｄｅｎｔｉｔｙ）を除去する同時に、アイデンティティとは無関係な他の属性を変更せず、依然として視覚的にリアルであることを保証する。
【0025】
シナリオ１において、本願の実施例はプライバシ保護のシナリオに適用することができ、例えば、顔に関する写真又はビデオについて、本願の実施例の方法を使用して、実のアイデンティティを仮想アイデンティティに切り替えることにより、プライバシを漏洩することなく、後続の検出などのタスクを実行し続けることができる。更に、写真又はビデオを公開する場合にも、ユーザは、実の情報の漏洩を回避するために、本願の実施例の方法を使用して自分のアイデンティティ特徴を隠すことができる。
【0026】
シナリオ２において、本願の実施例は、仮想イメージを生成するシナリオに適用することができ、例えば、本願の実施例の技術的解決策は、仮想アイデンティティの生成、例えば、アイデンティティ隠れ変数の固定、背景写真の置き換えに使用されることができ、異なるシナリオにおけるある特定の仮想イメージの写真又はビデオを生成することができる。
【0027】
なお、上記のシナリオ１及びシナリオ２は、ターゲットが顔であることを例として説明しており、本願の実施例の方法は更に、顔以外の他のターゲットのアイデンティティ匿名化のシナリオに適用することができ、例えば、処理対象画像内の動物や車両などの任意のターゲットに対してアイデンティティ匿名化を実行することができる。
【0028】
いくつかの実施例において、本願の実施例の方法はインテリジェント交通システムに適用することができ、知能輸送システム（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍ）とも呼ばれるインテリジェント交通システム（ＩＴＳ：Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｆｆｉｃ Ｓｙｓｔｅｍ）は、高度な科学技術（情報技術、コンピュータ技術、データ通信技術、センサ技術、電子制御技術、自動制御理論、オペレーションズリサーチ、人工知能など）を、交通輸送、サービス制御及び車両製造に効果的かつ総合的に適用し、車両、道路、利用者間の関係を強化することにより、安全性を保証し、効率を向上させ、環境を改善し、エネルギを節約する総合輸送システムを形成する。例示的に、知能交通と組み合わされた本願の技術案は、車載機器がユーザの顔画像を収集し、本願の実施例の方法により、収集された顔画像に対してアイデンティティ匿名化処理を実行した後、他の機器に送信して、違法運転分析、又は知能運転分析などのタスク分析を実行することであり得る。
【0029】
図２は、本願の実施例に係るシステムアーキテクチャの概略図であり、前記システムは、ユーザ機器１０１、データ収集機器１０２、訓練機器１０３、実行機器１０４、データベース１０５、コンテンツライブラリ１０６、Ｉ／Ｏインターフェース１０７及びターゲットネットワークモデル１０８を備える。
【0030】
ここで、データ収集機器１０２は、コンテンツライブラリ１０６から訓練データを読み取り、読み取られた訓練データをデータベース１０５に記憶するように構成される。本願の実施例に係る訓練データは、第１訓練画像、第２訓練画像及び第３訓練画像を含み、第１訓練画像、第２訓練画像及び第３訓練は、いずれもターゲットネットワークモデルを訓練するために使用される。
【0031】
いくつかの実施例において、ユーザ機器１０１は、データベース１０５内のデータに対して注釈操作を実行するように構成される。
【0032】
訓練機器１０３は、データベース１０５に保持された訓練データに基づいて、ターゲットネットワークモデル１０８を訓練し、訓練されたターゲットネットワークモデル１０８が、処理対象画像のアイデンティティ匿名化画像を生成できるようにする。いくつかの実施例において、訓練機器１０３によって得られたターゲットネットワークモデル１０８は、異なるシステム又は機器に適用することができる。
【0033】
図２では、実行機器１０４には、外部の機器とデータを交換するためのＩ／Ｏインターフェース１０７が配置されている。例えば、Ｉ／Ｏインターフェースを介して、ユーザ機器１０１によって送信された処理対象画像を受信する。実行機器１０４のコンピューティングモジュール１０９は、訓練されたターゲットネットワークモデル１０８を使用して、入力された処理対象画像を処理し、アイデンティティ匿名化画像を出力し、生成されたアイデンティティ匿名化画像をユーザ機器１０１に出力して表示し、又は、他のタスクモデルに入力して他のタスク処理を実行する。
【0034】
ここで、ユーザ機器１０１は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、パームトップコンピュータ、モバイルインターネットデバイス（ＭＩＤ：ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ）又は他のブラウザをインストールする機能を有する端末機器を含み得る。
【0035】
実行機器１０４は、サーバであってもよい。サーバ１は一台又は複数台であってもよい。サーバが複数台である場合、少なくとも二台のサーバが異なるサービスを提供するように構成される場合、及び、少なくとも二台のサーバが同じサービスを提供するように構成される場合のうちの少なくとも１つが存在することができ、例えば、ロードバランシング方式によって同じサービスを提供することができ、本願の実施例は、これに対して限定しない。ここで、上記のサーバは、独立した物理サーバであってもよいし、複数の物理サーバによって構成されたサーバクラスタ又は分散型システムであってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、セキュリティサービス、コンテンツ配信ネットワーク（ＣＤＮ：Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ）、ビッグデータ及び人工知能プラットフォームなどの基礎的クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。サーバは、ブロックチェーンのノードとなってもよい。
【0036】
本実施例において、実行機器１０４は、ネットワークを介してユーザ機器１０１に接続される。前記ネットワークは、イントラネット（Ｉｎｔｒａｎｅｔ）、インターネット（Ｉｎｔｅｒｎｅｔ）、グローバル移動通信システム（ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、広帯域コード分割多重アクセス（ＷＣＤＭＡ（登録商標）：Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、４Ｇネットワーク、５Ｇネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、Ｗｉ－Ｆｉネットワーク、通話ネットワークなどの無線又は有線ネットワークであってもよい。
【0037】
なお、図２は、本願の実施例によるシステムアーキテクチャの概略図に過ぎず、図に示す機器、デバイス、モジュールなどの間の位置関係は、何ら限定を意味するものではない。いくつかの実施例において、上記のデータ収集機器１０２は、ユーザ機器１０１、訓練機器１０３及び実行機器１０４と同じ機器であってもよい。上記のデータベース１０５は、１つのサーバに分散されてもよいし、複数のサーバに分散されてもよく、上記のコンテンツライブラリ１０６は、１つのサーバに分散されてもよいし、複数のサーバに分散されてもよい。
【0038】
以下では、いくつかの実施例を通じて本願の実施例の技術的解決策を具体的に説明する。以下のいくつかの実施例は互いに組み合わせることができ、同じ又は類似する概念又はプロセスは、いくつかの実施例では繰り返して説明しないかもしれない。
【0039】
本願は、ターゲットネットワークモデルを提供し、当該ターゲットネットワークモデルは、処理対象画像内のターゲット（例えば顔）に対してアイデンティティ匿名化処理を実行して、処理対象画像のアイデンティティ匿名化画像を生成するように構成される。よって、いくつかの実施例において、ターゲットネットワークモデルは、アイデンティティ匿名化モデル、又はアイデンティティ匿名化器と呼ばれることがある。
まず、ターゲットネットワークモデルの訓練プロセスについて紹介する。
まず、ターゲットネットワークモデルの訓練プロセスについて紹介する。
【0040】
図３は、本願の実施例によるモデル訓練方法の例示的なフローチャートである。本願の実施例の実行主体は、モデル訓練装置などのモデル訓練機能を有する装置であり、当該モデル訓練装置は、コンピューティングデバイスであってもよいし、又はコンピューティングデバイスの一部であってもよい。以下では、実行主体がコンピューティングデバイスであることを例として説明する。図３に示すように、本願の実施例の方法は、以下のステップを含む。
【0041】
ステップＳ３０１において、コンピューティングデバイスは、ターゲットネットワークモデルにおける投影モジュールによって、第１訓練画像をターゲット空間に投影し、Ｎ個（Ｎは正の整数である）の第１仮想アイデンティティベクトルを得る。
【0042】
本願の実施例の第１訓練画像は、訓練データ内の一枚の訓練画像である。なお、上記の第１訓練画像が顔画像である場合、上記の第１訓練画像は、ユーザの許可を得て取得されたものであり、関連画像データの收集、使用及び処理は、関連する国や地域の関連する法律規制及び標準を従うべきである。
【0043】
本願の実施例において、各第１訓練画像を使用してモデルを訓練するプロセスは基本的に同様であり、説明の便宜上、一枚の第１訓練画像を例として説明する。
【0044】
本願の実施例は、ターゲットネットワークモデルを用いて第１訓練画像をターゲット空間に投影して第１訓練画像の１つ又は複数の仮想アイデンティティベクトルを得ることにより、ターゲットネットワークモデルが第１訓練画像のアイデンティティ情報を学習できるようにする。ターゲットネットワークモデルがアイデンティティ情報を十分に学習した後、実際にアイデンティティ匿名化処理を実行する際に、ターゲットネットワークモデルのターゲット空間に対して直接にサンプリングを行って仮想アイデンティティベクトルを生成することができる。
【0045】
本願の実施例は主に、属性ベクトル及び仮想アイデンティティベクトルの概念に関するものである。
【0046】
ここで、仮想アイデンティティベクトルは、仮想アイデンティティ情報に対応するベクトルであり、仮想アイデンティティ情報は、識別可能なアイデンティティ特徴を隠した後のアイデンティティ情報であり、例えば、顔の識別可能なアイデンティティ特徴を隠した後の顔情報である。
【0047】
属性ベクトルは、属性情報に対応するベクトルであり、背景情報などの画像内の、識別可能なアイデンティティ特徴以外の他の特徴情報は属性情報と呼ばれる。
本願の実施例のターゲットネットワークモデルは、独立した仮想アイデンティティベクトルを生成することができる。
本願の実施例のターゲットネットワークモデルは、独立した仮想アイデンティティベクトルを生成することができる。
【0048】
図４は、本願の実施例によるターゲットネットワークモデルの例示的な構造図であり、図４に示すように、本願の実施例のターゲットネットワークモデルは、投影モジュール、属性モジュール及び融合モジュールを備える。
【0049】
ここで、投影モジュールは、第１訓練画像をターゲット空間に投影し、第１訓練画像のＮ個の第１仮想アイデンティティベクトルを得るように構成される。Ｎは正の整数であり、本願の実施例は、Ｎの値に対して限定しなく、実際の必要に応じて設定することができる。
【0050】
属性モジュールは、第２訓練画像に対して属性ベクトル抽出を行い、第２訓練画像のＭ個の属性ベクトルを抽出するように構成される。Ｍは正の整数であり、本願の実施例は、Ｍの値に対して限定しなく、実際の必要に応じて設定することができる。いくつかの実施例において、ＭはＮと等しい。
【0051】
融合モジュールは、上記のＮ個の第１仮想アイデンティティベクトル及びＭ個の属性ベクトルに基づいて画像生成を行い、第２訓練画像のアイデンティティ匿名化画像を得るように構成される。
【0052】
上記のＮが１より大きい正の整数である場合、Ｎ個の第１仮想アイデンティティベクトルはそれぞれ異なる解像度に対応する。
【0053】
以上の記載から分かるように、本願の実施例のターゲットネットワークモデルにおいて、投影モジュールは、第２訓練画像内のターゲットの仮想アイデンティティベクトルを生成するように構成され、当該仮想アイデンティティベクトルは、第２訓練画像内のターゲットの実のアイデンティティ特性を隠しており、属性モジュールは、第２訓練画像の属性ベクトルを抽出するように構成され、当該属性ベクトルは、第２訓練画像内のターゲットの実のアイデンティティ特性以外の他の特徴を保留する。このようにして、融合モジュールは、上記の仮想アイデンティティベクトル及び属性ベクトルに基づいて画像生成を実行した後、第２訓練画像内のターゲットのアイデンティティを隠した匿名化画像、即ち、アイデンティティ匿名化画像を得ることができる。
【0054】
いくつかの実施例において、図５に示すように、投影モジュールは、第１投影ユニット及び第２投影ユニットを備え、ターゲット空間は、第１空間Ｚ及び第２空間Ｗを含み、この場合、上記のコンピューティングデバイスは、ターゲットネットワークモデルにおける投影モジュールを用いて、第１訓練画像をターゲット空間に投影してＮ個の第１仮想アイデンティティベクトルを得ることを以下の方法で実施してもよい。
【0055】
第１訓練画像の先験的アイデンティティ情報を抽出し、第１投影ユニットによって、先験的アイデンティティ情報を第１空間Ｚに投影し、Ｎ個のアイデンティティ潜在ベクトルを得、第２投影ユニットによって、Ｎ個のアイデンティティ潜在ベクトルを第２空間Ｗに投影し、Ｎ個の第１仮想アイデンティティベクトルを得る。
【0056】
図５に示すように、まず、第１訓練画像の先験的アイデンティティ情報を抽出し、例えば、事前に訓練された識別モデルによって第１訓練画像の先験的アイデンティティ情報を抽出する。その後、第１投影ユニットによって、第１訓練画像の先験的アイデンティティ情報を第１空間Ｚに投影し、Ｎ個のアイデンティティ潜在ベクトルを得、そして、第２投影ユニットによって、Ｎ個のアイデンティティ潜在ベクトルを第２空間Ｗに投影し、Ｎ個の第１仮想アイデンティティベクトルを得る。
【0057】
上記の第１空間Ｚ及び第２空間Ｗは、異なる潜在的空間（ｌａｔｅｎｔ ｓｐａｃｅ）であってもよい。本願の実施例は、第１空間Ｚ及び第２空間Ｗに対して限定しない。
いくつかの実施例において、第１空間は潜在的空間Ｚであり、当該潜在的空間Ｚは標準のガウス分布を満たす。
いくつかの実施例において、第１空間は潜在的空間Ｚであり、当該潜在的空間Ｚは標準のガウス分布を満たす。
【0058】
この場合、上記の第１投影ユニットは、以下の方式で、先験的アイデンティティ情報を第１空間Ｚに投影してＮ個のアイデンティティ潜在ベクトルを得ることができる。
【0059】
第１投影ユニットによって先験的アイデンティティ情報を、前記第１空間の平均値及び分散として投影し、第１空間の平均値及び分散に基づいてサンプリングを行い、Ｎ個のアイデンティティ潜在ベクトルを得る。
【0060】
いくつかの実施例において、第１投影ユニットは、変分オートエンコーダ（ＶＡＥ：ｖａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ）であり、例えば、条件付き変分オートエンコーダ（ＣＶＡＥ：ｃｏｎｄｉｔｉｏｎａｌ ｖａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ）であり、条件付き変分オートエンコーダは生成ネットワークであり、エンコーダを使用してデータの分布を学習して隠れ変数を取得し、その後、デコーダを使用して隠れ変数をデータの原形に復元する。条件付き変分オートエンコーダは、データの分布を学習した後、サンプリングして新しいデータを生成し、通常、画像生成のために使用される。
【0061】
このようにして、第１訓練画像の先験的アイデンティティ情報を当該ＶＡＥに入力し、当該ＶＡＥは、先験的アイデンティティ情報を第１空間の平均値及び分散として投影することができる。そして、第１空間の平均値及び分散に基づいてサンプリングを行い、第１訓練画像のＮ個のアイデンティティ潜在ベクトルを得る。
【0062】
当該例において、上記の第１空間は、標準のガウス分布を満たす潜在的空間Ｚである。よって、潜在的空間の表現能力を高めるために、本願の実施例は、異なる解像度レベルで、異なる潜在ベクトルを生成し、例えば、Ｎ個のアイデンティティ潜在ベクトルを生成し、これは、複数のアイデンティティ潜在ベクトルを含む
【0063】
【数1】
【0064】
いくつかの実施例において、第２空間Ｗは、潜在的空間Ｚによって得られたものであり、例えば、潜在的空間Ｚによって、線形又は非線形マッピングを実行することによって得られる。
【0065】
本願の実施例は、第２投影ユニットのネットワーク構造に対して限定しなく、例えば、複数の全結合層によって構成されたマッピングネットワーク（Ｍａｐｐｉｎｇ Ｎｅｔｗｏｒｋ）であってもよい。
【0066】
本願の実施例は、第１訓練画像の先験的アイデンティティ情報を投影モジュールの影空間（即ターゲット空間）に投影し、これにより、投影モジュールが第１訓練画像のアイデンティティ情報を十分に学習し、後続で実際の状況に一致する仮想アイデンティティベクトルを生成できるようにする。
【0067】
ステップＳ３０２において、ターゲットネットワークモデルにおける属性モジュールによって、第２訓練画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得る。
【0068】
ここで、第２訓練画像は、訓練データ集合内の任意の画像であり、当該第２訓練画像は、上記の第１訓練画像と同じ画像であってもよいし、異なる画像であってもよい。
本願の実施例の属性モジュールは、第２訓練画像の属性情報を学習して、Ｍ個の属性ベクトルを生成するように構成される。
本願の実施例は、属性モジュールのネットワークモデルに対して限定しない。
本願の実施例の属性モジュールは、第２訓練画像の属性情報を学習して、Ｍ個の属性ベクトルを生成するように構成される。
本願の実施例は、属性モジュールのネットワークモデルに対して限定しない。
【0069】
いくつかの実施例において、図６に示すように、属性モジュールは、符号化ユニット及び復号ユニットを備え、この場合、ターゲットネットワークモデルにおける属性モジュールによって、以下の方式で、第２訓練画像に対して属性ベクトル抽出を行い、Ｍ個の属性ベクトルを得ることができる。
【0070】
第２訓練画像を符号化ユニットに入力し、第２訓練画像の特徴情報を得、特徴情報を復号ユニットに入力し、Ｍ個の属性ベクトルを得る。
【0071】
いくつかの実施例において、符号化ユニットは、複数の特徴抽出層を含み、復号ユニットも、複数の特性抽出ユニットを含み、符号化ユニットの少なくとも１つの特徴抽出層と、復号ユニットの少なくとも１つの特徴抽出層との間は、スキップ接続されている。
上記のステップに基づいて、Ｎ個の第１仮想アイデンティティベクトル及びＭ個の属性ベクトルを生成した後、以下のステップＳ３０３を実行する。
上記のステップに基づいて、Ｎ個の第１仮想アイデンティティベクトル及びＭ個の属性ベクトルを生成した後、以下のステップＳ３０３を実行する。
【0072】
ステップＳ３０３において、ターゲットネットワークモデルにおける融合モジュールによって、Ｎ個の第１仮想アイデンティティベクトル及びＭ個の属性ベクトルに基づいて画像生成を行い、第２訓練画像のアイデンティティ匿名化画像を得る。
【0073】
例１において、Ｎ個の第１仮想アイデンティティベクトルをスプライスして、スプライスされた第１仮想アイデンティティベクトルを得、Ｍ個の属性ベクトルを繋ぎ合わせ、スプライスされた第１仮想アイデンティティベクトル及びスプライスされた属性ベクトルに対して画像生成を実行した後、融合モジュールに入力することにより、アイデンティティ匿名化画像を生成する。
【0074】
例えば、スプライスされた第１仮想アイデンティティベクトルをスプライスされた属性ベクトルとカスケード接続した後、融合モジュールに入力することにより、アイデンティティ匿名化画像を生成する。
【0075】
更に例えば、スプライスされた第１仮想アイデンティティベクトルをスプライスされた属性ベクトルと加算した後、融合モジュールに入力することにより、アイデンティティ匿名化画像を生成する。
【0076】
示例２において、融合モジュールは、複数の異なる解像度層を含み、この場合、融合モジュールは、以下の方式で、Ｎ個の第１仮想アイデンティティベクトル及びＭ個の属性ベクトルに基づいて画像生成を行い、第２訓練画像のアイデンティティ匿名化画像を得ることができる。
【0077】
Ｎ個の第１仮想アイデンティティベクトルに対応する解像度に基づいて、Ｎ個の第１仮想アイデンティティベクトルをパターンとして、Ｍ個の属性ベクトルをノイズとして使用して、対応する解像度層に入力し、第２訓練画像のアイデンティティ匿名化画像を得る。
【0078】
例を挙げると、Ｎは３であり、Ｍは４であり、融合モジュールは、異なる４つの解像度層を含み、そのうちの３つの第１仮想アイデンティティベクトルを、第１仮想アイデンティティベクトル１、第１仮想アイデンティティベクトル２及び第１仮想アイデンティティベクトル３に表記し、４つの属性ベクトルを、属性ベクトル１、属性ベクトル２、属性ベクトル３及び属性ベクトル４に表記する。４つの解像度層は、解像度のサイズに従って順次に解像度層１、解像度層２、解像度層３及び解像度層４に表記する。第１仮想アイデンティティベクトル１は、低い解像度の解像度層１及び解像度層２に対応し、第１仮想アイデンティティベクトル２は、中解像度の解像度層３に対応し、第１仮想アイデンティティベクトル３は、最高解像度の解像度層４に対応する。４つの属性ベクトルは、解像度サイズに応じて、４つの解像度層に順次に対応する。
【0079】
例示的に、第１仮想アイデンティティベクトル１を解像度層１に入力し、特徴情報１を得、属性ベクトル１を特徴情報１と合成して、第１仮想アイデンティティベクトル２とともに解像度層２に入力し、特徴情報２を得る。属性ベクトル２を特徴情報２と合成して、第１仮想アイデンティティベクトル３とともに解像度層３に入力し、特徴情報３を得る。属性ベクトル３を特徴情報３と合成して、第１仮想アイデンティティベクトル４とともに解像度層４に入力し、特徴情報４を得る。最後に、特徴情報４を属性ベクトル４と合成するなどの処理の後、第２訓練画像のアイデンティティ匿名化画像を生成する。
【0080】
いくつかの実施例において、融合モジュールは、スタイルベースのジェネレータ（ＳｔｙｌｅＧＡＮ２：Ｓｔｙｌｅ－ｂａｓｅｄ ｇｅｎｅｒａｔｏｒ）である。図７に示すように、融合モジュールに隣接する２つの解像度層の間はＡｄａＩＮ層を含み、例えば、第１仮想アイデンティティベクトルｉ＋１に対してアフィン変換（ＡＴ：Ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ）を実行し、ｉ番目の解像度層によって出力された特徴情報ｉを属性ベクトルｉと合成し、アフィン変換された第１仮想アイデンティティベクトルｉ＋１と共にＡｄａＩＮ層に入力し、ＡｄａＩＮ操作を実行し、ＡｄａＩＮ操作結果をｉ＋１番目の解像度層に入力する。
【0081】
本願の実施例の融合モジュールは、ＳｔｙｌｅＧＡＮ３及びＰｒｏＧＡＮなどの敵対的モデルであってもよく、融合モジュールが異なる敵対的モデルを採用する場合、第２訓練画像のアイデンティティ匿名化画像を決定する方式は異なってもよく、本願の実施例はこれに対して限定しない。
【0082】
いくつかの実施例において、第１投影ユニットがＶＡＥであり、第２投影ユニットがマッピングネットワークであり、属性モジュールがオートエンコーダであり、融合モジュールがＳｔｙｌｅＧＡＮ２であることを例として、本願の実施例のモデル訓練プロセスを紹介する。
【0083】
例示的に、図８に示すように、事前訓練顔識別モデルを用いて、第１訓練画像Ｘｓに基づいて先験的アイデンティティ情報を生成する。そして、先験的アイデンティティ情報をＶＡＥに入力し、ＶＡＥによって先験的アイデンティティ情報を第１空間Ｚに投影し、Ｎ個のアイデンティティ潜在ベクトルを得、例えば、３つのアイデンティティ潜在ベクトルを得、この３つのアイデンティティ潜在ベクトルはそれぞれ、低、中、高３つの異なる解像度に対応する。そして、Ｎ個のアイデンティティ潜在ベクトルをマッピングネットワークに入力し、マッピングネットワークを介して、Ｎ個のアイデンティティ潜在ベクトルを第１空間Ｚから第２空間Ｗに投影し、Ｎ個の第１仮想アイデンティティベクトルを得る。更に、第２訓練画像Ｘｔをオートエンコーダに入力し、オートエンコーダによって、第２訓練画像Ｘｔを処理した後、Ｍ個の属性ベクトルを生成する。最後に、Ｍ個の属性ベクトルをノイズとして、Ｎ個の第１仮想アイデンティティベクトルをパターンとして使用して、ＳｔｙｌｅＧＡＮ２の各層に入力し、ＳｔｙｌｅＧＡＮ２によって出力された第２訓練画像のアイデンティティ匿名化画像Ｙｓ，ｔを得る。
【0084】
上記のステップに基づいて、第１訓練画像及び第２訓練画像をターゲットネットワークモデルに入力し、ターゲットネットワークモデルによって出力された第２訓練画像のアイデンティティ匿名化画像を得ることができる。そして、以下のステップＳ３０４を実行することにより、ターゲットネットワークモデルを訓練する。
【0085】
ステップＳ３０４において、アイデンティティ匿名化画像に基づいて、ターゲットネットワークモデルの損失を決定し、損失に基づいてターゲットネットワークモデルを訓練する。
【0086】
上記のステップに基づいて、ターゲットネットワークモデルは、第２訓練画像のアイデンティティ匿名化画像を出力し、当該アイデンティティ匿名化画像に基づいて、ターゲットネットワークモデルの損失を決定する。
【0087】
いくつかの実施例において、アイデンティティ匿名化画像を判断モデルに入力し、当該判断モデルは、事前に訓練された、アイデンティティ匿名化画像の匿名化程度を予測できるモデルである。例えば、当該アイデンティティ匿名化画像を当該判断モデルに入力し、当該判断モデルは、当該アイデンティティ匿名化画像に対してアイデンティティ識別を実行し、識別結果を当該ターゲットネットワークモデルの損失として決定する。識別精度が高い場合、現在のターゲットネットワークモデルの匿名化効果が理想的ではないことを意味し、この場合、ターゲットネットワークモデルの損失に基づいて、当該ターゲットネットワークモデル内のパラメータを調整する。そして、新しい第１訓練画像及び第２訓練画像を選択して、上記のステップＳ３０１ないしステップＳ３０４を実行し、当該ターゲットネットワークモデルが訓練終了条件を満たすまで、ターゲットネットワークモデルに対して続けて訓練する。ここで、訓練終了条件は少なくとも、訓練回数が所定の回数に達すること、又はモデルの匿名化程度が期待効果に達することを含む。
【0088】
いくつかの実施例において、図５に示す第１空間Ｚが標準のガウス分布を満たす潜在的空間である場合、本願の実施例は、第１空間Ｚ内のＮ個のアイデンティティ潜在ベクトルに対してＫＬ発散制約
【0089】
【数2】
【0090】
この基で、本願の実施例は更に、Ｎ個のアイデンティティ潜在ベクトルの発散制約を決定することができ、この場合、アイデンティティ匿名化画像に基づいて、ターゲットネットワークモデルの損失を決定するステップは、アイデンティティ匿名化画像及び発散制約に基づいて、ターゲットネットワークモデルの損失を決定するステップを含む。
例示的に、以下の式（１）を介して、Ｎ個のアイデンティティ潜在ベクトルの発散制約
例示的に、以下の式（１）を介して、Ｎ個のアイデンティティ潜在ベクトルの発散制約
【0091】
【数3】
【0092】
【数4】
【0093】
ここで、μｉは、Ｎ個のアイデンティティ潜在ベクトルのうちのｉ番目のアイデンティティ潜在ベクトルに対応する平均値であり、σｉは、Ｎ個のアイデンティティ潜在ベクトルのうちのｉ番目のアイデンティティ潜在ベクトルに対応する分散である。
【0094】
なお、上記の式（１）は、１つの例に過ぎず、本願の実施例における、Ｎ個のアイデンティティ潜在ベクトルの発散制約を決定する方式は、上記の式（１）によって限定されなく、例えば、上記の式（１）を変形することなどの他の発散制約を計算する方式であってもよい。
本願の実施例において、Ｎ個のアイデンティティ潜在ベクトルの発散制約
本願の実施例において、Ｎ個のアイデンティティ潜在ベクトルの発散制約
【0095】
【数5】
【0096】
であり、このように、訓練によって、投影モジュールがアイデンティティ情報を十分に学習できるようにするだけでなく、投影モジュールの第１空間が標準のガウス分布を満たすようにし、このようにして、仮想アイデンティティベクトルを生成するために、後で匿名化処理のとき、第１空間を直接にサンプリングして、標準のガウス分布を満たすＮ個のアイデンティティ潜在ベクトルを生成することができる。
【0097】
いくつかの実施例において、上記の第２空間は、第１空間が非線形マッピングすることによって得られたものであり、１つの複雑な非ガウス分布である。図５に示すように、アイデンティティ情報を第１空間にマッピングした後、この場合の中間潜在的空間の第２空間
【0098】
【数6】
【0099】
の分布が均一ではなく、実のアイデンティティベクトルが複数の異なる中心に集まっており、且つ生成された仮想アイデンティティベクトルと重なっていないことを発見したため、仮想のアイデンティティベクトルは、合理的な顔アイデンティティを生成できない。よって、本願の実施例は、１つのコントラスト損失を使用して、第２空間、即ち
【0100】
【数7】
【0101】
空間の潜在ベクトル（即ち第１仮想アイデンティティベクトル）を制約することを提案し、それにより、同じアイデンティティからの潜在ベクトルが一緒に集約され、異なるアイデンティティの潜在ベクトルとは互いに反発し合い、すべての潜在ベクトルが空間全体に均等に分布されるようにする。
【0102】
この基で、本願の実施例は更に、以下のステップによりアイデンティティ損失を決定することができる。
ステップ１において、第３訓練画像を取得する。
ステップ２において、投影参照モジュールによって第３訓練画像を処理し、Ｎ個の第２仮想アイデンティティベクトルを得る。
ステップ３において、Ｎ個の第１仮想アイデンティティベクトル及びＮ個の第２仮想アイデンティティベクトルに基づいて、アイデンティティ損失を決定する。
ステップ１において、第３訓練画像を取得する。
ステップ２において、投影参照モジュールによって第３訓練画像を処理し、Ｎ個の第２仮想アイデンティティベクトルを得る。
ステップ３において、Ｎ個の第１仮想アイデンティティベクトル及びＮ個の第２仮想アイデンティティベクトルに基づいて、アイデンティティ損失を決定する。
【0103】
上記の第３訓練画像及び第１訓練画像は両方とも、第１ターゲットの異なる二枚の画像である。例えば、第３訓練画像及び第１訓練画像は、同じユーザの異なる二枚の顔画像である。
【0104】
上記の投影参照モジュールは投影モジュールと同じネットワーク構造を有し、且つ投影モジュールに従って更新される。例えば、投影参照モジュールは、投影モジュールの運動量に従って更新され、即ち、投影参照モジュールは、投影モジュールの更新に伴ってゆっくり更新される。
例示的に、投影参照モジュールは、以下の式（２）に従って更新されることができる。
Ｐθ’（ｔ）＝（１－Δ）＊Ｐθ’（ｔ－１）＋Δ＊Ｐθ（ｔ） （２）
例示的に、投影参照モジュールは、以下の式（２）に従って更新されることができる。
Ｐθ’（ｔ）＝（１－Δ）＊Ｐθ’（ｔ－１）＋Δ＊Ｐθ（ｔ） （２）
【0105】
ここで、Ｐθ’（ｔ）は、ｔ回目の更新後の投影参照モジュールパラメータであり、Ｐθ’（ｔ－１）はｔ－１回目の更新後の投影参照モジュールパラメータであり、Ｐθ（ｔ）は、ｔ回目の更新後の投影モジュールパラメータであり、Δは０．０１などの小さい値である。
【0106】
図９に示すように、モデル訓練プロセスにおいて、アイデンティティ損失を決定するために、本願の実施例は、投影モジュールのネットワーク構造と完全に一致する１つの投影参照モジュールを配置することにより、投影モジュールによって出力された第１仮想アイデンティティベクトルを制約する。例示的に、第１訓練画像を投影モジュールに入力し、第１訓練画像のＮ個の第１仮想アイデンティティベクトルを得、第３訓練画像を投影参照モジュールに入力し、第３訓練画像のＮ個の第２仮想アイデンティティベクトルを得る。第１訓練画像及び第３訓練画像が同じターゲットの画像であり、且つ投影モジュールと投影参照モジュールのネットワーク構造が一致するため、モデル訓練が終了した後、第１訓練画像に対応するＮ個の第１仮想アイデンティティベクトルと、Ｎ個の第２仮想アイデンティティベクトルとの間の差異が比較的に小さく、この基で、第１訓練画像に対応するＮ個の第１仮想アイデンティティベクトル及びＮ個の第２仮想アイデンティティベクトルに基づいて、ターゲットネットワークモデルにおける投影モジュールを訓練することにより、投影モジュールが、要求を満たす仮想アイデンティティベクトルを生成できるようにすることができる。
【0107】
上記のステップ３において、Ｎ個の第１仮想アイデンティティベクトル及びＮ個の第２仮想アイデンティティベクトルに基づいて、アイデンティティ損失を決定する方式は、以下を含むがこれに限定されない。
【0108】
方式１において、異なる解像度における、Ｎ個の第１仮想アイデンティティベクトルとＮ個の第２仮想アイデンティティベクトルとの差を決定し、差の和、又は差の平均値を、アイデンティティ損失として決定する。例えば、Ｎが３であると、第１仮想アイデンティティベクトル１と第２仮想アイデンティティベクトル１との差１を決定し、第１仮想アイデンティティベクトル２と第２仮想アイデンティティベクトル２との差２を決定し、第１仮想アイデンティティベクトル３と第２仮想アイデンティティベクトル３との差３を決定する。差１、差２及び差３の和をアイデンティティ損失として決定するか、差１、差２及び差３の平均値を、アイデンティティ損失として決定する。
【0109】
方式２において、本願の実施例は、Ｎ個の動的リスト
【0110】
【数8】
【0111】
【数9】
【0112】
空間での表現を記憶する。この場合、Ｎ個の第１仮想アイデンティティベクトル及びＮ個の第２仮想アイデンティティベクトルに基づいて、以下のステップによりアイデンティティ損失を決定することができる。
【0113】
ステップ３１において、Ｎ個の第１仮想アイデンティティベクトルのうちのｉ番目の第１仮想アイデンティティベクトルについて、ｉ番目の第２仮想アイデンティティベクトルを使用してｉ番目の動的リスト内の、第１ターゲットに対応する仮想アイデンティティベクトルを更新する。
ここで、ｉ番目の動的リストは、ｉ番目の解像度における異なるターゲットの仮想アイデンティティベクトルを含み、ｉは、１からＮまでの正の整数である。
ここで、ｉ番目の動的リストは、ｉ番目の解像度における異なるターゲットの仮想アイデンティティベクトルを含み、ｉは、１からＮまでの正の整数である。
【0114】
本願の実施例において、Ｎ個の第２仮想アイデンティティベクトルにおいて、各Ｎ個の第２仮想アイデンティティベクトルは１つの動的リストに対応し、例えばＮが３であると、それぞれ低解像度、中解像度及び高解像度に対応し、そうすると、動的リストは、低解像度に対応する第１動的リスト、中解像度に対応する第２動的リスト及び高解像度に対応する第３動的リストの３つを含む。
【0115】
ｉ＝１であると仮定すると、最初の第２仮想アイデンティティベクトルを使用して第１動的リスト内の、第１ターゲットに対応する仮想アイデンティティベクトルを更新する。
【0116】
ｉ＝２であると仮定すると、二番目の第２仮想アイデンティティベクトルを使用して第２動的リスト内の、第１ターゲットに対応する仮想アイデンティティベクトルを更新する。
【0117】
ｉ＝３であると仮定すると、三番目の第２仮想アイデンティティベクトルを使用して第３動的リスト内の、第１ターゲットに対応する仮想アイデンティティベクトルを更新する。
【0118】
ステップ３２において、ｉ番目の第１仮想アイデンティティベクトル及び更新されたｉ番目の動的リストに基づいて、ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失を決定する。
【0119】
例示的に、図１０に示すように、第１訓練画像及び第３訓練画像は、第１ターゲットｊの異なる二枚の画像であり、第１訓練画像Ｘｊを投影モジュールに入力し、Ｎ個の第１仮想アイデンティティベクトルＷｊを取得し、第３訓練画像Ｘｊ’を投影参照モジュールに入力し、Ｎ個の第２仮想アイデンティティベクトルＷｊ’を取得する。Ｎ個の解像度のうちのｉ番目の解像度について、ｉ番目の動的リストＫｉは、ｉ番目の解像度における異なるターゲットの第２仮想アイデンティティベクトルを含み、且つ当該ｉ番目の動的リストＫｉはリアルタイムで更新される。例示的に、ｉ番目の第２仮想アイデンティティベクトルを使用してｉ番目の動的リストＫｉ内の、第１ターゲットｊに対応する仮想アイデンティティベクトルｋｊを更新し、即ち、ｋｊをＷｊ’に更新する。そして、ｉ番目の第２仮想アイデンティティベクトル及び更新されたｉ番目の動的リストに基づいて、ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失ｉを決定する。
本願の実施例では、ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失を決定する方式に対して限定しない。
本願の実施例では、ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失を決定する方式に対して限定しない。
【0120】
例えば、センター損失（Ｃｅｎｔｅｒ ｌｏｓｓ）やトリプレット損失（Ｔｒｉｐｌｅｔ ｌｏｓｓ）などの損失方式を使用して、ｉ番目の第１仮想アイデンティティベクトル及び更新されたｉ番目の動的リストに基づいて、ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失を決定する。
【0121】
いくつかの実施例において、Ｎ個の第１仮想アイデンティティベクトル内の、ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失を決定する、上記のステップは、以下のステップを含み得る。
【0122】
ステップ３２１において、ｉ番目の第２仮想アイデンティティベクトルと第１所定値との第１比率を取得し、第１比率をｉ番目の第１仮想アイデンティティベクトルと乗算して第１結果を得、第１結果に対して指数演算を行って第１演算値を得る。
【0123】
ステップ３２２において、更新されたｉ番目の動的リストのうち、各第２仮想アイデンティティベクトルと第１所定値との第２比率を取得し、各前記第２比率について、前記第２比率を、対応するｉ番目の第１仮想アイデンティティベクトルと乗算して第２結果を得、前記第２結果に対して指数演算を行って各第２仮想アイデンティティベクトルに対応する第２演算値を得る。
【0124】
ステップ３２３において、各第２仮想アイデンティティベクトルに対応する第２演算値の和を決定し、前記第１演算値と当該和との第３比率を取得し、第３比率に対して対数演算を行って第３演算値を得る。
【0125】
ステップ３２４において、第３演算値の負数を、ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失として決定する。
例示的に、
例示的に、
【0126】
【数10】
【0127】
【数11】
【0128】
【数12】
【0129】
が陽性サンプルであり、残りは陰性サンプルであり、情報ノイズ比較推定（ＩｎｆｏＮＣＥ：Ｉｎｆｏｒｍａｔｉｏｎ Ｎｏｉｓｅ Ｃｏｎｔｒａｓｔｉｖｅ Ｎｏｉｓｅ）形でのコントラスト損失を使用してアイデンティティサブ損失
【0130】
【数13】
例示的に、以下の式（３）に従ってｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失Ｌｃ（ｉ）を決定する。
【0131】
【数14】
【0132】
【数15】
【0133】
【数16】
【0134】
【数17】
【0135】
【数18】
【0136】
ステップ３３において、Ｎ個の第１仮想アイデンティティベクトルそれぞれに対応するアイデンティティサブ損失の総和を、ターゲットネットワークモデルのアイデンティティ損失として決定する。
【0137】
上記のステップ３２に基づいて、ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失を決定した後、Ｎ個の第１仮想アイデンティティベクトルそれぞれに対応するアイデンティティサブ損失の総和を、アイデンティティ損失として決定する。例えばＮが３であると、上記の方法に基づいて、３つの第１仮想アイデンティティベクトルのうち、各第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失を決定し、この３つの第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失の総和を、モデルのアイデンティティ損失として決定する。
【0138】
本願の実施例において、上記の方法に従ってモデル訓練プロセスにおけるアイデンティティ損失を決定した後、アイデンティティ匿名化画像及び発散制約に基づいて、ターゲットネットワークモデルの損失を決定するステップは、以下のステップを含む。
アイデンティティ匿名化画像、発散制約及びアイデンティティ損失に基づいて、ターゲットネットワークモデルの損失を決定する。
アイデンティティ匿名化画像、発散制約及びアイデンティティ損失に基づいて、ターゲットネットワークモデルの損失を決定する。
【0139】
例示的に、前記アイデンティティ匿名化画像と第２訓練画像との間の再構築損失を決定し、再構築損失、発散制約及びアイデンティティ損失に基づいて、ターゲットネットワークモデルの損失を決定する。
【0140】
１つの例において、アイデンティティ匿名化画像と第２訓練画像との間の差を、再構築損失として決定する。例えば、アイデンティティ匿名化画像の各画素点と、第２訓練画像に対応する画素点との間の差の和を、再構築損失として決定する。
別の例において、以下の式（４）に基づいて、再構築損失Ｌｒｅｃ
を決定する。
別の例において、以下の式（４）に基づいて、再構築損失Ｌｒｅｃ
を決定する。
【0141】
【数19】
【0142】
【数20】
【0143】
上記のステップに基づいて、再構築損失Ｌｒｅｃを決定した後、再構築損失、発散制約及びアイデンティティ損失に基づいて、ターゲットネットワークモデルの損失を決定する。例えば、再構築損失、発散制約及びアイデンティティ損失の加重和を、ターゲットネットワークモデルの最終的な損失として決定する。
【0144】
いくつかの実施例において、モデルの訓練精度を向上させるために、本願の実施例は、アイデンティティ匿名化画像のアイデンティティコントラスト損失を決定するステップを更に含み、例示的に、前記ステップは、以下のステップを含む。
【0145】
ステップＡにおいて、アイデンティティ匿名化画像と第１訓練画像との間の第１距離、アイデンティティ匿名化画像と第２訓練画像との間の第２距離、及び第１訓練画像と第２訓練画像との間の第３距離を決定する。
ステップＢにおいて、第１距離、第２距離及び第３距離に基づいて、コントラスト損失を決定する。
ここで、上記の第１距離、第２距離及び第３距離は、コサイン距離などの任意の距離方式によって決定され得る。
例１において、ステップＡに従って第１距離、第２距離及び第３距離を決定した後、第１距離、第２距離及び第３距離の和をコントラスト損失として決定する。
例２において、前記第２距離と前記第３距離との差の平方と、前記第１距離との和を決定し、所定値と前記和との差を、前記コントラスト損失として決定する。
１つの例において、以下の式（５）に基づいて、コントラスト損失ＬＩＣＬを決定する。
ステップＢにおいて、第１距離、第２距離及び第３距離に基づいて、コントラスト損失を決定する。
ここで、上記の第１距離、第２距離及び第３距離は、コサイン距離などの任意の距離方式によって決定され得る。
例１において、ステップＡに従って第１距離、第２距離及び第３距離を決定した後、第１距離、第２距離及び第３距離の和をコントラスト損失として決定する。
例２において、前記第２距離と前記第３距離との差の平方と、前記第１距離との和を決定し、所定値と前記和との差を、前記コントラスト損失として決定する。
１つの例において、以下の式（５）に基づいて、コントラスト損失ＬＩＣＬを決定する。
【0146】
【数21】
【0147】
【数22】
【0148】
【数23】
【0149】
【数24】
【0150】
上記のステップに基づいて、コントラスト損失ＬＩＣＬを決定した後、再構築損失、発散制約、アイデンティティ損失及びコントラスト損失に基づいて、ターゲットネットワークモデルの損失を決定し、例えば、再構築損失、発散制約、アイデンティティ損失及びコントラスト損失の加重和を、ターゲットネットワークモデルの損失として決定する。
【0151】
いくつかの実施例において、融合モジュールが敵対的ネットワークである場合、モデル訓練プロセスでは、モデルの敵対的損失を更に決定し、例えば、アイデンティティ匿名化画像及び第１訓練画像に基づいて敵対的損失を決定する。
例示的に、以下の式（６）に基づいて、敵対的損失ＬＧＡＮ
を決定する。
例示的に、以下の式（６）に基づいて、敵対的損失ＬＧＡＮ
を決定する。
【0152】
【数25】
【0153】
ここで、Ｄは弁別器であり、Ｇはジェネレータであり、Ｅ（＊）は、分布関数の期待値を表し、Ｄ（ＸＳ）は、識別器による第１訓練画像ＸＳへの識別結果であり、Ｄ（Ｙｓ，ｔ）は、識別器によるアイデンティティ匿名化画像Ｙｓ，ｔへの識別結果である。
【0154】
上記のステップに基づいて、敵対的損失ＬＧＡＮを決定した後、再構築損失、発散制約、アイデンティティ損失、コントラスト損失及び敵対的損失に基づいて、ターゲットネットワークモデルの損失を決定することができ、例えば、再構築損失、発散制約、アイデンティティ損失、コントラスト損失及び敵対的損失の加重和を、ターゲットネットワークモデルの損失として決定する。
【0155】
なお、本願の実施例は、再構築損失、発散制約、アイデンティティ損失、コントラスト損失及び敵対的損失に対応する重み値のサイズに対して限定しなく、実際の必要に応じて決定することができる。
【0156】
いくつかの実施例において、以下の式（７）に基づいて、再構築損失、発散制約、アイデンティティ損失、コントラスト損失及び敵対的損失に対して加重演算を実行して、ターゲットネットワークモデルの損失Ｌｔｏｔａｌを得ることができる。
【0157】
【数26】
【0158】
上記の式（７）の各損失に対応する重みは１つの例であり、本願の実施例における各損失に対応する重みは、上記の式（７）に示されたものを含むがこれに限定されなく、必要に応じて決定することができる。
【0159】
いくつかの実施例において、ターゲットネットワークモデルの訓練精度を向上させるために、上記の実施例に記載の各損失以外の他の損失を決定することができ、本願の実施例はこれに対して限定しなく、実際の必要に応じて決定することができる。
【0160】
以上の記載から分かるように、本願の実施例は、異なる解像度に対応する第１仮想アイデンティティベクトルを生成することにより、アイデンティティ匿名化を実現し、匿名化の解像度を改善することができ、例えば、１０２４２解像度の匿名化結果を生成する同時に、画像アーティファクトが少なく、高い忠実度を有する。更に、本願の実施例においてモデル訓練のとき、キー回帰モデル及び分割モデルに依存しなく、画像内の顔領域を除去しなく、原写真内の姿勢、詳細及び遮蔽を保留する。
【0161】
本願の実施例は、ターゲットネットワークモデルの応用プロセスにおいて、投影モジュールによって第１訓練画像をターゲット空間に投影してＮ個の第１仮想アイデンティティベクトルを得ることにより、ターゲットネットワークモデルが画像内のアイデンティティ情報を十分に学習できるようにし、第２訓練画像に対して属性ベクトル抽出を行ってＭ個の属性ベクトルを得ることにより、ターゲットネットワークモデルが画像内の属性情報を十分に学習できるようにし、Ｎ個の第１仮想アイデンティティベクトル及びＭ個の属性ベクトルに基づいて画像生成を行って第２訓練画像のアイデンティティ匿名化画像を得、このようにして、訓練して得られたモデルは、原画像の属性情報を変更することなく、仮想アイデンティティ情報を搬送する画像を生成することができる。即ち、本願は、新しいターゲットネットワークモデルを提供し、上記の訓練方法により、ターゲットネットワークモデルは第１訓練画像内のアイデンティティ情報を学習し、このようにして、ターゲットネットワークモデルが仮想アイデンティティを独立して生成できるようになり、第２訓練画像内の属性情報を十分に学習することができる。学習の全体的なプロセスにおいて、画像内の顔領域を除去することも、実のアイデンティティ情報を使用して指示することも必要なく、顔変えタスク内の明確な監督ターゲットを利用して、ターゲットネットワークモデルを訓練し、ターゲットネットワークモデルのアイデンティティ匿名化の生成の忠実度及び解像度を向上させ、訓練されたターゲットネットワークモデルで高品質のアイデンティティ匿名化画像を生成することができる。
【0162】
【0163】
図１１は、本願の実施例によるアイデンティティ匿名化方法の例示的なフローチャートである。図１１に示すアイデンティティ匿名化方法は、上記の訓練されたターゲットネットワークモデルを使用して、アイデンティティ匿名化処理を実行する方法である。図１１に示すように、当該方法は、以下のステップを含む。
【0164】
ステップＳ４０１において、ターゲットネットワークモデルにおける投影モジュールのターゲット空間でサンプリングを行い、Ｎ個（Ｎは正の整数である）の仮想アイデンティティベクトルを得る。
【0165】
上記の実施例から分かるように、本願の実施例は、第１訓練画像を使用して、投影モジュールを訓練することにより、投影モジュールが第１訓練画像内のアイデンティティ情報を十分に学習できるようにする。そうすると、実際に使用する際に、投影モジュールのターゲット空間をサンプリングすることによって、Ｎ個の仮想アイデンティティベクトルを得ることができる。
【0166】
上記のステップＳ４０１の実施形態は、以下のいくつかを含むが、これに限定されない。
方式１において、訓練された投影モジュールのターゲット空間の平均値及び分散に基づいてサンプリングを行い、Ｎ個の仮想アイデンティティベクトルを得る。例えば、ターゲット空間の分散でランダムサンプリングを実行し、その後、ターゲット空間の平均値に加算して、１つの仮想アイデンティティベクトルを得、上記のステップを繰り返して、Ｎ個の仮想アイデンティティベクトルを得ることができる。
方式１において、訓練された投影モジュールのターゲット空間の平均値及び分散に基づいてサンプリングを行い、Ｎ個の仮想アイデンティティベクトルを得る。例えば、ターゲット空間の分散でランダムサンプリングを実行し、その後、ターゲット空間の平均値に加算して、１つの仮想アイデンティティベクトルを得、上記のステップを繰り返して、Ｎ個の仮想アイデンティティベクトルを得ることができる。
【0167】
方式２において、ターゲット空間は、第１空間及び第２空間を含み、ターゲットネットワークモデルは、第２投影ユニットを備え、この場合、以下の方式で、ターゲットネットワークモデルにおける投影モジュールのターゲット空間でサンプリングを行い、Ｎ個の仮想アイデンティティベクトルを得ることができる。
【0168】
第１空間でサンプリングを行い、Ｎ個のアイデンティティ潜在ベクトルを得、第２投影ユニットによって、Ｎ個のアイデンティティ潜在ベクトルを第２空間に投影し、Ｎ個の仮想アイデンティティベクトルを得る。
【0169】
本願の実施例において、実際に匿名化する際に、投影モジュールの第１投影ユニットは使用せず、投影モジュールの第２投影ユニットのみを使用して投影する。例示的に、図１２に示すように、標準のガウス分布を満たす第１空間Ｚでサンプリングして、Ｎ個のアイデンティティ潜在ベクトルを得、そして、Ｎ個のアイデンティティ潜在ベクトルを第２投影ユニットに入力する。第２投影ユニットは、Ｎ個のアイデンティティ潜在ベクトルをＷ空間に投影し、Ｎ個の仮想アイデンティティベクトルを得る。図１２ではＮが３であり、第２投影ユニットがマッピングネットワークであることを例とするが、本願の実施例の投影モジュールは、図１２に示されたものによって限定されない。
【0170】
以上の記載から分かるように、第１訓練画像を使用して第１空間を訓練して、第１空間の分散及び平均値が標準のガウス分布を満たすようにする。このように、まず、第１空間でサンプリングを行い、Ｎ個のアイデンティティ潜在ベクトルを生成し、例えば、第１空間の平均値及び分散に基づいてサンプリングを行い、Ｎ個のアイデンティティ潜在ベクトルを得、第１空間の分散でランダムサンプリングを実行し、その後、第１空間の平均値に加算して、１つのアイデンティティ潜在ベクトルを得、上記のステップを繰り返して、Ｎ個のアイデンティティ潜在ベクトルを得ることができる。そして、第２投影ユニットによって、Ｎ個のアイデンティティ潜在ベクトルを第２空間に投影し、Ｎ個の仮想アイデンティティベクトルを得る。
【0171】
いくつかの実施例において、上記のＮ個の仮想アイデンティティベクトルはそれぞれ異なる解像度に対応し、例えばＮ＝３であり、ここで、最初の仮想アイデンティティベクトルは低解像度に対応し、二番目の仮想アイデンティティベクトルは中解像度に対応し、三番目の仮想アイデンティティベクトルは高解像度に対応する。
【0172】
上記の方法に基づいて、Ｎ個の仮想アイデンティティベクトルを取得した後、以下のステップＳ４０２及びステップＳ４０３を実行して、処理対象画像のアイデンティティ匿名化画像を得る。
【0173】
ステップＳ４０２において、ターゲットネットワークモデルにおける属性モジュールによって、処理対象画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得る。
本願の実施例の属性モジュールは、処理対象画像内の属性情報を抽出するように構成される。
本願の実施例の属性モジュールは、処理対象画像内の属性情報を抽出するように構成される。
【0174】
いくつかの実施例において、属性モジュールは、符号化ユニット及び復号ユニットを備え、この場合、以下の方式で、処理対象画像に対して属性ベクトル抽出を行い、Ｍ個の属性ベクトルを得ることができる。
処理対象画像を符号化ユニットに入力し、処理対象画像の特徴情報を得、特徴情報を復号ユニットに入力し、Ｍ個の属性ベクトルを得る。
処理対象画像を符号化ユニットに入力し、処理対象画像の特徴情報を得、特徴情報を復号ユニットに入力し、Ｍ個の属性ベクトルを得る。
【0175】
いくつかの実施例において、上記の符号化ユニットは、複数の特徴抽出層を含み得、同様に、上記の復号ユニットも、複数の特徴抽出層を含むことができ、ここで、特徴抽出層は、畳み込み層などを含み得る。
【0176】
いくつかの実施例において、符号化ユニットの少なくとも１つの特徴抽出層と、復号ユニットの少なくとも１つの特徴抽出層との間は、スキップ接続されている。
上記の生成されたＭ個の属性ベクトルは、異なる解像度に対応することができる。
いくつかの実施例において、上記のターゲットネットワークモデルはオートエンコーダである。
上記の生成されたＭ個の属性ベクトルは、異なる解像度に対応することができる。
いくつかの実施例において、上記のターゲットネットワークモデルはオートエンコーダである。
【0177】
ステップＳ４０３において、ターゲットネットワークモデルにおける融合モジュールによって、Ｎ個の仮想アイデンティティベクトル及びＭ個の属性ベクトルに基づいて画像生成を行い、処理対象画像のアイデンティティ匿名化画像を得る。
【0178】
上記のステップに基づいて、Ｎ個の仮想アイデンティティベクトル及びＭ個の属性ベクトルを生成して融合モジュールに入力し、処理対象画像のアイデンティティ匿名化画像を得る。
上記のＳ４０３の実施形態は、以下のいくつかを含むが、これに限定されない。
上記のＳ４０３の実施形態は、以下のいくつかを含むが、これに限定されない。
【0179】
例１において、Ｎ個の仮想アイデンティティベクトルを繋ぎ合わせ、その同時に、Ｍ個の属性ベクトルを繋ぎ合わせ、スプライスされた仮想アイデンティティベクトル及び属性ベクトルを融合した後、融合モジュールに入力する。
例えば、スプライスされた仮想アイデンティティベクトルを属性ベクトルとカスケード接続した後、融合モジュールに入力する。
更に例えば、スプライスされた仮想アイデンティティベクトルを属性ベクトルと加算した後、融合モジュールに入力する。
例えば、スプライスされた仮想アイデンティティベクトルを属性ベクトルとカスケード接続した後、融合モジュールに入力する。
更に例えば、スプライスされた仮想アイデンティティベクトルを属性ベクトルと加算した後、融合モジュールに入力する。
【0180】
例２において、融合モジュールは、複数の異なる解像度層を含み、この場合、Ｎ個の仮想アイデンティティベクトルに対応する解像度に基づいて、Ｎ個の仮想アイデンティティベクトルをパターンとして使用し、Ｍ個の属性ベクトルをノイズとして使用し、対応する解像度層に入力し、処理対象画像のアイデンティティ匿名化画像を得ることができる。
【0181】
いくつかの実施例において、融合モジュールはＳｔｙｌｅＧＡＮ２である。この場合、図７に示すように、融合モジュールに隣接する２つの解像度層間はＡｄａＩＮ層を含み、例えば、仮想アイデンティティベクトルｉ＋１に対してアフィン変換を実行し、ｉ番目の解像度層によって出力された特徴情報ｉを属性ベクトルｉと合成して、アフィン変換された仮想アイデンティティベクトルｉ＋１と共にＡｄａＩＮ層に入力し、ＡｄａＩＮ操作を実行し、ＡｄａＩＮ操作結果をｉ＋１番目の解像度層に入力する。
【0182】
本願の実施例の融合モジュールは、ＳｔｙｌｅＧＡＮ３及びＰｒｏＧＡＮなどの敵対的モデルであってもよい。いくつかの実施例において、第２投影ユニットがマッピングネットワークであり、属性モジュールがオートエンコーダであり、融合モジュールがＳｔｙｌｅＧＡＮ２であることを例として、本願の実施例のアイデンティティ匿名化プロセスを紹介する。
【0183】
例示的に、図１３に示すように、投影モジュールの第１空間Ｚでサンプリングして、Ｎ個のアイデンティティ潜在ベクトルを得、例えば、３つのＮ個のアイデンティティ潜在ベクトルを得、この３つのＮ個のアイデンティティ潜在ベクトルはそれぞれ、低、中、高の３つの異なる解像度に対応する。そして、Ｎ個のアイデンティティ潜在ベクトルをマッピングネットワークに入力し、マッピングネットワークを介して、Ｎ個のアイデンティティ潜在ベクトルを第１空間Ｚから第２空間Ｗに投影し、Ｎ個の仮想アイデンティティベクトルを得る。更に、処理対象画像Ｘｔをオートエンコーダに入力し、オートエンコーダを介して、処理対象画像Ｘｔを処理した後、Ｍ個の属性ベクトルを生成する。最後に、Ｍ個の属性ベクトルをノイズとして使用し、Ｎ個の仮想アイデンティティベクトルをパターンとして使用して、ＳｔｙｌｅＧＡＮ２の各層に入力し、ＳｔｙｌｅＧＡＮ２によって出力された処理対象画像のアイデンティティ匿名化画像Ｙｓ，ｔを得る。
【0184】
本願の実施例によるアイデンティティ匿名化方法は、ターゲットネットワークモデルにおける投影モジュールのターゲット空間でサンプリングを行い、Ｎ個の仮想アイデンティティベクトルを得、ターゲットネットワークモデルにおける属性モジュールによって、処理対象画像に対して属性ベクトル抽出を行い、Ｍ個の属性ベクトルを得、ターゲットネットワークモデルにおける融合モジュールによって、Ｎ個の仮想アイデンティティベクトル及びＭ個の属性ベクトルに基づいて画像生成を行い、処理対象画像のアイデンティティ匿名化画像を得る。即ち、本願の実施例のターゲットネットワークモデルは、仮想アイデンティティを独立して生成することができ、処理対象画像に対してアイデンティティ匿名化を実行するとき、処理対象画像内の顔領域を除去する必要なく、アイデンティティ匿名化の忠実度を向上させる。
【0185】
以上では、図３ないし図１３を参照して、本願の方法実施例を詳細に説明しており、以下では、図１４ないし図１５を参照して、本願の装置実施例を説明する。図１４は、本願の実施例によるモデル訓練装置の例示的なブロック図である。当該訓練装置１０は、コンピューティングデバイスであってもよいし、又はコンピューティングデバイスの一部であってもよい。図１４に示すように、モデル訓練装置１０は、投影ユニット１１と、属性ユニット１２と、融合ユニット１３と、訓練ユニット１４と、を備え、
【0186】
前記投影ユニット１１は、ターゲットネットワークモデルにおける投影モジュールによって、第１訓練画像をターゲット空間に投影し、Ｎ個（Ｎは正の整数である）の第１仮想アイデンティティベクトルを得るように構成され、
【0187】
前記属性ユニット１２は、前記ターゲットネットワークモデルにおける属性モジュールによって、第２訓練画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るように構成され、
【0188】
前記融合ユニット１３は、前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記第２訓練画像のアイデンティティ匿名化画像を得るように構成され、
【0189】
前記訓練ユニット１４は、前記アイデンティティ匿名化画像に基づいて、前記ターゲットネットワークモデルの損失を決定し、前記損失に基づいて前記ターゲットネットワークモデルを訓練するように構成される。
【0190】
いくつかの実施例において、前記投影モジュールは、第１投影ユニット及び第２投影ユニットを備え、前記ターゲット空間は、第１空間及び第２空間を含み、投影ユニット１１は更に、前記第１訓練画像の先験的アイデンティティ情報を抽出し、前記第１投影ユニットによって、前記先験的アイデンティティ情報を第１空間に投影し、Ｎ個のアイデンティティ潜在ベクトルを得、前記第２投影ユニットによって、前記Ｎ個のアイデンティティ潜在ベクトルを第２空間に投影し、前記Ｎ個の第１仮想アイデンティティベクトルを得るように構成される。
【0191】
いくつかの実施例において、投影ユニット１１は更に、前記第１投影ユニットによって、先験的アイデンティティ情報を、前記第１空間の平均値及び分散として投影し、前記第１空間の平均値及び分散に基づいてサンプリングを行い、前記Ｎ個のアイデンティティ潜在ベクトルを得るように構成される。
【0192】
いくつかの実施例において、訓練ユニット１４は更に、前記Ｎ個のアイデンティティ潜在ベクトルの発散制約を決定し、前記アイデンティティ匿名化画像及び前記発散制約に基づいて、前記ターゲットネットワークモデルの損失を決定するように構成される。
いくつかの実施例において、Ｎ個の第１仮想アイデンティティベクトルはそれぞれ異なる解像度に対応する。
いくつかの実施例において、前記第１投影ユニットは、変分オートエンコーダである。
いくつかの実施例において、Ｎ個の第１仮想アイデンティティベクトルはそれぞれ異なる解像度に対応する。
いくつかの実施例において、前記第１投影ユニットは、変分オートエンコーダである。
【0193】
いくつかの実施例において、訓練ユニット１４は更に、第３訓練画像を取得し、前記第３訓練画像及び前記第１訓練画像は両方とも、第１ターゲットの異なる二枚の画像であり、前記ターゲットネットワークモデルの投影参照モジュールによって、前記第３訓練画像をターゲット空間に投影し、Ｎ個の第２仮想アイデンティティベクトルを得、前記投影参照モジュールは前記投影モジュールと同じネットワーク構造を有し、前記投影モジュールに従って更新され、前記Ｎ個の第１仮想アイデンティティベクトル及び前記Ｎ個の第２仮想アイデンティティベクトルに基づいて、アイデンティティ損失を決定し、前記アイデンティティ匿名化画像、前記発散制約及び前記アイデンティティ損失に基づいて、前記ターゲットネットワークモデルの損失を決定するように構成される。
【0194】
いくつかの実施例において、訓練ユニット１４は更に、前記Ｎ個の第２仮想アイデンティティベクトルのうちのｉ番目（ｉは１からＮまでの正の整数である）の第２仮想アイデンティティベクトルについて、前記ｉ番目の第２仮想アイデンティティベクトルを使用してｉ番目の動的リスト内の、前記第１ターゲットに対応する仮想アイデンティティベクトルを更新し、ここで、前記ｉ番目の動的リストは、ｉ番目の解像度における異なるターゲットの仮想アイデンティティベクトルを含み、ｉ番目の第１仮想アイデンティティベクトル及び更新された前記ｉ番目の動的リストに基づいて、前記ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失を決定し、前記Ｎ個の第１仮想アイデンティティベクトルにそれぞれ対応するアイデンティティサブ損失の総和を、前記アイデンティティ損失として決定するように構成される。
【0195】
いくつかの実施例において、訓練ユニット１４は更に、前記ｉ番目の第２仮想アイデンティティベクトルと第１所定値との第１比率を取得し、前記第１比率を前記ｉ番目の第１仮想アイデンティティベクトルと乗算して第１結果を得、前記第１結果に対して指数演算を行って第１演算値を得、更新された前記ｉ番目の動的リストのうち、各第２仮想アイデンティティベクトルと第１所定値との第２比率を取得し、各前記第２比率について、前記第２比率を、対応するｉ番目の第１仮想アイデンティティベクトルと乗算して第２結果を得、前記第２結果に対して指数演算を行って前記各第２仮想アイデンティティベクトルに対応する第２演算値を得、各第２仮想アイデンティティベクトルに対応する第２演算値の和を決定し、前記第１演算値と前記和との第３比率を取得し、前記第３比率に対して対数演算を行って第３演算値を得、前記第３演算値の負数を、前記ｉ番目の第１仮想アイデンティティベクトルに対応するアイデンティティサブ損失として決定するように構成される。
【0196】
いくつかの実施例において、前記属性モジュールは、符号化ユニット及び復号ユニットを備え、属性ユニット１２は更に、前記符号化ユニットによって前記第２訓練画像に対して特徴抽出を行い、前記第２訓練画像の特徴情報を得、前記復号ユニットによって前記特徴情報を復号し、Ｍ個の属性ベクトルを得るように構成される。
【0197】
いくつかの実施例において、前記符号化ユニットの少なくとも１つの特徴抽出層と、前記復号ユニットの少なくとも１つの特徴抽出層との間は、スキップ接続されている。
【0198】
いくつかの実施例において、前記融合モジュールは、複数の異なる解像度層を含み、融合ユニット１３は更に、前記Ｎ個の第１仮想アイデンティティベクトルに対応する解像度に基づいて、前記Ｎ個の第１仮想アイデンティティベクトルをパターンとして、前記Ｍ個の属性ベクトルをノイズとして使用して、対応する解像度層に入力し、前記第２訓練画像のアイデンティティ匿名化画像を得るように構成される。
【0199】
いくつかの実施例において、訓練ユニット１４は更に、前記アイデンティティ匿名化画像と前記第２訓練画像との間の再構築損失を決定し、前記再構築損失、前記発散制約及び前記アイデンティティ損失に基づいて、前記ターゲットネットワークモデルの損失を決定するように構成される。
【0200】
いくつかの実施例において、訓練ユニット１４は更に、前記アイデンティティ匿名化画像と前記第１訓練画像との間の第１距離、前記アイデンティティ匿名化画像と前記第２訓練画像との間の第２距離、及び前記第１訓練画像と前記第２訓練画像との間の第３距離を決定し、前記第１距離、前記第２距離及び前記第３距離に基づいて、コントラスト損失を決定し、前記再構築損失、前記発散制約、前記アイデンティティ損失及び前記コントラスト損失に基づいて、前記ターゲットネットワークモデルの損失を決定するように構成される。
【0201】
いくつかの実施例において、訓練ユニット１４は更に、前記第２距離と前記第３距離との差の平方と、前記第１距離との和を決定し、所定値と前記和との差を、前記コントラスト損失として決定するように構成される。
【0202】
いくつかの実施例において、前記融合モジュールが敵対的ネットワークである場合、訓練ユニット１４は更に、前記アイデンティティ匿名化画像及び前記第１訓練画像に基づいて、敵対的損失を決定し、前記再構築損失、前記発散制約、前記アイデンティティ損失、前記コントラスト損失及び前記敵対的損失の加重和を、前記ターゲットネットワークモデルの損失として決定するように構成される。
【0203】
装置実施例は、方法実施例と互いに対応することができ、類似する説明は、方法実施例を参照することができることを理解されたい。繰り返しを回避するために、本明細書では詳細を再度説明しない。例示的に、図１４に示す装置は、上記の図３に示すモデル訓練方法の実施例を実行することができ、装置内の各个モジュールの前述及び他の操作及び／又は機能はそれぞれ、コンピューティングデバイスに対応する方法実施例を実行するためのものであり、簡潔にするために、ここで再び説明しない。
【0204】
図１５は、本願の実施例によるアイデンティティ匿名化装置の例示的なブロック図である。当該アイデンティティ匿名化装置２０は、コンピューティングデバイスであってもよいし、又はコンピューティングデバイスの一部であってもよい。図１５に示すように、アイデンティティ匿名化装置２０は、サンプリングユニット２１と、属性ユニット２２と、匿名化ユニット２３と、を備え、
【0205】
前記サンプリングユニット２１は、ターゲットネットワークモデルにおける投影モジュールのターゲット空間でサンプリングを行い、Ｎ個（Ｎは正の整数である）の仮想アイデンティティベクトルを得るように構成され、
【0206】
前記属性ユニット２２は、ターゲットネットワークモデルにおける属性モジュールによって、処理対象画像に対して属性ベクトル抽出を行い、Ｍ個（Ｍは正の整数である）の属性ベクトルを得るように構成され、
【0207】
前記匿名化ユニット２３は、前記ターゲットネットワークモデルにおける融合モジュールによって、前記Ｎ個の仮想アイデンティティベクトル及び前記Ｍ個の属性ベクトルに基づいて画像生成を行い、前記処理対象画像のアイデンティティ匿名化画像を得るように構成される。
【0208】
いくつかの実施例において、前記ターゲット空間は、第１空間及び第２空間を含み、前記ターゲットネットワークモデルは、第２投影ユニットを備え、サンプリングユニット２１は更に、前記第１空間でサンプリングを行い、Ｎ個のアイデンティティ潜在ベクトルを得、前記第２投影ユニットによって、前記Ｎ個のアイデンティティ潜在ベクトルを第２空間に投影し、前記Ｎ個の仮想アイデンティティベクトルを得るように構成される。
【0209】
いくつかの実施例において、前記第１空間の平均値及び分散は標準のガウス分布を満たし、サンプリングユニット２１は更に、前記第１空間の平均値及び分散に基づいてサンプリングを行い、前記Ｎ個のアイデンティティ潜在ベクトルを得るように構成される。
いくつかの実施例において、前記Ｎ個の仮想アイデンティティベクトルはそれぞれ異なる解像度に対応する。
いくつかの実施例において、前記Ｎ個の仮想アイデンティティベクトルはそれぞれ異なる解像度に対応する。
【0210】
いくつかの実施例において、前記属性モジュールは、符号化ユニット及び復号ユニットを備え、属性ユニット２２は更に、前記符号化ユニットによって前記処理対象画像に対して特徴抽出を行い、前記処理対象画像の特徴情報を得、前記復号ユニットによって前記特徴情報を復号し、Ｍ個の属性ベクトルを得るように構成される。
【0211】
いくつかの実施例において、前記符号化ユニットの少なくとも１つの特徴抽出層と、前記復号ユニットの少なくとも１つの特徴抽出層との間は、スキップ接続されている。
【0212】
いくつかの実施例において、前記融合モジュールは、複数の異なる解像度層を含み、匿名化ユニット２３は更に、前記Ｎ個の仮想アイデンティティベクトルに対応する解像度に基づいて、前記Ｎ個の仮想アイデンティティベクトルをパターンとして、前記Ｍ個の属性ベクトルをノイズとして使用して、対応する解像度層に入力し、前記処理対象画像のアイデンティティ匿名化画像を得るように構成される。
【0213】
装置実施例は、方法実施例と互いに対応することができ、類似する説明は、方法実施例を参照することができることを理解されたい。繰り返しを回避するために、本明細書では詳細を再度説明しない。例示的に、図１５に示す装置は、上記の図１１に示すアイデンティティ匿名化方法の実施例を実行することができ、装置内の各个モジュールの前述及び他の操作及び／又は機能はそれぞれ、コンピューティングデバイスに対応する方法実施例を実行するためのものであり、簡潔にするために、ここで再び説明しない。
【0214】
以上では、図面を参照して、機能モジュールの角度で本願の実施例の装置を説明する。当該機能モジュールは、ハードウェアの形を介して実現してもよいし、ソフトウェアの形の命令を介して実現してもよいし、ハードウェア及びソフトウェアモジュールの組み合わせを介して実現してもよいことを理解されたい。例えば、本願の実施例における方法実施例の各ステップは、プロセッサのハードウェアの集積論理回路及び／又はソフトウェア形の命令を介して完了することができ、本願の実施例で開示される方法のステップは、ハードウェア復号プロセッサによって直接実行されてもよいし、復号プロセッサ内のハードウェアとソフトウェアモジュールの形成すによって実行されてもよい。例示的に、ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、電気的に消去可能なプログラマブルメモリ、レジスタなどの従来の記憶媒体に配置されることができる。当該記憶媒体はメモリに配置され、プロセッサは、メモリ内の情報を読み取り、そのハードウェアと組み合わせて上記の方法実施例におけるステップを完了する。
【0215】
図１６は、本願の実施例によるコンピューティングデバイスの例示的なブロック図であり、当該コンピューティングデバイスは、上記の方法実施例を実行するように構成される。図１６に示すように、当該コンピューティングデバイス３０は、
【0216】
メモリ３１とプロセッサ３２とを備えることができ、当該メモリ３１は、コンピュータプログラム３３を記憶し、当該プログラムコード３３を当該プロセッサ３２に伝送するように構成される。言い換えれば、当該プロセッサ３２は、メモリ３１からコンピュータプログラム３３を呼び出して実行することにより、本願の実施例における方法を実現することができる。
例えば、当該プロセッサ３２は、当該コンピュータプログラム３３内の命令に従って上記の方法ステップを実行するように構成されることができる。
本願のいくつかの実施例において、当該プロセッサ３２は、
例えば、当該プロセッサ３２は、当該コンピュータプログラム３３内の命令に従って上記の方法ステップを実行するように構成されることができる。
本願のいくつかの実施例において、当該プロセッサ３２は、
【0217】
汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は他のプログラマブルロジックデバイス、ディスクリートゲート、又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどを含んでもよいが、これらに限定されない。
【0218】
本願のいくつかの実施例において、当該メモリ３１は、
揮発性メモリ及び／又は不揮発性メモリを含んでもよいが、これらに限定されない。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ ＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、又はフラッシュメモリであり得る。揮発性メモリは、外部キャッシュとして使用される、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり得る。例示的であるが限定的ではない例示によれば、多くの形のＲＡＭが利用可能であり、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ ＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ダブルデータレートの同期ダイナミックランダムアクセスメモリ（ＤＤＲ ＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）、拡張型同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ）、同期接続ダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ：ｓｙｎｃｈ ｌｉｎｋ ＤＲＡＭ）、及びダイレクトメモリバスランダムアクセスメモリ（ＤＲ ＲＡＭ：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ）などが利用可能である。
揮発性メモリ及び／又は不揮発性メモリを含んでもよいが、これらに限定されない。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ ＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、又はフラッシュメモリであり得る。揮発性メモリは、外部キャッシュとして使用される、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり得る。例示的であるが限定的ではない例示によれば、多くの形のＲＡＭが利用可能であり、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ ＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ダブルデータレートの同期ダイナミックランダムアクセスメモリ（ＤＤＲ ＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）、拡張型同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ）、同期接続ダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ：ｓｙｎｃｈ ｌｉｎｋ ＤＲＡＭ）、及びダイレクトメモリバスランダムアクセスメモリ（ＤＲ ＲＡＭ：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ）などが利用可能である。
【0219】
本願のいくつかの実施例において、当該コンピュータプログラム３３は、１つ又は複数のモジュールに分割されることができ、当該１つ又は複数のモジュールは、当該メモリ３１に記憶され、当該プロセッサ３２によって実行されて、本願による方法を完了する。当該１つ又は複数のモジュールは、特定の機能を完了できる一連のコンピュータプログラム命令セグメントであってもよく、当該命令セグメントは、当該コンピューティングデバイスにおける当該コンピュータプログラム３３の実行プロセスを説明するために使用される。
【0220】
図１６に示すように、当該コンピューティングデバイス３０は更に、
トランシーバ３４を備えることができ、当該トランシーバ３４は、当該プロセッサ３２又はメモリ３１に接続することができる。
トランシーバ３４を備えることができ、当該トランシーバ３４は、当該プロセッサ３２又はメモリ３１に接続することができる。
【0221】
ここで、プロセッサ３２は、他の機器と通信するように前記トランシーバ３４を制御することができ、例えば、他の機器に情報又はデータを送信するか、他の機器によって送信された情報又はデータを受信することができる。トランシーバ３４は、送信機及び受信機を備えることができる。トランシーバ３４は、アンテナを備えることもでき、アンテナの数は、１つ又は複数であり得る。
【0222】
当該コンピューティングデバイス３０の各構成要素は、バスシステムにより接続され、バスシステムは、データバスに加えて、電力バス、制御バス、及び状態信号バスを含む。
【0223】
本願の実施例は、コンピュータによって実行されるとき、コンピュータに上記の方法実施例の方法を実行させるコンピュータプログラムが記憶された、コンピュータ記憶媒体を提供する。又は、本願の実施例は更に、コンピュータによって実行されるとき、コンピュータに上記の方法実施例の方法を実行させる命令を含む、コンピュータプログラム製品を提供する。
【0224】
本願の実施例は、コンピュータ命令を含む、コンピュータプログラム製品又はコンピュータプログラムを提供し、当該コンピュータ命令は、コンピュータ可読記憶媒体に記憶される。コンピューティングデバイスのプロセッサは、コンピュータ可読記憶媒体から当該コンピュータ命令を読み取り、プロセッサは、当該コンピュータ命令を実行して、当該コンピューティングデバイスに上記の方法実施例の方法を実行させる。
【0225】
上記のコンテンツは、本願の具体的な実施形態に過ぎず、本願の保護範囲はこれに限定されない。当業者は、本願に開示される技術的範囲内で容易に考えられ得る変更又は置換は、すべて本願の保護範囲に含まれるべきである。したがって、本願の保護範囲は、特許請求の保護範囲を基準とするべきである。
【符号の説明】
【0226】
１０ モデル訓練装置
１１ 投影ユニット
１２ 属性ユニット
１３ 融合ユニット
１４ 訓練ユニット
２０ アイデンティティ匿名化装置
２１ サンプリングユニット
２２ 属性ユニット
２３ 匿名化ユニット
３０ コンピューティングデバイス
３１ メモリ
３２ プロセッサ
３３ プログラムコード
３３ コンピュータプログラム
３４ トランシーバ
１０１ ユーザ機器
１０２ データ収集機器
１０３ 訓練機器
１０４ 実行機器
１０５ データベース
１０６ コンテンツライブラリ
１０７ Ｉ／Ｏインターフェース
１０８ ターゲットネットワークモデル
１０９ コンピューティングモジュール
１１ 投影ユニット
１２ 属性ユニット
１３ 融合ユニット
１４ 訓練ユニット
２０ アイデンティティ匿名化装置
２１ サンプリングユニット
２２ 属性ユニット
２３ 匿名化ユニット
３０ コンピューティングデバイス
３１ メモリ
３２ プロセッサ
３３ プログラムコード
３３ コンピュータプログラム
３４ トランシーバ
１０１ ユーザ機器
１０２ データ収集機器
１０３ 訓練機器
１０４ 実行機器
１０５ データベース
１０６ コンテンツライブラリ
１０７ Ｉ／Ｏインターフェース
１０８ ターゲットネットワークモデル
１０９ コンピューティングモジュール
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】