知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッドの特許一覧
特表2022-504071ニューラルネットワークのトレーニング方法及び装置並びに画像生成方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-13
(54)【発明の名称】ニューラルネットワークのトレーニング方法及び装置並びに画像生成方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20220105BHJP
G06N 3/08 20060101ALI20220105BHJP
【ＦＩ】
G06T7/00 350C
G06N3/08
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021518079
(86)(22)【出願日】2019-12-11
(85)【翻訳文提出日】2021-04-01
(86)【国際出願番号】 CN2019124541
(87)【国際公開番号】W WO2021056843
(87)【国際公開日】2021-04-01
(31)【優先権主張番号】201910927729.6
(32)【優先日】2019-09-27
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】516158932
【氏名又は名称】ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲でん▼▲ゆ▼彬
(72)【発明者】
【氏名】戴勃
(72)【発明者】
【氏名】相里元博
(72)【発明者】
【氏名】林▲達▼▲華▼
(72)【発明者】
【氏名】▲呂▼健▲勤▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA08
5L096CA02
5L096DA01
5L096EA33
5L096EA39
5L096FA32
5L096GA30
5L096GA51
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
本開示は、ニューラルネットワークのトレーニング方法及び装置並びに画像生成方法及び装置に関し、前記方法は、第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得することと、第１生成画像及び第１本物画像を判別ネットワークに入力して、第１判別分布及び第２判別分布を取得することと、第１判別分布、第２判別分布、第１ターゲット分布、第２ターゲット分布に基づいて、判別ネットワークの第１ネットワーク損失を決定することと、第１判別分布及び第２判別分布に基づいて、生成ネットワークの第２ネットワーク損失を決定することと、第１ネットワーク損失及び第２ネットワーク損失に基づいて、生成ネットワーク及び判別ネットワークを敵対的にトレーニングすることと、を含む。
【特許請求の範囲】
【請求項1】
ニューラルネットワークのトレーニング方法であって、第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得することと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得することであって、前記第１判別分布は、前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は、前記第１本物画像の真実度の確率分布を表すことと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することであって、前記第１ターゲット分布は、生成画像のターゲット確率分布であり、前記第２ターゲット分布は、本物画像のターゲット確率分布であることと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることと、を含む、ニューラルネットワークのトレーニング方法。
【請求項2】
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することは、前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することと、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することと、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することと、を含む、
請求項１に記載のニューラルネットワークのトレーニング方法。
【請求項3】
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することは、前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得することと、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定することと、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定することと、を含む、
請求項２に記載のニューラルネットワークのトレーニング方法。
【請求項4】
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することは、前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得することと、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定することと、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定することと、を含む、
請求項２に記載のニューラルネットワークのトレーニング方法。
【請求項5】
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することは、前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得することを含む、
請求項２に記載のニューラルネットワークのトレーニング方法。
【請求項6】
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することは、前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定することと、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定することと、を含む、
請求項１－５のいずれか一項に記載のニューラルネットワークのトレーニング方法。
【請求項7】
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることは、前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することと、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整することと、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得することと、を含む、
請求項１－６のいずれか一項に記載のニューラルネットワークのトレーニング方法。
【請求項8】
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することは、第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得することと、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得することと、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得することと、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定することと、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定することと、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整することと、を含む、
請求項７に記載のニューラルネットワークのトレーニング方法。
【請求項9】
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることは、以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得することと、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得することと、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することと、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整することと、を含む、
請求項１－８のいずれか一項に記載のニューラルネットワークのトレーニング方法。
【請求項10】
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することは、少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得することと、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得することと、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定することと、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定することと、を含む、
請求項９に記載のニューラルネットワークのトレーニング方法。
【請求項11】
画像生成方法であって、第３ランダムベクトルを取得することと、
前記第３ランダムベクトルを請求項１－１０のいずれか一項に記載のニューラルネットワークのトレーニング方法によってトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得することと、を含む、前記画像生成方法。
【請求項12】
ニューラルネットワークトレーニング装置であって、第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得するように構成される、生成モジュールと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得するように構成される判別モジュールであって、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表す、判別モジュールと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定するように構成される第１決定モジュールであって、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布である、第１決定モジュールと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定するように構成される、第２決定モジュールと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングするように構成される、トレーニングモジュールと、を備える、ニューラルネットワークトレーニング装置。
【請求項13】
前記第１決定モジュールは、さらに、前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定し、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定し、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定するように構成される、
請求項１２に記載のニューラルネットワークトレーニング装置。
【請求項14】
前記第１決定モジュールは、さらに、前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得し、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定し、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定するように構成される、
請求項１３に記載のニューラルネットワークトレーニング装置。
【請求項15】
前記第１決定モジュールは、さらに、前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得し、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定し、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定するように構成される、
請求項１３に記載のニューラルネットワークトレーニング装置。
【請求項16】
前記第１決定モジュールは、さらに、前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得するように構成される、
請求項１３に記載のニューラルネットワークトレーニング装置。
【請求項17】
前記第２決定モジュールは、さらに、前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定し、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定するように構成される、
請求項１２－１６のいずれか一項に記載のニューラルネットワークトレーニング装置。
【請求項18】
前記トレーニングモジュールは、さらに、前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整し、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整し、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得するように構成される、
請求項１２－１７のいずれか一項に記載のニューラルネットワークトレーニング装置。
【請求項19】
前記トレーニングモジュールは、さらに、第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得し、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得し、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得し、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定し、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定し、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整するように構成される、
請求項１８に記載のニューラルネットワークトレーニング装置。
【請求項20】
前記トレーニングモジュールは、さらに、以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得し、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得し、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定し、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整するように構成される、
請求項１１－１９のいずれか一項に記載のニューラルネットワークトレーニング装置。
【請求項21】
前記トレーニングモジュールは、さらに、少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得し、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得し、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定し、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定するように構成される、
請求項２０に記載のニューラルネットワークトレーニング装置。
【請求項22】
画像生成装置であって、第３ランダムベクトルを取得するように構成される、取得モジュールと、
前記第３ランダムベクトルを請求項１２－２１のいずれか一項に記載のニューラルネットワークトレーニング装置によってトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得するように構成される、取得モジュールと、を備える、画像生成装置。
【請求項23】
電子機器であって、プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、請求項１－１１のいずれか一項に記載のニューラルネットワークのトレーニング方法を実行するように構成される、電子機器。
【請求項24】
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行される時に、プロセッサに、請求項１－１１のいずれか１項に記載のニューラルネットワークのトレーニング方法を実現させる、コンピュータ可読記憶媒体。
【請求項25】
コンピュータ可読コードを含む、コンピュータプログラムであって、前記コンピュータ可読コードが、電子機器で実行されるとき、前記電子機器内のプロセッサに、請求項１－１１の任意の請求項に記載のニューラルネットワークのトレーニング方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、２０１９年９月２７日に中国特許局に提出された、出願番号が２０１９１０９２７７２９．６であり、発明の名称が「ニューラルネットワークのトレーニング方法及び装置並びに画像生成方法及び装置」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本開示に組み込まれている。
【0002】
本開示は、コンピュータ技術分野に関し、特に、ニューラルネットワークのトレーニング方法及び装置並びに画像生成方法及び装置に関する。
【背景技術】
【0003】
関連技術において、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）は２つのモジュールによって構成され、それぞれ、判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）及び生成ネットワーク（Ｇｅｎｅｒａｔｏｒ）である。ゼロサムゲーム（ｚｅｒｏ－ｓｕｍ ｇａｍｅ）によって、２つのネットワークは、互いに対抗する方式によって最適の生成効果を達成する。トレーニングプロセスでは、弁別器は、本物に報酬を与え、偽物にペナルティを課すことによって、本物の画像データと生成ネットワークによって生成された本物を真似た画像とを見分けるように学習し、ジェネレータは、弁別器の偽物に対するペナルティを徐々に減らして、弁別器から本物画像と生成された画像を見分けられないようにし、両方を互いに競合させながら進化させ、最終的に偽物でごまかせる効果を達成する。
【0004】
関連技術において、敵対的生成ネットワークは、判別ネットワークによって出力された１つの単一なスカラーで入力画像の真偽性を表し、当該スカラーを使用してネットワークの損失を計算し、それによって、敵対的生成ネットワークをトレーニングする。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示は、ニューラルネットワークのトレーニング方法及び装置並びに画像生成方法及び装置を提案する。
【0006】
本開示の一態様によれば、ニューラルネットワークのトレーニング方法を提供し、前記方法は、
第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得することと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得することであって、ここで、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表すことと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することであって、ここで、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布であることと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることと、を含む。
第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得することと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得することであって、ここで、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表すことと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することであって、ここで、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布であることと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることと、を含む。
【0007】
本開示の実施例におけるニューラルネットワークのトレーニング方法によって、判別ネットワークは、入力画像に対して判別分布を出力し、確率分布の形で入力画像の真偽性を表し、色、テクスチャ、比率、背景などの次元から入力画像が本物画像である確率を表すことができ、複数の態様から入力画像の真偽性を評価することができ、情報ロスを減らし、ニューラルネットワークのトレーニングに、より全面的な教師情報及びより正確なトレーニング方向を提供し、トレーニング精度を向上させ、最終的に生成画像の品質を向上させ、生成ネットワークに高解像度画像を生成することに適用させることができる。しかも、生成画像のターゲット確率分布及び本物画像のターゲット確率分布をプリセットすることによって、トレーニングプロセスをガイダンスし、トレーニングプロセスにおいて本物画像及び生成画像をそれぞれのターゲット確率分布に近づけさせ、本物画像と生成画像の相違度を拡大し、判別ネットワークの本物画像及び生成画像を見分ける能力を強化し、それによって、生成ネットワークによって生成される画像の品質を向上させる。
【0008】
一可能な実施形態において、前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することは、
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することと、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することと、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することと、を含む。
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することと、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することと、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することと、を含む。
【0009】
このような方式によって、生成画像のターゲット確率分布及び本物画像のターゲット確率分布をプリセットすることによって、トレーニングプロセスをガイダンスし、それぞれの分布損失を決定し、トレーニングプロセスにおいて本物画像及び生成画像をそれぞれのターゲット確率分布に近づけさせ、本物画像と生成画像の相違度を拡大し、判別ネットワークにより正確な角度情報を提供し、判別ネットワークの本物画像及び生成画像を見分ける能力を強化し、それによって、生成ネットワークによって生成される画像の品質を向上させる。
【0010】
一可能な実施形態において、前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することは、
前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得することと、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定することと、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定することと、を含む。
前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得することと、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定することと、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定することと、を含む。
【0011】
一可能な実施形態において、前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することは、
前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得することと、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定することと、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定することと、を含む。
前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得することと、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定することと、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定することと、を含む。
【0012】
一可能な実施形態において、前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することは、
前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得することを含む。
前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得することを含む。
【0013】
一可能な実施形態において、前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することは、
前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定することと、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定することと、を含む。
前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定することと、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定することと、を含む。
【0014】
このような方式によって、第１判別分布と第２判別分布との差異を減らす方式によって生成ネットワークをトレーニングして、判別ネットワークのパフォーマンスを向上させる同時に、生成ネットワークのパフォーマンスを向上させるように促進し、それにより、真実度が高い生成画像を生成して、生成ネットワークに高解像度画像を生成することに適用させる。
【0015】
一可能な実施形態において、前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることは、
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することと、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整することと、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得することと、を含む。
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することと、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整することと、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得することと、を含む。
【0016】
一可能な実施形態において、前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することは、
第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得することと、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得することと、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得することと、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定することと、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定することと、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整することと、を含む。
第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得することと、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得することと、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得することと、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定することと、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定することと、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整することと、を含む。
【0017】
このような方式によって、判別ネットワークのネットワークパラメータの勾配が勾配閾値以上であるかを検知することによって、判別ネットワークのトレーニング中の勾配降下速度を制限することができ、それにより、判別ネットワークのトレーニング進行度合いを制限し、判別ネットワークで勾配消失の発生確率を減らし、それにより、生成ネットワークを持続的に最適化することが可能であり、生成ネットワークのパフォーマンスを向上させ、生成ネットワークの生成画像の真実度を高め、生成ネットワークに高解像度画像を生成することに適用させる。
【0018】
一可能な実施形態において、前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることは、
以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得することと、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得することと、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することと、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整することと、を含む。
以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得することと、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得することと、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することと、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整することと、を含む。
【0019】
このような方式によって、判別ネットワーク及び生成ネットワークのトレーニング進行度合いによって、トレーニングにおける判別ネットワークの勾配降下速度を制限し、それにより、判別ネットワークのトレーニング進行度合いを制限でき、判別ネットワークで勾配消失の発生確率を減らし、それにより、生成ネットワークを持続的に最適化することが可能であり、生成ネットワークのパフォーマンスを向上させ、生成ネットワークの生成画像の真実度を高め、生成ネットワークに高解像度画像を生成することに適用させる。
【0020】
一可能な実施形態において、前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することは、
少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得することと、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得することと、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定することと、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定することと、を含む。
少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得することと、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得することと、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定することと、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定することと、を含む。
【0021】
本開示の一態様によれば、画像生成方法を提供し、前記方法は、
第３ランダムベクトルを取得することと、
前記第３ランダムベクトルをトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得することと、を含む。
第３ランダムベクトルを取得することと、
前記第３ランダムベクトルをトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得することと、を含む。
【0022】
本開示の一態様によれば、ニューラルネットワークトレーニング装置を提供し、前記装置は、
第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得するように構成される、生成モジュールと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得するように構成される判別モジュールであって、ここで、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表す、判別モジュールと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定するように構成される第１決定モジュールであって、ここで、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布である、第１決定モジュールと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定するように構成される、第２決定モジュールと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングするように構成される、トレーニングモジュールと、を備える。
第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得するように構成される、生成モジュールと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得するように構成される判別モジュールであって、ここで、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表す、判別モジュールと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定するように構成される第１決定モジュールであって、ここで、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布である、第１決定モジュールと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定するように構成される、第２決定モジュールと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングするように構成される、トレーニングモジュールと、を備える。
【0023】
一可能な実施形態において、前記第１決定モジュールは、さらに、
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定し、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定し、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定するように構成される。
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定し、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定し、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定するように構成される。
【0024】
一可能な実施形態において、前記第１決定モジュールは、さらに、
前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得し、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定し、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定するように構成される。
前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得し、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定し、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定するように構成される。
【0025】
一可能な実施形態において、前記第１決定モジュールは、さらに、
前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得し、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定し、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定するように構成される。
前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得し、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定し、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定するように構成される。
【0026】
一可能な実施形態において、前記第１決定モジュールは、さらに、
前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得するように構成される。
前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得するように構成される。
【0027】
一可能な実施形態において、前記第２決定モジュールは、さらに、
前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定し、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定するように構成される。
前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定し、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定するように構成される。
【0028】
一可能な実施形態において、前記トレーニングモジュールは、さらに、
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整し、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整し、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得するように構成される。
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整し、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整し、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得するように構成される。
【0029】
一可能な実施形態において、前記トレーニングモジュールは、さらに、
第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得し、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得し、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得し、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定し、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定し、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整するように構成される。
第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得し、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得し、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得し、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定し、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定し、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整するように構成される。
【0030】
一可能な実施形態において、前記トレーニングモジュールは、さらに、
以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得し、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得し、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定し、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整するように構成される。
以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得し、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得し、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定し、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整するように構成される。
【0031】
一可能な実施形態において、前記トレーニングモジュールは、さらに、
少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得し、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得し、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値の第２差分値を決定し、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定するように構成される。
少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得し、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得し、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値の第２差分値を決定し、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定するように構成される。
【0032】
本開示の一態様によれば、画像生成装置を提供し、ここで、前記装置は、
第３ランダムベクトルを取得するように構成される、取得モジュールと、
前記第３ランダムベクトルをトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得するように構成される、取得モジュールと、を備える。
第３ランダムベクトルを取得するように構成される、取得モジュールと、
前記第３ランダムベクトルをトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得するように構成される、取得モジュールと、を備える。
【0033】
本開示の一態様によれば、電子機器を提供し、前記電子機器は、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
ここで、前記プロセッサは、上述した方法を実行するように構成される。
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
ここで、前記プロセッサは、上述した方法を実行するように構成される。
【0034】
本開示の一態様によれば、コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令はプロセッサによって実行されるとき上述した方法を実現する。
【0035】
本開示の一態様によれば、コンピュータ可読コードを含む、コンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサは上述した方法を実行するために実行される。
【0036】
上記した一般的な説明及び後述する詳細な説明は、単なる例示及び説明に過ぎず、本開示を限定するものではないことを理解されたい。
【0037】
以下の図面を参照しや例示的な実施例に対する詳細な説明によれば、本開示の他の特徴及び態様は明らかになる。
【図面の簡単な説明】
【0038】
【図1】本開示の実施例に係るニューラルネットワークのトレーニング方法のフローチャートを示す。
【図2】本開示の実施例に係るニューラルネットワークのトレーニング方法の適用の概略図を示す。
【図3】本開示の実施例に係るニューラルネットワークトレーニング装置のブロック図を示す。
【図4】本開示の実施例に係る電子装置のブロック図を示す。
【図5】本開示の実施例に係る電子装置のブロック図を示す。
【発明を実施するための形態】
【0039】
ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本開示に合致する実施例を示すものであり、明細書とともに本開示の実施例における技術的解決策を説明するために使用される。
【0040】
以下、図面を参照して本開示の様々な例示的な実施例、特徴及び態様を詳しく説明する。図面内の同じ符号は、同じ又は類似の機能の要素を表す。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要がない。
【0041】
ここで専用の用語「例示的」とは、「例、実施例又は説明用のものとして使用される」ことを意味する。ここで、「例示的」として説明される任意の実施例は、他の実施例より優れる又はより好ましいと解釈する必要はない。
【0042】
本明細書における「及び／又は」という用語は、単に関連対象を表す関連関係であり、３種類の関係があり得ることを表し、例えば、Ａ及び／又はＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合などの３つの場合を表す。さらに、本明細書における「少なくとも１つ」という用語は、複数のうちの１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣで構成されるセットから選択された任意の１つ又は複数の要素を含むことを示す。
【0043】
さらに、本開示の実施例をよりよく説明するために、以下の具体的な実施形態において多くの具体的細部が記載されている。全ての具体的細部を記載しなくても本開示が同様に実施できることは、当業者にとって明らかである。本開示の要旨を強調するために、いくつかの例において、当業者のよく使用される方法、手段、要素及び回路を詳しく記載していない。
【0044】
【0045】
ステップＳ１１において、第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得する。
【0046】
ステップＳ１２において、前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得し、ここで、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表す。
【0047】
ステップＳ１３において、前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定し、ここで、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布である。
【0048】
ステップＳ１４において、前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定する。
【0049】
ステップＳ１５において、前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングする。
【0050】
本開示の実施例におけるニューラルネットワークのトレーニング方法によって、判別ネットワークは、入力画像に対して判別分布を出力し、確率分布の形で入力画像の真偽性を表し、色、テクスチャ、比率、背景などの次元で入力画像が本物画像である確率を表すことができ、複数の態様から入力画像の真偽性を評価し、情報ロスを減らし、ニューラルネットワークのトレーニングに、より全面的な教師情報及びより正確なトレーニング方向を提供し、トレーニング精度を向上させ、最終的に生成画像の品質を向上させ、生成ネットワークに高解像度画像の生成に適用させることができる。しかも、生成画像のターゲット確率分布及び本物画像のターゲット確率分布をプリセットすることによって、トレーニングプロセスをガイダンスし、トレーニングプロセスにおいて本物画像及び生成画像をそれぞれのターゲット確率分布に近づけさせ、本物画像と生成画像の相違度を拡大し、判別ネットワークの本物画像及び生成画像を見分ける能力を強化し、それによって、生成ネットワークによって生成される画像の品質を向上させる。
【0051】
一可能な実施形態において、前記ニューラルネットワークのトレーニング方法は、端末機器又は他の処理機器によって実行されることができ、ここで、端末機器は、ユーザ機器（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、携帯電話、コードレス電話、パーソナルデジタル処理（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであり得る。他の処理機器はサーバ又はクラウドサーバなどであり得る。いくつかの可能な実施形態において、当該ニューラルネットワークのトレーニング方法は、プロセッサによって、メモリに記憶されるコンピュータ可読命令を呼び出す方式によって実現することができる。
【0052】
一可能な実施形態において、前記ニューラルネットワークは、生成ネットワークと判別ネットワークによって構成された敵対的生成ネットワークである得る。生成ネットワークは、畳み込みニューラルネットワークなどのディープラーニングニューラルネットワークであり得、本開示は生成ネットワークのタイプ及び構造に対して限定しない。判別ネットワークは、畳み込みニューラルネットワークなどのディープラーニングニューラルネットワークであり得、本開示は判別ネットワークのタイプ及び構造に対して限定しない。生成ネットワークはランダムベクトルに対して処理することができ、それによって生成画像を取得し、ランダムベクトルは各要素が乱数であるベクトルであり得、ランダムサンプリングなどの方式によって取得できる。ステップＳ１１では、ランダムサンプリングなどの方式によって第１ランダムベクトルを取得することができ、生成ネットワークは、第１ランダムベクトルに対して畳み込むなどの処理を実行して、第１ランダムベクトルに対応する第１生成画像を取得することができる。第１ランダムベクトルはランダムで生成されたベクトルであり、そのため、第１生成画像はランダム画像である。
【0053】
一可能な実施形態において、第１本物画像は任意の本物画像である得、例えば、画像取得装置（例えば、カメラ、ウェブカメラなど）によって撮影された本物画像である得る。ステップＳ１２では、第１本物画像及び第１生成画像をそれぞれ判別ネットワークに入力して、それぞれ、第１生成画像の第１判別分布及び第１本物画像の第２判別分布を取得することができ、第１判別分布及び第２判別分布は、ベクトル形のパラメータであり得、例えば、ベクトルの形で確率分布を表すことができる。第１判別分布は、第１生成画像の真実度を表すことができ、即ち、第１判別分布によって第１生成画像が本物画像である確率を表すことができる。第２判別分布は、第１本物画像の真実度を表すことができ、即ち、第２判別分布によって第１本物画像が本物画像である確率を表すことができる。分布（例えば多次元ベクトル）の形で画像の真偽性を表し、色、テクスチャ、比率、背景などの複数の態様から画像の真偽性を評価し、情報ロスを減らして、トレーニングに正確なトレーニング方向を提供する。
【0054】
一可能な実施形態において、ステップＳ１３では、本物画像のターゲット確率分布（即ち、第２ターゲット分布）、及び生成画像のターゲット確率分布（即ち、第１ターゲット分布）をプリセットでき、トレーニングプロセスでは、本物画像のターゲット確率分布及び生成画像のターゲット確率分布に基づいて、生成画像に対応するネットワーク損失及び本物画像に対応するネットワーク損失をそれぞれ決定し、生成画像に対応するネットワーク損失及び本物画像に対応するネットワーク損失をそれぞれ使用して判別ネットワークのパラメータを調整し、本物画像の第２判別分布が第２ターゲット分布に近づけ、しかも第１ターゲット分布と明らかな差異を有するようにし、生成画像の第１判別分布が第１ターゲット分布に近づけ、第２ターゲット分布と明らかな差異を有するようにし、本物画像と生成画像の相違度を拡大し、判別ネットワークの本物画像と生成画像を見分ける能力を高まり、さらに生成ネットワークによって生成される画像の品質を向上させることができる。
【0055】
例において、生成画像のアンカ（ａｎｃｈｏｒ）分布（即ち、第１ターゲット分布）及び本物画像のアンカ分布（即ち、第２ターゲット分布）をプリセットでき、生成画像のアンカ分布を表すベクトルは、本物画像のアンカ分布を表すベクトルと明らかな差異を有する。例えば、１つの固定分布Ｕをプリセットし、第１ターゲット分布Ａ１＝Ｕ、第２ターゲット分布Ａ２＝Ｕ＋１と設定する。トレーニングプロセスでは、判別ネットワークのネットワークパラメータを調整することによって、第１判別分布と生成画像のアンカ分布の差異を縮小することができ、このプロセスでは、第１判別分布と本物画像のアンカ分布の差異は大きくなる。トレーニングプロセスでは、判別ネットワークのネットワークパラメータを調整することによって、第２判別分布と本物画像のアンカ分布の差異を縮小することができ、このプロセスでは、第２判別分布と生成画像のアンカ分布の差異は大きくなる。即ち、本物画像及び生成画像に対してアンカ分布をそれぞれプリセットし、本物画像と生成画像との分布差異を大きくし、それにより、判別ネットワークの本物画像及び生成画像に対する区別能力を向上させる。
【0056】
一可能な実施形態において、ステップＳ１３は、前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することと、前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することと、前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することと、を含み得る。
【0057】
例において、第１ターゲット分布は正確な確率分布であり、第１ターゲット分布と第１判別分布との差異を決定することによって、第１分布損失を決定することができる。
【0058】
一可能な実施形態において、第１判別分布及び第１ターゲット分布に基づいて、第１生成画像に対応するネットワーク損失（即ち、第１分布損失）を決定することができる。ここで、前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することは、前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得することと、前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定することと、前記第１相対エントロピーに基づいて、前記第１分布損失を決定することと、を含む。
【0059】
一可能な実施形態において、第１判別分布と第１ターゲット分布のサポートセット（前記サポートセットは確率分布の分布範囲を示すトポロジ空間である）は異なる可能性かあり、即ち、第１判別分布の分布範囲と第１ターゲット分布の分布範囲は異なる可能性がある。分布範囲が異なる場合、２つの確率分布の差異を比較することは意味がなく、そのため、第１判別分布を第１ターゲット分布のサポートセットにマッピングするか、又は第１ターゲット分布を第１判別分布のサポートセットにマッピングするか、又は第１判別分布及び第１ターゲット分布を同じサポートセットにマッピングすることができ、即ち、第１判別分布の分布範囲と第１ターゲット分布の分布範囲を同じくし、同じ分布範囲で２つの確率分布の差異を比較することができる。例において、線形変換などの方式によって、例えば、投影行列を使用して第１判別分布に対して投影処理を実行し、第１判別分布を第１ターゲット分布のサポートセットにマッピングし、即ち、第１判別分布のベクトルに対して線形変換を実行することができ、変換して得られたベクトルは、即ち、第１ターゲット分布のサポートセットにマッピングされた第１マッピング分布である。
【0060】
一可能な実施形態において、第１マッピング分布と第１ターゲット分布との第１相対エントロピー、即ち、ＫＬ（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ）距離を決定することができ、前記第１相対エントロピーは、同じサポートセットにおける２つの確率分布の差異（即ち、第１マッピング分布と第１ターゲット分布の差異）を示すことができる。もちろん、他の実施形態では、ＪＳ発散（Ｊｅｎｓｅｎ－Ｓｈａｎｎｏｎ ｄｉｖｅｒｇｅｎｃｅ）又はＷａｓｓｅｒｓｔｅｉｎ距離などの他の方式によって第１マッピング分布と第１ターゲット分布の差異を決定することもできる。
【0061】
一可能な実施形態において、第１相対エントロピーに基づいて、第１分布損失（即ち、生成画像に対応するネットワーク損失）を決定することができる。例において、第１相対エントロピーを前記第１分布損失として決定するか、又は第１相対エントロピーに対して演算処理を実行でき、例えば、第１相対エントロピーを重み付け、対数、指数を取るなどの処理を実行して、前記第１分布損失を取得する。本開示は、第１分布損失の決定方式に対して限定しない。
【0062】
例において、第２ターゲット分布は正確な確率分布であり、第２ターゲット分布と第２判別分布との差異を決定することにより、第２分布損失を決定することができる。
【0063】
一可能な実施形態において、第２判別分布及び第２ターゲット分布に基づいて、第１本物画像に対応するネットワーク損失（即ち、第２分布損失）を決定することができる。ここで、前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することは、前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得することと、前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定することと、前記第２相対エントロピーに基づいて、前記第２分布損失を決定することと、を含む。
【0064】
一可能な実施形態において、第２判別分布と第２ターゲット分布のサポートセット（前記サポートセットは確率分布の分布範囲を示すトポロジ空間である）は異なる可能性かあり、即ち、第２判別分布の分布範囲と第２ターゲット分布の分布範囲は異なる可能性かある。第２判別分布を第２ターゲット分布のサポートセットにマッピングするか、又は第２ターゲット分布を第２判別分布のサポートセットにマッピングするか、又は第２判別分布及び第２ターゲット分布を同じサポートセットにマッピングすることができ、第２判別分布の分布範囲と第２ターゲット分布の分布範囲を同じくし、同じ分布範囲で２つの確率分布の差異を比較することができる。例において、線形変換などの方式によって、例えば、投影行列を使用して第２判別分布に対して投影処理を実行し、第２判別分布を第２ターゲット分布のサポートセットにマッピングし、即ち、第２判別分布のベクトルに対して線形変換を実行でき、変換して得られたベクトルは、即ち、第２ターゲット分布のサポートセットにマッピングされた第２マッピング分布である。
【0065】
一可能な実施形態において、第２マッピング分布と第２ターゲット分布との第２相対エントロピーを決定でき、前記第２相対エントロピーは、同じサポートセットにおける２つの確率分布の差異（即ち、第２マッピング分布と第２ターゲット分布との差異）を示すことができる。ここで、第２相対エントロピーの計算方法は第１相対エントロピーと同様であり、ここでは繰り返して説明しない。もちろん、他の実施形態では、ＪＳ発散（Ｊｅｎｓｅｎ－Ｓｈａｎｎｏｎ ｄｉｖｅｒｇｅｎｃｅ）又はＷａｓｓｅｒｓｔｅｉｎ距離などの他の方式によって第２マッピング分布と第２ターゲット分布の差異を決定することもできる。
【0066】
一可能な実施形態において、第２相対エントロピーに基づいて、第２分布損失（即ち、生成画像に対応するネットワーク損失）を決定することができる。例において、第２相対エントロピーを前記第２分布損失として決定するか、又は第２相対エントロピーに対して演算処理を実行でき、例えば、第２相対エントロピーを重み付け、対数、指数を取るなどの処理を実行して、前記第２分布損失を取得することができる。本開示は、第２分布損失の決定方式に対して限定しない。
【0067】
一可能な実施形態において、第１生成画像の第１分布損失及び第２生成画像の第２分布損失に基づいて第１ネットワーク損失を決定することができる。ここで、前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することは、前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得することを含む。例において、第１分布損失と第２分布損失の重みが同じでもよく、即ち、第１分布損失と第２分布損失を直接加算して、第１ネットワーク損失を取得できる。又は、第１分布損失と第２分布損失の重みは異なってもよく、即ち、第１分布損失及び第２分布損失をそれぞれの重みを掛けてから加算して、第１ネットワーク損失を取得できる。第１分布損失と第２分布損失の重みはプリセットされてもよく、本開示は、第１分布損失と第２分布損失の重みに対して限定しない。
【0068】
このような方式によって、生成画像のターゲット確率分布及び本物画像のターゲット確率分布をプリセットすることによって、トレーニングプロセスをガイダンスし、各自の分布損失をそれぞれ決定し、トレーニングプロセスにおいて本物画像及び生成画像をそれぞれのターゲット確率分布に近づけさせ、本物画像と生成画像の相違度を拡大し、判別ネットワークにより正確な角度情報を提供し、判別ネットワークの本物画像及び生成画像を見分ける能力を強化し、それによって、生成ネットワークによって生成される画像の品質を向上させる。
【0069】
一可能な実施形態において、生成ネットワークの第２ネットワーク損失を決定できる。例において、判別ネットワークは入力画像が本物画像であるか生成画像であるかを判別する必要があるため、判別ネットワークはトレーニングプロセスで本物画像と生成画像を見分ける能力を向上することができ、即ち、本物画像と生成画像の判別分布をそれぞれのターゲット確率分布に近づけさせ、それにより本物画像と生成画像の相違度を拡大す。しかしながら、生成ネットワークは、生成画像を本物画像に近づけさせる目標としており、即ち、生成画像を十分にリアルにし、判別ネットワークが生成ネットワークで出力された生成画像を見分けにくいようにする。敵対的なトレーニングがバランスの取れた状態に達すると、判別ネットワーク及び生成ネットワークのパフォーマンスは両方とも最適になり、即ち、判別ネットワークの判別能力が強く、本物画像と真実度の低い生成画像を見分けることができ、生成ネットワークによって生成された画像の真実度が高いため、判別ネットワークが高品質の生成画像を見分けにくいようにする。敵対的なトレーニングでは、判別ネットワークのパフォーマンスの向上は生成ネットワークのパフォーマンスを向上させるように促進でき、即ち、判別ネットワークの本物画像と生成画像を見分ける能力が大きければ、生成ネットワークによって生成された画像の真実度を向上させることができる。
【0070】
生成ネットワークのトレーニング目的は、生成画像の真実度を向上させることであり、即ち、生成画像を本物画像に近づけさせることである。つまり、生成ネットワークのトレーニングによって、第１生成画像の第１判別分布を第１本物画像の第２判別分布に近づけさせ、それにより、判別ネットワークで見分けにくくすることができる。一可能な実施形態において、ステップＳ１４は、前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定することと、記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定することと、を含み得る。
【0071】
一可能な実施形態において、第１判別分布と第２判別分布との第３相対エントロピーを決定でき、前記第３相対エントロピーは、同じサポートセットにおける２つの確率分布の差異（即ち、第３マッピング分布と第４マッピング分布との差異）を示す。ここで、第３相対エントロピーの計算方法は第１相対エントロピーと東洋であり、ここでは繰り返して説明しない。もちろん、他の実施形態では、ＪＳ発散（Ｊｅｎｓｅｎ－Ｓｈａｎｎｏｎ ｄｉｖｅｒｇｅｎｃｅ）又はＷａｓｓｅｒｓｔｅｉｎ距離などの他の方式によって第１判別分布と第２判別分布との差異を決定して、両者の差による生成ネットワークのネットワーク損失を決定することもできる。
【0072】
一可能な実施形態において、第３相対エントロピーに基づいて、第２ネットワーク損失を決定することができる。例において、第３相対エントロピーを第２ネットワーク損失として決定するか、又は第３相対エントロピーに対して演算処理を実行するか、例えば、第３相対エントロピーに対して重み付け、対数、指数を取るなどの処理を実行して、第２ネットワーク損失を取得することができる。本開示は、第２ネットワーク損失の決定方式に対して限定しない。
【0073】
一可能な実施形態において、第１判別分布と第２判別分布のサポートセットは異なってもよく、即ち、第１判別分布と第２判別分布の分布範囲は異なってもよい。線形変換によって、第１判別分布と第２判別分布のサポートセットを重ねるようにすることができ、例えば、第１判別分布及び第２判別分布をターゲットサポートセットにマッピングして、第２判別分布の分布範囲と第１判別分布の分布範囲を同じようにし、同じ分布範囲で２つの確率分布の差異を比較することができる。
【0074】
例において、前記ターゲットサポートセットは、前記第１判別分布のサポートセット又は前記第２判別分布のサポートセットである。線形変換などの方式によって、第２判別分布を第１判別分布のサポートセットにマッピングすることができ、即ち、第２判別分布のベクトルに対して線形変換を実行し、変換して得られたベクトルが第１判別分布のサポートセットにマッピングされた第４マッピング分布であり、第１判別分布を前記第３マッピング分布とすることができる。又は、線形変換などの方式によって、第１判別分布を第２判別分布のサポートセットにマッピングでき、即ち、第１判別分布のベクトルに対して線形変換を実行し、変換して得られたベクトルが第２判別分布のサポートセットにマッピングされた第３マッピング分布であり、第２判別分布を前記第４マッピング分布とすることができる。
【0075】
例において、前記ターゲットサポートセットは他のサポートセットでもあり得、例えば、１つのサポートセットをプリセットし、第１判別分布及び第２判別分布を両方とも当該サポートセットにマッピングし、それぞれ、第３マッピング分布及び第４マッピング分布を取得することができる。さらに、第３マッピング分布と第４マッピング分布との第３相対エントロピーを計算することができる。本開示はターゲットサポートセットに対して限定しない。
【0076】
このような方式によって、第１判別分布と第２判別分布との差異を減らす方式によって生成ネットワークをトレーニングして、判別ネットワークのパフォーマンスを向上させる同時に、生成ネットワークのパフォーマンスを向上させるように促進し、それにより、真実度が高い生成画像を生成して、生成ネットワークに高解像度画像を生成することに適用させる。
【0077】
一可能な実施形態において、判別ネットワークの第１ネットワーク損失及び生成ネットワークの第２ネットワーク損失に基づいて、生成ネットワーク及び判別ネットワークを敵対的にトレーニングすることができる。即ち、トレーニングによって、生成ネットワークと判別ネットワークのパフォーマンスを同時に向上させ、判別ネットワークの区別能力を向上させ、生成ネットワークの真実度の高い生成画像を生成する能力を向上させ、生成ネットワーク及び判別ネットワークをバランスの取れた状態に達するようにする。
【0078】
例示的に、ステップＳ１５は、前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することと、前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整することと、前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得することと、を含み得る。
【0079】
トレーニングプロセスでは、ネットワークパラメータの複雑さが異なるなどの要因で、判別ネットワークのトレーニング進行度合いは、通常、生成ネットワークよりも速く、判別ネットワークの進行度合いが速くて早めにトレーニングが完了している場合、生成ネットワークに逆伝播の勾配を提供することができず、さらに、生成ネットワークのパラメータを更新することができず、即ち、生成ネットワークのパフォーマンスを向上させることができなくなる。そのため、生成ネットワークによって生成された画像のパフォーマンスは制限され、高解像度の画像の生成に適用されなく、真実度が低い。
【0080】
一可能な実施形態において、判別ネットワークのトレーニングプロセスで、判別ネットワークのネットワークパラメータを調整するために勾配を制限できる。ここで、前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することは、第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得することと、前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得することと、前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得することと、前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定することと、前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定することと、前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整することと、を含む。
【0081】
一可能な実施形態において、ランダムサンプリングなどの方式によって第２ランダムベクトルを取得し、生成ネットワークに入力して、第２生成画像を取得することができ、即ち、１つの非本物画像が取得できる。他の方式によって第２生成画像を取得することもでき、例えば、直接にランダムで１つの非本物画像を生成することができる。
【0082】
一可能な実施形態において、第２生成画像及び第２本物画像に対して補間処理を実行して、補間画像を取得することができ、即ち、補間画像が本物画像と非本物画像との合成画像であり、補間画像には、部分的な本物画像を含み、部分的な非本物画像も含む。例において、第２本物画像及び第２生成画像に対してランダム非線形補間を実行して、前記補間画像を取得することができ、本開示は、補間画像の取得方式に対して限定しない。
【0083】
一可能な実施形態において、補間画像を判別ネットワークに入力して、補間画像の第３判別分布を取得することができ、即ち、判別ネットワークは、当該本物画像と非本物画像との合成画像に対して判別処理を実行して、第３判別分布を取得することができる。
【0084】
一可能な実施形態において、第３判別分布を使用して判別ネットワークのネットワークパラメータの勾配を決定することができ、例えば、補間画像のターゲット確率分布（例えば、補間画像が本物画像である確率が５０％であるターゲット確率分布を示すことができる）をプリセットし、第３判別分布とターゲット確率分布の相対エントロピーを使用して判別ネットワークのネットワークパラメータの勾配を決定することができる。例えば、第３判別分布とターゲット確率分布の相対エントロピーを逆伝播して、当該相対エントロピーと判別ネットワークの各ネットワークパラメータの偏微分を計算し、それにより、ネットワークパラメータの勾配を取得することができる。もちろん、他の可能な実施形態では、第３判別分布とターゲット確率分布のＪＳ発散などの他のタイプの差異を使用して、判別ネットワークのパラメータ勾配を決定することもできる。
【0085】
一可能な実施形態において、判別ネットワークのネットワークパラメータの勾配がプリセットの勾配閾値以上である場合、第３判別分布に基づいて勾配ペナルティパラメータを決定することができる。勾配閾値は、勾配を制限する閾値であり得、勾配が大きい場合、トレーニングプロセスでは、勾配の降下速度が速い可能性があり（即ち、トレーニングステップ長が大きく、ネットワーク損失が最小値に変化する速度が速い）、そのため、勾配閾値によって勾配を制限することができる。例において、勾配閾値は１０、２０などに設定してもよく、本開示は勾配閾値に対して限定しない。
【0086】
例において、勾配ペナルティパラメータによって、勾配閾値を超えるネットワークパラメータの勾配を調整するか、又は勾配降下速度を制限して、当該パラメータの勾配を緩やかにし、勾配降下速度を遅くする。例えば、第３判別分布の期待値に基づいて勾配ペナルティパラメータを決定することができる。勾配ペナルティパラメータは、勾配降下に対する補償パラメータであり得、例えば、勾配ペナルティパラメータによって偏微分の乗数を調整するか、又は勾配ペナルティパラメータによって勾配降下の方向を変更して、勾配を制限し、それにより、判別ネットワークのネットワークパラメータの勾配降下速度を低減して、判別ネットワークの勾配降下が急激に低下して判別ネットワークが早期に収束する（即ち、トレーニングの完成が早すぎる）のを防ぐことができる。例において、第３判別分布は確率分布であり、当該確率分布の期待値を計算し、期待値に基づいて前記勾配ペナルティパラメータを決定することができ、例えば、前記期待値をネットワークパラメータの偏微分の乗数として決定することができ、即ち、期待値を勾配ペナルティパラメータとして決定し、勾配ペナルティパラメータを勾配の乗数として使用でき、本開示は勾配ペナルティパラメータの決定方式に対して限定しない。
【0087】
一可能な実施形態において、第１ネットワーク損失及び勾配ペナルティパラメータに基づいて、判別ネットワークのネットワークパラメータを調整することができる。即ち、第１ネットワーク損失を逆伝播して勾配降下のプロセスで、勾配ペナルティパラメータを追加し、判別ネットワークのネットワークパラメータを調整する同時に、勾配が急激に低下するのを防ぐ、即ち、判別ネットワークが早期にトレーニングを完了されることを防ぐ。例えば、勾配ペナルティパラメータを偏微分の乗数、即ち勾配の乗数として使用し、勾配降下の速度を遅くし、判別ネットワークのトレーニングの完成が早すぎることを防ぐことができる。
【0088】
一可能な実施形態において、判別ネットワークのネットワークパラメータの勾配がプリセットの勾配閾値より小さい場合、第１ネットワーク損失に基づいて判別ネットワークのネットワークパラメータを調整することができ、即ち、第１ネットワーク損失を逆伝播して勾配を降下し、第１ネットワーク損失を低減させる。
【0089】
一可能な実施形態において、判別ネットワークのネットワークパラメータを調整するとき、判別ネットワークの勾配が勾配閾値以上であるかを検証して、判別ネットワークの勾配が勾配閾値以上である場合勾配ペナルティパラメータを設定することができる。判別ネットワークの勾配を検証することがなく、他の方式によって判別ネットワークのトレーニング進行度合いを制御することもできる（例えば、判別ネットワークのネットワークパラメータの調整を一時停止し、生成ネットワークのネットワークパラメータのみ調整するなど）。
【0090】
このような方式によって、判別ネットワークのネットワークパラメータの勾配が勾配閾値以上であるかを検知することによって、判別ネットワークのトレーニング中の勾配降下速度を制限することができ、それにより、判別ネットワークのトレーニング進行度合いを制限し、判別ネットワークで勾配消失の発生確率を減らし、それにより、生成ネットワークを持続的に最適化することが可能であり、生成ネットワークのパフォーマンスを向上させ、生成ネットワークの生成画像の真実度を高め、生成ネットワークに高解像度画像を生成することに適用させる。
【0091】
一可能な実施形態において、第２ネットワーク損失に基づいて生成ネットワークのネットワークパラメータを調整することができ、例えば、第２ネットワーク損失を逆伝播して勾配を降下し、第２ネットワーク損失を低減させて、生成ネットワークのパフォーマンスを向上させる。
【0092】
一可能な実施形態において、判別ネットワーク及び生成ネットワークを敵対的なトレーニングでき、第１ネットワーク損失によって判別ネットワークのネットワークパラメータを調整するとき、生成ネットワークのネットワークパラメータが変わらないように維持し、第２ネットワーク損失によって生成ネットワークのネットワークパラメータを調整するとき、判別ネットワークのネットワークパラメータが変わらないように維持する。判別ネットワーク及び生成ネットワークがトレーニング条件を満たすまで、上述したトレーニングプロセスを反復に実行でき、例において、前記トレーニング条件は、判別ネットワーク及び生成ネットワークがバランスの取れた状態に達することを含み、例えば、判別ネットワーク及び生成ネットワークのネットワーク損失が両方ともプリセット閾値以下であるか、又はプリセットの区間に収束される。又は、前記トレーニング条件は、以下の２つの条件がバランスの取れた状態に達することを含む。第１条件として、生成ネットワークのネットワーク損失がプリセットの閾値以下であるか又はプリセットの区間に収束され、第２条件として、判別ネットワークによって出力される判別分布が示す入力画像が本物画像である確率が最大化される。この場合、判別ネットワークの本物画像と生成画像を区別する能力が高く、生成ネットワークによって生成された画像の品質が高く、真実度が高い。
【0093】
一可能な実施形態において、判別ネットワークの勾配が勾配閾値以上であるかを検証する以外に、判別ネットワークのトレーニング進行度合いを制御する方式によって、判別ネットワークで勾配消失の発生確率を減らすこともできる。
【0094】
一可能な実施形態において、いずれかのトレーニング周期が終わった後、判別ネットワーク及び生成ネットワークのトレーニング進行度合いをチェックすることができる。具体的に、ステップＳ１５は、以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得することと、前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得することと、前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することと、前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整することと、を含み得る。
【0095】
一可能な実施形態において、トレーニングプロセスでエクスペリエンスバッファ（ｅｘｐｅｒｉｅｎｃｅ ｂｕｆｆｅｒ）のようなバッファを配置することができ、当該バッファには、少なくとも１つの（例えば、Ｍ個、Ｍは正の整数である）以前のトレーニング周期における第１ランダムベクトル及び上記の以前のＭ個のトレーニング周期で生成ネットワークが第１ランダムベクトルに基づいて生成したＭ個の第１生成画像を保存することができ、即ち、いずれかの以前のトレーニング周期で１つの第１ランダムベクトルによって１つの第１生成画像を生成することができ、バッファでは、以前のＭ個のトレーニング周期における第１ランダムベクトル、及び生成したＭ個の第１生成画像を保存することができる。トレーニングの実行に伴い、トレーニング周期数がＭを超えた場合、最後のトレーニング周期における第１ランダムベクトル及び第１生成画像を使用して、最も古くバッファに保存された第１ランダムベクトル及び第１生成画像を置き換えることができる。
【0096】
一可能な実施形態において、以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得し、例えば、バッファ内のｍ（ｍはＭ以下であるであり、且つ、ｍは正の整数である）個の第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、ｍ個の第３生成画像を取得することができる。
【0097】
一可能な実施形態において、現在のトレーニング周期における判別ネットワークによって、ｍ個の第３生成画像に対して判別処理をそれぞれ実行して、ｍ個の第５判別分布を取得することができる。現在のトレーニング周期における判別ネットワークによって、それぞれ、ｍ個の以前のトレーニング周期の第１生成画像に対して判別処理を実行して、ｍ個の第４判別分布を取得することができる。データベースからランダムサンプリングしてｍ個の本物画像を取得し、現在のトレーニング周期における判別ネットワークによって、それぞれ、ｍ個の本物画像に対して判別処理を実行して、ｍ個の第６判別分布を取得することができる。
【0098】
一可能な実施形態において、ｍ個の第４判別分布、ｍ個の第５判別分布及びｍ個の第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することができ、即ち、判別ネットワークのトレーニング進行度合いが生成ネットワークより大幅に速いか否かを決定し、大幅に速いと決定した場合、生成ネットワークのトレーニング進行度合いパラメータを調整して、生成ネットワークのトレーニング進行度合いを上げ、判別ネットワークと生成ネットワークのトレーニング進行度合い差異を減らし、即ち、判別ネットワークのトレーニングを一時停止し、生成ネットワークだけをトレーニングして、生成ネットワークの進行度合いパラメータを高め、進行度合いを上げる。
【0099】
一可能な実施形態において、前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することは、少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得することと、前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得することと、前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定することと、前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定することと、を含む。
【0100】
一可能な実施形態において、ｍ個の第４判別分布の期待値をそれぞれ計算して、ｍ個の第１期待値を取得することができ、ｍ個の第５判別分布の期待値をそれぞれ計算して、ｍ個の第２期待値を取得し、ｍ個の第６判別分布の期待値をそれぞれ計算して、ｍ個の第３期待値を取得することができる。さらに、ｍ個の第１期待値に対して平均処理を実行して、第１平均値ＳＢを取得することができ、ｍ個の第２期待値に対して平均処理を実行して、第２平均値ＳＧを取得することができ、ｍ個の第３期待値に対して平均処理を実行して、第３平均値ＳＲを取得することができる。
【0101】
一可能な実施形態において、第３平均値と第２平均値との第１差分値（ＳＲ－ＳＧ）を決定し、第２平均値と第１平均値との第２差分値（ＳＧ－ＳＢ）を決定することができる。さらに、第１差分値と第２差分値との比の値（ＳＲ－ＳＧ）／（ＳＧ－ＳＢ）を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定することができる。別の一例において、プリセットのトレーニング回数を生成ネットワークのトレーニング進行度合いパラメータとして使用することができ、例えば、生成ネットワーク及び判別ネットワークがトレーニング条件を満たすまで、生成ネットワーク及び判別ネットワークを一緒に１００回トレーニングするたびに、判別ネットワークのトレーニングを一時停止させ、生成ネットワークを単独で５０回トレーニングし、その後、生成ネットワーク及び判別ネットワークを一緒に１００回トレーニングして、……。
【0102】
一可能な実施形態において、トレーニング進行度合い閾値を設定することができ、前記トレーニング進行度合い閾値は生成ネットワークのトレーニング進行度合いの閾値であり、トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、判別ネットワークのトレーニング進行度合いが生成ネットワークより大幅に速いことを表し、即ち、生成ネットワークのトレーニング進行度合いが遅く、この場合、判別ネットワークのネットワークパラメータの調整を一時停止して、生成ネットワークのネットワークパラメータのみを調整することができる。例において、後続のトレーニング周期で、トレーニング進行度合いパラメータがトレーニング進行度合い閾値より大きくなるまで、上記のの判別ネットワーク及び生成ネットワークのトレーニング進行度合いのチェックを繰り返して実行し、この場合、判別ネットワーク及び生成ネットワークのネットワークパラメータを同時に調整することができ、即ち、生成ネットワークのトレーニングの進行度合いが判別ネットワークのトレーニング進行度合いに近づけるまで、判別ネットワークのトレーニングを少なくとも１つのトレーニング周期一時停止させて、生成ネットワークのみをトレーニングしてから（即ち、第３ネットワーク損失に基づいて生成ネットワークのネットワークパラメータを調整し、判別ネットワークのネットワークパラメータが変わらないように維持する）、生成ネットワーク及び判別ネットワークを敵対的にトレーニングする。
【0103】
他の実施形態では、トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、判別ネットワークのトレーニング速度を下げることもでき、例えば、判別ネットワークのトレーニング周期を延長するか又は判別ネットワークの勾配降下速度を下げ、トレーニング進行度合いパラメータがトレーニング進行度合い閾値より大きくなるまで継続してから、判別ネットワークのトレーニング速度を回復させることができる。
【0104】
このような方式によって、判別ネットワーク及び生成ネットワークのトレーニング進行度合いによって、トレーニングにおける判別ネットワークの勾配降下速度を制限し、それにより、判別ネットワークのトレーニング進行度合いを制限することができ、判別ネットワークで勾配消失の発生確率を減らし、それにより、生成ネットワークを持続的に最適化することが可能であり、生成ネットワークのパフォーマンスを向上させ、生成ネットワークの生成画像の真実度を高め、生成ネットワークに高解像度画像を生成することに適用させる。
【0105】
一可能な実施形態において、生成ネットワーク及び判別ネットワークの敵対的にトレーニングが完了した後、即ち、生成ネットワーク及び判別ネットワークのパフォーマンスが最適になる時に、生成ネットワークを使用して画像を生成することができ、生成された画像の真実度は高い。
【0106】
本開示は、さらに、画像生成方法を提供し、前記トレーニングされた敵対的生成ネットワークを使用して画像を生成する。
【0107】
本開示のいくつかの実施例において、画像生成方法は、第３ランダムベクトルを取得することと、第３ランダムベクトルを上記のニューラルネットワークのトレーニング方法によってトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得することと、を含む。
【0108】
例において、ランダムサンプリングなどの方式によって第３ランダムベクトルを取得し、第３ランダムベクトルをトレーニング後の生成ネットワークに入力することができる。生成ネットワークは、真実度の高いターゲット画像を出力できる。例において、前記ターゲット画像は高解像度画像であり得、即ち、トレーニング後の生成ネットワークは真実度の高い高解像度画像を生成することに適用できる。
【0109】
本開示の実施例におけるニューラルネットワークのトレーニング方法によって、判別ネットワークは、入力画像に対して判別分布を出力し、分布の形で入力画像の真偽性を表し、複数の態様から入力画像の真偽性を評価することができ、情報ロスを減らし、ニューラルネットワークのトレーニングに、より全面的な教師情報及びより正確なトレーニング方向を提供し、トレーニング精度を向上させ、生成画像の品質を向上させ、生成ネットワークに高解像度画像を生成することに適用させる。しかも、生成画像のターゲット確率分布及び本物画像のターゲット確率分布をプリセットすることによって、トレーニングプロセスをガイダンスし、それぞれの分布損失を決定し、トレーニングプロセスにおいて本物画像及び生成画像をそれぞれのターゲット確率分布に近づけさせ、本物画像と生成画像の相違度を拡大し、判別ネットワークの本物画像及び生成画像を見分ける能力を強化し、第１判別分布と第２判別分布との差異を減らす方式によって生成ネットワークをトレーニングして、判別ネットワークのパフォーマンスを向上させる同時に、生成ネットワークのパフォーマンスを向上させるように促進し、それにより、真実度の高い生成画像を生成して、生成ネットワークに高解像度画像を生成させる。さらに、判別ネットワークのネットワークパラメータの勾配が勾配閾値以上であるかを検知するか、又は判別ネットワーク及び生成ネットワークのトレーニング進行度合いをチェックして、判別ネットワークがトレーニングされるときの勾配降下速度を制限でき、それにより、判別ネットワークのトレーニング進行度合いを制限し、判別ネットワークで勾配消失の発生確率を減らし、それにより、生成ネットワークを持続的に最適化することが可能であり、生成ネットワークのパフォーマンスを向上させ、生成ネットワークの生成画像の真実度を高め、生成ネットワークに高解像度画像を生成することに適用させる。
【0110】
図２は、本開示の実施例に係るニューラルネットワークのトレーニング方法の適用の概略図を示し、図２に示されたように、第１ランダムベクトルを生成ネットワークに入力することができ、生成ネットワークは第１生成画像を出力することができる。判別ネットワークは、第１生成画像及び第１本物画像をそれぞれ判別処理し、第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得することができる。
【0111】
一可能な実施形態において、生成画像のアンカ分布（即ち、第１ターゲット分布）及び本物画像のアンカ分布（即ち、第２ターゲット分布）をプリセットできる。第１判別分布及び第１ターゲット分布に基づいて、第１生成画像に対応する第１分布損失を決定することができる。第２判別分布及び第２ターゲット分布に基づいて、第１本物画像に対応する第２分布損失を決定することができる。さらに、第１分布損失及び第２分布損失を介して判別ネットワークの第１ネットワーク損失を決定することができる。
【0112】
一可能な実施形態において、第１判別分布及び第２判別分布によって生成ネットワークの第２ネットワーク損失を決定することができる。さらに、第１ネットワーク損失及び第２ネットワーク損失によって生成ネットワーク及び判別ネットワークを敵対的にトレーニングすることができる。即ち、第１ネットワーク損失によって判別ネットワークのネットワークパラメータを調整し、第２ネットワーク損失によって生成ネットワークのネットワークパラメータを調整する。
【0113】
一可能な実施形態において、判別ネットワークのトレーニング進行度合いは、通常、生成ネットワークより速く、判別ネットワークが早くトレーニングを完了することになっており、勾配消失の発生確率を減らし、生成ネットワークの持続的な最適化を保つために、判別ネットワークの勾配を検知することによって、判別ネットワークのトレーニング進行度合いを制御することができ、例において、１枚の本物画像及び生成画像を補間し、判別ネットワークによって当該補間画像の第３判別分布を決定し、さらに、第３判別分布の期待値に基づいて勾配ペナルティパラメータを決定することができ、判別ネットワークの勾配がプリセットの勾配閾値以上である場合、判別ネットワークの勾配が急激に低下することにより、判別ネットワークのトレーニングの完了が速すぎるのを防ぐために、第１ネットワーク損失に対して逆伝播を実行して勾配を降下させるプロセスで、勾配ペナルティパラメータを追加して、判別ネットワークの勾配降下速度を制限することができる。
【0114】
一可能な実施形態において、判別ネットワーク及び生成ネットワークのトレーニング進行度合いをチェックでき、例えば、Ｍ個の以前のトレーニング周期における生成ネットワークに入力されたＭ個の第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、Ｍ個の第３生成画像を取得することができる。Ｍ個の以前のトレーニング周期の生成された第１生成画像、Ｍ個の第３生成画像及びＭ個の本物画像に基づいて、現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定する。トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、判別ネットワークのトレーニング進行度合いが生成ネットワークより大幅に速いことを表し、判別ネットワークのネットワークパラメータの調整を一時停止して、生成ネットワークのネットワークパラメータのみを調整することができる。後続のトレーニング周期で、トレーニング進行度合いパラメータがトレーニング進行度合い閾値より大きくなるまで、上記の判別ネットワーク及び生成ネットワークのトレーニング進行度合いをチェックすることを繰り返して実行し、その場合、判別ネットワーク及び生成ネットワークのネットワークパラメータを同時に調整することができ、即ち、判別ネットワークのトレーニングを少なくとも１つのトレーニング周期一時停止させて、生成ネットワークのみをトレーニングする。
【0115】
一可能な実施形態において、生成ネットワーク及び判別ネットワークの敵対的にトレーニングが完了した後、生成ネットワークを使用してターゲット画像を生成することができ、ターゲット画像は真実度の高い高解像度画像であり得る。
【0116】
一可能な実施形態において、前記ニューラルネットワークのトレーニング方法は、敵対的生成の安定性およぎ生成画像の品質と真実度を向上させることができる。ゲーム内のシナリオの生成又は合成、画像スタイルの転移又は変換、及び画像クラスタリングなどのシナリオに適用でき、本開示は前記ニューラルネットワークのトレーニング方法の使用シナリオに対して限定しない。
【0117】
図３は、本開示の実施例に係るニューラルネットワークトレーニング装置のブロック図を示し、図３に示されたように、前記装置は、
第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得するように構成される、生成モジュール１１と、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得するように構成される判別モジュール１２であって、ここで、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表す、判別モジュール１２と、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定するように構成される第１決定モジュール１３であって、ここで、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布である、第１決定モジュール１３と、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定するように構成される、第２決定モジュール１４と、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングするように構成される、トレーニングモジュール１５と、を備える。
第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得するように構成される、生成モジュール１１と、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得するように構成される判別モジュール１２であって、ここで、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表す、判別モジュール１２と、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定するように構成される第１決定モジュール１３であって、ここで、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布である、第１決定モジュール１３と、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定するように構成される、第２決定モジュール１４と、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングするように構成される、トレーニングモジュール１５と、を備える。
【0118】
一可能な実施形態において、前記第１決定モジュールは、さらに、
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定し、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定し、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定するように構成される。
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定し、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定し、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定するように構成される。
【0119】
一可能な実施形態において、前記第１決定モジュールは、さらに、
前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得し、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定し、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定するように構成される。
前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得し、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定し、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定するように構成される。
【0120】
一可能な実施形態において、前記第１決定モジュールは、さらに、
前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得し、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定し、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定するように構成される。
前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得し、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定し、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定するように構成される。
【0121】
一可能な実施形態において、前記第１決定モジュールは、さらに、
前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得するように構成される。
前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得するように構成される。
【0122】
一可能な実施形態において、前記第２決定モジュールは、さらに、
前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定し、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定するように構成される。
前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定し、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定するように構成される。
【0123】
一可能な実施形態において、前記トレーニングモジュールは、さらに、
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整し、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整し、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得するように構成される。
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整し、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整し、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得するように構成される。
【0124】
一可能な実施形態において、前記トレーニングモジュールは、さらに、
第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得し、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得し、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得し、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定し、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定し、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整するように構成される。
第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得し、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得し、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得し、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定し、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定し、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整するように構成される。
【0125】
一可能な実施形態において、前記トレーニングモジュールは、さらに、
以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得し、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得し、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定し、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整するように構成される。
以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得し、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得し、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定し、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整するように構成される。
【0126】
一可能な実施形態において、前記トレーニングモジュールは、さらに、
少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得し、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得し、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定し、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定するように構成される。
少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得し、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得し、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定し、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定するように構成される。
【0127】
本開示は、さらに、画像生成装置を提供し、前記トレーニングされた敵対的生成ネットワークを使用して画像を生成する。
【0128】
本開示のいくつかの実施例において、前記画像生成は、
第３ランダムベクトルを取得するように構成される、取得モジュールと、
前記第３ランダムベクトルをトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得するように構成される、取得モジュールと、を備える。
第３ランダムベクトルを取得するように構成される、取得モジュールと、
前記第３ランダムベクトルをトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得するように構成される、取得モジュールと、を備える。
【0129】
本開示で述べた上述の各方法の実施例は、原理及び論理に違反することなく、互いに組み合わせて、組み合わせされた実施例を生成することができ、スペースの限定により、本開示には繰り返さないことを理解されたい。
【0130】
加えて、本開示は、さらに、ニューラルネットワークトレーニング装置、電子機器、コンピュータ可読記憶媒体、プログラムを提供し、上記は、すべて本開示で提供された任意のニューラルネットワークのトレーニング方法を実現することができ、対応する技術的解決策と説明及び方法部分を参照した対応する記載は、繰り返しない。当業者は、具体的な実施形態の上記方法において、ステップの書き込み順序は、厳密な実行順序で、実装プロセスの限定となることではなく、各ステップの特定の実行順序は、その機能と可能性に基づくべきであることを理解することができる。いくつかの実施例において、本開示の実施例による装置が備える機能又はモジュールは、上記の方法の実施例で説明される方法を実行するために使用され得、特定の実現は、上記の方法の実施例における説明を参照することができ、簡潔にするために、ここで再び説明しない。
【0131】
本開示の実施例は、さらに、コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体を提案し、前記コンピュータプログラム命令は、プロセッサによって実行されるとき、上記の方法を実現する。コンピュータ可読記憶媒体は、揮発性コンピュータ可読記憶媒体又は不揮発性コンピュータ可読記憶媒体であってもよい。
【0132】
本開示の実施例は、さらに、電子機器を提出し、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは上記の方法で構成される。電子機器は、端末、サーバ又はその他の形態の機器として提供できる。
【0133】
図４は、一例示的な実施例によって示された電子機器８００のブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であり得る。
【0134】
図４を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電力コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの１つ又は複数のコンポーネットを備えることができる。
【0135】
処理コンポーネント８０２は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作などの、電子機器８００の全般的な操作を制御する。処理コンポーネント８０２は、前記方法のステップのすべて又は一部を完成するために、１つ又は複数のプロセッサ８２０を備えて命令を実行することができる。加えて、処理コンポーネント８０２は、１つ又は複数のモジュールを備えて、処理コンポーネント８０２と他のコンポーネントとの相互作用を容易にすることができる。例えば、マルチメディアコンポーネント８０８と、処理コンポーネント８０２との相互作用を容易にするために、処理コンポーネント８０２は、マルチメディアモジュールを備えることができる。
【0136】
メモリ８０４は、機器８００における操作をサポートするために、様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器８００で動作する、任意のアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等が含まれる。モリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなど、あらゆるタイプの揮発性又は不揮発性ストレージデバイス、又はそれらの組み合わせで実装することができる。
【0137】
電力コンポーネント８０６は、電子機器８００の様々なコンポーネントに電力を提供する。電力コンポーネント８０６は、電力管理システム、１つ又は複数の電源、及び電子機器８００のために、電力を生成、管理及び割り当てに関連付けられる、他のコンポーネントを備えることができる。
【0138】
マルチメディアコンポーネント８０８は、前記電子機器８００とユーザとの間に、出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含み得る。スクリーンにタッチパネルが含まれる場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実現されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルにおけるジェスチャを検知するための１つ又は複数のタッチセンサを含む。前記タッチセンサは、タッチ又はスワイプの操作の境界を感知するだけでなく、前記タッチ又はスワイプ動作に関する、持続時間及び圧力も検知することができる。いくつかの実施例において、マルチメディアコンポーネント８０８は、１つのフロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードなどの動作モードにいるとき、フロントカメラ及び／又はリアカメラは、外部のマルチメディアデータを受信し得る。各フロントカメラ及びリアカメラは、固定光学レンズシステムであり得、又は焦点距離と光学ズーム機能を有することがあり得る。
【0139】
オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、１つのマイク（ＭＩＣ）を備え、電子機器８００が、通話モード、録音モード及び音声認識モードなどの動作モードにいる場合、マイクは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ８０４に記憶されることができ、又は通信コンポーネント８１６を介して、送信されることができる。いくつかの実施例において、オーディオコンポーネント８１０は、さらに、オーディオ信号を出力するように構成される、スピーカを備える。
【0140】
Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを含み得るが、これらに限定されない。
【0141】
センサコンポーネント８１４は、電子機器８００に各態様の状態評価を提供するための１つ又は複数のセンサを備える。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、電子機器８００のディスプレイとキーパッドなどのコンポーネントの、相対的な位置を検知することができ、センサコンポーネント８１４は、電子機器８００又は電子機器８００の１つのコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速、及び電子機器８００の温度の変化も検知することができる。センサコンポーネット８１４は、近接センサを備えることができ、物理的接触なしに近くの物体の存在を検知するように構成される。センサコンポーネント８１４は、さらに、ＣＭＯＳ又はＣＣＤ画像センサなどの光センサを備えることもでき、イメージングアプリケーションのために使用される。いくつかの実施例において、当該センサコンポーネント８１４は、さらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ又は温度センサを備えることができる。
【0142】
通信コンポーネント８１６は、電子機器８００と他の機器の間の有線、又は無線方式の通信を容易にするように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、通信コンポーネント８１６は、放送チャンネルを介して、外部放送管理システムからの放送信号又は放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント８１６は、さらに、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールを備える。例えば、ＮＦＣモジュールは、無線周波数認識（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現されることができる。
【0143】
例示的な実施例において、電子機器８００は、上記の方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子素子によって実現されることができる。
【0144】
例示的な実施例において、さらに、コンピュータプログラム命令を含むメモリ８０４などの、不揮発性コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されて、上記の方法を完成することができる。
【0145】
本開示の実施例は、さらに、コンピュータ可読コードを含むコンピュータプログラム製品を提供し、コンピュータ可読コードが機器で実行されるとき、機器内のプロセッサは上記の任意の実施例によるニューラルネットワークのトレーニング方法を実現するための命令を実行する。
【0146】
本開示の実施例は、さらに、コンピュータ可読命令を記憶するために使用される、別のコンピュータプログラム製品を提供し、命令が実行されるときに、コンピュータに、上記の任意の実施例による画像生成方法の操作を実行させる。
【0147】
上記したコンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェア又はそれらを組み合わせる方式により実現されることができる。１つの例示的な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現され、別の例示的な実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）などのソフトウェア製品として具現される。
【0148】
図５は、一例示的な実施例によって示された電子機器１９００のブロック図である。例えば、電子機器１９００は、サーバとして提供されることができる。図５を参照すると、電子機器１９００は、処理コンポーネント１９２２を備え、１つ又は複数のプロセッサ、及びメモリ１９３２によって表されるメモリリソースををさらに含み、アプリケーションプログラムなど、処理コンポーネント１９２２によって、実行される命令を記憶するために使用される。メモリ１９３２に記憶されるアプリケーションプログラムは、１つ又は１つ以上の１セットの命令に対応する各モジュールを備えることができる。加えて、処理コンポーネント１９２２は、命令を実行するように構成されて、上記の方法を実行する。
【0149】
電子機器１９００は、さらに、電子機器１９００の電源管理を実行するように構成される、１つの電力コンポーネント１９２６と、電子機器１９００をネットワークに接続させるように構成される、１つの有線又は無線ネットワークインターフェース１９５０と、１つの入力／出力（Ｉ／Ｏ）インターフェース１９５８とを備えることができる。電子機器１９００は、メモリ１９３２に記憶されたＷｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤＴＭ又は類似したものなどの操作システムに基づいて操作されることができる。
【0150】
例示的な実施例において、さらに、コンピュータプログラム命令を含むメモリ１９３２などの、揮発性コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されて、上記の方法を完成することができる。
【0151】
本開示は、システム、方法及び／又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに本開示の様々な態様を実現させるために使用される、コンピュータ可読プログラム命令がロードされる、コンピュータ可読記憶媒体を備えることができる。
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持及び記憶することができる、有形の機器であり得る。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体貯蔵機器、又は前記任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的リスト）には、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、機械的エンコーディング機器、例えば命令が記憶されるパンチカード又は溝の突出構造、及び、前記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、無線電波又は他の自由に伝播する電磁波、導波管又は他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを介する光パルス）、又はワイヤーを介して伝送される電気信号などの、過渡信号自体として解釈されない。
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持及び記憶することができる、有形の機器であり得る。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体貯蔵機器、又は前記任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的リスト）には、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、機械的エンコーディング機器、例えば命令が記憶されるパンチカード又は溝の突出構造、及び、前記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、無線電波又は他の自由に伝播する電磁波、導波管又は他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを介する光パルス）、又はワイヤーを介して伝送される電気信号などの、過渡信号自体として解釈されない。
【0152】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から様々なコンピューティング／処理機器にダウンロードするか、又はインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はワイヤレスネットワークなどのネットワークを介して、外部コンピュータ又は外部記憶機器にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバーを含み得る。各コンピューティング／処理機器における、ネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、前記コンピュータ可読プログラム命令を転送して、各コンピューティング／処理機器におけるコンピュータ可読記憶媒体に記憶される。
【0153】
本開示の操作を実行するために使用されるコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、ステータス設定データ、又は１つ又は複数のプログラミング言語の任意の組み合わせで記述される、ソースコード又はオブジェクトコードであり得、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋など、対象指向のプログラミング言語、及び「Ｃ」言語又は同様のプログラミング言語など、従来の手続き型プログラミング言語とを含む。コンピュータ可読プログラム命令は、完全にユーザのコンピュータで実行でき、部分的にユーザのコンピュータで実行でき、スタンドアロンパッケージとして実行でき、ユーザのコンピュータで一部、リモートコンピュータで一部実行でき、又は、完全にリモートコンピュータ又はサーバーで実行できる。リモートコンピュータに関するシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む、任意の種類のネットワークを介して、ユーザのコンピュータにアクセスでき、又は、リモートコンピュータにアクセスできる（例えば、インターネットサービスプロバイダーを使用してインターネットを介してアクセスする）。いくつかの実施例において、コンピュータ可読プログラム命令のステータス情報を使用することによって、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブルロジックアレイ（ＰＬＡ）などの電子回路を、パーソナライズにスタマイズし、前記電子回路は、コンピュータ可読プログラム命令を実行して、本開示の様々な態様を実現することができる。
【0154】
本明細書では、本開示の実施例による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して本開示の様々な態様を説明する。フローチャート及び／又はブロック図の各ブロック、及びフローチャート及び／又はブロック図内の各ブロックの組み合わせは、コンピュータ可読プログラム命令によって実現されることを理解されたい。
【0155】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、固有コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供することができ、それにより、デバイスが作成され、これらの命令が、コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサによって実行されるとき、フローチャート及び／又はブロック図内の１つ又は複数のブロックの指定される機能／アクションを実現させる。これらのコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体に記憶することもあり得、これらの命令は、コンピュータ、プログラマブルデータ処理装置及び／又は他の機器を特定の方式で作業するようにし、従って、命令が記憶されるコンピュータ可読媒体は、フローチャート及び／又はブロック図内の１つ又は複数のブロックの指定される機能／アクションを実現する様々な態様の命令を含む製造品を含む。
【0156】
コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、又は他の機器にロードすることもでき、コンピュータ、他のプログラマブルデータ処理装置、又は他の機器で一連の操作ステップを実行して、コンピュータ実現のプロセスを生成させ、これにより、コンピュータ、他のプログラマブルデータ処理装置、又は他の機器で実行する命令を、フローチャート及び／又はブロック図内の１つ又は複数のブロックの指定される機能／アクションを実現させる。
【0157】
図面におけるプロセス図及びブロック図は、本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能、及び操作を示す。この点について、フローチャート又はブロック図内の各ブロックは、１つのモジュール、プログラムセグメント、又は命令の一部を表すことができ、前記モジュール、プログラムセグメント、又は命令の一部は、１つ又は複数の指定される論理機能を実現するために使用される実行可能な命令を含む。いくつかの代替実現において、ブロックのマークされる機能は、図面でマークされる順序とは異なる順序で発生することもできる。例えば、関する機能によって、２つの連続するブロックは、実際に基本的に並行して実行でき、時には逆の順序で実行できる。ブロック図及び／又はフローチャート中の各ブロック、及びブロック図及び／又はフローチャートのブロックの組み合わせは、指定される機能又はアクションを実行する、専用のハードウェアベースのシステムによって実現されるか、又は、ハードウェアとコンピュータ命令の組み合わせを使用して、実現されることもできることを留意する必要がある。
【0158】
以上、本開示の各実施例を説明したが、以上の説明は、例示的なものに過ぎず、網羅的ではなく、開示された各実施例に限定されない。説明される各実施例の範囲及び思想から逸脱してない場合は、当業者にとって、多くの修正及び変更は明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の適用、又は市場における技術の改善を最もよく説明するか、又は、当業者が、本明細書で開示される各実施例を理解することができるようにすることを意図する。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2021-04-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ニューラルネットワークのトレーニング方法であって、第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得することと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得することであって、前記第１判別分布は、前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は、前記第１本物画像の真実度の確率分布を表すことと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することであって、前記第１ターゲット分布は、生成画像のターゲット確率分布であり、前記第２ターゲット分布は、本物画像のターゲット確率分布であることと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることと、を含む、ニューラルネットワークのトレーニング方法。
【請求項2】
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することは、前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することと、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することと、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することと、を含む、
請求項１に記載のニューラルネットワークのトレーニング方法。
【請求項3】
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することは、前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得することと、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定することと、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定することと、を含む、
請求項２に記載のニューラルネットワークのトレーニング方法。
【請求項4】
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することは、前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得することと、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定することと、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定することと、を含む、
請求項２に記載のニューラルネットワークのトレーニング方法。
【請求項5】
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することは、前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得することを含む、
請求項２に記載のニューラルネットワークのトレーニング方法。
【請求項6】
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することは、前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定することと、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定することと、を含む、
請求項１－５のいずれか一項に記載のニューラルネットワークのトレーニング方法。
【請求項7】
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることは、前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することと、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整することと、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得することと、を含む、
請求項１－６のいずれか一項に記載のニューラルネットワークのトレーニング方法。
【請求項8】
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することは、第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得することと、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得することと、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得することと、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定することと、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定することと、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整することと、を含む、
請求項７に記載のニューラルネットワークのトレーニング方法。
【請求項9】
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることは、以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得することと、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得することと、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することと、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整することと、を含む、
請求項１－８のいずれか一項に記載のニューラルネットワークのトレーニング方法。
【請求項10】
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することは、少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得することと、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得することと、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定することと、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定することと、を含む、
請求項９に記載のニューラルネットワークのトレーニング方法。
【請求項11】
画像生成方法であって、第３ランダムベクトルを取得することと、
前記第３ランダムベクトルを請求項１－１０のいずれか一項に記載のニューラルネットワークのトレーニング方法によってトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得することと、を含む、前記画像生成方法。
【請求項12】
ニューラルネットワークトレーニング装置であって、第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得するように構成される、生成モジュールと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得するように構成される判別モジュールであって、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表す、判別モジュールと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定するように構成される第１決定モジュールであって、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布である、第１決定モジュールと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定するように構成される、第２決定モジュールと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングするように構成される、トレーニングモジュールと、を備える、ニューラルネットワークトレーニング装置。
【請求項13】
画像生成装置であって、第３ランダムベクトルを取得するように構成される、取得モジュールと、
前記第３ランダムベクトルを請求項１２に記載のニューラルネットワークトレーニング装置によってトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得するように構成される、取得モジュールと、を備える、画像生成装置。
【請求項14】
電子機器であって、プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、請求項１－１１のいずれか一項に記載のニューラルネットワークのトレーニング方法を実行するように構成される、電子機器。
【請求項15】
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行される時に、プロセッサに、請求項１－１１のいずれか１項に記載のニューラルネットワークのトレーニング方法を実現させる、コンピュータ可読記憶媒体。
【請求項16】
コンピュータ可読コードを含む、コンピュータプログラムであって、前記コンピュータ可読コードが、電子機器で実行されるとき、前記電子機器内のプロセッサに、請求項１－１１の任意の請求項に記載のニューラルネットワークのトレーニング方法を実行させる、コンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【0036】
上記した一般的な説明及び後述する詳細な説明は、単なる例示及び説明に過ぎず、本開示を限定するものではないことを理解されたい。
例えば、本願は以下の項目を提供する。
（項目１）
ニューラルネットワークのトレーニング方法であって、
第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得することと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得することであって、前記第１判別分布は、前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は、前記第１本物画像の真実度の確率分布を表すことと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することであって、前記第１ターゲット分布は、生成画像のターゲット確率分布であり、前記第２ターゲット分布は、本物画像のターゲット確率分布であることと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることと、を含む、ニューラルネットワークのトレーニング方法。
（項目２）
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することは、
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することと、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することと、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することと、を含む、
項目１に記載のニューラルネットワークのトレーニング方法。
（項目３）
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することは、
前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得することと、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定することと、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定することと、を含む、
項目２に記載のニューラルネットワークのトレーニング方法。
（項目４）
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することは、
前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得することと、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定することと、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定することと、を含む、
項目２に記載のニューラルネットワークのトレーニング方法。
（項目５）
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することは、
前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得することを含む、
項目２に記載のニューラルネットワークのトレーニング方法。
（項目６）
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することは、
前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定することと、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定することと、を含む、
項目１－５のいずれか一項に記載のニューラルネットワークのトレーニング方法。
（項目７）
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることは、
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することと、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整することと、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得することと、を含む、
項目１－６のいずれか一項に記載のニューラルネットワークのトレーニング方法。
（項目８）
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することは、
第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得することと、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得することと、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得することと、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定することと、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定することと、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整することと、を含む、
項目７に記載のニューラルネットワークのトレーニング方法。
（項目９）
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることは、
以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得することと、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得することと、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することと、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整することと、を含む、
項目１－８のいずれか一項に記載のニューラルネットワークのトレーニング方法。
（項目１０）
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することは、
少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得することと、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得することと、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定することと、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定することと、を含む、
項目９に記載のニューラルネットワークのトレーニング方法。
（項目１１）
画像生成方法であって、
第３ランダムベクトルを取得することと、
前記第３ランダムベクトルを項目１－１０のいずれか一項に記載のニューラルネットワークのトレーニング方法によってトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得することと、を含む、前記画像生成方法。
（項目１２）
ニューラルネットワークトレーニング装置であって、
第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得するように構成される、生成モジュールと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得するように構成される判別モジュールであって、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表す、判別モジュールと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定するように構成される第１決定モジュールであって、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布である、第１決定モジュールと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定するように構成される、第２決定モジュールと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングするように構成される、トレーニングモジュールと、を備える、ニューラルネットワークトレーニング装置。
（項目１３）
前記第１決定モジュールは、さらに、
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定し、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定し、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定するように構成される、
項目１２に記載のニューラルネットワークトレーニング装置。
（項目１４）
前記第１決定モジュールは、さらに、
前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得し、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定し、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定するように構成される、
項目１３に記載のニューラルネットワークトレーニング装置。
（項目１５）
前記第１決定モジュールは、さらに、
前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得し、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定し、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定するように構成される、
項目１３に記載のニューラルネットワークトレーニング装置。
（項目１６）
前記第１決定モジュールは、さらに、
前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得するように構成される、
項目１３に記載のニューラルネットワークトレーニング装置。
（項目１７）
前記第２決定モジュールは、さらに、
前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定し、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定するように構成される、
項目１２－１６のいずれか一項に記載のニューラルネットワークトレーニング装置。
（項目１８）
前記トレーニングモジュールは、さらに、
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整し、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整し、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得するように構成される、
項目１２－１７のいずれか一項に記載のニューラルネットワークトレーニング装置。
（項目１９）
前記トレーニングモジュールは、さらに、
第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得し、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得し、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得し、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定し、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定し、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整するように構成される、
項目１８に記載のニューラルネットワークトレーニング装置。
（項目２０）
前記トレーニングモジュールは、さらに、
以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得し、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得し、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定し、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整するように構成される、
項目１１－１９のいずれか一項に記載のニューラルネットワークトレーニング装置。
（項目２１）
前記トレーニングモジュールは、さらに、
少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得し、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得し、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定し、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定するように構成される、
項目２０に記載のニューラルネットワークトレーニング装置。
（項目２２）
画像生成装置であって、
第３ランダムベクトルを取得するように構成される、取得モジュールと、
前記第３ランダムベクトルを項目１２－２１のいずれか一項に記載のニューラルネットワークトレーニング装置によってトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得するように構成される、取得モジュールと、を備える、画像生成装置。
（項目２３）
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、項目１－１１のいずれか一項に記載のニューラルネットワークのトレーニング方法を実行するように構成される、電子機器。
（項目２４）
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行される時に、プロセッサに、項目１－１１のいずれか１項に記載のニューラルネットワークのトレーニング方法を実現させる、コンピュータ可読記憶媒体。
（項目２５）
コンピュータ可読コードを含む、コンピュータプログラムであって、
前記コンピュータ可読コードが、電子機器で実行されるとき、前記電子機器内のプロセッサに、項目１－１１の任意の項目に記載のニューラルネットワークのトレーニング方法を実行させる、コンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
ニューラルネットワークのトレーニング方法であって、
第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得することと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得することであって、前記第１判別分布は、前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は、前記第１本物画像の真実度の確率分布を表すことと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することであって、前記第１ターゲット分布は、生成画像のターゲット確率分布であり、前記第２ターゲット分布は、本物画像のターゲット確率分布であることと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることと、を含む、ニューラルネットワークのトレーニング方法。
（項目２）
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定することは、
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することと、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することと、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することと、を含む、
項目１に記載のニューラルネットワークのトレーニング方法。
（項目３）
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定することは、
前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得することと、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定することと、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定することと、を含む、
項目２に記載のニューラルネットワークのトレーニング方法。
（項目４）
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定することは、
前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得することと、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定することと、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定することと、を含む、
項目２に記載のニューラルネットワークのトレーニング方法。
（項目５）
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定することは、
前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得することを含む、
項目２に記載のニューラルネットワークのトレーニング方法。
（項目６）
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定することは、
前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定することと、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定することと、を含む、
項目１－５のいずれか一項に記載のニューラルネットワークのトレーニング方法。
（項目７）
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることは、
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することと、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整することと、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得することと、を含む、
項目１－６のいずれか一項に記載のニューラルネットワークのトレーニング方法。
（項目８）
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整することは、
第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得することと、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得することと、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得することと、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定することと、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定することと、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整することと、を含む、
項目７に記載のニューラルネットワークのトレーニング方法。
（項目９）
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングすることは、
以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得することと、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得することと、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することと、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整することと、を含む、
項目１－８のいずれか一項に記載のニューラルネットワークのトレーニング方法。
（項目１０）
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定することは、
少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得することと、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得することと、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定することと、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定することと、を含む、
項目９に記載のニューラルネットワークのトレーニング方法。
（項目１１）
画像生成方法であって、
第３ランダムベクトルを取得することと、
前記第３ランダムベクトルを項目１－１０のいずれか一項に記載のニューラルネットワークのトレーニング方法によってトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得することと、を含む、前記画像生成方法。
（項目１２）
ニューラルネットワークトレーニング装置であって、
第１ランダムベクトルを生成ネットワークに入力して、第１生成画像を取得するように構成される、生成モジュールと、
前記第１生成画像及び第１本物画像をそれぞれ判別ネットワークに入力して、前記第１生成画像の第１判別分布及び第１本物画像の第２判別分布をそれぞれ取得するように構成される判別モジュールであって、前記第１判別分布は前記第１生成画像の真実度の確率分布を表し、前記第２判別分布は前記第１本物画像の真実度の確率分布を表す、判別モジュールと、
前記第１判別分布、前記第２判別分布、プリセットの第１ターゲット分布及びプリセットの第２ターゲット分布に基づいて、前記判別ネットワークの第１ネットワーク損失を決定するように構成される第１決定モジュールであって、前記第１ターゲット分布は生成画像のターゲット確率分布であり、前記第２ターゲット分布は本物画像のターゲット確率分布である、第１決定モジュールと、
前記第１判別分布及び前記第２判別分布に基づいて、前記生成ネットワークの第２ネットワーク損失を決定するように構成される、第２決定モジュールと、
前記第１ネットワーク損失及び前記第２ネットワーク損失に基づいて、前記生成ネットワーク及び前記判別ネットワークを敵対的にトレーニングするように構成される、トレーニングモジュールと、を備える、ニューラルネットワークトレーニング装置。
（項目１３）
前記第１決定モジュールは、さらに、
前記第１判別分布及び前記第１ターゲット分布に基づいて、前記第１生成画像の第１分布損失を決定し、
前記第２判別分布及び前記第２ターゲット分布に基づいて、前記第１本物画像の第２分布損失を決定し、
前記第１分布損失及び前記第２分布損失に基づいて、前記第１ネットワーク損失を決定するように構成される、
項目１２に記載のニューラルネットワークトレーニング装置。
（項目１４）
前記第１決定モジュールは、さらに、
前記第１判別分布を前記第１ターゲット分布のサポートセットにマッピングして、第１マッピング分布を取得し、
前記第１マッピング分布と前記第１ターゲット分布との第１相対エントロピーを決定し、
前記第１相対エントロピーに基づいて、前記第１分布損失を決定するように構成される、
項目１３に記載のニューラルネットワークトレーニング装置。
（項目１５）
前記第１決定モジュールは、さらに、
前記第２判別分布を前記第２ターゲット分布のサポートセットにマッピングして、第２マッピング分布を取得し、
前記第２マッピング分布と前記第２ターゲット分布との第２相対エントロピーを決定し、
前記第２相対エントロピーに基づいて、前記第２分布損失を決定するように構成される、
項目１３に記載のニューラルネットワークトレーニング装置。
（項目１６）
前記第１決定モジュールは、さらに、
前記第１分布損失及び前記第２分布損失に対して重み付加算を行い、前記第１ネットワーク損失を取得するように構成される、
項目１３に記載のニューラルネットワークトレーニング装置。
（項目１７）
前記第２決定モジュールは、さらに、
前記第１判別分布と前記第２判別分布との第３相対エントロピーを決定し、
前記第３相対エントロピーに基づいて、前記第２ネットワーク損失を決定するように構成される、
項目１２－１６のいずれか一項に記載のニューラルネットワークトレーニング装置。
（項目１８）
前記トレーニングモジュールは、さらに、
前記第１ネットワーク損失に基づいて、前記判別ネットワークのネットワークパラメータを調整し、
前記第２ネットワーク損失に基づいて、前記生成ネットワークのネットワークパラメータを調整し、
前記判別ネットワーク及び前記生成ネットワークがトレーニング条件を満たした場合、トレーニング後の前記生成ネットワーク及び前記判別ネットワークを取得するように構成される、
項目１２－１７のいずれか一項に記載のニューラルネットワークトレーニング装置。
（項目１９）
前記トレーニングモジュールは、さらに、
第２ランダムベクトルを生成ネットワークに入力して、第２生成画像を取得し、
前記第２生成画像に基づいて第２本物画像に対して補間処理を実行して、補間画像を取得し、
前記補間画像を前記判別ネットワークに入力して、前記補間画像の第３判別分布を取得し、
前記第３判別分布に基づいて、前記判別ネットワークのネットワークパラメータの勾配を決定し、
前記勾配が勾配閾値以上である場合、前記第３判別分布に基づいて勾配ペナルティパラメータを決定し、
前記第１ネットワーク損失及び前記勾配ペナルティパラメータに基づいて、前記判別ネットワークのネットワークパラメータを調整するように構成される、
項目１８に記載のニューラルネットワークトレーニング装置。
（項目２０）
前記トレーニングモジュールは、さらに、
以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルを現在のトレーニング周期における生成ネットワークに入力して、少なくとも１つの第３生成画像を取得し、
前記以前の少なくとも１つのトレーニング周期で生成ネットワークに入力した第１ランダムベクトルに対応する第１生成画像、少なくとも１つの前記第３生成画像及び少なくとも１つの本物画像をそれぞれ現在のトレーニング周期における判別ネットワークに入力して、少なくとも１つの第１生成画像の第４判別分布、少なくとも１つの第３生成画像の第５判別分布及び少なくとも１つの本物画像の第６判別分布をそれぞれ取得し、
前記第４判別分布、前記第５判別分布及び前記第６判別分布に基づいて現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータを決定し、
前記トレーニング進行度合いパラメータがトレーニング進行度合い閾値以下である場合、前記判別ネットワークのネットワークパラメータの調整を停止し、前記生成ネットワークのネットワークパラメータのみを調整するように構成される、
項目１１－１９のいずれか一項に記載のニューラルネットワークトレーニング装置。
（項目２１）
前記トレーニングモジュールは、さらに、
少なくとも１つの前記第４判別分布の第１期待値、少なくとも１つの前記第５判別分布の第２期待値及び少なくとも１つの前記第６判別分布の第３期待値をそれぞれ取得し、
前記少なくとも１つの前記第１期待値の第１平均値、少なくとも１つの前記第２期待値の第２平均値及び少なくとも１つの前記第３期待値の第３平均値をそれぞれ取得し、
前記第３平均値と前記第２平均値との第１差分値及び前記第２平均値と前記第１平均値との第２差分値を決定し、
前記第１差分値と前記第２差分値との比の値を前記現在のトレーニング周期における生成ネットワークのトレーニング進行度合いパラメータとして決定するように構成される、
項目２０に記載のニューラルネットワークトレーニング装置。
（項目２２）
画像生成装置であって、
第３ランダムベクトルを取得するように構成される、取得モジュールと、
前記第３ランダムベクトルを項目１２－２１のいずれか一項に記載のニューラルネットワークトレーニング装置によってトレーニングして得られた生成ネットワークに入力して処理し、ターゲット画像を取得するように構成される、取得モジュールと、を備える、画像生成装置。
（項目２３）
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、項目１－１１のいずれか一項に記載のニューラルネットワークのトレーニング方法を実行するように構成される、電子機器。
（項目２４）
コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行される時に、プロセッサに、項目１－１１のいずれか１項に記載のニューラルネットワークのトレーニング方法を実現させる、コンピュータ可読記憶媒体。
（項目２５）
コンピュータ可読コードを含む、コンピュータプログラムであって、
前記コンピュータ可読コードが、電子機器で実行されるとき、前記電子機器内のプロセッサに、項目１－１１の任意の項目に記載のニューラルネットワークのトレーニング方法を実行させる、コンピュータプログラム。
【国際調査報告】