特表2022-512340画像生成及びニューラルネットワーク訓練方法、装置、機器並びに媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-03
(54)【発明の名称】画像生成及びニューラルネットワーク訓練方法、装置、機器並びに媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20220127BHJP
G06T 5/50 20060101ALI20220127BHJP
G06N 3/04 20060101ALI20220127BHJP
【ＦＩ】
G06T7/00 350C
G06T5/50
G06N3/04 154
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021532473
(86)(22)【出願日】2020-02-26
(85)【翻訳文提出日】2021-06-08
(86)【国際出願番号】 CN2020076835
(87)【国際公開番号】W WO2020258902
(87)【国際公開日】2020-12-30
(31)【優先権主張番号】201910551145.3
(32)【優先日】2019-06-24
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＲＡＭ
(71)【出願人】
【識別番号】520018428
【氏名又は名称】センスタイム グループ リミテッド
(74)【代理人】
【識別番号】110001427
【氏名又は名称】特許業務法人前田特許事務所
(72)【発明者】
【氏名】ホアン ミンヤン
(72)【発明者】
【氏名】ジャン チャンシュー
(72)【発明者】
【氏名】リウ チュンシアオ
(72)【発明者】
【氏名】シー ジエンピン
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE08
5B057DA16
5B057DB02
5B057DB09
5B057DC36
5B057DC40
5L096AA06
5L096DA01
5L096EA39
5L096FA32
5L096FA33
5L096GA30
5L096HA11
5L096KA04
(57)【要約】
画像生成方法及びニューラルネットワーク訓練方法、装置、電子機器、コンピュータ記憶媒体であって、該画像生成方法は、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得ること（１０１）と、スタイル画像のスタイル特徴を抽出すること（１０２）と、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて、スタイル特徴をフィードフォワード入力し、各第２ネットワークユニットブロックによって、それぞれ入力された特徴を処理した後に、第２ニューラルネットワークから出力される生成画像を得ること（１０３）であって、複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する、こと（１０３）と、を含む。
【特許請求の範囲】
【請求項1】
画像生成方法であって、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得ることと、
スタイル画像のスタイル特徴を抽出することと、
前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得ることであって、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する、ことと、を含む、画像生成方法。
【請求項2】
前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力することは、１からＴまで順にｉが取られることに応答して、第ｉ層の第１ネットワークユニットブロックから出力されたコンテンツ特徴を第Ｔ－ｉ＋１層の第２ネットワークユニットブロックにフィードフォワード入力することであって、ｉは、正整数であり、Ｔは、前記第１ニューラルネットワークの第１ネットワークユニットブロック及び前記第２ニューラルネットワークの第２ネットワークユニットブロックの層数を表す、ことを含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記複数の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックによって、入力された特徴を処理することは、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算し、前記第１層の第２ネットワークユニットブロックの中間特徴を得ることと、
前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記第１層の第２ネットワークユニットブロックの中間特徴を加算し、前記第１層の第２ネットワークユニットブロックの出力特徴を得ることと、
前記第１層の第２ネットワークユニットブロックの出力特徴を第２層の第２ネットワークユニットブロックに入力することと、を含むことを特徴とする
請求項１又は２に記載の方法。
【請求項4】
前記方法は、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算する前に、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴に対して畳み込み演算を行うことを更に含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記複数の第２ネットワークユニットブロックのうちの中間層の第２ネットワークユニットブロックによって、入力された特徴を処理することは、入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記中間層の第２ネットワークユニットブロックの中間特徴を得ることと、
前記入力されたコンテンツ特徴と前記中間層の第２ネットワークユニットブロックの中間特徴を加算し、前記中間層の第２ネットワークユニットブロックの出力特徴を得ることと、
前記中間層の第２ネットワークユニットブロックの出力特徴を次の層の第２ネットワークユニットブロックに入力することと、を含むことを特徴とする
請求項１－４のいずれか一項に記載の方法。
【請求項6】
前記方法は、前記入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、前記受け取ったコンテンツ特徴に対して畳み込み演算を行うことを更に含むことを特徴とする請求項５に記載の方法。
【請求項7】
前記複数の第２ネットワークユニットブロックのうちの最終層の第２ネットワークユニットブロックによって、入力された特徴を処理することは、第１層の第１ネットワークユニットブロックからのコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記最終層の第２ネットワークユニットブロックの中間特徴を得ることと、
第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と前記最終層の第２ネットワークユニットブロックの中間特徴を加算し、前記生成画像を得ることと、を含むことを特徴とする
請求項１－６のいずれか一項に記載の方法。
【請求項8】
前記方法は、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴に対して畳み込み演算を行うことを更に含むことを特徴とする請求項７に記載の方法。
【請求項9】
前記スタイル画像のスタイル特徴を抽出することは、前記スタイル画像で分布される特徴を抽出することと、
前記スタイル画像で分布される特徴に対してサンプリングを行い、前記スタイル特徴を得ることであって、前記スタイル特徴は、前記スタイル画像で分布される特徴の平均値及び標準偏差を含む、ことと、を含むことを特徴とする
請求項１－８のいずれか一項に記載の方法。
【請求項10】
前記第１ネットワークユニットブロックによりコンテンツ画像のコンテンツ特徴を抽出することは、前記第１ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、コンテンツ画像のコンテンツ特徴を抽出することを含み、及び／又は、
前記第２ネットワークユニットブロックにより、入力された特徴を処理することは、前記第２ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、前記第２ネットワークユニットブロックに入力された特徴を処理することを含むことを特徴とする
請求項１－９のいずれか一項に記載の方法。
【請求項11】
ニューラルネットワーク訓練方法であって、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得ることと、
スタイル画像のスタイル特徴を抽出することと、
前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得ることであって、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する、ことと、
前記生成画像に対して識別を行い、識別結果を得ることと、
前記コンテンツ画像、前記スタイル画像、前記生成画像及び識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することと、を含む、ニューラルネットワーク訓練方法。
【請求項12】
前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力することは、１からＴまで順にｉが取られることに応答して、第ｉ層の第１ネットワークユニットブロックから出力されたコンテンツ特徴を第Ｔ－ｉ＋１層の第２ネットワークユニットブロックにフィードフォワード入力することであって、ｉは、正整数であり、Ｔは、前記第１ニューラルネットワークの第１ネットワークユニットブロック及び前記第２ニューラルネットワークの第２ネットワークユニットブロックの層数を表す、ことを含むことを特徴とする
請求項１１に記載の方法。
【請求項13】
前記複数の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックによって、入力された特徴を処理することは、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算し、前記第１層の第２ネットワークユニットブロックの中間特徴を得ることと、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記第１層の第２ネットワークユニットブロックの中間特徴を加算し、前記第１層の第２ネットワークユニットブロックの出力特徴を得ることと、前記第１層の第２ネットワークユニットブロックの出力特徴を第２層の第２ネットワークユニットブロックに入力することと、を含むことを特徴とする
請求項１１又は１２に記載の方法。
【請求項14】
前記方法は、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算する前に、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴に対して畳み込み演算を行うことを更に含むことを特徴とする
請求項１３に記載の方法。
【請求項15】
前記複数の第２ネットワークユニットブロックのうちの中間層の第２ネットワークユニットブロックによって、入力された特徴を処理することは、入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記中間層の第２ネットワークユニットブロックの中間特徴を得ることと、
前記入力されたコンテンツ特徴と前記中間層の第２ネットワークユニットブロックの中間特徴を加算し、前記中間層の第２ネットワークユニットブロックの出力特徴を得ることと、
前記中間層の第２ネットワークユニットブロックの出力特徴を次の層の第２ネットワークユニットブロックに入力することと、を含むことを特徴とする
請求項１１－１４のいずれか一項に記載の方法。
【請求項16】
前記方法は、前記入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、前記受け取ったコンテンツ特徴に対して畳み込み演算を行うことを更に含むことを特徴とする請求項１５に記載の方法。
【請求項17】
前記複数の第２ネットワークユニットブロックのうちの最終層の第２ネットワークユニットブロックによって、入力された特徴を処理することは、第１層の第１ネットワークユニットブロックからのコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記最終層の第２ネットワークユニットブロックの中間特徴を得ることと、
第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と前記最終層の第２ネットワークユニットブロックの中間特徴を加算し、前記生成画像を得ることと、を含むことを特徴とする
請求項１１－１６のいずれか一項に記載の方法。
【請求項18】
前記方法は、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴に対して畳み込み演算を行うことを更に含むことを特徴とする請求項１７に記載の方法。
【請求項19】
前記第２ニューラルネットワークのネットワークパラメータを調整することは、前記乗算パラメータ及び／又は加算パラメータを調整することを含むことを特徴とする請求項１３－１８のいずれか一項に記載の方法。
【請求項20】
前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することは、前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、敵対的生成ネットワーク損失を決定することと、
前記敵対的生成ネットワーク損失が第１所定条件を満たしないことに応答して、前記敵対的生成ネットワーク損失に基づいて、第１ニューラルネットワーク及び／又は第２ニューラルネットワークのネットワークパラメータを調整することであって、前記敵対的生成ネットワーク損失は、前記生成画像と前記コンテンツ画像とのコンテンツ特徴差異、及び前記生成画像と前記スタイル画像とのスタイル特徴差異を表すためのものである、ことと、を含むことを特徴とする
請求項１１－１９のいずれか一項に記載の方法。
【請求項21】
前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することは、前記生成画像及び前記スタイル画像に基づいて、スタイル損失を決定することと、
前記スタイル損失が第２所定条件を満たしないことに応答して、前記スタイル損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することであって、前記スタイル損失は、前記生成画像のスタイル特徴と前記スタイル画像のスタイル特徴との差異を表すためのものである、ことと、を更に含むことを特徴とする
請求項２０に記載の方法。
【請求項22】
前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することは、前記生成画像及び前記コンテンツ画像に基づいて、コンテンツ損失を決定することと、
前記コンテンツ損失が第３所定条件を満たしないことに応答して、前記コンテンツ損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することであって、前記コンテンツ損失は、前記生成画像のコンテンツ特徴と前記コンテンツ画像のコンテンツ特徴との差異を表すためのものである、こととを更に含むことを特徴とする
請求項２０又は２１に記載の方法。
【請求項23】
前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することは、前記複数の第２ネットワークユニットブロックのうちの各中間層の第２ネットワークユニットブロックの出力特徴、及びスタイル画像に基づいて、特徴マッチング損失を決定することと、
前記特徴マッチング損失が第４所定条件を満たしないことに応答して、前記特徴マッチング損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することであって、前記特徴マッチング損失は、前記各中間層の第２ネットワークユニットブロックの出力特徴と前記スタイル画像のスタイル特徴との差異を表すためのものである、ことと、を更に含むことを特徴とする
請求項２０－２２のいずれか一項に記載の方法。
【請求項24】
前記スタイル画像のスタイル特徴を抽出することは、前記スタイル画像で分布される特徴を抽出することと、前記スタイル画像で分布される特徴に対してサンプリングを行い、前記スタイル特徴を得ることであって、前記スタイル特徴は、前記スタイル画像で分布される特徴の平均値及び標準偏差を含む、ことと、を含むことを特徴とする
請求項１１－２３のいずれか一項に記載の方法。
【請求項25】
前記第１ネットワークユニットブロックによりコンテンツ画像のコンテンツ特徴を抽出することは、前記第１ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、コンテンツ画像のコンテンツ特徴を抽出することを含み、及び／又は、
前記第２ネットワークユニットブロックにより、入力された特徴を処理することは、前記第２ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、前記第２ネットワークユニットブロックに入力された特徴を処理することを含むことを特徴とする
請求項１１－２４のいずれか一項に記載の方法。
【請求項26】
画像生成装置であって、前記装置は、第１抽出モジュールと、第２抽出モジュールと、第１処理モジュールと、を備え、第１抽出モジュールは、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得るように構成され、
第２抽出モジュールは、スタイル画像のスタイル特徴を抽出するように構成され、
第１処理モジュールは、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得るように構成され、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する、画像生成装置。
【請求項27】
前記第１処理モジュールは、１からＴまで順にｉが取られることに応答して、第ｉ層の第１ネットワークユニットブロックから出力されたコンテンツ特徴を第Ｔ－ｉ＋１層の第２ネットワークユニットブロックにフィードフォワード入力するように構成され、ｉは、正整数であり、Ｔは、前記第１ニューラルネットワークの第１ネットワークユニットブロック及び前記第２ニューラルネットワークの第２ネットワークユニットブロックの層数を表すことを特徴とする請求項２６に記載の装置。
【請求項28】
前記複数の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックは、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算し、前記第１層の第２ネットワークユニットブロックの中間特徴を得て、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記第１層の第２ネットワークユニットブロックの中間特徴を加算し、前記第１層の第２ネットワークユニットブロックの出力特徴を得て、前記第１層の第２ネットワークユニットブロックの出力特徴を第２層の第２ネットワークユニットブロックに入力するように構成されることを特徴とする請求項２６又は２７に記載の装置。
【請求項29】
前記第１層の第２ネットワークユニットブロックは更に、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算する前に、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴に対して畳み込み演算を行うように構成されることを特徴とする請求項２８に記載の装置。
【請求項30】
前記複数の第２ネットワークユニットブロックのうちの中間層の第２ネットワークユニットブロックは、入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記中間層の第２ネットワークユニットブロックの中間特徴を得て、前記入力されたコンテンツ特徴と前記中間層の第２ネットワークユニットブロックの中間特徴を加算し、前記中間層の第２ネットワークユニットブロックの出力特徴を得て、前記中間層の第２ネットワークユニットブロックの出力特徴を次の層の第２ネットワークユニットブロックに入力するように構成されることを特徴とする請求項２６－２９のいずれか一項に記載の装置。
【請求項31】
前記中間層の第２ネットワークユニットブロックは更に、前記入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、前記受け取ったコンテンツ特徴に対して畳み込み演算を行うように構成されることを特徴とする請求項３０に記載の装置。
【請求項32】
前記複数の第２ネットワークユニットブロックのうちの最終層の第２ネットワークユニットブロックは、第１層の第１ネットワークユニットブロックからのコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記最終層の第２ネットワークユニットブロックの中間特徴を得て、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と前記最終層の第２ネットワークユニットブロックの中間特徴を加算し、前記生成画像を得るように構成されることを特徴とする請求項２６－３１のいずれか一項に記載の装置。
【請求項33】
前記最終層の第２ネットワークユニットブロックは、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴に対して畳み込み演算を行うように構成されることを特徴とする請求項３２に記載の装置。
【請求項34】
前記第２抽出モジュールは、前記スタイル画像で分布される特徴を抽出し、前記スタイル画像で分布される特徴に対してサンプリングを行い、前記スタイル特徴を得るように構成され、前記スタイル特徴は、前記スタイル画像で分布される特徴の平均値及び標準偏差を含むことを特徴とする請求項２６－３３のいずれか一項に記載の装置。
【請求項35】
前記第１ネットワークユニットブロックは、前記第１ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、コンテンツ画像のコンテンツ特徴を抽出するように構成され、及び／又は、前記第２ネットワークユニットブロックは、前記第２ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、前記第２ネットワークユニットブロックに入力された特徴を処理するように構成されることを特徴とする
請求項２６－３４のいずれか一項に記載の装置。
【請求項36】
ニューラルネットワーク訓練装置であって、前記装置は、第３抽出モジュールと、第４抽出モジュールと、第２処理モジュールと、調整モジュールと、を備え、第３抽出モジュールは、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得るように構成され、
第４抽出モジュールは、スタイル画像のスタイル特徴を抽出するように構成され、
第２処理モジュールは、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得て、前記生成画像に対して識別を行い、識別結果を得るように構成され、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応し、
調整モジュールは、前記コンテンツ画像、前記スタイル画像、前記生成画像及び識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成される、ニューラルネットワーク訓練装置。
【請求項37】
前記第２処理モジュールは、１からＴまで順にｉが取られることに応答して、第ｉ層の第１ネットワークユニットブロックから出力されたコンテンツ特徴を第Ｔ－ｉ＋１層の第２ネットワークユニットブロックにフィードフォワード入力するように構成され、ｉは、正整数であり、Ｔは、前記第１ニューラルネットワークの第１ネットワークユニットブロック及び前記第２ニューラルネットワークの第２ネットワークユニットブロックの層数を表すことを特徴とする請求項３６に記載の装置。
【請求項38】
前記複数の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックは、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算し、前記第１層の第２ネットワークユニットブロックの中間特徴を得て、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記第１層の第２ネットワークユニットブロックの中間特徴を加算し、前記第１層の第２ネットワークユニットブロックの出力特徴を得て、前記第１層の第２ネットワークユニットブロックの出力特徴を第２層の第２ネットワークユニットブロックに入力するように構成されることを特徴とする請求項３６又は３７に記載の装置。
【請求項39】
前記第１層の第２ネットワークユニットブロックは更に、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算する前に、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴に対して畳み込み演算を行うように構成される。ことを特徴とする請求項３８に記載の装置。
【請求項40】
前記複数の第２ネットワークユニットブロックのうちの中間層の第２ネットワークユニットブロックは、入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記中間層の第２ネットワークユニットブロックの中間特徴を得て、前記入力されたコンテンツ特徴と前記中間層の第２ネットワークユニットブロックの中間特徴を加算し、前記中間層の第２ネットワークユニットブロックの出力特徴を得て、前記中間層の第２ネットワークユニットブロックの出力特徴を次の層の第２ネットワークユニットブロックに入力するように構成されることを特徴とする請求項３６－３９のいずれか一項に記載の装置。
【請求項41】
前記中間層の第２ネットワークユニットブロックは更に、前記入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、前記受け取ったコンテンツ特徴に対して畳み込み演算を行うように構成されることを特徴とする請求項４０に記載の装置。
【請求項42】
前記複数の第２ネットワークユニットブロックのうちの最終層の第２ネットワークユニットブロックは、第１層の第１ネットワークユニットブロックからのコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記最終層の第２ネットワークユニットブロックの中間特徴を得て、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と前記最終層の第２ネットワークユニットブロックの中間特徴を加算し、前記生成画像を得るように構成されることを特徴とする請求項３６－４１のいずれか一項に記載の装置。
【請求項43】
前記最終層の第２ネットワークユニットブロックは更に、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴に対して畳み込み演算を行うように構成されることを特徴とする請求項４２に記載の装置。
【請求項44】
前記調整モジュールは、前記乗算パラメータ及び／又は加算パラメータを調整するように構成されることを特徴とする請求項３８－４３のいずれか一項に記載の装置。
【請求項45】
前記調整モジュールは、前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、敵対的生成ネットワーク損失を決定し、前記敵対的生成ネットワーク損失が第１所定条件を満たしないことに応答して、前記敵対的生成ネットワーク損失に基づいて、第１ニューラルネットワーク及び／又は第２ニューラルネットワークのネットワークパラメータを調整するように構成され、前記敵対的生成ネットワーク損失は、前記生成画像と前記コンテンツ画像とのコンテンツ特徴差異、及び前記生成画像と前記スタイル画像とのスタイル特徴差異を表すためのものであることを特徴とする請求項３６－４４のいずれか一項に記載の装置。
【請求項46】
前記調整モジュールは更に、前記生成画像及び前記スタイル画像に基づいて、スタイル損失を決定し、前記スタイル損失が第２所定条件を満たしないことに応答して、前記スタイル損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成され、前記スタイル損失は、前記生成画像のスタイル特徴と前記スタイル画像のスタイル特徴との差異を表すためのものであることを特徴とする請求項４５に記載の装置。
【請求項47】
前記調整モジュールは更に、前記生成画像及び前記コンテンツ画像に基づいて、コンテンツ損失を決定し、前記コンテンツ損失が第３所定条件を満たしないことに応答して、前記コンテンツ損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成され、前記コンテンツ損失は、前記生成画像のコンテンツ特徴と前記コンテンツ画像のコンテンツ特徴との差異を表すためのものであることを特徴とする請求項４５又は４６に記載の装置。
【請求項48】
前記調整モジュールは更に、前記複数の第２ネットワークユニットブロックのうちの各中間層の第２ネットワークユニットブロックの出力特徴、及びスタイル画像に基づいて、特徴マッチング損失を決定し、前記特徴マッチング損失が第４所定条件を満たしないことに応答して、前記特徴マッチング損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成され、前記特徴マッチング損失は、前記各中間層の第２ネットワークユニットブロックの出力特徴と前記スタイル画像のスタイル特徴との差異を表すためのものであることを特徴とする
請求項４５－４７のいずれか一項に記載の装置。
【請求項49】
前記第４抽出モジュールは、前記スタイル画像で分布される特徴を抽出し、前記スタイル画像で分布される特徴に対してサンプリングを行い、前記スタイル特徴を得るように構成され、前記スタイル特徴は、前記スタイル画像で分布される特徴の平均値及び標準偏差を含むことを特徴とする請求項３６－４８のいずれか一項に記載の装置。
【請求項50】
前記第１ネットワークユニットブロックは、前記第１ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、コンテンツ画像のコンテンツ特徴を抽出するように構成され、及び／又は、前記第２ネットワークユニットブロックは、前記第２ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、前記第２ネットワークユニットブロックに入力された特徴を処理するように構成されることを特徴とする
請求項３６－４９のいずれか一項に記載の装置。
【請求項51】
電子機器であって、プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を備え、前記プロセッサは、前記コンピュータプログラムを実行する時、請求項１－１０のいずれか一項に記載の画像生成方法又は請求項１１－２５のいずれか一項に記載のニューラルネットワーク訓練方法を実行するように構成される、電子機器。
【請求項52】
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される時、請求項１－１０のいずれか一項に記載の画像生成方法又は請求項１１－２５のいずれか一項に記載のニューラルネットワーク訓練方法を実現する、コンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１９年６月２４日に提出された、出願番号が２０１９１０５５１１４５．３である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０１９年６月２４日に提出された、出願番号が２０１９１０５５１１４５．３である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願は、画像処理分野に関し、特に画像生成方法及びニューラルネットワーク訓練方法、装置、電子機器並びにコンピュータ記憶媒体に関する。
【背景技術】
【0003】
画像生成方法は、実画像から別の画像を生成することであってもよく、そして人間の視覚により、生成画像がよりリアルかどうかを主観的に判定することであってもよい。ニューラルネットワークの適用に伴い、関連技術において、ニューラルネットワークに基づいた画像生成方法が現れ、一般的には、データペアに基づいてニューラルネットワークを訓練し、更に、訓練されたニューラルネットワークにより、コンテンツ画像に対してスタイル変換を行う。ここで、データペアは、訓練の用の、同じコンテンツ特徴を有するコンテンツ画像及びスタイル画像を表し、しかも、スタイル画像のスタイル特徴は、コンテンツ画像のスタイル特徴と異なる。しかしながら、実際に、上記データペアが少ないため、この方法が簡便で実現できない。
【発明の概要】
【0004】
本願の実施例は、画像生成技術的解決手段を提供することが望ましい。
【0005】
第１態様によれば、本願の実施例は、画像生成方法を提供する。前記方法は、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得ることと、スタイル画像のスタイル特徴を抽出することと、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得ることであって、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する、ことと、を含む。
【0006】
第２態様によれば、本願の実施例は、ニューラルネットワーク訓練方法を更に提供する。前記方法は、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得ることと、スタイル画像のスタイル特徴を抽出することと、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得ることであって、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する、ことと、前記生成画像に対して識別を行い、識別結果を得ることと、前記コンテンツ画像、前記スタイル画像、前記生成画像及び識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することと、を含む。
【0007】
第３態様によれば、本願の実施例は、画像生成装置を更に提供する。前記装置は、第１抽出モジュールと、第２抽出モジュールと、第１処理モジュールと、を備え、第１抽出モジュールは、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得るように構成され、第２抽出モジュールは、スタイル画像のスタイル特徴を抽出するように構成され、第１処理モジュールは、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得るように構成され、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する。
【0008】
第４態様によれば、本願の実施例は、ニューラルネットワーク訓練装置を更に提供する。前記装置は、第３抽出モジュールと、第４抽出モジュールと、第２処理モジュールと、調整モジュールと、を備え、第３抽出モジュールは、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得るように構成され、第４抽出モジュールは、スタイル画像のスタイル特徴を抽出するように構成され、第２処理モジュールは、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得て、前記生成画像に対して識別を行い、識別結果を得るように構成され、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応し、調整モジュールは、前記コンテンツ画像、前記スタイル画像、前記生成画像及び識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成される。
【0009】
第５態様によれば、本願の実施例は、電子機器を更に提供する。前記電子機器は、プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を備え、前記プロセッサは、前記コンピュータプログラムを実行する時、上記いずれか１つの画像生成方法又は上記いずれか１つのニューラルネットワーク訓練方法を実行するように構成される。
【0010】
第６態様によれば、本願の実施例は、コンピュータ記憶媒体を更に提供する。前記コンピュータ記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される時、上記いずれか１つの画像生成方法又は上記いずれか１つのニューラルネットワーク訓練方法を実現させる。
【0011】
本願の実施例が提供する画像生成方法及びニューラルネットワーク訓練方法、装置、電子機器、コンピュータ記憶媒体において、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得て、スタイル画像のスタイル特徴を抽出し、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得て、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する。本願の実施例において、コンテンツ画像及びスタイル画像はいずれも実際の需要に応じて決定されてもよい。コンテンツ画像とスタイル画像は、ペアである画像でなくてもよく、従って、実現しやすい。また、画像生成過程において、第１ニューラルネットワークの各層の第１ネットワークユニットブロックを利用してコンテンツ画像のコンテンツ特徴を複数回抽出することができ、それによって、コンテンツ画像のより多くのセマンティック情報を保留し、そのため、生成画像は、コンテンツ画像に比べて、多くのセマンティック情報が残される。従って、生成画像は、よりリアルである。
【0012】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【0013】
【図1】本願の実施例による画像生成方法を示すフローチャートである。
【図2】本願の実施例による事前訓練されたニューラルネットワークの構造を示す概略図である。
【図3】本願の実施例によるコンテンツエンコーダの１つの例示的な構造を示す概略図である。
【図4】本願の実施例によるＣＲＢの１つの例示的な構造を示す概略図である。
【図5】本願の実施例によるジェネレータの１つの例示的な構造を示す概略図である。
【図6】本願の実施例による複数組の例示的なコンテンツ画像、スタイル画像及び生成画像を示す図である。
【図7】本願の実施例によるニューラルネットワーク訓練方法を示すフローチャートである。
【図8】本願の適用実施例による画像生成方法のフレームワークの構造を示す概略図である。
【図9a】本願の適用実施例によるコンテンツエンコーダの残差ブロックの構造を示す概略図である。
【図9b】本願の適用実施例によるジェネレータの残差ブロックの構造を示す概略図である。
【図9c】本願の適用実施例によるＦＡＤＥモジュールの構造を示す概略図である。
【図10】本願の実施例による画像生成装置の構造を示す概略図である。
【図11】本願の実施例による電子機器の構造を示す概略図である。
【図12】本願の実施例によるニューラルネットワーク訓練装置の構造を示す概略図である。
【0014】
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
【発明を実施するための形態】
【0015】
以下、図面及び実施例を参照しながら、本願の実施例を更に詳しく説明する。ここで提供される実施例は、本願の実施例を解釈するためのものに過ぎず、本願の実施例を限定するものではないことを理解すべきである。また、以下に提供される実施例は、本願の一部の実施例を実行するためのものであり、本願の全ての実施例を実行するためのものではない。矛盾しない限り、本願の実施例に記載の技術的解決手段を任意の組み合わせで実行することができる。
【0016】
本願の実施例において、用語「含む」、「備える」、またはそれらの他のいずれかの変形は、非排他的包含を包括するように意図される。従って、一連の要素を含む方法又は装置は、明確に記載された要素を含むだけでなく、明確に列挙されていない他の要素も含み、又は、このような方法又は装置に固有の要素も含む。更なる限定が存在しない場合、「・・・を含む」ような記載によって規定される要素は、該要素を有する方法又は装置内に、別の関連要素（例えば、方法におけるステップ又は装置におけるユニットであり、ユニットは、例えば、一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェアなどであってもよい）が更に存在することを排除しない。
【0017】
例えば、本願の実施例で提供される画像生成方法及びニューラルネットワーク訓練方法は、一連のステップを含むが、本願の実施例で提供される画像生成方法及びニューラルネットワーク訓練方法は、記載したステップに限定されない。同様に、本願の実施例で提供される画像生成装置及びニューラルネットワーク訓練装置は、一連のモジュールを備えるが、本願の実施例で提供される装置は、明確に記載されたモジュールを備えるものに限定されず、関連情報の取得、又は情報に基づいた処理に必要なモジュールを更に備えてもよい。
【0018】
本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在することという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
【0019】
本願の実施例は、端末及びサーバからなるコンピュータシステムに適用され、多くの他の汎用又は専用コンピュータシステム環境又は構成と協働することができる。ここで、端末は、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル消費者向け電子製品、ネットワークパソコン、車載機器、小型コンピュータシステムなどであってもよい。サーバは、サーバコンピュータシステム、小型コンピュータシステム、大型コンピュータシステム及び上記如何なるシステムを含む分散型クラウドコンピューティング技術などであってもよい。
【0020】
端末、サーバなどの電子機器は、コンピュータシステムにより実行されるコンピュータシステムによる実行可能な命令（例えば、プログラムモジュール）の一般的な内容で説明できる。一般的には、プログラムモジュールは、ルーチン、プログラム、ターゲットプログラム、ユニット、ロジック、データ構造などを含んでもよい。それらは、特定のタスクを実行するか又は特定の抽象的データタイプを実現させる。コンピュータシステム／サーバは、分散型クラウドコンピューティング環境で実行される。分散型クラウドコンピューティング環境において、タスクは、通信ネットワークを通じてリンクされたリモート処理デバイスによって実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは、記憶装置を含むローカル又はリモートコンピューティングシステム記憶媒体に位置してもよい。
【0021】
上述によれば、本願の幾つかの実施例において、画像生成方法を提供する。本願の実施例を適用できるシーンは、自動運転、画像生成、画像合成、コンピュータビジョン、深層学習、機械学習などを含むが、これらに限定されない。
【0022】
【0023】
ステップ１０１において、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得る。
【0024】
ここで、コンテンツ画像は、スタイル変換をしようとする画像であってもよく、例示的に、ローカルストレージ領域又はネットワークから、コンテンツ画像を取得することができる。例えば、コンテンツ画像は、移動端末又はカメラなどにより撮られた画像であってもよい。コンテンツ画像のフォーマットは、共同静止画専門家グループ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ ＧＲＯＵＰ：ＪＰＥＧ）、ビットマップ（Ｂｉｔｍａｐ：ＢＭＰ）、ポータブルネットワークグラフィックス（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ：ＰＮＧ）又は他のフォーマットであってもよい。ここで、コンテンツ画像のフォーマット及びソースを例により説明するだけであり、本願の実施例は、コンテンツ画像のフォーマット及びソースを限定するものではない。
【0025】
一枚の画像として、コンテンツ特徴及びスタイル特徴を抽出することができる。ここで、コンテンツ特徴は、画像のコンテンツ情報を表すためのものである。例えば、コンテンツ特徴は、画像における物体位置、物体形状、物体サイズなどを表す。スタイル特徴は、コンテンツ画像のスタイル情報を表すためのものである。例えば、スタイル特徴は、天気、昼、夜、会話スタイルなどのスタイル情報を表すためのものである。
【0026】
本願の実施例において、スタイル変換は、コンテンツ画像のスタイル特徴を別のスタイル特徴に変換することを指している。例示的に、コンテンツ画像のスタイル特徴の変換は、昼から夜への変換、夜から昼への変換、異なる天気スタイル間の変換、異なる絵画スタイル間の変換、実画像からコンピュータグラフィック（Ｃｏｍｐｕｔｅｒ－Ｇｒａｐｈｉｃ ｉｍａｇｅｓ：ＣＧ）画像への変換、ＣＧ画像から実画像への変換のうちのいずれか１つであってもよい。異なる天気スタイル間の変換は、晴天から雨天への変換、雨天から晴天への変換、晴天から曇天への変換、曇天から晴天への変換、曇天から雨天への変換、雨天から曇天への変換、晴天から雪降りへの変換、雪降りから晴天への変換、曇天から雪降りへの変換、雪降りから曇天への変換、雪降りから雨天への変換又は雨天から雪降りへの変換などであってもよい。異なる絵画スタイル間の変換は、油絵から水墨画への変換、水墨画から油絵への変換、油絵から素描画への変換、素描画から油絵への変換、素描画から水墨画への変換又は水墨画から素描画への変換などであってもよい。
【0027】
ここで、第１ニューラルネットワークは、コンテンツ画像のコンテンツ特徴を抽出するためのネットワークであり、本願の実施例は、第１ニューラルネットワークの種類を限定しない。第１ニューラルネットワークは、順次接続される複数層の第１ネットワークユニットブロックを含み、第１ニューラルネットワークの複数層の第１ネットワークユニットブロックにおいて、コンテンツ画像のコンテンツ特徴を複数層の第１ネットワークユニットブロックの第１層の第１ネットワークユニットブロックからはじめてフィードフォワード入力することができる。ここで、フィードフォワード入力に対応するデータ処理方向は、ニューラルネットワークの入力端から出力端へのデータ処理方向を表し、順伝播又は逆伝播に対応する。フィードフォワード入力プロセスについて、ニューラルネットワークにおける一層前のネットワークユニットブロックの出力結果は、次の層のネットワークユニットブロックの入力結果とする。
【0028】
第１ニューラルネットワークにおいて、第１ニューラルネットワークの各層の第１ネットワークユニットブロックは、入力されたデータに対してコンテンツ特徴を抽出することができ、つまり、第１ニューラルネットワークの各層の第１ネットワークユニットブロックの出力結果は、該層の第１ネットワークユニットブロックに対応するコンテンツ特徴である。第１ニューラルネットワークにおける異なる第１ネットワークユニットブロックから出力されたコンテンツ特徴は異なる。
【0029】
選択的に、コンテンツ画像のコンテンツ特徴の表現方式は、コンテンツ特徴マップ又は他の表現方式であってもよく、本願の実施例は、これを限定しない。
【0030】
第１ニューラルネットワークの各層の第１ネットワークユニットブロックにより、コンテンツ特徴を逐次抽出することで、コンテンツ画像の低い階層から上位階層までのセマンティック情報を得ることができる。選択的に、第１ニューラルネットワークにおける各層の第１ネットワークユニットブロックは、残差構造で構成された複数のニューラルネットワーク層である。これにより、各層の第１ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、コンテンツ画像のコンテンツ特徴を抽出することができる。
【0031】
ステップ１０２において、スタイル画像のスタイル特徴を抽出する。
【0032】
ここで、スタイル画像は、ターゲットスタイル特徴を有する画像である。ターゲットスタイル特徴は、コンテンツ画像が移行する先のスタイル特徴を表す。スタイル画像は、実際の需要に応じて設定されてもよい。本願の実施例において、コンテンツ画像を取得した後、変換のターゲットスタイル特徴を決定し、更に、必要に応じてスタイル画像を選択することができる。
【0033】
実際の適用において、ローカルストレージ領域又はネットワークからスタイル画像を取得することができる。例えば、スタイル画像は、移動端末又はカメラなどにより撮られた画像であってもよい。スタイル画像のフォーマットは、ＪＰＥＧ、ＢＭＰ、ＰＮＧ又は他のフォーマットであってもよい。ここで、スタイル画像のフォーマット及びソースを例により説明するだけであり、本願の実施例は、スタイル画像のフォーマット及びソースを限定するものではない。
【0034】
本願の実施例において、コンテンツ画像のスタイル特徴は、スタイル画像のスタイル画像と異なる。コンテンツ画像に対してスタイル変換を行う目的は、スタイル変換を行った後に得られた生成画像に、コンテンツ画像のコンテンツ特徴及びスタイル画像のスタイル特徴を持たせることであってもよい。
【0035】
例えば、昼スタイルのコンテンツ画像を夜スタイルの生成画像に変換し、又は、晴天スタイルのコンテンツ画像を雨天スタイルの生成画像に変換し、又は、水墨画スタイルのコンテンツ画像を油絵スタイルの生成画像に変換し、又は、ＣＧスタイルの画像を実画像スタイルの生成画像に変換することができる。
【0036】
本ステップの実現方式について、例示的に、前記スタイル画像のスタイル特徴を抽出することは、スタイル画像で分布される特徴を抽出することと、スタイル画像で分布される特徴に対してサンプリングを行い、スタイル特徴を得ることであって、スタイル特徴は、スタイル画像で分布される特徴の平均値及び標準偏差を含む、ことと、を含む。ここで、スタイル画像で分布される特徴に対してサンプリングを行うことで、スタイル画像のスタイル特徴を正確に抽出することができ、コンテンツ画像に対してスタイル変換を正確に行うことに寄与する。実際の適用において、スタイル画像に対して少なくとも１層の畳み込み演算を行い、スタイル画像で分布される特徴を得ることができる。
【0037】
ステップ１０３において、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて、スタイル特徴をフィードフォワード入力し、各第２ネットワークユニットブロックによって、それぞれ入力された特徴を処理した後に、第２ニューラルネットワークから出力される生成画像を得て、複数層の第１ネットワークユニットブロックは、複数層の第２ネットワークユニットブロックに対応する。
【0038】
ここで、第２ニューラルネットワークに、順次接続される複数層の第１ネットワークユニットブロックが含まれる。第２ニューラルネットワークにおける一層前のネットワークユニットブロックの出力結果は、その次の層のネットワークユニットブロックの入力である。選択的に、第２ニューラルネットワークにおける各層の第２ネットワークユニットブロックは、残差構造で構成された複数のニューラルネットワーク層である。これにより、各層の第２ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、入力された特徴を処理することができる。
【0039】
実際の適用において、ステップ１０１からステップ１０３は、電子機器におけるプロセッサにより実現可能である。上記プロセッサは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理機器（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、ＦＰＧＡ、中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。
【0040】
上記から分かるように、本願の実施例において、コンテンツ画像及びスタイル画像はいずれも、実際の需要に応じて決定されてもよい。コンテンツ画像とスタイル画像は、ペアである画像でなくてもよく、従って、実現しやすい。また、画像生成過程において、第１ニューラルネットワークの各層の第１ネットワークユニットブロックを利用してコンテンツ画像のコンテンツ特徴を複数回抽出することができ、それによって、コンテンツ画像のより多くのセマンティック情報を保留し、そのため、生成画像は、コンテンツ画像に比べて、多くのセマンティック情報が残される。従って、生成画像は、よりリアルである。
【0041】
また、本願の実施例におけるニューラルネットワーク構造に基づいて画像を生成する過程において、スタイル画像のスタイルは、実際の需要に応じて決定されてもよい。スタイル画像のスタイル特徴とニューラルネットワーク訓練時に用いられるスタイル画像のスタイル特徴との関係を限定しない。つまり、ニューラルネットワーク訓練時に用いられた画像が夜スタイルの訓練画像であるが、訓練されたニューラルネットワークに基づいて画像生成を行う時に、コンテンツ画像及び雪降りスタイル、雨天スタイル又は他のスタイルのスタイル画像を選択することができる。これにより、夜スタイルの画像のみを生成できるわけではなく、実際に必要なスタイルの画像を生成することができ、画像生成方法の汎化性及び適応性を向上させる。
【0042】
更に、ユーザの需要に応じて、異なるスタイル特徴を有する複数種のスタイル画像を設定することができ、更に、１つのコンテンツ画像に対して、異なるスタイル特徴を有する生成画像を得ることができる。例えば、訓練されたニューラルネットワークに基づいて、画像生成を行う時に、同一のコンテンツ画像に対して、訓練されたニューラルネットワークに夜スタイル画像、曇天スタイル画像及び雨天スタイル画像をそれぞれ入力し、該コンテンツ画像のスタイルをそれぞれ、夜スタイル、曇天スタイル及び雨天スタイルに変換することができる。つまり、同一のコンテンツ画像に基づいて、１つのスタイルの画像しか生成できないわけではなく、複数のスタイルの生成画像を得ることができ、画像生成方法の適用性を向上させる。
【0043】
本願の実施例において、第１ニューラルネットワークの第１ネットワークユニットブロックの層数は、第２ニューラルネットワークの第２ネットワークユニットブロックの層数と同じであり得る。第１ニューラルネットワークの各層の第１ネットワークユニットブロックは、第２ニューラルネットワークの各層の第２ネットワークユニットブロックに一対一に対応する。
【0044】
１つの実現形態として、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力することは、１からＴまで順にｉが取られることに応答して、第ｉ層の第１ネットワークユニットブロックから出力されたコンテンツ特徴を第Ｔ－ｉ＋１層の第２ネットワークユニットブロックにフィードフォワード入力することであって、ｉは、正整数であり、Ｔは、前記第１ニューラルネットワークの第１ネットワークユニットブロック及び前記第２ニューラルネットワークの第２ネットワークユニットブロックの層数を表す、ことを含む。つまり、第１層の第１ネットワークユニットブロックから出力されたコンテンツ特徴は、最終層の第２ネットワークユニットブロックに入力され、最終層の第１ネットワークユニットブロックから出力されたコンテンツ特徴は、第１層の第２ネットワークユニットブロックに入力される。
【0045】
本願の実施例において、第２ニューラルネットワークにおける各層の第２ニューラルネットワークが受信したコンテンツ特徴は、第１ニューラルネットワークにおける各層の第１ネットワークユニットブロックの出力特徴である。第２ニューラルネットワークにおける各層の第２ネットワークユニットブロックが受信したコンテンツ特徴は、第２ニューラルネットワークにおける位置によって異なる。上記から分かるように、第２ニューラルネットワークは、スタイル特徴を入力としており、第２ニューラルネットワークにおける下位層の第２ネットワークユニットブロックから上位層の第２ネットワークユニットブロックまでのスタイル特徴の入れ込みにより、より多くのコンテンツ特徴がフュージョンされ、スタイル特徴に基づいて、コンテンツ画像の各層のセマンティック情報が次第にフュージョンされるようになり、これにより、得られた生成画像は、コンテンツ画像の多層セマンティック情報及びスタイル特徴情報を残すことができる。
【0046】
１つの実現形態において、前記複数の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックによって、入力された特徴を処理することは、最終層の第１ネットワークユニットブロックからのコンテンツ特徴とスタイル特徴を乗算し、前記第１層の第２ネットワークユニットブロックの中間特徴を得ることと、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と第１層の第２ネットワークユニットブロックの中間特徴を加算し、第１層の第２ネットワークユニットブロックの出力特徴を得ることと、第１層の第２ネットワークユニットブロックの出力特徴を第２層の第２ネットワークユニットブロックに入力することと、を含む。上記から分かるように、上記乗算及び加算を行うことで、スタイル特徴と最終層の第１ネットワークユニットブロックのコンテンツ特徴とのフュージョンを実現しやすい。
【0047】
選択的に、最終層の第１ネットワークユニットブロックからのコンテンツ特徴とスタイル特徴を乗算する前に、最終層の第１ネットワークユニットブロックからのコンテンツ特徴に対して畳み込み演算を行うことができる。つまり、まず、最終層の第１ネットワークユニットブロックからのコンテンツ特徴に対して畳み込み演算を行ってから、畳み込み演算結果とスタイル特徴を乗算することができる。
【0048】
１つの実現形態として、各第２ネットワークユニットブロックのうちの中間層の第２ネットワークユニットブロックにより、入力された特徴を処理することは、入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、中間層の第２ネットワークユニットブロックの中間特徴を得ることと、入力されたコンテンツ特徴と中間層の第２ネットワークユニットブロックの中間特徴を加算し、中間層の第２ネットワークユニットブロックの出力特徴を得ることと、中間層の第２ネットワークユニットブロックの出力特徴を次の層の第２ネットワークユニットブロックに入力することと、を含む。上記から分かるように、上記乗算及び加算を行うことで、一層前の第２ネットワークユニットブロックの出力特徴と対応するコンテンツ特徴のフュージョンを実現しやすい。
【0049】
中間層の第２ネットワークユニットブロックは、第２ニューラルネットワークにおける、第１層の第２ネットワークユニットブロック及び最終層の第２ネットワークユニットブロック以外の他の第２ネットワークユニットブロックであり、第２ニューラルネットワークにおいて、１つの中間とする第ネットワークユニットブロックを有してもよく、複数の第２ネットワークユニットブロックを有してもよく、上述において、ただ１つの中間層の第２ネットワークユニットブロックを例として、中間層の第２ネットワークユニットブロックのデータ処理プロセスを説明している。
【0050】
選択的に、中間層の第２ネットワークユニットブロックは、前記入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、前記受け取ったコンテンツ特徴に対して畳み込み演算を行う。
【0051】
１つの実現形態として、各第２ネットワークユニットブロックのうちの最終層の第２ネットワークユニットブロックにより、入力された特徴を処理することは、第１層の第１ネットワークユニットブロックからのコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、最終層の第２ネットワークユニットブロックの中間特徴を得ることと、第１層の第１ネットワークユニットブロックからのコンテンツ特徴と最終層の第２ネットワークユニットブロックの中間特徴を加算し、生成画像を得ることと、を含む。
【0052】
上記から分かるように、上記乗算及び加算を行うことで、上記層の第２ネットワークユニットブロックの出力特徴と第１層のネットワークユニットブロックのコンテンツ特徴のフュージョンを実現しやすく、更に、各層の第２ネットワークユニットブロックのデータ処理により、生成画像にスタイル特徴及び各層の第１ネットワークユニットブロックのコンテンツ特徴をフュージョンすることができる。
【0053】
選択的に、最終層の第２ネットワークユニットブロックは、第１層の第１ネットワークユニットブロックからのコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴に対して畳み込み演算を行う。
【0054】
実際の適用において、画像生成に用いられるニューラルネットワークを事前訓練することができる。以下、図面を参照しながら、事前訓練されたニューラルネットワークを例示的に説明する。図２は、本願の実施例による事前訓練されたニューラルネットワークの構造を示す概略図である。図２に示すように、事前訓練されたニューラルネットワークは、コンテンツエンコーダ、スタイルエンコーダ及びジェネレータを含む。ここで、コンテンツエンコーダは、上記第１ニューラルネットワークを利用してコンテンツ画像のコンテンツ特徴を抽出するように構成され、スタイルエンコーダは、スタイル画像のスタイル特徴を抽出するように構成され、ジェネレータは、上記第２ニューラルネットワークを利用して、スタイル特徴と各層の第１ネットワークユニットブロックから出力されたコンテンツ特徴のフュージョンを実現させるように構成される。
【0055】
実際に実行する時、第１ニューラルネットワークをコンテンツエンコーダとし、第２ニューラルネットワークをジェネレータとし、スタイル画像に対してスタイル特徴抽出を行うためのニューラルネットワークをスタイルエンコーダとする。図２に示すように、処理しようとする画像（即ち、コンテンツ画像）をコンテンツエンコーダに入力することができる。コンテンツエンコーダにおいて、第１ニューラルネットワークの複数層の第１ネットワークユニットブロックを利用して処理を行い、各層の第１ネットワークユニットブロックからコンテンツ特徴を出力することができる。また、スタイル画像をスタイルエンコーダに入力し、スタイルエンコーダにより、スタイル画像のスタイル特徴を抽出することもできる。例示的に、第１ネットワークユニットブロックは、残差ブロック（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ：ＲＢ）であり、各層の第１ネットワークユニットブロックから出力されたコンテンツ特徴は、コンテンツ特徴マップである。
【0056】
図３は、本願の実施例によるコンテンツエンコーダの１つの例示的な構造を示す概略図である。図３に示すように、コンテンツエンコーダの残差ブロックは、ＣＲＢと表記されてもよい。コンテンツエンコーダは、７層のＣＲＢを含む。図３のＣＲＢ（Ａ，Ｂ）において、Ａは、入力チャネル数を表し、Ｂは、出力チャネル数を表す。図３において、ＣＲＢ（３，６４）の入力は、コンテンツ画像であり、第１層のＣＲＢから第７層のＣＲＢはそれぞれ、下から上へ配列されたＣＲＢ（３，６４）、ＣＲＢ（６４，１２８）、ＣＲＢ（１２８，２５６）、ＣＲＢ（２５６，５１２）、ＣＲＢ（５１２，１０２４）、ＣＲＢ（１０２４，１０２４）、ＣＲＢ（１０２４，１０２４）及びＣＲＢ（１０２４，１０２４）である。第１層のＣＲＢから第７層のＣＲＢはそれぞれ７個のコンテンツ特徴マップを出力することができる。
【0057】
図４は、本願の実施例によるＣＲＢの１つの例示的な構造を示す概略図である。図４において、ｓｙｎｃ ＢＮは、同期ＢＮ層を表し、正規化線形ユニット（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：ＲｅＬｕ）は、ＲｅＬｕ層を表し、Ｃｏｎｖは、畳み込み層を表し、「
」は、加算操作を表す。図４に示すＣＲＢの構造は、標準的な残差ブロックの構造である。
【0058】
図３及び図４を参照すると、本願の実施例は、標準的な残差ネットワーク構造を用いてコンテンツ特徴を抽出することができ、コンテンツ画像のコンテンツ特徴の抽出を実現しやすく、セマンティック情報の紛失を減少させる。ジェネレータにおいて、第２ニューラルネットワークの複数層の第２ネットワークユニットブロックを用いて処理を行うことができる。例示的に、第２ネットワークユニットブロックは、ＲＢである。
【0059】
図５は、本願の実施例によるジェネレータの１つの例示的な構造を示す概略図である。図５に示すように、ジェネレータにおける残差ブロックは、ＧＢと表記されてもよい。ジェネレータは、７層のＧＢを含んでもよく、各層のＧＢの入力は、コンテンツエンコーダの１層のＣＲＢの出力である。ジェネレータにおいて、第１層のＧＢから第７層のＧＢはそれぞれ上から下へ配列されたＧＢ ＲｅｓＢｌｋ（１０２４）、ＧＢ ＲｅｓＢｌｋ（１０２４）、ＧＢ ＲｅｓＢｌｋ（１０２４）、ＧＢ ＲｅｓＢｌｋ（５１２）、ＧＢ ＲｅｓＢｌｋ（２５６）、ＧＢ ＲｅｓＢｌｋ（１２８）及びＧＢ ＲｅｓＢｌｋ（６４）である。図５のＧＢ ＲｅｓＢｌｋ（Ｃ）において、Ｃは、チャネル数を表す。第１層のＧＢは、スタイル特徴を受信するように構成され、第１層のＧＢから第７層のＧＢは、第７層のＣＲＢから第１層のＣＲＢから出力されたコンテンツ特徴マップを対応的に受信するように構成される。各層のＧＢにより、入力された特徴を処理した後、第７層のＧＢを利用して生成画像を出力することができる。
【0060】
上記から分かるように、コンテンツエンコーダの複数層の残差ブロックに基づいて、コンテンツ画像の構造情報を符号化し、複数の異なるレベルのコンテンツ特徴マップを生成することができる。コンピュータエンコーダは、深層において、より抽象的な特徴を抽出し、表層で大量の構造情報を保留することができる。
【0061】
本願の実施例の画像生成方法は、種々の画像生成シーンに適用可能である。例えば、画像娯楽化データ生成、自動運転モデル訓練試験データ生成などのシーンに適用可能である。
【0062】
以下、図面を参照しながら、本願の実施例の画像生成方法の効果を説明する。図６は、本願の実施例による複数組の例示的なコンテンツ画像、スタイル画像及び生成画像を示す。図６に示すように、第１列は、コンテンツ画像を示し、第２列は、スタイル画像を示し、第３列は、本願の実施例の画像生成方法に基づいて得られた生成画像である。同一行の画像は、一組のコンテンツ画像、スタイル画像及び生成画像を表す。第１行から最終行のスタイル変換はそれぞれ、昼から夜へのスタイル変換、夜から昼へのスタイル変換、晴天から雨天へのスタイル変換、雨天から晴天へのスタイル変換、晴天から曇天へのスタイル変換、曇天から晴天へのスタイル変換、晴天から雪降りへのスタイル変換、雪降りから晴天へのスタイル変換である。図６から分かるように、本願の実施例の画像生成方法で得られた生成画像は、コンテンツ画像のコンテンツ情報及びスタイル画像のスタイル情報を保留することができる。
【0063】
本願の実施例のニューラルネットワークの訓練プロセスにおいて、入力から出力へのフォワードプロパゲーションプロセスに関わるだけでなく、出力から入力へのバックプロパゲーションプロセスにも関わる。本願のニューラルネットワークの訓練プロセスは、フォワードプロパゲーションプロセスを用いて、画像を生成し、バックプロパゲーションプロセスを用いて、ニューラルネットワークのネットワークパラメータを調整することができる。以下、本願の実施例に関わるニューラルネットワークの訓練方法を説明する。
【0064】
【0065】
ステップ７０１において、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得る。
【0066】
ステップ７０２において、スタイル画像のスタイル特徴を抽出する。
【0067】
ステップ７０３において、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて、スタイル特徴をフィードフォワード入力し、各第２ネットワークユニットブロックによって、それぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得て、複数層の第１ネットワークユニットブロックは、複数層の第２ネットワークユニットブロックに対応する。
【0068】
本実施例のステップ７０１からステップ７０３の実現形態は、ステップ１０１から１０３の実現形態と同じであり、ここで、詳細な説明を省略する。
【0069】
ステップ７０４において、生成画像に対して識別を行い、識別結果を得る。
【0070】
本願の実施例において、ニューラルネットワークの試験方法（即ち、訓練されたニューラルネットワークに基づいて画像生成を行う方法）と異なっており、ニューラルネットワークの訓練プロセスにおいて、ジェネレータから生成された出力画像を更に識別する必要がある。ここで、生成画像を識別する目的は、生成画像が実画像である確率を判定することである。実際の適用において、本ステップは、識別器などにより実現してもよい。
【0071】
ステップ７０５において、コンテンツ画像、スタイル画像、生成画像及び識別結果に基づいて、第１ニューラルネットワーク及び／又は第２ニューラルネットワークのネットワークパラメータを調整する。
【0072】
実際の適用において、コンテンツ画像、スタイル画像、生成画像及び識別結果に基づいて、バックプロパゲーションプロセスにより、第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整し、更に、フォワードプロパゲーションプロセスにより、生成画像及び識別結果を再び得ることができる。これにより、上記フォワードプロパゲーションプロセスとバックプロパゲーションプロセスを複数回交互に行い、ニューラルネットワークのネットワーク反復最適化を行い、所定の訓練完了要件を満たすまで継続することで、訓練された、画像生成用ニューラルネットワークを得ることができる。
【0073】
実際の適用において、ステップ７０１からステップ７０５は、電子機器におけるプロセッサにより実現してもよく、上記プロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。
【0074】
本願の実施例において、コンテンツ画像及びスタイル画像はいずれも実際の需要に応じて決定されてもよい。コンテンツ画像とスタイル画像は、ペアである画像でなくてもよい。従って、実現しやすい。ニューラルネットワーク訓練プロセスの画像生成過程において、第１ニューラルネットワークの各層の第１ネットワークユニットブロックを利用してコンテンツ画像のコンテンツ特徴を複数回抽出することができ、それによって、コンテンツ画像のより多くのセマンティック情報を保留し、そのため、生成画像は、コンテンツ画像に比べて、多くのセマンティック情報が残される。更に、訓練されたニューラルネットワークに、コンテンツ画像のセマンティック情報を良好に保持できる性能を持たせることができる。
【0075】
第２ニューラルネットワークのネットワークパラメータを調整するための実現形態において、例示的に、各層の第２ネットワークユニットブロックに用いられる上記乗算及び／又は加算のパラメータを調整することができる。
【0076】
１つの実現形態として、前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することは、以下を含む。コンテンツ画像、スタイル画像、生成画像及び識別結果に基づいて、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔ：ＧＡＮ）損失を決定し、前記敵対的生成ネットワーク損失は、生成画像と前記コンテンツ画像とのコンテンツ特徴差異、生成画像とスタイル画像とのスタイル特徴差異を表すためのものである。１つの例において、敵対的生成ネットワークは、ジェネレータ及び識別器を含む。敵対的生成ネットワーク損失が第１所定条件を満たしないことに応答して、敵対的生成ネットワーク損失に基づいて、第１ニューラルネットワーク及び／又は第２ニューラルネットワークのネットワークパラメータを調整する。実際の適用において、敵対的生成ネットワーク損失に基づいて、極大極小対策により、第１ニューラルネットワーク及び／又は第２ニューラルネットワークのネットワークパラメータを調整することができる。
【0077】
ここで、第１所定条件は、所定の訓練完了要件を表してもよい。敵対的生成ネットワーク損失の意味から分かるように、敵対的生成ネットワーク損失に基づいてニューラルネットワークを訓練することで、訓練されたニューラルネットワークにより得られた生成画像に、コンテンツ画像のコンテンツ特徴及びスタイル画像のスタイル特徴を保持できる高い性能を持たせることができることは、理解されるべきである。
【0078】
選択的に、前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することは、生成画像及びスタイル画像に基づいて、スタイル損失を決定することと、スタイル損失が第２所定条件を満たしないことに応答して、前記スタイル損失に基づいて、第１ニューラルネットワーク及び／又は第２ニューラルネットワークのネットワークパラメータを調整することであって、スタイル損失は、前記生成画像のスタイル特徴とスタイル画像のスタイル特徴との差異を表すためのものである、ことと、を更に含む。
【0079】
選択的に、前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することは、生成画像及びコンテンツ画像に基づいて、コンテンツ損失を決定することと、コンテンツ損失が第３所定条件を満たしないことに応答して、コンテンツ損失に基づいて、第１ニューラルネットワーク及び／又は第２ニューラルネットワークのネットワークパラメータを調整することであって、コンテンツ損失は、前記生成画像のコンテンツ特徴とコンテンツ画像のコンテンツ特徴との差異を表すためのものである、ことと、を更に含む。
【0080】
選択的に、前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することは、各第２ネットワークユニットブロックのうちの各中間層の第２ネットワークユニットブロックの出力特徴、及びスタイル画像に基づいて、特徴マッチング損失を決定することと、特徴マッチング損失が第４所定条件を満たしないことに応答して、特徴マッチング損失に基づいて、第１ニューラルネットワーク及び／又は第２ニューラルネットワークのネットワークパラメータを調整することであって、特徴マッチング損失は、各中間層の第２ネットワークユニットブロックの出力特徴とスタイル画像のスタイル特徴との差異を表すためのものである、ことと、を更に含む。
【0081】
上記第２所定条件、第３所定条件及び第４所定条件は、所定の訓練完了要件を表すことができる。スタイル損失、コンテンツ損失又は特徴マッチング損失の意味から分かるように、スタイル損失、コンテンツ損失又は特徴マッチング損失に基づいてニューラルネットワークを訓練することで、訓練されたニューラルネットワークにより得られた生成画像に、コンテンツ画像のコンテンツ特徴を保持できる高い性能を持たせることができることは、理解されるべきである。
【0082】
本願の実施例において、上記１つの損失又は複数の損失に基づいてニューラルネットワークを訓練することができる。１つの損失に基づいてニューラルネットワークを訓練する場合、該損失が対応する所定条件を満たす場合、訓練されたニューラルネットワークを得ることができる。複数の損失に基づいてニューラルネットワークを訓練する場合、上記複数の損失がいずれも対応する要件を満たす場合、訓練されたニューラルネットワークを得ることができる。複数の損失に基づいてニューラルネットワークを訓練する場合、ニューラルネットワーク訓練の種々の観点でニューラルネットワークの損失を総合的に考慮することができるため、訓練されたニューラルネットワークのスタイル変換の正確性をより高くすることができる。
【0083】
本願の実施例において、敵対的生成ネットワーク損失、スタイル損失、コンテンツ損失又は特徴マッチング損失は、損失関数で表されてもよい。
【0084】
以下、具体的な適用実施例により、本願の実施例を更に説明する。
【0085】
該適用実施例において、ニューラルネットワーク訓練プロセスは、コンテンツエンコーダ、スタイルエンコーダ、ジェネレータ及び識別器などにより実現してもよい。訓練されたニューラルネットワークにより画像を生成するプロセスは、コンテンツエンコーダ、スタイルエンコーダ及びジェネレータなどにより実現してもよい。
【0086】
図８は、本願の実施例による画像生成方法のフレームワークの構造を示す概略図である。図８に示すように、コンテンツエンコーダの入力は、処理しようとする画像（即ち、コンテンツ画像）であり、コンテンツ画像のコンテンツ特徴を抽出するように構成される。スタイルエンコーダは、スタイル画像のスタイル特徴を抽出するように構成される。ジェネレータは、異なる層の第１ネットワークユニットブロックのコンテンツ特徴とスタイル特徴をフュージョンし、高品質画像を更に生成する。図８に、ニューラルネットワーク訓練プロセスに用いられる識別器が示されていない。
【0087】
具体的には、図８に示すように、コンテンツエンコーダは、複数層の残差ブロックを含み、ＣＲＢ－１、ＣＲＢ－２…ＣＲＢ－Ｔはそれぞれ、コンテンツエンコーダの第１層の残差ブロックから第Ｔ層の残差ブロックを表し、ジェネレータは、複数層の残差ブロックを含み、ＧＢ－１…ＧＢ－Ｔ－１、ＧＢ－Ｔはそれぞれ、ジェネレータの第１層の残差ブロックから第Ｔ層の残差ブロックを表す。ｉが１からＴにあることに応答して、コンテンツエンコーダの第ｉ層の残差ブロックの出力結果をジェネレータの第Ｔ－ｉ＋１層の残差ブロックに入力する。スタイルエンコーダの入力は、スタイル画像であり、スタイル画像のスタイル特徴を抽出するように構成される。スタイル特徴は、ジェネレータの第１層の残差ブロックに入力される。出力画像は、ジェネレータの第Ｔ層の残差ブロックＧＢ－Ｔの出力結果に基づいて得られたものである。
【0088】
本願の適用実施例において、ｆｉをコンテンツエンコーダの第ｉ層の残差ブロックから出力されたコンテンツ特徴マップと定義し、
でジェネレータのｉ番目の残差ブロックから出力された特徴を表す。ここで、コンテンツエンコーダのｉ番目の残差ブロックは、ジェネレータの第Ｔ－ｉ＋１層の残差ブロックに対応し、
とｆｉは、同じチャネル数を有し、Ｎは、バッチサイズを表し、Ｃｉは、チャネル数を表し、Ｈｉ及びＷｉは、それぞれ高さ及び幅を表す。活性化値（ｎ∈［１，Ｎ］，ｃ∈［１，Ｃｉ］，ｈ∈［１，Ｈｉ］，ω∈［１，Ｗｉ］）は、式（１）で表されてもよい。
（１）
【0089】
ここで、
及び
はいずれもジェネレータのｉ番目の残差ブロックに対応し、それぞれ、一層前の残差ブロック（即ち、第２ニューラルネットワークの残差ブロック）から出力された特徴の平均値及び標準偏差を表し、
及び
は、式（２）で算出される。
（２）
【0090】
【0091】
本願の適用実施例において、コンテンツエンコーダを
で表し、スタイルエンコーダを
で表す。スタイル画像の潜在的分布
は、
により符号化される。例えば、
である。
【0092】
それぞれ
及び
を用いてコンテンツ画像領域及びスタイル画像領域を表し、訓練サンプル
は、教師無し学習環境においてエッジ分布
及び
から抽出されたものである。
【0093】
図９ａは、本願の実施例によるコンテンツエンコーダの残差ブロックの構造を示す概略図である。図９ａに示すように、ＢＮは、ＢＮ層を表し、ＲｅＬｕは、ＲｅＬｕ層を表し、Ｃｏｎｖは、畳み込み層を表し、「
」は、加算操作を表し、コンテンツエンコーダの各残差ブロックＣＲＢの構造は、標準残差ブロックの構造であり、コンテンツエンコーダの各残差ブロックは、３つの畳み込み層を含み、その１つは、スキップ接続（ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ）に用いられる。
【0094】
本願の適用実施例において、ジェネレータの残差ブロックの層数は、コンテンツエンコーダの残差ブロックの層数と同じである。図９ｂは、本願の適用実施例によるジェネレータの残差ブロックの構造を示す概略図である。図９ｂに示すように、標準残差ブロックを基に、ＢＮ層の代わりに、ＦＡＤＥモジュールを用いて、ジェネレータの各層の残差ブロックＧＢの構造を得る。図９ｂにおいて、Ｆ１、Ｆ２及びＦ３はそれぞれ、第１ＦＡＤＥモジュール、第２ＦＡＤＥモジュール及び第３ＦＡＤＥモジュールを表す。ジェネレータの各残差ブロックにおいて、各ＦＡＤＥモジュールの入力は、コンテンツエンコーダから出力された対応するコンテンツ特徴マップを含む。図９ｂに示すように、ジェネレータの各残差ブロックにおいて、ジェネレータの各残差ブロックの３つのＦＡＤＥモジュールにおいて、Ｆ１及びＦ２の入力は、第２ニューラルネットワークの一層前の残差ブロックの出力特徴を更に含み、Ｆ３の入力は、Ｆ１、ＲｅＬｕ層及び畳み込み層により順次処理を行うことで得られた特徴を更に含む。
【0095】
図９ｃは、本願の適用実施例によるＦＡＤＥモジュールの構造を示す概略図である。図９ｃに示すように、点線枠は、ＦＡＤＥモジュール内の構造を表し、「
」は、乗算操作を表し、「
」は、加算を表し、Ｃｏｎｖは、畳み込み層を表し、ＢＮは、ＢＮ層を表し、
及び
は、ジェネレータの各残差ブロックの変調パラメータを表す。上記から分かるように、ＦＡＤＥは、コンテンツ特徴を入力とすることで、畳み込まれた特徴から、非正規化パラメータ（ｄｅｎｏｒｍａｌｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒｓ）を導出することができる。
【0096】
本願の適用実施例において、コンテンツエンコーダとジェネレータの接続構造の精細な設計により、訓練されたニューラルネットワークは、スタイル画像による制御下で、コンテンツ画像を適応的に変換することができる。
【0097】
１つの実現形態として、スタイルエンコーダは、変分適応的エンコーダ（Ｖａｒｉａｔｉｏｎａｌ Ａｄａｐｔｉｖｅ Ｅｎｃｏｄｅｒ：ＶＡＥ）に基づいて提出されたものである。スタイルエンコーダの出力は、平均値ベクトル（ｍｅａｎ ｖｅｃｔｏｒ）
及び標準偏差ベクトル（ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ ｖｅｃｔｏｒ）
であり、潜在コード（ｌａｔｅｎｔ ｃｏｄｅ）ｚは、スタイル画像を符号化した後に行われた最サンプリング
からのものである。
【0098】
サンプリング操作は微分不可能であるため、ここで、再パラメータ化トリック（ｒｅｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ ｔｒｉｃｋ）を用いてサンプリングを微分可能な演算に変換することができる。
を分布が均一でかつ大きさがｚと同じであるランダム変数とする。ここで、
～
である。従って、ｚは、
に再パラメータ化される。このような操作により、バックプロパゲーションプロセスを有するスタイルエンコーダを訓練し、ネットワーク全体をエンドツーエンドモデル（ｅｎｄ－ｔｏ－ｅｎｄ ｍｏｄｅｌ）となるように訓練することができる。
【0099】
本願の適用実施例において、ニューラルネットワークの各部分を共同で訓練することができる。ニューラルネットワークの訓練について、極大極小対策により最適化を行う上で、式（３）を参照しながら、第１ニューラルネットワーク全体の損失関数を算出し、第１ニューラルネットワークの訓練を更に実現させることができる。
（３）
【0100】
ここで、Ｇは、ジェネレータを表し、Ｄは、識別器を表し、
は、スタイル損失を表す。例示的に、スタイル損失は、ＫＬダイバージェンス（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）の損失であってもよく、
は、式（４）で算出される。
（４）
【0101】
ここで、
は、ＫＬダイバージェンスを表し、
は、
におけるハイパーパラメータを表す。
【0102】
【0103】
は、敵対的生成ネットワーク損失を表し、ジェネレータ及び識別器の敵対的訓練に用いられ、
は、式（５）で算出される。
（５）
【0104】
ここで、
及び
は、数学的期待値を表し、
は、判別器を表し、
は、ジェネレータを表し、
は、エンコーダを表し、
は、
におけるハイパーパラメータを表す。
【0105】
【0106】
ここで、
は、総Ｍ層から選択された第ｍ層の活性化マップ（ａｃｔｉｖａｔｉｏｎ ｍａｐ）を表し、
は、
の要素数を表し、
及び
は、
における対応するハイパーパラメータを表し、
は、ジェネレータにより得られた出力画像を表し、
であり、
は、１－ノルムを表す。
【0107】
【0108】
ここで、
は、識別器の第ｉ層のｋ番目のスケールを表し（マルチスケール識別器は、ｋ個の異なるスケールを有する）、
は、識別器の第ｉ層における要素の総数を表し、Ｑは層数を表す。
は、上記全ての損失関数においていずれも重みである。ＶＧＧ損失は、異なる層において、異なる重みを有する。
【0109】
本願の適用実施例において、第１ニューラルネットワークは、マルチスケール識別に基づいて訓練される。異なるスケールでの各識別器は、全く同一の構造を有する。最も粗いスケールを有する識別器は、最も大きい受容野を有する。高い受容野により、識別器は、解像度が高い画像を区分することができる。
【0110】
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。
【0111】
前記実施例で提供される画像生成方法を基に、本願の実施例は、画像生成装置を提供する。図１０は、本願の実施例による画像生成装置の構造を示す概略図である。図１０に示すように、前記装置は、第１抽出モジュール１００１と、第２抽出モジュール１００２と、第１処理モジュール１００３と、を備え、
前記第１抽出モジュール１００１は、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得るように構成され、
前記第２抽出モジュール１００２は、スタイル画像のスタイル特徴を抽出するように構成され、
前記第１処理モジュール１００３は、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得るように構成され、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する。
前記第１抽出モジュール１００１は、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得るように構成され、
前記第２抽出モジュール１００２は、スタイル画像のスタイル特徴を抽出するように構成され、
前記第１処理モジュール１００３は、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得るように構成され、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する。
【0112】
選択的に、前記第１処理モジュール１００３は、１からＴまで順にｉが取られることに応答して、第ｉ層の第１ネットワークユニットブロックから出力されたコンテンツ特徴を第Ｔ－ｉ＋１層の第２ネットワークユニットブロックにフィードフォワード入力するように構成され、ｉは、正整数であり、Ｔは、前記第１ニューラルネットワークの第１ネットワークユニットブロック及び前記第２ニューラルネットワークの第２ネットワークユニットブロックの層数を表す。
【0113】
選択的に、前記複数の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックは、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算し、前記第１層の第２ネットワークユニットブロックの中間特徴を得て、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記第１層の第２ネットワークユニットブロックの中間特徴を加算し、前記第１層の第２ネットワークユニットブロックの出力特徴を得て、前記第１層の第２ネットワークユニットブロックの出力特徴を第２層の第２ネットワークユニットブロックに入力するように構成される。
【0114】
選択的に、前記第１層の第２ネットワークユニットブロックは更に、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算する前に、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴に対して畳み込み演算を行うように構成される。
【0115】
選択的に、前記複数の第２ネットワークユニットブロックのうちの中間層の第２ネットワークユニットブロックは、入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記中間層の第２ネットワークユニットブロックの中間特徴を得て、前記入力されたコンテンツ特徴と前記中間層の第２ネットワークユニットブロックの中間特徴を加算し、前記中間層の第２ネットワークユニットブロックの出力特徴を得て、前記中間層の第２ネットワークユニットブロックの出力特徴を次の層の第２ネットワークユニットブロックに入力するように構成される。
【0116】
選択的に、前記中間層の第２ネットワークユニットブロックは更に、前記入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、前記受け取ったコンテンツ特徴に対して畳み込み演算を行うように構成される。
【0117】
選択的に、前記複数の第２ネットワークユニットブロックのうちの最終層の第２ネットワークユニットブロックは、第１層の第１ネットワークユニットブロックからのコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記最終層の第２ネットワークユニットブロックの中間特徴を得て、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と前記最終層の第２ネットワークユニットブロックの中間特徴を加算し、前記生成画像を得るように構成される。
【0118】
選択的に、前記最終層の第２ネットワークユニットブロックは、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴に対して畳み込み演算を行うように構成される。
【0119】
選択的に、前記第２抽出モジュール１００２は、前記スタイル画像で分布される特徴を抽出し、前記スタイル画像で分布される特徴に対してサンプリングを行い、前記スタイル特徴を得るように構成され、前記スタイル特徴は、前記スタイル画像で分布される特徴の平均値及び標準偏差を含む。
【0120】
選択的に、前記第１ネットワークユニットブロックは、前記第１ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、コンテンツ画像のコンテンツ特徴を抽出するように構成され、及び／又は、前記第２ネットワークユニットブロックは、前記第２ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、前記第２ネットワークユニットブロックに入力された特徴を処理するように構成される。
【0121】
実際の適用において、第１抽出モジュール１００１、第２抽出モジュール１００２及び第１処理モジュール１００３はいずれもプロセッサにより実現してもよく、上記プロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。
【0122】
また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアの形態として実現してもよく、ソフトウェア機能ユニットの形態として実現してもよい。
【0123】
上記集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータ可読記憶媒体内に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の全て又は一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク装置など）又プロセッサ（ｐｒｏｃｅｓｓｏｒ）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
【0124】
具体的には、本実施例における画像生成方法又はニューラルネットワーク訓練方法に対応するコンピュータプログラム命令は、光ディスク、ハードディスク、ＵＳＢメモリなどの記憶媒体に記憶されてもよい。記憶媒体における、画像生成方法又はニューラルネットワーク訓練方法に対応するコンピュータプログラム命令が電子機器により読み出されるか又は実行される場合、前記実施例のいずれか１つの画像生成方法又はいずれか１つのニューラルネットワーク訓練方法を実現させる。
【0125】
前記実施例と同様な技術的構想を基に、本願の実施例による電子機器１１を示す図１１に示すように、電子機器１１は、メモリ１１１と、プロセッサ１１２と、を備えてもよく、前記メモリ１１１は、コンピュータプログラムを記憶するように構成され、前記プロセッサ１１２は、前記メモリに記憶されたコンピュータプログラムを実行し、前記実施例のいずれか１つの画像生成方法又はいずれか１つのニューラルネットワーク訓練方法を実現させるように構成される。
【0126】
電子機器１１における各アセンブリは、バスシステムにより結合される。バスシステムは、これらのアセンブリ間の接続通信を実現させるように構成されることが理解されるべきである。バスシステムは、データバスに加えて、電源バス、制御バス及び状態信号バスを更に含む。しかしながら、明確に説明するために、図１１において種々のバスをバスシステムと表記する。
【0127】
実際の適用において、上記メモリ１１１は、ＲＡＭのような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、ＲＯＭ、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスク（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）又はソリッドステートドライブ（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）のような不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、又は上記メモリの組み合わせであってもよい。該メモリは、プロセッサ１１２に命令及びデータを提供する。
【0128】
上記プロセッサ１１２は、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちのすくなくとも１つであってもよい。様々な機器について、上記プロセッサ機能を実現させるための電子機器は他のものであってもよく、本願の実施例は、これを具体的に限定するものではないことは、理解されるべきである。
【0129】
図１２は、本願の実施例によるニューラルネットワーク訓練装置の構造を示す概略図である。図１２に示すように、前記装置は、第３抽出モジュール１２０１と、第４抽出モジュール１２０２と、第２処理モジュール１２０３と、調整モジュール１２０４と、を備え、
前記第３抽出モジュール１２０１は、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得るように構成され、
前記第４抽出モジュール１２０２は、スタイル画像のスタイル特徴を抽出するように構成され、
前記第２処理モジュール１２０３は、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得て、前記生成画像に対して識別を行い、識別結果を得るように構成され、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応し、
前記調整モジュール１２０４は、前記コンテンツ画像、前記スタイル画像、前記生成画像及び識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成される。
前記第３抽出モジュール１２０１は、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得るように構成され、
前記第４抽出モジュール１２０２は、スタイル画像のスタイル特徴を抽出するように構成され、
前記第２処理モジュール１２０３は、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得て、前記生成画像に対して識別を行い、識別結果を得るように構成され、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応し、
前記調整モジュール１２０４は、前記コンテンツ画像、前記スタイル画像、前記生成画像及び識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成される。
【0130】
選択的に、前記第２処理モジュール１２０３は、１からＴまで順にｉが取られることに応答して、第ｉ層の第１ネットワークユニットブロックから出力されたコンテンツ特徴を第Ｔ－ｉ＋１層の第２ネットワークユニットブロックにフィードフォワード入力するように構成され、ｉは、正整数であり、Ｔは、前記第１ニューラルネットワークの第１ネットワークユニットブロック及び前記第２ニューラルネットワークの第２ネットワークユニットブロックの層数を表す。
【0131】
選択的に、前記複数の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックは、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算し、前記第１層の第２ネットワークユニットブロックの中間特徴を得て、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記第１層の第２ネットワークユニットブロックの中間特徴を加算し、前記第１層の第２ネットワークユニットブロックの出力特徴を得て、前記第１層の第２ネットワークユニットブロックの出力特徴を第２層の第２ネットワークユニットブロックに入力するように構成される。
【0132】
選択的に、前記第１層の第２ネットワークユニットブロックは更に、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算する前に、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴に対して畳み込み演算を行うように構成される。
【0133】
選択的に、前記複数の第２ネットワークユニットブロックのうちの中間層の第２ネットワークユニットブロックは、入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記中間層の第２ネットワークユニットブロックの中間特徴を得て、前記入力されたコンテンツ特徴と前記中間層の第２ネットワークユニットブロックの中間特徴を加算し、前記中間層の第２ネットワークユニットブロックの出力特徴を得て、前記中間層の第２ネットワークユニットブロックの出力特徴を次の層の第２ネットワークユニットブロックに入力するように構成される。
【0134】
選択的に、前記中間層の第２ネットワークユニットブロックは更に、前記入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、前記受け取ったコンテンツ特徴に対して畳み込み演算を行うように構成される。
【0135】
選択的に、前記複数の第２ネットワークユニットブロックのうちの最終層の第２ネットワークユニットブロックは、第１層の第１ネットワークユニットブロックからのコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記最終層の第２ネットワークユニットブロックの中間特徴を得て、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と前記最終層の第２ネットワークユニットブロックの中間特徴を加算し、前記生成画像を得るように構成される。
【0136】
選択的に、前記最終層の第２ネットワークユニットブロックは、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴に対して畳み込み演算を行うように構成される。
【0137】
選択的に、前記調整モジュール１２０４は、前記乗算パラメータ及び／又は加算パラメータを調整するように構成される。
【0138】
選択的に、前記調整モジュール１２０４は、前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、敵対的生成ネットワーク損失を決定し、前記敵対的生成ネットワーク損失が第１所定条件を満たしないことに応答して、前記敵対的生成ネットワーク損失に基づいて、第１ニューラルネットワーク及び／又は第２ニューラルネットワークのネットワークパラメータを調整するように構成され、前記敵対的生成ネットワーク損失は、前記生成画像と前記コンテンツ画像とのコンテンツ特徴差異、及び前記生成画像と前記スタイル画像とのスタイル特徴差異を表すためのものである。
【0139】
選択的に、前記調整モジュール１２０４は更に、前記生成画像及び前記スタイル画像に基づいて、スタイル損失を決定し、前記スタイル損失が第２所定条件を満たしないことに応答して、前記スタイル損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成され、前記スタイル損失は、前記生成画像のスタイル特徴と前記スタイル画像のスタイル特徴との差異を表すためのものである。
【0140】
選択的に、前記調整モジュール１２０４は更に、前記生成画像及び前記コンテンツ画像に基づいて、コンテンツ損失を決定し、前記コンテンツ損失が第３所定条件を満たしないことに応答して、前記コンテンツ損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成され、前記コンテンツ損失は、前記生成画像のコンテンツ特徴と前記コンテンツ画像のコンテンツ特徴との差異を表すためのものである。
【0141】
選択的に、前記調整モジュール１２０４は更に、前記複数の第２ネットワークユニットブロックのうちの各中間層の第２ネットワークユニットブロックの出力特徴、及びスタイル画像に基づいて、特徴マッチング損失を決定し、前記特徴マッチング損失が第４所定条件を満たしないことに応答して、前記特徴マッチング損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成され、前記特徴マッチング損失は、前記各中間層の第２ネットワークユニットブロックの出力特徴と前記スタイル画像のスタイル特徴との差異を表すためのものである。
【0142】
選択的に、前記第４抽出モジュール１２０２は、前記スタイル画像で分布される特徴を抽出し、前記スタイル画像で分布される特徴に対してサンプリングを行い、前記スタイル特徴を得るように構成され、前記スタイル特徴は、前記スタイル画像で分布される特徴の平均値及び標準偏差を含む。
【0143】
選択的に、前記第１ネットワークユニットブロックは、前記第１ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、コンテンツ画像のコンテンツ特徴を抽出するように構成され、及び／又は、前記第２ネットワークユニットブロックは、前記第２ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、前記第２ネットワークユニットブロックに入力された特徴を処理するように構成される。
【0144】
実際の適用において、上記第３抽出モジュール１２０１、第４抽出モジュール１２０２、第２処理モジュール１２０３及び調整モジュール１２０４はいずれもプロセッサにより実現してもよく、上記プロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。
【0145】
幾つかの実施例において、本願の実施例で提供される装置の機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実現は、上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
【0146】
例示的な実施例において、本願の実施例は、例えば、コンピュータプログラムを含むメモリ１１１のようなコンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラムは、電子機器１１のプロセッサ１１２により実行されて、前記方法に記載のステップを完了する。コンピュータ可読記憶媒体は、ＦＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、Ｆｌａｓｈ Ｍｅｍｏｒｙ、磁気表面メモリ、光ディスク又はＣＤ－ＲＯＭなどのメモリであってもよく、例えば、携帯電話、コンピュータ、タブレット、パーソナルデジタルアシスタントなどのような、上記メモリの１つ又は任意の組み合わせを含む種々の機器であってもよい。
【0147】
本願の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体にコンピュータプログラムが記憶されており、該コンピュータプログラムは、プロセッサにより実行される時、前記実施例のいずれか１つの画像生成方法又はいずれか１つのニューラルネットワーク訓練方法を実現させる。
【0148】
各実施例に関する上記説明において、各実施例の相違点を強調する傾向があり、その同一あるいは類似の部分は相互参照することができる。簡潔化のために、ここで詳細な説明を省略する。
【0149】
矛盾が生じない限り、本願で提供される各方法又は製品の実施例で開示された特徴を互いに任意に組み合わせて、新たな方法又は製品の実施例を得ることができる。
【0150】
上記実施形態の説明により、上記実施例の方法は、ソフトウェアと必須な汎用ハードウェアプラットフォームとの組み合わせで実現することができ、勿論、ハードウェアにより実現することもできるが、多くの場合、前者は、より好適な実施形態であることを当業者が理解すべきである。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形態で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶しても良く、また、一台のコンピュータ機器（携帯電話、コンピュータ、サーバ、エアコン、又はネットワーク装置等）に、本願の各実施例に記載の方法を実行させるための若干の命令を含む。
【0151】
以上は図面を参照しながら、本願の実施例を説明している。本願は、上記具体的な実施形態に限定されず、上記具体的な実施形態は模式的なものに過ぎず、本願を限定するものではない。当業者は、本願に基づいて、本願の実施例要旨及び特許請求の範囲の保護範囲から逸脱することなく、多くの実施形態を想到しうる。これらは、いずれも本願の実施例の保護範囲内に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9a】
【図9b】
【図9c】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2021-06-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像生成方法であって、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得ることと、
スタイル画像のスタイル特徴を抽出することと、
前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得ることであって、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する、ことと、を含む、画像生成方法。
【請求項2】
前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力することは、１からＴまで順にｉが取られることに応答して、第ｉ層の第１ネットワークユニットブロックから出力されたコンテンツ特徴を第Ｔ－ｉ＋１層の第２ネットワークユニットブロックにフィードフォワード入力することであって、ｉは、正整数であり、Ｔは、前記第１ニューラルネットワークの第１ネットワークユニットブロック及び前記第２ニューラルネットワークの第２ネットワークユニットブロックの層数を表す、ことを含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記複数の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックによって、入力された特徴を処理することは、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算し、前記第１層の第２ネットワークユニットブロックの中間特徴を得ることと、
前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記第１層の第２ネットワークユニットブロックの中間特徴を加算し、前記第１層の第２ネットワークユニットブロックの出力特徴を得ることと、
前記第１層の第２ネットワークユニットブロックの出力特徴を第２層の第２ネットワークユニットブロックに入力することと、を含むことを特徴とする
請求項１又は２に記載の方法。
【請求項4】
前記方法は、最終層の第１ネットワークユニットブロックからのコンテンツ特徴と前記スタイル特徴を乗算する前に、前記最終層の第１ネットワークユニットブロックからのコンテンツ特徴に対して畳み込み演算を行うことを更に含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記複数の第２ネットワークユニットブロックのうちの中間層の第２ネットワークユニットブロックによって、入力された特徴を処理することは、入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記中間層の第２ネットワークユニットブロックの中間特徴を得ることと、
前記入力されたコンテンツ特徴と前記中間層の第２ネットワークユニットブロックの中間特徴を加算し、前記中間層の第２ネットワークユニットブロックの出力特徴を得ることと、
前記中間層の第２ネットワークユニットブロックの出力特徴を次の層の第２ネットワークユニットブロックに入力することと、を含むことを特徴とする
請求項１－４のいずれか一項に記載の方法。
【請求項6】
前記方法は、前記入力されたコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、前記受け取ったコンテンツ特徴に対して畳み込み演算を行うことを更に含むことを特徴とする請求項５に記載の方法。
【請求項7】
前記複数の第２ネットワークユニットブロックのうちの最終層の第２ネットワークユニットブロックによって、入力された特徴を処理することは、第１層の第１ネットワークユニットブロックからのコンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算し、前記最終層の第２ネットワークユニットブロックの中間特徴を得ることと、
第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と前記最終層の第２ネットワークユニットブロックの中間特徴を加算し、前記生成画像を得ることと、を含むことを特徴とする
請求項１－６のいずれか一項に記載の方法。
【請求項8】
前記方法は、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴と一層前の第２ネットワークユニットブロックの出力特徴を乗算する前に、第１層の第１ネットワークユニットブロックからの前記コンテンツ特徴に対して畳み込み演算を行うことを更に含むことを特徴とする請求項７に記載の方法。
【請求項9】
前記スタイル画像のスタイル特徴を抽出することは、前記スタイル画像で分布される特徴を抽出することと、
前記スタイル画像で分布される特徴に対してサンプリングを行い、前記スタイル特徴を得ることであって、前記スタイル特徴は、前記スタイル画像で分布される特徴の平均値及び標準偏差を含む、ことと、を含むことを特徴とする
請求項１－８のいずれか一項に記載の方法。
【請求項10】
前記第１ネットワークユニットブロックによりコンテンツ画像のコンテンツ特徴を抽出することは、前記第１ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、コンテンツ画像のコンテンツ特徴を抽出することを含み、及び／又は、
前記第２ネットワークユニットブロックにより、入力された特徴を処理することは、前記第２ネットワークユニットブロックにおける、残差構造で構成された複数のニューラルネットワーク層によって、前記第２ネットワークユニットブロックに入力された特徴を処理することを含むことを特徴とする
請求項１－９のいずれか一項に記載の方法。
【請求項11】
ニューラルネットワーク訓練方法であって、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得ることと、
スタイル画像のスタイル特徴を抽出することと、
前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得ることであって、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する、ことと、
前記生成画像に対して識別を行い、識別結果を得ることと、
前記コンテンツ画像、前記スタイル画像、前記生成画像及び識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することと、を含む、ニューラルネットワーク訓練方法。
【請求項12】
前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することは、前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、敵対的生成ネットワーク損失を決定することと、
前記敵対的生成ネットワーク損失が第１所定条件を満たしないことに応答して、前記敵対的生成ネットワーク損失に基づいて、第１ニューラルネットワーク及び／又は第２ニューラルネットワークのネットワークパラメータを調整することであって、前記敵対的生成ネットワーク損失は、前記生成画像と前記コンテンツ画像とのコンテンツ特徴差異、及び前記生成画像と前記スタイル画像とのスタイル特徴差異を表すためのものである、ことと、を含むことを特徴とする
請求項１１に記載の方法。
【請求項13】
前記コンテンツ画像、前記スタイル画像、前記生成画像及び前記識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することは、前記生成画像及び前記スタイル画像に基づいて、スタイル損失を決定し、前記スタイル損失が第２所定条件を満たしないことに応答して、前記スタイル損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することであって、前記スタイル損失は、前記生成画像のスタイル特徴と前記スタイル画像のスタイル特徴との差異を表すためのものである、こと、及び／又は、
前記生成画像及び前記コンテンツ画像に基づいて、コンテンツ損失を決定し、前記コンテンツ損失が第３所定条件を満たしないことに応答して、前記コンテンツ損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することであって、前記コンテンツ損失は、前記生成画像のコンテンツ特徴と前記コンテンツ画像のコンテンツ特徴との差異を表すためのものである、こと、及び／又は、
前記複数の第２ネットワークユニットブロックのうちの各中間層の第２ネットワークユニットブロックの出力特徴、及びスタイル画像に基づいて、特徴マッチング損失を決定し、前記特徴マッチング損失が第４所定条件を満たしないことに応答して、前記特徴マッチング損失に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整することであって、前記特徴マッチング損失は、前記各中間層の第２ネットワークユニットブロックの出力特徴と前記スタイル画像のスタイル特徴との差異を表すためのものである、こと、を更に含むことを特徴とする
請求項１２に記載の方法。
【請求項14】
画像生成装置であって、前記装置は、第１抽出モジュールと、第２抽出モジュールと、第１処理モジュールと、を備え、第１抽出モジュールは、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得るように構成され、
第２抽出モジュールは、スタイル画像のスタイル特徴を抽出するように構成され、
第１処理モジュールは、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得るように構成され、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応する、画像生成装置。
【請求項15】
ニューラルネットワーク訓練装置であって、前記装置は、第３抽出モジュールと、第４抽出モジュールと、第２処理モジュールと、調整モジュールと、を備え、第３抽出モジュールは、第１ニューラルネットワークにおける順次接続される複数層の第１ネットワークユニットブロックを利用して、コンテンツ画像のコンテンツ特徴を抽出し、各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を得るように構成され、
第４抽出モジュールは、スタイル画像のスタイル特徴を抽出するように構成され、
第２処理モジュールは、前記各層の第１ネットワークユニットブロックからそれぞれ出力されたコンテンツ特徴を、第２ニューラルネットワークにおける順次接続される複数層の第２ネットワークユニットブロックに、対応的にフィードフォワード入力し、前記複数層の第２ネットワークユニットブロックのうちの第１層の第２ネットワークユニットブロックからはじめて前記スタイル特徴をフィードフォワード入力し、各前記第２ネットワークユニットブロックによってそれぞれ入力された特徴を処理した後に、前記第２ニューラルネットワークから出力される生成画像を得て、前記生成画像に対して識別を行い、識別結果を得るように構成され、前記複数層の第１ネットワークユニットブロックは、前記複数層の第２ネットワークユニットブロックに対応し、
調整モジュールは、前記コンテンツ画像、前記スタイル画像、前記生成画像及び識別結果に基づいて、前記第１ニューラルネットワーク及び／又は前記第２ニューラルネットワークのネットワークパラメータを調整するように構成される、ニューラルネットワーク訓練装置。
【請求項16】
電子機器であって、プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を備え、前記プロセッサは、前記コンピュータプログラムを実行する時、請求項１－１０のいずれか一項に記載の画像生成方法又は請求項１１－１３のいずれか一項に記載のニューラルネットワーク訓練方法を実行するように構成される、電子機器。
【請求項17】
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体に、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時、前記プロセッサに、請求項１－１０のいずれか一項に記載の画像生成方法又は請求項１１－１３のいずれか一項に記載のニューラルネットワーク訓練方法を実行させる、コンピュータ記憶媒体。
【国際調査報告】