特開2022-50666サイクル生成ネットワークモデルのトレーニング方法、フォントライブラリの確立方法、装置、電子機器、記憶媒体およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022050666
(43)【公開日】2022-03-30
(54)【発明の名称】サイクル生成ネットワークモデルのトレーニング方法、フォントライブラリの確立方法、装置、電子機器、記憶媒体およびコンピュータプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20220323BHJP
G06T 7/00 20170101ALI20220323BHJP
【ＦＩ】
G06T1/00 500A
G06T7/00 350C
【審査請求】有
【請求項の数】23
【出願形態】ＯＬ
【公開請求】
(21)【出願番号】P 2022007200
(22)【出願日】2022-01-20
(31)【優先権主張番号】202110945882.9
(32)【優先日】2021-08-17
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】516262169
【氏名又は名称】北京百度網訊科技有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ，Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】唐 礼 承
(72)【発明者】
【氏名】劉 家 銘
(57)【要約】 （修正有）
【課題】サイクル生成ネットワークモデルのトレーニング方法及び装置、フォントライブラリの確立方法及び装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。
【解決手段】方法は、ソースドメインサンプルワード３０１をサイクル生成ネットワークモデル３１０に入力して、第１のターゲットドメイン生成ワード３０２を取得する。トレーニングされた文字分類モデル３２０に第１のターゲットドメイン生成ワード３０２を入力することによって、サイクル生成ネットワークモデルの誤字損失を計算する。第１のターゲットドメイン生成ワード３０２および予め設定されたターゲットドメインサンプルワード３０４を文字分類モデル３２０に入力することによって、サイクル生成ネットワークモデルの特徴損失を計算する。誤字損失および特徴損失に従ってサイクル生成ネットワークモデル３１０のパラメータを調整する。
【選択図】図３Ａ
【解決手段】方法は、ソースドメインサンプルワード３０１をサイクル生成ネットワークモデル３１０に入力して、第１のターゲットドメイン生成ワード３０２を取得する。トレーニングされた文字分類モデル３２０に第１のターゲットドメイン生成ワード３０２を入力することによって、サイクル生成ネットワークモデルの誤字損失を計算する。第１のターゲットドメイン生成ワード３０２および予め設定されたターゲットドメインサンプルワード３０４を文字分類モデル３２０に入力することによって、サイクル生成ネットワークモデルの特徴損失を計算する。誤字損失および特徴損失に従ってサイクル生成ネットワークモデル３１０のパラメータを調整する。
【選択図】図３Ａ
【特許請求の範囲】
【請求項1】
ソースドメインサンプルワードをサイクル生成ネットワークモデルに入力して、第１のターゲットドメイン生成ワードを取得することと、
トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力することによって、前記サイクル生成ネットワークモデルの誤字損失を計算することと、
第１のターゲットドメイン生成ワードおよび予め設定されたターゲットドメインサンプルワードを前記文字分類モデルに入力することによって、前記サイクル生成ネットワークモデルの特徴損失を計算することと、
前記誤字損失および特徴損失によって前記サイクル生成ネットワークモデルのパラメータを調整することと、を含む
サイクル生成ネットワークモデルのトレーニング方法。
トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力することによって、前記サイクル生成ネットワークモデルの誤字損失を計算することと、
第１のターゲットドメイン生成ワードおよび予め設定されたターゲットドメインサンプルワードを前記文字分類モデルに入力することによって、前記サイクル生成ネットワークモデルの特徴損失を計算することと、
前記誤字損失および特徴損失によって前記サイクル生成ネットワークモデルのパラメータを調整することと、を含む
サイクル生成ネットワークモデルのトレーニング方法。
【請求項2】
請求項１に記載の方法において、
トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力することによって前記サイクル生成ネットワークモデルの誤字損失を計算することは、
トレーニングされた文字分類モデルに前記第１のターゲットドメイン生成ワードを入力して、前記第１のターゲットドメイン生成ワードの生成文字ベクトルを取得することと、
前記生成文字ベクトルと予め設定された標準文字ベクトルとの間の差に応じて、前記誤字損失を計算することと、を含む
サイクル生成ネットワークモデルのトレーニング方法。
トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力することによって前記サイクル生成ネットワークモデルの誤字損失を計算することは、
トレーニングされた文字分類モデルに前記第１のターゲットドメイン生成ワードを入力して、前記第１のターゲットドメイン生成ワードの生成文字ベクトルを取得することと、
前記生成文字ベクトルと予め設定された標準文字ベクトルとの間の差に応じて、前記誤字損失を計算することと、を含む
サイクル生成ネットワークモデルのトレーニング方法。
【請求項3】
請求項２に記載の方法において、
前記誤字損失を計算することは、下の式に従って前記誤字損失ＬＣを計算することを含み、
サイクル生成ネットワークモデルのトレーニング方法。
前記誤字損失を計算することは、下の式に従って前記誤字損失ＬＣを計算することを含み、
【数1】
サイクル生成ネットワークモデルのトレーニング方法。
【請求項4】
請求項１に記載の方法において、
前記文字分類モデルは、複数の特徴層を含み、第１のターゲットドメイン生成ワードおよび予め設定されたターゲットドメインサンプルワードを前記文字分類モデルに入力することによって前記サイクル生成ネットワークモデルの特徴損失を計算することは、
前記第１のターゲットドメイン生成ワードを前記文字分類モデルに入力して、前記文字分類モデルの各特徴層によって出力された生成特徴図を取得することと、
前記ターゲットドメインサンプルワードを前記文字分類モデルに入力して、前記文字分類モデルの各特徴層によって出力されたサンプル特徴図を取得することと、
少なくとも１つの特徴層の生成特徴図とサンプル特徴図との間の差に従って前記特徴損失を計算することと、を含む
サイクル生成ネットワークモデルのトレーニング方法。
前記文字分類モデルは、複数の特徴層を含み、第１のターゲットドメイン生成ワードおよび予め設定されたターゲットドメインサンプルワードを前記文字分類モデルに入力することによって前記サイクル生成ネットワークモデルの特徴損失を計算することは、
前記第１のターゲットドメイン生成ワードを前記文字分類モデルに入力して、前記文字分類モデルの各特徴層によって出力された生成特徴図を取得することと、
前記ターゲットドメインサンプルワードを前記文字分類モデルに入力して、前記文字分類モデルの各特徴層によって出力されたサンプル特徴図を取得することと、
少なくとも１つの特徴層の生成特徴図とサンプル特徴図との間の差に従って前記特徴損失を計算することと、を含む
サイクル生成ネットワークモデルのトレーニング方法。
【請求項5】
請求項４に記載の方法において、
前記特徴損失を計算することは、
前記少なくとも１つの特徴層の各層について、当該特徴層の生成特徴図とサンプル特徴図との間のピクセル差を計算し、当該特徴層のピクセル損失を取得することと、
前記少なくとも１つの特徴層のピクセル損失に従って、前記特徴損失を計算することと、を含む
サイクル生成ネットワークモデルのトレーニング方法。
前記特徴損失を計算することは、
前記少なくとも１つの特徴層の各層について、当該特徴層の生成特徴図とサンプル特徴図との間のピクセル差を計算し、当該特徴層のピクセル損失を取得することと、
前記少なくとも１つの特徴層のピクセル損失に従って、前記特徴損失を計算することと、を含む
サイクル生成ネットワークモデルのトレーニング方法。
【請求項6】
請求項５に記載の方法において、
当該特徴層の生成特徴図とサンプル特徴図との間のピクセル差を計算することは、
前記生成特徴図における各位置のピクセルについて、当該ピクセルのピクセル値と前記サンプル特徴図における対応位置でのピクセルのピクセル値との間の差の絶対値を計算し、各位置のピクセルに対する差を取得することと、
複数の位置のピクセルの差に応じて、前記生成特徴図とサンプル特徴図との間のピクセル差を決定することと、を含む
サイクル生成ネットワークモデルのトレーニング方法。
当該特徴層の生成特徴図とサンプル特徴図との間のピクセル差を計算することは、
前記生成特徴図における各位置のピクセルについて、当該ピクセルのピクセル値と前記サンプル特徴図における対応位置でのピクセルのピクセル値との間の差の絶対値を計算し、各位置のピクセルに対する差を取得することと、
複数の位置のピクセルの差に応じて、前記生成特徴図とサンプル特徴図との間のピクセル差を決定することと、を含む
サイクル生成ネットワークモデルのトレーニング方法。
【請求項7】
請求項１に記載の方法において、
前記サイクル生成ネットワークモデルは、第１の生成モデルおよび第２の生成モデルを含み、
ソースドメインサンプルワードを前記サイクル生成ネットワークモデルに入力して、第１のターゲットドメイン生成ワードを取得することは、
ソースドメインサンプルワードを前記第１の生成モデルに入力して、前記第１のターゲットドメイン生成ワードと第１のソースドメイン生成ワードを取得することを含み、
前記方法は、
ターゲットドメインサンプルワードを前記第２の生成ネットワークに入力して、第２のターゲットドメイン生成ワードと第２のソースドメイン生成ワードを取得することと、
前記ソースドメインサンプルワード、第１のターゲットドメイン生成ワード、第１のソースドメイン生成ワード、ターゲットドメインサンプルワード、第２のターゲットドメイン生成ワード、および第２のソースドメイン生成ワードによって、前記サイクル生成ネットワークモデルの生成損失を計算することと、
前記生成損失に従って前記第１の生成モデルのパラメータを調整することと、をさらに含む
サイクル生成ネットワークモデルのトレーニング方法。
前記サイクル生成ネットワークモデルは、第１の生成モデルおよび第２の生成モデルを含み、
ソースドメインサンプルワードを前記サイクル生成ネットワークモデルに入力して、第１のターゲットドメイン生成ワードを取得することは、
ソースドメインサンプルワードを前記第１の生成モデルに入力して、前記第１のターゲットドメイン生成ワードと第１のソースドメイン生成ワードを取得することを含み、
前記方法は、
ターゲットドメインサンプルワードを前記第２の生成ネットワークに入力して、第２のターゲットドメイン生成ワードと第２のソースドメイン生成ワードを取得することと、
前記ソースドメインサンプルワード、第１のターゲットドメイン生成ワード、第１のソースドメイン生成ワード、ターゲットドメインサンプルワード、第２のターゲットドメイン生成ワード、および第２のソースドメイン生成ワードによって、前記サイクル生成ネットワークモデルの生成損失を計算することと、
前記生成損失に従って前記第１の生成モデルのパラメータを調整することと、をさらに含む
サイクル生成ネットワークモデルのトレーニング方法。
【請求項8】
請求項７に記載の方法において、
前記誤字損失および特徴損失に従って前記サイクル生成ネットワークモデルのパラメータを調整することは、
前記誤字損失および特徴損失に従って前記第１の生成モデルのパラメータを調整することを含む
サイクル生成ネットワークモデルのトレーニング方法。
前記誤字損失および特徴損失に従って前記サイクル生成ネットワークモデルのパラメータを調整することは、
前記誤字損失および特徴損失に従って前記第１の生成モデルのパラメータを調整することを含む
サイクル生成ネットワークモデルのトレーニング方法。
【請求項9】
請求項１～８のいずれか一項に記載の方法において、
前記ソースドメインサンプルワードは、ソースドメインフォントスタイルを有する画像であり、前記ターゲットドメインサンプルワードは、ターゲットドメインフォントスタイルを有する画像である
サイクル生成ネットワークモデルのトレーニング方法。
前記ソースドメインサンプルワードは、ソースドメインフォントスタイルを有する画像であり、前記ターゲットドメインサンプルワードは、ターゲットドメインフォントスタイルを有する画像である
サイクル生成ネットワークモデルのトレーニング方法。
【請求項10】
ソースドメイン入力ワードをサイクル生成ネットワークモデルに入力して、ターゲットドメインの新規ワードを取得することと、
前記ターゲットドメインの新規ワードに基づいてフォントライブラリを確立することと、を含み、
前記サイクル生成ネットワークモデルは、請求項１～９のいずれか一項に記載の方法によってトレーニングして得られる
フォントライブラリの確立方法。
前記ターゲットドメインの新規ワードに基づいてフォントライブラリを確立することと、を含み、
前記サイクル生成ネットワークモデルは、請求項１～９のいずれか一項に記載の方法によってトレーニングして得られる
フォントライブラリの確立方法。
【請求項11】
ソースドメインサンプルワードをサイクル生成ネットワークモデルに入力して、第１のターゲットドメイン生成ワードを取得するために用いられる第１の生成モジュールと、
トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力することによって、前記サイクル生成ネットワークモデルの誤字損失を計算するために用いられる第１の計算モジュールと、
第１のターゲットドメイン生成ワードおよび予め設定されたターゲットドメインサンプルワードを前記文字分類モデルに入力することによって、前記サイクル生成ネットワークモデルの特徴損失を計算するために用いられる第２の計算モジュールと、
前記誤字損失および特徴損失に従って前記サイクル生成ネットワークモデルのパラメータを調整するために用いられる第１の調整モジュールと、を含む
サイクル生成ネットワークモデルのトレーニング装置。
トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力することによって、前記サイクル生成ネットワークモデルの誤字損失を計算するために用いられる第１の計算モジュールと、
第１のターゲットドメイン生成ワードおよび予め設定されたターゲットドメインサンプルワードを前記文字分類モデルに入力することによって、前記サイクル生成ネットワークモデルの特徴損失を計算するために用いられる第２の計算モジュールと、
前記誤字損失および特徴損失に従って前記サイクル生成ネットワークモデルのパラメータを調整するために用いられる第１の調整モジュールと、を含む
サイクル生成ネットワークモデルのトレーニング装置。
【請求項12】
請求項１１に記載の装置において、
前記第１の計算モジュールは、
トレーニングされた文字分類モデルに前記第１のターゲットドメイン生成ワードを入力して、前記第１のターゲットドメイン生成ワードの生成文字ベクトルを取得するために用いられる文字ベクトル生成ユニットと、
前記生成文字ベクトルと予め設定された標準文字ベクトルとの間の差に応じて前記誤字損失を計算するために用いられる誤字損失計算ユニットと、を含む
サイクル生成ネットワークモデルのトレーニング装置。
前記第１の計算モジュールは、
トレーニングされた文字分類モデルに前記第１のターゲットドメイン生成ワードを入力して、前記第１のターゲットドメイン生成ワードの生成文字ベクトルを取得するために用いられる文字ベクトル生成ユニットと、
前記生成文字ベクトルと予め設定された標準文字ベクトルとの間の差に応じて前記誤字損失を計算するために用いられる誤字損失計算ユニットと、を含む
サイクル生成ネットワークモデルのトレーニング装置。
【請求項13】
請求項１２に記載の装置において、
前記誤字損失計算ユニットは、下の式に従って前記誤字損失ＬＣを計算し、
サイクル生成ネットワークモデルのトレーニング装置。
前記誤字損失計算ユニットは、下の式に従って前記誤字損失ＬＣを計算し、
【数2】
サイクル生成ネットワークモデルのトレーニング装置。
【請求項14】
請求項１１に記載の装置において、
前記文字分類モデルは、複数の特徴層を含み、
前記第２の計算モジュールは、
前記第１のターゲットドメイン生成ワードを前記文字分類モデルに入力して、前記文字分類モデルの各特徴層によって出力された生成特徴図を取得するために用いられる第１の特徴図生成ユニットと、
前記ターゲットドメインサンプルワードを前記文字分類モデルに入力して、前記文字分類モデルの各特徴層によって出力されたサンプル特徴図を取得するために用いられる第２の特徴図生成ユニットと、
少なくとも１つの特徴層の生成特徴図とサンプル特徴図との間の差に従って前記特徴損失を計算するために用いられる特徴損失計算ユニットと、を含む
サイクル生成ネットワークモデルのトレーニング装置。
前記文字分類モデルは、複数の特徴層を含み、
前記第２の計算モジュールは、
前記第１のターゲットドメイン生成ワードを前記文字分類モデルに入力して、前記文字分類モデルの各特徴層によって出力された生成特徴図を取得するために用いられる第１の特徴図生成ユニットと、
前記ターゲットドメインサンプルワードを前記文字分類モデルに入力して、前記文字分類モデルの各特徴層によって出力されたサンプル特徴図を取得するために用いられる第２の特徴図生成ユニットと、
少なくとも１つの特徴層の生成特徴図とサンプル特徴図との間の差に従って前記特徴損失を計算するために用いられる特徴損失計算ユニットと、を含む
サイクル生成ネットワークモデルのトレーニング装置。
【請求項15】
請求項１４に記載の装置において、
前記特徴損失計算ユニットは、
前記少なくとも１つの特徴層の各層について、当該特徴層の生成特徴図とサンプル特徴図との間のピクセル差を計算し、当該特徴層のピクセル損失を取得するために用いられるピクセル損失計算サブユニットと、
前記少なくとも１つの特徴層のピクセル損失に従って前記特徴損失を計算するために用いられる特徴損失計算サブユニットと、を含む
サイクル生成ネットワークモデルのトレーニング装置。
前記特徴損失計算ユニットは、
前記少なくとも１つの特徴層の各層について、当該特徴層の生成特徴図とサンプル特徴図との間のピクセル差を計算し、当該特徴層のピクセル損失を取得するために用いられるピクセル損失計算サブユニットと、
前記少なくとも１つの特徴層のピクセル損失に従って前記特徴損失を計算するために用いられる特徴損失計算サブユニットと、を含む
サイクル生成ネットワークモデルのトレーニング装置。
【請求項16】
請求項１５に記載の装置において、
前記ピクセル損失計算サブユニットは、前記生成特徴図における各位置のピクセルについて、当該ピクセルのピクセル値と前記サンプル特徴図における対応位置でのピクセルのピクセル値との間の差の絶対値を計算し、各位置のピクセルに対する差を取得し、
複数の位置のピクセルの差に応じて、前記生成特徴図と前記サンプル特徴図との間のピクセル差を決定するために用いられる
サイクル生成ネットワークモデルのトレーニング装置。
前記ピクセル損失計算サブユニットは、前記生成特徴図における各位置のピクセルについて、当該ピクセルのピクセル値と前記サンプル特徴図における対応位置でのピクセルのピクセル値との間の差の絶対値を計算し、各位置のピクセルに対する差を取得し、
複数の位置のピクセルの差に応じて、前記生成特徴図と前記サンプル特徴図との間のピクセル差を決定するために用いられる
サイクル生成ネットワークモデルのトレーニング装置。
【請求項17】
請求項１１に記載の装置において、
前記サイクル生成ネットワークモデルは、第１の生成モデルおよび第２の生成モデルを含み、
前記第１の生成モジュールは、ソースドメインサンプルワードを前記第１の生成モデルに入力して、前記第１のターゲットドメイン生成ワードと第１のソースドメイン生成ワードを取得するために用いられ、
前記装置は、
ターゲットドメインサンプルワードを前記第２の生成ネットワークに入力して、第２のターゲットドメイン生成ワードと第２のソースドメイン生成ワードを取得するために用いられる第２の生成モジュールと、
前記ソースドメインサンプルワード、第１のターゲットドメイン生成ワード、第１のソースドメイン生成ワード、ターゲットドメインサンプルワード、第２のターゲットドメイン生成ワード、および第２のソースドメイン生成ワードによって、前記サイクル生成ネットワークモデルの生成損失を計算するために用いられる第３の計算モジュールと、
前記生成損失に従って前記第１の生成モデルのパラメータを調整するために用いられる第２の調整モジュールと、をさらに含む
サイクル生成ネットワークモデルのトレーニング装置。
前記サイクル生成ネットワークモデルは、第１の生成モデルおよび第２の生成モデルを含み、
前記第１の生成モジュールは、ソースドメインサンプルワードを前記第１の生成モデルに入力して、前記第１のターゲットドメイン生成ワードと第１のソースドメイン生成ワードを取得するために用いられ、
前記装置は、
ターゲットドメインサンプルワードを前記第２の生成ネットワークに入力して、第２のターゲットドメイン生成ワードと第２のソースドメイン生成ワードを取得するために用いられる第２の生成モジュールと、
前記ソースドメインサンプルワード、第１のターゲットドメイン生成ワード、第１のソースドメイン生成ワード、ターゲットドメインサンプルワード、第２のターゲットドメイン生成ワード、および第２のソースドメイン生成ワードによって、前記サイクル生成ネットワークモデルの生成損失を計算するために用いられる第３の計算モジュールと、
前記生成損失に従って前記第１の生成モデルのパラメータを調整するために用いられる第２の調整モジュールと、をさらに含む
サイクル生成ネットワークモデルのトレーニング装置。
【請求項18】
請求項１７に記載の装置において、
前記第１の調整モジュールは、前記誤字損失および特徴損失に従って前記第１の生成モデルのパラメータを調整するために用いられる
サイクル生成ネットワークモデルのトレーニング装置。
前記第１の調整モジュールは、前記誤字損失および特徴損失に従って前記第１の生成モデルのパラメータを調整するために用いられる
サイクル生成ネットワークモデルのトレーニング装置。
【請求項19】
請求項１１～１８のいずれか一項に記載の装置において、
前記ソースドメインサンプルワードは、ソースドメインフォントスタイルを有する画像であり、前記ターゲットドメインサンプルワードは、ターゲットドメインフォントスタイルを有する画像である
サイクル生成ネットワークモデルのトレーニング装置。
前記ソースドメインサンプルワードは、ソースドメインフォントスタイルを有する画像であり、前記ターゲットドメインサンプルワードは、ターゲットドメインフォントスタイルを有する画像である
サイクル生成ネットワークモデルのトレーニング装置。
【請求項20】
ソースドメイン入力ワードをサイクル生成ネットワークモデルに入力して、ターゲットドメインの新規ワードを取得するために用いられる第３の生成モジュールと、
前記ターゲットドメインの新規ワードに基づいてフォントライブラリを確立するために用いられるフォントライブラリ確立モジュールと、を含み、
ここで、前記サイクル生成ネットワークモデルは、請求項１１～１９のいずれか一項に記載の装置によってトレーニングして得られる
フォントライブラリの確立装置。
前記ターゲットドメインの新規ワードに基づいてフォントライブラリを確立するために用いられるフォントライブラリ確立モジュールと、を含み、
ここで、前記サイクル生成ネットワークモデルは、請求項１１～１９のいずれか一項に記載の装置によってトレーニングして得られる
フォントライブラリの確立装置。
【請求項21】
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されたメモリと、を含み、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は、前記少なくとも１つのプロセッサが請求項１～１０のいずれか一項に記載の方法を実行するように、前記少なくとも１つのプロセッサによって実行される
電子機器。
前記少なくとも１つのプロセッサと通信接続されたメモリと、を含み、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は、前記少なくとも１つのプロセッサが請求項１～１０のいずれか一項に記載の方法を実行するように、前記少なくとも１つのプロセッサによって実行される
電子機器。
【請求項22】
コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体であって、
前記コンピュータ命令は、前記コンピュータに請求項１～１０のいずれか一項に記載の方法を実行させる
記憶媒体。
前記コンピュータ命令は、前記コンピュータに請求項１～１０のいずれか一項に記載の方法を実行させる
記憶媒体。
【請求項23】
プロセッサによって実行されたときに、請求項１～１０のいずれか一項に記載の方法を実現する
コンピュータプログラム。
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人工知能技術の分野、特に、コンピュータビジョンおよびディープラーニング技術に関し、画像処理および画像認識などのシナリオに適用することができる。より具体的には、本開示は、サイクル生成ネットワークモデルのトレーニング方法及び装置、フォントライブラリの確立方法及び装置、電子機器、記憶媒体およびコンピュータプログラムを提供する。
【背景技術】
【0002】
インターネットの急速な発展に伴い、人々は、画像スタイルの多様性に対する要求がますます高くなっている。例えば、様々なスタイルのフォントの生成は、広範な研究および注目を集めている。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示は、サイクル生成ネットワークモデルのトレーニング方法及び装置、フォントライブラリの確立方法及び装置、電子機器、記憶媒体およびコンピュータプログラムを提供する。
【0004】
第１の方面によれば、サイクル生成ネットワークモデルのトレーニング方法を提供し、当該方法は、ソースドメインサンプルワードをサイクル生成ネットワークモデルに入力して、第１のターゲットドメイン生成ワードを取得することと、トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力することによって、サイクル生成ネットワークモデルの誤字損失を計算することと、第１のターゲットドメイン生成ワードおよび予め設定されたターゲットドメインサンプルワードを文字分類モデルに入力することによって、サイクル生成ネットワークモデルの特徴損失を計算することと、誤字損失および特徴損失に従ってサイクル生成ネットワークモデルのパラメータを調整することと、を含む。
【0005】
第２の方面によれば、フォントライブラリの確立方法を提供し、当該方法は、ソースドメイン入力ワードをサイクル生成ネットワークモデルに入力して、ターゲットドメインの新規ワードを取得することと、ターゲットドメインの新規ワードに基づいてフォントライブラリを確立することと、を含み、サイクル生成ネットワークモデルは、上記サイクル生成ネットワークモデルのトレーニング方法によってトレーニングして得られる。
【0006】
第３の方面によれば、サイクル生成ネットワークモデルのトレーニング装置を提供し、当該装置は、ソースドメインサンプルワードをサイクル生成ネットワークモデルに入力して、第１のターゲットドメイン生成ワードを取得するために用いられる第１の生成モジュールと、トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力することによって、サイクル生成ネットワークモデルの誤字損失を計算するために用いられる第１の計算モジュールと、第１のターゲットドメイン生成ワードおよび予め設定されたターゲットドメインサンプルワードを文字分類モデルに入力することによって、サイクル生成ネットワークモデルの特徴損失を計算するために用いられる第２の計算モジュールと、誤字損失および特徴損失に従ってサイクル生成ネットワークモデルのパラメータを調整するために用いられる第１の調整モジュールと、を含む。
【0007】
第４の方面によれば、フォントライブラリの確立装置を提供し、当該装置は、ソースドメイン入力ワードをサイクル生成ネットワークモデルに入力して、ターゲットドメインの新規ワードを取得するために用いられる第３の生成モジュールと、ターゲットドメインの新規ワードに基づいてフォントライブラリを確立するために用いられるフォントライブラリ確立モジュールと、を含み、ここで、サイクル生成ネットワークモデルは、上記サイクル生成ネットワークモデルのトレーニング装置によってトレーニングして得られる。
【0008】
第５の方面によれば、電子機器を提供し、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信接続されたメモリと、を含み、ここで、メモリは、少なくとも１つのプロセッサによって実行可能な命令を記憶し、命令は、少なくとも１つのプロセッサが本開示により提供した方法を実行するように、少なくとも１つのプロセッサによって実行される。
【0009】
第６の方面によれば、コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体を提供し、当該コンピュータ命令は、コンピュータに本開示により提供した方法を実行させる。
【0010】
第７の方面によれば、プロセッサによって実行されたときに、本開示により提供した方法を実現するコンピュータプログラム。
【0011】
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
【0012】
図面は、本技術案をよりよく理解するためのものであり、本開示を限定するものではない。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
以下、添付の図面を組み合わせ、本開示の例示的な実施例を説明し、理解を容易にするために本開示の実施例の様々な詳細を含むが、それらは単に例示的なものとみなされるべきである。したがって、当業者は、本開示の範囲および精神から逸脱することなく、本明細書に記載された実施例に対して様々な変更および修正を行うことができることを認識するであろう。同様に、明確化および簡潔化のために、以下の説明では、周知の機能及び構成についての記載は省略される。
【0015】
フォントの生成は、画像スタイルの移行の分野における新たに登場したタスクであり、画像スタイルの移行は、コンテンツを変更せずに画像を別のスタイルに変換することであって、ディープラーニングアプリケーションでの人気のある研究方向である。
【0016】
現在、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ、生成式対抗ネットワーク）モデルを使用してフォント生成を実現することができる。ただし、ＧＡＮモデルに基づくフォント生成方案では、少量のデータでトレーニングされたネットワークは、傾き、サイズ、部分的なストロークなどの比較的弱い特徴しか学習できなく、ユーザのスタイルを最も有する特徴を学習することができない。大量のデータでトレーニングされたネットワークを使用してもよく、スタイルが強いが、トレーニングセット以外の漢字については、誤字が発生しやすくなる。これらの主流の研究結果は、いずれもフォントレベルの効果を達成することは困難である。
【0017】
本開示の実施例は、サイクル生成ネットワークモデルのトレーニング方法および、当該ネットワークモデルを使用するフォントライブラリの確立方法を提案する。サイクル生成ネットワークＣｙｃｌｅＧＡＮ（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ：サイクル生成式対抗ネットワーク、単にサイクル生成ネットワークと呼び）を使用することによって、フォント生成を実現し、文字分類モデルを使用して誤字損失と特徴損失を導入し、サイクル生成ネットワークモデルのフォント特徴学習能力を向上させ、誤字が発生する確率を低減する。
【0018】
本開示の実施例では、サイクル生成ネットワークモデルは、ソースドメインとターゲットドメインとの間にスタイルの移行を実現することができる。サイクル生成ネットワークモデルには、２つの生成モデルと２つの判別モデルが含まれる。２つの生成モデルは、それぞれＧｅｎｅｒａｔｏｒＡ２ＢとＧｅｎｅｒａｔｏｒＢ２Ａである。ＧｅｎｅｒａｔｏｒＡ２Ｂは、スタイルＡの画像をスタイルＢの画像に変換するために使用され、ＧｅｎｅｒａｔｏｒＢ２ＡはスタイルＢの画像をスタイルＡの画像に変換するために使用される。２つの判別モデルは、それぞれＤｉｓｃｒｉｍｉｎａｔｏｒ ＡとＤｉｓｃｒｉｍｉｎａｔｏｒ Ｂである。Ｄｉｓｃｒｉｍｉｎａｔｏｒ Ａは、変換された画像がスタイルＡに属する画像であるかどうかを判別するために使用され、Ｄｉｓｃｒｉｍｉｎａｔｏｒ Ｂは、変換された画像がスタイルＢに属する画像であるかどうかを判別するために使用される。
【0019】
サイクル生成ネットワークモデルのトレーニングプロセスでは、２つの生成モデルのトレーニング目標は、ターゲットドメインスタイル（またはソースドメインスタイル）を有する画像を可能な限りに生成することであり、判別モデルのトレーニング目標は、生成モデルによって生成された画像を真実のターゲットドメイン画像（またはソースドメイン画像）画像と区別することである。トレーニングプロセスでは、生成モデル及び判別モデルを絶えず更新し最適化することにより、２つの生成モデルがスタイルの移行を実現する能力がますます強くなり、かつ２つの判別モデルが生成画像及び真実の画像を判別する能力もますます強くなる。
【0020】
本開示の技術案において、係るユーザの個人情報の収集、記憶、使用、加工、伝送、提供及び開示等の処理は、いずれも関連法律・法規の規定に適合し、かつ公序良俗に反するものではない。
【0021】
図１は、本開示の一実施例による、サイクル生成ネットワークモデルのトレーニング方法および／またはフォントライブラリの確立方法を適用することができる例示的なシステムアーキテクチャの概略図である。当業者が本開示の技術内容を理解しやすくように、図１は、本開示の実施例を適用可能なシステムアーキテクチャの例示のみを示し、それは、本開示の実施例が他の機器、システム、環境、またはシナリオに使用することはできないことを意味しない。
【0022】
図１に示されるように、この実施例によるシステムアーキテクチャ１００は、複数の端末機器１０１、ネットワーク１０２、サーバ１０３を含み得る。ネットワーク１０２は、端末機器１０１とサーバ１０３との間に通信リンクを提供する媒体である。ネットワーク１０２は、例えば有線および／または無線通信リンクなどの様々な接続タイプを含み得る。
【0023】
ユーザは、端末機器１０１を使用して、ネットワーク１０２を介してサーバ１０３と対話し、メッセージなどを送受信することができる。端末機器１０１は、様々な電子機器であることができ、スマートフォン、タブレットコンピュータ、ラップトップポータブルコンピュータなどを含むがこれらに限定されない。
【0024】
本開示の実施例によって提供されるサイクル生成ネットワークモデルのトレーニング方法および／またはフォントライブラリの確立方法の少なくとも１つは、一般にサーバ１０３によって実行され得る。相応的に、本開示の実施例によって提供されるサイクル生成ネットワークモデルのトレーニング装置および／またはフォントライブラリの確立装置は、一般に、サーバ１０３に設定され得る。本開示の実施例によって提供されるサイクル生成ネットワークモデルのトレーニング方法および／またはフォントライブラリの確立方法は、サーバ１０３と異なり且つ端末機器１０１および／またはサーバー１０３と通信可能なサーバまたはサーバクラスタによって実行してもよい。相応的に、本開示の実施例によって提供されるサイクル生成ネットワークモデルのトレーニング装置および／またはフォントライブラリの確立装置は、サーバ１０３と異なり且つ端末機器１０１および／またはサーバー１０３と通信可能なサーバまたはサーバクラスタに設定されでもよい。
【0025】
図２は、本開示の一実施例による、サイクル生成ネットワークモデルのトレーニング方法のフローチャートである。
【0026】
図２に示されるように、当該サイクル生成ネットワークモデルのトレーニング方法２００は、操作Ｓ２１０～操作Ｓ２４０を含み得る。
【0027】
操作Ｓ２１０において、ソースドメインサンプルワードをサイクル生成ネットワークモデルに入力して、第１のターゲットドメイン生成ワードを取得する。
【0028】
例えば、ソースドメインのサンプルワードは、ソースドメインのフォントスタイルを有する画像であることができ、ソースドメインのフォントスタイルは、楷体、宋朝体、太字などの通常のフォントであることができる。第１のターゲットドメイン生成ワードは、ターゲットドメインのフォントスタイルを有する画像であることができ、ターゲットドメインのフォントスタイルは、ユーザの手書きフォントスタイルまたは他の芸術的なフォントスタイルであることができる。
【0029】
ソースドメインのサンプルワードをサイクル生成ネットワークモデルに入力し、サイクル生成ネットワークモデルは、第１のターゲットドメイン生成ワードを出力する。例えば、楷体字である「做」を含む画像を、サイクル生成ネットワークモデルに入力し、サイクル生成ネットワークモデルは、手書き字である「做」を含む画像を出力することができる。
【0030】
操作Ｓ２２０において、トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力することによって、サイクル生成ネットワークモデルの誤字損失を計算する。
【0031】
例えば、トレーニングされた文字分類モデルは、ＶＧＧ１９（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ１９）ネットワークでトレーニングして取得できる。文字分類モデルのトレーニングサンプルは、複数のフォントを含む画像であることができる。例えば、トレーニングサンプルは、８０種以上のフォントと６，７００個以上のワードを含む約４５０，０００枚の画像であることができる。
【0032】
【数1】
【0033】
【数2】
【0034】
操作Ｓ２３０において、第１のターゲットドメイン生成ワードおよび予め設定されたターゲットドメインサンプルワードを文字分類モデルに入力することによって、サイクル生成ネットワークモデルの特徴損失を計算する。
【0035】
例えば、第１のターゲットドメイン生成ワードは、サイクル生成ネットワークモデルによって生成された手書き字である「做」を含む画像であり、ターゲットドメインサンプルワードは、手書き字である「做」を含む真実の画像である。当該ユーザの実際に手書きによって生成された画像は、公開データセットから取得されてもよく、または、ユーザの許可によって取得されてもよい。
【0036】
文字分類モデルは、複数の特徴層（例えば、９０個の特徴層）を含み、第１のターゲットドメイン生成ワードをサイクル生成ネットワークモデルに入力して、各層によって出力された生成特徴図を取得することができる。ターゲットドメインサンプルワードをサイクル生成ネットワークモデルに入力して、各層によって出力されたサンプル特徴図を取得することができる。
【0037】
各特徴層によって出力された生成特徴図とサンプル特徴図との差に応じて、当該層の特徴損失を決定することができる。一例では、複数層の特徴層における少なくとも１つの所定層（例えば、第４５層および第４６層）の特徴損失の合計を、全体的な特徴損失として選択することができる。
【0038】
上記の全体的な特徴損失により、サイクル生成ネットワークモデルに、第１のターゲットドメイン生成ワードとターゲットドメインサンプルワードとの間の大幅に異なる特徴を学習させることができる。これにより、サイクル生成ネットワークモデルは、より多くのフォントの詳細を学習することができ、サイクル生成ネットワークモデルのフォント特徴学習能力を向上させる。
【0039】
操作Ｓ２４０において、誤字損失および特徴損失に基づいて、サイクル生成ネットワークモデルのパラメータを調整する。
【0040】
例えば、上記の誤字損失と特徴損失の合計に基づいて、サイクル生成ネットワークモデルのパラメータを調整し、更新されたサイクル生成ネットワークモデルを取得することができる。次のソースドメインのサンプルワードについては、更新されたサイクル生成ネットワークモデルを使用し、操作Ｓ２１０に戻り、トレーニングを繰り返して、予め設定されたトレーニング停止条件に達すれば、生成モデルのパラメータの調整を停止して、トレーニングされたサイクル生成ネットワークモデルを取得する。トレーニング停止条件には、上記の誤字損失と特徴損失との合計の収束などが含まれる。
【0041】
本開示の実施例は、サイクル生成ネットワークモデルを使用して、ソースドメインサンプルワードに基づいてターゲットドメイン生成ワードを生成し、複数のスタイルのフォントの生成を実現することができる。また、文字分類モデルを使用して誤字損失と特徴損失を導入することにより、サイクル生成ネットワークモデルのフォント特徴学習能力を向上させ、誤字を生成する確率を低減することができる。
【0042】
図３Ａは、本開示の一実施例による、サイクル生成ネットワークモデルのトレーニング方法の原理図である。
【0043】
図３Ｂ～３Ｃは、本開示の一実施例による、サイクル生成ネットワークモデルの構造原理図である。
【0044】
図３Ａに示されるように、当該原理図は、サイクル生成ネットワークモデル３１０および文字分類モデル３２０を含む。ソースドメインサンプルワード３０１をサイクル生成ネットワークモデル３１０に入力して、第１のターゲットドメイン生成ワード３０２を取得する。ソースドメインサンプルワード３０１、第１のターゲットドメイン生成ワード３０２、およびターゲットドメインサンプルワード３０４によって、サイクル生成ネットワークモデル３１０の生成損失３１０１を計算することができる。第１のターゲットドメイン生成ワード３０２およびターゲットドメインサンプルワード３０４を文字分類モデル３２０に入力し、文字分類モデル３２０の出力結果によって、誤字損失３２０１および特徴損失３２０２を計算することができる。
【0045】
生成損失３１０１、誤字損失３２０１、および特徴損失３２０２によって、サイクル生成ネットワークモデル３１０のパラメータを調整することができる。
【0046】
図３Ｂおよび３Ｃに示されるように、サイクル生成ネットワークモデル３１０は、第１の生成モデル３１１、第２の生成モデル３１２、第１の判別モデル３１３、および第２の判別モデル３１４を含む。第１の生成モデル３１１は、ソースドメインフォントスタイルの画像をターゲットドメインフォントスタイルの画像に変換するために使用され、第２の生成モデル３１２は、ターゲットドメインフォントスタイルの画像をソースドメインフォントスタイルの画像に変換するために使用される。第１の判別モデル３１３は、変換された画像がソースドメインフォントスタイルに属する画像であるかどうかを判別するために使用され、第２の判別モデル３１４は、変換された画像がターゲットドメインフォントスタイルに属する画像であるかどうかを判別するために使用される。
【0047】
上記のサイクル生成ネットワークモデル３１０の構造に基づいて、サイクル生成ネットワークモデル３１０は、２つのサイクル作業プロセスを含み得る。図３Ｂは、ソースドメインサンプルワードを第１の生成モデル３１１に入力して、第１のターゲットドメイン生成ワードを取得し、第１のターゲットドメイン生成ワードを第２の生成モデル３１２に入力して、第１のソースドメイン生成ワードを取得するというサイクル生成ネットワークモデル３１０の第１のサイクリック作業プロセスを示す。図３Ｃは、ターゲットドメインサンプルワードを第２の生成モデル３１２に入力して、第２のソースドメイン生成ワードを取得し、第２のソースドメイン生成ワードを第１の生成モデル３１１に入力して、第２のターゲットドメイン生成ワードを取得するというサイクル生成ネットワークモデル３１０の第２のサイクリック作業プロセスを示す。これによって、サイクル生成ネットワークモデル３１０のサンプルは、ペアリングされていない画像であってもよく、トレーニングデータ間の１対１のマッピングを確立する必要がない。
【0048】
サイクル生成ネットワークモデル３１０の損失は、生成損失３１０１および判別損失を含む。以下、サイクル生成ネットワークモデル３１０の生成損失３１０１および判別損失について説明する。
【0049】
図３Ｂに示されるように、ソースドメインサンプルワード３０１（例えば、楷体字を含む画像であり、単に楷体字の画像と呼ばれる）を第１の生成モデル３１１に入力して、第１のターゲットドメイン生成ワード３０２（例えば、手書き字を含む画像であり、単に手書き字の画像と呼ばれる）を取得し、第１のターゲットドメイン生成ワード３０２（手書き字の画像）を、第２の生成モデル３１２に入力して、第１のソースドメイン生成ワード（楷体字の画像）を取得するというサイクル生成ネットワークモデル３１０の第１のサイクル作業プロセスである。
【0050】
第１のサイクル作業プロセスでは、ソースドメインサンプルワード３０１は真実の楷体字の画像であり、第１のソースドメイン生成ワード３０３は、モデルによって生成された楷体字の画像であり、偽の楷体字の画像と呼ぶことができる。第１のターゲットドメイン生成ワード３０２は、モデルによって生成された手書き字の画像であり、偽の手書き字の画像と呼ぶことができる。トレーニングプロセスでは、ソースドメインサンプルワード３０１を真ｒｅａｌ（例えば、値は１）にマークし、第１のターゲットドメイン生成ワード３０２を偽Ｆａｋｅ（例えば、値は０）にマークすることができる。
【0051】
【数3】
【0052】
【数4】
【0053】
【数5】
【0054】
ソースドメインサンプルワード３０１を第１の生成モデル３１１に入力することによって得られる第１ソースドメイン生成ワード３０３がスタイル変換のみであり、内容が変更されないことを保証するために、第１の生成モデル３１１に対して、一つのｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｃｙ ｌｏｓｓ（サイクル整合性損失）を追加することができる。当該損失は、ソースドメインサンプルワード３０１と第１のソースドメイン生成ワード３０３との差に基づいて計算される。例えば、ソースドメインサンプルワード３０１と第１のソースドメイン生成ワード３０３との２つの画像の各対応的なピクセルのピクセル値を差分して絶対値を求め、各ピクセルの差が得られ、全てのピクセルの差を合計して第１の生成モデル３１１のサイクル整合性損失を取得し、Ｌ１Ａ２Ｂとして表すことができる。
【0055】
【数6】
【0056】
図３Ｃに示されるように、ターゲットドメインサンプルワード３０４（例えば、手書き字を含む画像であって、単に手書き字の画像と呼ばれる）を第２の生成モデル３１２に入力して、第２のソースドメイン生成ワード３０５（例えば、楷体字を含む画像であって、単に楷体字の画像と呼ばれる）を取得し、第２のソースドメイン生成ワード３０５（楷体字の画像）を第１の生成モデル３１１に入力して、第２のターゲットドメイン生成ワード３０６（手書き字の画像）を取得するというサイクル生成ネットワークモデル３１０の第２のサイクル作業プロセスである。
【0057】
第２のサイクル作業プロセスにおいて、ターゲットドメインサンプルワード３０４は、真実の手書き字の画像であり、第２のターゲットドメイン生成ワード３０６は、モデルによって生成された手書き字の画像であり、偽の手書き字の画像と呼ぶことができる。第２のソースドメイン生成ワード３０５は、モデルによって生成された楷体字の画像であり、偽の楷体字の画像と呼ぶことができる。トレーニングプロセスでは、ターゲットドメインサンプルワード３０４を真Ｒｅａｌ（例えば、値は１）にマークし、第２のソースドメイン生成ワード３０５を偽Ｆａｋｅ（例えば、値は０）にマークすることができる。
【0058】
【数7】
【0059】
【数8】
【0060】
【数9】
【0061】
ターゲットドメインサンプルワード３０４を第２の生成モデル３１２に入力することによって得られる第２のターゲットドメイン生成ワード３０６がスタイル変換のみであり、内容が変更されないことを保証するために、第２の生成モデル３１２に対して、１つのｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｃｙ ｌｏｓｓ（サイクル整合性損失）を追加することができる。当該損失は、ターゲットドメインサンプルワード３０４と第２のターゲットドメイン生成ワード３０６との差に基づいて計算して得られる。例えば、ターゲットドメインサンプルワード３０４と第２のターゲットドメイン生成ワード３０６との２つの画像の各対応的なピクセルのピクセル値を差分し、絶対値を求めて、各ピクセルの差が得られ、全てのピクセルの差を合計して第２の生成モデル３１２のサイクル整合性損失を取得し、Ｌ１Ｂ２Ａとして表すことができる。
【0062】
【数10】
【0063】
【数11】
【0064】
ここで、ＬＧは、サイクル生成ネットワークモデル３１０の生成損失３１０１を表し、第１の生成モデル３１１および第２の生成モデル３１２のパラメータを調整することに用いられる。
【0065】
サイクル生成ネットワークモデル３１０の判別損失は、第１の判別モデル３１３の判別損失および第２の判別モデル３１４の判別損失を含む。
【0066】
【数12】
【0067】
第１の判別モデル３１３の判別損失ＬＡは、第１の判別モデル３１３のパラメータを調整することに用いられる。
【0068】
【数13】
【0069】
第２の判別モデル３１４の判別損失ＬＢは、第２の判別モデル３１４のパラメータを調整することに用いられる。
【0070】
以下、文字分類モデル３２０により生成する誤字損失３２０１および特徴損失３２０２について説明する。
【0071】
【数14】
【0072】
【数15】
【0073】
【数16】
【0074】
【数17】
【0075】
【数18】
【0076】
本開示の実施例によれば、誤字損失３２０１は、サイクル生成ネットワークモデル３１０によって出力される第１のターゲットドメイン生成ワード３０２の誤字率を制限することに用いられ、それにより、サイクル生成ネットワークモデル３１０が誤字を生成する確率を低減する。
【0077】
文字分類モデル３２０は、複数の特徴層（例えば、９０個の特徴層）を含み得る。第１のターゲットドメイン生成ワード３０２をサイクル生成ネットワークモデル３１０に入力し、各層によって出力された生成特徴図を取得することができる。ターゲットドメインサンプルワード３０４をサイクル生成ネットワークモデル３１０に入力し、各層によって出力されたサンプル特徴図を取得することができる。
【0078】
各特徴層によって出力された生成特徴図とサンプル特徴図との間のピクセル差について、この層のピクセル損失を決定することができる。例えば、各特徴層において、当該特徴層から出力された生成特徴図とサンプル特徴図の２つの画像の各対応的なピクセルのピクセル値を差分し、絶対値を求めて、各ピクセルの差が得られる。全てのピクセルの差を合計して当該特徴層のピクセル損失を取得する。
【0079】
複数層の特徴層における少なくとも１つの所定層（例えば、第４５層および第４６層）のピクセル損失の合計を、特徴損失３２０２として選択することができる。
【0080】
上記の特徴損失３２０２を使用して、第１の生成モデル３１１のパラメータを調整することができ、その結果、サイクル生成ネットワークモデル３１０に、第１のターゲットドメイン生成ワード３０２とターゲットドメインサンプルワード３０４との間で大幅に異なる特徴を学習させる。これにより、サイクル生成ネットワークモデル３１０はより多くのフォントの詳細を学習し、サイクル生成ネットワークモデルのフォント特徴の学習能力を向上させる。
【0081】
図４Ａ～４Ｂは、本開示の一実施例による特徴損失の可視化効果図である。
図４Ａに示すように、ターゲットドメインサンプルワード４０１は、真実の手書き字「神」を含む画像であり、すなわち、ターゲットドメインサンプルワード４０１における「神」は、ユーザによる真実の手書き字である。第１のターゲットドメイン生成ワード４０２は、サイクル生成ネットワークモデルによって生成された手書き字「神」を含む画像であり、ターゲットドメインサンプルワード４０１および第１のターゲットドメイン生成ワード４０２のサイズは両方とも２５６＊２５６である。ターゲットドメインサンプルワード４０１および第１のターゲットドメイン生成ワード４０２は、文字分類モデルに入力され、文字分類モデルの第１の所定層から、それぞれサンプル特徴図とサンプル特徴図を出力する。サンプル特徴図とサンプル特徴図のサイズは両方とも６４＊６４である。これら２つの６４＊６４の画像についてピクセル差を計算した後、この２つの画像間の差を示す熱力効果図４０３を取得する。熱力効果図４０３も６４＊６４の画像である。熱力効果図４０３において、色が濃いほど、ターゲットドメインサンプルワード４０１と第１のターゲットドメイン生成ワード４０２との間の差が大きくなる。これによって、サイクル生成ネットワークモデルが、熱力効果図４０３における色の深い部位の特徴をより集中して学習し、サイクル生成ネットワークモデルの特徴学習の能力を向上させることができる。
図４Ａに示すように、ターゲットドメインサンプルワード４０１は、真実の手書き字「神」を含む画像であり、すなわち、ターゲットドメインサンプルワード４０１における「神」は、ユーザによる真実の手書き字である。第１のターゲットドメイン生成ワード４０２は、サイクル生成ネットワークモデルによって生成された手書き字「神」を含む画像であり、ターゲットドメインサンプルワード４０１および第１のターゲットドメイン生成ワード４０２のサイズは両方とも２５６＊２５６である。ターゲットドメインサンプルワード４０１および第１のターゲットドメイン生成ワード４０２は、文字分類モデルに入力され、文字分類モデルの第１の所定層から、それぞれサンプル特徴図とサンプル特徴図を出力する。サンプル特徴図とサンプル特徴図のサイズは両方とも６４＊６４である。これら２つの６４＊６４の画像についてピクセル差を計算した後、この２つの画像間の差を示す熱力効果図４０３を取得する。熱力効果図４０３も６４＊６４の画像である。熱力効果図４０３において、色が濃いほど、ターゲットドメインサンプルワード４０１と第１のターゲットドメイン生成ワード４０２との間の差が大きくなる。これによって、サイクル生成ネットワークモデルが、熱力効果図４０３における色の深い部位の特徴をより集中して学習し、サイクル生成ネットワークモデルの特徴学習の能力を向上させることができる。
【0082】
同様に、図４Ｂに示すように、ターゲットドメインサンプルワード４０１および第１のターゲットドメイン生成ワード４０２は、文字分類モデルに入力され、文字分類モデルの第２の所定層から、サンプル特徴図およびサンプル特徴図がそれぞれ出力される。サンプル特徴図とサンプル特徴図とのサイズは両方とも３２＊３２である。これら２つの３２＊３２の画像間のピクセル差を計算した後、２つの画像間の差を示す熱力効果図４０４を取得する。熱力効果図４０４も３２ ＊３２の画像である。熱力効果図４０４において、色が濃いほど、ターゲットドメインサンプルワード４０１と第１のターゲットドメイン生成ワード４０２との間の差が大きくなる。これによって、サイクル生成ネットワークモデルが、熱力効果図４０３における色の深い部位の特徴をより集中して学習し、サイクル生成ネットワークモデルの特徴学習の能力を向上させることができる。
【0083】
熱力効果図４０３と熱力効果図４０４を組み合わせて、サイクル生成ネットワークモデルに、ターゲットドメインサンプルワード４０１と第１のターゲットドメイン生成ワード４０２との間の大幅に異なる特徴を学習させて、サイクル生成ネットワークモデルの特性学習能力を向上させる。
【0084】
図５は、本開示の一実施例による特徴損失を使用した効果比較図である。
【0085】
【数19】
【0086】
図６は、本開示の一実施例による誤字損失を使用する効果の比較図である。
図６に示すように、画像６０１は、誤字損失によってサイクル生成ネットワークモデルを制限しておらず生成された手書き字「伶」を含む画像である。画像６０２は、誤字損失によってサイクル生成ネットワークモデルを制限して生成された手書き字「伶」を含む画像である。画像６０１における「伶」は、正しい字「伶」と比較して、一の点が少ないが、画像６０２における「伶」は正しい「伶」である。したがって、誤字損失によってサイクル生成ネットワークモデルを制限すれば、正しい文字を学習することができ、誤字率を低減することができる。
図６に示すように、画像６０１は、誤字損失によってサイクル生成ネットワークモデルを制限しておらず生成された手書き字「伶」を含む画像である。画像６０２は、誤字損失によってサイクル生成ネットワークモデルを制限して生成された手書き字「伶」を含む画像である。画像６０１における「伶」は、正しい字「伶」と比較して、一の点が少ないが、画像６０２における「伶」は正しい「伶」である。したがって、誤字損失によってサイクル生成ネットワークモデルを制限すれば、正しい文字を学習することができ、誤字率を低減することができる。
【0087】
図７は、本開示の一実施例による、サイクル生成ネットワークモデルを使用してソースドメインサンプルワードに基づいてターゲットドメイン生成ワードを生成する効果図である。
【0088】
図７に示すように、画像７０１における文字は、実際にユーザによって手書きされた文字であり、画像７０２における文字は、サイクル生成ネットワークモデルによって生成された文字であり、画像７０２における文字は、ユーザが実際に手書きされた文字のフォントスタイルを有する。
【0089】
本開示の実施例は、サイクル生成ネットワークモデルを使用してソースドメインサンプルワードに基づいてターゲットドメイン生成ワードを生成することによって、複数のスタイルのフォント生成を実現でき、且つ文字分類モデルを使用して誤字損失および特徴損失を導入することによって、サイクル生成ネットワークモデルがフォント特徴を学習する能力を向上し、誤字を生成する確率を低減することができる。
【0090】
図８は、本開示の一実施例によるフォントライブラリの確立方法のフローチャートである。
【0091】
図８に示すように、当該フォントライブラリの確立方法８００は、操作Ｓ８１０～Ｓ８２０を含む。
【0092】
操作Ｓ８１０において、ソースドメイン入力ワードをサイクル生成ネットワークモデルに入力して、ターゲットドメインの新規ワードを取得する。
【0093】
サイクル生成ネットワークモデルは、サイクル生成ネットワークモデルのトレーニング方法によってトレーニングして得られる。
【0094】
例えば、ソースドメインの入力ワードは、楷体字の画像であり、新規ワードは、手書き字の画像であり、楷体字の画像をサイクル生成ネットワークモデルに入力し、手書き字の画像を取得することができる。
【0095】
操作Ｓ８２０では、ターゲットドメインの新規ワードに基づいてフォントライブラリを確立する。
【0096】
例えば、サイクル生成ネットワークモデルによって生成された新規ワードを記憶し、手書きフォントスタイルのフォントライブラリを確立する。このフォントライブラリは、入力方法に適用されることができる。ユーザは、当該フォントライブラリに基づく入力方法を使用して手書きフォントスタイルの文字を直接に取得することができ、ユーザの多様化のニーズを満たすことができ、ユーザ体験を向上させる。
【0097】
図９は、本開示の一実施例によるサイクル生成ネットワークモデルのトレーニング装置のブロック図である。
【0098】
図９に示すように、当該サイクル生成ネットワークモデル９００は、第１の生成モジュール９０１、第１の計算モジュール９０２、第２の計算モジュール９０３および第１の調整モジュール９０４を含み得る。
【0099】
第１の生成モジュール９０１は、ソースドメインサンプルワードをサイクル生成ネットワークモデルに入力して、第１のターゲットドメイン生成ワードを取得するために用いられる。
【0100】
第１の計算モジュール９０２は、トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力することによって、サイクル生成ネットワークモデルの誤字損失を計算するために用いられる。
【0101】
第２の計算モジュール９０３は、第１のターゲットドメイン生成ワードおよび予め設定されたターゲットドメインサンプルワードを文字分類モデルに入力することによって、サイクル生成ネットワークモデルの特徴損失を計算するために用いられる。
【0102】
第１の調整モジュール９０４は、誤字損失および特徴損失によってサイクル生成ネットワークモデルのパラメータを調整するために用いられる。
【0103】
本開示の実施例によれば、第１の計算モジュール９０２は、文字ベクトル生成ユニットおよび誤字損失計算ユニットを含む。
【0104】
文字ベクトル生成ユニットは、トレーニングされた文字分類モデルに第１のターゲットドメイン生成ワードを入力して、第１のターゲットドメイン生成ワードの生成文字ベクトルを取得するために用いられる。
【0105】
誤字損失計算ユニットは、生成文字ベクトルと予め設定された標準文字ベクトルとの間の差に応じて誤字損失を計算するために用いられる。
【0106】
本開示の実施例によれば、誤字損失計算ユニットは、以下の式に従って誤字損失ＬＣを計算するために用いられる。
【0107】
【数20】
【0108】
本開示の実施例によれば、文字分類モデルは、複数の特徴層を含み、第２の計算モジュール９０３は、第１の特徴図生成ユニット、第２の特徴図生成ユニットおよび特徴損失計算ユニットを含む。
【0109】
第１の特徴図生成ユニットは、第１のターゲットドメイン生成ワードを文字分類モデルに入力して、文字分類モデルの各特徴層によって出力された生成特徴図を取得するために用いられる。
【0110】
第２の特徴図生成ユニットは、ターゲットドメインサンプルワードを文字分類モデルに入力して、文字分類モデルの各特徴層によって出力されたサンプル特徴図を取得するために用いられる。
【0111】
特徴損失計算ユニットは、少なくとも１つの特徴層の生成特徴図とサンプル特徴図との間の差に従って特徴損失を計算するために用いられる。
【0112】
本開示の実施例によれば、特徴損失計算ユニットは、ピクセル損失計算サブユニットおよび特徴損失計算サブユニットを含む。
【0113】
ピクセル損失計算サブユニットは、少なくとも１つの特徴層の各層について、当該特徴層の生成特徴図とサンプル特徴図との間のピクセル差を計算し、当該特徴層のピクセル損失を取得するために用いられる。
【0114】
特徴損失計算サブユニットは、少なくとも１つの特徴層のピクセル損失に従って、特徴損失を計算するために用いられる。
【0115】
本開示の実施例によれば、ピクセル損失計算サブユニットは、生成特徴図中の各位置のピクセルについて、このピクセルのピクセル値とサンプル特徴図における対応位置でのピクセルのピクセル値との間の差の絶対値を計算し、各位置のピクセルに対する差を取得し、複数の位置のピクセルの差に応じて、生成特徴図とサンプル特徴図との間のピクセル差を決定するために用いられる。
【0116】
本開示の実施例によれば、サイクル生成ネットワークモデルは、第１の生成モデルおよび第２の生成モデルを含む。第１の生成モジュールは、ソースドメインサンプルワードを第１の生成モデルに入力して、第１のターゲットドメイン生成ワードと第１のソースドメイン生成ワードを取得するために用いられる。当該装置は、ターゲットドメインサンプルワードを第２の生成ネットワークに入力して第２のターゲットドメイン生成ワードと第２のソースドメイン生成ワードを取得するために用いられる第２の生成モジュールと、ソースドメインサンプルワード、第１のターゲットドメイン生成ワード、第１のソースドメイン生成ワード、ターゲットドメインサンプルワード、第２のターゲットドメイン生成ワード、および第２のソースドメイン生成ワードによって、サイクル生成ネットワークモデルの生成損失を計算するために用いられる第３の計算モジュールと、生成損失によって、第１の生成モデルのパラメータを調整するために用いられる第２の調整モジュールと、をさらに含む。
【0117】
本開示の実施例によれば、第１の調整モジュールは、誤字損失および特徴損失によって第１の生成モデルのパラメータを調整するために用いられる。
【0118】
本開示の実施例によれば、ソースドメインサンプルワードは、ソースドメインフォントスタイルを有する画像であり、ターゲットドメインサンプルワードは、ターゲットドメインフォントスタイルを有する画像である。
【0119】
図１０は、本開示の一実施例による、フォントライブラリの確立装置のブロック図である。
【0120】
図１０に示すように、当該フォントライブラリの確立装置１０００は、第３の生成モジュールおよびフォントライブラリ確立モジュールを含み得る。
【0121】
第３の生成モジュールは、ソースドメイン入力ワードをサイクル生成ネットワークモデルに入力して、ターゲットドメインの新規ワードを取得するために用いられる。
【0122】
フォントライブラリ確立モジュールは、ターゲットドメインの新規ワードに基づいてフォントライブラリを確立するために用いられる。
【0123】
サイクル生成ネットワークモデルは、上記のサイクル生成ネットワークモデルのトレーニング装置によってトレーニングして得られる。
【0124】
本開示の実施例によれば、本開示は、さらに電子機器、可読記憶媒体及びコンピュータプログラムを提供する。
【0125】
図１１は、本開示の実施例を実施することが可能な例示的な電子機器１１００の例示的なブロック図を示す。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、個人デジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の計算装置である。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は、例示に過ぎず、本明細書に記載された及び/又は要求された本開示の実現を限定しない。
【0126】
図１１に示すように、電子機器１１００は、計算ユニット１１０１を含み、リードオンリーメモリ（ＲＯＭ）１１０２に記憶されたコンピュータプログラム又は記憶ユニット１１０８からランダムアクセスメモリ（ＲＡＭ）１１０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができる。ＲＡＭ１１０３には、さらに電子機器１１００の操作に必要な様々なプログラム及びデータを記憶してもよい。計算ユニット１１０１、ＲＯＭ１１０２、およびＲＡＭ１１０３は、バス１１０４を介して相互に接続される。入出力（Ｉ/Ｏ）インタフェース１１０５も、バス１１０４に接続される。
【0127】
電子機器１１００における複数の部品は、Ｉ/Ｏインタフェース１１０５に接続され、Ｉ/Ｏインタフェース１１０５は、例えばキーボード、マウス等の入力ユニット１１０６と、例えば様々な種類のディスプレイ、スピーカ等の出力ユニット１１０７と、例えば磁気ディスク、光ディスク等の記憶ユニット１１０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット１１０９とを含む。通信ユニット１１０９は、電子機器１１００がインターネット等のコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。
【0128】
計算ユニット１１０１は、処理及び計算能力を有する各種の汎用及び/又は専用の処理モジュールであってもよい。計算ユニット１１０１の幾つかの例示としては、中央処理装置（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）計算チップ、各種機械学習モデルアルゴリズムの計算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算ユニット１１０１は、例えばサイクル生成ネットワークモデルのトレーニング方法及び／又はフォントライブラリの確立方法のような上記に記載の各方法及び処理を実行する。例えば、いくつかの実施例において、サイクル生成ネットワークモデルのトレーニング方法及び／又はフォントライブラリの確立方法は、例えば記憶ユニット１１０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ １１０２及び／又は通信ユニット１１０９を介して電子機器１１００にロード及び/又はインストールされてもよい。コンピュータプログラムがＲＡＭ１１０３にロードされて計算ユニット１１０１により実行される場合、上記に記載のサイクル生成ネットワークモデルのトレーニング方法及び／又はフォントライブラリの確立方法の一つ又は複数のステップを実行してもよい。代替的に、他の実施例において、計算ユニット１１０１は、他の任意の適切な方式（例えば、ファームウェア）によりサイクル生成ネットワークモデルのトレーニング方法及び／又はフォントライブラリの確立方法を実行するように構成されてもよい。
【0129】
本明細書で説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス （ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムにおいて実施され、該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び/又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも一つの入力装置、及び該少なくとも一つの出力装置に伝送することができることを含んでもよい。
【0130】
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び/又はブロック図に規定された機能／操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
【0131】
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、一つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ-ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
【0132】
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、語音入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。
【0133】
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。
【0134】
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。相応的なコンピュータで運行し、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムにより、クライアント-サーバの関係を生成する。
【0135】
理解すべきものとして、以上に示した様々な形式のフローによって、ステップについて、改めてソートし、追加し、又は削除することができる。例えば、本開示に記載の各ステップは、並列的に実行されてもよく、順次に実行されてもよく、異なる順序で実行されてもよい。本開示に開示される技術案の所望の結果を実現することができれば、本明細書はこれを限定しない。
【0136】
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば理解すべきように、設計要求及び他の要因に基づいて、様々な修正、組み合わせ、サブ組み合わせ及び代替を行うことができる。本開示の精神と原則内で行われた任意の修正、均等置換及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】