特許 7527488 モデル訓練方法、データ強化方法、装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-25

(45)【発行日】2024-08-02

(54)【発明の名称】モデル訓練方法、データ強化方法、装置、電子機器及び記憶媒体

(51)【国際特許分類】

   G06N 3/094 20230101AFI20240726BHJP

【ＦＩ】

G06N3/094

【請求項の数】 11

(21)【出願番号】P 2023531631

(86)(22)【出願日】2021-11-15

(65)【公表番号】

(43)【公表日】2023-11-30

(86)【国際出願番号】 CN2021130667

(87)【国際公開番号】W WO2022105713

(87)【国際公開日】2022-05-27

【審査請求日】2023-06-01

(31)【優先権主張番号】202011320953.8

(32)【優先日】2020-11-23

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】523192370

【氏名又は名称】京▲東▼城市（北京）数字科技有限公司

(74)【代理人】

【識別番号】110000914

【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ

(72)【発明者】

【氏名】王新左

(72)【発明者】

【氏名】劉洋

(72)【発明者】

【氏名】張鈞波

(72)【発明者】

【氏名】鄭宇

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１９－０４６３９０（ＪＰ，Ａ）

【文献】特開２０１９－０５６９７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０９４

(57)【特許請求の範囲】

【請求項1】

モデル訓練方法であって、
敵対的生成ネットワークモデルが、ジェネレータと、２つのディスクリミネータと、を含み、前記ジェネレータの出力は２つの前記ディスクリミネータの入力とし、
前記ジェネレータが参照サンプルデータを生成するステップと、
第１ディスクリミネータが参照サンプルデータと予め設定されたネガティブサンプルデータとの間の第１距離を算出するステップと、
第２ディスクリミネータが前記参照サンプルデータおよび予め設定されたネガティブサンプルデータからなるネガティブクラスデータと、予め設定されたポジティブサンプルデータとの間の第２距離を算出するステップと、
前記第１距離及び前記第２距離に基づいて目的関数を決定するステップと、
前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得るステップと、を含むモデル訓練方法。

【請求項2】

前記目的関数の最適化目標は前記第１距離を最小化し、前記第２距離を最大化することである請求項１に記載のモデル訓練方法。

【請求項3】

前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得る前記ステップは、
前記目的関数を利用して前記敵対的生成ネットワークモデルを訓練し、前記ジェネレータのジェネレータパラメータ、前記第１ディスクリミネータの第１ディスクリミネータパラメータ及び前記第２ディスクリミネータの第２ディスクリミネータパラメータを得るステップと、
前記ジェネレータパラメータ、前記第１ディスクリミネータパラメータ及び前記第２ディスクリミネータパラメータを前記敵対的生成ネットワークモデルに入力し、前記敵対的生成ネットワークモデルを得るステップと、を含む請求項１又は２に記載のモデル訓練方法。

【請求項4】

前記目的関数は、

【数1】

であり、
ただし、ｐｏｓＤａｔａはポジティブクラスデータを表し、ｎｅｇＤａｔａはネガティブクラスデータを表し、ａｌｌＤａｔａは生成されたネガティブクラスデータと元のネガティブクラスデータとの和集合を表し、Ｄ１は第１ディスクリミネータパラメータを表し、Ｄ２は第２ディスクリミネータパラメータを表し、Ｇはジェネレータパラメータを表す請求項３に記載のモデル訓練方法。

【請求項5】

前記第１ディスクリミネータと前記第２ディスクリミネータは構造が同じであり、前記第１ディスクリミネータは、カスケード接続された複数の判別ユニットと、ｓｉｇｍｏｉｄ層と、を含み、最後段の判別ユニットの出力がｓｉｇｍｏｉｄ層の入力となり、前記判別ユニットのそれぞれは、カスケード接続された完全接続層、ｌｅａｋｙ－ＲｅＬＵ層及びｓｉｇｍｏｉｄ層を含む請求項１～４のいずれか１項に記載のモデル訓練方法。

【請求項6】

前記ジェネレータは、カスケード接続された複数の生成ユニットを含み、生成ユニットのそれぞれは、カスケード接続された完全接続層、標準化層及びｌｅａｋｙ－ＲｅＬＵ層を含む請求項１～５のいずれか１項に記載のモデル訓練方法。

【請求項7】

データ強化方法であって、
請求項１～６のいずれか１項に記載のモデル訓練方法によって訓練された敵対的生成ネットワークモデルを利用して第２ネガティブサンプルデータを生成するステップと、
予め設定されたポジティブサンプルデータと予め設定されたネガティブサンプルデータを含む元のデータセットに前記第２ネガティブサンプルデータを追加して、新しいデータセットを得るステップと、を含むデータ強化方法。

【請求項8】

モデル訓練装置であって、
敵対的生成ネットワークモデルが、ジェネレータと、２つのディスクリミネータと、を含み、前記ジェネレータの出力は２つの前記ディスクリミネータの入力とし、
前記ジェネレータが参照サンプルデータを生成するように構成されている生成モジュールと、
第１ディスクリミネータが参照サンプルデータと予め設定されたネガティブサンプルデータとの間の第１距離を算出するように構成されている第１算出モジュールと、
第２ディスクリミネータが前記参照サンプルデータおよび予め設定されたネガティブサンプルデータからなるネガティブクラスデータと、予め設定されたポジティブサンプルデータとの間の第２距離を算出するように構成されている第２算出モジュールと、
前記第１距離及び前記第２距離に基づいて目的関数を決定するように構成されている選択モジュールと、
前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得るように構成されている訓練モジュールと、を含むモデル訓練装置。

【請求項9】

データ強化装置であって、
請求項８に記載のモデル訓練方法によって訓練された敵対的生成ネットワークモデルを利用して第２ネガティブサンプルデータを生成するように構成されている生成モジュールと、
予め設定されたポジティブサンプルデータと予め設定されたネガティブサンプルデータを含む元のデータセットに前記第２ネガティブサンプルデータを追加して、新しいデータセットを得るように構成されている追加モジュールと、を含むデータ強化装置。

【請求項10】

プロセッサと、通信インターフェースと、メモリと、通信バスと、を含み、前記プロセッサ、前記通信インターフェース、前記メモリは前記通信バスを介して相互間の通信を行い、
前記メモリは、コンピュータプログラムを格納するように構成されており、
前記プロセッサは、前記メモリに格納されたプログラムを実行すると、請求項１～６のいずれか１項に記載のモデル訓練方法又は請求項７に記載のデータ強化方法を実現するように構成されている電子機器。

【請求項11】

プロセッサによって実行されると請求項１～６のいずれか１項に記載のモデル訓練方法を実現するモデル訓練方法のプログラム、又はプロセッサによって実行されると請求項７に記載のデータ強化方法を実現するデータ強化方法のプログラムが記憶されているコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般には、コンピュータの技術分野に関し、より具体的には、モデル訓練方法、データ強化方法、装置、電子機器及び記憶媒体に関する。

【0002】

本開示は、２０２０年１１月２３日に中華人民共和国国家知識産権局に提出された、出願番号が２０２０１１３２０９５３．８、発明の名称が「モデル訓練方法、データ強化方法、装置、電子機器及び記憶媒体」である発明特許出願の全ての利益を主張しており、当該出願のすべての内容は引用により本開示に組み込まれている。

【背景技術】

【0003】

データ収集技術が絶えずに発展するに伴い、ますます多くのデータが収集され、ビジネス分析、金融サービス、医療教育など様々な分野で活用されている。

【0004】

しかし、データ自体の不均衡性と収集手段の制限のため、かなり多くのデータにラベルがない或いはラベル不均衡の状況が存在し、データサンプルラベル不均衡とは、異なるラベルのデータソースの中で、あるラベルのデータがほとんどを占めて、他のラベルのデータがごく一部しか占めていないことを指す。例えば二分類予測問題では、ラベルが「１」のデータは全体の９９％を占めるのに対し、ラベルが「０」のデータは１％しかない。

【発明の概要】

【課題を解決するための手段】

【0005】

第１態様では、本開示は、
敵対的生成ネットワークモデルが、ジェネレータと、２つのディスクリミネータと、を含み、前記ジェネレータの出力は２つの前記ディスクリミネータの出力とし、
前記ジェネレータが参照サンプルデータを生成するステップと、
第１ディスクリミネータが参照サンプルデータと予め設定されたネガティブサンプルデータとの間の第１距離を算出するステップと、
第２ディスクリミネータが前記参照サンプルデータと予め設定されたネガティブサンプルデータからなるネガティブグラスデータと、予め設定されたポジティブサンプルデータとの間の第２距離を算出するステップと、
前記第１距離及び前記第２距離に基づいて目的関数を決定するステップと、
前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得るステップと、を含むモデル訓練方法に関する。

【0006】

いくつかの実施形態では、前記目的関数の最適化目標は前記第１距離を最小化し、前記第２距離を最大化することである。

【0007】

いくつかの実施形態では、前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得る前記ステップは、
前記目的関数を利用して前記敵対的生成ネットワークモデルを訓練し、前記ジェネレータのジェネレータパラメータ、前記第１ディスクリミネータの第１ディスクリミネータパラメータ及び前記第２ディスクリミネータの第２ディスクリミネータパラメータを得るステップと、
前記ジェネレータパラメータ、前記第１ディスクリミネータパラメータ及び前記第２ディスクリミネータパラメータを前記敵対的生成ネットワークモデルに入力し、前記敵対的生成ネットワークモデルを得るステップと、を含む。

【0008】

いくつかの実施形態では、前記目的関数は、

【数1】

であり、
ただし、ｐｏｓＤａｔａはポジティブクラスデータを表し、ｎｅｇＤａｔａはネガティブグラスデータを表し、ａｌｌＤａｔａは生成されたネガティブグラスデータと元のネガティブグラスデータとの和集合を表す。Ｄ_１は第１ディスクリミネータパラメータを表し、Ｄ_２は第２ディスクリミネータパラメータを表し、Ｇはジェネレータパラメータを表す。

【0009】

いくつかの実施形態では、前記第１ディスクリミネータと前記第２ディスクリミネータは構造が同じであり、前記第１ディスクリミネータは、カスケード接続された複数の判別ユニットと、ｓｉｇｍｏｉｄ層と、を含み、最後段の判別ユニットの出力がｓｉｇｍｏｉｄ層の入力となり、前記判別ユニットのそれぞれは、カスケード接続された完全接続層、ｌｅａｋｙ－ＲｅＬＵ層及びｓｉｇｍｏｉｄ層を含む。

【0010】

いくつかの実施形態では、前記ジェネレータは、カスケード接続された複数の生成ユニットを含み、生成ユニットのそれぞれは、カスケード接続された完全接続層、標準化層及びｌｅａｋｙ－ＲｅＬＵ層を含む。

【0011】

第２態様では、本開示は、
第１態様のいずれか１項に記載のモデル訓練方法によって訓練された敵対的生成ネットワークモデルを利用して第２ネガティブサンプルデータを生成するステップと、
予め設定されたポジティブサンプルデータと予め設定されたネガティブサンプルデータを含む元のデータセットに前記第２ネガティブサンプルデータを追加して、新しいデータセットを得るステップと、を含むデータ強化方法に関する。

【0012】

第３態様では、本開示は、
敵対的生成ネットワークモデルが、ジェネレータと、２つのディスクリミネータと、を含み、前記ジェネレータの出力は２つの前記ディスクリミネータの出力とし、
前記ジェネレータが参照サンプルデータを生成するように構成されている生成モジュールと、
第１ディスクリミネータが参照サンプルデータと予め設定されたネガティブサンプルデータとの間の第１距離を算出するように構成されている第１算出モジュールと、
第２ディスクリミネータが前記参照サンプルデータと予め設定されたネガティブサンプルデータからなるネガティブグラスデータと、予め設定されたポジティブサンプルデータとの間の第２距離を算出するように構成されている第２算出モジュールと、
前記第１距離及び前記第２距離に基づいて目的関数を決定するように構成されている選択モジュールと、
前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得るように構成されている訓練モジュールと、を含むモデル訓練装置に関する。

【0013】

いくつかの実施形態では、前記目的関数の最適化目標は前記第１距離を最小化し、前記第２距離を最大化することである。

【0014】

いくつかの実施形態では、前記訓練モジュールは、さらに、
前記目的関数を利用して前記敵対的生成ネットワークモデルを訓練し、前記ジェネレータのジェネレータパラメータ、前記第１ディスクリミネータの第１ディスクリミネータパラメータ及び前記第２ディスクリミネータの第２ディスクリミネータパラメータを得て、
前記ジェネレータパラメータ、前記第１ディスクリミネータパラメータ及び前記第２ディスクリミネータパラメータを前記敵対的生成ネットワークモデルに入力し、前記敵対的生成ネットワークモデルを得るように構成されている。

【0015】

いくつかの実施形態では、前記目的関数は、

【数2】

であり、
ただし、ｐｏｓＤａｔａはポジティブクラスデータを表し、ｎｅｇＤａｔａはネガティブグラスデータを表し、ａｌｌＤａｔａは生成されたネガティブグラスデータと元のネガティブグラスデータとの和集合を表す。Ｄ_１は第１ディスクリミネータパラメータを表し、Ｄ_２は第２ディスクリミネータパラメータを表し、Ｇはジェネレータパラメータを表す。

【0016】

いくつかの実施形態では、前記第１ディスクリミネータと前記第２ディスクリミネータは構造が同じであり、前記第１ディスクリミネータは、カスケード接続された複数の判別ユニットと、ｓｉｇｍｏｉｄ層と、を含み、最後段の判別ユニットの出力がｓｉｇｍｏｉｄ層の入力となり、前記判別ユニットのそれぞれは、カスケード接続された完全接続層、ｌｅａｋｙ－ＲｅＬＵ層及びｓｉｇｍｏｉｄ層を含む。

【0017】

いくつかの実施形態では、前記ジェネレータは、カスケード接続された複数の生成ユニットを含み、生成ユニットのそれぞれは、カスケード接続された完全接続層、標準化層及びｌｅａｋｙ－ＲｅＬＵ層を含む。

【0018】

第４態様では、本開示は、
本開示に記載のモデル訓練方法によって訓練された敵対的生成ネットワークモデルを利用して第２ネガティブサンプルデータを生成するように構成されている生成モジュールと、
予め設定されたポジティブサンプルデータと予め設定されたネガティブサンプルデータを含む元のデータセットに前記第２ネガティブサンプルデータを追加して、新しいデータセットを得るように構成されている追加モジュールとを含むデータ強化装置に関する。

【0019】

第５態様では、本開示は、プロセッサと、通信インターフェースと、メモリと、通信バスと、を含み、前記プロセッサ、前記通信インターフェース、前記メモリは前記通信バスを介して相互間の通信を行い、
前記メモリは、コンピュータプログラムを格納するように構成されており、
前記プロセッサは、前記メモリに格納されたプログラムを実行すると、本開示に記載のモデル訓練方法又は本開示に記載のデータ強化方法を実現するように構成されている電子機器に関する。

【0020】

第６態様では、本開示は、プロセッサによって実行されると本開示に記載のモデル訓練方法を実現するモデル訓練方法のプログラム、又はプロセッサによって実行されると本開示に記載のデータ強化方法を実現するデータ強化方法のプログラムが記憶されているコンピュータ読み取り可能な記憶媒体に関する。

【0021】

いくつかの実施形態では、本開示の実施例において、ジェネレータによって参照サンプルデータを生成し、第１ディスクリミネータによって参照サンプルデータと予め設定されたネガティブサンプルデータとの間の第１距離を算出し、第２ディスクリミネータによって前記参照サンプルデータと予め設定されたネガティブサンプルデータからなるネガティブグラスデータと、予め設定されたポジティブサンプルデータとの間の第２距離を算出し、前記第１距離及び前記第２距離に基づいて目的関数を決定し、最後に、前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得る。

【0022】

いくつかの実施形態では、本開示の実施例において、ジェネレータによって参照サンプルデータを生成し、第１距離及び第２距離に基づいて目的関数を決定し、前記目的関数を利用して前記敵対的生成ネットワークモデルを訓練することにより、訓練済みの敵対的生成ネットワークモデルの出力データは予め設定されたサンプル均衡条件を満たし、少ないクラスのサンプルについて追加のデータを生成し、すなわち、生成された出力データは２つのクラスのサンプルをより均衡にし、追加データが生成されるので、データ量の損失をもたらし、データサンプルラベルを不均衡にすることはない。

【0023】

ここでの図面は本明細書に組み込まれ、本明細書の一部を構成し、本開示に適合する実施例を示し、本明細書と共に本開示の原理を説明するために使用される。
本開示の技術的解決手段をより明確に説明するために、以下に本開示の図面を簡単に説明するが、当業者にとって、創造的な労力を払うことなく、これらの図面から他の図面を得ることができることは明らかである。

【図面の簡単な説明】

【0024】

【図1】本開示の一実施例に係る敵対的生成ネットワークモデルの原理概略図である。

【図2】本開示の一実施例に係るモデル訓練方法の一例のフローチャートである。

【図3】図１におけるステップＳ１０５のフローチャートである。

【図4】本開示の一実施例に係るモデル訓練方法の別のフローチャートである。

【図5】本開示の一実施例に係るモデル訓練装置の構造図である。

【図6】本開示の一実施例に係る別のモデル訓練装置の構造図である。

【図7】本開示の一実施例に係る電子機器の構造図である。

【発明を実施するための形態】

【0025】

本開示の実施例の目的、技術的解決手段、及び利点をより明確にするために、以下では、本開示の実施例の技術的解決手段について、図面を参照して明確かつ完全に説明するが、説明される実施例は本開示の一部の実施例であり、全ての実施例ではないことは明らかである。本開示の実施例に基づいて、当業者が創造的な労働を行わないことを前提として取得した他のすべての実施例は、本開示の保護範囲に属する。

【0026】

本開示の一実施例は、モデル訓練方法、データ強化方法、装置、電子機器、及び記憶媒体を提供し、前記モデル訓練方法は、２つのニューラルネットワークを互いに敵対させることによって学習を行う、機械学習における教師なし学習の１つである敵対的生成ネットワークを訓練するためのものである。敵対的生成ネットワークは、生成ネットワークと判別ネットワークとから構成される。生成ネットワークは、入力として潜在空間（ｌａｔｅｎｔ ｓｐａｃｅ）からランダムにサンプリングし、その出力結果は訓練セット内の実サンプルを可能な限り模倣する必要がある。判別ネットワークの入力は実サンプル又は生成ネットワークの出力であり、その目的は生成ネットワークの出力を実サンプルから可能な限り区別することである。生成ネットワークは、判別ネットワークを可能な限り欺く必要がある。この２つのネットワークは互いに戦いながらパラメータを調整し、最終的な目的は、判別ネットワークが生成ネットワークの出力が真であるか否かを判断できないようにすることである。

【0027】

いくつかの実施形態では、ポジティブサンプルとネガティブサンプルの両方を利用してネガティブサンプルデータを生成し、敵対的生成ネットワークモデルを訓練する。本開示の実施例が準じる原理は、生成されたデータとネガティブサンプルとの間の差を小さくし、生成されたデータとポジティブサンプルとの差を大きくすることにある。このような方法によって生成されたネガティブサンプルは実ネガティブサンプルと類似の分布を持つが、ポジティブサンプルとは十分な分離間隔を持つ。このようにして、再構築されたデータでは、分類器はポジティブクラスとネガティブラスの分離面をより適切に見つけることができる。

【0028】

いくつかの実施形態では、図１に示すように、敵対的生成ネットワークモデルは、ジェネレータ（ｇｅｎｅｒａｔｏｒ）と、２つのディスクリミネータ（ｄｉｓｃｒｉｍｉｎａｔｏｒ）と、を含み、つまり、モデル訓練方法は、ジェネレータと２つのディスクリミネータを訓練するものである。ただし、前記ジェネレータの出力は２つの前記ディスクリミネータの出力とし、２つのディスクリミネータがそれぞれ第１ディスクリミネータと第２ディスクリミネータであるとすれば、ジェネレータは、出力したランダムノイズデータを、実ネガティブサンプルとは分布が類似のデータに変換し、参照サンプルデータ（ネガティブサンプルデータ）を生成するように構成されており、これにより、データ強化の目的を達成させる。

【0029】

参照サンプルデータ及び予め設定されたネガティブサンプルデータを第１ディスクリミネータに入力し、第１ディスクリミネータは参照サンプルデータと予め設定されたネガティブサンプルデータとの間の差を判別し、つまり、第１ディスクリミネータは、参照サンプルデータと予め設定されたネガティブサンプルデータが同一クラスに属するか否かを判断するように構成されている。

【0030】

参照サンプルデータと予め設定されたネガティブサンプルデータを合わせ、ネガティブグラスデータを得て、ネガティブグラスデータ及び予め設定されたポジティブサンプルデータを第２ディスクリミネータに入力し、第２ディスクリミネータはネガティブグラスデータと予め設定されたポジティブサンプルデータとの間の差を判別し、つまり、第２ディスクリミネータは、ネガティブグラスデータと予め設定されたポジティブサンプルデータが同一クラスに属するか否かを判断するように構成されている。

【0031】

図２に示すように、前記モデル訓練方法は、以下のステップＳ１０１～ステップＳ１０５を含んでもよい。
ステップＳ１０１：前記ジェネレータは参照サンプルデータを生成する。
ステップＳ１０２：第１ディスクリミネータは参照サンプルデータと予め設定されたネガティブサンプルデータとの間の第１距離を算出する。
ステップＳ１０３：第２ディスクリミネータは前記参照サンプルデータと予め設定されたネガティブサンプルデータからなるネガティブグラスデータと、予め設定されたポジティブサンプルデータとの間の第２距離を算出する。
ステップＳ１０４：前記第１距離及び前記第２距離に基づいて目的関数を決定する。
ステップＳ１０５：前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得る。

【0032】

いくつかの実施形態では、前記ジェネレータは、カスケード接続された複数の生成ユニットを含み、生成ユニットのそれぞれは、カスケード接続された完全接続層、標準化層及びｌｅａｋｙ－ＲｅＬＵ層を含み、ただし、標準化層は、勾配爆発を防止するためのｂａｔｃｈ－ｎｏｒｍａｌｉｚａｔｉｏｎアルゴリズム層を指してもよく、いくつかの実施形態では、第１段生成ユニットでは、完全接続層及びｌｅａｋｙ－ＲｅＬＵ層のいずれの次元も２５６であり、第２段生成ユニットでは、完全接続層及びｌｅａｋｙ－ＲｅＬＵ層のいずれの次元も５１２であり、第３段生成ユニットでは、完全接続層及びｌｅａｋｙ－ＲｅＬＵ層のいずれの次元も１０２４である。
ステップＳ１０１の前に、予め設定されたポジティブサンプルデータとネガティブサンプルデータを含む元のデータセット及びガウス分布に従うランダムノイズデータを取得してもよい。

【0033】

いくつかの実施形態では、ラベルの少ないサンプルはネガティブサンプルデータ、ラベルの多いサンプルはポジティブサンプルデータと呼ばれ、しかも、ネガティブサンプルのラベルを－１、ポジティブサンプルのラベルを１とする。

【0034】

いくつかの実施形態では、ガウス分布に従うランダムノイズデータをジェネレータの入力層に入力してもよく、ランダムノイズデータの次元は１００次元であり、ジェネレータはランダムノイズデータに基づいて参照サンプルデータを生成することができる。

【0035】

いくつかの実施形態では、前記第１ディスクリミネータは、カスケード接続された複数の判別ユニットと、ｓｉｇｍｏｉｄ層と、を含み、最後段の判別ユニットの出力がｓｉｇｍｏｉｄ層の入力となり、前記判別ユニットのそれぞれは、カスケード接続された完全接続層及びｌｅａｋｙ－ＲｅＬＵ層を含み、第１段判別ユニットでは、完全接続層及びｌｅａｋｙ－ＲｅＬＵ層のいずれの次元も５１２であり、第２段判別ユニットでは、完全接続層及びｌｅａｋｙ－ＲｅＬＵ層のいずれの次元も２５６である。

【0036】

いくつかの実施形態では、前記第２ディスクリミネータと前記第１ディスクリミネータは構造が同じであり、前記第２ディスクリミネータは、カスケード接続された複数の判別ユニットと、ｓｉｇｍｏｉｄ層と、を含み、最後段の判別ユニットの出力がｓｉｇｍｏｉｄ層の入力となり、前記判別ユニットのそれぞれは、カスケード接続された完全接続層、ｌｅａｋｙ－ＲｅＬＵ層及びｓｉｇｍｏｉｄ層を含む。

【0037】

本開示の実施例の目的は、参照サンプルデータとネガティブサンプルとの間の差を小さくし、参照サンプルデータとポジティブサンプルとの差を大きくする、つまり、目標サンプルデータによって、第１分類器が大きな誤差を生じさせ（すなわち、目標サンプルデータと予め設定されたネガティブサンプルデータとの差を小さくする）、第２分類器が小さな誤差を生じさせる（すなわち、目標サンプルデータと予め設定されたポジティブサンプルデータとの差を大きくする）ことである。

【0038】

いくつかの実施形態では、前記目的関数の最適化目標は、前記第１距離を最小化し、前記第２距離を最大化することである。

【0039】

このため、このステップでは、第１距離及び第２距離に基づいて、参照サンプルデータの中から予め設定されたサンプル均衡条件を満たす目標サンプルデータを選択することができ、予め設定されたサンプル均衡条件とは、予め設定されたネガティブサンプルとの差が小さく、また、予め設定されたポジティブサンプルデータとの差が大きいことを指してもよい。

【0040】

予め設定されたサンプル均衡条件を満たす目標サンプルデータは、参照サンプルデータののうち第１距離が小さく第２距離が大きい目標サンプルデータであり、一例として、目標サンプルデータは、参照サンプルデータのうち第１距離が予め設定された第１閾値よりも小さく第２距離が予め設定された第２閾値よりも大きい目標サンプルデータであってもよい。

【0041】

いくつかの実施形態では、前記予め設定されたネガティブサンプルデータ及び前記ポジティブサンプルデータを敵対的生成ネットワークモデルに入力し、敵対的生成ネットワークモデルが出力した出力データと前記目標サンプルデータとの間の差に基づいて、出力データが前記目標サンプルデータと一致し、敵対的生成ネットワークモデルが収束することを確認するまで敵対的生成ネットワークモデルのモデルパラメータを絶えずに調整し、データ強化用に前記敵対的生成ネットワークモデルを得るようにしてもよい。

【0042】

本開示の実施例では、ジェネレータによって参照サンプルデータを生成し、第１ディスクリミネータによって参照サンプルデータと予め設定されたネガティブサンプルデータとの間の第１距離を算出し、第２ディスクリミネータによって前記参照サンプルデータと予め設定されたネガティブサンプルデータからなるネガティブグラスデータと、予め設定されたポジティブサンプルデータとの間の第２距離を算出し、さらに前記第１距離及び前記第２距離に基づいて目的関数を決定し、最後に、前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得る。

【0043】

本開示の実施例では、ジェネレータによって参照サンプルデータを生成し、第１距離及び第２距離に基づいて目的関数を決定し、前記目的関数を利用して前記敵対的生成ネットワークモデルを訓練することにより、訓練済みの敵対的生成ネットワークモデルの出力データは予め設定されたサンプル均衡条件を満たし、少ないクラスのサンプルについて追加のデータを生成し、すなわち、生成された出力データは２つのクラスのサンプルをより均衡にし、追加のデータが生成されるので、データ量の損失をもたらし、データサンプルラベルを不均衡にすることはない。

【0044】

いくつかの実施形態では、図３に示すように、前記ステップＳ１０５は、ステップＳ３０１とステップＳ３０２を含んでもよい。
ステップＳ３０１：前記目的関数を利用して前記敵対的生成ネットワークモデルを訓練し、前記ジェネレータのジェネレータパラメータ、前記第１ディスクリミネータの第１ディスクリミネータパラメータ及び前記第２ディスクリミネータの第２ディスクリミネータパラメータを得る。
ステップＳ３０２：前記ジェネレータパラメータ、前記第１ディスクリミネータパラメータ及び前記第２ディスクリミネータパラメータを前記敵対的生成ネットワークモデルに入力し、前記敵対的生成ネットワークモデルを得る。

【0045】

いくつかの実施形態では、前記目的関数は、

【数3】

であり、
ただし、ｐｏｓＤａｔａはポジティブクラスデータを表し、ｎｅｇＤａｔａはネガティブグラスデータを表し、ａｌｌＤａｔａは生成されたネガティブグラスデータと元のネガティブグラスデータとの和集合を表す。Ｄ_１は第１ディスクリミネータパラメータを表し、Ｄ_２は第２ディスクリミネータパラメータを表し、Ｇはジェネレータパラメータを表す。

【0046】

本開示の実施例では、目的関数により、モデルパラメータを絶えずに調整し、最終的にジェネレータパラメータ、第１ディスクリミネータパラメータ及び第２ディスクリミネータパラメータを得ることができ、これにより、敵対的生成ネットワークモデルの出力データは予め設定されたサンプル均衡条件を満たし、少ないクラスのサンプルについて追加のデータを生成し、すなわち、生成された出力データは２つのクラスのサンプルをより均衡にし、追加のデータが生成されるので、データ量の損失をもたらし、データサンプルラベルを不均衡にすることはない。

【0047】

本開示はさらに、データ強化方法に関し、図４に示すように、前記方法は、ステップＳ４０１とステップＳ４０２を含む。
ステップＳ４０１：前述した方法実施例に記載のモデル訓練方法によって訓練された敵対的生成ネットワークモデルを利用して第２ネガティブサンプルデータを生成する。
ステップＳ４０２：予め設定されたポジティブサンプルデータと予め設定されたネガティブサンプルデータを含む元のデータセットに前記第２ネガティブサンプルデータを追加して、新しいデータセットを得る。

【0048】

いくつかの実施形態では、敵対的生成ネットワークモデルの入力データはガウス分布に従うランダムノイズデータであり、敵対的生成ネットワークモデルを利用してデータ強化を行うときに、敵対的生成ネットワークモデルの入力データは、当該敵対的生成ネットワークモデルを訓練するときにジェネレータに入力されてガウス分布に従うランダムノイズデータと同じである。

【0049】

第２ネガティブサンプルデータと予め設定されたネガティブサンプルデータとの合計は一般には予め設定されたポジティブサンプルデータの数と同じである。

【0050】

第２ネガティブサンプルデータを生成した後、第２ネガティブサンプルデータに対応するデータラベルを－１と設定する（すなわち、予め設定されたネガティブサンプルデータのラベルと同じである）。

【0051】

いくつかの実施形態では、生成された第２ネガティブサンプルデータを元のデータセットに追加し、データセット全体をランダムにスクランブルして、新しいデータセットを得るようにしてもよい。

【0052】

本開示の実施例は、第２ネガティブサンプルデータを生成し、生成した第２ネガティブサンプルデータを元のデータセットに追加し、訓練に直接利用可能な新しいデータセットを得ることができ、新しいデータセットはこれを適用するモデルには依存しない。

【0053】

本開示はさらに、モデル訓練装置に関し、敵対的生成ネットワークモデルは、ジェネレータと、２つのディスクリミネータと、を含み、前記ジェネレータの出力は２つの前記ディスクリミネータの出力とし、図５に示すように、前記装置は、
前記ジェネレータは参照サンプルデータを生成するように構成されている生成モジュール１１と、
第１ディスクリミネータは参照サンプルデータと予め設定されたネガティブサンプルデータとの間の第１距離を算出するように構成されている第１算出モジュール１２と、
第２ディスクリミネータは前記参照サンプルデータと予め設定されたネガティブサンプルデータからなるネガティブグラスデータと、予め設定されたポジティブサンプルデータとの間の第２距離を算出するように構成されている第２算出モジュール１３と、
前記第１距離及び前記第２距離に基づいて目的関数を決定するように構成されている選択モジュール１４と、
前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得るように構成されている訓練モジュール１５と、を含む。

【0054】

いくつかの実施形態では、前記目的関数の最適化目標は前記第１距離を最小化し、前記第２距離を最大化することである。

【0055】

いくつかの実施形態では、前記訓練モジュールはさらに、
前記目的関数を利用して前記敵対的生成ネットワークモデルを訓練し、前記ジェネレータのジェネレータパラメータ、前記第１ディスクリミネータの第１ディスクリミネータパラメータ及び前記第２ディスクリミネータの第２ディスクリミネータパラメータを得て、
前記ジェネレータパラメータ、前記第１ディスクリミネータパラメータ及び前記第２ディスクリミネータパラメータを前記敵対的生成ネットワークモデルに入力し、前記敵対的生成ネットワークモデルを得るように構成されている。

【0056】

いくつかの実施形態では、前記目的関数は、

【数4】

であり、
ただし、ｐｏｓＤａｔａはポジティブクラスデータを表し、ｎｅｇＤａｔａはネガティブグラスデータを表し、ａｌｌＤａｔａは生成されたネガティブグラスデータと元のネガティブグラスデータとの和集合を表す。Ｄ_１は第１ディスクリミネータパラメータを表し、Ｄ_２は第２ディスクリミネータパラメータを表し、Ｇはジェネレータパラメータを表す。

【0057】

いくつかの実施形態では、前記第１ディスクリミネータと前記第２ディスクリミネータは構造が同じであり、前記第１ディスクリミネータは、カスケード接続された複数の判別ユニットと、ｓｉｇｍｏｉｄ層と、を含み、最後段の判別ユニットの出力がｓｉｇｍｏｉｄ層の入力となり、前記判別ユニットのそれぞれは、カスケード接続された完全接続層、ｌｅａｋｙ－ＲｅＬＵ層及びｓｉｇｍｏｉｄ層を含む。

【0058】

いくつかの実施形態では、前記ジェネレータは、カスケード接続された複数の生成ユニットを含み、生成ユニットのそれぞれは、カスケード接続された完全接続層、標準化層及びｌｅａｋｙ－ＲｅＬＵ層を含む。

【0059】

本開示はさらに、データ強化装置に関し、図６に示すように、該装置は、
前述した方法実施例に記載のモデル訓練方法によって訓練された敵対的生成ネットワークモデルを利用して第２ネガティブサンプルデータを生成するように構成されている生成モジュール２１と、
予め設定されたポジティブサンプルデータと予め設定されたネガティブサンプルデータを含む元のデータセットに前記第２ネガティブサンプルデータを追加して、新しいデータセットを得るように構成されている追加モジュール２２と、を含む。

【0060】

本開示はさらに、プロセッサと、通信インターフェースと、メモリと、通信バスと、を含み、前記プロセッサ、前記通信インターフェース、前記メモリは前記通信バスを介して相互間の通信を行い、
メモリは、コンピュータプログラムを格納するように構成されており、
プロセッサは、メモリに格納されたプログラムを実行すると、前述した方法実施例に記載のモデル訓練方法又は前述した方法実施例に記載のデータ強化方法を実行するように構成されている電子機器に関する。

【0061】

本開示の実施例に係る電子機器では、プロセッサは、メモリに格納されたプログラムを実行することによって、ジェネレータによって参照サンプルデータを生成し、第１ディスクリミネータによって参照サンプルデータと予め設定されたネガティブサンプルデータとの間の第１距離を算出し、第２ディスクリミネータによって前記参照サンプルデータと予め設定されたネガティブサンプルデータからなるネガティブグラスデータと、予め設定されたポジティブサンプルデータとの間の第２距離を算出し、さらに前記第１距離及び前記第２距離に基づいて目的関数を決定し、最後に、前記目的関数を利用して、前記敵対的生成ネットワークモデルが収束するまで前記敵対的生成ネットワークモデルを訓練し、前記敵対的生成ネットワークモデルを得る本開示の実施例を実現する。本開示の実施例では、ジェネレータによって参照サンプルデータを生成し、第１距離及び第２距離に基づいて参照サンプルデータの中から予め設定されたサンプル均衡条件を満たす目標サンプルデータを選択し、最後に、目標サンプルデータ、予め設定されたネガティブサンプルデータ及びポジティブサンプルデータを利用して敵対的生成ネットワークモデルを訓練することにより、訓練済みの敵対的生成ネットワークモデルの出力データは予め設定されたサンプル均衡条件を満たし、少ないクラスのサンプルについて追加のデータを生成し、すなわち、生成された出力データは２つのクラスのサンプルをより均衡にし、追加のデータが生成されるので、データ量の損失をもたらし、データサンプルラベルを不均衡にすることはない。

【0062】

上記の電子機器で言及された通信バス１１４０は、ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、略してＰＣＩ）バス又は拡張業界標準のアーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、略してＥＩＳＡ）バスなどであってもよい。該通信バス１１４０は、アドレスバス、データバス、制御バスなどに分けられてもよい。表現を容易にするために、図７では、１つの太い線だけが使用されているが、バスが１つだけ、又はバスのタイプが１つだけであるわけではない。

【0063】

通信インターフェース１１２０は、上記の電子機器と他の機器との間の通信を行うように構成されている。

【0064】

メモリ１１３０は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、略してＲＡＭ）を含んでもよく、少なくとも１つの磁気ディスクメモリなどの不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）を含んでもよい。いくつかの実施形態では、メモリは、前述したプロセッサから離れて配置された少なくとも１つの記憶装置であってもよい。

【0065】

上記のプロセッサ１１１０は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、略してＣＰＵ）、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ、略してＮＰ）などを含む汎用プロセッサであってもよいし、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、略してＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、略してＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、略してＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであってもよい。

【0066】

本開示はさらに、プロセッサによって実行されると、前述した方法実施例に記載のモデル訓練方法のステップを実現するモデル訓練方法のプログラム、又はプロセッサによって実行されると本開示に記載のデータ強化方法のステップを実現するデータ強化方法のプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供する。

【0067】

なお、本明細書では、「第１」及び「第２」などの関係用語は、１つのエンティティ又は動作を別のエンティティ又は動作から区別するためにのみ使用され、これらのエンティティ又は動作の間にそのような実際の関係又は順序が存在することを必ずしも要求又は暗示するものではない。さらに、用語「包含する」、「含む」、又はその他の任意の変形は、非排他的包含をカバーすることを意図しており、それにより、一連の要素を含むプロセス、方法、物品、又は機器は、それらの要素だけでなく、明示的にリストされていない他の要素も含むか、又はそのようなプロセス、方法、物品、又は機器に固有の要素も含む。これ以上の制限がない場合、「１つの……を含む」という文言によって限定される要素は、当該要素を含むプロセス、方法、物品又は機器にさらに同一の要素が存在することを排除するものではない。

【0068】

上記は、当業者が本開示を理解又は実施することを可能にする、本開示の具体的な実施形態にすぎない。これらの実施例に対する様々な修正は当業者には自明なことであり、本明細書で定義された一般的な原理は、本開示の精神又は範囲から逸脱することなく、他の実施例で実施することができる。したがって、本開示は、本明細書で示されるこれらの実施例に限定されることはなく、本明細書で開示される原理及び新規な特徴に一致する最も広い範囲に適合する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】