特許 7225614 ディープラーニング分類モデルの訓練装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-13

(45)【発行日】2023-02-21

(54)【発明の名称】ディープラーニング分類モデルの訓練装置及び方法

(51)【国際特許分類】

   G06N 3/08 20230101AFI20230214BHJP

   G06N 20/00 20190101ALI20230214BHJP

   G06F 16/00 20190101ALI20230214BHJP

【ＦＩ】

G06N3/08

G06N20/00

G06F16/00

【請求項の数】 9

(21)【出願番号】P 2018165140

(22)【出願日】2018-09-04

(65)【公開番号】P2019049975

(43)【公開日】2019-03-28

【審査請求日】2021-06-10

(31)【優先権主張番号】201710798596.8

(32)【優先日】2017-09-07

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】リィウ・シアオチン

(72)【発明者】

【氏名】タヌ・ジミン

【審査官】金田 孝之

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１３２５１０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００３２０３５（ＵＳ，Ａ１）

【文献】国際公開第２０１５／１８６２７８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １６／００

(57)【特許請求の範囲】

【請求項1】

ディープラーニング分類モデルの訓練装置であって、
目標データの目標属性に基づいて複数の関連属性を生成する属性生成ユニットであって、前記目標データの目標属性は、１つの訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応する、属性生成ユニット；
前記目標データ及び訓練データ集合に基づいて類似データを生成するデータ生成ユニットであって、前記類似データの目標属性は、１つの類似訓練分岐に対応する、データ生成ユニット；
前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行う訓練ユニット；及び
前記訓練ユニットの訓練結果に基づいて、前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行うパラメーター調整ユニットを含み、
前記属性生成ユニットは、前記目標データにタグを増加させることで、前記複数の関連属性を取得し、
前記データ生成ユニットは、前記訓練データ集合のうちから複数のサンプルデータを選択することで、前記類似データを取得し、前記類似データ中の一部のサンプルデータの前記目標属性の値は、前記目標データ中の一部のサンプルデータの前記目標属性の値と同じである、訓練装置。

【請求項2】

請求項１に記載の訓練装置であって、
前記訓練主幹について主幹ラベル集合を生成し、複数の前記関連訓練分岐について複数の関連ラベル集合を生成し、また、前記類似訓練分岐について類似ラベル集合を生成するラベル集合生成ユニットをさらに含む、訓練装置。

【請求項3】

請求項２に記載の訓練装置であって、
前記訓練主幹、前記類似訓練分岐、及び前記関連訓練分岐において、複数の前記特徴抽出は、予め訓練された１つ又は複数の初期パラメーターを共有して使用する、訓練装置。

【請求項4】

請求項２に記載の訓練装置であって、
前記類似訓練分岐中の前記属性分類の結果及び前記訓練主幹中の前記属性分類の結果に基づいて、前記目標データと前記類似データとの、前記目標属性についての類似度を計算する類似度計算ユニットをさらに含む、訓練装置。

【請求項5】

請求項４に記載の訓練装置であって、
前記類似度及び前記類似ラベル集合に基づいて前記類似訓練分岐に対応する類似分岐損失を計算し、前記訓練主幹中の前記属性分類の結果及び前記主幹ラベル集合に基づいて前記訓練主幹に対応する主幹損失を計算し、また、前記関連訓練分岐中の前記属性分類の結果及び前記関連ラベル集合に基づいて前記関連訓練分岐に対応する関連分岐損失を計算する損失計算ユニットをさらに含む、訓練装置。

【請求項6】

請求項５に記載の訓練装置であって、
前記類似分岐損失、前記主幹損失、及び複数の前記関連分岐損失に基づいて、加重後の損失値を計算する加重計算ユニットをさらに含み、
前記パラメーター調整ユニットは、さらに、前記加重後の損失値に基づいて、前記訓練主幹、複数の前記関連訓練分岐、及び前記類似訓練分岐中の前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターを更新する、訓練装置。

【請求項7】

請求項４に記載の訓練装置であって、
前記訓練主幹の前記属性分類の結果に基づいて、前記目標属性を有するサンプルデータの間の特徴距離を計算する距離計算ユニット；及び
前記特徴距離に基づいて類似度閾値を設定する閾値設定ユニットをさらに含み、
前記類似度計算ユニットは、さらに、前記類似度閾値に基づいて、前記目標データと前記類似データとの、前記目標属性についての類似度を更新する、訓練装置。

【請求項8】

請求項７に記載の訓練装置であって、
前記訓練ユニットは、さらに、異なる前記類似度閾値に基づいて、反復（iteration）により、前記ネットワーク全体のモデルに対して訓練を行う、訓練装置。

【請求項9】

ディープラーニング分類モデルの訓練方法であって、
目標データの目標属性に基づいて複数の関連属性を生成し、前記目標データの目標属性は、１つの訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応し；
前記目標データ及び訓練データ集合に基づいて類似データを生成し、前記類似データの目標属性は、１つの類似訓練分岐に対応し；
前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行い；及び
前記訓練の結果に基づいて、前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行うことを含み、
前記目標データの目標属性に基づいて前記複数の関連属性を生成することは、前記目標データにタグを増加させることで、前記複数の関連属性を取得し、
前記目標データ及び前記訓練データ集合に基づいて前記類似データを生成することは、前記訓練データ集合のうちから複数のサンプルデータを選択することで、前記類似データを取得し、前記類似データ中の一部のサンプルデータの前記目標属性の値は、前記目標データ中の一部のサンプルデータの前記目標属性の値と同じである、訓練方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理技術に関し、特に、ディープラーニング（deep learning）分類モデルの訓練装置及び方法に関する。

【背景技術】

【0002】

機械学習方法の改良及び発展に伴い、ディープラーニング方法が重要視されている。ディープラーニングにより分類モデルを訓練する方法は、多くの技術分野に応用されており、画像認識、語音分析などの分野でのホットな研究テーマになっている。

【0003】

一般的に言えば、分類モデル訓練時に、訓練データが多いほど、ディープラーニング訓練のパフォーマンスが高い。しかし、データの収集は時には非常に困難であり、訓練のための十分なデータがない場合もあり、これにより、過剰適合（over fitting）の問題を来す可能性がある。よって、如何に小さいデータ集合の場合にも過剰適合を抑えるかは、ディープラーニング分類モデルの訓練にとって重要な意義がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施例は、ディープラーニング分類モデルの訓練装置及び方法を提供する。目標データの目標属性のために複数の関連属性を生成し、それに対応して複数の関連訓練分岐（branch）を増やし；前記目標データに基づいて類似データを生成し、それに対応して類似訓練分岐を増やし；訓練主幹（trunk）、前記類似訓練分岐、及び複数の前記関連訓練分岐に対してそれぞれ訓練を行い；及び、それぞれ訓練された結果に基づいて、特徴抽出及び／又は属性分類のパラメーターに対して調整を行う。これにより、小さいデータ集合の場合にも、ディープラーニング分類モデルの過剰適合の問題を解決することができる。

【課題を解決するための手段】

【0005】

本発明の実施例の第一側面によれば、ディープラーニング分類モデルの訓練装置が提供され、それは、
目標データの目標属性に基づいて複数の関連属性を生成するための属性生成ユニットであって、前記目標データの目標属性は、訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応する、属性生成ユニット；
前記目標データ及び訓練データ集合に基づいて類似データを生成するためのデータ生成ユニットであって、前記類似データの目標属性は、類似訓練分岐に対応する、データ生成ユニット；
前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行うための訓練ユニット；及び
それぞれ訓練された結果に基づいて前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行うためのパラメーター調整ユニットを含む。

【0006】

本発明の実施例の第二側面によれば、ディープラーニング分類モデルの訓練方法が提供され、それは、
目標データの目標属性に基づいて複数の関連属性を生成し、そのうち、前記目標データの目標属性は、訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応し；
前記目標データ及び訓練データ集合に基づいて類似データを生成し、そのうち、前記類似データの目標属性は、類似訓練分岐に対応し；
前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行い；及び
それぞれ訓練された結果に基づいて前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行うことを含む。

【0007】

本発明の実施例の第三側面によれば、電子機器が提供され、前記電子機器は、第一側面に記載のディープラーニング分類モデルの訓練装置を含む。

【0008】

本発明の実施例の有益な効果は、次の通りである。即ち、目標データの目標属性のために複数の関連属性を生成し、それに対応して複数の関連訓練分岐を増やし；前記目標データに基づいて類似データを生成し、それに対応して類似訓練分岐を増やし；訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、訓練を行い；及び、それぞれ訓練された結果に基づいて、特徴抽出のパラメーター及び／又は属性分類のパラメーターに対して調整を行う。これにより、小さいデータ集合の場合にも、ディープラーニング分類モデルの過剰適合の問題を回避することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例におけるディープラーニング分類モデルの訓練方法を示す図である。

【図2】本発明の実施例におけるディープラーニング分類モデルの訓練方法を示す他の図である。

【図3】本発明の実施例における訓練モデルの一例を示す図である。

【図4】本発明の実施例におけるディープラーニング分類モデルの訓練装置を示す図である。

【図5】本発明の実施例におけるディープラーニング分類モデルの訓練装置を示す他の図である。

【図6】本発明の実施例における電子機器を示す図である。

【発明を実施するための形態】

【0010】

以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。

【実施例1】

【0011】

本発明の実施例は、ディープラーニング分類モデルの訓練方法を提供する。図1は、本発明の実施例におけるディープラーニング分類モデルの訓練方法を示す図である。図1に示すように、訓練方法100は、次のようなステップを含む。

【0012】

ステップ101：目標データの目標属性に基づいて複数の関連属性を生成し、そのうち、前記目標データの目標属性は、訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応し；
ステップ102：前記目標データ及び訓練データ集合に基づいて類似データを生成し、そのうち、前記類似データの目標属性は、類似訓練分岐に対応し；
ステップ103：前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行い；及び
ステップ104：それぞれ訓練された結果に基づいて前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行う。

【0013】

本実施例では、前記目標データにタグ（tag／annotation）を増加させることで、前記複数の関連属性を得ることができる。例えば、Sを用いて目標データを表し、Aを用いて、モデルが分類する必要がある目標属性を表し、また、増加後の複数の関連属性が、Biと表されるとし、ここで、i∈[1，……，n]であり、nは、1よりも大きい正の整数である。

【0014】

例えば、画像分類を例とし、Aは、人物の服飾類型、例えば、シャツ、スーツなどであっても良く、B1は、人物のポーズ（pose）、例えば、立ち、座りなどであっても良く、B2は、人物撮影時の日照条件、例えば、曇り、晴れなどであっても良く、B3は、人物撮影時のカメラ視野角、例えば、正面、側面などであっても良い。

【0015】

本実施例では、目標データの目標属性に対応する訓練過程又は経路を訓練主幹と称し、目標データの関連属性に対応する訓練過程又は経路を関連訓練分岐と称し、そのうち、各関連属性は、１つの関連訓練分岐に対応しても良い。

【0016】

本実施例では、前記目標データS及び訓練データ集合（以下、Dで表す）に基づいて、類似データ（以下、S’で表す）を生成することができる。前記訓練データ集合Dのうちから複数のサンプルデータを選択することで、前記類似データS’を得ることができ、そのうち、前記類似データS’中の一部のサンプルデータの前記目標属性Aの値は、前記目標データS中の一部のサンプルデータの前記目標属性Aの値と同じである。

【0017】

例えば、S=[S1，S2，……，Sm]であり、そのうち、Sjは、分類のためのサンプルデータであり，j∈[1，……，m]であり、mは、1よりも大きい正の整数である。S’=[S’1，S’2，……，S’m]であり、そのうち、S’kは、類似したサンプルデータであり、k∈[1，……，m]である。S’中のS’kについて、次のような制限条件があっても良い。

【数1】

【0018】

例えば、k∈[1，……，m/2]について、S’kのAの値は、SkのAの値と同じである。

【0019】

本実施例では、類似データの目標属性に対応する訓練過程又は経路を類似訓練分岐と称する。これにより、本発明の実施例では、目標データの目標属性に対応する訓練主幹の他に、さらに複数の関連訓練分岐及び少なくとも１つの類似訓練分岐を増やしも良く、このようにして、小さいデータ集合の場合にも、訓練データ量を増加させることができる。

【0020】

なお、以上、関連属性及び類似データのみを例示的に説明したが、本発明の実施例は、これに限定されない。また、具体的にどのように関連属性及び／又は類似データを確定するかは、実際のシナリオに応じて関連方法を採用して実現しても良い。

【0021】

本実施例では、前記訓練主幹、前記類似訓練分岐、及び複数の関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行い、及び、それぞれ訓練された結果に基づいて、前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターに対して調整を行うことで、ネットワーク全体のモデルに対して訓練を行うことができる。これにより、複数の関連訓練分岐及び少なくとも１つの類似訓練分岐が増加した場合に、特徴抽出のパラメーター及び／又は前記属性分類のパラメーターを調整することで、分類モデルの訓練のパフォーマンスを保証することができる。

【0022】

以下、如何に訓練を行うかを例示的に説明する。

【0023】

図2は、本発明の実施例におけるディープラーニング分類モデルの訓練方法を示す他の図である。図2に示すように、訓練方法200は、次のようなステップを含む。

【0024】

ステップ201：目標データの目標属性に基づいて複数の関連属性を生成し、そのうち、前記目標データの目標属性は、１つの訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応し；
ステップ202：前記目標データ及び訓練データ集合に基づいて類似データを生成し、そのうち、前記類似データの目標属性は、１つの類似訓練分岐に対応し；
ステップ203：前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行う。

【0025】

本実施例では、前記訓練主幹、前記類似訓練分岐、及び各前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を行うことができる。例えば、前記訓練主幹、前記類似訓練分岐、及び前記関連訓練分岐のうちの各経路（過程）は、１つの特徴抽出器及び１つの属性分類器を含んでも良い。なお、特徴抽出及び属性分類の具体的な内容は、関連技術を参照することができるため、ここでは詳しい説明を省略する。

【0026】

図2に示すように、前記訓練方法200は、さらに、次のようなステップを含んでも良い。

【0027】

ステップ204：前記訓練主幹について主幹ラベル集合（以下、Label Aで表す）を生成し、複数の前記関連訓練分岐について複数の関連ラベル集合（以下、Label Biで表す）を生成し、及び、前記類似訓練分岐について類似ラベル集合（以下、Label Simで表す）を生成する。

【0028】

類似ラベル集合を例とし、目標データS及び類似データS’中のサンプルデータの類似性に基づいて該Label Simを生成することができる。例えば、S’kのAの値がSkのAの値と同じであるとすれば、Label Sim中のラベルkの値が1と設定されても良く、そうでなければ、0と設定されても良い。

【0029】

なお、以上、ラベル集合について例示的に説明したが、本発明の実施例は、これに限られない。また、具体的にどうやってラベル集合を確定するかは、実際のシナリオに応じて関連方法を採用して実現しても良い。

【0030】

本実施例では、前記訓練主幹、前記類似訓練分岐、及び前記関連訓練分岐について、複数の前記特徴抽出は、予め訓練された１つ又は複数の初期（initial）パラメーターを共有して使用しても良い。また、前記訓練主幹及び前記類似訓練分岐は、特徴抽出及び属性分類のための初期パラメーターを共有しても良い。

【0031】

例えば、予め設定された大きいデータ集合に基づいて訓練主幹に対してプレトレーニングを行い、訓練主幹に対応する特徴抽出のための複数の初期パラメーターを取得し、その後、これらの初期パラメーターを、前記類似訓練分岐及び前記関連訓練分岐中の全ての特徴抽出器に共有させても良い。

【0032】

図2に示すように、前記訓練方法200は、さらに、次のようなステップを含んでも良い。

【0033】

ステップ205：前記類似訓練分岐中の前記属性分類の結果及び前記訓練主幹中の前記属性分類の結果に基づいて、前記目標データ及び前記類似データの、前記目標属性に関する類似度（以下、Simで表す）を計算する。

【0034】

図2に示すように、前記訓練方法200は、さらに、次のようなステップを含んでも良い。

【0035】

ステップ206：前記類似度（Sim）及び前記類似ラベル集合（Label Sim）に基づいて、前記類似訓練分岐に対応する類似分岐損失（以下、Loss Simで表す）を計算し、前記訓練主幹中の前記属性分類の結果及び前記主幹ラベル集合（Label A）に基づいて、前記訓練主幹に対応する主幹損失（以下、Loss Aで表す）を計算し、前記関連訓練分岐中の前記属性分類の結果及び前記関連ラベル集合（Label Bi）に基づいて、前記関連訓練分岐に対応する関連分岐損失（以、Loss Biで表す）を計算する。

【0036】

本実施例では、訓練収斂（収束）の場合に、前記訓練主幹、前記類似訓練分岐、及び前記関連訓練分岐のうちの各経路（過程）について、それぞれ、損失を計算しても良い。具体的に如何に損失を計算するかは、関連技術を参照することができるため、ここでは詳しい説明を省略する。

【0037】

図2に示すように、前記訓練方法200は、さらに、次のようなステップを含んでも良い。

【0038】

ステップ207：前記類似分岐損失（Loss Sim）、前記主幹損失（Loss A）、及び複数の前記関連分岐損失（Loss Bi）に基づいて、加重（weighting）後の損失値（以下、Lossで表す）を計算する。

【0039】

例えば、次のような公式で計算を行っても良い。

【0040】

Loss=Loss A+Loss Sim+β1×Loss B1+……+βn×Loss Bn
そのうち、βiは、Loss Biの加重係数であり、例えば、βi=Loss Bi/(Loss B1+……+Loss Bn)である。

【0041】

図2に示すように、前記訓練方法200は、さらに、次のようなステップを含んでも良い。

【0042】

ステップ208：前記加重後の損失値（Loss）に基づいて、前記訓練主幹、複数の前記関連訓練分岐、及び前記類似訓練分岐における前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターを更新する。なお、具体的に如何に損失値に基づいてパラメーターを更新するかは、関連技術を参照することができるため、ここでは詳しい説明を省略する。

【0043】

本実施例では、特徴抽出のパラメーター及び／又は属性分類のパラメーターを更新した後に、さらに、ネットワーク全体に対して訓練を行っても良い。なお、具体的にどのように分類モデルの訓練を行うかは、関連技術を参照することができるため、ここでは詳しい説明を省略する。

【0044】

これにより、複数の関連訓練分岐及び少なくとも１つの類似訓練分岐が増加した場合に、加重後の損失値に基づいて特徴抽出のパラメーター及び／又は前記属性分類のパラメーターを調整することで、分類モデルの訓練のパフォーマンスを保証することができる。

【0045】

なお、以上、図２をもとに本発明の実施例を例示的に説明したが、本発明の実施例は、これに限定されない。例えば、各ステップ間の実行順序を適切に調整しても良く、又は、さらに幾つかのステップを増減しても良い。即ち、当業者は、図2の記載に限られず、上述の内容に基づいて適切に変更しても良い。

【0046】

本実施例では、さらに、前記訓練主幹の前記属性分類の結果に基づいて、前記目標属性を有するサンプルデータの間の特徴距離を計算し、及び、前記特徴距離に基づいて、類似度閾値（以下、Mで表す）を設定し、且つ前記類似度閾値（M）に基づいて、前記目標データ及び前記類似データの、前記目標属性についての類似度（Sim）を更新することができる。

【0047】

例えば、目標属性Aについて、独立して属性分類器に対して訓練を行った後に、全てのサンプルデータの、目標属性Aについての分類結果を計算し、その後、同じ目標属性Aを有するサンプルデータの間の特徴距離を計算することができ、また、これらの特徴距離の中央値を該類似度閾値としても良く、即ち、M=median(distances)である。そのうち、medianは、中央値計算を表し、distancesは、これらの特徴距離を表す。

【0048】

本実施例では、さらに、異なる前記類似度閾値に基づいて、反復（iteration）により、前記ネットワーク全体のモデルに対して訓練を行っても良い。例えば、損失値に基づいてパラメーターを更新した後に、モデル収斂の場合に、該類似度閾値を調整し、その後、再びネットワーク全体のモデルに対して訓練を行っても良い。

【0049】

これにより、複数の関連訓練分岐及び少なくとも１つの類似訓練分岐が増加した場合に、類似度閾値を調整し、反復により、ネットワーク全体のモデルに対して訓練を行い、これにより、分類モデルの訓練のパフォーマンスをさらに保証することができる。

【0050】

図3は、本発明の実施例における訓練モデルの一例を示す図である。図3に示すように、目標データSの目標属性Aのために複数の関連属性Biを生成することで、複数の関連訓練分岐を増やすことができ、また、さらに目標データSのために類似データS’を生成することで、少なくとも１つの類似訓練分岐を増加させても良い。

【0051】

図3に示すように、訓練主幹の属性分類結果及び類似訓練分岐の属性分類結果に基づいて、目標データS及び類似データS’の、目標属性Aについての類似度Simを計算することができる。また、訓練主幹について主幹ラベル集合Label Aを生成し、類似訓練分岐について類似ラベル集合Label Simを生成し、各関連訓練分岐について関連ラベル集合Label Biを生成することができる。

【0052】

また、訓練主幹について主幹損失Loss Aを生成し、類似訓練分岐について類似損失Loss Simを生成し、各関連訓練分岐について関連損失Loss Biを生成することができる。これにより、複数の訓練経路の損失に基づいて、特徴抽出のパラメーター及び／又は前記属性分類のパラメーターに対して調整を行うことができる。

【0053】

なお、以上、図3をもとに本発明の実施例を例示的に説明したが、本発明の実施例は、これに限定されない。例えば、各ステップ間の実行順序を適切に調整しても良く、又は、さらに幾つかのステップを増減しても良い。即ち、当業者は、図3の記載に限られず、上述の内容に基づいて適切に変更しても良い。

【0054】

上述の実施例から分かるように、目標データの目標属性のために複数の関連属性を生成し、それに対応して複数の関連訓練分岐を増やし；前記目標データに基づいて類似データを生成し、それに対応して類似訓練分岐を増やし；訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、訓練を行い；及び、それぞれ訓練された結果に基づいて、特徴抽出のパラメーター及び／又は属性分類のパラメーターに対して調整を行う。これにより、小さいデータ集合の場合にも、ディープラーニング分類モデルの過剰適合の問題を避けることができる。

【実施例2】

【0055】

本発明の実施例は、ディープラーニング分類モデルの訓練装置を提供し、該訓練装置は、電子機器に構成されても良く、該電子機器のある部品とされても良い。本発明の実施例は、実施例1のディープラーニング分類モデルの訓練方法に対応し、同じ内容は、省略される。

【0056】

図4は、本発明の実施例におけるディープラーニング分類モデルの訓練装置を示す図である。図4に示すように、訓練装置400は、次のようなものを含む。

【0057】

属性生成ユニット401：目標データの目標属性に基づいて複数の関連属性を生成し、そのうち、前記目標データの目標属性は、１つの訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応し；
データ生成ユニット402：前記目標データ及び訓練データ集合に基づいて類似データを生成し、そのうち、前記類似データの目標属性は、１つの類似訓練分岐に対応し；
訓練ユニット403：前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行い；及び
パラメーター調整ユニット404：それぞれ訓練された結果に基づいて、前記特徴抽出及び／又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行う。

【0058】

本実施例では、属性生成ユニット401は、前記目標データにタグを増加させることで、前記複数の関連属性を得ることができ、データ生成ユニット402は、前記訓練データ集合のうちから複数のサンプルデータを選択して前記類似データを得ることができ、そのうち、前記類似データ中の一部のサンプルデータの前記目標属性の値は、前記目標データ中の一部のサンプルデータの前記目標属性の値と同じである。

【0059】

図5は、本発明の実施例におけるディープラーニング分類モデルの訓練装置を示す他の図である。図5に示すように、訓練装置500は、属性生成ユニット401、データ生成ユニット402、訓練ユニット403、及びパラメーター調整ユニット404を上記のように含む。

【0060】

図5に示すように、訓練装置500は、さらに、次のようなものを含んでも良い。

【0061】

ラベル集合生成ユニット501：前記訓練主幹について主幹ラベル集合を生成し、複数の前記関連訓練分岐について複数の関連ラベル集合を生成し、及び、前記類似訓練分岐について類似ラベル集合を生成する。

【0062】

本実施例では、前記訓練主幹、前記類似訓練分岐、及び前記関連訓練分岐において、複数の前記特徴抽出は、予め訓練された１つ又は複数の初期パラメーターを共有して使用しても良い。

【0063】

図5に示すように、訓練装置500は、さらに、次のようなものを含んでも良い。

【0064】

類似度計算ユニット502：前記類似訓練分岐中の前記属性分類の結果及び前記訓練主幹中の前記属性分類の結果に基づいて、前記目標データと前記類似データとの、前記目標属性についての類似度を計算する。

【0065】

図5に示すように、訓練装置500は、さらに、次のようなものを含んでも良い。

【0066】

損失計算ユニット503：前記類似度及び前記類似ラベル集合に基づいて、前記類似訓練分岐に対応する類似分岐損失を計算し、前記訓練主幹中の前記属性分類の結果及び前記主幹ラベル集合に基づいて、前記訓練主幹に対応する主幹損失を計算し、前記関連訓練分岐中の前記属性分類の結果及び前記関連ラベル集合に基づいて、前記関連訓練分岐に対応する関連分岐損失を計算する。

【0067】

図5に示すように、訓練装置500は、さらに、次のようなものを含んでも良い。

【0068】

加重計算ユニット504：前記類似分岐損失、前記主幹損失、及び複数の前記関連分岐損失に基づいて、加重後の損失値を計算する。

【0069】

前記パラメーター調整ユニット404は、さらに、前記加重後の損失値に基づいて、それぞれ、前記訓練主幹、複数の前記関連訓練分岐、及び前記類似訓練分岐中の前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターを更新する。

【0070】

本実施例では、訓練装置500は、さらに、次のようなものを含んでも良い。

【0071】

距離計算ユニット（図5に示されていない）：前記訓練主幹の前記属性分類の結果に基づいて、前記目標属性を有するサンプルデータの間の特徴距離を計算し；及び
閾値設定ユニット（図5に示されていない）：前記特徴距離に基づいて類似度閾値を設定する。

【0072】

前記類似度計算ユニット502は、さらに、前記類似度閾値に基づいて、前記目標データと前記類似データとの、前記目標属性に関する類似度を更新しても良い。

【0073】

本実施例では、前記訓練ユニット403は、さらに、異なる前記類似度閾値に基づいて、反復により、前記ネットワーク全体のモデルに対して訓練を行う。

【0074】

なお、以上、本発明の実施例に関連する各部品又はモジュールのみを説明したが、本発明の実施例は、これに限定されず、ディープラーニング分類モデルの訓練装置の他の部件又はモジュールについては、関連技術を参照することができる。

【0075】

上述の実施例から分かるように、目標データの目標属性のために複数の関連属性を生成し、それに対応して複数の関連訓練分岐を増やし；前記目標データに基づいて類似データを生成し、それに対応して類似訓練分岐を増やし；訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、訓練を行い；及び、それぞれ訓練された結果に基づいて、特徴抽出のパラメーター及び／又は属性分類のパラメーターに対して調整を行う。これにより、小さいデータ集合の場合にも、ディープラーニング分類モデルの過剰適合の問題を回避することができる。

【実施例3】

【0076】

本発明の実施例は、さらに、電子機器を提供し、それは、実施例2に記載のディープラーニング分類モデルの訓練装置を含み、また、その内容は、ここに合併される。該電子機器は、例えば、コンピュータ、サーバー、ワークステーション、ラップトップコンピュータ、スマートフォンなどであっても良いが、本発明の実施例は、これに限定されない。

【0077】

図6は、本発明の実施例における電子機器を示す図である。図6に示すように、電子機器600は、処理器（例えば、中央処理装置CPU）610及び記憶器620を含み、記憶器620は、中央処理装置610に接続される。そのうち、該記憶器620は、各種のデータを記憶することができ、また、さらに情報処理用プログラム621を記憶し、且つ処理器610の制御下で該プログラムを実行することができる。

【0078】

１つの実施方式では、ディープラーニング分類モデルの訓練装置400又は500の機能は、処理器610に統合することができる。そのうち、処理器610は、実施例1に記載のディープラーニング分類モデルの訓練方法を実現するように構成されても良い。

【0079】

もう１つの実施方式では、ディープラーニング分類モデルの訓練装置400又は500は、処理器610と別々で配置されても良く、例えば、ディープラーニング分類モデルの訓練装置400又は500を、処理器610に接続されるチップとして構成し、また、処理器610の制御により、ディープラーニング分類モデルの訓練装置400又は500の機能を実現しても良い。

【0080】

例えば、処理器610は、次のよな制御を行うように構成されても良く、即ち、目標データの目標属性に基づいて複数の関連属性を生成し、そのうち、前記目標データの目標属性は、１つの訓練主幹に対応し、前記目標データの前記複数の関連属性は、複数の関連訓練分岐に対応し；前記目標データ及び訓練データ集合に基づいて類似データを生成し、そのうち、前記類似データの目標属性は、１つの類似訓練分岐に対応し；前記訓練主幹、前記類似訓練分岐、及び複数の前記関連訓練分岐に対して、それぞれ、特徴抽出及び属性分類を含む訓練を行い；及び、それぞれ訓練された結果に基づいて、前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターに対して調整を行い、ネットワーク全体のモデルに対して訓練を行う。

【0081】

１つの実施方式では、前記目標データにタグを増加させることで、前記複数の関連属性をえ得ることができ、前記訓練データ集合のうちから複数のサンプルデータを選択することで、前記類似データを得ることができ、そのうち、前記類似データ中の一部のサンプルデータの前記目標属性の値は、前記目標データ中の一部のサンプルデータの前記目標属性の値と同じである。

【0082】

１つの実施方式では、処理器610は、さらに、次のような制御を行うように構成されても良く、即ち、前記訓練主幹について主幹ラベル集合を生成し、複数の前記関連訓練分岐について複数の関連ラベル集合を生成し、及び、前記類似訓練分岐について類似ラベル集合を生成する。

【0083】

１つの実施方式では、前記訓練主幹、前記類似訓練分岐、及び前記関連訓練分岐において、複数の前記特徴抽出は、予め訓練された１つ又は複数の初期パラメーターを共有して使用する。

【0084】

１つの実施方式では、処理器610は、さらに、次のような制御を行うように構成されても良く、即ち、前記類似訓練分岐中の前記属性分類の結果及び前記訓練主幹中の前記属性分類の結果に基づいて、前記目標データ及び前記類似データの、前記目標属性についての類似度を計算する。

【0085】

１つの実施方式では、処理器610は、さらに、次のような制御を行うように構成されても良く、即ち、前記類似度及び前記類似ラベル集合に基づいて前記類似訓練分岐に対応する類似分岐損失を計算し、前記訓練主幹中の前記属性分類の結果及び前記主幹ラベル集合に基づいて前記訓練主幹に対応する主幹損失を計算し、前記関連訓練分岐中の前記属性分類の結果及び前記関連ラベル集合に基づいて前記関連訓練分岐に対応する関連分岐損失を計算する。

【0086】

１つの実施方式では、処理器610は、さらに、次のような制御を行うように構成されても良く、前記類似分岐損失、前記主幹損失、及び複数の前記関連分岐損失に基づいて、加重後の損失値を計算し、且つ、前記加重後の損失値に基づいて、それぞれ、前記訓練主幹、複数の前記関連訓練分岐、及び前記類似訓練分岐における前記特徴抽出のパラメーター及び／又は前記属性分類のパラメーターを更新する。

【0087】

１つの実施方式では、処理器610は、さらに、次のような制御を行うように構成されても良く、即ち、前記訓練主幹の前記属性分類の結果に基づいて、前記目標属性を有するサンプルデータの間の特徴距離を計算し、及び、前記特徴距離に基づいて類似度閾値を設定し、且つ、前記類似度閾値に基づいて、前記目標データ及び前記類似データの、前記目標属性についての類似度を更新する。

【0088】

１つの実施方式では、処理器610は、さらに、次のような制御を行うように構成されても良く、即ち、異なる前記類似度閾値に基づいて、反復により、前記ネットワーク全体のモデルに対して訓練を行う。

【0089】

また、図6に示すように、電子機器600は、さらに、入力出力（I/O）装置630、表示器640などを含んでも良く、そのうち、これらの部品の機能は、従来技術に類似したので、ここでは詳しい説明を省略する。なお、電子機器600は、必ずしも図6中の全てのものを含む必要がない。また、電子機器600は、さらに、図6に無いものを含んでも良く、これについては、従来技術を参照することができる。

【0090】

本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像処理装置中で前記プログラムを実行する時に、前記プログラムは、コンピュータに、前記電子機器中で実施例1に記載のディープラーニング分類モデルの訓練方法を実行させる。

【0091】

本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、電子機器中で実施例1に記載のディープラーニング分類モデルの訓練方法を実行させる。

【0092】

また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。また、本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶するための記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。

【0093】

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】