特許 7029476 スーパーネットワークトレーニング方法、及び装置、プログラム、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-22

(45)【発行日】2022-03-03

(54)【発明の名称】スーパーネットワークトレーニング方法、及び装置、プログラム、及び記録媒体

(51)【国際特許分類】

   G06N 3/08 20060101AFI20220224BHJP

【ＦＩ】

G06N3/08

【請求項の数】 12

(21)【出願番号】P 2019565929

(86)(22)【出願日】2019-09-27

(65)【公表番号】

(43)【公表日】2021-08-05

(86)【国際出願番号】 CN2019108531

(87)【国際公開番号】W WO2020244104

(87)【国際公開日】2020-12-10

【審査請求日】2019-11-28

(31)【優先権主張番号】201910492314.0

(32)【優先日】2019-06-06

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】319003367

【氏名又は名称】北京小米智能科技有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】ＮＯ．００３， ｆｌｏｏｒ ３， ｂｕｉｌｄｉｎｇ ６， ｙａｒｄ ３３， ｍｉｄｄｌｅ Ｘｉｅｒｑｉ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】初 祥祥

(72)【発明者】

【氏名】許 瑞▲軍▼

(72)【発明者】

【氏名】▲張▼ 勃

(72)【発明者】

【氏名】李 吉祥

(72)【発明者】

【氏名】李 ▲慶▼源

【審査官】川▲崎▼ 博章

(56)【参考文献】

【文献】特開平０６－３０９２９３（ＪＰ，Ａ）

【文献】特表２０１９－５０８８０３（ＪＰ，Ａ）

【文献】Sirui Xie, Hehui Zheng, Chunxiao Liu, Liang Lin，SNAS: Stochastic Neural Architecture Search，Seventh International Conference on Learning Representations，米国，2019年05月06日，[検索日 2021.07.26], インターネット＜https://openreview.net/forum?id=HylVB3AqYm＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含む
ことを特徴とするスーパーネットワークトレーニング方法。

【請求項2】

サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数は、同じである、
ことを特徴とする請求項１に記載のスーパーネットワークトレーニング方法。

【請求項3】

スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップは、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造は、前記サンプリングプールに戻されないステップ１と、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するステップ２と、
ステップ１からステップ２までのプロセスを繰り返して、複数のサブネットワークを取得するステップ３と、を含む
ことを特徴とする請求項１または２に記載のスーパーネットワークトレーニング方法。

【請求項4】

サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って複数のサブネットワークを取得した後、
前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すステップと、をさらに含む
ことを特徴とする請求項３に記載のスーパーネットワークトレーニング方法。

【請求項5】

サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップは、
前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行うステップと、
前記複数のサブネットワークのトレーニング結果に基づいて、前記スーパーネットワークのパラメータを更新するステップと、を含む
ことを特徴とする請求項１に記載のスーパーネットワークトレーニング方法。

【請求項6】

前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行うステップは、
バックプロパゲーション（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）アルゴリズムを使用して、前記複数のサブネットワークでの各サブネットワークに対してそれぞれトレーニングを行うステップを含む
ことを特徴とする請求項５に記載のスーパーネットワークトレーニング方法。

【請求項7】

スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するように構成される返さないサンプリングモジュールと、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成されるスーパーネットワークトレーニングモジュールと、を含む
ことを特徴とするスーパーネットワークトレーニング装置。

【請求項8】

前記返さないサンプリングモジュールは、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造が前記サンプリングプールに戻されないように構成される選択サブモジュールと、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するように構成されるサブネットワーク組み合わせサブモジュールと、
前記選択サブモジュールと前記サブネットワーク組み合わせサブモジュールがサンプリングとサブネットワークを構成する操作を繰り返し行って、複数のサブネットワークを取得するように制御するように構成されるサンプリング制御サブモジュールと、を含む
ことを特徴とする請求項７に記載のスーパーネットワークトレーニング装置。

【請求項9】

前記返さないサンプリングモジュールでサンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すように構成されるネットワークリリースモジュールをさらに含む
ことを特徴とする請求項８に記載のスーパーネットワークトレーニング装置。

【請求項10】

プロセッサーと、
プロセッサーで実行可能なコマンドを格納するメモリと、を含み、
前記プロセッサーは、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成される
ことを特徴とするコンピュータ装置。

【請求項11】

移動端末のプロセッサーにより実行されることにより、移動端末は、スーパーネットワークトレーニング方法を実行し、
前記方法は、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含む、プログラム。

【請求項12】

請求項１１に記載のプログラムが記憶されるコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマートニューラルネットワーク技術に係り、特に、スーパーネットワークトレーニング方法、及び装置に関する。

【背景技術】

【0002】

ニューラルネットワークは、各分野で広く適用されており、例えば、ニューラルネットワークアーキテクチャ検索（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ、ＮＡＳ）のようないくつかの分野において、毎回に検索する時、独立したニューラルネットワークを生成すると共にトレーニングして指標を取得する方法は、評価効率が低いという問題を存在し、検索アルゴリズムの速度が大きく制限される。いくつかのＮＡＳ方法は、すべての検索ネットワーク構造空間を含む一つのスーパーネットワークをトレーニングする方法を採用しているが、スーパーネットワーク内のすべてのサブ構造は、異なるサブネットワークを構築する際にパラメータを共有することにより、スーパーネットワークを一定の程度にトレーニングするだけで、サブネットワークに対してサンプリングすると共に、指標を評価することができ、サブネットワークを再度トレーニングする必要がない。

【0003】

スーパーネットワークの各層には、複数の選択可能なサブ構造があり、スーパーネットワークをトレーニングする際に、一般的に均一なパスサンプリング方法で１つの単一のパスを選択してトレーニングする。図１は、均一なサンプリングでサブネットワークを構成する実施例を示す図である。均一なサンプリングには、一定の分散が存在するので、異なるサブ構造がトレーニングを受ける程度は、異なり、これにより、サブネットワークの指標を評価する時に、誤差が生じる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

相関技術に存在する問題を解決するために、本発明は、スーパーネットワークトレーニング方法、装置、プログラム、及び記録媒体を提供する。

【課題を解決するための手段】

【0005】

本発明の実施形態の一態様によると、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップ、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含むスーパーネットワークトレーニング方を提供する。

【0006】

選択的には、サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数は、同じである。

【0007】

選択的には、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップは、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造は、前記サンプリングプールに戻されないステップ１と、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するステップ２と、
ステップ１からステップ２のプロセスを重複して、複数のサブネットワークを取得するステップ３と、を含む。

【0008】

選択的には、サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って複数のサブネットワークを取得した後、
前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すステップと、をさらに含む。

【0009】

選択的には、サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップは、
前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行うステップと、
前記複数のサブネットワークのトレーニング結果に基づいて、前記スーパーネットワークのパラメータを更新するステップと、を含む。

【0010】

選択的に、前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行うステップは、
バックプロパゲーション（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）アルゴリズムを使用して、前記複数のサブネットワークでの各サブネットワークに対してそれぞれトレーニングを行うステップを含む。

【0011】

本発明の実施形態の他の一態様によると、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するように構成される返さないサンプリングモジュールと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成されるスーパーネットワークトレーニングモジュールと、を含むスーパーネットワークトレーニング装置を提供する。

【0012】

選択的に、前記返さないサンプリングモジュールは、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造が前記サンプリングプールに戻されないように構成される選択サブモジュールと、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するように構成されるサブネットワーク組み合わせサブモジュールと、
前記選択サブモジュールと前記サブネットワーク組み合わせサブモジュールがサンプリングとサブネットワークを構成する操作を重複に行って、複数のサブネットワークを取得するように制御するように構成されるサンプリング制御サブモジュールと、を含む。

【0013】

選択的に、前記返さないサンプリングモジュールでサンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すように構成されるネットワークリリースモジュールをさらに含む。

【0014】

本発明の実施形態の他の一態様によると、
プロセッサーと
プロセッサーで実行可能なコマンドを格納するメモリと、を含み、
前記プロセッサーは、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成されるコンピュータ装置を提供する。

【0015】

本発明の実施形態の他の一態様によると、
移動端末のプロセッサーにより実行されることにより、移動端末は、スーパーネットワークトレーニング方法を実行し、
前記方法は、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含むプログラムを提供する。
本発明の実施形態の他の一態様によると、
上記のプログラムが記録されるコンピュータ読み取り可能な記録媒体を提供する。

【0016】

本発明の実施例で提供される技術方案は、以下のような有益な効果を含むことができる。完全公平なサンプリング方法を使用し、各層のサブ構造の選択において、返さないサンプリング（ｓａｍｐｌｉｎｇ ｗｉｔｈｏｕｔ ｒｅｐｌａｃｅｍｅｎｔ）を採用して、各サブ構造を均一に選択してトレーニングを行うように確保し、これにより、サブ構造のトレーニングを受ける程度が不均一することによるサブネットワークの指標を評価する際に誤差が生じる問題を解決することができる。且つ、一括でサブネットワークトレーニングを行った後、スーパーネットワークパラメータを一括で更新することにより、トレーニングの効率を向上させることができる。正確かつ効率的なスーパーネットワークトレーニングのメカニズムを実現することができる。

【0017】

なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定しない。

【図面の簡単な説明】

【0018】

ここの図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に該当する実施例を例示するとともに、明細書とともに本発明の原理を解釈する。

【図1】均一なサンプリングでサブネットワークを構成する実現原理の模式図である。

【図2】一例示的な実施形態に係るスーパーネットワークトレーニング方法のフローチャートである。

【図3】図２のステップ２０１の一例示的な実現フローチャートである。

【図4】図２のステップ２０１でノンオーバーラップサンプリングを行う実現原理の例示的な模式図である。

【図5】一例示的な実施形態に係るスーパーネットワークトレーニング方法のフローチャートである。

【図6】一例示的な実施形態係るスーパーネットワークトレーニング装置のブロック図である。

【図7】図６の返さないサンプリングモジュール６０１の一例示的な構造のブロック図である。

【図8】一例示的な実施形態に係るスーパーネットワークトレーニング装置のブロック図である。

【図9】一例示的な実施形態に係る装置のブロック図（移動端末の一般的な構造）である。

【図10】一例示的な実施形態係る装置のブロック図（サーバーの一般的な構造）である。

【発明を実施するための形態】

【0019】

以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施形態に記載の実施例は、本発明と一致する全ての実施例を代表するものではない。即ち、それらは、特許請求の範囲に記載の本発明のある側面に一致する装置及び方法の例に過ぎない。

【0020】

スーパーネットワーク内のすべてのサブ構造が異なるサブネットワークを構築する際にパラメータを共有し、スーパーネットワークのサブネットワークのサンプリング評価指標（例えば、正確率など）を一定程度にトレーニングすると、サブネットワークのサンプリングを行いその指標を評価することができ、サブネットワークを再度トレーニングする必要がない。

【0021】

スーパーネットワークの各層には、複数の選択可能なサブ構造があり、スーパーネットワークをトレーニングする際に、一般的に均一なパスサンプリング方法により１つの単一のパスを選択してトレーニングする。均一なサンプリングには、一定の分散が存在するので、異なるサブ構造が異なる程度のトレーニングを受け、これにより、サブネットワークの指標を評価する場合、誤差が生じる。

【0022】

上記の問題を解決するために、本発明の実施例は、スーパーネットワークトレーニング方法、及び装置を提供する。完全公平なサンプリング方法を使用し、各層のサブ構造の選択において、返さないサンプリング（ｓａｍｐｌｉｎｇ ｗｉｔｈｏｕｔ ｒｅｐｌａｃｅｍｅｎｔ）を採用して、各サブ構造を均一に選択してトレーニングを行うことを確保し、これにより、サブ構造のトレーニングを受ける程度が不均一することによるサブネットワークの指標を評価する際に誤差が生じる問題を解決することができる。

【0023】

本発明の一実施例は、スーパーネットワークトレーニング方法を提供し、その方法により、スーパーネットワークをトレーニングして更新する過程は、図２に示す通りであり、下記のようなステップを含む。

【0024】

ステップ２０１において、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なる。
当該ステップにおいて、ノンオーバーラップサンプリングを行う。選択されたサブ構造は、すべてのサブネットワークに対するサンプリングが完了するまで、サンプリングプールに戻されない。選択的には、サンプリングして得られたサブネットワークの数は、前記スーパーネットワークの各層でのサブ構造の数と同じであり、即ち、スーパーネットワークでのすべてのサブ構造に対して１回のサンプリングを行うことにより、すべてのサブ構造がいずれも均一なトレーニングを受けることができるように保証する。

【0025】

具体的には、図３に示すように、当該ステップは、下記のようなステップを含む。

【0026】

ステップ２０１１において、前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造は、前記サンプリングプールに戻されない。

【0027】

ステップ２０１２において、各層から選択されたサブ構造を接続して、一つのサブネットワークを構成する。

【0028】

ステップ２０１３において、ステップ２０１１ないし２０１２の過程を重複して、複数のサブネットワークを取得する。選択的には、サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じになるまで、上記のプロセスを複製する。

【0029】

図４は、図２のステップ２０１においてノンオーバーラップサンプリングを行う実現原理の模式図である。図４からわかるように、スーパーネットワークのＮ（Ｎは、正の整数であり）層での任意の一つの層に対して、いずれも返さない均一なサンプリングを行わない、これにより、すでにサンプリングされたサブ構造が重複的にサンプリングされなく、すべてのサブ構造がいずれも一度サンプリングされるように保証することができる。

【0030】

ステップ２０２において、前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返す。

【0031】

サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合（この場合、すべてのサブ構造は、いずれもすでに一度サンプリングされ、スーパーネットワークの各層に対応するサンプリングプールは、いずれも空である）、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って複数のサブネットワークを取得した後、次にニューラルネットワークに対してスーパーネットワークトレーニングを行うように、スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返す。

【0032】

ステップ２０３において、サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、そのスーパーネットワークを更新する。

【0033】

当該ステップにおいて、前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行う。具体的には、バックプロパゲーション（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）アルゴリズムを使用して、前記複数のサブネットワークでの各サブネットワークに対してそれぞれトレーニングを行い、その後、前記複数のサブネットワークのトレーニング結果に基づいて、スーパーネットワークのパラメータ（例えば、ニューラルネットワークの重みなど）を更新する。

【0034】

本発明の一実施例は、他のスーパーネットワークトレーニング方法を提供する。本発明の実施例において、スーパーネットワークは、Ｎ層で構成され、各層には、Ｍ個の選択可能なサブ構造があり、目標は、Ｍ回のサンプリングを行って、Ｍ個のサブネットワークを得て、Ｍ個のサブネットワークに対して一括でトレーニングを行う。ここで、ＭとＮは、正の整数である。

【0035】

具体的な過程は、図５に示す通りである。
まず、各層において、返さないサンプリングによって一つのサブ構造を選択する。第１の層から開始して、１つの層のサンプリングを完了するたびに、ｎの値は、１だけ増加し、第Ｎ層（即ち、ｎ＝Ｎ）まで到達すると、一回のサンプリングが終了したことを意味し、各層においていずれも一個のサブ構造を選択して、一つのサブネットワークを構成することができる。

【0036】

その後、現在、いくつかのサブネットワークをサンプリングしたのかを判断すると共に、目標値であるＭ個（即ち、ｍ＝Ｍ）に達したか否か判断する。Ｍ個のサブネットワークがサンプリングされた後、すべての層のすべてのサブ構造をサンプリングプールに返し、そうでない場合、ｍの値は、１だけ増加し、次のサブネットワークサンプリングに進入する。

【0037】

Ｎ層のサンプリングが完了した後、各層で選択したサブ構造を接続して、サンプリングサブネットワークを構成する。

【0038】

Ｍ回のネットワークサンプリングを繰り返して、１セットのＭ個のサブネットワークを得る。Ｍ個のサブネットワークのそれぞれに対して、１回のＢＰアルゴリズムのトレーニングを行い、トレーニングが完了した後、スーパーネットワークに対して１回のパラメータの更新を行う。

【0039】

本発明の一実施例は、スーパーネットワークトレーニング装置をさらに提供し、図６に示すように、そのスーパーネットワークトレーニング装置の構造は、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なるように構成される返さないサンプリングモジュール６０１と、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成されるスーパーネットワークトレーニングモジュール６０２と、を含む。

【0040】

選択的に、図７に示すように、前記返さないサンプリングモジュール６０１の構造は、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造が前記サンプリングプールに戻されないように構成される選択サブモジュール６０１１と、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するように構成されるサブネットワーク組み合わせサブモジュール６０１２と、
前記選択サブモジュールと前記サブネットワーク組み合わせサブモジュールがサンプリングとサブネットワークを構成する操作を重複に行って、複数のサブネットワークを取得するように制御するように構成されるサンプリング制御サブモジュール６０１３と、を含む。

【0041】

選択的に、図８に示すように、当該装置は、
前記返さないサンプリングモジュールでサンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すように構成されるネットワークリリースモジュール６０３をさらに含む。

【0042】

前記実施例の装置において、それぞれのモジュールが操作を実行する具体的な方法は、すでにその方法の実施例において詳細に説明したので、ここで詳細に説明しない。図６から図８に示すスーパーネットワークトレーニング装置は、処理能力を備えるコンピュータ機器に集積され、コンピュータ機器によって対応する機能を実現してもよい。

【0043】

本発明の一実施例は、スーパーネットワークトレーニングのための装置８００をさらに提供し、図９は、その装置８００のブロック図である。例えば、装置８００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲーム機、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡ等のものであってもよい。

【0044】

図９を参照すると、装置８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサーユニット８１４、及び通信ユニット８１６からなる群から選ばれる少なくとも１つを備えてもよい。

【0045】

処理ユニット８０２は、一般的には、装置８００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサー８２０を備えてもよい。また、処理ユニット８０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット８０２は、マルチメディアユニット８０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。

【0046】

メモリ８０４は、装置８００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置８００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ８０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。

【0047】

電源ユニット８０６は、装置８００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置８００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。

【0048】

マルチメディアユニット８０８は、装置９００とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。一実施例では、マルチメディアユニット８０８は、フロントカメラ及び／又はバックカメラを有してもよい。装置８００が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び／又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。

【0049】

オーディオユニット８１０は、オーディオ信号を出力及び／又は入力するように配置される。例えば、オーディオユニット８１０は、マイクロフォン（ＭｉＣ）を有してもよい。装置８００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ８０４にさらに記憶されてもよいし、通信ユニット８１６を介して送信されてもよい。一実施例では、オーディオユニット８１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。

【0050】

Ｉ／Ｏインタフェース８１２は、処理ユニット８０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。

【0051】

センサーユニット８１４は、装置８００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット８１４は、装置８００のオン／オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、装置８００のディスプレイ及びキーパッドである。センサーユニット８１４は、装置８００又は装置８００の１つのユニットの位置の変化や、ユーザが装置９００に接触しているか否かや、装置８００の方向又は加速／減速や、装置８００の温度変化を検出することができる。センサーユニット８１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット８１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。一実施例では、当該センサーユニット８１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。

【0052】

通信ユニット８１６は、装置８００と他の設備の間との無線又は有線通信を便利にさせるように配置される。装置９００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。１つの例示的な実施例では、通信ユニット８１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット８１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ（登録商標））技術及び他の技術によって実現されてもよい。

【0053】

例示的な実施例では、装置８００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサー（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、数字信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラム可能論理デバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。

【0054】

例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ８０４をさらに提供する。前記命令は、装置８００のプロセッサー８２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。

【0055】

非一時的なコンピュータ読み取り可能な記録媒体であって、前記記録媒体におけるコマンドが移動端末のプロセッサーによって実行される場合、移動端末は、スーパーネットワークトレーニング方法を実行し、上記の方法は、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、そのスーパーネットワークを更新するステップと、を含む。

【0056】

本発明の一実施例は、
プロセッサーと
プロセッサーで実行可能なコマンドを格納するメモリと、を含み、
前記プロセッサーは、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、そのスーパーネットワークを更新するように構成されるコンピュータ装置をさらに提供する。

【0057】

本発明の一実施例は、スーパーネットワークトレーニングのための装置１９００をさらに提供し、図１０は、その装置１９００のブロック図である。例えば、装置１９００はサーバーとして提供されてもよい。図１０を参照すると、装置１９００は、１つ以上のプロセッサーがさらに含まれた処理ユニット１９２２と、処理ユニット１９２２により実行可能な命令、例えばプログラムを記憶するメモリ１９３２を代表とするメモリリソースとを含む。メモリ１９３２に記憶されたアプリケーションプログラムは、１つ以上のそれぞれが一組の命令に対応するモジュールを含んでもよい。また、前記いずれか１つの実施例に提供された方法を実行するために、処理ユニット１９２２は命令を実行するように配置される。

【0058】

装置１９００は、装置１９００の電源管理を実行するように配置された電源ユニット１９２６と、装置１９００をインターネットに接続させるように配置された有線又は無線インターネットインタフェース１９５０と、入力／出力（Ｉ／Ｏ）インタフェース１９５８とを備えてもよい。装置１９００は、メモリ１９３２に記憶された操作システム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ， ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭなどに基づいて操作できる。

【0059】

本発明の実施例は、スーパーネットワークトレーニング方法、及び装置を提供し、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、その後、サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、そのスーパーネットワークを更新する。完全公平なサンプリング方法を使用し、各層のサブ構造の選択において、返さないサンプリング（ｓａｍｐｌｉｎｇ ｗｉｔｈｏｕｔ ｒｅｐｌａｃｅｍｅｎｔ）を採用して、各サブ構造を均一に選択してトレーニングを行うように確保し、これにより、サブ構造のトレーニングを受ける程度が不均一することによるサブネットワークの指標を評価する際に誤差が生じる問題を解決することができる。且つ、一括でサブネットワークトレーニングを行った後、スーパーネットワークパラメータを一括で更新することにより、トレーニングの効率を向上させることができる。正確かつ効率的なスーパーネットワークトレーニングのメカニズムを実現することができる。

【0060】

本発明の実施例で提供される技術方案は、異なるサブ構造のトレーニングを受ける程度が完全に同じであるよう保証し、サブネットワーク指標を評価する際の誤差を最大限減少させることができる、各セットのサブネットワークがバックプロパゲーションを行った後、一回のパラメータ更新を行うことにより、効率を向上させることができる。

【0061】

当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲によって示される。

【0062】

本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】