特開 2023-65605 モデルトレーニング方法、装置、システム、機器、媒体及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023065605

(43)【公開日】2023-05-12

(54)【発明の名称】モデルトレーニング方法、装置、システム、機器、媒体及びプログラム

(51)【国際特許分類】

   G06F 16/906 20190101AFI20230502BHJP

【ＦＩ】

G06F16/906

【審査請求】有

【請求項の数】25

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2023032391

(22)【出願日】2023-03-03

(31)【優先権主張番号】202210358922.4

(32)【優先日】2022-04-06

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】ワン， シュオファン

(72)【発明者】

【氏名】ゴン， ウェイバオ

(72)【発明者】

【氏名】ウ， ツィファ

(72)【発明者】

【氏名】サン， ユウ

(72)【発明者】

【氏名】ディン， シユ

(72)【発明者】

【氏名】ハン， ヤキァン

(72)【発明者】

【氏名】ツァオ， ヤンビン

(72)【発明者】

【氏名】リュウ， ユァン

(72)【発明者】

【氏名】ユ， ディアンハイ

(57)【要約】      （修正有）

【課題】モデルトレーニング方法、装置、システム、機器、媒体及びプログラムを提供する。
【解決手段】方法は、少なくとも１つの第１のクラスタがサンプルデータセットをトレーニングしてトレーニングデータを取得し、第２のクラスタがトレーニングデータに基づいてトレーニングモデルをトレーニングし、トレーニングデータを生成するモデルと事前トレーニングモデルを個別に異なるクラスタに配置し、モデルに対してクロスクラスタトレーニングを行う。
【効果】第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけでモデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信はクロスクラスタトレーニングを満たし、異なる段階のトレーニングタスクに基づいて、トレーニングデータの生成タスクと事前トレーニングモデルのトレーニングタスクを夫々異なるプロセッサに配置して処理速度を向上させ、トレーニング效率を向上させる。
【選択図】図５ａ

【特許請求の範囲】

【請求項1】

少なくとも１つの第１のクラスタと、
該少なくとも１つの第１のクラスタと通信する第２のクラスタと、
を含み、
前記少なくとも１つの第１のクラスタが、サンプルデータセットを取得し、前記サンプルデータセットに基づいてトレーニングデータを生成し、前記トレーニングデータを前記第２のクラスタに送信し、
前記第２のクラスタが、前記少なくとも１つの第１のクラスタから送信された前記トレーニングデータに基づいて、事前トレーニングモデルをトレーニングするモデルトレーニングシステム。

【請求項2】

前記少なくとも１つの第１のクラスタの内部は第１の帯域幅で通信し、前記第２のクラスタの内部は第２の帯域幅で通信し、前記少なくとも１つの第１のクラスタと前記第２のクラスタとの間は第３の帯域幅で互いに通信し、前記第１の帯域幅が前記第３の帯域幅よりも大きく、前記第２の帯域幅が前記第３の帯域幅よりも大きい請求項１に記載のモデルトレーニングシステム。

【請求項3】

前記少なくとも１つの第１のクラスタと前記第２のクラスタとは互いに異種クラスタである請求項１に記載のモデルトレーニングシステム。

【請求項4】

前記少なくとも１つの第１のクラスタと前記第２のクラスタで使用されるプロセッサは異なる請求項３に記載のモデルトレーニングシステム。

【請求項5】

前記少なくとも１つの第１のクラスタで使用されるプロセッサがグラフィックプロセッサであり、前記第２のクラスタで使用されるプロセッサがニューラルネットワークプロセッシングユニットである請求項４に記載のモデルトレーニングシステム。

【請求項6】

前記第１のクラスタは複数であり、複数の前記第１のクラスタが処理するデータタイプは異なる請求項１に記載のモデルトレーニングシステム。

【請求項7】

前記少なくとも１つの第１のクラスタが、
前記サンプルデータセットに基づいてトレーニングデータを生成するとき、
前記サンプルデータセットを初期生成器に入力して、前記トレーニングデータを生成し、前記サンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得し、
前記第２のクラスタが、
前記少なくとも１つの第１のクラスタから送信された前記トレーニングデータに基づいて事前トレーニングモデルをトレーニングするとき、
前記トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得する請求項１に記載のモデルトレーニングシステム。

【請求項8】

前記サンプルデータセットは第１のテキストサンプルデータセットであり、
前記少なくとも１つの第１のクラスタが、
前記サンプルデータセットを初期生成器に入力して、前記トレーニングデータを生成するとき、
前記第１のテキストサンプルデータセット中のテキストセグメントを設定された識別子に置換して、置換された第１のテキストサンプルデータセットを取得し、前記置換された第１のテキストサンプルデータセットを初期生成器に入力して、第２のテキストサンプルデータを取得し、
前記第２のクラスタが、
前記トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得するとき、
前記第２のテキストサンプルデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得する請求項７に記載のモデルトレーニングシステム。

【請求項9】

前記少なくとも１つの第１のクラスタが、
前記サンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得するとき、
初期生成パラメータを再帰的ニューラルネットワークに入力して前記初期生成器を作成し、
前記サンプルデータセットを前記初期生成器に入力して事前トレーニングを行い、
確率分布関数に基づいて確率出力に変換し、事前トレーニング後のネットワークパラメータを取得し、
前記事前トレーニング後のネットワークパラメータに基づいて前記初期生成器のネットワークパラメータを更新して、前記生成器を取得する請求項７に記載のモデルトレーニングシステム。

【請求項10】

前記第２のクラスタが、
前記トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得するとき、
初期判別パラメータを畳み込みニューラルネットワークに入力して前記初期判別器を作成し、
前記トレーニングデータを初期判別器に入力して事前トレーニングを行い、
確率分布関数に基づいて確率出力に変換し、
最小化されたクロスエントロピーに基づいて前記初期判別器の前記初期判別パラメータを更新して、事前トレーニング後の判別パラメータを取得し、
前記事前トレーニング後の判別パラメータに基づいて前記初期判別器のネットワークパラメータを更新して、前記判別器を取得する請求項７に記載のモデルトレーニングシステム。

【請求項11】

第２のクラスタと通信可能に接続される第１のクラスタに適用され、
サンプルデータセットを取得するステップと、
前記サンプルデータセットに基づいて、トレーニングデータを生成するステップと、
第２のクラスタが前記トレーニングデータに基づいて事前トレーニングモデルをトレーニングするように、前記トレーニングデータを前記第２のクラスタに送信するステップと、を含むモデルトレーニング方法。

【請求項12】

前記サンプルデータセットに基づいて、トレーニングデータを生成するステップが、
前記サンプルデータセットを初期生成器に入力して、前記トレーニングデータを生成し、前記サンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得するステップを含む請求項１１に記載のモデルトレーニング方法。

【請求項13】

前記サンプルデータセットは第１のテキストサンプルデータセットであり、
前記サンプルデータセットを初期生成器に入力して、前記トレーニングデータを生成するステップが、
前記第１のテキストサンプルデータセット中のテキストセグメントを設定された識別子に置換して、置換された第１のテキストサンプルデータセットを取得し、前記置換された第１のテキストサンプルデータセットを初期生成器に入力して、第２のテキストサンプルデータを取得するステップを含む請求項１２に記載のモデルトレーニング方法。

【請求項14】

前記サンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得するステップが、
初期生成パラメータを再帰的ニューラルネットワークに入力して前記初期生成器を作成するステップと、
前記サンプルデータセットを前記初期生成器に入力して事前トレーニングを行うステップと、
確率分布関数に基づいて確率出力に変換し、事前トレーニング後のネットワークパラメータを取得するステップと、
前記事前トレーニング後のネットワークパラメータに基づいて前記初期生成器のネットワークパラメータを更新して、前記生成器を取得するステップと、
を含む請求項１２に記載のモデルトレーニング方法。

【請求項15】

前記第１のクラスタの内部は第１の帯域幅で通信し、前記第２のクラスタの内部は第２の帯域幅で通信し、前記第１のクラスタと前記第２のクラスタとの間は第３の帯域幅で互いに通信し、前記第１の帯域幅が前記第３の帯域幅より大きく、前記第２の帯域幅が前記第３の帯域幅より大きい請求項１１に記載のモデルトレーニング方法。

【請求項16】

前記少なくとも１つの第１のクラスタと前記第２のクラスタとは互いに異種クラスタである請求項１１に記載のモデルトレーニング方法。

【請求項17】

少なくとも１つの第１のクラスタと通信可能に接続される第２のクラスタに適用され、
前記少なくとも１つの第１のクラスタから送信されたサンプルデータセットを受信するステップと、
トレーニングデータに基づいて事前トレーニングモデルをトレーニングするステップと、
を含むモデルトレーニング方法。

【請求項18】

前記トレーニングデータに基づいて事前トレーニングモデルをトレーニングするステップが、
前記トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得するステップを含む請求項１７に記載のモデルトレーニング方法。

【請求項19】

前記トレーニングデータは第２のテキストサンプルデータであり、
前記トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得するステップが、
前記第２のテキストサンプルデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得するステップを含む請求項１８に記載のモデルトレーニング方法。

【請求項20】

前記トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得するステップが、
初期判別パラメータを畳み込みニューラルネットワークに入力して前記初期判別器を作成するステップと、
前記トレーニングデータを初期判別器に入力して事前トレーニングを行うステップと、
確率分布関数に基づいて確率出力に変換するステップと、
最小化されたクロスエントロピーに基づいて前記初期判別器の前記初期判別パラメータを更新して、事前トレーニング後の判別パラメータを取得するステップと、
前記事前トレーニング後の判別パラメータに基づいて前記初期判別器のネットワークパラメータを更新して、前記判別器を取得するステップと、
を含む請求項１８に記載のモデルトレーニング方法。

【請求項21】

第２のクラスタと通信可能に接続される第１のクラスタに適用され、
サンプルデータセットを取得するための取得モジュールと、
前記サンプルデータセットに基づいて、トレーニングデータを生成するための生成モジュールと、
第２のクラスタが前記トレーニングデータに基づいて事前トレーニングモデルをトレーニングするように、前記トレーニングデータを前記第２のクラスタに送信するための送信モジュールと、
を備えるモデルトレーニング装置。

【請求項22】

少なくとも１つの第１のクラスタと通信可能に接続される第２のクラスタに適用され、
前記少なくとも１つの第１のクラスタから送信されたサンプルデータセットを受信するための受信モジュールと、
前記トレーニングデータに基づいて事前トレーニングモデルをトレーニングするためのトレーニングモジュールと、
を備えるモデルトレーニング装置。

【請求項23】

少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサと通信可能に接続されるメモリと、
を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されおり、前記命令は、前記少なくとも１つのプロセッサが請求項１１から１６または１７から２０のいずれか一項に記載の方法の各ステップを実行できるように、前記少なくとも１つのプロセッサによって実行される電子機器。

【請求項24】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令が、コンピュータに請求項１１から１６または１７から２０のいずれか一項に記載の方法の各ステップを実行させる非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項25】

プロセッサによって実行される場合、請求項１１から１６または１７から２０のいずれか一項に記載の方法の各ステップが実現されるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、コンピュータ技術の分野に関し、具体的には人工知能、自然言語処理、深層学習技術の分野に関し、特にモデルトレーニング方法、装置、システム、機器、媒体及びプログラムに関する。

【背景技術】

【0002】

コンピュータ技術の盛んな発展に伴い、人工知能技術も急速に発展しており、医薬、金融、教育などの各方面は人工知能技術から離れられず、自然言語処理技術及び深層学習技術などもますます広く活用されている。

【0003】

現在、クロスクラスタ（ｃｒｏｓｓ－ｃｌｕｓｔｅｒ）のモデルトレーニングはクラスタ間の通信帯域幅に制限されており、モデルトレーニングの効率は低い。

【発明の概要】

【0004】

本出願は、モデルトレーニング方法、装置、システム、機器、媒体及びプログラムを提供する。

【0005】

本出願の一態様によれば、少なくとも１つの第１のクラスタと、前記少なくとも１つの第１のクラスタと通信する第２のクラスタとを含むモデルトレーニングシステムを提供し、前記少なくとも１つの第１のクラスタが、サンプルデータセットを取得し、前記サンプルデータセットに基づいてトレーニングデータを生成し、前記トレーニングデータを前記第２のクラスタに送信し、前記第２のクラスタが、前記少なくとも１つの第１のクラスタから送信された前記トレーニングデータに基づいて、事前トレーニングモデルをトレーニングする。

【0006】

本出願の別の態様によれば、第２のクラスタと通信可能に接続される第１のクラスタに適用されるモデルトレーニング方法を提供し、前記方法は、サンプルデータセットを取得するステップと、前記サンプルデータセットに基づいて、トレーニングデータを生成するステップと、第２のクラスタが前記トレーニングデータに基づいて事前トレーニングモデルをトレーニングするように、前記トレーニングデータを前記第２のクラスタに送信するステップと、を含む。

【0007】

本出願の別の態様によれば、少なくとも１つの第１のクラスタと通信可能に接続される第２のクラスタに適用されるモデルトレーニング方法を提供し、前記方法は、前記少なくとも１つの第１のクラスタから送信されたサンプルデータセットを受信するステップと、前記トレーニングデータに基づいて、事前トレーニングモデルをトレーニングするステップと、を含む。

【0008】

本出願の別の態様によれば、第２のクラスタと通信可能に接続される第１のクラスタに適用されるモデルトレーニング装置を提供し、前記装置は、サンプルデータセットを取得するための取得モジュールと、前記サンプルデータセットに基づいて、トレーニングデータを生成するための生成モジュールと、第２のクラスタが前記トレーニングデータに基づいて事前トレーニングモデルをトレーニングするように、前記トレーニングデータを前記第２のクラスタに送信するための送信モジュールと、を備える。

【0009】

本出願の別の態様によれば、少なくとも１つの第１のクラスタと通信可能に接続される第２のクラスタに適用されるモデルトレーニング装置を提供し、前記装置は、前記少なくとも１つの第１のクラスタから送信されたサンプルデータセットを受信するための受信モジュールと、前記トレーニングデータに基づいて、事前トレーニングモデルをトレーニングするためのトレーニングモジュールと、を備える。

【0010】

本出願の別の様態によれば、電子機器を提供し、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが上記方法の各ステップを実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0011】

本出願の別の態様によれば、クラスタを提供し、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが上記の方法の各ステップを実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0012】

本出願の別の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに上記の方法の各ステップを実行させる。

【0013】

本出願の別の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムはプロセッサによって実行される場合、上記の方法の各ステップが実現される。

【発明の効果】

【0014】

本出願によって提供されるモデルトレーニング方法、装置、システム、機器、媒体及びプログラムは、以下の有益な効果を有する。

【0015】

本出願のいくつかの実施例では、少なくとも１つの第１のクラスタがサンプルデータセットをトレーニングしてトレーニングデータを取得し、第２のクラスタが、トレーニングデータに基づいてトレーニングモデルをトレーニングし、トレーニングデータを生成するモデルと事前トレーニングモデルを個別に異なるクラスタに配置し、モデルに対してクロスクラスタトレーニングを行うことで、第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信で本出願のクロスクラスタトレーニングを満たすことができ、異なる段階のトレーニングタスクに基づいて、トレーニングデータの生成タスクと事前トレーニングモデルのトレーニングタスクを個別に異なるプロセッサに配置することにより、モデルトレーニングをコンピュータシステムの内部構造と技術的に関連付け、トレーニング中のハードウェアの実行効果を向上させ、ハードウェア処理速度を向上させ、第１のクラスタがトレーニングデータを生成して第２のクラスタに提供してモデルトレーニングを行うことにより、第２のクラスタ自体がトレーニングデータを生成してからモデルトレーニングを行うことに比べて、モデルトレーニングを加速し、モデルのトレーニング効率を向上することができる。

【0016】

なお、この部分に記載されている内容は、本出願の実施例の肝心または重要な特徴を特定することを意図しておらず、本出願の範囲を限定することも意図していないことを理解されたい。本出願の他の特徴は、以下の説明を通して容易に理解される。

【図面の簡単な説明】

【0017】

図面は、本技術案をよりよく理解するために使用され、本開示を限定するものではない。

【図1】本出願によって提供されるデータ並列方式のクロスクラスタのモデルトレーニングの概略フローチャートである。

【図2】本出願によって提供されるパイプライン並列方式のクロスクラスタのモデルトレーニングの概略フローチャートである。

【図3】本出願の例示的な実施例によって提供されるモデルトレーニングシステムの概略構成図である。

【図4】本出願の例示的な実施例によって提供されるモデルトレーニングシステムの概略構成図である。

【図5a】本出願の実施例１によって提供されるモデルトレーニング方法の概略フローチャートである。

【図5b】本出願の実施例２によって提供されるモデルトレーニング方法の概略フローチャートである。

【図6】本出願の実施例３によって提供されるモデルトレーニング方法の概略フローチャートである。

【図7】本出願の例示的な実施例によって提供されるモデルトレーニング装置の概略構成図である。

【図8】本出願の例示的な実施例によって提供されるモデルトレーニング装置の概略構成図である。

【図9】本出願の実施例を実行するための例示的な電子機器の概略ブロック図である。

【発明を実施するための形態】

【0018】

以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

【0019】

人工知能は、コンピュータに人間のある思惟過程と知能行為（学習、推理、思考、計画など）をシミュレートさせることを研究する学科であり、ハードウェアレベルの技術とソフトウェアレベルの技術ともある。人工知能ハードウェア技術は一般にセンサ、専用人工知能チップ、クラウド計算、分散記憶、ビッグデータ処理などの技術を含む。人工知能ソフトウェア技術は主にコンピュータビジョン技術、音声認識技術、自然言語処理技術及び機械学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの方向を含む。

【0020】

自然言語処理は、人間言語（中国語、英語など）をコンピュータで処理、理解、運用する、コンピュータ科学と言語学との交差学科であり、計算言語学とも呼ばれる。自然言語は人間が他の動物と区別する根本的な標識であり、言語がないと、人間の思考も話せないため、自然言語処理は人工知能の最高タスクと境界を体現している。つまり、コンピューターが自然言語を処理する能力を備える時にこそ、機器は本当の知能を実現する。

【0021】

深層学習とは、多層の人工ニューラルネットワークとそれをトレーニングする方法を指す。一層のニューラルネットワークは、大量の行列数字を入力として、非線形アクティベーション方法によって重みを取ってから、別のデータ集合を出力として生成する。適切な行列数量で多層の組織がリンクすることにより、ニューラルネットワーク「脳」を形成して、正確で複雑な処理を行い、人間が物体を認識し画像をマークするようである。

【0022】

なお、本出願の技術案では、関連するユーザ個人情報の収集、記憶、使用、加工、伝送、提供、公開などの処理は、いずれも関連法律法規の規定に合致し、かつ公序良俗に違反しない。

【0023】

コンピュータ技術の盛んな発展に伴い、人工知能技術も急速に発展しており、医薬、金融、教育などの各方面は人工知能技術から離れられず、自然言語処理技術及び深層学習技術などもますます広く活用されている。

【0024】

現在、クロスクラスタのモデルトレーニング方式は、データ並列方式とパイプライン並列方式という２つのトレーニング方式を含む。

【0025】

図１は、本出願によって提供されるデータ並列方式のクロスクラスタのモデルトレーニングの概略フローチャートである。図１に示すように、クラスタＡとクラスタＢは、データ並列方式でモデルをトレーニングし、マルチサンプルデータをクラスタＡとクラスタＢとの複数のデバイスに同時に入力し、同時にデータトレーニングを行い、複数のデバイスがそれぞれの勾配を得て、クラスタＡとクラスタＢは得られた複数の勾配に対して勾配結合を行い、モデルのネットワークパラメータを更新する。図１に示すように、デバイス１、デバイス２、デバイス３、及びデバイス４は同時に入力されたサンプルデータに対してモデルトレーニングを行う。

【0026】

図２は、本出願によって提供されるパイプライン並列方式のクロスクラスタのモデルトレーニングの概略フローチャートである。図２に示すように、クラスタＡとクラスタＢはパイプライン並列方式でモデルをトレーニングし、モデルトレーニングタスクを計算時間順に複数のサブタスクに分割し、クラスタＡとクラスタＢは、対応する計算ノードを各サブタスクに割り当てる。図２に示すように、デバイス０、デバイス１、デバイス２及びデバイス３は、異なるサブタスクに対応する計算ノードである。

【0027】

クラスタＡとクラスタＢとの間のデータ伝送速度が１００ＭＢ／Ｓ前後であり、１００億パラメータのモデルをトレーニングすることを例とする。データ並列方式でモデルをトレーニングすると、モデルが更新されるたびにクラスタ間で１００ＧＢのデータを伝送する必要があり、１回のデータ伝送が完了するたびに２０分かかるが、一般的にモデルが更新されるたびに通常１秒前後かかり、トレーニング時間は１２００倍近く増える。パイプライン並列方式でモデルをトレーニングすると、クラスタ間で転送すべきのデータはｂａｔｃｈ＿ｓｉｚｅ ＊ ｓｅｑｕｅｎｃｅ＿ｌｅｎｇｔｈ ＊ ｈｉｄｄｅｎ＿ｓｉｚｅ ＊ ２であり、ここで、経験値ｂａｔｃｈ＿ｓｉｚｅ＝２０４８、ｓｅｑｕｅｎｃｅ＿ｌｅｎ＝１０２４、 ｈｉｄｄｅｎ＿ｓｉｚｅ ＝ ４０９６であり、順方向と逆方向通信が必要であり、更新ごとに２０４８＊１０２４＊４０９６＊２のパラメータを転送する必要があり、１回で３２ＧＢを転送する必要があり、５分近くかかり、トレーニング時間は３００倍近く増える。上記の２つのクロスクラスタのモデルトレーニング方式は、モデルトレーニングの効率が低い。

【0028】

以上のように、上記クロスクラスタのモデルトレーニング方式の効率は低い。上記の技術的課題に対して、本出願のいくつかの実施例では、少なくとも１つの第１のクラスタは、サンプルデータをトレーニングしてトレーニングデータを取得し、第２のクラスタは、トレーニングデータに基づいてトレーニングモデルをトレーニングし、トレーニングデータを生成するモデルと事前トレーニングモデルを個別に異なるクラスタに配置し、モデルに対してクロスクラスタトレーニングを行うことで、第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信は本出願のクロスクラスタトレーニングを満たすことができ、異なる段階のトレーニングタスクに基づいて、トレーニングデータの生成タスクと事前トレーニングモデルのトレーニングタスクを個別に異なるプロセッサに配置することにより、モデルトレーニングをコンピュータシステムの内部構造と技術的に関連付け、トレーニング中のハードウェアの実行効果を向上させ、ハードウェア処理速度を向上させ、第１のクラスタがトレーニングデータを生成して第２のクラスタに提供してモデルトレーニングを行うことにより、第２のクラスタ自体がトレーニングデータを生成してからモデルトレーニングを行うことに比べて、モデルトレーニングを加速し、モデルのトレーニング効率を向上することができる。

【0029】

以下、添付図面と併せて、本出願の各実施例によって提供される技術案を詳細に説明する。

【0030】

図３は、本出願の例示的な実施例によって提供されるモデルトレーニングシステム３００の概略構成図である。図３に示すように、当該モデルトレーニングシステム３００は、第１のクラスタ３０ａと第２のクラスタ３０ｂを含む。なお、図中の第１のクラスタ３０ａと第２のクラスタ３０ｂは例示的な説明にすぎず、本出願に対する限定を構成するものではない。当該モデルトレーニングシステム３００は、実際のニーズに応じて他のサービスを提供することもできる。

【0031】

なお、本出願は、第１のクラスタ３０ａと第２のクラスタ３０ｂのタイプを限定せず、クラスタは、記憶ノード、計算ノード及びアービトレーションノードなどを含むことができる。

【0032】

本実施例では、第１のクラスタ３０ａは、サンプルデータセットをトレーニングしてトレーニングデータを取得するために使用され、第２のクラスタ３０ｂは、トレーニングデータに基づいてトレーニングモデルをトレーニングし、トレーニングデータを生成するモデルと事前トレーニングモデルを個別に異なるクラスタに配置し、モデルに対してクロスクラスタトレーニングを行い、第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信は本出願のクロスクラスタトレーニングを満たすことができ、モデルのトレーニング效率を向上させる。

【0033】

上記の実施例では、第１のクラスタ３０ａがサンプルデータセットに基づいてトレーニングデータを生成する一実現可能な方式は、サンプルデータセットを初期生成器に入力して、トレーニングデータを生成し、サンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得することである。それに応じて、第２のクラスタ３０ｂが第１のクラスタ３０ａから送信されたトレーニングデータに基づいて事前トレーニングモデルをトレーニングする一実現可能な方式は、トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得することである。

【0034】

本出願の実施例は、「生成器＋判別器」であるモードのモデル中の生成器と判別器をそれぞれ第１のクラスタと第２のクラスタに配置して、モデルに対してクロスクラスタトレーニングを行い、第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信は本出願のクロスクラスタトレーニングを満たすことができ、モデルのトレーニング效率を向上させる。

【0035】

なお、サンプルデータセットはテキストサンプルデータセットまたは画像サンプルデータセットである。

【0036】

選択的に、サンプルデータセットが第１のテキストサンプルデータセットである場合、第１のテキストサンプルデータセット中のテキストセグメントを設定された識別子に置換して、置換された第１のテキストサンプルデータセットを取得し、置換された第１のテキストサンプルデータセットを初期生成器に入力して、第２のテキストサンプルデータを取得し、第２のテキストサンプルデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得する。トレーニング中に、第１のクラスタ３０ａに配置された初期生成器は、第１のテキストサンプルデータ中の一部の字または単語を設定された識別子に置換した後、第２のテキストサンプルデータを生成し、第１のクラスタ３０ａは第２のテキストサンプルデータを第２のクラスタ３０ｂに送信し、第２のクラスタ３０ｂに配置された初期判別器は、第２のテキストサンプルデータ中の各字または単語が置換されたか否かを判断する。

【0037】

例えば、第１のテキストサンプルデータは「ハルビンは黒竜江の省都で、国際氷雪文化名城である」であり、第１のクラスタ３０ａに配置された初期生成器は、第１のテキストサンプルデータ中の一部の字または単語を設定された識別子に置換して、「Ｍは黒竜江の省Ｍで、Ｍ文化名城である」を生成し、「Ｍは黒竜江の省Ｍで、Ｍ文化名城である」を生成器に入力して、第２のサンプルデータ「牡丹江は黒竜江の省市で、国際氷雪文化名城である」を生成する。第１のクラスタ３０ａは第２のテキストサンプルデータを第２のクラスタ３０ｂに送信し、第２のクラスタ３０ｂに配置された初期判別器は、「牡丹江は黒竜江の省市で、国際氷雪文化名城である」中の各字または単語が置換されたか否かを判断する。ここで、０は置換されたことを表し、１は置換されていないことを表す。図から分かるように、判別器は、「牡丹江」、「市」などの字または単語が置換されたと判断した。

【0038】

選択可能な一実施例では、第１のクラスタ３０ａはサンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得する。一実現可能な方式は、初期生成パラメータを再帰的ニューラルネットワークに入力して初期生成器を作成し、サンプルデータセットを初期生成器に入力して事前トレーニングを行い、確率分布関数に基づいて確率出力に変換し、事前トレーニング後のネットワークパラメータを取得し、事前トレーニング後のネットワークパラメータに基づいて初期生成器のネットワークパラメータを更新して、生成器を取得することである。

【0039】

それに応じて、別の選択的な実施例では、第２のクラスタ３０ｂはトレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得する。一実現可能な方式は、初期判別パラメータを畳み込みニューラルネットワークに入力して初期判別器を作成し、トレーニングデータを初期判別器に入力して事前トレーニングを行い、確率分布関数に基づいて確率出力に変換し、最小化されたクロスエントロピーに基づいて初期判別器の初期判別パラメータを更新して、事前トレーニング後の判別パラメータを取得し、事前トレーニング後の判別パラメータに基づいて初期判別器のネットワークパラメータを更新して、判別器を取得することである。

【0040】

なお、第１のクラスタ３０ａ内部は第１の帯域幅で通信し、第２のクラスタ３０ｂ内部は第２の帯域幅で通信し、第１のクラスタ３０ａと第２のクラスタ３０ｂとの間は第３の帯域幅で互いに通信し、第１の帯域幅が第３の帯域幅より大きく、第２の帯域幅が第３の帯域幅より大きい。すなわち、第１のクラスタ３０ａと第２のクラスタ３０ｂの内部で高帯域幅で通信することを維持することができ、第１のクラスタと第２のクラスタとの間は低帯域幅で通信することで、通信コストを増やすことなく、トレーニングデータの伝送を完全に満たすことができる。

【0041】

本実施例では、第１のクラスタ３０ａと第２のクラスタ３０ｂ中のトレーニング論理は強い結合を必要とせず、基盤に異なるチップを用いることができるため、第１のクラスタ３０ａと第２のクラスタ３０ｂは互いに異種クラスタであり、すなわち、第１のクラスタ３０ａと第２のクラスタ３０ｂで使用されるプロセッサは異なり、一実施例では、第１のクラスタ３０ａで使用されるプロセッサはグラフィックプロセッサであり、第２のクラスタ３０ｂで使用されるプロセッサはニューラルネットワークプロセッシングユニット（Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＮＰＵ）である。

【0042】

以下、アプリケーションシーンと併せて、本出願の実施例の技術案を説明する。

【0043】

アプリケーションシーン１：機械翻訳モデルである。第１のクラスタ３０ａに配置された第１のモデルはテキストサンプルデータセットに基づいて、Ｂａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータを生成し、第１のクラスタ３０ａはＢａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータを第２のクラスタ３０ｂに送信し、第２のクラスタ３０ｂに配置された第２のモデルはＢａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータに基づいて事前トレーニングモデルをトレーニングする。

【0044】

アプリケーションシーン２：多言語の事前トレーニングモデルである。第１のクラスタ３０ａに配置された第１のモデルは多言語テキストサンプルデータセットに基づいて、Ｂａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータを生成し、第１のクラスタ３０ａはＢａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータを第２のクラスタ３０ｂに送信し、第２のクラスタ３０ｂに配置された第２のモデルはＢａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータに基づいて事前トレーニングモデルをトレーニングする。

【0045】

アプリケーションシーン３：大きなモデルの蒸留である。第１のクラスタ３０ａに大きなモデルを配置し、第２のクラスタ３０ｂに小さなモデルを配置する。第１のクラスタ３０ａは、大きなモデルをトレーニングしながら、新たなトレーニングデータを生成し、第１のクラスタ３０ａはトレーニングデータを第２のクラスタ３０ｂに送信し、第２のクラスタ３０ｂはトレーニングデータに基づいて小さなモデルをトレーニングする。

【0046】

図４は本出願の例示的な実施例によって提供されるモデルトレーニングシステム４００の概略構成図である。図４に示すように、当該モデルトレーニングシステム４００は、複数の第１のクラスタ４０ａと第２のクラスタ４０ｂを含む。なお、図中の複数の第１のクラスタ４０ａと第２のクラスタ４０ｂは例示的な説明にすぎず、本出願に対する限定を構成するものではない。当該モデルトレーニングシステム４００は、実際のニーズに応じて他のサービスを提供することもできる。

【0047】

なお、本出願は、第１のクラスタ４０ａと第２のクラスタ４０ｂのタイプを限定せず、クラスタは、記憶ノード、計算ノード及びアービトレーションノードなどを含むことができる。

【0048】

本実施例では、複数の第１のクラスタ４０ａは、サンプルデータセットをトレーニングしてトレーニングデータを取得するために使用され、第２のクラスタ４０ｂは、トレーニングデータに基づいてトレーニングモデルをトレーニングし、トレーニングデータを生成するモデルと事前トレーニングモデルを個別に異なるクラスタに配置し、モデルに対してクロスクラスタトレーニングを行い、複数の第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信は本出願のクロスクラスタトレーニングを満たすことができ、モデルのトレーニング效率を向上させる。

【0049】

上記の実施例では、複数の第１のクラスタ４０ａがサンプルデータセットトに基づいてレーニングデータを生成する一実現可能な方式は、複数の第１のクラスタ４０ａがそれぞれのサンプルデータセットを初期生成器に入力して、それぞれのトレーニングデータを生成し、サンプルデータセットに基づいてそれぞれの初期生成器をトレーニングして、トレーニングされた生成器を取得することである。それに応じて、第２のクラスタ４０ｂが複数の第１のクラスタ４０ａから送信されたトレーニングデータに基づいて事前トレーニングモデルをトレーニングする一実現可能な方式は、トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得することである。

【0050】

本出願の実施例では、「複数の生成器＋判別器」であるモードのモデル中の生成器と判別器をそれぞれ複数の第１のクラスタと第２のクラスタに配置し、モデルに対してクロスクラスタトレーニングを行い、第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信は本出願のクロスクラスタトレーニングを満たすことができ、モデルのトレーニング效率を向上させる。

【0051】

なお、サンプルデータセットはテキストサンプルデータセットまたは画像サンプルデータセットである。

【0052】

選択的に、サンプルデータセットが第１のテキストサンプルデータセットである場合、各第１のクラスタ４０ａはそれぞれの第１のテキストサンプルデータセットをそれぞれの初期生成器に入力して、第１のテキストサンプルデータセット中のテキストセグメントを設定された識別子に置換し、それぞれの第２のテキストサンプルデータを取得し、各第１のクラスタ４０ａはそれぞれの第２のテキストサンプルデータを第２のクラスタ４０ｂに送信し、第２のクラスタ４０ｂは第２のテキストサンプルデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得する。トレーニング中に、各第１のクラスタ４０ａに配置された初期生成器は、第１のテキストサンプルデータ中の一部の字または単語を設定された識別子に置換した後、第２のテキストサンプルデータを生成し、複数の第１のクラスタ４０ａは、第２のテキストサンプルデータを第２のクラスタ４０ｂに送信し、第２のクラスタ４０ｂに配置された初期判別器は第２のテキストサンプルデータ中の各字または単語が置換された否かを判断する。

【0053】

例えば、図３ｂに示すように、第１のテキストサンプルデータは「ハルビンは黒竜江の省都で、国際氷雪文化名城である」であり、第１のクラスタ３０ａに配置された初期生成器は、第１のテキストサンプルデータ中の一部の字または単語を設定された識別子に置換して、「Ｍは黒竜江の省Ｍで、Ｍ文化名城である」を生成し、「Ｍは黒竜江の省Ｍで、Ｍ文化名城である」を生成器に入力して、第２のサンプルデータである「牡丹江は黒竜江の省市で、国際氷雪文化名城である」を生成する。第１のクラスタ３０ａは第２のテキストサンプルデータを第２のクラスタ３０ｂに送信し、第２のクラスタ３０ｂに配置された初期判別器は、「牡丹江は黒竜江の省市で、国際氷雪文化名城である」中の各字または単語が置換されたか否かを判断する。ここで、０は置換されたことを表し、１は置換されていないことを表す。図から分かるように、判別器は「牡丹江」、「市」などの字または単語が置換されたと判断した。

【0054】

選択可能な一実施例では、各第１のクラスタ４０ａはサンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得する。一実現可能な方式は、初期生成パラメータを再帰的ニューラルネットワークに入力して初期生成器を作成し、サンプルデータセットを初期生成器に入力して事前トレーニングを行い、確率分布関数に基づいて確率出力に変換し、事前トレーニング後のネットワークパラメータを取得し、事前トレーニング後のネットワークパラメータに基づいて初期生成器のネットワークパラメータを更新して、生成器を取得することである。

【0055】

それに応じて、別の選択的な実施例では、第２のクラスタ４０ｂはトレーニングデータに基づいて初期判別器をトレーニングし、トレーニングされた判別器を取得する。一実現可能な方式は、初期判別パラメータを畳み込みニューラルネットワークに入力して初期判別器を作成し、トレーニングデータを初期判別器に入力して事前トレーニングを行い、確率分布関数に基づいて確率出力に変換し、最小化されたクロスエントロピーに基づいて初期判別器の初期判別パラメータを更新して、事前トレーニング後の判別パラメータを取得し、事前トレーニング後の判別パラメータに基づいて初期判別器のネットワークパラメータを更新して、判別器を取得することである。

【0056】

なお、複数の第１のクラスタ４０ａ内部は第１の帯域幅で通信し、第２のクラスタ４０ｂ内部は第２の帯域幅で通信し、複数の第１のクラスタ４０ａと第２のクラスタ４０ｂとの間は第３の帯域幅で互いに通信し、第１の帯域幅が第３の帯域幅より大きく、第２の帯域幅が第３の帯域幅より大きい。すなわち、複数の第１のクラスタ４０ａと第２のクラスタ４０ｂの内部で高帯域幅で通信することを維持することができ、第１のクラスタと第２のクラスタとの間は低帯域幅で通信し、通信コストを増やすことなく、トレーニングデータの送信を完全に満たすことができる。

【0057】

なお、複数の第１のクラスタ４０ａが処理するデータタイプは異なる。複数の第１のクラスタ４０ａは異なる言語のデータを処理することができ、複数の第１のクラスタ４０ａは異なる業界分野のデータを処理することもできる。

【0058】

本実施例では、複数の第１のクラスタ４０ａと第２のクラスタ４０ｂ中のトレーニング論理は強い結合を必要とせず、基盤に異なるチップを用いることができるため、複数の第１のクラスタ４０ａと第２のクラスタ４０ｂは互いに異種クラスタであり、すなわち複数の第１のクラスタ４０ａと第２のクラスタ４０ｂで使用されるプロセッサは異なり、一実施例では、複数の第１のクラスタ４０ａで使用されるプロセッサはグラフィックプロセッサであり、第２のクラスタ４０ｂで使用されるプロセッサはニューラルネットワークプロセッシングユニットである。

【0059】

以下、アプリケーションシーンと併せて、本出願の実施例の技術案を説明する。

【0060】

連邦学習と併せたアプリケーションシーン：複数の第１のクラスタ４０ａにそれぞれ異なるデータタイプのモデルが配置され、第２のクラスタ４０ｂに複数のデータタイプの統一モデルが配置される。例えば、クラスタＡ、クラスタＢ及びクラスタＣに対応するサンプルデータはそれぞれ金融サンプルデータ、医療サンプルデータ及び法律サンプルデータであり、クラスタＡ、クラスタＢ及びクラスタＣは金融サンプルデータ、医療サンプルデータ及び法律サンプルデータに基づいて、金融トレーニングデータ、医療トレーニングデータ及び法律トレーニングデータを生成し、クラスタＤは金融トレーニングデータ、医療トレーニングデータ及び法律トレーニングデータに基づいて統一モデルをトレーニングする。本実施例は、プライベートデータの安全性を保護しながら、クロスクラスタのモデルトレーニングを実現する。

【0061】

上記システムの実施例では、少なくとも１つの第１のクラスタはサンプルデータセットをトレーニングしてトレーニングデータを取得し、第２のクラスタは、トレーニングデータに基づいてトレーニングモデルをトレーニングし、トレーニングデータを生成するモデルと事前トレーニングモデルを個別に異なるクラスタに配置し、モデルに対してクロスクラスタトレーニングを行い、第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信は本出願のクロスクラスタトレーニングを満たすことができ、異なる段階のトレーニングタスクに基づいて、トレーニングデータの生成タスクと事前トレーニングモデルのトレーニングタスクをそれぞれ異なるプロセッサに配置し、モデルトレーニングをコンピュータシステム内部構造と技術的に関連付け、トレーニング中のハードウェアの実行効果を向上させ、ハードウェア処理速度を向上させ、第１のクラスタがトレーニングデータを生成して第２のクラスタに提供してモデルトレーニングを行うことにより、第２のクラスタ自体がトレーニングデータを生成してからモデルトレーニングを行うことに比べて、モデルトレーニングを加速し、モデルのトレーニング効率を向上することができる。

【0062】

上記に提供されるモデルトレーニングシステムに加えて、本出願のいくつかの実施例はモデルトレーニング方法をさらに提供し、本出願の実施例によって提供されるモデルトレーニング方法は上記のモデルトレーニングシステムに限定されない。

【0063】

第１のクラスタの観点から、図５ａは、本出願の実施例１によって提供されるモデルトレーニング方法の概略フローチャートである。図５ａに示すように、当該方法は、以下のステップＳ５１１～Ｓ５１３を含む。

【0064】

Ｓ５１１、サンプルデータセットを取得する。

【0065】

Ｓ５１２、サンプルデータセットに基づいて、トレーニングデータを生成する。

【0066】

Ｓ５１３、第２のクラスタがトレーニングデータに基づいて事前トレーニングモデルをトレーニングするように、トレーニングデータを第２のクラスタに送信する。

【0067】

第２のクラスタの観点から、図５ｂは、本出願の実施例２によって提供されるモデルトレーニング方法の概略フローチャートである。図５ｂに示すように、この方法は、以下のステップＳ５２１～Ｓ５２２を含む。

【0068】

Ｓ５２１、少なくとも１つの第１のクラスタから送信されたサンプルデータセットを受信する。

【0069】

Ｓ５２２、トレーニングデータに基づいて事前トレーニングモデルをトレーニングする。

【0070】

本実施例では、第１のクラスタと第２のクラスタのタイプを限定せず、クラスタは、記憶ノード、計算ノード及びアービトレーションノードなどを含むことができる。

【0071】

なお、第１のクラスタは１つであってもよく、複数であってもよい。

【0072】

本実施例では、少なくとも第１のクラスタはサンプルデータセットをトレーニングしてトレーニングデータを取得するために使用され、第２のクラスタは、トレーニングデータに基づいてトレーニングモデルをトレーニングし、トレーニングデータを生成するモデルと事前トレーニングモデルを個別に異なるクラスタに配置し、モデルに対してクロスクラスタトレーニングを行い、第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信は本出願のクロスクラスタトレーニングを満たすことができ、モデルのトレーニング效率を向上させる。

【0073】

上記の実施例では、少なくとも１つの第１のクラスタがサンプルデータセットに基づいてトレーニングデータを生成する一実現可能な方式は、サンプルデータセットを初期生成器に入力して、トレーニングデータを生成し、サンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得することである。それに応じて、第２のクラスタが少なくとも１つの第１のクラスタから送信されたトレーニングデータに基づいて事前トレーニングモデルをトレーニングする一実現可能な方式は、トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得することである。

【0074】

本出願の実施例は、「少なくとも１つの生成器＋判別器」であるモードのモデル中の生成器と判別器をそれぞれ少なくとも１つの第１のクラスタと第２のクラスタに配置し、モデルに対してクロスクラスタトレーニングを行い、少なくとも１つの第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信は本出願のクロスクラスタトレーニングを満たすことができ、モデルのトレーニング效率を向上させる。

【0075】

なお、サンプルデータセットはテキストサンプルデータセットまたは画像サンプルデータセットである。

【0076】

選択的に、サンプルデータセットが第１のテキストサンプルデータセットである場合、第１のテキストサンプルデータセット中のテキストセグメントを設定された識別子に置換して、置換された第１のテキストサンプルデータセットを取得し、置換された第１のテキストサンプルデータセットを初期生成器に入力して、第２のテキストサンプルデータを取得し、第２のテキストサンプルデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得する。トレーニング中に、少なくとも１つの第１のクラスタに配置された初期生成器は、第１のテキストサンプルデータ中の一部の字または単語を設定された識別子に置換した後、少なくとも１つの第２のテキストサンプルデータを生成し、第１のクラスタは第２のテキストサンプルデータを第２のクラスタに送信し、第２のクラスタに配置された初期判別器は第２のテキストサンプルデータ中の各字または単語が置換された否かを判断する。

【0077】

例えば、図３ｂに示すように、第１のテキストサンプルデータは「ハルビンは黒竜江の省都で、国際氷雪文化名城である」であり、第１のクラスタに配置された初期生成器は第１のテキストサンプルデータ中の一部の字または単語を設定された識別子に置換し、「Ｍは黒竜江の省Ｍで、Ｍ文化名城である」を生成し、「Ｍは黒竜江の省Ｍで、Ｍ文化名城である」を生成器に入力して、第２のサンプルデータである「牡丹江は黒竜江の省市で、国際氷雪文化名城である」を生成する。第１のクラスタは第２のテキストサンプルデータを第２のクラスタに送信し、第２のクラスタに配置された初期判別器は「牡丹江は黒竜江の省市で、国際氷雪文化名城である」中の各字または単語が置換されたか否かを判断する。ここで、０は置換されたことを表し、１は置換されていないことを表す。図から分かるように、判別器は「牡丹江」、「市」などの字または単語が置換されたと判断した。

【0078】

選択可能な一実施例では、各第１のクラスタはサンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得する。一実現可能な方式は、初期生成パラメータを再帰的ニューラルネットワークに入力して初期生成器を作成し、サンプルデータセットを初期生成器に入力して事前トレーニングを行い、確率分布関数に基づいて確率出力に変換し、事前トレーニング後のネットワークパラメータを取得し、事前トレーニング後のネットワークパラメータに基づいて初期生成器のネットワークパラメータを更新して、生成器を取得することである。

【0079】

それに応じて、別の選択的な実施例では、第２のクラスタはトレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得する。一実現可能な方式は、初期判別パラメータを畳み込みニューラルネットワークに入力して初期判別器を作成し、トレーニングデータを初期判別器に入力して事前トレーニングを行い、確率分布関数に基づいて確率出力に変換し、最小化されたクロスエントロピーに基づいて初期判別器の初期判別パラメータを更新して、事前トレーニング後の判別パラメータを取得し、事前トレーニング後の判別パラメータに基づいて初期判別器のネットワークパラメータを更新して、判別器を取得することである。

【0080】

なお、第１のクラスタの内部は第１の帯域幅で通信し、第２のクラスタの内部は第２の帯域幅で通信し、第１のクラスタと第２のクラスタとの間は第３の帯域幅で互いに通信し、第１の帯域幅が第３の帯域幅より大きく、第２の帯域幅が第３の帯域幅より大きい。すなわち、第１のクラスタと第２のクラスタの内部は高帯域幅で通信することを維持することができ、第１のクラスタと第２のクラスタとの間は低帯域幅で通信し、通信コストを増やすことなく、トレーニングデータの送信を完全に満たすことができる。

【0081】

本実施例では、少なくとも１つの第１のクラスタと第２のクラスタ中のトレーニング論理は強い結合を必要とせず、基盤に異なるチップを用いることができるため、少なくとも１つの第１のクラスタと第２のクラスタは互いに異種クラスタであり、すなわち、少なくとも１つの第１のクラスタと第２のクラスタで使用されるプロセッサは異なり、一実施例では、少なくとも１つの第１のクラスタで使用されるプロセッサはグラフィックプロセッサであり、第２のクラスタで使用されるプロセッサはニューラルネットワークプロセッシングユニットである。

【0082】

なお、複数の第１のクラスタが処理するデータタイプは異なる。複数の第１のクラスタは異なる言語のデータを処理することができ、複数の第１のクラスタは異なる業界分野のデータを処理することもできる。

【0083】

以下、アプリケーションシーンと併せて、本出願の実施例の技術案を説明する。

【0084】

アプリケーションシーン１：機械翻訳モデルである。第１のクラスタに配置された第１のモデルはテキストサンプルデータセットに基づいて、Ｂａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータを生成し、第１のクラスタはＢａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータを第２のクラスタに送信し、第２のクラスタに配置された第２のモデルはＢａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータに基づいて事前トレーニングモデルをトレーニングする。

【0085】

アプリケーションシーン２：多言語の事前トレーニングモデルである。第１のクラスタに配置された第１のモデルは、多言語テキストサンプルデータセットに基づいて、Ｂａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータを生成し、第１のクラスタはＢａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータを第２のクラスタに送信し、第２のクラスタに配置された第２のモデルはＢａｃｋ－Ｔｒａｎｓｌａｔｉｏｎデータに基づいて事前トレーニングモデルをトレーニングする。

【0086】

アプリケーションシーン３：大きなモデルの蒸留である。第１のクラスタに大きなモデルを配置し、第２のクラスタに小さなモデルを配置する。第１のクラスタは大きなモデルをトレーニングしながら、新たなトレーニングデータを生成し、第１のクラスタはトレーニングデータを第２のクラスタに送信し、第２のクラスタはトレーニングデータに基づいて小さなモデルをトレーニングする。

【0087】

アプリケーションシーン４：連邦学習と併せたアプリケーションシーンである。複数の第１のクラスタ４０ａにそれぞれ異なるデータタイプのモデルが配置され、第２のクラスタ４０ｂに複数のデータタイプの統一モデルが配置される。例えば、クラスタＡ、クラスタＢ及びクラスタＣに対応するサンプルデータはそれぞれ金融サンプルデータ、医療サンプルデータ及び法律サンプルデータであり、クラスタＡ、クラスタＢ及びクラスタＣは金融サンプルデータ、医療サンプルデータ及び法律サンプルデータに基づいて、金融トレーニングデータ、医療トレーニングデータ及び法律トレーニングデータを生成し、クラスタＤは金融トレーニングデータ、医療トレーニングデータ及び法律トレーニングデータに基づいて統一モデルをトレーニングする。本実施例は、プライベートデータの安全性を保護しながら、クロスクラスタのモデルトレーニングを実現する。

【0088】

上記各実施例の説明に基づいて、図６は、本出願の実施例３によって提供されるモデルトレーニング方法の概略フローチャートである。図６に示すように、この方法は以下のステップＳ６０１～Ｓ６０４を含む。

【0089】

Ｓ６０１、少なくとも１つの第１のクラスタがサンプルデータセットを取得する。

【0090】

Ｓ６０２、少なくとも１つの第１のクラスタがサンプルデータセットに基づいてトレーニングデータを生成する。

【0091】

Ｓ６０３、少なくとも１つの第１のクラスタがトレーニングデータを第２のクラスタに送信する。

【0092】

Ｓ６０４、第２のクラスタが少なくとも１つの第１のクラスタから送信されたトレーニングデータに基づいて事前トレーニングモデルをトレーニングする。

【0093】

本実施例では、第１のクラスタと第２のクラスタのタイプを限定せず、クラスタは、記憶ノード、計算ノード及びアービトレーションノードなどを含むことができる。

【0094】

なお、本出願の実施例の各ステップの実現方式は、上記の各実施例の対応する部分の説明を参照することができ、ここでは説明を省略する。

【0095】

上記方法の実施例では、少なくとも１つの第１のクラスタはサンプルデータセットをトレーニングしてトレーニングデータを取得し、第２のクラスタは、トレーニングデータに基づいてトレーニングモデルをトレーニングし、トレーニングデータを生成するモデルと事前トレーニングモデルを個別に異なるクラスタに配置し、モデルに対してクロスクラスタトレーニングを行い、第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信は本出願のクロスクラスタトレーニングを満たすことができ、異なる段階のトレーニングタスクに基づいて、トレーニングデータの生成タスクと事前トレーニングモデルのトレーニングタスクをそれぞれ異なるプロセッサに配置し、モデルトレーニングをコンピュータシステム内部構造と技術的に関連付け、トレーニング中のハードウェアの実行効果を向上させ、ハードウェア処理速度を向上させ、第１のクラスタがトレーニングデータを生成して第２のクラスタに提供してモデルトレーニングを行うことにより、第２のクラスタ自体がトレーニングデータを生成してからモデルトレーニングを行うことに比べて、モデルトレーニングを加速し、モデルのトレーニング効率を向上することができる。

【0096】

図７は、本出願の例示的な実施例によって提供されるモデルトレーニング装置７０の概略構成図である。当該モデルトレーニング装置７０は、取得モジュール７１、生成モジュール７２及び送信モジュール７３を備える。

【0097】

取得モジュール７１は、サンプルデータセットを取得する。

【0098】

生成モジュール７２は、サンプルデータセットに基づいて、トレーニングデータを生成する。

【0099】

送信モジュール７３は、第２のクラスタがトレーニングデータに基づいて事前トレーニングモデルをトレーニングするように、トレーニングデータを第２のクラスタに送信する。

【0100】

選択的に、生成モジュール７２は、サンプルデータセットに基づいて、トレーニングデータを生成する場合、サンプルデータセットを初期生成器に入力して、トレーニングデータを生成し、サンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得する。

【0101】

選択的に、サンプルデータセットは第１のテキストサンプルデータセットであり、生成モジュール７２は、サンプルデータセットを初期生成器に入力して、トレーニングデータを生成する場合、第１のテキストサンプルデータセット中のテキストセグメントを設定された識別子に置換して、置換された第１のテキストサンプルデータセットを取得し、置換された第１のテキストサンプルデータセットを初期生成器に入力して、第２のテキストサンプルデータを取得する。

【0102】

選択的に、生成モジュール７２はサンプルデータセットに基づいて初期生成器をトレーニングして、トレーニングされた生成器を取得する場合、初期生成パラメータを再帰的ニューラルネットワークに入力して初期生成器を作成し、サンプルデータセットを初期生成器に入力して事前トレーニングを行い、確率分布関数に基づいて確率出力に変換し、事前トレーニング後のネットワークパラメータを取得し、事前トレーニング後のネットワークパラメータに基づいて初期生成器のネットワークパラメータを更新して、生成器を取得する。

【0103】

選択的に、第１のクラスタの内部は第１の帯域幅で通信し、第２のクラスタの内部は第２の帯域幅で通信し、第１のクラスタと第２のクラスタとの間は第３の帯域幅で互いに通信し、第１の帯域幅が第３の帯域幅より大きく、第２の帯域幅が第３の帯域幅より大きい。

【0104】

選択的に、少なくとも１つの第１のクラスタと第２のクラスタは互いに異種クラスタである。

【0105】

図８は、本出願の例示的な実施例によって提供されるモデルトレーニング装置８０の概略構成図である。当該モデルトレーニング装置８０は、受信モジュール８１とトレーニングモジュール８２を備える。

【0106】

受信モジュール８１は、少なくとも１つの第１のクラスタから送信されたサンプルデータセットを受信する。

【0107】

トレーニングモジュール８２は、トレーニングデータに基づいて事前トレーニングモデルをトレーニングする。

【0108】

選択的に、トレーニングモジュール８２は、トレーニングデータに基づいて事前トレーニングモデルをトレーニングするとき、トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得する。

【0109】

選択的に、トレーニングデータは第２のテキストサンプルデータであり、トレーニングモジュール８２は、トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得するとき、第２のテキストサンプルデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得する。

【0110】

選択的に、トレーニングモジュール８２は、トレーニングデータに基づいて初期判別器をトレーニングして、トレーニングされた判別器を取得する場合、初期判別パラメータを畳み込みニューラルネットワークに入力して初期判別器を作成し、トレーニングデータを初期判別器に入力して事前トレーニングを行い、確率分布関数に基づいて確率出力に変換し、最小化されたクロスエントロピーに基づいて初期判別器の初期判別パラメータを更新して、事前トレーニング後の判別パラメータを取得し、事前トレーニング後の判別パラメータに基づいて初期判別器のネットワークパラメータを更新して、判別器を取得する。

【0111】

本出願の実施例によれば、本出願は、電子機器、及び読み取り可能な記憶媒体、をさらに提供する。
本出願の実施例によれば、本出願は、コンピュータプログラムをさらに提供し、コンピュータプログラムはプロセッサによって実行される場合、本出願によって提供されるモデルトレーニング方法が実現される。

【0112】

上記実施例の装置について、その各モジュールの操作を実行する具体的な方式は、当該方法に関する実施例においてすでに詳細に説明したが、ここでは詳細に説明しない。

【0113】

図９は、本出願の実施例を実行するための例示的な電子機器９００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、および他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は、単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

【0114】

図９に示すように、電子機器９００は、読み取り専用メモリ（ＲＯＭ）９０２に記憶されているコンピュータプログラムまたは記憶ユニット９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたコンピュータプログラムに従って様々な適切な動作および処理を実行できる計算ユニット９０１を備える。ＲＡＭ９０３には、電子機器９００の動作に必要な各種のプログラムやデータも記憶されてもよい。計算ユニット９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４を介して互いに接続されている。バス９０４には、入力／出力（Ｉ／Ｏ）インターフェース９０５も接続されている。

【0115】

電子機器９００の複数のコンポーネントはＩ／Ｏインターフェース９０５に接続され、キーボード、マウスなどの入力ユニット９０６、各タイプのディスプレイ、スピーカなどの出力ユニット９０７、磁気ディスク、光ディスクなどの記憶ユニット９０８、およびネットワークカード、モデム、無線通信トランシーバなどの通信ユニット９０９を備える。通信ユニット９０９は、電子機器９００が、インターネットなどのコンピュータネットワークおよび／または各種の電信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

【0116】

計算ユニット９０１は、処理および計算能力を有する様々な汎用および／または専用の処理コンポーネントであってもよい。計算ユニット９０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）計算チップ、各種のマシン運転学習モデルアルゴリズムの計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、およびいずれかの適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット９０１は、上記に記載された各方法および処理、例えば、モデルトレーニング方法を実行する。例えば、いくつかの実施例では、モデルトレーニング方法を、記憶ユニット９０８などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。いくつかの実施例では、コンピュータプログラムの一部または全部は、ＲＯＭ ９０２および／または通信ユニット９０９を介して電子機器９００にロードおよび／またはインストールすることができる。コンピュータプログラムがＲＡＭ ９０３にロードされ、計算ユニット９０１によって実行される場合、上記に記載されたモデルトレーニング方法の１つまたは複数のステップが実行されてもよい。代替的に、他の実施例では、計算ユニット９０１はモデルトレーニング方法を実行するように、他のいずれかの適切な方式（例えば、ファームウェアを介して）によって構成されてもよい。

【0117】

本明細書で上記記載のシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行および／または解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、データおよび命令を当該ストレージシステム、当該少なくとも１つの入力装置、および当該少なくとも１つの出力装置に伝送することができる。

【0118】

本出願の方法を実行するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行された際に、フローチャートおよび／またはブロック図に規定された機能／操作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行されるか、部分的に機械上で実行されるか、スタンドアロンソフトウェアパッケージとして、部分的に機械上で実行され、部分的にリモート機械上で実行され又は完全にリモート機械又はサーバ上で実行されてもよい。

【0119】

本出願のコンテクストでは、機械読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって使用されるために、又は命令実行システム、装置、またはデバイスと組み合わせて使用するためのプログラムを含むか、又は記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、または上記コンテンツの任意の適切な組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または上記コンテンツの任意の適切な組み合わせを含む。

【0120】

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されるシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、ビジョンフィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力、または、触覚入力とを含む）でユーザからの入力を受信することができる。

【0121】

ここで説明されるシステムおよび技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインターフェース又は当該ウェブブラウザによってここで説明されるシステムおよび技術の実施形態とインタラクションできる）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントのいずれかの組み合わせを備えるコンピューティングシステムで実行することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、ブロックチェーンネットワークを含む。

【0122】

コンピュータシステムは、クライアントとサーバを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおける１つのホスト製品であり、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」，または「ＶＰＳ」と省略する）に存在する管理の難しさ、ビジネス拡張性の弱いという欠陥を解決した。サーバは分散システムのサーバであってもよく、ブロックチェーンを組み込んだサーバであってもよい。

【0123】

上記方法、装置、機器、記憶媒体及びコンピュータプログラムの実施例では、少なくとも１つの第１のクラスタはサンプルデータセットをトレーニングしてトレーニングデータを取得し、第２のクラスタは、トレーニングデータに基づいてトレーニングモデルをトレーニングし、トレーニングデータを生成するモデルと事前トレーニングモデルを個別に異なるクラスタに配置し、モデルに対してクロスクラスタトレーニングを行い、第１のクラスタと第２のクラスタとの間でトレーニングデータを伝送するだけで、モデルパラメータを伝送する必要がなく、クラスタ間の低い広帯域通信は本出願のクロスクラスタトレーニングを満たすことができ、異なる段階のトレーニングタスクに基づいて、トレーニングデータの生成タスクと事前トレーニングモデルのトレーニングタスクをそれぞれ異なるプロセッサに配置し、モデルトレーニングをコンピュータシステム内部構造と技術的に関連付け、トレーニング過程におけるハードウェアの実行効果を向上させ、ハードウェア処理速度を向上させ、第１のクラスタがトレーニングデータを生成して第２のクラスタに提供してモデルトレーニングを行うことにより、第２のクラスタ自体がトレーニングデータを生成してからモデルトレーニングを行うことに比べて、モデルトレーニングを加速し、モデルのトレーニング効率を向上することができる。

【0124】

なお、上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができると理解されたい。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

【0125】

上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれなければならない。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図6】

【図7】

【図8】

【図9】