知財求人 - 知財ポータルサイト「IP Force」
特許7408042ディープラーニングに基づく分散式異種データの処理方法、装置及び設備
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-22
(45)【発行日】2024-01-05
(54)【発明の名称】ディープラーニングに基づく分散式異種データの処理方法、装置及び設備
(51)【国際特許分類】
G06N 3/098 20230101AFI20231225BHJP
【ＦＩ】
G06N3/098
【請求項の数】
2
(21)【出願番号】P 2023043894
(22)【出願日】2023-03-20
(65)【公開番号】P2023171248
(43)【公開日】2023-12-01
【審査請求日】2023-03-20
(31)【優先権主張番号】202210543864.2
(32)【優先日】2022-05-18
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】522207877
【氏名又は名称】浙江工商大学
(74)【代理人】
【識別番号】100216471
【弁理士】
【氏名又は名称】瀬戸 麻希
(72)【発明者】
【氏名】劉東升
(72)【発明者】
【氏名】劉礼芳
(72)【発明者】
【氏名】陳亜輝
(72)【発明者】
【氏名】劉彦▲に▼
【審査官】山本 俊介
(56)【参考文献】
【文献】特表２０２０－５１８０６５（ＪＰ，Ａ）
【文献】国際公開第２０２１／０８４７９７（ＷＯ，Ａ１）
【文献】国際公開第２０２１／２２０６１６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
ディープラーニングに基づく分散式異種データの処理方法であって、ノード情報グループシーケンスを確定することであって、前記ノード情報グループシーケ
ンスにおける各ノード情報グループに対応するノードグループに、初期モデルに含まれる
各サブモデルのうちの１サブモデルが配置されることと、
前記ノード情報グループシーケンスにおける各ノード情報グループに対応するノード構成
情報とモデル構造情報に基づいて、前記ノード情報グループに対応するトレーニングサン
プルの集合を確定することであって、前記モデル構造情報は、ノード情報グループに対応
するサブモデルのモデル構造を特徴づけることと、
前記ノード情報グループシーケンスにおける各ノード情報グループに対して、前記ノード
情報グループに対応するモデル構造情報に基づいて、前記ノード情報グループに対応する
トレーニングサンプル集合におけるトレーニングサンプルを再構築することにより、目的
トレーニングサンプル集合を生成することと、
前記各サブモデルにおけるサブモデルに対して、前記サブモデルに対応する目的トレーニ
ングサンプル集合により、前記サブモデルに対してモデルトレーニングを行うことにより
、サブトレーニング結果を生成することと、および
確定された複数のサブトレーニング結果がすべて収束することに応答して、前記各サブモ
デルにおけるサブモデルに対応する現在モデルパラメータ情報に基づいて、トレーニング
が完了した初期モデルを生成することとを、
含み、
前記「ノード情報グループシーケンスを確定すること」は、
初期ノード情報シーケンスを取得することと、
初期ノード情報は、ノード番号とノード構成情報とを含むことができ、ノード構成情報
は、ノードの構成を特徴付けることができ、ノード構成情報は、ノードに対応するハード
ウェア構成による単位時間当たりの最大データ処理量によって特徴付けることができ、
前記各サブモデルにおけるサブモデルに対応する計算能力要求情報を確定することと、
計算能力要求情報はサブモデルの計算力需要を特徴づけて、計算力需要は、サブモデル
に含まれる各レイヤの最大データ処理量を量子化することによって得ることができ、
および
前記各サブモデル中の各サブモデルに対して、前記サブモデルに対応する計算能力要求情
報に基づいて、前記初期ノード情報シーケンスから前記サブモデルに対応する初期ノード
情報サブ集合をノード情報グループとして選別することとを、
サブモデルに対応する計算能力要求情報によって特徴付けられる浮動小数点演算量は、
ノード情報グループにおけるノード情報に対応するノードの最大データ処理量と一致し、
を含み、
前記ノード構成情報は、タスクスケジューラ構成情報と、内部メモリ構成情報と、および
データプロセッサ構成情報とを含み、前記内部メモリ構成情報は、メモリサイズ情報およ
びメモリ読書き速度情報を含み、および
前記「前記ノード情報グループシーケンスにおける各ノード情報グループに対応するノー
ド構成情報とモデル構造情報に基づいて、前記ノード情報グループに対応するトレーニン
グサンプルの集合を確定すること」は、
前記ノード情報グループに対応するノード構成情報に含まれるタスクスケジューラ構成情
報に基づいて、前記ノード情報グループに対応するノードグループのタスクスケジューリ
ング能力情報を確定することと、
タスクスケジューリング能力情報は、対応するノードグループ内のノードの中央プロセ
ッサのスケジューリング能力のサイズを特徴づけることができ、中央プロセッサのスケジ
ューリング能力の大きさは、等級量子化により得ることができ、タスクスケジューリング
能力情報は、タスクスケジューリング能力等級を含むことができ、タスクスケジューリン
グ能力等級の値は、［１,１００］間の整数であり、
前記ノード情報グループに対応するノード構成情報に含まれるメモリ構成情報に含まれる
メモリサイズ情報とメモリ読書き速度情報に基づいて、前記ノード情報グループに対応す
るノードグループのメモリキャッシュイング能力情報を確定することと、
メモリキャッシュイング能力情報は、対応するノードグループ内のノードのメモリのキ
ャッシュイング能力の大きさを特徴づけることができ、メモリキャッシュイング能力の大
きさは、等級量子化により得ることができ、メモリキャッシュイング能力情報は、メモリ
キャッシュイング能力等級を含むことができ、メモリキャッシュイング能力等級の値は、
［１,１００］間の整数であり、
前記ノード情報グループに対応するノード構成情報に含まれるデータプロセッサ構成情報
に基づいて、前記ノード情報グループに対応するノードグループのデータプロセッシング
能力情報を確定することと、
データプロセッシング能力情報は、対応するノード群におけるノードのグラフィックス
カードのデータプロセッシング能力の大きさを特徴づけることができ、グラフィックスカ
ードのデータプロセッシング能力の大きさは、等級量子化により得ることができ、データ
プロセッシング能力情報は、データプロセッシング能力等級を含むことができ、データプ
ロセッシング能力等級の値は、［１,１００］間の整数であり、
前記タスクスケジューリング能力情報、前記メモリキャッシュイング能力情報、前記デー
タプロセッシング能力情報および前記モデル構造情報に基づいて、前記ノード情報グルー
プに対応するノードグループのトレーニングサンプル要求情報を確定することと、および
前記トレーニングサンプル要求情報に基づいて、前記ノード情報グループに対応するトレ
ーニングサンプル集合を確定することとを、
含むことを特徴とする処理方法。
【請求項2】
請求項１に記載の処理方法であって、前記各サブモデルは、顔認識モデルと、人種認識モデルと、および姿勢認識モデルとを含
み、
前記「前記各サブモデルにおけるサブモデルに対して、前記サブモデルに対応する目的ト
レーニングサンプル集合により、前記サブモデルに対してモデルトレーニングを行うこと
により、サブトレーニング結果を生成すること」は、
確定された前記サブモデルは前記顔認識モデルであることに応答して、前記顔認識モデル
に対応する目的トレーニングサンプル集合により、前記顔認識モデルに対してモデルトレ
ーニングを行うことにより、前記顔認識モデルに対応するサブトレーニング結果を生成す
ることと、
確定された前記サブモデルは前記人種認識モデルであることに応答して、前記人種認識モ
デルに対応する目的トレーニングサンプル集合により、前記人種認識モデルに対してモデ
ルトレーニングを行うことにより、前記人種認識モデルに対応するサブトレーニング結果
を生成することと、および
確定された前記サブモデルは前記姿勢認識モデルであることに応答して、前記姿勢認識モ
デルに対応する目的トレーニングサンプル集合により、前記姿勢認識モデルに対してモデ
ルトレーニングを行うことにより、前記姿勢認識モデルに対応するサブトレーニング結果
を生成することと、を含み、
前記「前記各サブモデルにおけるサブモデルに対応する現在モデルパラメータ情報に基づ
いて、トレーニングが完了した初期モデルを生成すること」は、
確定された顔認識モデルに対応するサブトレーニング結果が収束することに応答して、顔
認識モデルの現在モデルパラメータを確定することにより、顔認識モデルに対応する現在
モデルパラメータ情報を生成することと、
確定された人種認識モデルに対応するサブトレーニング結果が収束することに応答して、
人種顔認識モデルの現在モデルパラメータを確定することにり、人種認識モデルに対応す
る現在モデルパラメータ情報を生成することと、
確定された姿勢認識モデルに対応するサブトレーニング結果が収束することに応答して、
姿勢顔認識モデルの現在モデルパラメータを確定することにり、姿勢認識モデルに対応す
る現在モデルパラメータ情報を生成することと、および
得られた複数の現在モデルパラメータ情報に基づいて、前記初期モデルに対してモデルパ
ラメータの更新を行うことにより、候補初期モデルを生成することとを、含み、
前記「前記各サブモデルにおけるサブモデルに対応する現在モデルパラメータ情報に基づ
いて、トレーニングが完了した初期モデルを生成すること」は、さらに、
前記各サブモデルに対応する複数のトレーニングサンプル集合からトレーニングサンプル
を抽出することにより、目的サンプルを生成し、目的サンプル集合を得ることと、
前記目的サンプル集合により前記候補初期モデルに対してモデルトレーニングすることと
、および
確定された前記候補初期モデルに対応する目的トレーニング結果が収束することに応答し
て、前記トレーニングが完了した初期モデルを生成することとを、含み、
前記処理方法は、さらに、
目的対象を含む目的画像を取得することと、
前記目的画像を前記トレーニングが完了した初期モデルに入力することにより、前記目的
画像に対応する、顔位置情報、人種情報、およびユーザ姿勢情報を含むユーザアイデンテ
ィティ情報を生成することと、
前記ユーザアイデンティティ情報に含まれる顔位置情報、人種情報、およびユーザ姿勢情
報に基づいて、前記目的画像に画像マーキングを行うことにより、マーキング済みの目的
画像を生成することと、および
前記マーキング済みの目的画像に対して画像記憶を行うこととを、
含むことを特徴とする前記処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、コンピュータ技術分野に関し、具体的には、ディープラーニングに
基づく分散式異種データの処理方法、装置及び設備に関する。
基づく分散式異種データの処理方法、装置及び設備に関する。
【背景技術】
【0002】
モデルトレーニングとは、トレーニングで得られたモデルが予測または分類能力を持つよ
うに、初期モデルをトレーニングすることを意味する。現在、モデル分類を再入力する際
に一般的に採用されている方法は、固定された分散トレーニング方式によってモデルをト
レーニングすることである。
しかしながら、上記の方式を採用する場合には、次のような技術的課題がしばしば存在す
る。
第一に、分散式に含まれる各ノードのノード構成が異なることが多く、複数回トレーニン
グされるモデルのモデル構造が異なることが多いため、固定的な分散トレーニング方式を
用いてモデルをトレーニングすると、分散式におけるノードのノード使用効率が低下する
ことが多い。
第二に、モデルが複数のサブモデルを含み、モデル構造が複雑な場合、全体モデルを直接
トレーニングし、モデルのトレーニング周期が長く、モデルのトレーニング効率が低下す
る。
うに、初期モデルをトレーニングすることを意味する。現在、モデル分類を再入力する際
に一般的に採用されている方法は、固定された分散トレーニング方式によってモデルをト
レーニングすることである。
しかしながら、上記の方式を採用する場合には、次のような技術的課題がしばしば存在す
る。
第一に、分散式に含まれる各ノードのノード構成が異なることが多く、複数回トレーニン
グされるモデルのモデル構造が異なることが多いため、固定的な分散トレーニング方式を
用いてモデルをトレーニングすると、分散式におけるノードのノード使用効率が低下する
ことが多い。
第二に、モデルが複数のサブモデルを含み、モデル構造が複雑な場合、全体モデルを直接
トレーニングし、モデルのトレーニング周期が長く、モデルのトレーニング効率が低下す
る。
【発明の概要】
【0003】
本開示の内容部分は、後述する特定の実施形態部分に詳細に説明される簡潔な形式でアイ
デアを紹介するために使用される。
本開示のいくつかの実施形態は、上記の背景技術セクションで言及された技術的問題のう
ちの１つまたは複数を解決するために、ディープラーニングに基づく分散式異種データの
処理方法、装置、および設備を提案する。
デアを紹介するために使用される。
本開示のいくつかの実施形態は、上記の背景技術セクションで言及された技術的問題のう
ちの１つまたは複数を解決するために、ディープラーニングに基づく分散式異種データの
処理方法、装置、および設備を提案する。
【0004】
第１の態様では、本開示のいくつかの実施形態は、初期モデルに含まれる各サブモデルの
うちの１つのサブモデルが構成されたノード情報グループシーケンスを決定するステップ
と、ノード情報グループシーケンス中のノード情報グループに対応するノードグループに
構成されたノード情報グループシーケンスを決定するステップと、ディープラーニングに
基づく分散式異種データの処理方法を提供する。前記ノード情報グループのシーケンス中
の各ノード情報グループに対応するノード構成情報とモデル構造情報に基づいて、前記ノ
ード情報グループに対応するトレーニングサンプルの集合を決定し、前記モデル構造情報
はノード情報グループに対応するサブモデルのモデル構造を特徴づける、前記ノード情報
グループシーケンス中の各ノード情報グループに対して、前記ノード情報グループに対応
するモデル構造情報に基づいて、前記ノード情報グループに対応するトレーニングサンプ
ル集合中のトレーニングサンプルをサンプル再構成して、ターゲットトレーニングサンプ
ル集合を生成する、前記各サブモデルの各サブモデルに対して、前記サブモデルに対応す
るターゲットトレーニングサンプル集合を通じて、前記サブモデルに対してモデルトレー
ニングを行い、サブトレーニング結果を生成する、決定された複数のサブトレーニング結
果がすべて収束することに応答して、上記各サブモデルにおけるサブモデルに対応する現
在のモデルパラメータ情報に基づいて、トレーニングが完了した初期モデルを生成する。
うちの１つのサブモデルが構成されたノード情報グループシーケンスを決定するステップ
と、ノード情報グループシーケンス中のノード情報グループに対応するノードグループに
構成されたノード情報グループシーケンスを決定するステップと、ディープラーニングに
基づく分散式異種データの処理方法を提供する。前記ノード情報グループのシーケンス中
の各ノード情報グループに対応するノード構成情報とモデル構造情報に基づいて、前記ノ
ード情報グループに対応するトレーニングサンプルの集合を決定し、前記モデル構造情報
はノード情報グループに対応するサブモデルのモデル構造を特徴づける、前記ノード情報
グループシーケンス中の各ノード情報グループに対して、前記ノード情報グループに対応
するモデル構造情報に基づいて、前記ノード情報グループに対応するトレーニングサンプ
ル集合中のトレーニングサンプルをサンプル再構成して、ターゲットトレーニングサンプ
ル集合を生成する、前記各サブモデルの各サブモデルに対して、前記サブモデルに対応す
るターゲットトレーニングサンプル集合を通じて、前記サブモデルに対してモデルトレー
ニングを行い、サブトレーニング結果を生成する、決定された複数のサブトレーニング結
果がすべて収束することに応答して、上記各サブモデルにおけるサブモデルに対応する現
在のモデルパラメータ情報に基づいて、トレーニングが完了した初期モデルを生成する。
【0005】
第２の態様では、本開示のいくつかの実施形態は、ノード情報グループのシーケンスを決
定するように構成された情報決定ユニットと、前記ノード情報グループのシーケンスにお
ける各ノード情報グループに対応するノード構成情報及びモデル構造情報に基づいて、前
記ノード情報グループに対応するサブモデルのモデル構造を特徴づけるモデル構造情報グ
ループ対応トレーニングサンプル集合を決定するサンプル決定手段と、前記ノード情報グ
ループシーケンス中の各ノード情報グループに対して、前記ノード情報グループに対応す
るモデル構造情報に基づいて、前記ノード情報グループに対応するトレーニングサンプル
集合中のトレーニングサンプルをサンプル再構成して、ターゲットトレーニングサンプル
集合を生成するサンプル再構成手段と、前記各サブモデルの各サブモデルに対して、前記
サブモデルに対応するターゲットトレーニングサンプル集合を介して、前記サブモデルを
モデルトレーニングして、サブトレーニング結果を生成するモデルトレーニングユニット
と、決定された複数のサブトレーニング結果がすべて収束することに応答して、前記各サ
ブモデルにおけるサブモデルに対応する現在のモデルパラメータ情報に基づいて、トレー
ニングが完了した初期モデルを生成するように構成されたモデル生成手段と、を含む。
定するように構成された情報決定ユニットと、前記ノード情報グループのシーケンスにお
ける各ノード情報グループに対応するノード構成情報及びモデル構造情報に基づいて、前
記ノード情報グループに対応するサブモデルのモデル構造を特徴づけるモデル構造情報グ
ループ対応トレーニングサンプル集合を決定するサンプル決定手段と、前記ノード情報グ
ループシーケンス中の各ノード情報グループに対して、前記ノード情報グループに対応す
るモデル構造情報に基づいて、前記ノード情報グループに対応するトレーニングサンプル
集合中のトレーニングサンプルをサンプル再構成して、ターゲットトレーニングサンプル
集合を生成するサンプル再構成手段と、前記各サブモデルの各サブモデルに対して、前記
サブモデルに対応するターゲットトレーニングサンプル集合を介して、前記サブモデルを
モデルトレーニングして、サブトレーニング結果を生成するモデルトレーニングユニット
と、決定された複数のサブトレーニング結果がすべて収束することに応答して、前記各サ
ブモデルにおけるサブモデルに対応する現在のモデルパラメータ情報に基づいて、トレー
ニングが完了した初期モデルを生成するように構成されたモデル生成手段と、を含む。
【0006】
第３の態様では、本開示のいくつかの実施形態は、１つまたは複数のプロセッサと、１つ
以上のプログラムが１つ以上のプロセッサによって実行され、１つ以上のプロセッサが上
記第１の態様のいずれかに記載の方法を実現するようにする１つ以上のプログラムが格納
されている記憶装置と、を含む。
以上のプログラムが１つ以上のプロセッサによって実行され、１つ以上のプロセッサが上
記第１の態様のいずれかに記載の方法を実現するようにする１つ以上のプログラムが格納
されている記憶装置と、を含む。
【0007】
第４の態様では、本開示のいくつかの実施形態は、プロセッサによって実行されるときに
上述の第１の態様のいずれかに記載の方法を実装するコンピュータプログラムを格納した
コンピュータ可読媒体を提供する。
上述の第１の態様のいずれかに記載の方法を実装するコンピュータプログラムを格納した
コンピュータ可読媒体を提供する。
【0008】
本開示の上述した各実施形態には、本開示のいくつかの実施形態のディープラーニングに
基づく分散式異種データの処理方法により、分散中のノードのノード使用効率を向上させ
、モデルトレーニング効率を向上させることができるという有益な効果がある。
基づく分散式異種データの処理方法により、分散中のノードのノード使用効率を向上させ
、モデルトレーニング効率を向上させることができるという有益な効果がある。
【0009】
具体的には、ノードの使用効率とモデルのトレーニング効率が低い原因は、第一に、分散
式に含まれる各ノードのノード構成が異なることが多いことと、複数回トレーニングする
モデルのモデル構造が異なることが多いため、固定した分散式トレーニング方式を用いて
モデルをトレーニングすると、分散式におけるノードのノード使用効率が低下することが
よくある。第二に、モデルが複数のサブモデルを含み、モデル構造が複雑な場合、全体モ
デルを直接トレーニングし、モデルのトレーニング周期が長く、モデルのトレーニング効
率が低下する。これに基づいて、本開示のいくつかの実施形態のディープラーニングに基
づく分散式異種データの処理方法は、まず、初期モデルに含まれる各サブモデルのうちの
１つのサブモデルが構成されているノード情報グループシーケンスを決定することを含む
。実際には、ノードのノード構成が異なることが多いため、サブモデルのモデル構造が異
なることが多い。固定分散トレーニング方式を採用し、サブモデルを予め設定された固定
されたノードに構成させると、モデル構造とノードの構成が一致せず（例えば、モデル構
造が簡単なモデルが構成の高いノードに構成される）、ノードのノード使用率が低下する
ことがある。したがって、ノード情報グループのシーケンスを決定することによって、サ
ブモデルを対応するノードグループ（例えば、モデル構造が簡単なモデルを構成の低いノ
ードに構成する）に構成し、ノードのノード使用効率を高める。次に、前記ノード情報グ
ループのシーケンスにおける各ノード情報グループに対応するノード構成情報とモデル構
造情報に基づいて、前記ノード情報グループに対応するトレーニングサンプルの集合を決
定し、前記モデル構造情報はノード情報グループに対応するサブモデルのモデル構造を特
徴づける。実際には、異なるノード情報グループに対応するノードグループの構成が異な
ることが多く、異なるサブモデルの構造も異なるため、異なるノードグループのモデルト
レーニング速度も異なる。そのため、各ノードグループのサブモデルのトレーニング時間
を近似させ、トレーニング時間を短縮するために、ノード情報グループのノード構成情報
とサブモデルの構造情報に基づいて、ノード情報グループに必要なトレーニングサンプル
の数を決定する必要がある。そして、前記ノード情報グループシーケンス中の各ノード情
報グループに対して、前記ノード情報グループに対応するモデル構造情報に基づいて、前
記ノード情報グループに対応するトレーニングサンプル集合中のトレーニングサンプルを
サンプル再構成して、ターゲットトレーニングサンプル集合を生成する。実際には、サブ
モデルによってモデル入力が異なることがある。そのため、モデル構造情報に対応するサ
ブモデルのモデル入力に基づいて、トレーニングサンプルをサンプル再構築し、ターゲッ
トトレーニングサンプル集合を得る必要がある。次に、前記各サブモデルにおける各サブ
モデルについて、前記サブモデルに対応するターゲットトレーニングサンプル集合により
、前記サブモデルに対してモデルトレーニングを行い、サブトレーニング結果を生成する
。これにより、各サブモデルをそれぞれトレーニングすることにより、モデルトレーニン
グ周期を短縮し、モデルトレーニング効率を向上させる。最後に、決定された複数のサブ
トレーニング結果がすべて収束することに応答して、上記各サブモデルにおけるサブモデ
ルに対応する現在のモデルパラメータ情報に基づいて、トレーニングが完了した初期モデ
ルを生成する。これにより、分散式における各サブモデルのトレーニング完了で得られた
モデルパラメータ情報により、トレーニング完了の初期モデルを生成し、分散式における
ノードのノード使用効率を向上させるとともに、モデルトレーニング効率を向上させる。
式に含まれる各ノードのノード構成が異なることが多いことと、複数回トレーニングする
モデルのモデル構造が異なることが多いため、固定した分散式トレーニング方式を用いて
モデルをトレーニングすると、分散式におけるノードのノード使用効率が低下することが
よくある。第二に、モデルが複数のサブモデルを含み、モデル構造が複雑な場合、全体モ
デルを直接トレーニングし、モデルのトレーニング周期が長く、モデルのトレーニング効
率が低下する。これに基づいて、本開示のいくつかの実施形態のディープラーニングに基
づく分散式異種データの処理方法は、まず、初期モデルに含まれる各サブモデルのうちの
１つのサブモデルが構成されているノード情報グループシーケンスを決定することを含む
。実際には、ノードのノード構成が異なることが多いため、サブモデルのモデル構造が異
なることが多い。固定分散トレーニング方式を採用し、サブモデルを予め設定された固定
されたノードに構成させると、モデル構造とノードの構成が一致せず（例えば、モデル構
造が簡単なモデルが構成の高いノードに構成される）、ノードのノード使用率が低下する
ことがある。したがって、ノード情報グループのシーケンスを決定することによって、サ
ブモデルを対応するノードグループ（例えば、モデル構造が簡単なモデルを構成の低いノ
ードに構成する）に構成し、ノードのノード使用効率を高める。次に、前記ノード情報グ
ループのシーケンスにおける各ノード情報グループに対応するノード構成情報とモデル構
造情報に基づいて、前記ノード情報グループに対応するトレーニングサンプルの集合を決
定し、前記モデル構造情報はノード情報グループに対応するサブモデルのモデル構造を特
徴づける。実際には、異なるノード情報グループに対応するノードグループの構成が異な
ることが多く、異なるサブモデルの構造も異なるため、異なるノードグループのモデルト
レーニング速度も異なる。そのため、各ノードグループのサブモデルのトレーニング時間
を近似させ、トレーニング時間を短縮するために、ノード情報グループのノード構成情報
とサブモデルの構造情報に基づいて、ノード情報グループに必要なトレーニングサンプル
の数を決定する必要がある。そして、前記ノード情報グループシーケンス中の各ノード情
報グループに対して、前記ノード情報グループに対応するモデル構造情報に基づいて、前
記ノード情報グループに対応するトレーニングサンプル集合中のトレーニングサンプルを
サンプル再構成して、ターゲットトレーニングサンプル集合を生成する。実際には、サブ
モデルによってモデル入力が異なることがある。そのため、モデル構造情報に対応するサ
ブモデルのモデル入力に基づいて、トレーニングサンプルをサンプル再構築し、ターゲッ
トトレーニングサンプル集合を得る必要がある。次に、前記各サブモデルにおける各サブ
モデルについて、前記サブモデルに対応するターゲットトレーニングサンプル集合により
、前記サブモデルに対してモデルトレーニングを行い、サブトレーニング結果を生成する
。これにより、各サブモデルをそれぞれトレーニングすることにより、モデルトレーニン
グ周期を短縮し、モデルトレーニング効率を向上させる。最後に、決定された複数のサブ
トレーニング結果がすべて収束することに応答して、上記各サブモデルにおけるサブモデ
ルに対応する現在のモデルパラメータ情報に基づいて、トレーニングが完了した初期モデ
ルを生成する。これにより、分散式における各サブモデルのトレーニング完了で得られた
モデルパラメータ情報により、トレーニング完了の初期モデルを生成し、分散式における
ノードのノード使用効率を向上させるとともに、モデルトレーニング効率を向上させる。
【図面の簡単な説明】
【0010】
【図1】本開示によるディープラーニングに基づく分散式異種データの処理方法のいくつかの実施形態のフローチャートである。
【図2】本開示によるディープラーニングに基づく分散式異種データの処理装置のいくつかの実施形態の構成図である。
【発明を実施するための形態】
【0011】
以下、図面を参照し、実施例に関連して本開示を詳細に説明する。
図１は、本開示によるディープラーニングに基づく分散式異種データの処理方法のいくつ
かの実施形態のフロー１００を示す。このディープラーニングに基づく分散式異種データ
の処理方法は、次のステップを含む：
図１は、本開示によるディープラーニングに基づく分散式異種データの処理方法のいくつ
かの実施形態のフロー１００を示す。このディープラーニングに基づく分散式異種データ
の処理方法は、次のステップを含む：
【0012】
ステップ１０１では、ノード情報グループシーケンスを決定する。
いくつかの実施形態では、ディープラーニングに基づく分散式異種データの処理方法の実
行主体（例えば、計算装置）は、様々な方法でノード情報グループのシーケンスを決定す
ることができる。前記ノード情報グループシーケンスにおける各ノード情報グループに対
応するノードグループは、初期モデルに含まれる各サブモデルのうちの１つのサブモデル
を構成している。ノード情報はノードを特徴付けることができる。ノードは分散中の演算
ノードである。ノード情報は、ノード番号、ノード構成情報、サブモデル番号、およびノ
ードに配備されたモデルのモデル構造情報を含むことができる。ノード構成情報は、ノー
ドの構成を特徴付けることができる。例えば、ノード構成情報は、等級で特徴付けること
ができる。ノード構成情報が等級によって特徴づけられる場合、等級が高いほどノード構
成情報に対応するノードを特徴づける演算能力が高くなる。モデル構造情報は、ノード情
報に対応するサブモデルのモデル構造を特徴づける。モデル構造情報は、サブモデルのモ
デル複雑さを特徴づけることができる。例えば、モデル構造情報は、対応するサブモデル
のモデル階数によって量子化することができる。ノード情報グループにおける各ノード情
報に対応するノードの構成は同じである。
いくつかの実施形態のいくつかの代替的な実施形態では、上述の実行主体は、ノード情報
グループのシーケンスを決定するステップを含むことができる。
いくつかの実施形態では、ディープラーニングに基づく分散式異種データの処理方法の実
行主体（例えば、計算装置）は、様々な方法でノード情報グループのシーケンスを決定す
ることができる。前記ノード情報グループシーケンスにおける各ノード情報グループに対
応するノードグループは、初期モデルに含まれる各サブモデルのうちの１つのサブモデル
を構成している。ノード情報はノードを特徴付けることができる。ノードは分散中の演算
ノードである。ノード情報は、ノード番号、ノード構成情報、サブモデル番号、およびノ
ードに配備されたモデルのモデル構造情報を含むことができる。ノード構成情報は、ノー
ドの構成を特徴付けることができる。例えば、ノード構成情報は、等級で特徴付けること
ができる。ノード構成情報が等級によって特徴づけられる場合、等級が高いほどノード構
成情報に対応するノードを特徴づける演算能力が高くなる。モデル構造情報は、ノード情
報に対応するサブモデルのモデル構造を特徴づける。モデル構造情報は、サブモデルのモ
デル複雑さを特徴づけることができる。例えば、モデル構造情報は、対応するサブモデル
のモデル階数によって量子化することができる。ノード情報グループにおける各ノード情
報に対応するノードの構成は同じである。
いくつかの実施形態のいくつかの代替的な実施形態では、上述の実行主体は、ノード情報
グループのシーケンスを決定するステップを含むことができる。
【0013】
第１のステップでは、初期ノード情報シーケンスを取得する。
ここで、初期ノード情報は、ノード番号とノード構成情報とを含むことができる。ノード
構成情報は、ノードの構成を特徴付けることができる。ノード構成情報は、ノードに対応
するハードウェア構成による単位時間当たりの最大データ処理量によって特徴付けること
ができる。
第２のステップでは、前記各サブモデルにおけるサブモデルに対応する計算能力要求情報
を確定する。
そのうち、計算力需要情報はサブモデルの計算力需要を特徴づける。演算力需要は、サブ
モデルに含まれる各レイヤの最大データ処理量を量子化することによって得ることができ
る。たとえば、演算力要件はサブモデルの浮動小数点演算量であってもよい。なお、浮動
小数点演算数とは、単位時間当たりの浮動小数点演算器の浮動小数点演算量をいう。
第３ステップでは、前記各サブモデル中の各サブモデルに対して、前記サブモデルに対応
する計算能力要求情報に基づいて、前記初期ノード情報シーケンスから前記サブモデルに
対応する初期ノード情報サブ集合をノード情報グループとして選別し、ノード情報群とす
る。
ここで、サブモデルに対応する計算力需要情報によって特徴付けられる浮動小数点演算量
は、ノード情報グループにおけるノード情報に対応するノードの最大データ処理量と一致
する。
ここで、初期ノード情報は、ノード番号とノード構成情報とを含むことができる。ノード
構成情報は、ノードの構成を特徴付けることができる。ノード構成情報は、ノードに対応
するハードウェア構成による単位時間当たりの最大データ処理量によって特徴付けること
ができる。
第２のステップでは、前記各サブモデルにおけるサブモデルに対応する計算能力要求情報
を確定する。
そのうち、計算力需要情報はサブモデルの計算力需要を特徴づける。演算力需要は、サブ
モデルに含まれる各レイヤの最大データ処理量を量子化することによって得ることができ
る。たとえば、演算力要件はサブモデルの浮動小数点演算量であってもよい。なお、浮動
小数点演算数とは、単位時間当たりの浮動小数点演算器の浮動小数点演算量をいう。
第３ステップでは、前記各サブモデル中の各サブモデルに対して、前記サブモデルに対応
する計算能力要求情報に基づいて、前記初期ノード情報シーケンスから前記サブモデルに
対応する初期ノード情報サブ集合をノード情報グループとして選別し、ノード情報群とす
る。
ここで、サブモデルに対応する計算力需要情報によって特徴付けられる浮動小数点演算量
は、ノード情報グループにおけるノード情報に対応するノードの最大データ処理量と一致
する。
【0014】
ステップ１０２では、
前記ノード情報グループシーケンスにおける各ノード情報グループに対応するノード構成
情報とモデル構造情報に基づいて、前記ノード情報グループに対応するトレーニングサン
プルの集合を確定する。
いくつかの実施形態では、前記実行主体は、前記ノード情報グループのシーケンス中の各
ノード情報グループに対応するノード構成情報とモデル構成情報に基づいて、前記ノード
情報グループに対応するトレーニングサンプルの集合を決定することができる。ここで、
トレーニングサンプル集合中のトレーニングサンプルは、ノード情報グループに対応する
サブモデルトレーニング時に必要なサンプルであってもよい。ここで、モデル構造情報は
、ノード情報群に対応するサブモデルのモデル構造を特徴づける。
オプションとして、ノード構成情報は、タスクスケジューラ構成情報、メモリ構成情報、
およびデータプロセッサ構成情報を含むことができる。メモリ構成情報は、メモリサイズ
情報とメモリ読み書き速度情報とを含むことができる。ここで、タスクスケジューラ構成
情報は、ノードの中央プロセッサのクロック周波数を含むことができる。データプロセッ
サ構成情報は、ノードのグラフィックスカードのコア周波数を含むことができる。メモリ
サイズ情報は、ノードのメモリのメモリサイズを含むことができる。メモリ読み書き速度
情報は、ノードのメモリの読み書き頻度を含むことができる。
オプションとして、前記実行主体は、前記ノード情報グループのシーケンス中の各ノード
情報グループに対応するノード構成情報とモデル構造情報に基づいて、前記ノード情報グ
ループに対応するトレーニングサンプルの集合を決定し、以下のステップを含むことがで
きる。
前記ノード情報グループシーケンスにおける各ノード情報グループに対応するノード構成
情報とモデル構造情報に基づいて、前記ノード情報グループに対応するトレーニングサン
プルの集合を確定する。
いくつかの実施形態では、前記実行主体は、前記ノード情報グループのシーケンス中の各
ノード情報グループに対応するノード構成情報とモデル構成情報に基づいて、前記ノード
情報グループに対応するトレーニングサンプルの集合を決定することができる。ここで、
トレーニングサンプル集合中のトレーニングサンプルは、ノード情報グループに対応する
サブモデルトレーニング時に必要なサンプルであってもよい。ここで、モデル構造情報は
、ノード情報群に対応するサブモデルのモデル構造を特徴づける。
オプションとして、ノード構成情報は、タスクスケジューラ構成情報、メモリ構成情報、
およびデータプロセッサ構成情報を含むことができる。メモリ構成情報は、メモリサイズ
情報とメモリ読み書き速度情報とを含むことができる。ここで、タスクスケジューラ構成
情報は、ノードの中央プロセッサのクロック周波数を含むことができる。データプロセッ
サ構成情報は、ノードのグラフィックスカードのコア周波数を含むことができる。メモリ
サイズ情報は、ノードのメモリのメモリサイズを含むことができる。メモリ読み書き速度
情報は、ノードのメモリの読み書き頻度を含むことができる。
オプションとして、前記実行主体は、前記ノード情報グループのシーケンス中の各ノード
情報グループに対応するノード構成情報とモデル構造情報に基づいて、前記ノード情報グ
ループに対応するトレーニングサンプルの集合を決定し、以下のステップを含むことがで
きる。
【0015】
第１に、前記ノード情報グループに対応するノード構成情報に含まれるタスクスケジュー
ラ構成情報に基づいて、前記ノード情報グループに対応するノードグループのタスクスケ
ジューリング能力情報を確定する。
ここで、タスクスケジューリング能力情報は、対応するノードグループ内のノードの中央
プロセッサのスケジューリング能力のサイズを特徴づけることができる。中央プロセッサ
のスケジューリング能力の大きさは、等級量子化により得ることができる。タスクスケジ
ューリング能力情報は、タスクスケジューリング能力等級を含むことができる。例えば、
タスクスケジューリング能力等級の値は、［１,１００］間の整数であってもよい。一例
として、タスクスケジューラ構成情報に含まれるノードの中央プロセッサのクロック周波
数が３．８ＧＨｚから４ＧＨｚの間にある場合、対応するタスクスケジューリング能力情
報に含まれるタスクスケジューリング能力等級は１０である。
第２に、前記ノード情報グループに対応するノード構成情報に含まれるメモリ構成情報に
含まれるメモリサイズ情報とメモリ読書き速度情報に基づいて、前記ノード情報グループ
に対応するノードグループのメモリキャッシュイング能力情報を確定する。
ここで、メモリキャッシュ能力情報は、対応するノードグループ内のノードのメモリのキ
ャッシュ能力の大きさを特徴づけることができる。メモリのキャッシュ能力の大きさは、
等級量子化により得ることができる。メモリキャッシュ能力情報は、メモリキャッシュ能
力等級を含むことができる。例えば、メモリキャッシュ能力等級の値は、［１,１００］
間の整数であってもよい。
一例として、メモリ構成情報に含まれるノードのメモリのメモリが１６ＧＢ以上であり、
メモリの読み書き周波数が４０００ＭＨｚ以上である場合、対応するメモリキャッシュ能
力情報に含まれるメモリキャッシュ能力等級は５である。
第３に、前記ノード情報グループに対応するノード構成情報に含まれるデータプロセッサ
構成情報に基づいて、前記ノード情報グループに対応するノードグループのデータプロセ
ッシング能力情報を確定する。
ここで、データ処理能力情報は、対応するノード群におけるノードのグラフィックスカー
ドのデータ処理能力の大きさを特徴づけることができる。グラフィックスカードのデータ
処理能力の大きさは、等級量子化により得ることができる。データ処理能力情報は、デー
タ処理能力等級を含むことができる。例えば、データ処理能力等級の値は、［１,１００
］間の整数であってもよい。
一例として、データプロセッサ構成情報に含まれるノードのグラフィックスカードのコア
周波数が３５０Ｍｈｚから４００Ｍｈｚの間にある場合、対応するデータ処理能力情報に
含まれるデータ処理能力等級は５である。
第４では、前記タスクスケジューリング能力情報、前記メモリキャッシュイング能力情報
、前記データプロセッシング能力情報および前記モデル構造情報に基づいて、前記ノード
情報グループに対応するノードグループのトレーニングサンプル要求情報を確定する。
ここで、トレーニングサンプル需要情報は、ノード情報グループに対応するサブモデルの
トレーニングを行うために使用されるトレーニングサンプルの需要比率を特徴付けること
ができる。需要比率は、サブモデルに必要なトレーニングサンプルがすべてのトレーニン
グサンプルに占める割合です。
一例として、まず、前記実行主体は、前記タスクスケジューリング能力等級、メモリキャ
ッシュ能力等級、データ処理能力等級及び前記モデル構造情報に含まれるモデル階層数を
合計して、ノード情報グループに対応する総等級を決定することができる。そして、前記
実行主体は、前記ノード情報グループシーケンスにおける各ノード情報グループに対応す
る総等級を正規化処理し、各ノード情報グループに対応する重みを得ることができる。最
後に、前記実行主体は、前記各ノード情報グループに対応する重みを、前記各情報グルー
プに対応するサブモデルのトレーニングを行うトレーニングサンプルの需要比率として特
定し、各ノード情報グループに対応するトレーニングサンプル需要情報を得ることができ
る。
ステップ５では、前記トレーニングサンプル要求情報に基づいて、前記ノード情報グルー
プに対応するトレーニングサンプル集合を確定する。
たとえば、すべてのトレーニングサンプルの数は１００です。サブモデルのトレーニング
サンプルの需要比率は１０％であり、サブモデルのトレーニングに使用されるトレーニン
グサンプルの数は１０である。ここで、前記実行主体は、サブモデルに対応するノード情
報群に対応するトレーニングサンプルの集合として、すべてのトレーニングサンプルから
ランダムに１０個のトレーニングサンプルを抽出することができる。
ステップ１０３では、ノード情報グループシーケンス中の各ノード情報グループに対して
、ノード情報グループに対応するモデル構造情報に基づいて、ノード情報グループに対応
するトレーニングサンプル集合中のトレーニングサンプルをサンプル再構築して、ターゲ
ットトレーニングサンプル集合を生成する。
いくつかの実施形態では、ノード情報グループシーケンス中の各ノード情報グループにつ
いて、前記実行主体は、前記ノード情報グループに対応するモデル構造情報に基づいて、
前記ノード情報グループに対応するトレーニングサンプル集合中のトレーニングサンプル
をサンプル再構築して、ターゲットトレーニングサンプル集合を生成することができる。
ここで、上記ターゲットトレーニングサンプルの集合におけるターゲットトレーニングサ
ンプルは、対応するサブモデルをトレーニングするためのサンプルであってもよい。
一例として、上記実行主体は、モデル構造情報に対応するサブモデルのモデル入力に基づ
いて、ノード情報グループに対応するトレーニングサンプル集合中のトレーニングサンプ
ルをサンプル再構築して、ターゲットトレーニングサンプル集合を生成することができる
。たとえば、サブモデルのモデル入力のサイズは３００＊３００である。上記実行主体は
、生成されたターゲットトレーニングサンプル中の画像のサイズが３００＊３００である
ようにトレーニングサンプル中の画像をトリミングすることができる。別の例として、サ
ブモデルのモデル入力のサイズは２０＊２０である。上記実行主体は、生成されたターゲ
ットトレーニングサンプル中の画像のサイズが２０＊２０であるようにトレーニングサン
プル中の画像をトリミングすることができる。
ステップ１０４では、各サブモデルの各サブモデルについて、サブモデルに対応するター
ゲットトレーニングサンプル集合を通じて、サブモデルをモデルトレーニングして、サブ
トレーニング結果を生成する。
ラ構成情報に基づいて、前記ノード情報グループに対応するノードグループのタスクスケ
ジューリング能力情報を確定する。
ここで、タスクスケジューリング能力情報は、対応するノードグループ内のノードの中央
プロセッサのスケジューリング能力のサイズを特徴づけることができる。中央プロセッサ
のスケジューリング能力の大きさは、等級量子化により得ることができる。タスクスケジ
ューリング能力情報は、タスクスケジューリング能力等級を含むことができる。例えば、
タスクスケジューリング能力等級の値は、［１,１００］間の整数であってもよい。一例
として、タスクスケジューラ構成情報に含まれるノードの中央プロセッサのクロック周波
数が３．８ＧＨｚから４ＧＨｚの間にある場合、対応するタスクスケジューリング能力情
報に含まれるタスクスケジューリング能力等級は１０である。
第２に、前記ノード情報グループに対応するノード構成情報に含まれるメモリ構成情報に
含まれるメモリサイズ情報とメモリ読書き速度情報に基づいて、前記ノード情報グループ
に対応するノードグループのメモリキャッシュイング能力情報を確定する。
ここで、メモリキャッシュ能力情報は、対応するノードグループ内のノードのメモリのキ
ャッシュ能力の大きさを特徴づけることができる。メモリのキャッシュ能力の大きさは、
等級量子化により得ることができる。メモリキャッシュ能力情報は、メモリキャッシュ能
力等級を含むことができる。例えば、メモリキャッシュ能力等級の値は、［１,１００］
間の整数であってもよい。
一例として、メモリ構成情報に含まれるノードのメモリのメモリが１６ＧＢ以上であり、
メモリの読み書き周波数が４０００ＭＨｚ以上である場合、対応するメモリキャッシュ能
力情報に含まれるメモリキャッシュ能力等級は５である。
第３に、前記ノード情報グループに対応するノード構成情報に含まれるデータプロセッサ
構成情報に基づいて、前記ノード情報グループに対応するノードグループのデータプロセ
ッシング能力情報を確定する。
ここで、データ処理能力情報は、対応するノード群におけるノードのグラフィックスカー
ドのデータ処理能力の大きさを特徴づけることができる。グラフィックスカードのデータ
処理能力の大きさは、等級量子化により得ることができる。データ処理能力情報は、デー
タ処理能力等級を含むことができる。例えば、データ処理能力等級の値は、［１,１００
］間の整数であってもよい。
一例として、データプロセッサ構成情報に含まれるノードのグラフィックスカードのコア
周波数が３５０Ｍｈｚから４００Ｍｈｚの間にある場合、対応するデータ処理能力情報に
含まれるデータ処理能力等級は５である。
第４では、前記タスクスケジューリング能力情報、前記メモリキャッシュイング能力情報
、前記データプロセッシング能力情報および前記モデル構造情報に基づいて、前記ノード
情報グループに対応するノードグループのトレーニングサンプル要求情報を確定する。
ここで、トレーニングサンプル需要情報は、ノード情報グループに対応するサブモデルの
トレーニングを行うために使用されるトレーニングサンプルの需要比率を特徴付けること
ができる。需要比率は、サブモデルに必要なトレーニングサンプルがすべてのトレーニン
グサンプルに占める割合です。
一例として、まず、前記実行主体は、前記タスクスケジューリング能力等級、メモリキャ
ッシュ能力等級、データ処理能力等級及び前記モデル構造情報に含まれるモデル階層数を
合計して、ノード情報グループに対応する総等級を決定することができる。そして、前記
実行主体は、前記ノード情報グループシーケンスにおける各ノード情報グループに対応す
る総等級を正規化処理し、各ノード情報グループに対応する重みを得ることができる。最
後に、前記実行主体は、前記各ノード情報グループに対応する重みを、前記各情報グルー
プに対応するサブモデルのトレーニングを行うトレーニングサンプルの需要比率として特
定し、各ノード情報グループに対応するトレーニングサンプル需要情報を得ることができ
る。
ステップ５では、前記トレーニングサンプル要求情報に基づいて、前記ノード情報グルー
プに対応するトレーニングサンプル集合を確定する。
たとえば、すべてのトレーニングサンプルの数は１００です。サブモデルのトレーニング
サンプルの需要比率は１０％であり、サブモデルのトレーニングに使用されるトレーニン
グサンプルの数は１０である。ここで、前記実行主体は、サブモデルに対応するノード情
報群に対応するトレーニングサンプルの集合として、すべてのトレーニングサンプルから
ランダムに１０個のトレーニングサンプルを抽出することができる。
ステップ１０３では、ノード情報グループシーケンス中の各ノード情報グループに対して
、ノード情報グループに対応するモデル構造情報に基づいて、ノード情報グループに対応
するトレーニングサンプル集合中のトレーニングサンプルをサンプル再構築して、ターゲ
ットトレーニングサンプル集合を生成する。
いくつかの実施形態では、ノード情報グループシーケンス中の各ノード情報グループにつ
いて、前記実行主体は、前記ノード情報グループに対応するモデル構造情報に基づいて、
前記ノード情報グループに対応するトレーニングサンプル集合中のトレーニングサンプル
をサンプル再構築して、ターゲットトレーニングサンプル集合を生成することができる。
ここで、上記ターゲットトレーニングサンプルの集合におけるターゲットトレーニングサ
ンプルは、対応するサブモデルをトレーニングするためのサンプルであってもよい。
一例として、上記実行主体は、モデル構造情報に対応するサブモデルのモデル入力に基づ
いて、ノード情報グループに対応するトレーニングサンプル集合中のトレーニングサンプ
ルをサンプル再構築して、ターゲットトレーニングサンプル集合を生成することができる
。たとえば、サブモデルのモデル入力のサイズは３００＊３００である。上記実行主体は
、生成されたターゲットトレーニングサンプル中の画像のサイズが３００＊３００である
ようにトレーニングサンプル中の画像をトリミングすることができる。別の例として、サ
ブモデルのモデル入力のサイズは２０＊２０である。上記実行主体は、生成されたターゲ
ットトレーニングサンプル中の画像のサイズが２０＊２０であるようにトレーニングサン
プル中の画像をトリミングすることができる。
ステップ１０４では、各サブモデルの各サブモデルについて、サブモデルに対応するター
ゲットトレーニングサンプル集合を通じて、サブモデルをモデルトレーニングして、サブ
トレーニング結果を生成する。
【0016】
いくつかの実施形態では、上記各サブモデルの各サブモデルについて、上記実行主体は、
上記サブモデルに対応するターゲットトレーニングサンプルの集合を通じて、上記サブモ
デルをモデルトレーニングして、サブトレーニング結果を生成することができる。ここで
、サブトレーニング結果は、対応するサブモデルの損失値を特徴付けることができる。
あるいは、上記の各サブモデルは、顔認識モデル、人種認識モデル、姿勢認識モデルを含
むことができる。なお、上記顔認識モデルは、画像中のユーザの顔を認識するためのモデ
ルであってもよい。上記人種識別モデルは、画像に対応するユーザの人種を識別するため
のモデルであってもよい。上記姿勢認識モデルは、画像中のユーザ姿勢を認識するための
モデルであってもよい。
一例として、上述の顔認識モデルは、ＭＴＣＮ（Ｍｕｌｔｉ ｔａｓｋ ｃｏｎｖｏｌｕ
ｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルであってもよい。上記姿勢認識モ
デルは、ＯｐｅｎＰｏｓｅ（開放姿勢）モデルであってもよい。上記人種識別モデルは、
２つの第１人種識別ネットワークと、２つの第２人種識別ネットワークと、１つの人種分
類ネットワークとを含むことができる。第１の人種識別ネットワークは、２つの３＊３、
ステップサイズ１の畳み込み層と、１つの２＊２、ステップサイズ１の最大プール化層と
を含む。第２の人種識別ネットワークは、３つの３×３、ステップサイズ１の畳み込み層
と、１つの２×２、ステップサイズ１の最大プール化層とを含む。人種分類ネットワーク
は、１つの２０４８個のニューロンの全接続層、１つの１０２４個のニューロンの全接続
層、および人種分類器を含むことができる。人種分類器は、ｓｏｆｔｍａｘ分類器であっ
てもよい。
上記サブモデルに対応するターゲットトレーニングサンプルの集合を通じて、上記サブモ
デルをモデルトレーニングして、サブトレーニング結果を生成することができる。ここで
、サブトレーニング結果は、対応するサブモデルの損失値を特徴付けることができる。
あるいは、上記の各サブモデルは、顔認識モデル、人種認識モデル、姿勢認識モデルを含
むことができる。なお、上記顔認識モデルは、画像中のユーザの顔を認識するためのモデ
ルであってもよい。上記人種識別モデルは、画像に対応するユーザの人種を識別するため
のモデルであってもよい。上記姿勢認識モデルは、画像中のユーザ姿勢を認識するための
モデルであってもよい。
一例として、上述の顔認識モデルは、ＭＴＣＮ（Ｍｕｌｔｉ ｔａｓｋ ｃｏｎｖｏｌｕ
ｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルであってもよい。上記姿勢認識モ
デルは、ＯｐｅｎＰｏｓｅ（開放姿勢）モデルであってもよい。上記人種識別モデルは、
２つの第１人種識別ネットワークと、２つの第２人種識別ネットワークと、１つの人種分
類ネットワークとを含むことができる。第１の人種識別ネットワークは、２つの３＊３、
ステップサイズ１の畳み込み層と、１つの２＊２、ステップサイズ１の最大プール化層と
を含む。第２の人種識別ネットワークは、３つの３×３、ステップサイズ１の畳み込み層
と、１つの２×２、ステップサイズ１の最大プール化層とを含む。人種分類ネットワーク
は、１つの２０４８個のニューロンの全接続層、１つの１０２４個のニューロンの全接続
層、および人種分類器を含むことができる。人種分類器は、ｓｏｆｔｍａｘ分類器であっ
てもよい。
【0017】
ある実施形態において、各サブモデルにおけるサブモデルに対して、サブモデルに対応す
る目的トレーニングサンプルの集合により、サブモデルに対して実行主体がモデルトレー
ニングを行うことにより、サブトレーニング結果を生成する。以下のステップを含むこと
ができる。
第１の手順：確定されたサブモデルは顔認識モデルであることに応答して記顔認識モデル
に対応する目的トレーニングサンプル集合により、顔認識モデルに対してモデルトレーニ
ングを行うことにより、顔認識モデルに対応するサブトレーニング結果を生成する。
例えば、まず、実行主体は、顔認識モデルに対応する目的トレーニングサンプル集合にお
ける目的トレーニングサンプルを、顔認識モデルに順次入力することにより、顔認識モデ
ルに対してモデルトレーニングを行う。そして、実行主体は、予定された損失関数によっ
て、顔認識モデルに対応する損失値を確定する。ここで、予定された損失関数は、平均二
乗誤差損失関数としてもよい。
第２の手順：確定されたサブモデルは人種認識モデルであることに応答して、人種認識モ
デルに対応する目的トレーニングサンプル集合により、前記人種認識モデルに対してモデ
ルトレーニングを行うことにより、前記人種認識モデルに対応するサブトレーニング結果
を生成する。
例えば、まず、実行主体は、人種認識モデルに対応する目的トレーニングサンプル集合に
おける目的トレーニングサンプルを、人種認識モデルに順次入力することにより、人種認
識モデルに対してモデルトレーニングを行う。そして、実行主体は、予定された損失関数
によって、人種認識モデルに対応する損失値を確定する。ここで、予定された損失関数は
、平均二乗誤差損失関数としてもよい。
第３の手順：確定されたサブモデルは姿勢認識モデルであることに応答して、姿勢認識モ
デルに対応する目的トレーニングサンプル集合により、姿勢認識モデルに対してモデルト
レーニングを行うことにより、姿勢認識モデルに対応するサブトレーニング結果を生成す
る。
例えば、まず、実行主体は、姿勢認識モデルに対応する目的トレーニングサンプル集合に
おける目的トレーニングサンプルを、姿勢認識モデルに順次入力することにより、姿勢認
識モデルに対してモデルトレーニングを行う。そして、実行主体は、予定された損失関数
によって、姿勢認識モデルに対応する損失値を確定する。ここで、予定された損失関数は
、平均二乗誤差損失関数としてもよい。
ステップ１０５：確定された複数のサブトレーニング結果がすべて収束することに応答し
て、各サブモデルにおけるサブモデルに対応する現在モデルパラメータ情報に基づいて、
トレーニングが完了した初期モデルを生成する。
ある実施形態において、実行主体は、確定された複数のサブトレーニング結果がすべて収
束することに応答して、各サブモデルにおけるサブモデルに対応する現在モデルパラメー
タ情報に基づいて、トレーニングが完了した初期モデルを生成する。ここで、現在モデル
パラメータ情報は、サブトレーニング結果が収束した時における対応するサブモデルの重
みパラメータの情報としてもよい。
ある実施形態において、実行主体は、確定された複数のサブトレーニング結果がすべて収
束することに応答して、各サブモデルにおけるサブモデルに対応する現在モデルパラメー
タ情報に基づいて、トレーニングが完了した初期モデルを生成することは、以下のステッ
プを含むことができる。
る目的トレーニングサンプルの集合により、サブモデルに対して実行主体がモデルトレー
ニングを行うことにより、サブトレーニング結果を生成する。以下のステップを含むこと
ができる。
第１の手順：確定されたサブモデルは顔認識モデルであることに応答して記顔認識モデル
に対応する目的トレーニングサンプル集合により、顔認識モデルに対してモデルトレーニ
ングを行うことにより、顔認識モデルに対応するサブトレーニング結果を生成する。
例えば、まず、実行主体は、顔認識モデルに対応する目的トレーニングサンプル集合にお
ける目的トレーニングサンプルを、顔認識モデルに順次入力することにより、顔認識モデ
ルに対してモデルトレーニングを行う。そして、実行主体は、予定された損失関数によっ
て、顔認識モデルに対応する損失値を確定する。ここで、予定された損失関数は、平均二
乗誤差損失関数としてもよい。
第２の手順：確定されたサブモデルは人種認識モデルであることに応答して、人種認識モ
デルに対応する目的トレーニングサンプル集合により、前記人種認識モデルに対してモデ
ルトレーニングを行うことにより、前記人種認識モデルに対応するサブトレーニング結果
を生成する。
例えば、まず、実行主体は、人種認識モデルに対応する目的トレーニングサンプル集合に
おける目的トレーニングサンプルを、人種認識モデルに順次入力することにより、人種認
識モデルに対してモデルトレーニングを行う。そして、実行主体は、予定された損失関数
によって、人種認識モデルに対応する損失値を確定する。ここで、予定された損失関数は
、平均二乗誤差損失関数としてもよい。
第３の手順：確定されたサブモデルは姿勢認識モデルであることに応答して、姿勢認識モ
デルに対応する目的トレーニングサンプル集合により、姿勢認識モデルに対してモデルト
レーニングを行うことにより、姿勢認識モデルに対応するサブトレーニング結果を生成す
る。
例えば、まず、実行主体は、姿勢認識モデルに対応する目的トレーニングサンプル集合に
おける目的トレーニングサンプルを、姿勢認識モデルに順次入力することにより、姿勢認
識モデルに対してモデルトレーニングを行う。そして、実行主体は、予定された損失関数
によって、姿勢認識モデルに対応する損失値を確定する。ここで、予定された損失関数は
、平均二乗誤差損失関数としてもよい。
ステップ１０５：確定された複数のサブトレーニング結果がすべて収束することに応答し
て、各サブモデルにおけるサブモデルに対応する現在モデルパラメータ情報に基づいて、
トレーニングが完了した初期モデルを生成する。
ある実施形態において、実行主体は、確定された複数のサブトレーニング結果がすべて収
束することに応答して、各サブモデルにおけるサブモデルに対応する現在モデルパラメー
タ情報に基づいて、トレーニングが完了した初期モデルを生成する。ここで、現在モデル
パラメータ情報は、サブトレーニング結果が収束した時における対応するサブモデルの重
みパラメータの情報としてもよい。
ある実施形態において、実行主体は、確定された複数のサブトレーニング結果がすべて収
束することに応答して、各サブモデルにおけるサブモデルに対応する現在モデルパラメー
タ情報に基づいて、トレーニングが完了した初期モデルを生成することは、以下のステッ
プを含むことができる。
【0018】
第１の手順：確定された顔認識モデルに対応するサブトレーニング結果が収束することに
応答して、顔認識モデルの現在モデルパラメータを確定することにより、顔認識モデルに
対応する現在モデルパラメータ情報を生成する。
例えば、実行主体は、確定された顔認識モデルに対応する損失値が収束することに応答し
て、逆伝搬により顔認識モデルの重みパラメータを得て、現在モデルパラメータ情報を得
る。
第２の手順：確定された人種認識モデルに対応するサブトレーニング結果が収束すること
に応答して、人種顔認識モデルの現在モデルパラメータを確定することにり、人種認識モ
デルに対応する現在モデルパラメータ情報を生成する。
例えば、実行主体は、確定された人種認識モデルに対応する損失値が収束することに応答
して、逆伝搬により人種認識モデルの重みパラメータを得て、現在モデルパラメータ情報
を得る。
第３の手順：確定された姿勢認識モデルに対応するサブトレーニング結果が収束すること
に応答して、姿勢顔認識モデルの現在モデルパラメータを確定することにり、姿勢認識モ
デルに対応する現在モデルパラメータ情報を生成する。
例えば、実行主体は、確定された姿勢認識モデルに対応する損失値が収束することに応答
して、逆伝搬により姿勢認識モデルの重みパラメータを得て、現在モデルパラメータ情報
を得る。
第４の手順：得られた複数の現在モデルパラメータ情報に基づいて、初期モデルに対して
モデルパラメータの更新を行うことにより、候補初期モデルを生成する。
ここで、候補初期モデルは、初期モデルにおけるパラメータを置換したモデルであっても
よい。実行主体は、得られた複数の現在モデルパラメータ情報におけるモデルパラメータ
情報に含まれる重みパラメータに基づいて、初期モデルのパラメータを置換することによ
り、候補初期モデルを生成する。
第５の手順：各サブモデルに対応する複数のトレーニングサンプル集合からトレーニング
サンプルを抽出することにより、目的サンプルを生成し、目的サンプル集合を得る。
ここで、目的サンプルは、複数のトレーニングサンプル集合からランダムに抽出されたも
のであってもよく、候補初期モデルをトレーニングするために用いられる。
第６の手順：目的サンプル集合により候補初期モデルに対してモデルトレーニングする。
例えば、実行主体は、目標サンプルの集合における目標サンプルを、順次候補初期モデル
に入力することにより、候補初期モデルをトレーニングすることができる。
第７の手順：確定された候補初期モデルに対応する目的トレーニング結果が収束すること
に応答して、トレーニングが完了した初期モデルを生成する。
例えば、実行主体は、確定された候補初期モデルに対応する目的トレーニング結果が収束
することに応答して、現在トレーニングによるパラメータを初期モデルのパラメータとし
て確定し、トレーニングが完了した初期モデルを生成することができる。
応答して、顔認識モデルの現在モデルパラメータを確定することにより、顔認識モデルに
対応する現在モデルパラメータ情報を生成する。
例えば、実行主体は、確定された顔認識モデルに対応する損失値が収束することに応答し
て、逆伝搬により顔認識モデルの重みパラメータを得て、現在モデルパラメータ情報を得
る。
第２の手順：確定された人種認識モデルに対応するサブトレーニング結果が収束すること
に応答して、人種顔認識モデルの現在モデルパラメータを確定することにり、人種認識モ
デルに対応する現在モデルパラメータ情報を生成する。
例えば、実行主体は、確定された人種認識モデルに対応する損失値が収束することに応答
して、逆伝搬により人種認識モデルの重みパラメータを得て、現在モデルパラメータ情報
を得る。
第３の手順：確定された姿勢認識モデルに対応するサブトレーニング結果が収束すること
に応答して、姿勢顔認識モデルの現在モデルパラメータを確定することにり、姿勢認識モ
デルに対応する現在モデルパラメータ情報を生成する。
例えば、実行主体は、確定された姿勢認識モデルに対応する損失値が収束することに応答
して、逆伝搬により姿勢認識モデルの重みパラメータを得て、現在モデルパラメータ情報
を得る。
第４の手順：得られた複数の現在モデルパラメータ情報に基づいて、初期モデルに対して
モデルパラメータの更新を行うことにより、候補初期モデルを生成する。
ここで、候補初期モデルは、初期モデルにおけるパラメータを置換したモデルであっても
よい。実行主体は、得られた複数の現在モデルパラメータ情報におけるモデルパラメータ
情報に含まれる重みパラメータに基づいて、初期モデルのパラメータを置換することによ
り、候補初期モデルを生成する。
第５の手順：各サブモデルに対応する複数のトレーニングサンプル集合からトレーニング
サンプルを抽出することにより、目的サンプルを生成し、目的サンプル集合を得る。
ここで、目的サンプルは、複数のトレーニングサンプル集合からランダムに抽出されたも
のであってもよく、候補初期モデルをトレーニングするために用いられる。
第６の手順：目的サンプル集合により候補初期モデルに対してモデルトレーニングする。
例えば、実行主体は、目標サンプルの集合における目標サンプルを、順次候補初期モデル
に入力することにより、候補初期モデルをトレーニングすることができる。
第７の手順：確定された候補初期モデルに対応する目的トレーニング結果が収束すること
に応答して、トレーニングが完了した初期モデルを生成する。
例えば、実行主体は、確定された候補初期モデルに対応する目的トレーニング結果が収束
することに応答して、現在トレーニングによるパラメータを初期モデルのパラメータとし
て確定し、トレーニングが完了した初期モデルを生成することができる。
【0019】
選択的には、実行主体は、さらに以下の処理手順を実行することができる。
第１の手順：目的画像を取得する。
ここで、目的画像は目的対象を含む。目的対象は、ユーザの全身画像であってもよい。
例えば、目的画像は、銀行の監視装置に撮影された画像であってもよい。監視装置はカメ
ラであってもよい。
第２の手順：目的画像をトレーニングが完了した初期モデルに入力することにより、目的
画像に対応するユーザアイデンティティ情報を生成する。
ここで、ユーザアイデンティティ情報は、目的画像に含まれる目的対象に対応するユーザ
のユーザアイデンティティ情報であってもよい。ユーザアイデンティティ情報は、顔位置
情報、人種情報、およびユーザ姿勢情報を含む。顔位置情報は、目的画像に含まれる目的
対象における顔の位置する位置を発現することができる。人種情報は、目的画像に含まれ
る目的対象に対応するユーザの人種カテゴリを発現することができる。ユーザ姿勢情報は
、目的画像に含まれる目的対象における四肢の位置する位置を発現することができる。
第３の手順：ユーザアイデンティティ情報に含まれる顔位置情報、人種情報、およびユー
ザ姿勢情報に基づいて、目的画像に画像マーキングを行うことにより、マーキング済みの
目的画像を生成する。
例えば、実行主体は、顔位置情報における顔位置、人種情報における人種カテゴリ、およ
びユーザ姿勢情報における肢体位置に基づいて、目的画像における対応位置をマークする
ことができる。
第３の手順：マーキング済みの目的画像に対して画像記憶を行う。
たとえば、実行主体は、マーキング済み画像を磁気ディスクに格納することができる。
本開示のいくつかの実施形態のディープラーニングに基づく分散式異種データの処理方法
により、分散中のノードのノード使用効率を向上させ、モデルトレーニング効率を向上さ
せることができる。具体的には、ノードの使用効率とモデルのトレーニング効率が低い原
因は、第一に、分散式に含まれる各ノードのノード構成が異なることが多いことと、複数
回トレーニングするモデルのモデル構造が異なることが多いため、固定した分散式トレー
ニング方式を用いてモデルをトレーニングすると、分散式におけるノードのノード使用効
率が低下することがよくある。第二に、モデルが複数のサブモデルを含み、モデル構造が
複雑な場合、全体モデルを直接トレーニングし、モデルのトレーニング周期が長く、モデ
ルのトレーニング効率が低下する。これに基づいて、本開示のいくつかの実施形態のディ
ープラーニングに基づく分散式異種データの処理方法は、まず、初期モデルに含まれる各
サブモデルのうちの１つのサブモデルが構成されているノード情報グループシーケンスを
決定することを含む。実際には、ノードのノード構成が異なることが多いため、サブモデ
ルのモデル構造が異なることが多い。固定分散トレーニング方式を採用し、サブモデルを
予め設定された固定されたノードに構成させると、モデル構造とノードの構成が一致せず
（例えば、モデル構造が簡単なモデルが構成の高いノードに構成される）、ノードのノー
ド使用率が低下することがある。したがって、ノード情報グループのシーケンスを決定す
ることによって、サブモデルを対応するノードグループ（例えば、モデル構造が簡単なモ
デルを構成の低いノードに構成する）に構成し、ノードのノード使用効率を高める。次に
、前記ノード情報グループのシーケンスにおける各ノード情報グループに対応するノード
構成情報とモデル構造情報に基づいて、前記ノード情報グループに対応するトレーニング
サンプルの集合を決定し、前記モデル構造情報はノード情報グループに対応するサブモデ
ルのモデル構造を特徴づける。実際には、異なるノード情報グループに対応するノードグ
ループの構成が異なることが多く、異なるサブモデルの構造も異なるため、異なるノード
グループのモデルトレーニング速度も異なる。そのため、各ノードグループのサブモデル
のトレーニング時間を近似させ、トレーニング時間を短縮するために、ノード情報グルー
プのノード構成情報とサブモデルの構造情報に基づいて、ノード情報グループに必要なト
レーニングサンプルの数を決定する必要がある。そして、前記ノード情報グループシーケ
ンス中の各ノード情報グループに対して、前記ノード情報グループに対応するモデル構造
情報に基づいて、前記ノード情報グループに対応するトレーニングサンプル集合中のトレ
ーニングサンプルをサンプル再構成して、ターゲットトレーニングサンプル集合を生成す
る。実際には、サブモデルによってモデル入力が異なることがあります。そのため、モデ
ル構造情報に対応するサブモデルのモデル入力に基づいて、トレーニングサンプルをサン
プル再構築し、ターゲットトレーニングサンプル集合を得る必要がある。次に、前記各サ
ブモデルにおける各サブモデルについて、前記サブモデルに対応するターゲットトレーニ
ングサンプル集合により、前記サブモデルに対してモデルトレーニングを行い、サブトレ
ーニング結果を生成する。これにより、各サブモデルをそれぞれトレーニングすることに
より、モデルトレーニング周期を短縮し、モデルトレーニング効率を向上させる。最後に
、決定された複数のサブトレーニング結果がすべて収束することに応答して、上記各サブ
モデルにおけるサブモデルに対応する現在のモデルパラメータ情報に基づいて、トレーニ
ングが完了した初期モデルを生成する。これにより、分散式における各サブモデルのトレ
ーニング完了で得られたモデルパラメータ情報により、トレーニング完了の初期モデルを
生成し、分散式におけるノードのノード使用効率を向上させるとともに、モデルトレーニ
ング効率を向上させる。
第１の手順：目的画像を取得する。
ここで、目的画像は目的対象を含む。目的対象は、ユーザの全身画像であってもよい。
例えば、目的画像は、銀行の監視装置に撮影された画像であってもよい。監視装置はカメ
ラであってもよい。
第２の手順：目的画像をトレーニングが完了した初期モデルに入力することにより、目的
画像に対応するユーザアイデンティティ情報を生成する。
ここで、ユーザアイデンティティ情報は、目的画像に含まれる目的対象に対応するユーザ
のユーザアイデンティティ情報であってもよい。ユーザアイデンティティ情報は、顔位置
情報、人種情報、およびユーザ姿勢情報を含む。顔位置情報は、目的画像に含まれる目的
対象における顔の位置する位置を発現することができる。人種情報は、目的画像に含まれ
る目的対象に対応するユーザの人種カテゴリを発現することができる。ユーザ姿勢情報は
、目的画像に含まれる目的対象における四肢の位置する位置を発現することができる。
第３の手順：ユーザアイデンティティ情報に含まれる顔位置情報、人種情報、およびユー
ザ姿勢情報に基づいて、目的画像に画像マーキングを行うことにより、マーキング済みの
目的画像を生成する。
例えば、実行主体は、顔位置情報における顔位置、人種情報における人種カテゴリ、およ
びユーザ姿勢情報における肢体位置に基づいて、目的画像における対応位置をマークする
ことができる。
第３の手順：マーキング済みの目的画像に対して画像記憶を行う。
たとえば、実行主体は、マーキング済み画像を磁気ディスクに格納することができる。
本開示のいくつかの実施形態のディープラーニングに基づく分散式異種データの処理方法
により、分散中のノードのノード使用効率を向上させ、モデルトレーニング効率を向上さ
せることができる。具体的には、ノードの使用効率とモデルのトレーニング効率が低い原
因は、第一に、分散式に含まれる各ノードのノード構成が異なることが多いことと、複数
回トレーニングするモデルのモデル構造が異なることが多いため、固定した分散式トレー
ニング方式を用いてモデルをトレーニングすると、分散式におけるノードのノード使用効
率が低下することがよくある。第二に、モデルが複数のサブモデルを含み、モデル構造が
複雑な場合、全体モデルを直接トレーニングし、モデルのトレーニング周期が長く、モデ
ルのトレーニング効率が低下する。これに基づいて、本開示のいくつかの実施形態のディ
ープラーニングに基づく分散式異種データの処理方法は、まず、初期モデルに含まれる各
サブモデルのうちの１つのサブモデルが構成されているノード情報グループシーケンスを
決定することを含む。実際には、ノードのノード構成が異なることが多いため、サブモデ
ルのモデル構造が異なることが多い。固定分散トレーニング方式を採用し、サブモデルを
予め設定された固定されたノードに構成させると、モデル構造とノードの構成が一致せず
（例えば、モデル構造が簡単なモデルが構成の高いノードに構成される）、ノードのノー
ド使用率が低下することがある。したがって、ノード情報グループのシーケンスを決定す
ることによって、サブモデルを対応するノードグループ（例えば、モデル構造が簡単なモ
デルを構成の低いノードに構成する）に構成し、ノードのノード使用効率を高める。次に
、前記ノード情報グループのシーケンスにおける各ノード情報グループに対応するノード
構成情報とモデル構造情報に基づいて、前記ノード情報グループに対応するトレーニング
サンプルの集合を決定し、前記モデル構造情報はノード情報グループに対応するサブモデ
ルのモデル構造を特徴づける。実際には、異なるノード情報グループに対応するノードグ
ループの構成が異なることが多く、異なるサブモデルの構造も異なるため、異なるノード
グループのモデルトレーニング速度も異なる。そのため、各ノードグループのサブモデル
のトレーニング時間を近似させ、トレーニング時間を短縮するために、ノード情報グルー
プのノード構成情報とサブモデルの構造情報に基づいて、ノード情報グループに必要なト
レーニングサンプルの数を決定する必要がある。そして、前記ノード情報グループシーケ
ンス中の各ノード情報グループに対して、前記ノード情報グループに対応するモデル構造
情報に基づいて、前記ノード情報グループに対応するトレーニングサンプル集合中のトレ
ーニングサンプルをサンプル再構成して、ターゲットトレーニングサンプル集合を生成す
る。実際には、サブモデルによってモデル入力が異なることがあります。そのため、モデ
ル構造情報に対応するサブモデルのモデル入力に基づいて、トレーニングサンプルをサン
プル再構築し、ターゲットトレーニングサンプル集合を得る必要がある。次に、前記各サ
ブモデルにおける各サブモデルについて、前記サブモデルに対応するターゲットトレーニ
ングサンプル集合により、前記サブモデルに対してモデルトレーニングを行い、サブトレ
ーニング結果を生成する。これにより、各サブモデルをそれぞれトレーニングすることに
より、モデルトレーニング周期を短縮し、モデルトレーニング効率を向上させる。最後に
、決定された複数のサブトレーニング結果がすべて収束することに応答して、上記各サブ
モデルにおけるサブモデルに対応する現在のモデルパラメータ情報に基づいて、トレーニ
ングが完了した初期モデルを生成する。これにより、分散式における各サブモデルのトレ
ーニング完了で得られたモデルパラメータ情報により、トレーニング完了の初期モデルを
生成し、分散式におけるノードのノード使用効率を向上させるとともに、モデルトレーニ
ング効率を向上させる。
【0020】
さらに図２を参照すると、上述した各図に示された方法の実現として、本開示は、図１に
示された方法の実施形態に対応し、具体的には様々な電子機器に適用可能な、ディープラ
ーニングに基づく分散式異種データの処理装置のいくつかの実施形態を提供する。
図２に示すように、いくつかの実施形態のディープラーニングに基づく分散式異種データ
の処理装置２００は、情報判定部２０１、サンプル判定部２０２、サンプル再構成部２０
３、モデルトレーニング部２０４、モデル生成部２０５を含む。ここで、情報判定部２０
１は、ノード情報グループのシーケンスを判定するように構成され、サンプル決定部２０
２は、上記ノード情報グループのシーケンスにおける各ノード情報グループに対応するノ
ード構成情報とモデル構造情報に基づいて、上記ノード情報グループに対応するサブモデ
ルのモデル構造を特徴づけるモデル構造情報グループに対応するトレーニングサンプルの
集合を決定するように構成され、サンプル再構成部２０３は、前記ノード情報グループシ
ーケンス中の各ノード情報グループに対して、前記ノード情報グループに対応するモデル
構造情報に基づいて、前記ノード情報グループに対応するトレーニングサンプル集合中の
トレーニングサンプルをサンプル再構成して、ターゲットトレーニングサンプル集合を生
成するように構成され、モデルトレーニングユニット２０４は、上記各サブモデルの各サ
ブモデルに対して、上記サブモデルに対応するターゲットトレーニングサンプルの集合を
通じて、上記サブモデルをモデルトレーニングして、サブトレーニング結果を生成するよ
うに構成され、モデル生成部２０５は、決定された複数のサブモデルのトレーニング結果
がすべて収束することに応答して、上記各サブモデルにおけるサブモデルに対応する現在
のモデルパラメータ情報に基づいて、トレーニングが完了した初期モデルを生成するよう
に構成される。
示された方法の実施形態に対応し、具体的には様々な電子機器に適用可能な、ディープラ
ーニングに基づく分散式異種データの処理装置のいくつかの実施形態を提供する。
図２に示すように、いくつかの実施形態のディープラーニングに基づく分散式異種データ
の処理装置２００は、情報判定部２０１、サンプル判定部２０２、サンプル再構成部２０
３、モデルトレーニング部２０４、モデル生成部２０５を含む。ここで、情報判定部２０
１は、ノード情報グループのシーケンスを判定するように構成され、サンプル決定部２０
２は、上記ノード情報グループのシーケンスにおける各ノード情報グループに対応するノ
ード構成情報とモデル構造情報に基づいて、上記ノード情報グループに対応するサブモデ
ルのモデル構造を特徴づけるモデル構造情報グループに対応するトレーニングサンプルの
集合を決定するように構成され、サンプル再構成部２０３は、前記ノード情報グループシ
ーケンス中の各ノード情報グループに対して、前記ノード情報グループに対応するモデル
構造情報に基づいて、前記ノード情報グループに対応するトレーニングサンプル集合中の
トレーニングサンプルをサンプル再構成して、ターゲットトレーニングサンプル集合を生
成するように構成され、モデルトレーニングユニット２０４は、上記各サブモデルの各サ
ブモデルに対して、上記サブモデルに対応するターゲットトレーニングサンプルの集合を
通じて、上記サブモデルをモデルトレーニングして、サブトレーニング結果を生成するよ
うに構成され、モデル生成部２０５は、決定された複数のサブモデルのトレーニング結果
がすべて収束することに応答して、上記各サブモデルにおけるサブモデルに対応する現在
のモデルパラメータ情報に基づいて、トレーニングが完了した初期モデルを生成するよう
に構成される。
【0021】
装置２００に記載されたユニットは、図１を参照して説明された方法の各ステップに対応
していることが理解される。したがって、上述の方法について説明した操作、特徴、およ
び生成された有益な効果は、装置２００および装置２００に含まれるユニットにも同様に
適用され、ここではこれ以上説明しない。
以下、図３を参照すると、本開示のいくつかの実施形態を実現するのに適した電子機器（
例えば、計算装置）３００の構造概略図が示されている。図３に示す電子機器は単なる一
例であり、本開示の実施形態の機能及び使用範囲に何ら制限を与えるものではない。
図３に示すように、電子機器３００は、読取り専用メモリ（ＲＯＭ）３０２に格納された
プログラム、または記憶装置３０８からランダムアクセスメモリ（ＲＡＭ）３０３にロー
ドされたプログラムに従って様々な適切な動作および処理を実行することができる処理装
置（例えば中央プロセッサ、グラフィックプロセッサなど）３０１を含むことができる。
ＲＡＭ３０３には、電子機器３００の動作に必要な各種プログラムやデータも記憶されて
いる。処理装置３０１、ＲＯＭ３０２及びＲＡＭ３０３は、バス３０４を介して互いに接
続されている。バス３０４には、入出力（Ｉ／Ｏ）インタフェース３０５も接続されてい
る。
一般に、Ｉ／Ｏインタフェース３０５には、タッチスクリーン、タッチパッド、キーボー
ド、マウス、カメラ、マイク、加速度計、ジャイロスコープなどを含む入力デバイス３０
６が、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどの出力デバイス３０７
、例えば、磁気テープ、ハードディスク等を含む記憶装置３０８、及び通信装置３０９を
含む。通信デバイス３０９は、データを交換するために電子デバイス３００が他のデバイ
スと無線または有線通信することを可能にすることができる。図３は、様々な装置を備え
た電子機器３００を示しているが、図示された装置のすべてを実施または備える必要はな
いことが理解されるべきである。代替的に、より多くまたはより少ない装置を実装または
備えることができる。図３に示す各ブロックは、１つのデバイスを表してもよいし、必要
に応じて複数のデバイスを表してもよい。
していることが理解される。したがって、上述の方法について説明した操作、特徴、およ
び生成された有益な効果は、装置２００および装置２００に含まれるユニットにも同様に
適用され、ここではこれ以上説明しない。
以下、図３を参照すると、本開示のいくつかの実施形態を実現するのに適した電子機器（
例えば、計算装置）３００の構造概略図が示されている。図３に示す電子機器は単なる一
例であり、本開示の実施形態の機能及び使用範囲に何ら制限を与えるものではない。
図３に示すように、電子機器３００は、読取り専用メモリ（ＲＯＭ）３０２に格納された
プログラム、または記憶装置３０８からランダムアクセスメモリ（ＲＡＭ）３０３にロー
ドされたプログラムに従って様々な適切な動作および処理を実行することができる処理装
置（例えば中央プロセッサ、グラフィックプロセッサなど）３０１を含むことができる。
ＲＡＭ３０３には、電子機器３００の動作に必要な各種プログラムやデータも記憶されて
いる。処理装置３０１、ＲＯＭ３０２及びＲＡＭ３０３は、バス３０４を介して互いに接
続されている。バス３０４には、入出力（Ｉ／Ｏ）インタフェース３０５も接続されてい
る。
一般に、Ｉ／Ｏインタフェース３０５には、タッチスクリーン、タッチパッド、キーボー
ド、マウス、カメラ、マイク、加速度計、ジャイロスコープなどを含む入力デバイス３０
６が、液晶ディスプレイ（ＬＣＤ）、スピーカ、バイブレータなどの出力デバイス３０７
、例えば、磁気テープ、ハードディスク等を含む記憶装置３０８、及び通信装置３０９を
含む。通信デバイス３０９は、データを交換するために電子デバイス３００が他のデバイ
スと無線または有線通信することを可能にすることができる。図３は、様々な装置を備え
た電子機器３００を示しているが、図示された装置のすべてを実施または備える必要はな
いことが理解されるべきである。代替的に、より多くまたはより少ない装置を実装または
備えることができる。図３に示す各ブロックは、１つのデバイスを表してもよいし、必要
に応じて複数のデバイスを表してもよい。
【図1】
【図2】
【図3】
