知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
特許7525237効率的パラメータ・アップデートのための削減された精度パラメータを有する機械学習ハードウェア
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-22
(45)【発行日】2024-07-30
(54)【発明の名称】効率的パラメータ・アップデートのための削減された精度パラメータを有する機械学習ハードウェア
(51)【国際特許分類】
G06N 3/08 20230101AFI20240723BHJP
G06F 7/499 20060101ALI20240723BHJP
【ＦＩ】
G06N3/08
G06F7/499 647
【請求項の数】
14
(21)【出願番号】P 2022503833
(86)(22)【出願日】2020-08-17
(65)【公表番号】
(43)【公表日】2022-11-07
(86)【国際出願番号】 IB2020057723
(87)【国際公開番号】W WO2021044244
(87)【国際公開日】2021-03-11
【審査請求日】2023-01-20
(31)【優先権主張番号】16/558,585
(32)【優先日】2019-09-03
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(72)【発明者】
【氏名】スン、シァオ
(72)【発明者】
【氏名】チョイ、ジュンフック
(72)【発明者】
【氏名】ワン、ナイガン
(72)【発明者】
【氏名】チェン、チアーユ
(72)【発明者】
【氏名】ゴパラクリシュナン、カイラッシュ
【審査官】円子 英紀
(56)【参考文献】
【文献】特開２０２０－００９４４４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｆ １８／００－１８／４０
Ｇ０６Ｆ ７／４９９
(57)【特許請求の範囲】
【請求項1】
ニューラル・ネットワークのための回路を含む装置であって、前記回路は：第２のビット数及び第３のビット数を第１のビット数よりもそれぞれ小さいビット数とし、前記第２のビット数を含む第２のフォーマットを有する第２の重み及び前記第３のビット数を含む第３のフォーマットを有する残差に少なくとも部分的に基づいて、前記第１のビット数を含む第１のフォーマットを有する第１の重みを生成し；
前記第１の重みに少なくとも部分的に基づいて、前記第２の重みをアップデートし；
アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて、前記残差をアップデートし；
アップデートされた前記第２の重み及びアップデートされた前記残差をメモリに格納し；
前記メモリから読み込まれたアップデートされた前記第２の重み及びアップデートされた前記残差に少なくとも部分的に基づいて、前記第１の重みをアップデートする
ように構成される、装置。
【請求項2】
前記第２のビット数は、８ビットを含む、請求項１に記載の装置。
【請求項3】
前記第３のビット数は、１６ビットを含む、請求項１に記載の装置。
【請求項4】
前記第２のビット数及び前記第３のビット数は、共に前記第１のビット数よりも少ない、請求項１に記載の装置。
【請求項5】
アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて前記残差をアップデートすることは：アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて、前記第３のビット数よりも大きなビット数を有する第４のビット数を含む第２の残差を生成すること；及び
前記第４のビット数から前記第３のビット数へと前記第２の残差を量子化して、前記残差をアップデートすること
を含む、請求項４に記載の装置。
【請求項6】
ニューラル・ネットワークのための回路を含む装置であって、前記回路は：
第２のビット数及び第３のビット数を第１のビット数よりもそれぞれ小さいビット数とし、前記第２のビット数を含む第２のフォーマットを有する第２の重み及び前記第３のビット数を含む第３のフォーマットを有する残差に少なくとも部分的に基づいて、前記第１のビット数を含む第１のフォーマットを有する第１の重みを生成し；
前記第１の重みに少なくとも部分的に基づいて、前記第２の重みをアップデートし；
アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて、前記残差をアップデートし；
アップデートされた前記第２の重み及びアップデートされた前記残差に少なくとも部分的に基づいて、前記第１の重みをアップデートする
ように構成され、
前記第２のビット数及び前記第３のビット数は、共に前記第１のビット数よりも少なく、
アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて前記残差をアップデートすることは：
アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて、前記第３のビット数よりも大きなビット数を有する第４のビット数を含む第２の残差を生成すること；及び
前記第４のビット数から前記第３のビット数へと前記第２の残差を量子化して、前記残差をアップデートすること
を含む、装置。
【請求項7】
前記回路は、さらに：前記第２の残差を量子化する前に少なくともスケーリング・ファクタに基づいて、前記第２の残差をスケールアップし；及び
アップデートされた前記第２の重み及びアップデートされた前記残差に少なくとも部分的に基づいて前記第１の重みをアップデートする前に、前記スケーリング・ファクタに少なくとも部分的に基づいて、アップデートされた前記残差をスケールダウンする
ように構成される、請求項５または６に記載の装置。
【請求項8】
方法であって、第２のビット数及び第３のビット数を第１のビット数よりもそれぞれ小さいビット数とし、前記第２のビット数を含む第２のフォーマットを有する第２の重み及び前記第３のビット数を含む第３のフォーマットを有する残差に少なくとも部分的に基づいて、前記第１のビット数を含む第１のフォーマットを有する第１の重みを生成し；
前記第１の重みに少なくとも部分的に基づいて、前記第２の重みをアップデートし；
アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて、前記残差をアップデートし；
アップデートされた前記第２の重み及びアップデートされた前記残差をメモリに格納し；
前記メモリから読み込まれたアップデートされた前記第２の重み及びアップデートされた前記残差に少なくとも部分的に基づいて前記第１の重みをアップデートし；
前記方法がニューラル・ネットワークのための回路により少なくとも部分的に実行される、
方法。
【請求項9】
前記第２のビット数は、８ビットを含む、請求項８に記載の方法。
【請求項10】
前記第３のビット数は、１６ビットを含む、請求項８に記載の方法。
【請求項11】
前記第２のビット数及び前記第３のビット数は、共に前記第１のビット数よりも少ない、請求項８に記載の方法。
【請求項12】
アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて前記残差をアップデートすることは：アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて、前記第３のビット数よりも大きなビット数を有する第４のビット数を含む第２の残差を生成すること；及び
前記第４のビット数から前記第３のビット数へと前記第２の残差を量子化して、前記残差をアップデートすること
を含む、請求項１１に記載の方法。
【請求項13】
方法であって、
第２のビット数及び第３のビット数を第１のビット数よりもそれぞれ小さいビット数とし、前記第２のビット数を含む第２のフォーマットを有する第２の重み及び前記第３のビット数を含む第３のフォーマットを有する残差に少なくとも部分的に基づいて、前記第１のビット数を含む第１のフォーマットを有する第１の重みを生成し；
前記第１の重みに少なくとも部分的に基づいて、前記第２の重みをアップデートし；
アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて、前記残差をアップデートし；
アップデートされた前記第２の重み及びアップデートされた前記残差に少なくとも部分的に基づいて前記第１の重みをアップデートし；
前記方法がニューラル・ネットワークのための回路により少なくとも部分的に実行され、
前記第２のビット数及び前記第３のビット数は、共に前記第１のビット数よりも少なく、
アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて前記残差をアップデートすることは：
アップデートされた前記第２の重み及び前記第１の重みに少なくとも部分的に基づいて、前記第３のビット数よりも大きなビット数を有する第４のビット数を含む第２の残差を生成すること；及び
前記第４のビット数から前記第３のビット数へと前記第２の残差を量子化して、前記残差をアップデートすること
を含む、方法。
【請求項14】
前記方法は、さらに：前記第２の残差を量子化する前に少なくともスケーリング・ファクタに基づいて、前記第２の残差をスケールアップすること；及び
アップデートされた前記第２の重み及びアップデートされた前記残差に少なくとも部分的に基づいて前記第１の重みをアップデートする前に、前記スケーリング・ファクタに少なくとも部分的に基づいて、アップデートされた前記残差をスケールダウンすること
を含む、請求項１２または１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、ハードウェア回路を使用したトレーニング及び推論することのための技術を提供する。
【背景技術】
【0002】
所与の数の浮動小数点表示は、数の数字を含む仮数、仮数の先頭からどこに小数点（又はバイナリ）点を配置するかを設定するべき指数であって、負のべき指数は、極めて小さな数（すなわち、ゼロに近い）を表すもの及び、数に伴う符号（正又は負）の３つの主要部分を含む。
【0003】
浮動小数点表示（ＦＰＵ）は、ＦＰ計算を実行するハードウェア回路として実装されるプロセッサ又はプロセッサの部分である。初期のＦＰＵは、スタンドアローンのプロセッサであったが、現在、多くは、コンピュータのＣＰＵの内部に一体化されている。近年のＣＰＵ（複数）における一体化されたＦＰＵは、例えば、インスティティテュート・オブ・エレクトリカル・アンド・エレクトロニクス・エンジニア（ＩＥＥＥ）浮動小数点標準において言及されるように、それらが、それらの計算を支配する規則を遵守することを保証しながら、高精度の浮動小数点計算を実行するが故に、極めて複雑化する。
【0004】
例えば、ディープ・ラーニング・ニューラル・ネットワークといった機械学習モデルの構成及びトレーニングは、また、ディープ・ニューラル・ネットワーク（ＤＮＮ）として参照され、しばしば計算機的に集約的である。ＤＮＮのトレーニングにおけるそれぞれの反復又はサイクルは、多くの浮動小数点計算を必要とする可能性がある。例えば、ＤＮＮが膨大なノードを含む場合、ＤＮＮをトレーニングするために必要とされる浮動小数点計算は、ノードの数に対して指数関数的なスケールとなる。加えて、ＤＮＮにおいて使用される異なる浮動小数点計算は、異なる精度要求を有する可能性がある。
【0005】
機械学習のワークロードは、また、計算機的に要請される傾向にある。例えば、普通のディープ・ラーニングのベンチマークに対するトレーニング・アルゴリズムは、しばしば、多数のプロセッサを含むシステムを使用して、収束するまでに数週間を要する。浮動小数点計算のため、高いスループット密度を提供することができる特化したアクセラレータは、面積（プロセッサ空間の１平方ミリ当たりの計算機スループット）及び電力（消費された電力の１ワット当たりの計算機スループット）の表現の両方において、将来のディープ・ラーニング・システムに対する重要な尺度である。
【発明の概要】
【0006】
１実施形態においては、装置は、ニューラル・ネットワークのための回路を含む。回路は、第２のビット数を含む第２のフォーマットを有する第２の重み及び第３のビット数を含む第３のフォーマットを有する残差に少なくとも部分的に基づく第１のビット数を含む第１のフォーマットを有する第１の重み及びを生成するように、構成される。第２のビット数及び第３のビット数は、それぞれ第１のビット数よりも少ない。回路は、さらに、第１の重みに少なくとも部分的に基づいて第２の重みをアップデートし、かつアップデートされた第２の重み及び第１の重みに少なくとも部分的に基づいて残差をアップデートするように構成される。回路は、さらに、アップデートされた第２の重み及びアップデートされた残差の少なくとも部分に基づいて第１の重みをアップデートするように構成される。
【0007】
他の実施形態では、方法は、第２のビット数を含む第２のフォーマットを有する第２の重み及び第３のビット数を含む第３のフォーマットを有する残分に少なくとも部分的に基づく第１のビット数を含む第１のフォーマットを有する第１の重みを生成することを含む。第２のビット数及び第３のビット数は、それぞれ第１のビット数よりも少ない。方法は、さらに、第１の重みに少なくとも部分的に基づいて第２の重みをアップデートすること、アップデートされた第２の重み及び第１の重みに少なくとも部分的に基づいて残差をアップデートすること、及びアップデートされた第２の重み及びアップデートされた残差に少なくとも部分的に基づいて第１の重みをアップデートすることを含む。本方法は、少なくとも部分がニューラル・ネットワークのために実行される。
【0008】
さらに他の実施形態においては、複数のコンポーネントを含む多重学習器システムの少なくとも１つの学習器を含む装置を含む。少なくとも１つの学習器は、勾配の部分を生成し、かつ多重学習器システムの少なくとも１つのコンポーネントに勾配の部分を提供するように構成される。少なくとも１つの学習器は、さらに、多重学習器システムの少なくとも１つの他のコンポーネントから少なくとも重みの部分を取得し、かつ、取得した重みの少なくとも部分に少なくとも基づいて、勾配の部分をアップデートするように構成される。
【0009】
本発明のこれら及び他の特徴及び効果は、添付する図面と組み合わせにおいて読解されるべき、後述するその例示的な実施形態の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【0010】
【図7】本発明の例示的実施形態による、勾配についてのバッファを含む多重学習器システムの２つの実施例の学習器を示す。
【発明を実施するための形態】
【0011】
本発明の例示的な実施形態を本明細書において、例えばＤＮＮといった機械学習モデルをトレーニングすることについて、例示的な方法、システム及びデバイスの文脈において説明する。しかしながら、本発明の実施形態は、例示する方法、システム、及びデバイスを限定するものではなく、それに代わり、他の好適な方法、システム、及びデバイスに対して広くに適用できることを理解されたい。
【0012】
ＦＰＵは、典型的にバイナリビット数の用語において、浮動小数点フォーマット（以下、“フォーマット”、“浮動小数点フォーマット”として参照する。）の数を表すために使用することができる、固定されたビット幅のサイズを有する。いくつかの実施例のＦＰＵのビット幅サイズのフォーマットは、８ビット（ＦＰ８）、１６ビット（ＦＰ１６）、３２ビット（ＦＰ３２）、６４ビット（ＦＰ６４）及び１２８ビット（ＦＰ１２８）を含む。
【0013】
典型的には、ＦＰＵのより大きなビット幅サイズのフォーマットは、半導体で製造された回路の物理的サイズの用語において、ＦＰＵは複雑化し、大規模化する。加えて、ＦＰＵのサイズ及び複雑さが増加するにつれ、浮動小数点計算のために消費される電力及び出力を生成するために要する時間量もまた、増加する。
【0014】
例えばＦＰ６４といったより大きなビット幅のサイズのフォーマットは、また、読み込み及びアップデートのため、ＦＰＵに対して追加のメモリ及び帯域幅要求の両方を追加する上、ＦＰＵのレイテンシを増大させることになる。これらの多くの問題は、トレーニング及び推定中の格納及び使用の両方について、精度の低下という代償において、例えばＦＰ３２といったより小さなビット幅のフォーマットを使用することを通して緩和することができる。
【0015】
例示的な実施形態においては、上述した問題は、高精度の浮動小数点パラメータを、２つの分離したコンポーネントの、低精度量子化重み、丸め残差に分離することによりさらに緩和することができる。また、残差のオーバーフローの発生を禁止するスケーリング技術、並びに量子化、丸め残差の計算、及び低精度量子化重み及び丸め残差を使用する、重みのアップデートのためのプロセスを実装する学習器回路が開示される。最後に、荷重学習器のための重みの読み込み及びアップデート操作の間に、ストレージ空間及び帯域幅の使用を最小化するために開示された低精度量子化重み、丸め残差、プロセス及び学習器回路を使用する多重学習器のためのプロトコルが開示される。
【0016】
例示的な実施形態による重みのアップデート・フローを、図１及び式（１）～（５）を参照して説明する。
【0017】
図１を参照すると、学習器回路１００は、乗算及び加算ユニット１０２、量子化ユニット１０４、減算ユニット１０６及び量子化ユニット１０８を含む、いくつかの実施形態では、学習器回路１００は、また、スケールアップ・ユニット１１０及びスケールダウン・ユニット１１２を含む。スケールアップ・ユニット１１０及びスケールダウン・ユニット１１２は、それらが任意的であることを示すために、破線で示している。単一のユニット１０２～１０８として記載されているが、いくつかの実施形態では、ユニット１０２～１０８は、それぞれ多数のユニットを含むことができる。
【0018】
乗算及び加算ユニット１０２は、量子化重み勾配（Ｗｇｒａｄ）、学習レート（ｌｒ）、前の反復からの量子化残差（Ｒｅｓｑ）、前の反復からの量子化重み（Ｗｑ）、及び初期入力としての他の類似のパラメータを受領し、かつ出力として高精度重みＷｐを生成するように構成される。例えば、いくつかの実施形態では、量子化重み勾配Ｗｇｒａｄ、量子化残差Ｒｅｓｑ、及び量子化重みＷｑは、それぞれＦＰ８フォーマットを有することができるが、高精度重みＷpは、ＦＰ１６、ＦＰ３２、ＦＰ６４又は他の同様の高精度フォーマットを有することができる。
【0019】
式（１）を参照すると、第１の反復に先立って、量子化残差Ｒｅｓｑが最初に値０に設定される。
【0020】
【数1】
【0021】
重みのアップデート・フローのそれぞれの反復の間に、高精度重みＷｐは、下記式（２）に従って乗算及び加算ユニット１０２により計算される。
【0022】
【数2】
【0023】
ここで、Ｗｐは、高精度重みであり、Ｗｑは、量子化重みであり、ｌｒは、学習レートであり、Ｗｇｒａｄは、量子化重み勾配であり、Ｒｅｓｑは、量子化残差である。
【0024】
例えば、Ｗｑが、５．１０１５６２５の初期値を有し、かつｌｒが２．０、Ｗｇｒａｄが、－０．０１５６２５であって、ｌｒ×Ｗｇｒａｄが－０．０３１２５を有する場合、式（２）は、Ｗｐ＝５．１０１５６２５－（－０．０３１２５）＋０となる。乗算及び加算ユニット１０２は、高精度重みＷｐを５．１３２８１２５として計算する。例示的な実施形態では、量子化入力、例えばＷｑ、Ｗｇｒａｄ、及びＲｅｓｑは、例えばＦＰ８フォーマットといった低精度フォーマットを有するが、高精度出力、例えばＷｐは、例えばＦＰ１６、ＦＰ３２、又はＦＰ６４といった、より高精度のフォーマットを有する。例示的な実施形態では、量子化入力は、ＦＰ８フォーマットを有し、高精度出力は、ＦＰ３２フォーマットを有する。高精度重みＷｐは、量子化ユニット１０４及び減算ユニット１０６の両方に提供される。
【0025】
量子化ユニット１０４は、量子化重みＷｑの値を下記式（３）に従ってアップデートする。
【0026】
【数3】
【0027】
ここで、ＱＷ（）は、例えば切り捨て、丸め、確率丸め、又は他の普遍的な量子化関数である。例えば、高精度重みＷｐは、例えばＦＰ３２といった高精度の浮動小数点フォーマットから例示的な実施形態では、例えばＦＰ８といった、より低精度浮動小数点フォーマットまでで量子化することができる。上述した実施例では、式（３）は、Ｗｑ＝ＱW（５．１３２８１２５）となる。選択され、ターゲットとされるフォーマットの量子化関数に依存して、１つの実施例では、アップデートされた量子化重みＷｑは、５．０として計算することができる。量子化重みＷｑは、現在の反復の間に使用するために両方の減算ユニット１０６供給されると共に、次の反復の間の使用のため乗算及び加算ユニット１０２に供給される。
【0028】
減算ユニット１０６は、下記式（４）に従い、高精度残差Ｒｅｓｐをアップデートする。
【0029】
【数4】
【0030】
式（４）において、Ｗｐは、乗算及び加算ユニット１０２により提供された、高精度のアップデートされた重みであり、Ｗｑは、量子化ユニット１０４によって提供された低精度量子化重みである。上記の実施例では、Ｒｅｓｐ＝５．１３２８１２５－５．０である。減算ユニット１０６は、高精度残差Ｒｅｓｐを、０．１３２８１２５として計算する。例示的な実施形態では減算ユニット１０６は、高精度残差ＲｅｓｐをＦＰ３２フォーマットで出力する。他の実施形態では、減算ユニット１０６は、高精度残差Ｒｅｓｐを、例えばＦＰ６４又はＦＰ１６といった他の浮動小数点フォーマットで出力することができる。高精度残差Ｒｅｓｐは、量子化ユニット１０８に供給される。
【0031】
量子化ユニット１０８は、量子化残差Ｒｅｓｑを下記式（５）に従ってアップデートする。
【0032】
【数5】
【0033】
ここで、ＱＲ（）は、例えば、切り捨て、最近接丸め、確率丸め、又は他の普遍的な量子化関数である。例えば、量子化ユニット１０８は、高精度残差Ｒｅｓｐを、ＦＰ３２といった、より高精度の浮動小数点フォーマットから、例えばＦＰ１６又はＦＰ８といった、より低精度の浮動小数点フォーマットに量子化することができる。例示的な実施形態では、量子化ユニット１０８は、ＦＰ３２の高精度残差Ｒｅｓｐを、ＦＰ１６に量子化したＲｅｓｑに量子化する。選択した量子化関数に依存して、１つの実施例では、量子化ユニット１０８は、量子化残差Ｒｅｓｑを、０．１４０６２５と計算する。量子化残差Ｒｅｓｑは、次の反復の間に使用するために、量子化ユニット１０８により、乗算及び加算ユニット１０２へと供給される。
【0034】
実施例を続けると、第２の反復の開始時に、量子化重みＷｑ＝５．０（上述した反復からのアップデートされたＷｑの値）、ｌｒ２．０及びＷｇｒａｄ０．０２５３９０６２５で、ｌｒ×Ｗｇｒａｄ＝０．０５０７８１２５となり、量子化残差Ｒｅｓｑ＝０．１４０６２５となる。乗算及び加算ユニット１０２は、式（２）に従って、アップデートされた高精度重みＷｐをＷｐ＝５．０－０．０５０７８１２５＋０．１４０６２５＝５．０８９８４３７５として計算し、アップデートされた高精度重みＷｐを量子化ユニット１０４及び減算ユニット１０６に供給する。量子化ユニット１０４は、量子化重みＷｑを式（３）に従い、Ｗｑ＝ＱＷ（５．０８９８４３７５）＝５．０として計算し、かつ次の反復において使用するために量子化重みＷｑを乗算及び加算ユニット１０２へと、現在の反復において使用するための減算ユニット１０６に供給する。減算ユニット１０６は、高精度残差Ｒｅｐを式（４）に従って、Ｒｅｓｐ＝５．０８９８４３７５－５＝０．０８９８４３７５と計算し、かつ高精度残差Ｒｅｓｐを量子化ユニット１０８に供給する。量子化ユニット１０８は、量子化残差Ｒｅｓｑを式（５）に従ってＲｅｓｑ＝ＱＲ（０．０８９８４３７５）＝０．０９３７５と計算し、この量子化残差Ｒｅｓｑを次の反復において使用するために乗算及び加算ユニット１０２に供給する。このプロセスは、それぞれの反復について、量子化重みＷｑ及び量子化残差Ｒｅｓｑを次の反復の入力として繰り返すことができる。
【0035】
いくつかの実施形態においては、残差を積極的に、例えば４又は５の指数ビットのＦＰ８といったように低精度フォーマットへと量子化する場合、この範囲は小さな値を表すには制限されすぎる可能性がある。例示的な実施形態では、残差を量子化前に比例的にスケールアップすると共に、次の反復において使用する前にスケールダウンで戻す。例えば、スケールは、関数ｆ（ｑｍｉｎ／ｐｍｉｎ，ｑｍａｘ／ｐｍａｘ）により選択することができ、ここで、ｐｍｉｎは、量子化することができる最小の数であり、ｑｍｉｎは、表現できる低精度フォーマットのより小さい数であり、ｐｍａｘは、量子化できる最大の数であり、ｑｍａｘは表現することができる低精度フォーマットの最大値である。関数ｆ（）は、オーバーフロー及びアンダーフローの間でのバランスを表す。例えば、関数ｆ（）がｍｉｎ（）関数の場合、スケール・ファクタは、例えば、ｐｍａｘ×ｓｃａｌｅ＜ｑｍａｘというように、オーバーフローを回避するために充分小さくなるように選択される。
【0036】
スケーリングが残差について利用される場合、スケールアップ・ユニット１１０及びスケールダウン・ユニット１１２が、図１の学習器回路１００に追加される。
【0037】
スケールアップ・ユニット１１０が含まれる場合、減算ユニット１０６と、重みアップデート・フロー内の量子化ユニット１０８との間に配置されて、減算ユニット１０６からの高精度残差Ｒｅｓｐ出力に対してスケールアップ操作を実行し、下記式（６）に従って高精度残差Ｒｅｓｐをスケールアップする。
【0038】
【数6】
【0039】
スケールアップされた高精度残差Ｒｅｓｐは、その後、減算ユニット１０６からの元のＲｅｓｐ出力の代わりに、量子化ユニット１０８のための入力として使用される。量子化ユニット１０８は、式（５）に従ってスケールアップされた量子化残差Ｒｅｓｑを生成し、これをスケールダウン・ユニット１１２へと出力する。
【0040】
スケールダウン・ユニット１１２が含まれる場合、量子化ユニット１０８と、重みアップデート・フロー内の乗算及び加算ユニット１０２との間に配置されて、量子化ユニット１０８からのスケールアップされた量子化残差Ｒｅｓｑ出力に対してスケールダウン操作を実行し、量子化残差Ｒｅｓｑを下記式（７）に従ってスケールダウンする。
【0041】
【数7】
【0042】
スケールダウン・ユニット１１２により、量子化残差Ｒｅｓｑの出力は、乗算及び加算ユニット１０２へと供給され、次の反復が乗算及び加算ユニット１０２により、通常のとおり継続され、スケールダウン・ユニット１１２から受領した量子化Ｒｅｓｑを使用し、式（２）に従い、高精度重みＷｐを計算する。
【0043】
スケーリングを実行することの利点は、後述する２つの実施例のシナリオで示されるであろう。
【0044】
第１の実施例のシナリオでは、スケーリングを全く使用せず、例えばスケールとして１を使用する。乗算及び加算ユニット１０２は、入力の量子化０．５の量子化重みＷｑ、入力の０．０のＲｅｓｑ、及び入力の１．５２５８７８９０６２５Ｅ－５のｌｒ×Ｗｇｒａｄを受け取る。乗算及び加算ユニット１０２は、式（２）を使用して、高精度重みＷｐの０．５０００１５２５８７８９０６２５を計算する。量子化ユニット１０４は、式（３）を使用して量子化重みＷｑの０．５を計算する。減算ユニットは、式（４）を使用して高精度残差Ｒｅｓｐの１．５２５８７８９０６２５Ｅ－５を計算し、計算された高精度残差Ｒｅｓｐをスケールアップ・ユニット１１０に供給する。
【0045】
スケールアップ・ユニット１１０は、式（８）を使用して、Ｒｅｓｐ＝１．５２５８７８９０６２５Ｅ－５×１＝１．５２５８７８９０６２５Ｅ－５、すなわち減算ユニット１０６により計算された高精度残差であるＲｅｓｐから全く変化のないスケールアップされた残差Ｒｅｓｐを計算するが、これはスケーリングを全く使用しないためである。このスケールアップされた高精度残差Ｒｅｓｐは、量子化ユニット１０８へと供給され、ここで式（５）を使用してスケールアップされ、量子化残差Ｒｅｓｑである０．０を計算する。スケールアップされた量子化残差Ｒｅｓｑは、スケールダウン・ユニット１１２へと供給され、ここで式（７）を使用して量子化残差Ｒｅｓｑを、Ｒｅｓｑ＝０．０／１．０＝０としてスケールダウンする。スケールダウンされた０．０の量子化残差Ｒｅｓｑは、次の反復のための入力として乗算及び加算ユニット１０２に供給される。
【0046】
次の反復においては、乗算及び加算ユニット１０２は、前の反復から入力の０．５の量子化重みＷｑ、入力のスケールダウンされた０．０のＲｅｓｑ及び入力の４．５７７６３６７１８７５Ｅ－５のｌｒ×Ｗｇｒａｄを受領する。乗算及び加算ユニット１０２は、式（２）を使用して、高精度重みＷｐである０．５０００４５７７６３６７１８７５を計算する。量子化ユニット１０４は、式（３）を使用して、量子化重みＷｑの０．５を計算する。減算ユニット１０６は、式（４）を使用して高精度残差Ｒｅｓｐの４．５７７６３６７１８７５Ｅ－５を計算し、計算された高精度残差Ｒｅｓｐをスケールアップ・ユニット１１０に供給する。
【0047】
スケールアップ・ユニット１１０は、式（６）を使用してスケールアップされた高精度残差Ｒｅｓｐを、Ｒｅｓｐ＝４．５７７６３６７１８７５Ｅ－５×１＝４．５７７６３６７１８７５Ｅ－５と計算する。スケールアップされた高精度残差であるＲｅｓｐの４．５７７６３６７１８７５Ｅ－５が、量子化ユニット１０８に供給され、これは、式（５）を使用して、スケールアップされた量子化残差Ｒｅｓｑである０．０を計算する。スケールアップされた０．０の量子化残差Ｒｅｓｑは、スケールダウン・ユニット１１２へと供給され、これは、式（７）を使用して量子化残差Ｒｅｓｑを、Ｒｅｓｑ＝０．０／１＝０．０にスケールダウンする。このスケールダウンされた０．０の量子化残差Ｒｅｓｑは、次の反復における入力として乗算及び加算ユニット１０２に供給される。
【0048】
上述した実施例のシナリオから見られるように、スケーリングを残差に対して全く適用せず、かつ高精度残差Ｒｅｓｐが、例えば、量子化からの浮動小数点フォーマットが取り扱うことができる最小値よりも小さいというように、極めて小さい場合、量子化残差Ｒｅｓｑは、０．０となり、まったく残差情報が次の反復に対してキャリー・オーバーされることがない。
【0049】
第２の実施のシナリオにおいて、スケーリングは、例えば２８＝２５６のスケールを使用する。乗算及び加算ユニット１０２は、入力の量子化重みＷｑの０．５、入力のＲｅｓｑの０．０及び入力のｌｒ×Ｗｇｒａｄの１．５２５８７８９０６２５Ｅ－５を受け取る。乗算及び加算ユニット１０２は、式（２）を使用して、高精度重みＷｐの０．５０００１５２５８７８９０６２５を計算する。量子化ユニット１０４は、式（３）を使用して量子化重みＷｑの０．５を計算する。減算ユニットは、式（４）を使用して高精度残差Ｒｅｓｐの１．５２５８７８９０６２５Ｅ－５を計算して、計算された高精度残差Ｒｅｓｐをスケールアップ・ユニット１１０に供給する。
【0050】
スケールアップ・ユニット１１０は、式（８）を使用してＲｅｓｐ＝１．５２５８７８９０６２５Ｅ－５×２５６＝０．００３９０６２５を計算する。このスケールアップされた高精度残差Ｒｅｓｐの０．００３９０６２５は、量子化ユニット１０８へと供給され、ここで式（５）を使用してスケールアップされ、量子化残差Ｒｅｓｑである０．００３９０６２５を計算する。スケールアップされた量子化残差Ｒｅｓｑの０．００３９０６２５は、スケールダウン・ユニット１１２へと供給され、これは式（７）を使用して量子化残差Ｒｅｓｑを、Ｒｅｓｑ＝０．００３９０６２５／２５６＝１．５２５８７８９０６２５Ｅ－５としてスケールダウンする。スケールダウンされた１．５２５８７８９０６２５Ｅ－５の量子化残差Ｒｅｓｑは、次の反復のための入力として、乗算及び加算ユニット１０２に供給される。
【0051】
次の反復においては、乗算及び加算ユニット１０２は、前の反復から入力の０．５の量子化重みＷｑ、入力のスケールダウンされた１．５２５８７８９０６２５Ｅ－５のＲｅｓｑ及び入力の４．５７７６３６７１８７５Ｅ－５のｌｒ×Ｗｇｒａｄを受領する。乗算及び加算ユニット１０２は、式（２）を使用して高精度重みＷｐである０．５０００６１０３５１５６２５を計算する。量子化ユニット１０４は、式（３）を使用して量子化重みＷｑの０．５を計算する。減算ユニット１０６は、式（４）を使用して高精度残差Ｒｅｓｐの６．１０３５１５６２５Ｅ－５を計算して、計算された高精度残差Ｒｅｓｐをスケールアップ・ユニット１１０に供給する。
【0052】
スケールアップ・ユニット１１０は、式（６）を使用してスケールアップされた高精度残差Ｒｅｓｐを、Ｒｅｓｐ＝６．１０３５１５６２５Ｅ－５×２５６＝０．０１５６２５と計算する。スケールアップされた高精度残差であるＲｅｓｐの０．０１５６２５が、量子化ユニット１０８に供給され、これは式（５）を使用して、スケールアップされた量子化残差Ｒｅｓｑである０．０１５６２５を計算する。スケールアップされた量子化残差Ｒｅｓｑの０．０１５６２５は、スケールダウン・ユニット１１２へと供給され、これは、式（７）を使用して量子化残差Ｒｅｓｑを、Ｒｅｓｑ＝０．０１５６２５／２５６＝６．１０３５１５６２５Ｅ－５にスケールダウンする。このスケールダウンされた６．１０３５１５６２５Ｅ－５の量子化残差Ｒｅｓｑは、次の反復における入力として、乗算及び加算ユニット１０２に供給される。
【0053】
上述した第２の実施例のシナリオに見られるように、スケーリングを残差に対して適用し、かつ高精度残差Ｒｅｓｐが、例えば、量子化からの浮動小数点フォーマットが取り扱うことができる最小値よりも小さいというように、極めて小さい場合、量子化残差Ｒｅｓｑは、実施例のシナリオ１での０．０ではなく、１．５２５８７８９０６２５Ｅ－５となって、第１の反復から第２の反復へとキャリー・オーバーされる。例えばＦＰ３２といったより高精度の浮動小数点フォーマットを有する高精度残差Ｒｅｓｐを、例えばＦＰ８又はＦＰ１６といった、より低精度の浮動小数点フォーマットを有する量子化残差Ｒｅｓｑへと量子化する前にスケールアップすることにより、そうでなければ量子化プロセスで失われてしまうより小さな残差の値を、次の反復における使用のために捕捉することができる。例えば第２の反復においてみられるように、残差値が通過してキャリーされ、さらに積算される。いくつかの実施形態においては、ｌｒ×Ｗｇｒａｄの値が効率的に捕捉されて、量子化残差Ｒｅｓｑに積算されることに留意されたい。
【0054】
例示的な実施形態では、重み、残差、モーメンタム及び他のパラメータの量子化出力は、引き続く反復での使用のために格納され、以下のフォーマットに従い最適化することができる。モーメンタムは、重みをアップデートするためのＳＧＤオプティマイザにおける任意的なパラメータである。モーメンタムは、以前の反復のモーメンタム及び現在の反復の勾配に基づいて計算される。例えば、それぞれの反復のためのモーメンタムは、下記の式（８）～（１０）に従って計算することができる。
【0055】
【数8】
【0056】
ここで、
【0057】
νｐは、高精度モーメンタムであり；
【0058】
νｑは、以前の反復からの量子化モーメンタムであり；
【0059】
βは、例えば０．９といった１未満の定数であり；かつ
【0060】
Ｑ（νｐ）は、例えば、切り捨て、最近接丸め、確率丸め、又は他の普遍的な量子化関数といった量子化関数である。例えば、上述した様な量子化ユニットは、高精度モーメンタムνｐ、例えばＦＰ３２といったより高い浮動小数点フォーマットを、ＦＰ１６又はＦＰ８といったより低い浮動小数点フォーマットの量子化モーメンタムνｑへと量子化することができる。量子化モーメンタムνｑは、次の反復の間に使用される。
【0061】
量子化重みＷｑについて、実施例の実施形態では、ＦＰ８フォーマットが使用でき、これは１つの符号ビット、４つの指数ビット、及び３つの仮数ビット、すなわち、（１，４，３）の構成を含む。この（１，４，３）の構成は、量子化重みＷｑについて使用された場合、種々のディープ・ラーニング・タスクについて良好な性能を示し、かつＦＰ１６、ＦＰ３２など、より高い精度のフォーマットを超えて性能を改善する。他の実施形態では、例えば（１，５，２）フォーマット、（１，６，１）構成、又は他の如何なるＦＰ８フォーマットを含む、他のＦＰ８フォーマットも使用することができる。いくつかの実施形態では、ＦＰ１６又は他のより高い精度のフォーマットを、量子化重みＷｑのために代替的に使用することができる。
【0062】
量子化残差Ｒｅｓｑについては、実施例の実施形態では、ＦＰ１６フォーマットが使用でき、これは、１つの符号ビット、６つの指数ビット及び９つの仮数ビット、すなわち（１，６，９）構成を含む。この（１，６，９）構成は、量子化残差Ｒｅｓｑをして、ＦＰ８フォーマットの量子化重みＷｑにより捕捉されない残差情報を保持させることを可能とする。いくつかの実施形態では、例えばＦＰ８フォーマットといった、より低いフォーマットを、量子化残差Ｒｅｓｑに使用することもできる。いくつかの実施形態では、ＦＰ３２又はさらにより高い精度のフォーマットを、量子化残差Ｒｅｓｑのために代替的に使用することができる。
【0063】
いくつかの実施形態においては、モーメンタム及び他の中間的パラメータのための量子化フォーマットは、また、量子化残差Ｒｅｓｑと同じフォーマット、例えば、（１，６，９）構成のＦＰ１６フォーマット又は上述した他のフォーマットのうちの１つに使用することができる。他の実施形態では、モーメンタム又は他の中間的パラメータのための量子化フォーマットは、量子化残差Ｒｅｓｑとは異なるフォーマットを使用することができる。
【0064】
高精度重みＷｐといった高精度パラメータを、次の反復における使用のために量子化重みＷｑ及び量子化残差Ｒｅｓｑに分解することにより、学習器回路１００は、ニューラル・ネットワーク操作において典型的に使用される完全な高精度パラメータを格納することに比較して、格納するために必要なビット数を削減することができる。例えば、典型的には高精度ＦＰ３２フォーマットの高精度重みＷｐは、次の反復における使用のため、３２ビットの精度で格納され、例示的な実施形態では、高精度重みＷｐは、８ビットの量子化重みＷｑと、１６ビットの量子化残差Ｒｅｓｑの２つのコンポーネントに変換され、これは、２４ビットのストレージを必要とするだけである。
【0065】
追加的な効果は、多重学習器システムを使用することを通じて達成される。多重学習器システムにおいては、それぞれの学習器は、所与の反復のための重みのアップデートの一部又は小部分を実行する。例えば、図２を参照すると、例示的な実施形態では、実施例の多重学習器システム２００が図示されている。多重学習器システム２００は、学習器２０２１，２０２２，．．．，２０２Ｎを含む。多重学習器システム２００におけるそれぞれの学習器２０２は、少なくとも学習器回路１００の一部を含む。いくつかの実施形態では、１つ又はそれ以上の学習器２０２は、図１３を参照して以下に、より詳細に説明するコンポーネントである、コンピューティング・ノード１３１０を含む。
【0066】
それぞれの学習器２０２は、それぞれ、重みアップデート情報のエントリ２０４１，２０４２，．．．２０４１－Ｎ，２０４２－１，２０４２－２，．．．２０４２－Ｎ．．．２０４Ｎ－１，２０４Ｎ－２，．．．２０４Ｎ－Ｎを有し、それぞれが、ニューラル・ネットワークのための、重み勾配、残差、及びモーメンタムの部分に対応する。それぞれのエントリ２０４は、学習器２０２の１つにより生成された重みアップデート情報の部分に対応する。例えばエントリ２０４１－１は、学習器２０２１により生成された重みアップデート情報の部分に対応し、エントリ２０４２－２は、学習器２０２２，．．．により生成された部分的な重みアップデート情報に対応し、そしてエントリ２０４Ｎ－Ｎは、学習器２０２Ｎにより生成された重みアップデート情報の部分に対応する。
【0067】
いくつかの実施形態では、所与の学習器２０２は、重みアップデート・エントリ２０４の１つ以上の部分のための重みアップデート情報を生成することができる。いくつかの実施形態では、それぞれのエントリに対応する重み勾配、残差及びモーメンタムの部分は、１つ又はそれ以上のレイヤの、及びいくつかの実施形態では、それぞれのレイヤの重み勾配、残差、及びモーメンタムの部分を含むことができる。例えば、いくつかの実施形態では、所与の学習器２０２は、ニューラル・ネットワークのそれぞれのレイヤ上で見出される、重み勾配、残差、及びモーメンタムの同一の部分を伴う重みアップデート情報の計算を取り扱う。
【0068】
いくつかの実施形態では、誤差逆伝搬の後、それぞれの学習器２０２は、部分的に削減された重み勾配Ｗｇｒａｄの部分ｄｗを取得又は計算し、他のそれぞれの学習器２０２へと部分ｄｗを供給する。部分的に削減された重み勾配とは、誤差逆伝搬の間にそれぞれの学習器２０２により計算された全部が削減された重み勾配の一部又はチャンクを参照する。それぞれの学習器２０２について、部分的に削減された重み勾配Ｗｇｒａｄの少なくとも１つの部分ｄｗは、すべての学習器２０２から得られる部分的に削減された重み勾配Ｗｇｒａｄの同一の部分と合計されて、部分ｄｗについての全部が削減された重み勾配Ｗｇｒａｄを形成し、これが重みの対応する部分をアップデートするために使用される。
【0069】
学習器回路１００を使用して所与の学習器２０２により生成されるか又は計算された量子化重みＷｑの部分及び重み勾配Ｗｇｒａｄの部分ｄｗは、他の学習器２０２へと複製され、いくつかの実施形態では、量子化残差Ｒｅｓｑ及び例えば重みの対応する部分をアップデートするために所与の学習器２０２により使用されるモーメンタムといった、他のパラメータは複製されず、その代わりに所与の学習器２０２上でローカルに格納される。例えば、量子化残差Ｒｅｓｑの部分は、所与の学習器２０２の学習器回路１００内部で使用され、他の学習器２０２はそれらの量子化重みＷｑのそれぞれの部分を計算するために必要でないので、所与の学習器２０２により使用される量子化残差Ｒｅｓｑの部分を、他の学習器２０２複製する必要はなく、このことは、必要とされる帯域幅を削減する。
【0070】
それぞれの所与の学習器２０２は、少なくとも学習器回路１００の少なくとも部分を使用して、ニューラル・ネットワークの所与のレイヤに対応する、量子化重みＷｑの部分を計算する。量子化重みＷｑの部分は、それぞれ他の学習器２０２へと複製され、所与のレイヤの対応するエントリ２０４に格納される。それぞれの学習器２０２から得られた量子化重みＷｑの複数の部分は、例えば、互いにコンカテネートされて、すべての学習器において使用される量子化重みＷｑを形成する。
【0071】
ここで、図３及び図４を参照すると、多重学習器システム３００の他の実施形態において、パラメータ・サーバ３０６が学習器３０２１，３０２２，３０２３．．．３０２Nに加えて含まれている。多重学習器システム３００は、多重学習器３０２と１つ又はそれ以上の中央パラメータ・サーバ３０６との間で、上述した重みアップデート・フローを分離する。例えば、複数の学習器３０２は、それぞれの部分的に削減された重み勾配３０４１，３０４２，３０４３．．．３０４Ｎを、例えばＦＰ１６フォーマットとしてパラメータ・サーバ３０６に登録し、パラメータ・サーバ３０６は、例えば、部分的に削減された重み勾配３０４を集める、例えば合計して、全部が削減された重み勾配を形成し、回路１００の少なくとも一部を使用して量子化された全部が削減された重み勾配及び新たな量子化重み３０８を生成する。図４に示されるように、パラメータ・サーバ３０６により残差３１０が計算されて、ローカルに格納されると共に、実施例の実施形態においてＦＰ８フォーマットを有するアップデートされた量子化重み３１２１，３１２２，３１２３．．．３１２Nは、次の反復における使用のため学習器３０２に供給される。
【0072】
図３及び図４に見られるように、例えばＦＰ３２フォーマットといった高精度フォーマットを有する高精度重みを、パラメータ・サーバ３０６を有する多重学習器システム３００内でより低精度フォーマット、例えばＦＰ８フォーマットの量子化重み、及びより低精度、例えばＦＰ１６フォーマットの残差に分離することは、学習器３０２と、パラメータ・サーバ３０６との間で要求される帯域幅利用を削減する。例えば、全３２ビットの高精度重み又は他のパラメータを学習器３０２と、パラメータ・サーバ３０６との間で送付することに代えて、それぞれの学習器３０２は、パラメータ・サーバに対して１６ビットの部分的に削減された重み勾配３０４を送付することが必要なだけである。パラメータ・サーバ３０６は、その後、少なくともいくつかの回路１００によって計算を実行し、それぞれの学習器３０２に対して８ビットの量子化重みを送付することが必要なだけである。この顕著な帯域幅における削減は、システムの効率を向上させる。
【0073】
ここで、図５及び６を参照すると、もう１つの実施例の多重学習器システム５００において、パラメータ・サーバを含まない、リング・ベースの構成が使用されている。多重学習器システム５００は、学習器５０２１，５０２２，５０２３，．．．，５０２Ｎを含んでおり、ここで、学習器５０２１は、隣接した学習器５０２Ｎ及び５０２２と通信する構成とされ、学習器５０２２は、学習器５０２１及び５０２３と通信するといったようにリング内で構成されている。
【0074】
多重学習器システム５００は、多重学習器５０２の間で重みアップデートを分離しており、ここで、それぞれの学習器５０２は、少なくともいくつかの学習器回路１００に従って計算を実行し、それぞれの部分的に削減された重み勾配５０４１，５０４２，５０４３，．．．５０４Ｎを決定する。いくつかの実施形態では、部分的に削減された重み勾配は、ＦＰ１６フォーマットを有する。学習器５０２は、部分的に削減された重み勾配を、複数の部分として隣接する複数の学習器５０２に供給し、リングの周りに部分的に削減された重み勾配を伝搬させる。いくつかの実施形態では、少なくとも１つの部分的に削減された重み勾配５０４は、それぞれの学習器が、全部が削減された重み勾配の部分を保有するまで、それぞれの学習器５０２内に積算される。学習器５０２は、その後、少なくとも部分的に全部が削減された重み勾配の同一の部分に基づいて、それらの自己の重みの部分をアップデートし、アップデートされた重みのそれぞれの部分及び残差５０６１，５０６２，５０６３，．．．５０６Ｎをアップデートする（図６）。いくつかの実施形態においては、例えば、アップデートされた重みは、ＦＰ８フォーマットの量子化重みであり、残差は、ＦＰ１６フォーマットの量子化残差である。それぞれの学習器からのそれぞれの部分の量子化重みは、その後、学習器５０２がアップデートされた重みの全セットを保有するまで上述したように、リングに沿って送付されるが、それぞれの学習器５０２は、残差に関しその自己の部分を維持しており、他の学習器と残差の部分を共有しない。いくつかの実施形態では、残差は、代替的にリングを巡って共有することができる。
【0075】
図５及び６に見られるように、リング構成を有する多重学習器システム５００において、例えばＦＰ３２フォーマットといった高精度フォーマットを有する高精度重みを、例えばＦＰ８フォーマットといったより低精度フォーマットの量子化重み及びＦＰ１６フォーマットといったより低精度フォーマットの残差に分離することにより、リング内の学習器５０２の間で使用される帯域幅を削減することができる。例えば全３２ビットの高精度重み又は他のパラメータをそれぞれの学習器の間で送付することに代えて、重み勾配を置換し及び積算するために１６ビットを送付することができ、８ビットを、重みそれ自体を置換するために送付することができる。この著しい削減は、システム内の効率を増加させる。
【0076】
【0077】
図７は、第１の学習器７００及び第２の学習器７２０の２つの学習器を有する多重学習器システムを示す。図７～図１２は、理解を容易にするため、２つの学習器を有する多重学習器システムを示すが、図７～１２に示す実施例の重みアップデート・フローは、２つより多い学習器についても利用することができる。
【0078】
図７に示されるように、第１の学習器７００は、バッファ７０２を含み、第２の学習器７２０は、バッファ７２２を含む。バッファ７０２は、第１の学習器７００のための勾配を含んでいて、これが（１）により示されており、バッファ７２２は、第２の学習器７２０のための勾配を含んでいて、これが（２）で示されている。
【0079】
ここで図８を参照すると、バッファ７０２は、第１の部分７０２－１及び第２の部分７０２－２を含んでおり、これらはそれぞれ、勾配（１）のチャンクを格納する。例えば、部分７０２－１は、チャンク１（１）として指定される勾配（１）の第１のチャンクを格納し、部分７０２－２は、チャンク２（１）として指定される、勾配（１）の第２のチャンクを格納する。同様に、バッファ７２２は、部分７２２－１及び７２２－２を含んでおり、これらはそれぞれ勾配（２）のチャンクを格納する。例えば、部分７２２－１は、チャンク１（２）として指定される勾配（２）の第１のチャンクを格納し、部分７２２－２は、チャンク２（２）として指定される勾配（２）の第２のチャンクを格納する。いくつかの実施形態においては、それぞれの学習器についてのバッファが分離される部分の数は、多重学習器システム内の学習器の全数に基づく。例えば、多重学習器システムに６つの学習器が存在する場合、それぞれの学習器は、バッファの６つの部分を含むことができ、これらのそれぞれがその学習器の所与のチャンクを含む。多重学習器システム内の所与の学習器は、学習器すべてのバッファの所与の部分に関連することができる。例えば、いくつかの実施形態では、多重学習器システム内のそれぞれの学習器について、それぞれのバッファの第１の部分は、学習器７００に関連することができ、それぞれのバッファの第２の部分は、学習器７２０に関連することができるといったように、である。
【0080】
ここで図９を参照すると、実施例の実施形態においては、学習器７００は、第１の部分７０２－１及び７２２－１に関連するが、学習器７２０は、第２の部分７０２-２及び７２２－２に関連する。図９に示すように、部分７２２－１のチャンク１（２）は、学習器７００の部分７０２－１に複製され、部分７０２－２のチャンク２（１）は、学習器７２０の部分７２２－２に複製される。上述したように、追加的な学習器が存在する場合、これらそれぞれの追加的な学習器のチャンク１は、部分７０２－１に複製され、これらそれぞれの追加的な学習器のチャンク２は、部分７０２－２に複製され、追加的な如何なるチャンクでも、そのチャンクを格納する部分について関連する学習器に複製されるであろう。いくつかの実施形態で、例えば、リング構成が利用される場合、それぞれのチャンクの複製は、１つ又はそれ以上の中間の学習器を介して発生する。
【0081】
ここで図１０を参照すると、それぞれの学習器は、関連する部分についての複製されたチャンクを互いに合計する。例えば、学習器７００は、部分７０２－１のチャンク１（１）とチャンク１（２）とを互いに合計して、合計チャンク１（１＆２）を形成する。同様に学習器７２０は、部分７２２－２のチャンク２（１）と、チャンク２（２）とを互いに合計して、合計チャンク２（１＆２）を形成する。いくつかの実施形態では、合計チャンク１（１＆２）のサイズは、例えば削減－散乱(reduce-scatter)フェーズを使用して、サイズ的に単一チャンク１（１）の元のサイズに戻すことができる。実施例の実施形態においては、それぞれの学習器は、それに関連した部分として見出されたチャンクを合計するだけであり、そのバッファ内の全部の部分ではないことに留意されたい。これがそれぞれの学習器に要求される計算を削減するが、これはそれぞれの学習器がシステム内の効率を改善する勾配の異なる部分について計算を実行するためである。
【0082】
ここで、図１１を参照すると、それぞれの学習器は、その学習器に関連する部分に格納されたチャンクについて重みをアップデートする。例えば、学習器７００は、合計チャンク１（１＆２）に少なくとも部分的に基づいてバッファ７０２の部分７０２－１に格納されたチャンク１についての重みをアップデートする。同様に学習器７２０は、合計チャンク２（１＆２）に少なくとも部分的に基づいて、バッファ７２２の部分７２２－２に格納されたチャンク２についての重みをアップデートする。例示的な実施形態では、重みは、上述した如何なる実施形態においても説明したように、回路１００に従ってアップデートすることができる。
【0083】
実施例の実施形態においては、それぞれの学習器は、それに関連する部分について見出されるチャンクについての重みをアップデートするだけであり、そのバッファのすべての部分ではないことに留意されたい。これがそれぞれの学習器に要求される計算を削減するが、これはそれぞれの学習器がシステム内の効率を改善する勾配の異なる部分について計算を実行するためである。このことが、オンチップ・メモリに対する局所的なメモリ・ストレスを大きく削減し、かつ、また、オフチップ・メモリを利用する場合には、例えば３０％の帯域幅における大きな削減をもたらす。例示的な実施形態において、重みは、また、例えば上述したようにＦＰ８フォーマットに量子化することができる。
【0084】
ここで図１２を参照すると、それぞれの学習器は、その学習器に関連する部分に格納されたチャンクについてアップデートされた重みを、多重学習器システム内の他の学習器へと複製する。例えば、学習器７００は、そのバッファ７０２の部分７０２－１に格納されたチャンク１についてのアップデートされた重みを、学習器７２０に提供し、これはバッファ７２２の部分７２２－１に格納されたチャンク１についての対応する重みを上書きする。同様に、学習器７２０は、そのバッファ７２２の部分７２２－１に格納されたチャンク２についてのアップデートされた重みを、学習器７００に提供し、これはバッファ７０２の部分７０２－２に格納されたチャンク２についての対応する重みを上書きする。他の学習器は、同様にそれぞれの部分についてのアップデートされた重みが供給される。実施例の実施形態においては、それぞれの学習器は、他の学習器へとその関連する部分についての重みを供給するだけであり、そのバッファのすべての重みではないことに留意されたい。これがそれぞれの学習器で必要とされる計算を削減するが、これは、それぞれの学習器がシステム内の効率を改善する重みの異なる部分についての計算を実行するためである。加えて、重みが例えばＦＰ８フォーマットといった低精度フォーマットへと量子化される場合、それぞれの学習器が他の学習器に複製するために１つの重みを供給するだけなので、帯域幅使用における追加的な効果が達成される。
【0085】
本発明は、いかなる可能な技術的に詳細な一体化レベルであっても、システム、方法、コンピュータ可読な記録媒体又はコンピュータ・プログラム及びこれらの組み合わせとすることができる。コンピュータ可読な記録媒体（又は複数）及びコンピュータ・プログラムは、プロセッサが本発明の特徴を遂行するためのコンピュータ可読なプログラム命令を有する。
【0086】
コンピュータ可読な記録媒体は、命令実行デバイスが使用するための複数の命令を保持し格納することができる有形のデバイスとすることができる、コンピュータ可読な媒体は、例えば、これらに限定されないが、電気的記録デバイス、磁気的記録デバイス、光学的記録デバイス、電気磁気的記録デバイス、半導体記録デバイス又はこれらのいかなる好ましい組み合わせとすることができる。コンピュータ可読な記録媒体のより具体的な実施例は、次のポータブル・コンピュータ・ディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能なプログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ（登録商標））、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・イオンリー・メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク（登録商標）、パンチ・カード又は命令を記録した溝内に突出する構造を有する機械的にエンコードされたデバイス、及びこれらの好ましい如何なる組合せを含む。本明細書で使用するように、コンピュータ可読な記録媒体は、ラジオ波又は他の自由に伝搬する電磁波、導波路又は他の通信媒体（例えば、光ファイバ・ケーブルを通過する光パルス）といった電磁波、又はワイヤを通して通信される電気信号といったそれ自体が一時的な信号として解釈されることはない。
【0087】
本明細書において説明されるコンピュータ・プログラムは、コンピュータ可読な記録媒体からそれぞれのコンピューティング／プロセッシング・デバイスにダウンロードでき、又は例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク又はワイヤレス・ネットワーク及びそれからの組み合わせといったネットワークを介して外部コンピュータ又は外部記録デバイスにダウンロードすることができる。ネットワークは、銅通信ケーブル、光通信ファイバ、ワイヤレス通信ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ及びエッジ・サーバ又はこれらの組み合わせを含むことができる。それぞれのコンピューティング／プロセッシング・デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インタフェースは、ネットワークからコンピュータ可読なプログラム命令を受領し、このコンピュータ可読なプログラム命令を格納するためにそれぞれのコンピューティング／プロセッシング・デバイス内のコンピュータ可読な記録媒体内に転送する。
【0088】
本発明の操作を遂行するためのコンピュータ可読なプログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械語命令、マシン依存命令、マイクロ・コード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又は１つ又はそれ以上の、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、“Ｃ”プログラミング言語又は類似のプログラム言語といった手続き型プログラミング言語を含むプログラミング言語のいかなる組合せにおいて記述されたソース・コード又はオブジェクト・コードのいずれかとすることができる。コンピュータ可読なプログラム命令は、全体がユーザ・コンピュータ上で、部分的にユーザ・コンピュータ上でスタンドアローン・ソフトウェア・パッケージとして、部分的にユーザ・コンピュータ上で、かつ部分的にリモート・コンピュータ上で、又は全体がリモート・コンピュータ又はサーバ上で実行することができる。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）を含むいかなるタイプのネットワークを通してユーザ・コンピュータに接続することができ、又は接続は、外部コンピュータ（例えばインターネット・サービス・プロバイダを通じて）へと行うことができる。いくつかの実施形態では、例えばプログラマブル論理回路、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、又はプログラマブル論理アレイ（ＰＬＡ）を含む電気回路がコンピュータ可読なプログラム命令を、コンピュータ可読なプログラム命令の状態情報を使用して、本発明の特徴を実行するために電気回路をパーソナライズして実行することができる。
【0089】
本発明の特徴を、フローチャート命令及び方法のブロック図、又はそれらの両方、装置（システム）、及びコンピュータ可読な記録媒体及びコンピュータ・プログラムを参照して説明した。フローチャートの図示及びブロック図又はそれら両方及びフローチャートの図示におけるブロック及びブロック図、又はそれらの両方のいかなる組合せでもコンピュータ可読なプログラム命令により実装することができることを理解されたい。
【0090】
これらのコンピュータ可読なプログラム命令は、汎用目的のコンピュータ、特定目的のコンピュータ、または他のプロセッサ又は機械を生成するための他のプログラマブル・データ・プロセッシング装置に提供することができ、コンピュータのプロセッサ又は他のプログラマブル・データ・プロセッシング装置による実行がフローチャート及びブロック図のブロック又は複数のブロック又はこれらの組み合わせで特定される機能／動作を実装するための手段を生成する。コンピュータ、プログラマブル・データ・プロセッシング装置及び他の装置又はこれらの組み合わせが特定の仕方で機能するように指令するこれらのコンピュータ可読なプログラム命令は、またコンピュータ可読な記録媒体に格納することができ、その内に命令を格納したコンピュータ可読な記録媒体は、フローチャート及びブロック図のブロック又は複数のブロック又はこれらの組み合わせで特定される機能／動作の特徴を実装する命令を含む製造品を含む。
【0091】
コンピュータ可読なプログラム命令は、またコンピュータ、他のプログラマブル・データ・プロセッシング装置、又は他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、又は他のデバイス上で操作ステップのシリーズに対してコンピュータ実装プロセスを生じさせることで、コンピュータ、他のプログラマブル装置又は他のデバイス上でフローチャート及びブロック図のブロック又は複数のブロック又はこれらの組み合わせで特定される機能／動作を実装させる。
【0092】
図のフローチャート及びブロック図は、本発明の種々の実施形態にしたがったシステム、方法及びコンピュータ・プログラムのアーキテクチャ、機能、及び可能な実装操作を示す。この観点において、フローチャート又はブロック図は、モジュール、セグメント又は命令の部分を表すことかでき、これらは、特定の論理的機能（又は複数の機能）を実装するための１つ又はそれ以上の実行可能な命令を含む。いくつかの代替的な実装においては、ブロックにおいて記述された機能は、図示した以外で実行することができる。例えば、連続して示された２つのブロックは、含まれる機能に応じて、実際上１つのステップとして遂行され、同時的、実質的に同時的に、部分的又は完全に一時的に重ね合わされた仕方で実行することができ、又は複数のブロックは、時として逆の順番で実行することができる。またブロック図及びフローチャートの図示、又はこれらの両方及びブロック図中のブロック及びフローチャートの図示又はこれらの組み合わせは、特定の機能又は動作を実行するか又は特定の目的のハードウェア及びコンピュータ命令を遂行する特定目的のハードウェアに基づいたシステムにより実装することができることを指摘する。
【0093】
１つ又はそれ以上の実施形態は、汎用目的のコンピュータ又はワークステーション上で動作するソフトウェアの使用を可能とする。図１３を参照すると、コンピューティング・ノード１３１０には、コンピュータ・システム／サーバ１３１２が存在し、これは、数多くの他の汎用コム的又は特定目的のコンピューティング・システム環境と共に操作可能である。コンピュータ・システム／サーバ１３１２と共に使用することに好適な周知のコンピューティング・システム、環境又は構成又はそれらの組み合わせは、これらに限定されることは無く、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルド又はラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、セットトップ・ボックス、プログラム可能なコンシューマ電子機器、ネットワークＰＣ（複数）、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、及び上述のシステム又はデバイスなどのいずれをも含む、分散クラウド・コンピューティング環境を含む。
【0094】
コンピュータ・サーバ１３１２は、コンピュータ・システムにより実行されるプログラム・モジュールといったコンピュータ・システムが実行可能な命令の一般的なコンテキストにおいて記述することができる。一般には、プログラム・モジュールは、特定のタスクを遂行するか又は特定の抽象データ・タイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造などを含むことができる。コンピュータ・システム・サーバ１３１２は、タスクが通信ネットワークを通してリンクされたリモート処理システム・デバイスにより遂行される、分散クラウド・コンピューティング環境において実装することができる。
【0095】
図１３に示すように、コンピューティング・ノード１３１０内のコンピュータ・システム／サーバ１３１２は、汎用目的のコンピューティング・デバイスの形式で示されている。コンピュータ・システム／サーバ１３１２のコンポーネントは、限定されることは無く、１つ又はそれ以上のプロセッサ又はプロセッシング・ユニット１３１６と、システム・メモリ１３２８と、システム・メモリ１３２８を含む種々のシステム・コンポーネントをプロセッシング・ユニット１３１６に結合するバス１３１８とを含む。例示する実施形態においては、プロセッシング・ユニット１３１６は、回路１００を含む。１つの実施形態では、プロセッシング・ユニット１３１６は、回路１００から分離することができ、回路１００又はネットワーク・アダプタ１３２０と通信するように構成することができる
【0096】
バス１３１８は、メモリ・バス又はメモリ・コントローラ、ペリフェラル・バス、グラフィックス・アクセラレータ・ポート、及びプロセッサ又は種々のバス・アーキテクチャの如何なるものを使用するローカル・バスを含む、１つ又はそれ以上のバス構造のいくつかのタイプの如何なるものも表す。例示の目的で、限定的でなく、そのようなアーキテクチャは、インダストリー・スタンダード・アーキテクチャ（ＩＳＡ）バス、マイクロ－チャネル・アーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダード・アソシエーション（ＶＥＳＡ）ローカル・バス、及びペリフェラル・インタコネクト（ＰＣＩ）バスを含む。
【0097】
コンピュータ・システム／サーバ１３１２は、典型的には、種々のコンピュータ可読な媒体を含む。そのような媒体は、コンピュータ・システム／サーバ１３１２によりアクセス可能な利用可能な如何なる媒体とすることができ、揮発性及び不揮発性の媒体、取り外し可能及び取り外し不可能な媒体を含む。
【0098】
システム・メモリ１３２８は、ランダム・アクセス・メモリ（ＲＡＭ）１３３０といった揮発性メモリ又はキャッシュ・メモリ１３３２又はそれら両方といったコンピュータ可読な媒体を含むことができる。コンピュータ・システム／サーバ１３１２は、さらに、他の取り外し可能／取り外し不可能、揮発性／不揮発性のコンピュータシステム・ストレージ媒体を含むことができる。例示の目的のみで、ストレージ・システム１３３４は、取り外し不可能で、不揮発性の磁性媒体（示しておらず、かつ典型的には“ハードドライブ”と呼ばれる。）との間で読み込み及び書き込みのために提供することができる。示していないが、取り外し可能な不揮発性の磁気ディスク・ドライブ（例えば、“フロッピー・ディスク（登録商標）”）及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ又は他の光学的媒体といった取り外し可能で不揮発性の光学ディスクとの間で読み込み及び書き込みが可能な光学ディスク・ドライブを提供することができる。そのような例においては、それぞれは、１つ又はそれ以上の媒体インタフェースによりバス１３１８へと接続することができる。さらに図示し、かつ以下に説明するように、メモリ１３２８は、本発明の実施形態の機能を遂行するように構成されたプログラム・モジュールのセット（少なくとも１つ）を有する少なくとも１つのプログラム製品を含むことができる。プログラム／ユーティリティ１３４０は、プログラム・モジュール１３４２のセット（少なくとも１つ）を有しており、実施例の目的で、非限定的に、オペレーティング・システムに加え、１つ又はそれ以上のアプリケーション・プログラム、他のプログラム・モジュール及びプログラム・データを、メモリ１３２８内に格納することができる。オペレーティング・システム、１つ又はそれ以上のアプリケーション・プログラム、他のプログラム・モジュール及びプログラム・データ又はそれらのいくつかの組み合わせのそれぞれは、ネットワーク環境の実装を含むことができる。プログラム・モジュール１３４２は、一般には、本明細書で説明したように本発明の実施形態の機能又は方法論又はそれら両方を遂行する。
【0099】
コンピュータ・サーバ１３１２は、また、キーボード、ポインティング・デバイス、ディスプレイ１３２４など、１つ又はそれ以上の外部デバイス１３１４と通信することができる；１つ又はそれ以上のデバイスは、ユーザを、コンピュータ・システム／サーバ１３１２又はコンピュータ・システム／サーバ１３１２を１つ又はそれ以上のコンピューティング・デバイスと通信を可能とする如何なるデバイス（例えばネットワーク・カード、モデムなど）、又はそれら両方に相互作用させることが可能である。そのような通信は、入力／出力（Ｉ／Ｏ）インタフェース１３２２を介して発生することができる。さらに、コンピュータ・サーバ１２は、ローカル・エリア・ネットワーク（ＬＡＮ）、汎用ワイド・エリア・ネットワーク（ＷＡＮ）、又は公衆ネットワーク（インターネット）又はそれらの組み合わせといった、１つ又はそれ以上のネットワークとネットワーク・アダプタ１３２０を介して通信可能である。図示するように、ネットワーク・アダプタ１３２０は、コンピュータ・システム／サーバ１３１２の他のコンポーネントとバス１３１８を介して通信する。図示しないが、他のハードウェア又はソフトウェア又はそれら両方のコンポーネントは、コンピュータ・システム／サーバ１３１２との組み合わせで使用することができるであろうことは理解されるべきである。実施例は、限定することではなく、マイクロ・コード、デバイス・ドライバ、冗長処理ユニット、及び外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、及びデータ・アーカイブ・ストレージ・システムなどを含む
【0100】
本開示の種々の実施形態の説明は、例示の目的のために提示されたが、開示された実施形態への排他又は限定を意図するものではない。多くの変更例又は変形例は、本開示の範囲及び精神から逸脱することなく、当業者において自明である。本明細書で使用する用語は、本実施形態の原理、実用的用途、又は市場において見出される技術を超える技術的改善を最良に説明するため、又は本明細書において開示された実施形態を当業者の他の者が理解できるようにするために選択したものである。
【0101】
本明細書に開示する本発明の実施形態においては、複数のコンポーネントを含む多重学習器システムの少なくとも１つの学習器を含む装置が提供され、少なくとも１つの学習器は、勾配の部分を生成し；多重学習器システムの少なくとも１つの他のコンポーネントに勾配の部分を供給し；かつ多重学習システムの少なくとも１つの他のコンポーネントから重みの少なくとも部分を取得し；かつ取得した重みの少なくとも部分に少なくとも部分的に基づいて勾配の部分をアップデートするように構成される。多重学習器システムの少なくとも１つの他のコンポーネントは、パラメータ・サーバを含むことができ；重みの少なくとも部分が、重みの全体を構成し、多重学習器システムの少なくとも１つの他のコンポーネントに勾配の部分を供給することは、パラメータ・サーバに対して勾配の部分を供給することを含み、パラメータ・サーバは、供給された勾配の部分に少なくとも部分で気に基づいて重みを生成し、かつ子の重みを少なくとも学習器に供給するように構成される。多重学習器システムは、リング・フォーマットに構成された複数の学習器を含むことができ、多重学習器システムの少なくとも１つの他のコンポーネントに勾配の部分を提供することは、複数の学習器のうちの少なくとも他の１つに勾配の部分を供給することを含み；少なくとも１つの学習器はさらに、少なくとも１つの他の学習器から少なくとも勾配の第２の部分を受領し；勾配の部分及び勾配の第２の部分に少なくとも部分的に基づいて、少なくとも重みの第２の部分を生成し；かつ少なくとも１つの他の学習器に少なくとも重みの第２の部分を供給するように構成される。少なくとも１つの他の多重学習器システムのコンポーネントから取得した重みの少なくとも部分は、多重学習器システムの少なくとも第３の学習器により生成された重みの第３の部分を含むことができる。取得した重みの少なくとも部分に少なくとも部分的に基づく勾配の部分をアップデートすることは、少なくとも１つの学習器により生成された重みの第２の部分及び多重学習器の少なくとも第３の学習器により生成された重みの第３の部分に少なくとも部分的に基づいて勾配の部分をアップデートすることを含む。少なくとも１つの学習器はさらに、生成された重みの少なくとも第２の部分に少なくとも部分的に基づいて残差を生成し；かつこの残差に少なくとも部分的に基づいて、少なくとも重みの第２の部分をアップデートするように構成することができ、ここで残差は、少なくとも１つの学習器にローカルに格納され、複数の学習器の少なくとも１つの学習器には供給されない。勾配の部分は、１６ビット・フォーマットを含み、かつ重みの少なくとも部分は、８ビット・フォーマットを含む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
