特表 2024-509062 シストリックアレイにおける乗算器および加算器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-29

(54)【発明の名称】シストリックアレイにおける乗算器および加算器

(51)【国際特許分類】

   G06F 17/10 20060101AFI20240221BHJP

   G06F 7/523 20060101ALI20240221BHJP

   G06F 7/50 20060101ALI20240221BHJP

   G06F 15/80 20060101ALN20240221BHJP

【ＦＩ】

G06F17/10 S

G06F7/523

G06F7/50

G06F15/80

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023548943

(86)(22)【出願日】2022-06-30

(85)【翻訳文提出日】2023-08-29

(86)【国際出願番号】 US2022035660

(87)【国際公開番号】W WO2023287589

(87)【国際公開日】2023-01-19

(31)【優先権主張番号】17/377,743

(32)【優先日】2021-07-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ヨーン，ドゥ・ヒュン

(72)【発明者】

【氏名】ナイ，リーフォン

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056BB71

(57)【要約】

本明細書に記載する主題は、ディープニューラルネットワーク（ＤＮＮ）用のアクセラレータで使用されるような、シストリックアレイによって行列乗算を実行する積和演算（ＭＡＣ）ユニットの設計および使用のためのシステムおよび技法を提供する。これらのＭＡＣユニットは、シストリックアレイ内で行列乗算が実行される特定の方法を利用することができる。たとえば、行列Ａが行列Ｂと乗算されるとき、行列Ａのスカラー値ａは何度も再使用され、行列Ｂのスカラー値ｂはシストリックアレイにストリーミングして、シストリックアレイ内の一連のＭＡＣユニットに転送することができ、行列乗算のために計算されたドット積の中間値ではなく最終値のみが、正しいものであり得る。これらの観察を利用するように特殊化されるＭＡＣユニットハードウェアについて、本明細書で説明する。

【特許請求の範囲】

【請求項1】

２つの数値を乗算して結果を生成する積和（ＭＡＣ）ユニットであって、
第１の数値をラッチし、前記第１の数値と前記第１の数値に基づく倍数値とを出力するように構成された第１のフリップ／フロップと、
第２の数値をロードし、前記第２の数値を出力するように構成された第２のフリップ／フロップと、
前記第１のフリップ／フロップおよび前記第２のフリップ／フロップと通信する、前記第１のフリップ／フロップから前記第１の数値および前記倍数値を受け取るとともに、前記第２のフリップ／フロップから前記第２の数値を受け取り、前記第１の数値、前記倍数値および前記第２の数値に基づいて複数の部分積を出力するように構成された、マルチプレクサと、
前記マルチプレクサと通信する、前記複数の部分積と部分和とを受け取り、前記複数の部分積と前記部分和とに基づいて少なくとも２つの部分和がとられた数値を出力するように構成された、少なくとも１つの桁上げ保存加算器と、
前記少なくとも１つの桁上げ保存加算器と通信する、前記少なくとも２つの部分和がとられた数値を受け取り、前記少なくとも２つの部分和がとられた数値に対して加算演算を実行し、結果を出力するように構成された、複数の並列分割加算器と、
を備えるＭＡＣユニット。

【請求項2】

前記第２の数値が、Ｂｏｏｔｈ符号化を用いて符号化される、請求項１に記載のＭＡＣユニット。

【請求項3】

前記第１のフリップ／フロップと通信する、プリロードされた数値を受け取り、前記第１のフリップ／フロップに前記倍数値を出力するように構成された、少なくとも１つのハード倍数計算器をさらに備える、請求項１に記載のＭＡＣユニット。

【請求項4】

前記少なくとも１つの桁上げ保存加算器が、多入力２出力桁上げ保存加算器のみを含む、請求項１に記載のＭＡＣユニット。

【請求項5】

前記少なくとも１つの桁上げ保存加算器が、桁上げ保存加算器および多入力２出力桁上げ保存加算器を含む、請求項１に記載のＭＡＣユニット。

【請求項6】

前記多入力２出力桁上げ保存加算器と通信する、前記部分和をロードし、前記部分和を前記多入力２出力桁上げ保存加算器に出力するように構成された、第３のフリップ／フロップをさらに備える、請求項５に記載のＭＡＣユニット。

【請求項7】

前記第３のフリップ／フロップが、別のＭＡＣユニットから出力された部分和から前記部分和をロードするように構成されている、請求項６に記載のＭＡＣユニット。

【請求項8】

前記複数の並列分割加算器が、部分的に冗長な形式の数値のセグメントに対して並列に動作するように構成されている、請求項１に記載のＭＡＣユニット。

【請求項9】

前記第１のフリップ／フロップが、前記第１の数値を通常の２倍のクロック速度でラッチするように構成されている、請求項１に記載のＭＡＣユニット。

【請求項10】

前記ＭＡＣユニットが、乗算器および加算器の融合バージョンを使用する拡張ＭＡＣユニットである、請求項１に記載のＭＡＣユニット。

【請求項11】

前記ＭＡＣユニットがシストリックアレイ内にある、請求項１に記載のＭＡＣユニット。

【請求項12】

少なくとも１つの積和演算の結果を計算する方法であって、
第１のフリップ／フロップを使用して、第１の数値と、前記第１の数値に基づく倍数値とをラッチすることと、
第２のフリップ／フロップを使用して第２の数値をロードすることと、
マルチプレクサを使用して、前記第１の数値、前記倍数値、および前記第２の数値に基づいて複数の部分積を生成することと、
少なくとも１つの桁上げ保存加算器を使用して、前記複数の部分積と部分和とを受け取ることと、
前記少なくとも１つの桁上げ保存加算器を使用して、前記複数の部分積と前記部分和とに基づいて少なくとも２つの部分和がとられた数値を生成することと、
複数の並列分割加算器を使用して、前記少なくとも２つの部分和がとられた数値を受け取ることと、
前記少なくとも２つの部分和がとられた数値に対して加算演算を実行して、結果を計算することと、を含む方法。

【請求項13】

前記第２の数値が、Ｂｏｏｔｈ符号化を用いて符号化される、請求項１２に記載の方法。

【請求項14】

前記倍数値が、少なくとも１つのハード倍数計算器を用いて計算される、請求項１２に記載の方法。

【請求項15】

前記部分和をロードすることと、
前記部分和を前記少なくとも１つの桁上げ保存加算器に出力することと、をさらに含む、請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年７月１６日に出願された米国特許出願第１７／３７７，７４３号の継続出願であり、その開示内容は参照により本明細書に組み込まれる。

【背景技術】

【0002】

背景
近年、ディープニューラルネットワーク（ＤＮＮ）などのニューラルネットワーク用アクセラレータは、高密度計算のためにシストリックアレイを活用している。シストリックアレイは、密行列乗算に使用される重み保持（ｗｅｉｇｈｔ－ｓｔａｔｉｏｎａｒｙ）手法を用いる積和演算（ＭＡＣ）ユニットの２Ｄアレイであり得る。シストリックアレイは、代わりに、出力保持（ｏｕｔｐｕｔ－ｓｔａｔｉｏｎａｒｙ）構造または他の何らかの構造を使用するＭＡＣユニットの２Ｄアレイである場合もある。ＭＡＣユニット内の乗算器で使用される、通常使用されるハードウェア設計は、Ｂｏｏｔｈ（または修正Ｂｏｏｔｈ（ｍｏｄｉｆｉｅｄ Ｂｏｏｔｈ））乗算器である。こうした乗算器は、行列Ａおよび行列Ｂそれぞれのａおよびｂなど、２つのスカラー数を、ａから部分積を準備し、ｂをＢｏｏｔｈ符号化し、桁上げ保存加算器（ＣＳＡ）木または木縮約（ｔｒｅｅ ｒｅｄｕｃｔｉｏｎ）を使用するなどして部分積を２項に累積することにより、かつその結果を最終的な桁上げ伝播加算器（ＣＰＡ）に出力して乗算の結果を導出することにより、乗算する。基数４Ｂｏｏｔｈ２乗算器を使用する場合は約ｎ／２、基数８Ｂｏｏｔｈ３乗算器を使用する場合はｎ／３、基数１６Ｂｏｏｔｈ４乗算器を使用する場合はｎ／４であり得る、部分積の数は、木縮約の複雑さを決定する際に重要である可能性がある。実際には、大部分の場合、Ｂｏｏｔｈ２乗算器が使用され、他の場合ではＢｏｏｔｈ３乗算器が使用される。より高基数の乗算器は、計算が困難な「ハード倍数（ｈａｒｄ ｍｕｌｔｉｐｌｅ）」のため、めったに使用されない可能性がある。Ｂｏｏｔｈ２乗算器では、部分積は、０、±ａ、および±２ａを含む場合がある。しかしながら、Ｂｏｏｔｈ３乗算器では、部分積はさらに±３ａおよび±４ａを含む場合がある。ここで、３ａは２のべき乗ではないため、他の部分積とは異なり、ａとｂとの乗算における他のステップが実行される前に計算されなければならないハード倍数として既知であり得る。高基数の乗算器の設計ほど、計算しなければならないハード倍数が多くなる可能性がある。ハード倍数を計算する必要があるため、既存の高基数Ｂｏｏｔｈ乗算器の設計は非実用的かつ非効率的なものとなる。加えて、従来のＭＡＣユニット加算器は、乗算器の積を部分和に加算し、その結果を非効率かつ最適化されていない方法でシストリックアレイの次のＭＡＣユニットに渡す可能性がある。たとえば、こうした従来の加算器の設計には、それらを行列乗算のためにシストリックアレイで実装することを考慮していない、非効率性がある可能性がある。

【発明の概要】

【0003】

概要
シストリックアレイに基づく行列乗算の効率は、ＤＮＮアクセラレータなどのアクセラレータの設計において重要である場合がある。本明細書では、シストリックアレイ用のＭＡＣユニットで使用される、より効率的かつ実用的な乗算器および加算器の設計について説明する。シストリックアレイにおける行列Ａの行列Ｂとの行列乗算に使用される従来のＭＡＣユニットを調べると、以下の３つの観察結果を得ることができる。

【0004】

第１に、行列Ａにおけるスカラー値ａが、シストリックアレイ内のＭＡＣユニットのフリップ／フロップによってロードおよびラッチされると、何度も再使用される可能性がある。たとえば、通常広い可能性がある行列Ｂの幅と同じ回数だけ再使用される可能性がある。スカラー値ａは、リロードされるまで数回再使用される可能性がある。

【0005】

第２に、行列Ｂにおけるスカラー値ｂが、シストリックアレイにストリーミングされる場合がある。特に、同じスカラー値ｂが、シストリックアレイのある行の一連のＭＡＣユニットに転送される可能性がある。

【0006】

第３に、シストリックアレイのある列のＭＡＣユニットが合わせて、行列Ａの行と行列Ｂの列とを用いてドット積を計算する場合がある。ドット積計算の最終値のみを使用して、結果が導出される可能性がある。特に、シストリックアレイ内の各ＭＡＣユニットにおける中間値、すなわち部分和が、最終的なドット積の計算が正しい限り、正しくなくてもよい可能性がある。

【0007】

シストリックアレイ内の従来のＭＡＣユニットの動作に関する上記の観察に基づき、シストリックアレイ内のＭＡＣユニットのための拡張乗算器および加算器を設計することができる。特に、各ＭＡＣユニットにおいて従来見られる乗算器および加算器は、融合され、場合によっては追加の構成要素を使用して、上記の観察を利用することができる拡張ＭＡＣユニットを生成することができる。拡張ＭＡＣユニットは、より高基数の乗算を利用することができ、それにより、ＣＳＡ木縮約を単純化することができる。拡張ＭＡＣユニットは、従来のＭＡＣユニットと比較した場合、より高速とすることができ、より効率的とすることができ、行列乗算を実行するために最適化することができ、ハードウェアを少なくすることができ、よりエネルギー効率的とすることができる。拡張ＭＡＣユニットは、ＤＮＮ用のアクセラレータに使用されるようなシストリックアレイ内の行列Ａの行列Ｂとの行列乗算に使用される場合、これらおよび他の利点を含むことができる。

【0008】

本明細書では、こうした拡張ＭＡＣユニットのいくつかの構造例を提供する。概して、本明細書で説明する主題の１つの態様は、２つの数値を乗算して結果を生成する積和演算（ＭＡＣ）ユニットを含む。ＭＡＣユニットは、第１のフリップ／フロップ、第２のフリップ／フロップ、マルチプレクサ、少なくとも１つの桁上げ保存加算器、および複数の並列分割（ｓｅｇｍｅｎｔｅｄ）加算器を含むことができる。第１のフリップ／フロップは、第１の数値をラッチし、第１の数値と第１の数値に基づく倍数値とを出力するように構成することができる。第２のフリップ／フロップは、第２の数値をロードし、第２の数値を出力するように構成することができる。マルチプレクサは、第１のフリップ／フロップおよび第２のフリップ／フロップと通信することができ、第１のフリップ／フロップから第１の数値および倍数値を受け取り、第２のフリップ／フロップから第２の数値を受け取るように構成することができる。マルチプレクサは、第１の数値、倍数値、および第２の数値に基づいて複数の部分積を出力するように構成することができる。少なくとも１つの桁上げ保存加算器は、マルチプレクサと通信することができる。少なくとも１つの桁上げ保存加算器は、複数の部分積と部分和とを受け取り、複数の部分積と部分和とに基づいて、少なくとも２つの部分和がとられた（ｐａｒｔｉａｌｌｙ ｓｕｍｍｅｄ）数値を出力するように構成することができる。複数の並列分割加算器は、少なくとも１つの桁上げ保存加算器と通信することができる。複数の並列分割加算器は、少なくとも２つの部分和がとられた数値を受け取り、少なくとも２つの部分和がとられた数値に対して加算演算を実行し、その結果を出力するように構成することができる。第２の数値は、Ｂｏｏｔｈ符号化を用いて符号化することができる。ＭＡＣユニットは、少なくとも１つのハード倍数計算器を含むことができる。少なくとも１つのハード倍数計算器は、第１のフリップ／フロップと通信することができ、プリロードされた数値を受け取り、倍数値を第１のフリップ／フロップに出力するように構成することができる。少なくとも１つの桁上げ保存加算器は、多入力２出力桁上げ保存加算器のみを含むことができる。少なくとも１つの桁上げ保存加算器は、桁上げ保存加算器と多入力２出力桁上げ保存加算器とを含むことができる。ＭＡＣユニットは、第３のフリップ／フロップを含むことができる。第３のフリップ／フロップは、多入力２出力桁上げ保存加算器と通信することができ、部分和をロードし、部分和を多入力２出力桁上げ保存加算器に出力するように構成することができる。第３のフリップ／フロップは、別のＭＡＣユニットからの部分和出力から部分和をロードするように構成することができる。複数の並列分割加算器は、部分的に冗長な形式である数値のセグメントに対して並列に動作するように構成されている。第１のフリップ／フロップは、通常のクロック速度の２倍で第１の数値をラッチするように構成することができる。ＭＡＣユニットは、乗算器と加算器との融合バージョンを使用する拡張ＭＡＣユニットであり得る。ＭＡＣユニットは、シストリックアレイ内にあり得る。

【0009】

主題の別の態様は、積和演算（ＭＡＣ）ユニットを含む。ＭＡＣユニットは、第１のフリップ／フロップ、第２のフリップ／フロップ、第３のフリップ／フロップ、乗算器、および加算器を含むことができる。第１のフリップ／フロップは、第１の数値をラッチし、第１の数値を出力するように構成することができる。第２のフリップ／フロップは、第１の数値に基づいて倍数値をラッチし、倍数値を出力するように構成することができる。第３のフリップ／フロップは、第２の数値をロードし、第２の数値を出力するように構成することができる。乗算器は、第１、第２、および第３のフリップ／フロップと通信することができる。乗算器は、第１のフリップ／フロップから第１の数値を受け取り、第２のフリップ／フロップから倍数値を受け取り、第３のフリップ／フロップから第２の数値を受け取るように構成することができる。乗算器は、第１の数値、倍数値、および第２の数値に基づいて、部分積を生成するように構成することができる。乗算器は、部分積を出力するように構成することができる。加算器は、乗算器と通信することができる。加算器は、乗算器から部分積を受け取るように構成することができる。加算器は、部分積を部分和数値と加算して結果を生成するように構成することができる。ＭＡＣユニットは、通常の２倍のクロック速度で第１の数値および倍数値をラッチするように構成されたダブルデータレートフリップ／フロップを含むことができる。ＭＡＣユニットは、ダブルデータレートフリップ／フロップならびに第１および第２のフリップ／フロップと通信するデマルチプレクサを含むことができる。デマルチプレクサは、ダブルデータレートフリップ／フロップから第１の数値および倍数値を受け取り、第１の数値を第１のフリップ／フロップに出力し、倍数値を第２のフリップ／フロップに出力するように構成することができる。ＭＡＣユニットは、第４のフリップ／フロップを含むことができる。第４のフリップ／フロップは、加算器と通信することができ、部分和数値をロードし、部分和数値を加算器に出力するように構成することができる。ＭＡＣユニットは、シストリックアレイ内にあり得る。

【0010】

主題のさらに別の態様は、少なくとも１つの積和演算の結果を計算する方法を含む。第１のフリップ／フロップを使用して、第１の数値に基づいて第１の数値および倍数値をラッチすることができる。第２のフリップ／フロップを使用して、第２の数値をロードすることができる。マルチプレクサを使用して、第１の数値、倍数値、および第２の数値に基づいて複数の部分積を生成することができる。マルチプレクサから、複数の部分積を受け取ることができる。少なくとも１つの桁上げ保存加算器を使用して、部分和を受け取ることができる。少なくとも１つの桁上げ保存加算器を使用して、複数の部分積と部分和とに基づいて少なくとも２つの部分和がとられた数値を生成することができる。複数の並列分割加算器を使用して、少なくとも２つの部分和がとられた数値を受け取ることができる。少なくとも２つの部分和がとられた数値に対して加算演算を実行して、結果を計算することができる。第２の数値は、Ｂｏｏｔｈ符号化を用いて符号化することができる。倍数値は、少なくとも１つのハード倍数計算器を用いて計算することができる。本プロセスは、部分和をロードすることと、部分和を少なくとも１つの桁上げ保存加算器に出力することとを含むことができる。

【図面の簡単な説明】

【0011】

【図1A】行列Ａと行列Ｂとを乗算して出力行列Ｃを生成するために使用されるシストリックアレイ例を示す図である。

【図1B】行列Ａと行列Ｂとを乗算するために使用されるシストリックアレイで使用することができるＭＡＣユニット例を示す図である。

【図2】数ビット長であり得る数値の部分的な冗長形式を示す図である。

【図3】シストリックアレイ内の各ＭＡＣユニットで並列分割加算器を使用して実行される演算例を示す図である。

【図4A】行列Ａと行列Ｂとを乗算して出力行列Ｃを生成するために使用される、別のシストリックアレイ例を示す図である。

【図4B】図４Ａに関連して説明したシストリックアレイなど、行列Ａと行列Ｂとを乗算するために使用されるシストリックアレイで使用することができる、ＭＡＣユニットを示す図である。

【図5】行列Ａと行列Ｂとを乗算して出力行列Ｃを生成するために使用される、さらに別のシストリックアレイ例を示す図である。

【図6A】図４Ａおよび／または図５に関連して説明したシストリックアレイなど、行列Ａと行列Ｂとを乗算するために使用されるシストリックアレイで使用することができる、ＭＡＣユニットを示す図である。

【図6B】図４Ａおよび／または図５に関連して説明したシストリックアレイなど、行列Ａと行列Ｂとを乗算するために使用されるシストリックアレイで使用することができる、ＭＡＣユニットを示す図である。

【図7】積和演算の結果を計算するプロセス例のフロー図である。

【図8】本開示の態様による電子デバイス例のブロック図である。

【発明を実施するための形態】

【0012】

詳細な説明
図１Ａは、行列Ａ１１０と行列Ｂ１２０とを乗算して出力行列Ｃ１３０を生成するために使用されるシストリックアレイ例１００を示す。特に、シストリックアレイ１００は、行列Ｃ１３０を生成する行列Ａ１１０と行列Ｂ１２０との密行列乗算に使用される重み保持手法を有する積和（ＭＡＣ）ユニットの２Ｄアレイであり得る。いくつかの例では、シストリックアレイ１００は、４×４のサイズであり得る。行列Ｃ１３０は、行列Ａ１１０の各行および行列Ｂ１２０の各列のドット積を計算することによって導出することができる。したがって、行列Ｃ１３０は、シストリックアレイ１００の出力であり得る。シストリックアレイ１００の各エントリは、ドット積計算を実行して出力行列Ｃ１３０を生成するＭＡＣユニットを表すことができる。行列Ｂ１２０内のスカラー値は、いくつかのＭＡＣユニットによって使用されるように、シストリックアレイ１００内を水平方向に移動することができる。シストリックアレイ１００内のＭＡＣユニット間の中間値は、既知でなくてもよい。

【0013】

図１Ｂは、図１Ａに関連して説明したシストリックアレイなど、行列Ａと行列Ｂとを乗算するために使用されるシストリックアレイで使用することができる、ＭＡＣユニット例１５０を示す。ＭＡＣユニット１５０は、フリップ／フロップ１５２、１５４、１５６、および１６０と、乗算器１５８と、加算器１６２とを含むことができる。図１Ｂはまた、追加のフリップ／フロップ１７０、１７２、および１７４も示し、これらは、シストリックアレイの他のＭＡＣユニット内にあり得る。

【0014】

フリップ／フロップ１５２および１５４は、行列Ａのスカラー値をプリロードおよびラッチすることができる。特に、フリップ／フロップ１５２は、行列Ａのスカラー値ａの値をプリロードするように使用することができ、この値をフリップ／フロップ１５４に渡すことができる。フリップ／フロップ１５４は、スカラー値ａをロードおよびラッチし、この値がリロードされるまで、計算においてこの値を数回再使用するように使用することができる。フリップ／フロップ１５６は、行列Ｂのスカラー値ｂをロードするように使用することができる。フリップ／フロップ１５６にロードされたスカラー値ｂは、シストリックアレイのある行にあるＭＡＣユニットの各々において逐次使用することができる。乗算器１５８は、フリップ／フロップ１５４においておよびフリップ／フロップ１５６においてそれぞれロードおよび／またはラッチされた２つのスカラー数値ａおよびｂを乗算することができる。特に、乗算器１５８は、フリップ／フロップ１５４および１５６からそれぞれスカラー値ａおよびｂを入力として受け取ることができ、これらのスカラー値を乗算することができる。乗算器１５８は、乗算の結果を加算器１６２に出力することができる。フリップ／フロップ１６０は、たとえば、シストリックアレイ内の先行するＭＡＣユニットによって出力されたものであり得る部分和をロードおよび／またはラッチすることができる。加算器１６２は、乗算器１５８の出力と、フリップ／フロップ１６０にロードおよび／またはラッチされた部分和とを入力として受け取ることができ、これらの入力の和を部分和出力として出力することができ、この部分和出力は、シストリックアレイ内の下流のＭＡＣユニットのフリップ／フロップ１７４などのフリップ／フロップによって格納することができる。追加のフリップ／フロップ１７０、１７２、および１７４は、シストリックアレイ内の他のＭＡＣユニットにあり得る。中間結果は、ＭＡＣユニット内の加算器１６２によって出力される部分和であり得る。この部分和は、シストリックアレイの最下部にあるＭＡＣユニットと関連付けられない場合があり、最終結果として使用されない場合がある。代わりに、最終結果は、シストリックアレイの最下部に位置するＭＡＣユニットの加算器によって出力することができる。

【0015】

シストリックアレイ内の従来のＭＡＣユニットの動作に関して、上記の観察に基づいて、シストリックアレイ内のＭＡＣユニットのための拡張乗算器および加算器を設計することができる。特に、シストリックアレイ内でデータがいかに入力され、使用および／または再使用されるかを活用するために、ＭＡＣユニットに対して設計最適化を行うことができる。いくつかの例では、乗算器および加算器の設計に対する拡張は、一般的な目的に適用可能であり得る。いくつかの例では、乗算器および加算器の設計に対する拡張は、一般的な目的には適用可能ではなくてもよい。

【0016】

シストリックアレイ内のＭＡＣユニットにおいて、Ｂｏｏｔｈ３またはＢｏｏｔｈ４乗算器など、高基数乗算器を使用する際の障害のうちの１つは、ハード倍数であり得る。これは、上述したように、こうしたハード倍数は、スカラー値ａとスカラー値ｂとの乗算における他のステップが実行される前に計算しなければならない可能性があるためである。上記の第１の観察に基づき、ハード倍数は、行列Ａの各スカラー値ａをプリロードするときに計算することができる。計算されたハード倍数は、新しいスカラー値ａがＭＡＣユニットによってプリロードされるまで、数回使用される場合がある。計算されたハード倍数は、乗算のクリティカルパスから外れる可能性があり、いくつかの例では、マルチサイクル演算で実装することができる。したがって、シストリックアレイ内のＭＡＣユニットでは、高基数Ｂｏｏｔｈ乗算器を使用することができる。高基数Ｂｏｏｔｈ乗算器は、クロックサイクルごとにハード倍数計算を実行しなくてもよく、乗算のクリティカルパスで使用するためのハード倍数計算を実行しなくてもよい。高基数Ｂｏｏｔｈ乗算器は、生成する部分積が少なくなるため、従来の乗算器よりも高速であり得る。

【0017】

上記の第２の観察に基づいて、行列Ｂのスカラー値ｂを、最初にＢｏｏｔｈ符号化することができる。スカラー値は、Ｂｏｏｔｈ符号化されると、シストリックアレイのＭＡＣユニットにストリーミングすることができる。シストリックアレイにストリーミングされる前にスカラー値ｂをＢｏｏｔｈ符号化することにより、各ＭＡＣユニット内の乗算器によって実行される乗算のクリティカルパスからＢｏｏｔｈ符号化関数をオフロードすることができる。

【0018】

シストリックアレイ内の各ＭＡＣユニットは、各ＭＡＣユニット内の乗算器からの積を上のＭＡＣユニット／シストリックアレイセルからの部分和に加算する加算器を使用することができる。次いで、ＭＡＣユニットは、その結果を下のＭＡＣユニット／シストリックアレイセルに渡すことができる。上記の第３の観察に基づき、各ＭＡＣユニット内の加算器を単純化することができる。特に、各加算器に部分的に冗長な形式を使用することができる。

【0019】

図２は、数ビット長であり得る数値２００の部分的に冗長な形式を示す。部分的に冗長な形式では、数値２００は、いくつかのより小さいセグメントを使用して表すことができる。たとえば、図２に示すように、数値２００が２４ビットの整数値である場合、セグメント２０２、２０４、２０６、２０８、２１０、および２１２などの６つの４ビットセグメントとして表すことができ、最後のセグメントを除く各セグメントは、次のセグメントへの桁上げ２１４、２１６、２１８、２２０、および２２２など、それぞれの１ビット桁上げを含むことができる。最後のセグメントは、桁上げを含まないか、または使用しない。したがって、２４ビットの整数値は、合計６×４＋５ビット＝２９ビットで表すことができる。こうした冗長形式は、各ＭＡＣユニット内の部分和に使用することができる。これは、垂直方向に累積される部分和に対するものであってもよく、各ＭＡＣユニットにおいて、８ビット×８ビットの乗算が実行されている場合には１６ビットの数値など、乗算器からの積を加算することができる。

【0020】

図１Ｂに関連して説明した加算器１６２など、従来のＭＡＣユニット内の各加算器は、並列分割加算器に置き換えることができる。数値２００などの数値の部分的に冗長な形式に基づいて、適切な数の分割加算器が、各ＭＡＣユニット内で並列に動作することができる。

【0021】

たとえば、図２の数値２００の場合、数値２００に関連する各セグメントに１つずつ、６つの４ビット加算器を並列に動作させることができる。上のＭＡＣユニット／シストリックアレイセル（ある場合）からの桁上げは、シストリックアレイ内の各ＭＡＣユニットによって実行される加算演算で使用することができる。各ＭＡＣユニットによって出力される桁上げは、下のＭＡＣユニット／シストリックアレイセル（ある場合）に引き渡することができる。シストリックアレイの最下部では、部分的に冗長な形式を非冗長な形式に変換することができる。

【0022】

図３は、シストリックアレイ内の各ＭＡＣユニット内で並列分割加算器を使用して実行される演算例３００を示す。図３において、並列分割加算器は、各ＭＡＣユニット内の乗算器からの積を、上のＭＡＣユニット／シストリックアレイセルからの部分和に加算するように使用される。演算例３００では、２つの８ビットセグメントを含む各ＭＡＣユニット内の乗算器からの積である１６ビットの数値３１０が、３つの８ビットセグメントを含む部分的に冗長な形式の２４ビットの部分和３２０に加算される。数値３１０と部分和３２０とは、３つの８ビット並列分割加算器を使用して加算される。

【0023】

１６ビットの数値３１０は、２つのセグメントｐ１およびｐ０を使用して表すことができる。数値ｐ１：ｐ０は、１６ビットの積であり得る。各シストリックアレイＭＡＣユニットにおいて、この数値は、その乗算器から出力される積であり得る。さらに、部分的に冗長な形式の２４ビットの部分和３２０は、セグメントｓ２、ｓ１、およびｓ０、ならびに桁上げｃ２およびｃ１を使用して表すことができる。数値ｓ２：ｓ１：ｓ０およびｃ２：ｃ１は、２つの桁上げビットとともに３つの８ビットセグメントを使用して、部分的に冗長な形式で２４ビットの部分和を表すことができる。部分和は、シストリックアレイ内の各ＭＡＣユニットの上のＭＡＣユニット／シストリックアレイセルから受け取ることができる。

【0024】

１６ビットの積数値３１０および部分和３２０などの２つの数値は、複数の並列分割加算器を使用して加算することができる。たとえば、１６ビットの積数値３１０と部分和３２０とは、３つの８ビット並列分割加算器３４０、３５０、および３６０を使用して加算することができる。図示しないが、シストリックアレイ内の各ＭＡＣユニットの上のＭＡＣユニット／シストリックアレイセルからの桁上げを受け取り、並列分割加算器のうちの最初のもの３４０への入力として使用することができる。最後の並列分割加算器によって出力される可能性がある桁上げは、次のセグメントに伝播しなくてもよく、むしろ、各ＭＡＣユニットの下のＭＡＣユニット／シストリックアレイセルに渡してもよい。並列分割加算器３４０、３５０、および３６０の出力は、桁上げ３７６および３７８とともに、それぞれセグメント３７０、３７２、および３７４であり得る。セグメント３７０、３７２、および３７４は桁上げ３７６、３７８と合わせて、並列分割加算器を使用して実行される演算３００の最終結果３８０を形成することができる。

【0025】

演算３００は、乗算器からの積である１６ビットの数値３１０が２４ビットの部分和３２０に加算されることを示すが、任意の長さの数値または部分和を同様の方法で加算することができる。さらに、図３には８ビットのセグメントおよび特定の数の桁上げを示すが、図３と同様の方法で、任意の実質的に等しいサイズのセグメントおよび任意の数の桁上げを使用することができる。加えて、図３には３つの並列分割加算器を示すが、図３と同様の方法で、それより多いかまたは少ない数の並列分割加算器を使用することができる。

【0026】

各ＭＡＣユニット内の乗算器によって桁上げ保存加算器（ＣＳＡ）を使用することができる。ＣＳＡは、乗算演算の一部として３つ以上の入力数値の和を計算する、乗算器において使用することができるデジタル加算器であり得る。ＣＳＡは２つの数値を出力することができ、これらの数値の和をとり、和をとるすべき元の数値の最終結果を生成することができる。ＣＳＡは、木に関連付けることができ、この木は、元の和の最終結果を生成するために使用される２つの数値を出力するためにＣＳＡが実行すべき加算のいくつかのレベルを有することができる。各ＭＡＣユニットの乗算器および加算器において、セグメントが合わせて加算される際に桁上げビットを適切に計算するために、桁上げ伝播加算器（ＣＰＡ）を使用することができる。

【0027】

図４Ａは、行列Ａ４１０と行列Ｂ４２０とを乗算して出力行列Ｃ４３０を生成するために使用されるシストリックアレイ例４００を示す。特に、シストリックアレイ４００は、行列Ｃ４３０を生成する行列Ａ４１０と行列Ｂ４２０との密行列乗算に使用される重み保持手法を有する積和（ＭＡＣ）ユニットの２Ｄアレイであり得る。いくつかの例では、シストリックアレイ４００は、４×４のサイズであり得る。図４Ａは、Ｂｏｏｔｈエンコーダ４４０および最下部ＣＰＡ４４５も示す。Ｂｏｏｔｈエンコーダ４４０を使用して、行列Ｂ４２０のスカラー値ｂをＢｏｏｔｈ符号化することができる。これらのスカラー値は、Ｂｏｏｔｈ符号化されると、シストリックアレイ４００内のＭＡＣユニットにストリーミングすることができる。シストリックアレイ４００にストリーミングされる前にスカラー値ｂをＢｏｏｔｈ符号化することにより、Ｂｏｏｔｈ符号化関数を、各ＭＡＣユニット内の乗算器のクリティカルパスからオフロードすることができる。Ｂｏｏｔｈエンコーダ４４０の出力ｂ値、および行列Ａ４１０のスカラー値は、シストリックアレイ４００内の各ＭＡＣユニット内の融合された乗算器および加算器への入力として使用することができる。融合された乗算器および加算器は、少なくとも部分的に、行列Ａ４１０の各行と行列Ｂ４２０の各列とのドット積を計算する際に使用することができる。ＣＰＡ４４５は、上述のしたＣＰＡとして実装された複数の並列分割加算器と同様に動作することができる。シストリックアレイ４００の最下部のＭＡＣユニット内の融合された乗算器および加算器の出力を最下部ＣＰＡ４４５に出力して、行列Ｃ４３０の値を生成するために加算することができる。

【0028】

図４Ｂは、図４Ａに関連して説明したシストリックアレイなど、行列Ａと行列Ｂとを乗算するために使用されるシストリックアレイにおいて使用することができる、ＭＡＣユニット４５０を示す。ＭＡＣユニット４５０は、図４Ａに関連して説明したシストリックアレイ４００などのシストリックアレイにおいて使用することができる。ＭＡＣユニット４５０は、図１ＢのＭＡＣユニット１５０などの従来のＭＡＣユニットに見られる従来の乗算器および加算器の融合バージョンを含むことができる。ＭＡＣユニット４５０は、フリップ／フロップ４５２、４５４、４５８、および４６２と、ハード倍数計算器４５６と、マルチプレクサ４６０と、ＣＳＡ木４７０と、３入力２出力ＣＳＡ４７２と、並列分割加算器４８０とを含むことができる。

【0029】

フリップ／フロップ４５２および４５４は、行列Ａのスカラー値をプリロードおよびラッチするように使用することができる。特に、フリップ／フロップ４５２は、行列Ａのスカラー値ａの値をプリロードし、この値をフリップ／フロップ４５４に出力するように使用することができる。フリップ／フロップ４５４は、フリップ／フロップ４５２からのスカラー値ａをロードおよびラッチし、この値がリロードされるまで、計算においてこの値を数回再使用するように使用することができる。したがって、スカラー値ａをロードおよびラッチすることは、１クロックサイクルまたはわずか数クロックサイクルのみを要する可能性がある。フリップ／フロップ４５４は、受け取った値をハード倍数計算器４５６に出力することができる。ハード倍数計算器４５６は、フリップ／フロップ４５２および４５４によってプリロードおよびラッチされたスカラー値ａを受け取ることができる。ハード倍数計算器４５６は、ハード倍数を事前計算するために、受け取った数値に１つまたは複数の整数の倍数を乗算し、乗算の結果をフリップ／フロップ４５８に出力することができる。特に、ハード倍数計算器４５６は、スカラー値ａのハード倍数を出力することができる。ａの各ハード倍数は、２のべき乗ではない任意の倍数であり得る。たとえば、ハード倍数計算器４５６は、倍数±３ａ、±５ａ、および／または±７ａをフリップ／フロップ４５８に出力することができる。ハード倍数の事前計算は、１クロックサイクルまたは数クロックサイクルで行うことができ、毎クロックサイクルで行う必要はない可能性がある。したがって、ハード倍数の計算は乗算のクリティカルパスから外れることができる。フリップ／フロップ４５８は、フリップ／フロップ４５４からおよび／またはハード倍数計算器４５６からスカラー値ａを受け取ることができる。加えて、フリップ／フロップ４５８は、ハード倍数計算器４５６によって出力された値を受け取ることができる。フリップ／フロップ４５８は、受け取った値をロードおよび／またはラッチし、これらの値をマルチプレクサ４６０に出力することができる。

【0030】

フリップ／フロップ４６２は、行列ＢのＢｏｏｔｈ符号化されたスカラー値ｂをロードするように使用することができる。たとえば、行列Ｂのスカラー値ｂは、８の基数を使用するＢｏｏｔｈ符号化などによってＢｏｏｔｈ３符号化して、結果をフリップ／フロップ４６２にロードすることなどにより、Ｂｏｏｔｈ３符号化およびロードすることができる。フリップ／フロップ４６２にロードされたＢｏｏｔｈ符号化されたスカラー値ｂは、シストリックアレイのある行にあるＭＡＣユニットの各々で、逐次使用することができる。フリップ／フロップ４６２は、ｂのロードされたＢｏｏｔｈ符号化された値をマルチプレクサ４６０に出力することができる。

【0031】

マルチプレクサ４６０は、ａの値、ｂのＢｏｏｔｈ符号化された値、および受け取ったａのハード倍数を入力とすることができ、ＣＳＡ木４７０に複数の部分積を出力することができる。たとえば、マルチプレクサ４６０は、フリップ／フロップ４５８からａの値、ハード倍数計算器４５６からａのハード倍数の値、およびフリップ／フロップ４６２からｂのＢｏｏｔｈ符号化された値を受け取ることができ、３つの部分積をＣＳＡ木４７０に出力することができる。マルチプレクサ４６０を使用して、たとえば、入力のＢｏｏｔｈ３乗算を実装することができる。

【0032】

ＣＳＡ木４７０は、多入力２出力ＣＳＡの第１のレベルのみを含む可能性がある、従来のＣＳＡの改変バージョンであり得る。これは、ＣＳＡ木４７０が複数の入力を受け入れ、２つの数値を出力することを意味することができる。たとえば、ＣＳＡ木４７０は、３入力２出力ＣＳＡの第１のレベルを含むことができ、３つの入力数値を受け入れることができ、２つの数値を出力することができる。いくつかの例では、乗算器によって乗算することができるビットの数に応じて、３入力２出力および／または４入力２出力のＣＳＡなど、ＣＳＡ木と称することができる多レベルのＣＳＡがあってもよい。ＣＳＡ木４７０によって出力される数値は、各々、部分的に冗長な形式であり得る。これらの数値は、上のＭＡＣユニット／シストリックアレイセルからの部分和の部分的に冗長な形式に加算することができる。ＭＡＣユニット４５０の一部であってもまたはなくてもよいフリップ／フロップ４７４は、ＭＡＣユニット４５０の上のＭＡＣユニット／シストリックアレイセルからの部分和をロードおよび／またはラッチすることができる。フリップ／フロップ４７４は、この値を３入力２出力ＣＳＡ４７２などの多入力２出力ＣＳＡに出力することができる。

【0033】

ＭＡＣユニット４５０では、従来の乗算器の積を表す場合がある、ＣＳＡ木によって出力された数値の部分的に冗長な形式を、上のＭＡＣユニット／シストリックアレイセルからの部分和の部分的に冗長な形式に加算することができる。この加算は、３入力２出力ＣＳＡ４７２など、多入力２出力ＣＳＡを用いて実行することができる。さらに、従来のＭＡＣユニット乗算器と加算器との融合バージョンを含むＭＡＣユニット４５０では、従来の乗算器で使用されるＣＰＡを使用しない、すなわちスキップすることができる。３入力２出力ＣＳＡ４７２によって実行されるこの加算演算は、図３に関連して説明した演算３００と同様の方法で実行することができる。たとえば、ＣＳＡ木４７０によって出力される部分的に冗長な形式の２つの１６ビットの数値を、フリップ／フロップ４７４からの部分和の部分的に冗長な形式の２４ビットの数値および５つの桁上げビットに加算することができる。この結果は、３つの数値を入力として受け入れ、２つの数値を出力することができる、３入力２出力ＣＳＡ４７２を使用して、縮約することができる。特に、乗算器の出力を表すことができる２つの１６ビットの数値など、ＣＳＡ木４７０からの２つの数値は、２４ビットの数値などの部分和がとられた数値とともに３入力２出力ＣＳＡ４７２に入力することができる。３入力２出力ＣＳＡ４７２の出力は、２つの数値であり得る。たとえば、２つの１６ビットの数値と２４ビットの数値とが加算される場合、３入力２出力ＣＳＡ４７２は、出力として２つの２４ビットの数値を生成することができる。いくつかの例では、ＣＳＡ木４７０と３入力２出力ＣＳＡ４７２とを結合して、単一の４入力２出力ＣＳＡにしてもよく、これを、ＣＳＡ木４７０および３入力２出力ＣＳＡ４７２と置き換えてもよい。結果として得られる４入力２出力ＣＳＡは、ＣＳＡ木４７０が通常受け取るのと同じ３つの入力と、３入力２出力ＣＳＡ４７２に通常入力される部分和がとられた数値とを入力として受け入れることができる。結果として得られる４入力２出力ＣＳＡは、３入力２出力ＣＳＡ４７２によって通常出力される２つの数値を出力することができる。

【0034】

３入力２出力ＣＳＡ４７２によって出力される数値は、たとえば、いくつかの並列分割加算器４８０によって加算することができる。シストリックアレイの最下部にあるＭＡＣユニットの場合、並列分割加算器は、最下部ＣＰＡとして実装することができる。たとえば、Ｂｏｏｔｈ３符号化および乗算が実行される場合、６つの４ビット並列分割加算器を使用して、この加算を実行することができる。この加算は、ＭＡＣユニット４５０の出力を表す、並列分割加算器４８０によって出力される数値を生成することができる。たとえば、ＭＡＣユニット４５０によって出力される数値は、部分的に冗長な形式で５つの桁上げビットとともに２４ビットを含むことができる。

【0035】

ＭＡＣユニット４５０では、ＭＡＣユニットにおいて従来見られる乗算器と加算器とを融合して、拡張ＭＡＣユニット設計を生成することができる。拡張ＭＡＣユニット設計は、従来のＭＡＣユニット設計と比較した場合、行列乗算を実行するのにより効率的であるものとしかつ最適化することができ、ハードウェアの数を少なくすることができ、よりエネルギー効率的であり得る。拡張ＭＡＣユニット設計は、ＤＮＮ用のアクセラレータに使用されるようなシストリックアレイにおける行列乗算に使用される場合、これらおよび他の利点を含むことができる。

【0036】

ＭＡＣユニット４５０に関連する上記の例は、Ｂｏｏｔｈ３符号化および乗算を使用するものとして説明することができる。しかしながら、２４ビットの数値の別の２４ビットの数値との乗算など、乗算および／または累積すべき数値の精度がより高い場合、ＭＡＣユニットに対するより高基数のＢｏｏｔｈ設計を使用することができる。いくつかの例では、こうした高基数のＢｏｏｔｈ設計が使用される場合、ハード倍数計算は、より複雑さを伴う可能性があるが、行列Ａの次のスカラー値ａをプリロードおよびラッチすることによって達成することができる。代替的にまたはさらに、ハード倍数計算をマルチサイクル演算として実行することができる。ＭＡＣユニットに対するより高基数のＢｏｏｔｈ設計は、ＣＳＡ木４７０の高さを増加させ、場合によっては並列分割加算器４８０を調整し、さらにＭＡＣユニットの構成要素によって入出力される数値の部分的に冗長な形式を調整することも含むことができる。たとえば、並列分割加算器４８０は、４８ビットの加算を実行するように使用される８つの６ビット加算器を含むことができる。

【0037】

ＭＡＣユニット内の乗算器の複雑性は、ｎビット×ｎビットの乗算に対してＯ（ｎ２）と表記することができる。乗算演算および乗算器までのＭＡＣの複雑性は、乗算に関与する被乗数の数値および乗数の数値によって影響を受ける可能性がある。特に、行列Ａのスカラー値ａなどの被乗数の精度は、ハード倍数計算、桁上げ保存加算器の木縮約の幅、および最終的な桁上げ伝播加算器に影響を与える可能性がある。行列Ｂのスカラー値ｂなど、被乗数で乗算されるもの、すなわち乗数の精度は、桁上げ保存加算器の木縮約の高さに影響を与える可能性がある。上述したように、いくつかの例では、ハード倍数は事前に計算することができる。こうした例では、縮約木の幅は、クリティカルパスではなく、大部分木の領域にあり得る。加えて、こうした例では、最終的な桁上げ伝播加算器を並列分割加算器と混在させることができる。したがって、こうした例では、行列Ａのスカラー値ａの精度は、行列Ｂのスカラー値ｂの精度ほど著しくは、計算のレイテンシに影響を与えない可能性がある。したがって、いくつかの例では、シストリックアレイに入力される値／数値に非対称精度を使用することができ、行列Ｂではなく行列Ａにより高い精度を使用することができる。これらの例では、より高い精度の数値を含む行列を行列Ａとして定義することができる。たとえば、行列Ａには１６ビットまたは３２ビットの整数を使用することができ、行列Ｂは８ビットの整数を含むことができる。

【0038】

前述の例では整数演算の使用を想定したが、図４Ａおよび図４Ｂに関連してそれぞれ説明したシストリックアレイ４００およびＭＡＣユニット４５０など、各ＭＡＣユニットを備えたシストリックアレイを使用して、浮動小数点演算を実行することができる。上記で提案したような技法は、整数演算に関して上記で説明したのと同様の方法で、仮数乗算のための浮動小数点演算に適用することができる。上記で提案したような技法はまた、整数演算に関して上記で説明したのと同様の方法で、ブロック浮動小数点演算および関連する数値フォーマットにも適用することもできる。図２に関連して説明した部分的に冗長な形式の数値２００などの部分的に冗長な形式の数値、および図４Ｂに関連して説明した並列分割加算器４８０などの並列分割加算器もまた、ＭＡＣユニットによる浮動小数点演算を実行するのに使用することができる。しかしながら、こうした浮動小数点演算を実行するためには、ＭＡＣユニットの設計に追加の変更が必要になる場合がある。

【0039】

図５は、行列Ａ５１０と行列Ｂ５２０とを乗算して出力行列Ｃ５３０を生成するために使用されるシストリックアレイ例５００を示す。特に、シストリックアレイ５００は、行列Ｃ５３０を生成する行列Ａ５１０と行列Ｂ５２０との密行列乗算に使用される重み保持手法を有する積和（ＭＡＣ）ユニットの２Ｄアレイであり得る。いくつかの例では、シストリックアレイ５００は、４×４のサイズであり得る。図５は、ハード倍数計算器５４０も示す。ハード倍数計算器５４０は、行列Ａ５１０のスカラー値ａを受け取ることができる。ハード倍数計算器５４０は、１つまたは複数のハード倍数を事前計算するために、受け取った数値に１つまたは複数の整数の倍数を乗算し、乗算の結果をシストリックアレイ５００内のＭＡＣユニットに出力することができる。特に、ハード倍数計算器５４０は、各々、値ａの、２のべき乗ではない任意の倍数であり得るハード倍数を出力することができる。たとえば、ハード倍数計算器５４０は、倍数±３ａ、±５ａ、および／または±７ａを出力することができる。ハード倍数の事前計算は、１クロックサイクルまたは数クロックサイクルで行うことができ、数サイクルにわたって再計算する必要はない可能性がある。したがって、ハード倍数の事前計算は、毎クロックサイクルで行う必要はない可能性があり、これにより、計算効率を高めることができる。したがって、ハード倍数の計算は、乗算のクリティカルパスから外れることができる。行列Ａ５１０のスカラー値、ハード倍数計算器５４０によって出力されるハード倍数、および行列Ｂ５２０のスカラー値ｂは、シストリックアレイ５００内の各ＭＡＣユニット内の融合された乗算器および加算器への入力として使用することができる。融合された乗算器および加算器は、行列Ｃ５３０の行および列を生成するために、行列Ａ５１０の各行および行列Ｂ５２０の各列のドット積を少なくとも部分的に計算する際に使用することができる。

【0040】

ＭＡＣユニットで使用される高基数Ｂｏｏｔｈ乗算器の面積オーバーヘッドは、ハード倍数計算器を共有することによって低減させることができる。１つの設計技法は、シストリックアレイ５００の最上部にあるように示されているハード倍数計算器５４０など、シストリックアレイの最上部にハード倍数計算器を配置することであり得る。このハード倍数計算器は、行列Ａ５１０がロードされるときに使用することができる。したがって、シストリックアレイ内の各ＭＡＣユニットは、ハード倍数計算器を含まなくてもよい。この技法を用いて、計算されたハード倍数をシストリックアレイ内のＭＡＣユニットに渡すために追加の配線が使用される場合がある。ハード倍数計算器をシストリックアレイの最上部に配置することにより、シストリックアレイ内のＭＡＣユニットの各々機能は変化しない可能性がある。たとえば、各ＭＡＣユニットで計算を実行するために使用することができる任意のソフトウェアは、行列Ａがシストリックアレイに押し込まれる前に、ハード倍数が計算されるか否かを知る必要はない。より詳細に説明するように、後の図６Ａは、計算されたハード倍数を渡すために使用することができる追加の配線とともに、シストリックアレイの最上部にハード倍数計算器を使用することができる技法を実証する。

【0041】

代替的に、行列Ａ５１０のスカラー値ａのリロードは、通常のクロック速度よりも速い速度であってもよい。たとえば、Ｂｏｏｔｈ３乗算器では、ａおよび３ａを最初にプッシュしてもよく、その後、これらの値によるフリップ／フロップのリロードを、通常のクロック速度の２倍で行ってもよい。たとえば、ａのスカラー値はクロックの立ち上がりエッジでリロードしてもよく、３ａはクロックの立ち下がりエッジでロードしてもよい。この例では、３ａなどのハード倍数を計算するために使用することができるハード倍数計算器ロジックも、このより高速なクロック速度に合わせて設計してもよい。より詳細に説明するように、後の図６Ｂは、通常のクロックレートよりも速いクロックレートでａのスカラー値をリロードすることができる技法を実証する。

【0042】

別の設計技法は、シストリックアレイ内の隣接するＭＡＣユニットの一部でハード倍数計算器を共有することであり得る。たとえば、シストリックアレイ内の垂直方向に隣接する２つのＭＡＣユニットまたは２×２のＭＡＣユニットが、１つのハード倍数計算器を共有することができる。この技法を使用して、局所配線であり得る追加の配線を使用してハード倍数を分配することができる。この技法を使用して、ａのスカラー値およびａのハード倍数を、代替的に、より高いクロックレートでリロードすることができる。

【0043】

図６Ａは、行列Ａと行列Ｂとを乗算するために使用される、シストリックアレイで使用することができるＭＡＣユニット６００を示す。たとえば、ＭＡＣユニット６００は、図４Ａおよび／または図５に関連して説明したシストリックアレイ内にあり得る。ＭＡＣユニット６００は、フリップ／フロップ６１０、６１２、６１４、６１６、６１８、および６２２と、乗算器６２０と、加算器６３０とを含むことができる。図６Ａは、追加のフリップ／フロップ６４０、６４２、６４４、および６４８も示し、これらは、シストリックアレイ内の他のＭＡＣユニット内にあり得る。

【0044】

フリップ／フロップ６１０および６１２は、行列Ａのスカラー値をプリロードおよびラッチすることができる。特に、フリップ／フロップ６１０は、行列Ａのスカラー値ａをプリロードするように使用することができ、この値をフリップ／フロップ６１２に渡すことができる。フリップ／フロップ６１２は、スカラー値ａをロードおよびラッチし、この値がリロードされるまで、計算においてこの値を数回再使用するように使用することができる。フリップ／フロップ６１４および６１６は、行列Ａのスカラー値のハード倍数をプリロードおよびラッチすることができる。特に、フリップ／フロップ６１４は、行列Ａのスカラー値ａの事前計算されたハード倍数をプリロードするように使用することができ、これらの値をフリップ／フロップ６１６に渡すことができる。フリップ／フロップ６１６は、スカラー値ａの事前計算されたハード倍数をロードおよびラッチし、これらの値がリロードされるまで、計算においてこれらの値を数回再使用するように使用することができる。フリップ／フロップ６１８は、行列Ｂのスカラー値ｂをロードするように使用することができる。フリップ／フロップ６１８にロードされたスカラー値ｂは、シストリックアレイのある行にあるＭＡＣユニットの各々において、逐次使用することができる。

【0045】

乗算器６２０は、フリップ／フロップ６１２および／またはフリップ／フロップ６１６に、ならびにフリップ／フロップ６１８にロードおよび／またはラッチされた値を乗算することができる。特に、乗算器６２０は、フリップ／フロップ６１２、６１６、および／または６１８から、スカラー値ａ、および／またはスカラー値ａのハード倍数、およびスカラー値ｂを入力として受け取ることができ、これらの値のうちの１つまたは複数を乗算して部分積を生成することができる。乗算器６２０は、乗算の結果をＭＡＣユニット６００に含まれる加算器６３０に出力することができる。フリップ／フロップ６２２は、シストリックアレイ内の先行するＭＡＣユニットによって出力された可能性のある部分和をロードおよび／またはラッチすることができる。加算器６３０は、乗算器６２０の出力と、フリップ／フロップ６２２にロードおよび／またはラッチされた部分和とを入力として受け取ることができ、これらの入力の和を部分和出力として出力することができる。この出力は、シストリックアレイ内の下流のＭＡＣユニットの、フリップ／フロップ６４４などのフリップ／フロップによって格納することができる。追加のフリップ／フロップ６４０、６４２、６４４、および６４８は、シストリックアレイ内の他のＭＡＣユニットにあり得る。シストリックアレイの最下行にないＭＡＣユニット内の加算器６３０によって出力される部分和であり得る中間結果は、最終結果として使用されない可能性がある。その代わりに、最終結果は、シストリックアレイの最下行にあるＭＡＣユニットの加算器によって出力することができる。

【0046】

図６Ｂは、行列Ａと行列Ｂとを乗算するために使用される、シストリックアレイで使用することができるＭＡＣユニット６５０を示す。たとえば、ＭＡＣユニット６５０は、図４Ａおよび／または図５に関連して説明したシストリックアレイにあり得る。ＭＡＣユニット６５０は、デマルチプレクサ６６２と、フリップ／フロップ６６０、６６４、６６６、６６８、および６７２と、乗算器６７０と、加算器６８０とを含むことができる。図６Ａは、追加のフリップ／フロップ６９０、６９２、および６９４も示し、これらはシストリックアレイ内の他のＭＡＣユニットにあり得る。

【0047】

フリップ／フロップ６６０は、行列Ａのスカラー値と、これらのスカラー値のハード倍数とをプリロードおよび／またはラッチすることができる。特に、フリップ／フロップ６６０は、行列Ａのスカラー値ａをプリロードするとともに、値ａの事前計算されたハード倍数をプリロードするように使用することができ、これらの値をデマルチプレクサ６６２に渡すことができる。フリップ／フロップ６６０は、ダブルデータレートで動作することができ、したがって、ダブルデータレートフリップ／フロップであるとみなすことができる。デマルチプレクサ６６２は、スカラー値ａ、および事前に計算されたａのハード倍数をロードおよびラッチし、これらの値をそれぞれフリップ／フロップ６６４および６６６に出力するように使用することができる。フリップ／フロップ６６４は、スカラー値ａをロードおよびラッチし、この値がリロードされるまで、計算においてこの値を数回再使用するように使用することができる。フリップ／フロップ６６６は、スカラー値ａの事前計算されたハード倍数をロードおよびラッチし、これらの値をリロードされるまで計算で数回再使用するように使用することができる。フリップ／フロップ６６８は、行列Ｂのスカラー値ｂをロードするように使用することができる。フリップ／フロップ６６８にロードされたスカラー値ｂは、シストリックアレイのある行にあるＭＡＣユニットの各々において、逐次使用することができる。

【0048】

乗算器６７０は、フリップ／フロップ６６４および／またはフリップ／フロップ６６６に、ならびにフリップ／フロップ６６８にロードおよび／またはラッチされた値を乗算することができる。特に、乗算器６７０は、フリップ／フロップ６６４、６６６、および／または６６８から、スカラー値ａ、および／またはスカラー値ａのハード倍数、ならびにスカラー値ｂを入力として受け取ることができ、これらの値のうちの１つまたは複数を乗算して部分積を生成することができる。乗算器６７０は、乗算の結果をＭＡＣユニット６５０に含まれる加算器６８０に出力することができる。フリップ／フロップ６７２は、たとえば、シストリックアレイ内の先行するＭＡＣユニットによって出力された可能性のある部分和をロードおよび／またはラッチすることができる。加算器６８０は、乗算器６７０の出力と、フリップ／フロップ６７２にロードおよび／またはラッチされた部分和とを入力として受け取ることができ、これらの入力の和を部分和出力として出力することができる。この出力は、シストリックアレイ内の下流のＭＡＣユニットの、フリップ／フロップ６９２などのフリップ／フロップによって格納することができる。追加のフリップ／フロップ６９０、６９２、および６９４は、シストリックアレイ内の他のＭＡＣユニットにあり得る。シストリックアレイの最下行にないＭＡＣユニット内の加算器６８０によって出力される部分和である可能性のある中間結果は、最終結果として使用されない可能性がある。その代わりに、最終結果は、シストリックアレイの最下行にあるＭＡＣユニットの加算器によって出力することができる。

【0049】

行列Ｂのｂの符号化されていないスカラー値の代わりに、Ｂｏｏｔｈ符号化されたスカラー値ｂをストリーミングすることにより、シストリックアレイ内の各ＭＡＣユニットの配線の数が増加する可能性がある。たとえば、Ｂｏｏｔｈ３符号化を使用する８ビット乗算は、各々が５本の配線を使用する、３組のＢｏｏｔｈ符号化を使用する可能性がある。この例では、ａ、２ａ、３ａ、４ａ、および符号に配線を使用することができ、ａ、２ａ、３ａ、４ａはワンホットエンコードされ、０を除き、これら４つはゼロであり得る。この例では、符号化されていない８ビットデータに対して配線が８本であるのと比較して、１５本の配線が使用される可能性がある。配線の数を減少させる１つの方法は、別の符号化を使用することであり得る。たとえば、Ｂｏｏｔｈ３符号化に、４ビットの２の補数符号付き表現を使用することができる。この例では、－４と＋４との間のすべてのあり得る場合をカバーするために、－８と＋７との間の数値を使用することができる。この例では、図４Ｂに関連して説明したＭＡＣユニット４５０などの各ＭＡＣユニットは、図４Ｂに関連して説明したマルチプレクサ４６０などの各マルチプレクサを駆動するためにデコーダを使用することができる。行列Ｂのスカラー値ｂを入力する別の手法は、図６Ｂを参照して上述したものと同様の、より高いデータレートを使用することであり得る。この手法を使用して、行列Ａのスカラー値ａおよび関連するハード倍数値は、ダブルデータレートでプリロードされる。たとえば、この手法を使用すると、８本の配線を使用して、通常の２倍のクロックレート、すなわち２倍のデータレートで行列ＢのＢｏｏｔｈ符号化されたスカラー値ｂを転送および／またはロードすることができる。

【0050】

いくつかの例では、出力保持シストリックアレイを使用することができる。出力保持シストリックアレイは、各ＭＡＣユニット内に乗算器のオペランドを保持／格納しなくてもよい。加えて、上述したものと同様に、事前計算されたハード倍数を、出力保持シストリックアレイ内で垂直方向下方に渡すことができる。これらの例では、行列ＢのＢｏｏｔｈ符号化されたスカラー値ｂをストリーミングすることができる。さらに、これらの例では、並列分割加算器とともに部分的に冗長な形式の数値を使用することができる。

【0051】

図７は、少なくとも１つの積和演算の結果を計算するプロセス例７００のフロー図である。プロセス７００は、図４Ｂ、図６Ａ、および図６Ｂに関連して説明したＭＡＣユニットなどのＭＡＣユニットのさまざまな要素によって実行することができる。

【0052】

ブロック７１０では、図４Ｂに関連して説明したフリップ／フロップ４５８などの第１のフリップ／フロップを使用して、第１の数値、および第１の数値に基づく倍数値をラッチすることができる。たとえば、行列Ａのスカラー値ａ、およびハード倍数の数値をラッチすることができる。ラッチされた数値は、リロードおよび／または再ラッチされるまで、シストリックアレイ内の計算において数回再使用することができる。これらのラッチされた数値は、マルチプレクサに出力することができる。

【0053】

ブロック７２０において、図４Ｂに関連して説明したフリップ／フロップ４６２などの第２のフリップ／フロップを使用して、第２の数値をロードすることができる。たとえば、行列ＢのＢｏｏｔｈ符号化されたスカラー値ｂをロードすることができる。ロードされた数値は、ＭＡＣユニットのシストリックアレイ内にストリーミングすることができる。

【0054】

ブロック７３０において、図４Ｂに関連して説明したマルチプレクサ４６０などのマルチプレクサを使用して、第１の数値、倍数値、および第２の数値に基づいて複数の部分積を生成することができる。たとえば、マルチプレクサは、ａの値、ｂのＢｏｏｔｈ符号化された値、および受け取ったａのハード倍数を入力とし、これらの数値に基づいて複数の部分積を出力することができる。

【0055】

ブロック７４０において、図４Ｂに関連して説明したＣＳＡ木４７０および／または３入力２出力ＣＳＡ４７２などの少なくとも１つの桁上げ保存加算器によって、複数の部分積および部分和を受け取ることができる。複数の部分積は、図４Ｂに関連して説明したマルチプレクサ４６０などのマルチプレクサから受け取ることができる。部分和は、図４Ｂに関連して説明したフリップ／フロップ４７４などのフリップ／フロップによってロードし、そうしたフリップ／フロップから受け取ることができる。

【0056】

ブロック７５０では、図４Ｂに関連して説明した３入力２出力ＣＳＡ４７２など、少なくとも１つの桁上げ保存加算器を使用して、複数の部分積と部分和とに基づいて、少なくとも２つの部分和がとられた数値を生成することができる。たとえば、図４Ｂに関連して説明したＣＳＡ木４７０によって出力された部分的に冗長な形式の２つの部分和がとられた１６ビットの数値を、図４Ｂに関連して説明したフリップ／フロップ４７４からの部分和の部分的に冗長な形式の２４ビットの数値および５つの桁上げビットに加算することができる。この結果は、３つの数値を入力として受け入れ、２つの数値を出力することができる、３入力２出力ＣＳＡ４７２を使用して、縮約することができる。特に、２つの１６ビットの数値など、ＣＳＡ木４７０からの２つの数値を、２４ビットの数値などの部分和の数値とともに３入力２出力ＣＳＡ４７２に入力することができる。少なくとも１つの桁上げ保存加算器の出力は、２つの部分和がとられた数値であり得る。たとえば、２つの１６ビットの数値および２４ビットの数値が加算される場合、３入力２出力ＣＳＡ４７２は、並列分割加算器に出力することができる２つの２４ビットの数値を出力として生成することができる。

【0057】

ブロック７６０では、図４Ｂに関連して説明した並列分割加算器４８０などの複数の並列分割加算器を使用して、少なくとも２つの部分和がとられた数値を受け取ることができる。先の例を続けると、３入力２出力ＣＳＡ４７２は、出力として、並列分割加算器４８０によって受け取られる少なくとも２つの部分和がとられた数値であり得る２つの２４ビットの数値を生成することができる。

【0058】

ブロック７７０では、少なくとも２つの部分和がとられた数値に対して加算演算を実行して、結果を計算することができる。桁上げ保存加算器によって出力された数値は、いくつかの並列分割加算器４８０などの並列分割加算器によって加算することができる。たとえば、Ｂｏｏｔｈ３符号化および乗算が実行される場合、この加算を実行するために６つの４ビット並列分割加算器を使用することができる。この加算により、並列分割加算器によって出力される数値を生成することができる。この数値は、処理７００を実行することができるＭＡＣユニットの出力を表すことができる。先の例を続けると、図４Ｂに関連して説明したＭＡＣユニット４５０などのＭＡＣユニットによって出力される数値は、部分的に冗長な形式で５つの桁上げビットとともに２４ビットを含むことができる。

【0059】

プロセス７００の動作を特定の順序で説明しているが、順序は変更してもよく、動作は並行して実行してもよいことが理解されるべきである。さらに、動作を追加または省略してもよいことが理解されるべきである。

【0060】

図８は、電子デバイス例８００のブロック図を示す。電子デバイス８００は、１つまたは複数のｘＰＵなどの１つまたは複数のプロセッサ８１０と、システムメモリ８２０と、バス８３０と、ネットワーキングインターフェース８４０と、ストレージ、出力デバイスインターフェース、入力デバイスインターフェースなどの他の構成要素（図示せず）とを含むことができる。プロセッサ８１０、システムメモリ８２０、ネットワーキングインターフェース８４０、および他の構成要素の間で通信するために、バス８３０を使用することができる。電子デバイス８００の任意のまたはすべての構成要素を、本開示の主題とともに使用することができる。

【0061】

所望の構成に応じて、プロセッサ８１０は、限定されないが、テンソルプロセッシングユニット（ＴＰＵ：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組み合わせを含む任意のタイプのものであり得る。プロセッサ８１０は、図４Ａおよび／または図５に関連して説明したシストリックアレイなどのシストリックアレイを含むことができる。プロセッサ８１０は、レベル１キャッシュ８１１およびレベル２キャッシュ８１２などのもう１つのレベルのキャッシングと、プロセッサコア８１３と、１つまたは複数のＭＡＣユニット８５０と、レジスタ８１４とを含むことができる。プロセッサコア８１３は、１つまたは複数の算術論理演算装置（ＡＬＵ）、１つまたは複数の浮動小数点演算装置（ＦＰＵ）、１つまたは複数のＤＳＰコア、またはそれらの任意の組み合わせを含むことができる。いくつかの例では、１つまたは複数のＭＡＣユニット８５０は、プロセッサコア８１３内に実装することができる。プロセッサ８１０とともにメモリコントローラ８１５も使用することができ、またはいくつかの実施態様では、メモリコントローラ８１５は、プロセッサ８１０の内部部品であり得る。

【0062】

所望の構成に応じて、物理メモリ８２０は、限定されないが、ＲＡＭなどの揮発性メモリ、ＲＯＭなどの不揮発性メモリ、フラッシュメモリなど、またはそれらの任意の組み合わせを含む任意のタイプのものであり得る。物理メモリ８２０は、オペレーティングシステム８２１と、１つまたは複数のアプリケーション８２２と、サービスデータ８２５を含むことができるプログラムデータ８２４とを含むことができる。非一時的コンピュータ可読媒体プログラムデータ８２４は、１つまたは複数の処理デバイスによって実行されると、積和演算８２３の結果を計算するプロセスを実装する命令を格納することを含むことができる。いくつかの例では、１つまたは複数のアプリケーション８２２は、オペレーティングシステム８２１上でプログラムデータ８２４およびサービスデータ８２５を用いて動作するように配置することができる。

【0063】

電子デバイス８００は、基本構成８０１と任意の必要なデバイスおよびインターフェースとの間の通信を容易にする、追加の特徴または機能、および追加のインターフェースを有することができる。

【0064】

物理メモリ８２０は、コンピュータ記憶媒体の一例であり得る。コンピュータ記憶媒体としては、限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、または所望の情報を記憶するために使用することができ、電子デバイス８００によってアクセスすることができる他の任意の媒体が挙げられる。こうした任意のコンピュータ記憶媒体は、デバイス８００の一部であり得る。

【0065】

ネットワークインターフェース８４０は、電子デバイス８００をネットワーク（図示せず）におよび／または別の電子デバイス（図示せず）に結合することができる。このように、電子デバイス８００は、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、イントラネット、またはインターネットなどのネットワークのうちの１つのネットワークなど、電子デバイスのネットワークの一部であり得る。いくつかの例では、電子デバイス８００は、ネットワークへのネットワーク接続を形成するネットワーク接続インターフェースと、別のデバイスとのテザリング接続を形成するローカル通信接続インターフェースとを含むことができる。接続は、有線であってもまたは無線であってもよい。電子デバイス８００は、ネットワーク接続とテザリング接続とをブリッジして、ネットワークインターフェース８４０を介して他のデバイスをネットワークに接続することができる。

【0066】

１つまたは複数のＭＡＣユニット８５０を使用して、行列乗算のために実行される必要がある演算などの積和演算を実行することができる。１つまたは複数のＭＡＣユニット８５０は、シストリックアレイの一部であり得る。たとえば、ＭＡＣユニット８５０とそれが動作するシストリックアレイとは、ＤＮＮ実施態様に使用することができるアクセラレータにおいて使用することができる。１つまたは複数のＭＡＣユニット８５０は、上述したＭＡＣユニットのうちの任意の１つであり得る。たとえば、ＭＡＣユニット８５０は、図４Ｂに関連して説明したＭＡＣユニット４５０、図６Ａに関連して説明したＭＡＣユニット６００、および／または図６Ｂに関連して説明したＭＡＣユニット６５０と同様であるか、またはそれらを含むことができる。

【0067】

ＭＡＣユニット８５０は、本明細書で説明した融合された乗算器もしくは加算器または他の拡張機能を含むものなど、拡張ＭＡＣユニットであるとみなすことができる。こうした拡張ＭＡＣユニットは、従来のＭＡＣユニットと比較した場合、より効率的であり、実用的であり、行列乗算を実行するために最適化されたものとすることができ、ハードウェアをより少なくすることができ、よりエネルギー効率的であり得る。拡張ＭＡＣユニットは、ＤＮＮ用のアクセラレータに使用されるようなシストリックアレイにおける行列乗算に使用される場合、これらおよび他の利点を含むことができる。

【0068】

電子デバイス８００は、スピーカ、ヘッドホン、イヤホン、携帯電話、スマートフォン、スマートウォッチ、携帯情報端末（ＰＤＡ）、パーソナルメディアプレーヤーデバイス、タブレットコンピュータ（タブレット）、ワイヤレスウェブウォッチデバイス、パーソナルヘッドセットデバイス、ウェアラブルデバイス、特定用途向けデバイス、または上記の機能のうちの任意のものを含むハイブリッドデバイスなど、小型フォームファクタのポータブル（またはモバイル）電子デバイスの一部として実装することができる。電子デバイス８００はまた、ラップトップコンピュータ構成および非ラップトップコンピュータ構成の両方を含むパーソナルコンピュータとして実装することもできる。電子デバイス８００は、サーバ、アクセラレータ、または大規模システムとして実装することもできる。

【0069】

本開示の態様は、コンピュータ実装プロセス、システムとして、またはメモリデバイスもしくは非一時的コンピュータ可読記憶媒体などの製造品として実装することができる。コンピュータ可読記憶媒体は、電子デバイスによって読み取り可能なものとすることができ、電子デバイスまたは他のデバイスに本開示に記載するプロセスおよび技法を実行させるための命令を含むことができる。コンピュータ可読記憶媒体は、揮発性コンピュータメモリ、不揮発性コンピュータメモリ、ソリッドステートメモリ、フラッシュドライブ、および／もしくは他のメモリ、または他の非一時的および／もしくは一時的媒体によって実装することができる。本開示の態様は、異なる形態のソフトウェア、ファームウェア、および／またはハードウェアで実行することができる。さらに、本開示の教示は、たとえば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のコンポーネントによって実行することができる。

【0070】

本開示の態様は、単一のデバイス上で実行してもよく、または、複数のデバイス上で実行してもよい。たとえば、本明細書に記載した１つまたは複数の構成要素を含むプログラムモジュールは、異なるデバイスに位置していてもよく、各々、本開示の１つまたは複数の態様を実行してもよい。本開示で使用する場合、「ある（ａ）」または「１つの」という用語は、別段の断りのない限り、１つまたは複数の項目を含むことができる。さらに、「～に基づく」という語句は、別段の断りのない限り、「少なくとも一部～に基づく」を意味するように意図されている。

【0071】

本開示の上記の態様は、例示的であるように意図されている。これらは、本開示の原理および適用を説明するために選択されたものであり、網羅的であるようにも、または本開示を限定するようにも意図されていない。開示した態様の多くの変更および変形は、当業者には明らかであり得る。

【0072】

別段の断りのない限り、前述の代替例は相互に排他的なものではなく、一意の利点を達成するようにさまざまな組み合わせで実装することができる。上述した特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるため、上述した例の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく説明するものとして解釈されるべきである。加えて、本明細書に記載した例の提供、ならびに「など」、「～を含む」などのように表した句は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、それらの例は、多くの可能な例のうちの１つのみを例示するように意図されている。さらに、異なる図面における同じの参照番号は、同じかまたは同様の要素を特定することができる。

【0073】

本願明細書では多くの例を記載し、それらは単に例示を目的として提示している。記載した例は、いかなる意味においても限定的なものではなく、また限定的であるように意図されていない。当業者であれば、開示した主題は、構造的、論理的、ソフトウェア、および電気的な変更など、さまざまな変更および改変を伴って実施することができることを理解するであろう。記載した特徴は、明示的に別段の指定がない限り、それらを説明する際に参照した１つまたは複数の特定の例または図面で使用されることに限定されないことが理解されるべきである。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【手続補正書】

【提出日】2023-08-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

２つの数値を乗算して結果を生成する積和（ＭＡＣ）ユニットであって、
第１の数値をラッチし、前記第１の数値と前記第１の数値に基づく倍数値とを出力するように構成された第１のフリップ／フロップと、
第２の数値をロードし、前記第２の数値を出力するように構成された第２のフリップ／フロップと、
前記第１のフリップ／フロップおよび前記第２のフリップ／フロップと通信する、前記第１のフリップ／フロップから前記第１の数値および前記倍数値を受け取るとともに、前記第２のフリップ／フロップから前記第２の数値を受け取り、前記第１の数値、前記倍数値および前記第２の数値に基づいて複数の部分積を出力するように構成された、マルチプレクサと、
前記マルチプレクサと通信する、前記複数の部分積と部分和とを受け取り、前記複数の部分積と前記部分和とに基づいて少なくとも２つの部分和がとられた数値を出力するように構成された、少なくとも１つの桁上げ保存加算器と、
前記少なくとも１つの桁上げ保存加算器と通信する、前記少なくとも２つの部分和がとられた数値を受け取り、前記少なくとも２つの部分和がとられた数値に対して加算演算を実行し、結果を出力するように構成された、複数の並列分割加算器と、
を備えるＭＡＣユニット。

【請求項2】

前記第２の数値が、Ｂｏｏｔｈ符号化を用いて符号化される、請求項１に記載のＭＡＣユニット。

【請求項3】

前記第１のフリップ／フロップと通信する、プリロードされた数値を受け取り、前記第１のフリップ／フロップに前記倍数値を出力するように構成された、少なくとも１つのハード倍数計算器をさらに備える、請求項１または２に記載のＭＡＣユニット。

【請求項4】

前記少なくとも１つの桁上げ保存加算器が、多入力２出力桁上げ保存加算器のみを含む、請求項１または２に記載のＭＡＣユニット。

【請求項5】

前記少なくとも１つの桁上げ保存加算器が、桁上げ保存加算器および多入力２出力桁上げ保存加算器を含む、請求項１または２に記載のＭＡＣユニット。

【請求項6】

前記多入力２出力桁上げ保存加算器と通信する、前記部分和をロードし、前記部分和を前記多入力２出力桁上げ保存加算器に出力するように構成された、第３のフリップ／フロップをさらに備える、請求項５に記載のＭＡＣユニット。

【請求項7】

前記第３のフリップ／フロップが、別のＭＡＣユニットから出力された部分和から前記部分和をロードするように構成されている、請求項６に記載のＭＡＣユニット。

【請求項8】

前記複数の並列分割加算器が、部分的に冗長な形式の数値のセグメントに対して並列に動作するように構成されている、請求項１または２に記載のＭＡＣユニット。

【請求項9】

前記第１のフリップ／フロップが、前記第１の数値を通常の２倍のクロック速度でラッチするように構成されている、請求項１または２に記載のＭＡＣユニット。

【請求項10】

前記ＭＡＣユニットが、乗算器および加算器の融合バージョンを使用する拡張ＭＡＣユニットである、請求項１または２に記載のＭＡＣユニット。

【請求項11】

前記ＭＡＣユニットがシストリックアレイ内にある、請求項１または２に記載のＭＡＣユニット。

【請求項12】

少なくとも１つの積和演算の結果を計算する方法であって、
第１のフリップ／フロップを使用して、第１の数値と、前記第１の数値に基づく倍数値とをラッチすることと、
第２のフリップ／フロップを使用して第２の数値をロードすることと、
マルチプレクサを使用して、前記第１の数値、前記倍数値、および前記第２の数値に基づいて複数の部分積を生成することと、
少なくとも１つの桁上げ保存加算器を使用して、前記複数の部分積と部分和とを受け取ることと、
前記少なくとも１つの桁上げ保存加算器を使用して、前記複数の部分積と前記部分和とに基づいて少なくとも２つの部分和がとられた数値を生成することと、
複数の並列分割加算器を使用して、前記少なくとも２つの部分和がとられた数値を受け取ることと、
前記少なくとも２つの部分和がとられた数値に対して加算演算を実行して、結果を計算することと、を含む方法。

【請求項13】

前記第２の数値が、Ｂｏｏｔｈ符号化を用いて符号化される、請求項１２に記載の方法。

【請求項14】

前記倍数値が、少なくとも１つのハード倍数計算器を用いて計算される、請求項１２または１３に記載の方法。

【請求項15】

前記部分和をロードすることと、
前記部分和を前記少なくとも１つの桁上げ保存加算器に出力することと、をさらに含む、請求項１２または１３に記載の方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正の内容】

【0010】

主題のさらに別の態様は、少なくとも１つの積和演算の結果を計算する方法を含む。第１のフリップ／フロップを使用して、第１の数値および第１の数値に基づく倍数値をラッチすることができる。第２のフリップ／フロップを使用して、第２の数値をロードすることができる。マルチプレクサを使用して、第１の数値、倍数値、および第２の数値に基づいて複数の部分積を生成することができる。マルチプレクサから、複数の部分積を受け取ることができる。少なくとも１つの桁上げ保存加算器を使用して、部分和を受け取ることができる。少なくとも１つの桁上げ保存加算器を使用して、複数の部分積と部分和とに基づいて少なくとも２つの部分和がとられた数値を生成することができる。複数の並列分割加算器を使用して、少なくとも２つの部分和がとられた数値を受け取ることができる。少なくとも２つの部分和がとられた数値に対して加算演算を実行して、結果を計算することができる。第２の数値は、Ｂｏｏｔｈ符号化を用いて符号化することができる。倍数値は、少なくとも１つのハード倍数計算器を用いて計算することができる。本プロセスは、部分和をロードすることと、部分和を少なくとも１つの桁上げ保存加算器に出力することとを含むことができる。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００６１

【補正方法】変更

【補正の内容】

【0061】

所望の構成に応じて、プロセッサ８１０は、限定されないが、テンソルプロセッシングユニット（ＴＰＵ：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組み合わせを含む任意のタイプのものであり得る。プロセッサ８１０は、図４Ａおよび／または図５に関連して説明したシストリックアレイなどのシストリックアレイを含むことができる。プロセッサ８１０は、レベル１キャッシュ８１１およびレベル２キャッシュ８１２などの１つまたは複数のレベルのキャッシングと、プロセッサコア８１３と、１つまたは複数のＭＡＣユニット８５０と、レジスタ８１４とを含むことができる。プロセッサコア８１３は、１つまたは複数の算術論理演算装置（ＡＬＵ）、１つまたは複数の浮動小数点演算装置（ＦＰＵ）、１つまたは複数のＤＳＰコア、またはそれらの任意の組み合わせを含むことができる。いくつかの例では、１つまたは複数のＭＡＣユニット８５０は、プロセッサコア８１３内に実装することができる。プロセッサ８１０とともにメモリコントローラ８１５も使用することができ、またはいくつかの実施態様では、メモリコントローラ８１５は、プロセッサ８１０の内部部品であり得る。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００６７

【補正方法】変更

【補正の内容】

【0067】

ＭＡＣユニット８５０は、本明細書で説明した融合された乗算器および加算器または他の拡張機能を含むものなど、拡張ＭＡＣユニットであるとみなすことができる。こうした拡張ＭＡＣユニットは、従来のＭＡＣユニットと比較した場合、より効率的であり、実用的であり、行列乗算を実行するために最適化されたものとすることができ、ハードウェアをより少なくすることができ、よりエネルギー効率的であり得る。拡張ＭＡＣユニットは、ＤＮＮ用のアクセラレータに使用されるようなシストリックアレイにおける行列乗算に使用される場合、これらおよび他の利点を含むことができる。

【国際調査報告】