特表 2024-527467 ニューラルネットワークのための狭いデータフォーマットのスパース化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-25

(54)【発明の名称】ニューラルネットワークのための狭いデータフォーマットのスパース化

(51)【国際特許分類】

   G06N 3/0495 20230101AFI20240718BHJP

   G06F 17/16 20060101ALI20240718BHJP

【ＦＩ】

G06N3/0495

G06F17/16 P

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023575388

(86)(22)【出願日】2022-05-12

(85)【翻訳文提出日】2023-12-06

(86)【国際出願番号】 US2022028875

(87)【国際公開番号】W WO2022265746

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】17/349,848

(32)【優先日】2021-06-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ダルビッシュ ロハニ，ビタ

(72)【発明者】

【氏名】エランゴ，ヴェンムギル

(72)【発明者】

【氏名】チュン，エリック エス．

(72)【発明者】

【氏名】バーガー，ダグラス シー．

(72)【発明者】

【氏名】ヘデス，マテウス シー．

(72)【発明者】

【氏名】シャー，ニシット

(72)【発明者】

【氏名】シャフィプール，ラソウル

(72)【発明者】

【氏名】モア，アンキット

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056AA06

5B056BB26

5B056BB35

5B056BB38

5B056BB71

5B056CC01

5B056HH03

5B056HH05

(57)【要約】

本開示の実施形態は、ニューラルネットワークのための狭いデータフォーマットをスパース化するためのシステム及び方法を含む。ニューラルネットワークにおける複数の活性化値は、多重化ユニットに提供される。複数の重み値に対してスパース化演算のセットが実行されて、複数の重み値のサブセット及び複数の重み値に関連するマスク値を生成する。複数の重み値のサブセットは、行列乗算ユニットに提供される。多重化ユニットは、マスク値に基づいて複数の活性化値のサブセットを生成し、複数の活性化値のサブセットを行列乗算ユニットに提供する。行列乗算ユニットは、複数の重み値のサブセット及び複数の活性化値のサブセットに対して行列乗算演算のセットを実行して、出力のセットを生成する。

【特許請求の範囲】

【請求項1】

装置の少なくとも１つの処理ユニットによって実行可能なプログラムを記憶している機械可読媒体であって、前記プログラムは、
ニューラルネットワークにおける第１層から受信した複数の活性化値を、前記ニューラルネットワークにおける第２層を実装するように構成された多重化ユニットに提供し、前記複数の活性化値は、第１の複数の下位ビット仮数値及び第１共有指数値を使用して表され、
前記ニューラルネットワークにおける前記第２層に含まれる複数の重み値に対して、スパース化演算のセットを実行して、前記複数の重み値のサブセットと前記複数の重み値に関連する複数のマスク値とを生成し、前記複数の重み値は、第１の複数の下位ビット仮数値及び第２共有指数値を使用して表され、
前記複数の重み値のサブセットを、前記ニューラルネットワークにおける前記第２層を実装するように構成された行列乗算ユニットに提供する、
ための命令のセットを含み、
前記多重化ユニットは、前記複数のマスク値に基づいて前記複数の活性化値のサブセットを生成し、前記複数の活性化値のサブセットを前記行列乗算ユニットに提供するように更に構成され、
前記行列乗算ユニットは、前記複数の重み値のサブセット及び前記複数の活性化値のサブセットに対して行列乗算演算のセットを実行して出力のセットを生成するように構成され、
前記複数の重み値に対してスパース化演算のセットを実行することが、前記行列乗算ユニットが前記複数の活性化値と前記複数の重み値との積を生成するために実行するサイクル数を減少させる、機械可読媒体。

【請求項2】

前記スパース化演算のセットを実行することは、
定義されたグループサイズに基づいて、前記複数の重み値を重み値のグループに分割することと、
前記重み値のグループ内の重み値の各グループについて、該重み値のグループ内の、最も高い値を有する重み値の定義された比率を決定することと、
を含み、
前記複数の重み値のサブセットは、前記重み値のグループ内の重み値の各グループについて、前記複数の重み値のサブセットに、重み値の決定された比率の重み値を含めることによって生成され、
前記複数の重み値に関連する前記複数のマスク値は、前記複数の重み値の各重み値について、
前記重み値が前記複数の重み値のサブセットに含まれる場合には、前記重み値に関連する前記複数のマスク値に前記マスク値として第１の定義された値を格納し、
前記重み値が前記複数の重み値のサブセットに含まれない場合には、前記重み値に関連する前記複数のマスク値に前記マスク値として第２の定義された値を格納する、
ことによって生成される、請求項１に記載の機械可読媒体。

【請求項3】

前記プログラムは、前記出力のセットに対してベクトル演算のセットを実行するための命令のセットを更に含む、請求項１に記載の機械可読媒体。

【請求項4】

前記プログラムは、前記ベクトル演算のセットを実行した後、前記行列乗算ユニットによって生成された前記出力のセットに対して量子化演算のセットを実行して、前記出力のセットの精度を低下させるための命令のセットを更に含む、請求項３に記載の機械可読媒体。

【請求項5】

前記プログラムは、量子化された前記出力のセットを前記ニューラルネットワークの第３層への入力として送信するための命令のセットを更に含む、請求項４に記載の機械可読媒体。

【請求項6】

前記プログラムは、前記量子化演算のセットを実行した後、量子化された前記出力のセットに対してスパース化演算のセットを実行して、量子化された前記出力のセットにスパース性を追加するための命令のセットを更に含む、請求項４に記載の機械可読媒体。

【請求項7】

前記プログラムは、前記量子化演算のセットを実行する前、前記出力のセットに対してスパース化演算のセットを実行して、前記出力のセットにスパース性を追加するための命令のセットを更に含む、請求項４に記載の機械可読媒体。

【請求項8】

前記プログラムは、前記ベクトル演算のセットを実行する前、前記行列乗算ユニットによって生成された前記出力のセットに対して量子化演算のセットを実行して、前記出力のセットの精度を低下させるための命令のセットを更に含む、請求項３に記載の機械可読媒体。

【請求項9】

前記第１の複数の下位ビット仮数値の各下位ビット仮数値は、４ビット以下を含み、第２の複数の下位ビット仮数値の各下位ビット仮数値は、４ビット以下を含む、請求項１に記載の機械可読媒体。

【請求項10】

方法であって、
ニューラルネットワークにおける第１層から受信した複数の活性化値を、前記ニューラルネットワークにおける第２層を実装するように構成された多重化ユニットに提供するステップであって、前記複数の活性化値は、第１の複数の下位ビット仮数値及び第１共有指数値を使用して表される、ステップと、
前記ニューラルネットワークにおける前記第２層に含まれる複数の重み値に対して、スパース化演算のセットを実行して、前記複数の重み値のサブセットと前記複数の重み値に関連する複数のマスク値とを生成するステップであって、前記複数の重み値は、第１の複数の下位ビット仮数値及び第２共有指数値を使用して表される、ステップと、
前記複数の重み値のサブセットを、前記ニューラルネットワークにおける前記第２層を実装するように構成された行列乗算ユニットに提供するステップと、
を含み、
前記多重化ユニットは、前記複数のマスク値に基づいて前記複数の活性化値のサブセットを生成し、前記複数の活性化値のサブセットを前記行列乗算ユニットに提供するように更に構成され、
前記行列乗算ユニットは、前記複数の重み値のサブセット及び前記複数の活性化値のサブセットに対して行列乗算演算のセットを実行して出力のセットを生成するように構成され、
前記複数の重み値に対してスパース化演算のセットを実行することが、前記行列乗算ユニットが前記複数の活性化値と前記複数の重み値との積を生成するために実行するサイクル数を減少させる、方法。

【請求項11】

前記スパース化演算のセットを実行するステップは、
定義されたグループサイズに基づいて、前記複数の重み値を重み値のグループに分割するステップと、
前記重み値のグループ内の重み値の各グループについて、該重み値のグループ内の、最も高い値を有する重み値の定義された比率を決定するステップと、
を含み、
前記複数の重み値のサブセットは、前記重み値のグループ内の重み値の各グループについて、前記複数の重み値のサブセットに、重み値の決定された比率の重み値を含めることによって生成され、
前記複数の重み値に関連する前記複数のマスク値は、前記複数の重み値の各重み値について、
前記重み値が前記複数の重み値のサブセットに含まれる場合には、前記重み値に関連する前記複数のマスク値に前記マスク値として第１の定義された値を格納し、
前記重み値が前記複数の重み値のサブセットに含まれない場合には、前記重み値に関連する前記複数のマスク値に前記マスク値として第２の定義された値を格納する、
ことによって生成される、請求項１０に記載の方法。

【請求項12】

前記出力のセットに対してベクトル演算のセットを実行するステップ、を更に含む請求項１０に記載の方法。

【請求項13】

前記ベクトル演算のセットを実行するステップの後、前記行列乗算ユニットによって生成された前記出力のセットに対して量子化演算のセットを実行して、前記出力のセットの精度を低下させるステップ、を更に含む請求項１２に記載の方法。

【請求項14】

量子化された前記出力のセットを前記ニューラルネットワークの第３層への入力として送信するステップ、を更に含む請求項１３に記載の方法。

【請求項15】

前記量子化演算のセットを実行するステップの後、量子化された前記出力のセットに対してスパース化演算のセットを実行して、量子化された前記出力のセットにスパース性を追加するステップ、を更に含む請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はコンピューティングハードウェアに関する。より具体的には、本開示はニューラルネットワークをトレーニング及び使用するための技術に関する。

【背景技術】

【0002】

ニューラルネットワークは、様々な異なるアプリケーション（例えば、画像分類、コンピュータビジョン、自然言語処理、音声認識、書面認識等）に使用される機械学習モデルである。ニューラルネットワークは、それを通じてデータセットを実行し、ニューラルネットワークからの結果を既知の結果と比較し、その違いに基づいてネットワークを更新することによって、特定の目的のためにトレーニングされることがある。

【発明の概要】

【0003】

ディープニューラルネットワーク（Deep neural network （DNN））は、より良い精度を達成するために、過去数年間で指数関数的にサイズが大きくなっている。その高い精度にもかかわらず、DNNは通常、トレーニングと推論の両方でかなりの計算コストを必要とする。DNNに関連する計算コストを削減し及び／又はDNNのサイズを縮小したりするために、異なるタイプの技術を使用することができる。１つのタイプの技術は、スパース性技術の追加である。これらの技術は、入力データ、重み、及び/又は活性化にスパース性を導入する。

【図面の簡単な説明】

【0004】

本開示の種々の実施形態は、添付図面の図に限定されるものではなく、一例として例示される。

【図1】幾つかの実施形態によるニューラルネットワークのための狭いデータフォーマットをスパース化するためのコンピューティングシステムを示す。

【図2】幾つかの実施形態によるニューラルネットワークをトレーニングする例示的なトレーニング反復を示す。

【図3】幾つかの実施形態による例示的なニューラルネットワーク層を示す。

【図4】幾つかの実施形態による例示的な行列乗算層を示す。

【図5】幾つかの実施形態による別の例示的なニューラルネットワーク層を示す。

【図6】幾つかの実施形態による例示的な行列乗算層を示す。

【図7】幾つかの実施形態による狭いデータフォーマットのデータをスパース化する処理を示す。

【図8】幾つかの実施形態による例示的なコンピュータシステムの簡略ブロック図を示す。

【図9】幾つかの実施形態によるニューラルネットワーク処理システムを示す。

【発明を実施するための形態】

【0005】

以下の説明では、例示のために、本開示の完全な理解を提供するために、多数の例及び特定の詳細が説明される。このような例及び詳細は、請求項の要素又は請求項の主題全体を不当に制限するものと解釈されてはならない。請求項の主題は、これらの例の特徴の一部又は全部を単独で又は組み合わせて含み、更に本明細書に記載された特徴及び技術の修正及び均等物を含み得ることは、異なる請求項の文言に基づいて、当業者には明らかである。

【0006】

ここでは、ニューラルネットワークのための狭いデータフォーマット（narrow data format）をスパース化する（sparsifying）技術について説明する。幾つかの実施形態では、計算システムは、ニューラルネットワークをトレーニングするとき、又は推論のためにニューラルネットワークを使用するときに、ニューラルネットワークの各層への入力をスパース化するためのツールを提供する。ニューラルネットワークを実装するために使用されるデータは、狭いデータフォーマットであってもよい。狭いデータフォーマットには、浮動小数点数の一部又はすべての部分を表すために少ないビット数（例えば仮数のために１～４ビット）を使用する浮動小数点データフォーマットが含まれてもよい。対照的に、広いデータフォーマットは、従来の浮動小数点形式（例えば、単精度浮動小数点形式（例えば、FP３２又はfloat３２）、倍精度浮動小数点形式（例えば、FP６４又はfloat６４）、半精度浮動小数点形式（例えば、FP１６）など）又は４ビットより大きい仮数が使用される任意の浮動小数点データフォーマットを含むことができる。ニューラルネットワーク層への入力をスパース化するために、ツールは定義されたサイズブロックで入力値のベクトルを処理する。入力値の各ブロックについて、ツールは取り除くべき（例えば、ドロップする）値の定義された比率を決定する。残りの入力値は、ニューラルネットワーク層への入力として使用される（例えば、ニューラルネットワークをトレーニングするため、推論のためにニューラルネットワークを使用するためなど）。ツールは、ニューラルネットワークの各層への１つ以上の入力をスパース化できる。

【0007】

本願で説明した技術は、ニューラルネットワークをトレーニングして使用する従来の方法よりも多くの利点と利点を提供する。例えば、狭いデータフォーマットを使用してニューラルネットワークを実装し、次にニューラルネットワークの層への入力をスパース化すると、ニューラルネットワークの層を実装するために使用されるハードウェアの一部が演算を実行するためにかかるサイクル数が減少する。ニューラルネットワークをトレーニングして使用する従来の方法では、同じ演算を実行するためにより多くのサイクルが必要になる。

【0008】

図１は、幾つかの実施形態によるニューラルネットワークのための狭いデータフォーマットをスパース化するためのコンピューティングシステムを示す。示されるように、コンピューティングシステム１００は、ニューラルネットワークマネジャ１０５、スパース化エンジン１１０、量子化器１１５、及び記憶装置１２０及び１２５を含む。ニューラルネットワーク定義記憶装置１２０は、ニューラルネットワークの定義を格納するように構成される。幾つかの実施形態では、ニューラルネットワークの定義は、ニューラルネットワーク内の層の数、各層内のノードの数、ニューラルネットワーク内の重み、ノードで使用される活性化関数、損失を計算するために使用される損失関数などを指定する。

【0009】

トレーニングデータ記憶装置１２５は、ニューラルネットワークをトレーニングするためのトレーニングデータセットを格納する。幾つかの実施形態では、トレーニングデータセットは、サンプルのセット（トレーニングサンプルとも呼ばれる）を含む。各サンプルは、入力のセット（入力データとも呼ばれる）と期待される出力のセット（期待される出力データとも呼ばれる）を含む。例えば、サンプルの入力のセットは、数値のセット（例えば、整数、浮動小数点数など）の行列又はベクトルにすることができる。例えば、サンプルの出力のセットは、数値のセット（例えば、整数、浮動小数点数など）の行列又はベクトルにすることができる。更に、トレーニングデータ記憶装置１２５は、ニューラルネットワークをトレーニングするためのトレーニングパラメータを格納してよい。トレーニングパラメータの例は、トレーニングデータセット内のサンプルの数、バッチサイズ（例えば、トレーニング反復で処理するサンプルの数）、指数ブロックサイズ（例えば、指数を共有する値の数）、スパース性ブロックサイズ（例えば、スパース化中に処理されるブロック内の値の数）、スパース性ブロック内に保持又はドロップする値の定義された比率などを含むことができる。

【0010】

幾つかの実施形態では、記憶装置１２０及び１２５は単一の物理記憶装置に実装され、一方、他の実施形態では、記憶装置１２０及び１２５は幾つかの物理記憶装置にまたがって実装されてもよい。図１は、コンピューティングシステム１００の一部としての記憶装置１２０及び１２５を示しているが、当業者は、ニューラルネットワーク定義記憶装置１２０及び／又はトレーニングデータ記憶装置１２５が、幾つかの実施形態においてコンピューティングシステム１００の外部にあってもよいことを理解するであろう。

【0011】

ニューラルネットワークマネジャ１０５、スパース化エンジン１１０及び量子化器１１５について、図２から図６に示される幾つかの例示的な動作を参照して説明する。第１例示的な動作は、ニューラルネットワークがどのようにトレーニングされるかを示す。この動作のために、ニューラルネットワークマネジャ１０５は、トレーニングデータセットを用いてニューラルネットワーク２１０をトレーニングするために、コンピューティングシステム１００（又は、コンピューティングシステム１００に通信可能に結合されたクライアント装置のような別の装置）から要求を受け取る。この要求に応答して、ニューラルネットワークマネジャ１０５は、ニューラルネットワーク定義記憶装置１２５にアクセスし、ニューラルネットワーク２１０に関連付けられたトレーニングパラメータとともに、ニューラルネットワーク２１０に関連付けられたニューラルネットワーク定義を読み出す。次に、ニューラルネットワークマネジャ１０５は、ニューラルネットワーク定義に基づいてニューラルネットワーク２１０を生成する。図２に示すように、ニューラルネットワーク２１０は、層２１５a～nを含む。各層２１５a～nは、対応する重み２２０のセットを含む。重みは、狭いデータフォーマットを使用して表現することができる。上述のように、狭いデータフォーマットは、浮動小数点数の一部又はすべての部分を表すために少ないビット数（例えば仮数のために１～４ビット）を使用する浮動小数点データフォーマットを含むことができる。この例では、ニューラルネットワークマネジャ１０５は、ランダムに生成された値（例えば、整数、浮動小数点数など）で重みの値２２０a～nを初期化する。

【0012】

次に、ニューラルネットワークマネジャ１０５は、トレーニングデータ記憶装置１３５にアクセスして、ニューラルネットワーク２１０をトレーニングするために指定されたトレーニングデータセットを読み出す。ここで、ニューラルネットワークマネジャ１０５は、ニューラルネットワーク２１０のトレーニングフェーズを開始する。ここでは、トレーニングパラメータの中で指定された、定義された回数のトレーニング反復が、ニューラルネットワーク２１０で実行される。図２は、幾つかの実施形態によるニューラルネットワークをトレーニングする例示的なトレーニング反復を示す。具体的には、図２は、この例示的な動作のトレーニングフェーズ中にニューラルネットワーク２１０上で実行されるトレーニング反復の例を示す。トレーニング反復のために、ニューラルネットワーク２１０は、トレーニングデータサンプル２０５a～mを含むサンプル２００のバッチを使用してトレーニングされる。サンプル２００のバッチ内のサンプル数は、ニューラルネットワーク２１０に関連するトレーニングパラメータで指定されたバッチサイズに基づいて決定される。サンプル２００のバッチを生成するために、ニューラルネットワークマネジャ１０５は、トレーニングデータセットからサンプル２０５a～mをランダムに選択する。次に、ニューラルネットワークマネジャ１０５は、ニューラルネットワーク２１０の順方向パス（フィードフォワードパスとも呼ばれる）を介して、サンプル２００のバッチの中の各サンプル２０５を処理する。ニューラルネットワーク２１０は、それを介して処理される各サンプル２０５の出力を生成する。

【0013】

ニューラルネットワーク２１０がサンプル２００のバッチに対して生成する出力と、サンプル２００のバッチの中のトレーニングデータサンプル２０５a～mの期待される出力とに基づいて、ニューラルネットワークマネジャ１０５は、対応する損失値２３０a～mを計算する。ニューラルネットワーク２１０は、任意の数の異なる損失関数（例えば、平均二乗誤差損失関数、平均二乗対数誤差損失関数、平均絶対誤差損失関数、交差エントロピー損失関数など）を使用して損失値２３０a～mを計算するように構成することができる。損失値２２５のバッチに基づいて、ニューラルネットワークマネジャ１０５は、損失値２３０a～mの平均を計算する。

【0014】

次に、ニューラルネットワークマネジャ１０５は、損失値２３０a～mの平均を使用して、ニューラルネットワーク２１０の逆方向パス中に勾配のセットを生成する。幾つかの実施形態では、ニューラルネットワークマネジャ１０５は、逆伝搬技術を使用して勾配のセットを生成する。次に、ニューラルネットワークマネジャ１０５は、勾配のセットを使用して、動作２３０において、ニューラルネットワーク２１０の重み２２０a～nを調整する。幾つかの実施形態において、ニューラルネットワークマネジャ１０５は、勾配法（例えば、勾配降下法、確率的勾配降下法等）を使用して、ニューラルネットワーク２１０における重み２２０a～nを調整する。

【0015】

図２は、トレーニングニューラルネットワーク２１０の反復の一例を示す。幾つかの実施形態では、ニューラルネットワークマネジャ１０５は、ニューラルネットワーク２１０に関連するトレーニングパラメータで指定される、定義された反復回数を通して、サンプル２００のバッチと同じサイズのトレーニングデータセットからランダムに選択されたサンプルのバッチを使用して、ニューラルネットワーク２１０をトレーニングする。このトレーニングフェーズでは、ニューラルネットワークの重み２２０a～nが、各反復の逆方向パスで調整される。

【0016】

トレーニングフェーズの後、ニューラルネットワーク２１０を推論のために使用することができる。ニューラルネットワーク２１０が推論のために使用される場合、ニューラルネットワーク２１０の順方向パス部分が利用される。すなわち、ニューラルネットワークマネジャ１０５は、入力データをニューラルネットワーク２１０に提供し、各層２１５a～nを介して処理する。層２１５nによって生成される出力は、入力データに関連付けられた出力データである。出力データは、重み２２０a～nのセットの学習した値に基づいてニューラルネットワーク２１０によって生成される予測であってもよい。

【0017】

図３は、幾つかの実施形態による例示的なニューラルネットワーク層３００を示す。特に、図３は、ニューラルネットワーク層３００を通過する例示的なデータフローを示す。例示的なデータフローは、ニューラルネットワーク層３００が属するニューラルネットワークのトレーニング中又は推論のためのニューラルネットワークの使用中に発生するフィードフォワードデータフローであってもよい。幾つかの実施形態では、ニューラルネットワーク層３００は、ニューラルネットワーク２１０の層２１５a～nのいずれかを実装するために使用することができる。

【0018】

図３に示すように、ニューラルネットワーク層３００は、行列乗算層３０５、ベクトル演算層３１０、及び量子化層３１５を含む。行列乗算層３０５は、２つの入力行列を受け取り、１つ以上の入力行列に対してスパース化演算を実行し、２つの入力に対して行列乗算演算のセット（例えば、内積演算のセット）を実行し、行列乗算演算のセットの結果である出力行列を生成するように構成される。幾つかの実施形態では、スパース化エンジン１１０は、スパース化演算を実装するために使用される。ベクトル演算層３１０は、入力行列を受け取り、入力行列に対してベクトル演算のセット（例えば、ソフトマックス演算、活性化演算、正規化演算など）を実行し、ベクトル演算のセットの結果である出力行列を生成する。量子化層３１５は、入力行列を受け取り、量子化演算のセットを実行して入力行列の値の精度を低下させ、低下した精度値を含む出力行列を生成する。幾つかの実施形態では、量子化器３１５は、量子化演算を実装するために使用される。

【0019】

図３に示される例示的なデータフローは、入力値３２０及び重み値３２５を受け取る行列乗算層３０５によって開始される。入力値３２０は、ニューラルネットワーク内の前の層から受け取った活性化値の行列であり得る。例えば、ニューラルネットワーク層３００がニューラルネットワーク２１０の層２１５cを実装するために使用される場合、入力値３２０は、層２１５bから受け取り、それによって生成される活性化値の行列であり得る。重み値３２５は、ニューラルネットワーク層３００に含まれる重み値の行列であり得る。ニューラルネットワーク層３００がニューラルネットワーク２１０の層２１５cを実装するために使用される例を続けると、重み値３２５は重み値２２０cのセットを含む行列である。重み値３２５を受け取ると、行列乗算層３２５は、重み値３２５にスパース性を追加するためのスパース化演算のセットを実行する（例えば、重み値を０の値に変換する、重み値を削除する、等）。次に、行列乗算層３０５は、入力値３２０及びスパース化された重み値３２５に対して行列乗算演算のセットを実行し、行列乗算演算のセットの結果である出力行列を生成する。行列乗算層３０５は、ベクトル演算層３１０への入力として出力行列を提供する。

【0020】

ベクトル演算層３１０が行列乗算層３０５から出力行列を受け取ると、ベクトル演算層３１０は行列に対してベクトル演算のセットを実行し、ベクトル演算のセットの結果である出力行列を生成する。ベクトル演算の例には、ソフトマックス演算、活性化演算、正規化演算などが含まれる。ベクトル演算のセットが実行されると、ベクトル演算層３１０は量子化層３１５への入力として出力行列を提供する。行列を受け取ることに応答して、量子化層３１５は行列に対して量子化演算のセットを実行し、出力値３３０を生成する。量子化演算のセットは、行列内の値の精度を低下させる。出力値３３０は、狭いデータフォーマットを使用して表される低下した精度の値を含む行列にすることができる。量子化層３１５は、ニューラルネットワーク内の次の層への入力として出力値３３０を提供する。ニューラルネットワーク層３００がニューラルネットワーク２１０の層２１５cを実装するために使用される例を続けると、量子化層３１５は、層２１５dへの入力として出力値３３０を提供する。

【0021】

図４は、幾つかの実施形態による例示的な行列乗算層４００を示す。特に、図４は、マトリクス乗算層への２つの入力のうちの１つをスパース化し、２つの入力に対して行列乗算を実行する例を示す。幾つかの実施形態では、行列乗算層４００を使用して、行列乗算層３０５を実装することができる。図４に示すように、行列乗算層４００は、多重化ユニット４１０及び行列乗算ユニット４１５を含むハードウェアエンジン４０５を含む。多重化ユニット４１０及び行列乗算ユニット４１５は、各々、回路のセットによって実現できる。

【0022】

図示のように、行列乗算層４００は、第１入力４２０及び第２入力４５０を受け取る。この例では、入力４２０は、ニューラルネットワーク層に含まれる重み値（例えば、ニューラルネットワーク層３００における重み値３２５）の行列（図４に図示しない）からの８個の重み値のベクトルである。８個の重み値は、下位ビット仮数（例えば、１～４ビット）と共有指数４２２（例えば、共有される８ビット指数）を使用する狭い浮動小数点データフォーマットを使用して表される。ここで、指数を共有する値の数を表す指数ブロックサイズは８である。従って、入力４２０の８個の重み値はすべて１個の指数値を共有する。入力４５０は、前のニューラルネットワーク層から受信し、それによって生成される活性化値の行列からの８個の活性化値のベクトルである。８個の活性化値は、下位ビット仮数と共有指数４５２を使用する同じ狭い浮動小数点データフォーマットを使用して表される。前述のように、この例の指数ブロックサイズは８である。従って、入力４５０の８個の活性化値はすべて１個の指数値を共有する。

【0023】

行列乗算層４００が入力４２０を受け取ると、スパース化エンジン１１０は、トレーニングパラメータで指定されたスパース性ブロックサイズに基づいて入力４２０をブロックにセグメント化する。この例では、スパース性ブロックサイズは４である。このように、スパース化エンジン１１０は、入力４２０をブロック４２５及び４３０にセグメント化し、各々が入力４２０からの４つの重み値を含む。幾つかの実施形態では、スパース性ブロックサイズは指数ブロックサイズの因数である。例えば、この例では、スパース性ブロックサイズ４は指数ブロックサイズ８の因数である（つまり、８は４で均等に割り切れる）。次に、スパース化エンジン１１０は、トレーニングパラメータで指定されたスパース性ブロックに保持する値の定義された比率に基づいて、各ブロック４２５及び４３０から重み値を除去する。ここで、定義された比率は５０%である。この例では、スパース化エンジン１１０は、絶対値が最も高いブロック４２５内の重み値の５０％を決定し、これらの重み値を含むブロック４３５を生成する（すなわち、スパース化エンジン１１０は、ブロック４２５から他の重み値をドロップする）。更に、スパース化エンジン１１０は、絶対値が最も高いブロック４３０内の重み値の５０％を決定し、それらの重み値を含むブロック４４０を生成する（すなわち、スパース化エンジン１１０は、ブロック４３０から他の重み値をドロップする）。幾つかの実施形態では、絶対値を使用する代わりに、スパース化エンジン１１０は、値の重要性を測定するための任意の数の異なるメトリック（例えば、エントロピー、パープレキシティなど）に基づいて保持する重み値を決定することができる。

【0024】

ブロック４２５及び４３０から重み値を除去した後、スパース化エンジン１１０は、入力４２０内の各重み値のマスク値を含むビットマスク４４５を生成する。除去されなかった重み値（すなわち、重み値は、各々のブロックの重み値の上位５０％に含まれる）について、スパース化エンジン１１０は、ビットマスク４４５内の対応する位置にマスク値として第１の定義された値（この例では１）を格納する。入力４２０内の除去された重み値について、スパース化エンジン１１０は、ビットマスク４４５内の対応する位置にマスク値として第２の定義された値（この例では０）を格納する。例えば、入力４２０内の第１重み値がブロック４２５内の重み値の上位５０％に含まれる場合、スパース化エンジン１１０は、ビットマスク４４５の第１位置（つまり、左端の位置）に値１を格納する。入力４２０内の第１重み値がブロック４２５内の重み値の上位５０％に含まれない場合、スパース化エンジン１１０は、ビットマスク４４５の第１位置に値０を格納する。スパース化エンジン１１０は、入力４２０内の各重み値に対してこの操作を実行する。行列乗算層４００が実装しているニューラルネットワーク層が推論のために使用されている幾つかの実施形態では、ビットマスク４４５を事前に計算することができる（例えば、ニューラルネットワーク層が推論に使用される前にオフラインで計算される）。行列乗算層４００が実装しているニューラルネットワーク層がトレーニングされている他の実施形態では、勾配降下法を使用してビットマスク４４５を学習することができる。ビットマスク４４５が生成されると、スパース化エンジン１１０は、多重化ユニット４１０への入力としてビットマスクを提供する。更に、スパース化エンジン１１０は、行列乗算ユニット４１５への入力としてブロック４３５及び４４０を一緒に提供する。

【0025】

行列乗算層４００が入力４５０を受け取ると、行列乗算層４００は、それを多重化ユニット４１０への入力として提供する。入力４５０及びビットマスク４４５の受信に応答して、多重化ユニット４１０は、ビットマスク４４５に基づいて、入力４５０における活性化値のサブセットを決定する。この例では、多重化ユニット４１０は、ビットマスク４４５におけるマスク値１に対応する入力４５０における活性化値を識別し、それらをサブセットに含めることによって、入力４５０のサブセットを決定する。例えば、ビットマスク４４５における第１、第３、第７及び第８のマスク値がマスク値１を有する場合、多重化ユニット４１０は、サブセットにおける入力４５０からの第１、第３、第７及び第８の活性化値を含む。次に、多重化ユニット４１０は、入力４５０における活性化値の決定されたサブセットを含む出力４６０を生成し、それを行列乗算ユニット４１５への入力として提供する。

【0026】

行列乗算ユニット４１５が、第１入力としてブロック４３５及び４４０を受け取り、第２入力として出力４６０を受け取ると、行列乗算ユニット４１５は、これら２つの入力に対して行列乗算演算のセットを実行し、出力値４６５を生成する。例えば、行列乗算ユニット４１５は、ブロック４３５及び４４０と出力４６０との間の内積を計算して、出力値４６５のスカラ出力を生成することができる。最後に、行列乗算ユニット４１５は、ニューラルネットワーク層（例えば、ベクトル演算層３１０）の次の層に出力値４６５を提供する。

【0027】

この例では、行列乗算ユニット４１５は、一実行サイクルで４要素の内積を実行するように構成される。従って、行列乗算ユニット４１５は、一実行サイクルでブロック４３５及び４４０（４個の値の第１入力）と出力４６０（４個の値の第２入力）との間の内積を実行することができる。行列乗算ユニット４１５が入力４２０と４５０の間の内積を実行した場合、それは２実行サイクルを要したであろう（すなわち、入力４２０及び４５０の各々における第１４個の値の間の内積を計算する第１サイクルと、入力４２０及び４５０の各々における最後の４個の値の間の内積を計算する第２サイクルである）。従って、図４を参照して上述したスパース化技術を使用すると、入力４２０と４５０の間の積を決定するための実行サイクル数が５０％減少する（すなわち、２倍の速度増加）。

【0028】

説明したように、図４を参照して上述した例の演算は、重み値の行列からの重み値のベクトルと活性化値の行列からの活性化値のベクトルが、行列乗算層４００を介してどのように処理されるかを示している。従って、この演算は、重み値の行列の中の残りの重み値のベクトルと活性化値の行列の中の活性化値のベクトルに対して繰り返すことができる。

【0029】

図３を参照して上述したニューラルネットワーク層は、量子化演算を行う層（例えば、量子化層３１５）を含む。幾つかの実施形態では、ニューラルネットワーク層は、スパース化演算を行う層を含むことができる。図５は、幾つかの実施形態による別の例示的なニューラルネットワーク層５００を示す。特に、図５は、スパース化演算を実行するための層を含むニューラルネットワーク層を通る例のデータフローを示す。例示的なデータフローは、ニューラルネットワーク層５００が属するニューラルネットワークのトレーニング中又は推論のためのニューラルネットワークの使用中に発生するフィードフォワードデータフローであることができる。幾つかの実施形態では、ニューラルネットワーク層５００は、ニューラルネットワーク２１０の層２１５a～nのいずれかを実装するために使用することができる。

【0030】

図５に示すように、ニューラルネットワーク層５００は、行列乗算層５０５、ベクトル演算層５１０、及びスパース化層５１５を含む。行列乗算層５０５は、行列乗算層３０５によって実装でき、ベクトル演算層５１０は、ベクトル演算層３１０によって実装できる。スパース化及び量子化層５１５は、スパース化及び量子化層５１５が（例えば、スパース化エンジン１１０によって実施される）入力行列に対するスパース化演算のセットを実行するように構成されていることを除いて、量子化層３１５と同様である。幾つかの実施形態では、スパース化演算のセットが入力行列に対して実行される前に、量子化演算のセットが入力行列に対して実行される。他の実施形態では、スパース化演算のセットが入力行列に対して実行された後に、量子化演算のセットが入力行列に対して実行される。なお、幾つかの実施形態では、スパース化演算のセットと組み合わせて、量子化演算のセットを入力行列に対して実行することができる。

【0031】

図５に示される例示的なデータフローは、入力値５２０及び重み値５２５を受け取る行列乗算層５０５によって開始される。入力値３２０は、ニューラルネットワーク内の前の層から受け取った活性化値の行列であり得る。例えば、ニューラルネットワーク層５００がニューラルネットワーク２１０の層２１５bを実装するために使用される場合、入力値５２０は、層２１５aから受け取り、それによって生成される活性化値の行列であり得る。重み値５２５は、ニューラルネットワーク層５００に含まれる重み値の行列であり得る。ニューラルネットワーク層５００がニューラルネットワーク２１０の層２１５bを実装するために使用される例を続けると、重み値５２５は重み値２２０bのセットを含む行列である。

【0032】

重み値５２５を受け取った後に、行列乗算層５２５は、重み値５２５にスパース性を追加するためのスパース化演算のセットを実行する（例えば、重み値を０の値に変換する、重み値を削除する、等）。この例では、行列乗算層５０５も、入力値５２０にスパース性を追加するためのスパース化演算のセットを実行する（例えば、重み値を０の値に変換する、重み値を削除する、等）。行列乗算層５０５は、スパース化された入力値５２０及びスパース化された重み値５２５に対して行列乗算演算のセットを実行し、行列乗算演算のセットの結果である出力行列を生成する。行列乗算層５０５は、ベクトル演算層５１０への入力として出力行列を提供する。

【0033】

行列乗算層５０５から出力行列を受け取ることに応答して、ベクトル演算層５１０は行列に対してベクトル演算のセットを実行し、ベクトル演算のセットの結果である出力行列を生成する。上述したように、ベクトル演算の幾つかの例は、ソフトマックス演算、活性化演算、正規化演算などを含むことができる。ベクトル演算のセットが実行された後、ベクトル演算層５１０はスパース化及び量子化層５１５への入力として出力行列を提供する。行列を受け取ると、スパース化及び量子化層５１５は、出力値５３０を生成するために、行列に対して量子化演算のセット及びスパース化演算のセットを実行する。量子化演算のセットは行列内の値の精度を低下させ、スパース化演算のセットは行列にスパース性を追加する（例えば、値を０に変換する、値を削除する、など）。出力値５３０は、狭いデータフォーマットを使用して表されるスパース化され精度の低下された値を含む行列にすることができる。スパース化及び量子化層５１５は、ニューラルネットワーク内の次の層への入力として出力値５３０を提供する。ニューラルネットワーク層５００がニューラルネットワーク２１０の層２１５bを実装するために使用される例を続けると、スパース化及び量子化層５１５は、層２１５cへの入力として出力値５３０を提供する。

【0034】

図６は、幾つかの実施形態による例示的な行列乗算層６００を示す。具体的に、図６は、行列乗算層への入力の各々をスパース化し、２つの入力に対して行列乗算を実行する例を示す。幾つかの実施形態では、行列乗算層６００を使用して、行列乗算層５０５を実装することができる。図６に示すように、行列乗算層６００は、ハードウェアエンジン６０４を含む。ハードウェアエンジン６０４は、マスクアライメントユニット６０６と、多重化ユニット６０８と、多重化ユニット６１０と、行列乗算ユニット６１２とを含む。マスクアライメントユニット６０６と、多重化ユニット６０８と、多重化ユニット６１０と、行列乗算ユニット６１２とは、各々、回路のセットによって実現できる。

【0035】

図６に示めすように、行列乗算層６００は、第１入力６１５及び第２入力６５０を受け取る。この例では、入力６１５は、ニューラルネットワーク層に含まれる重み値（例えば、ニューラルネットワーク層５００における重み値５２５）の行列（図６に図示しない）からの１６個の重み値のベクトルである。１６個の重み値は、下位ビット仮数（例えば、１～４ビット）と共有指数６１７（例えば、共有される８ビット指数）を使用する狭い浮動小数点データフォーマットを使用して表される。ここで、指数を共有する値の数を表す指数ブロックサイズは１６である。従って、入力６１５の１６個の重み値はすべて１個の指数値を共有する。入力６５０は、前のニューラルネットワーク層から受信し、それによって生成される活性化値の行列からの１６個の活性化値のベクトルである。１６個の活性化値は、下位ビット仮数と共有指数６５２を使用する同じ狭い浮動小数点データフォーマットを使用して表される。前述のように、この例では指数ブロックサイズは１６である。従って、入力６５０の１６個の活性化値はすべて１個の指数値を共有する。

【0036】

行列乗算層６００が入力６１５を受け取ることに応答して、スパース化エンジン１１０は、トレーニングパラメータで指定されたスパース性ブロックサイズに基づいて入力６１５をブロックにセグメント化する。この例では、スパース性ブロックサイズは８である。従って、スパース化エンジン１１０は、入力６１５をブロック６２０及び６２５にセグメント化し、各々が入力６１５からの８個の重み値を含む。幾つかの実施形態では、スパース性ブロックサイズは指数ブロックサイズの因数である。例えば、この例では、スパース性ブロックサイズ８は指数ブロックサイズ１６の因数である（つまり、１６は８で均等に割れる）。次に、スパース化エンジン１１０は、トレーニングパラメータで指定されたスパース性ブロックに保持する値の定義された比率に基づいて、各ブロック６２０及び６２５から重み値を除去する。この例では、定義された比率は５０％である。図６に示すように、スパース化エンジン１１０は、絶対値が最も高いブロック６２０内の重み値の５０％を決定し、これらの重み値を含むブロック６３０を生成する（すなわち、スパース化エンジン１１０は、ブロック６２０から他の重み値をドロップする）。更に、スパース化エンジン１１０は、絶対値が最も高いブロック６２５内の重み値の５０％を決定し、それらの重み値を含むブロック６３５を生成する（すなわち、スパース化エンジン１１０は、ブロック６２５から他の重み値をドロップする）。幾つかの実施形態では、絶対値を使用する代わりに、スパース化エンジン１１０は、値の重要性を測定するための任意の数の異なるメトリック（例えば、エントロピー、パープレキシティなど）に基づいて保持する重み値を決定することができる。

【0037】

スパース化エンジン１１０がブロック６２０及び６２５から重み値を除去し終わると、スパース化エンジン１１０は、入力６１５内の各重み値のマスク値を含むビットマスク６４０を生成する。除去されなかった重み値（すなわち、重み値は、各々のブロックの重み値の上位５０％に含まれる）について、スパース化エンジン１１０は、ビットマスク６４０内の対応する位置にマスク値として第１の定義された値（この例では１）を格納する。入力６１５内の除去された重み値について、スパース化エンジン１１０は、ビットマスク６４０内の対応する位置にマスク値として第２の定義された値（この例では０）を格納する。スパース化エンジン１１０は、入力６１５内の各重み値に対してこの演算を繰り返す。行列乗算層６００が実装しているニューラルネットワーク層が推論のために使用されている幾つかの実施形態では、ビットマスク６４０を事前に計算することができる（例えば、ニューラルネットワーク層が推論に使用される前にオフラインで計算される）。行列乗算層６００が実装しているニューラルネットワーク層がトレーニングされている他の実施形態では、勾配降下法を使用してビットマスク６４０を学習することができる。ビットマスク６４０を生成した後、スパース化エンジン１１０は、それをマスクアライメントユニット６０６への入力として提供する。更に、スパース化エンジン１１０は、多重化ユニット６０８への入力としてブロック６３０及び６３５の両方を提供する。

【0038】

行列乗算層６００が入力６５０を受け取ると、スパース化エンジン１１０は、本例では８であるスパース性ブロックサイズに基づいて入力６５０をブロックにセグメント化する。従って、スパース化エンジン１１０は、入力６５０をブロック６５５及び６６０にセグメント化し、各々が入力６５０からの８個の活性化値を含む。次に、スパース化エンジン１１０は、本例では５０％である、トレーニングパラメータで指定された、スパース性ブロックに保持する値の定義された比率に基づいて、各ブロック６５５及び６５０から活性化値を除去する。従って、スパース化エンジン１１０は、絶対値が最も高いブロック６５５内の活性化値の５０％を決定し、それらの活性化値を含むブロック６７０を生成する（すなわち、スパース化エンジン１１０は、ブロック６５５から他の活性化値をドロップする）。スパース化エンジン１１０はまた、絶対値が最も高いブロック６６０内の活性化値の５０％を決定し、活性化値を含むブロック６７５を生成する（すなわち、スパーシエーションエンジン１１０は、ブロック６６０から他の活性化値をドロップする）。幾つかの実施形態では、絶対値を使用する代わりに、スパース化エンジン１１０は、値の重要性を測定するための任意の数の異なるメトリック（例えば、エントロピー、パープレキシティなど）に基づいて保持する活性化値を決定することができる。

【0039】

ブロック６５５及び６６０からの活性化値の除去を完了した後、スパース化エンジン１１０は、入力６５０内の各活性化値のマスク値を含むビットマスク６６５を生成する。除去されなかった活性化値（すなわち、活性化値は、各々のブロックの活性化値の上位５０％に含まれる）について、スパース化エンジン１１０は、ビットマスク６６５内の対応する位置にマスク値として第１の定義された値（この例では１）を格納する。入力６５０内の除去された活性化値について、スパース化エンジン１１０は、ビットマスク６６５内の対応する位置にマスク値として第２の定義された値（この例では０）を格納する。スパース化エンジン１１０は、入力６５０内の各活性化値に対してこの操作を実行する。行列乗算層６００が実装しているニューラルネットワーク層が推論のために使用されている幾つかの実施形態では、ビットマスク６６５をオンザフライで計算することができる（事前に計算され得るビットマスク６４０とは対照的に）。行列乗算層６００が実装しているニューラルネットワーク層がトレーニングされている他の実施形態では、勾配降下法を使用してビットマスク６６５を学習することができる。スパース化エンジン１１０がビットマスク６６５を生成すると、スパース化エンジン１１０は、それをマスクアライメントユニット６０６への入力として提供する。更に、スパース化エンジン１１０は、多重化ユニット６１０への入力としてブロック６７０及び６７５の両方を提供する。

【0040】

ビットマスク６４０とビットマスク６６５の受信に応答して、マスクアライメントユニット６０６は、ビットマスク６４０と６６５の要素ごとの乗算を実行してアライメントマスクを生成する。アライメントマスクは、ビットマスク６４０、６６５内の対応する要素の各ペアの積を含む。例えば、アライメントマスク内の第１要素は、ビットマスク６４０内の第１要素とビットマスク６６５内の第１要素との間の積を格納し、アライメントマスク内の第２要素は、ビットマスク６４０内の第２要素とビットマスク６６５内の第２要素との間の積を格納し、アライメントマスク内の第３要素は、ビットマスク６４０内の第３要素とビットマスク６６５内の第３要素との間の積を格納し、以下同様である。幾つかの実施形態では、目的関数（例えば、損失関数）を利用して、トレーニング中にビットマスク６４０及び６６５における最初に定義された値の重複を最大化することができる。次に、マスクアライメントユニット６０６は、アライメントマスク及びビットマスク６４０を多重化ユニット６０８に送る。マスクアライメントユニット６０６も、アライメントマスク及びビットマスク６６５を多重化ユニット６１０に送る。

【0041】

多重化ユニット６０８がアライメントマスク、ビットマスク６４０、ブロック６３０及びブロック６３５を受け取ると、多重化ユニット６０８はアライメントマスク及びビットマスク６４０に基づいてブロック６３０及び６３５内の重み値のサブセットを決定する。ブロック６３０及び６３５のサブセットにブロック６３０及び６３５内のどの重み値を含めるかを決定するために、多重化ユニット６０８はビットマスク６４０内のマスク値を反復処理する。マスク値が１の値を格納する場合、多重化ユニット６０８はアライメントマスク内の同じ位置を見る。位置のマスク値も１の値を格納する場合、多重化ユニット６０８はサブセット内の重み値を含む。そうでなければ、多重化ユニット６０８は同じ方法でビットマスク６４０を反復し続ける。ここで、多重化ユニット６０８は、サブセットにおいてこの方法で識別される第１４個の重み値を含む。幾つかの実施形態において、多重化ユニット６０８は、サブセットにおいて識別されるすべての重み値を含む。次に、多重化ユニット６０８は、ブロック６３０及び６３５における重み値のサブセットを含む出力６４５を生成し、それを行列乗算ユニット６１２への入力として提供する。多重化ユニット６１０は、同じ技術を使用して、アライメントマスク及びビットマスク６６５に基づいて、ブロック６７０及び６７５における活性化値のサブセットを決定する。多重化ユニット６１０は、ブロック６７０及び６７５における活性化値のサブセットを含む出力６８０を生成し、それを行列乗算ユニット６１２への入力として提供する。幾つかの実施形態では、多重化ユニット６０８及び６１０は各々、同じ位置にある値（例えば、重み値の各サブセットは、各々の入力の位置２、３、４、６、８、１１、１２及び１６の値を含む）の複数のサブセット（例えば、多重化ユニット６０８のブロック６３０及び６３５、多重化ユニット６１０のブロック６７０及び６７５）が一緒に反復処理される行共有技術を採用する。このように、値のこれらの複数のサブセットを処理するために使用されるインデックスが同じであり、従って、値の各サブセットを処理するために再利用できるため、多重化のコストが削減される。

【0042】

行列乗算ユニット６１２は、出力６４５及び６８０を受信すると、これら２つの入力に対して行列乗算演算のセットを実行し、出力値６８５を生成する。例えば、行列乗算ユニット６１２は、ブロック出力６４５と出力６７０との間の内積を計算して、出力値６８５のスカラ出力を生成することができる。行列乗算ユニット６１２は、次にニューラルネットワーク層（例えば、ベクトル演算層５１０）の次の層に出力値６６５を提供する。

【0043】

この例では、行列乗算ユニット６１２は、１実行サイクルで４要素の内積を実行するように構成される。従って、行列乗算ユニット６１２は、１実行サイクルで出力６４５（４個の値のうちの第１入力）と出力６８０（４個の値のうちの第２入力）との間の内積を実行することができる。多重化ユニット６０８と多重化ユニット６１０が各々のサブセットの中で識別されたすべての重み値を含む幾つかの実施形態では、行列乗算ユニット６１２は、１実行サイクルと２実行サイクルの間で出力６４５（４個の値のうちの第１入力）と出力６８０（４個の値のうちの第２入力）の間の内積を実行することができる。ここで、行列乗算ユニット６１２が入力６１５と６５０の間の内積を実行した場合、それは４実行サイクルを要するだろう（すなわち、各入力６１５及び６５０における第１４個の値の間の内積を計算する第１サイクル、各入力６１５及び６５０における第２４個の値の間の内積を計算する第２サイクル、各入力６１５及び６５０における第３４個の値の間の内積を計算する第３サイクル、及び各入力６１５及び６５０における最後の４個の値の間の内積を計算する第四のサイクル）。従って、図６を参照して上述したスパース化技術を使用すると、入力６２０と６５０の間の積を決定するための実行サイクル数が５０～７５％減少する（すなわち、２～４倍の速度増加）。

【0044】

図６を参照して上述した例示的な演算は、重み値の行列からの重み値のベクトルと活性化値の行列からの活性化値のベクトルが、行列乗算層６００を介してどのように処理されるかを示す。従って、この演算は、重み値の行列の中の残りの重み値のベクトルと活性化値の行列の中の活性化値のベクトルに対して繰り返すことができる。

【0045】

図７は、幾つかの実施形態による狭いデータフォーマットのデータをスパース化する処理７００を示す。幾つかの実施形態では、コンピューティングシステム１００は処理７００を実行する。処理７００は、ニューラルネットワークの第１層から受け取った複数の活性化値を、ニューラルネットワークの第２層を実装するように構成された多重化ユニットに提供する（７１０）ことによって開始する。複数の活性化値は、第１の複数の下位ビット仮数値及び第１共有指数値を用いて表される。例として図４を参照すると、行列乗算層４００が入力４５０を受け取ると、行列乗算層４００は、それを多重化ユニット４１０への入力として提供する。

【0046】

次に、処理７００は、７２０において、ニューラルネットワークの第２層に含まれる複数の重み値に対してスパース化演算のセットを実行し、複数の重み値のサブセット及び複数の重み値に関連する複数のマスク値を生成する。複数の重み値は、第１の複数の下位ビット仮数値及び第２共有指数値を用いて表される。一例として図１及び図４を参照すると、スパース化エンジン１１０は、入力４２０に対してスパース化演算のセットを実行し、ブロック４３５及び４４０ならびにビットマスク４４５を生成する。

【0047】

最後に、処理７００は、７３０において、ニューラルネットワークにおいて第２層を実装するように構成された行列乗算ユニットに、複数の重み値のサブセットを提供する。多重化ユニットは、複数のマスク値に基づいて複数の活性化値のサブセットを生成し、複数の活性化値のサブセットを行列乗算ユニットに提供する。行列乗算ユニットは、複数の重み値のサブセット及び複数の活性化値のサブセットに対して行列乗算演算のセットを実行して、出力のセットを生成するよう構成される。例として図１及び４を参照すると、スパース化エンジン１１０は、行列乗算ユニット４１５への入力としてブロック４３５及び４４０を提供する。多重化ユニット４１０は、入力４５０のサブセットである出力４６０を生成する。行列乗算ユニット４１５は、出力４６０及びブロック４３５及び４４０に対して行列乗算演算のセットを実行し、出力値４６５を生成する。

【0048】

上述の技術は、ニューラルネットワークを処理するように構成された広範なコンピュータシステムに実装され得る。図８は、上述の開示に記載された技術を実装するために使用され得る例示的なコンピュータシステム８００の簡略化されたブロック図を示す。図８に示されるように、コンピュータシステム８００は、バスサブシステム８０４を介して多数の周辺装置と通信する１つ以上のプロセッサ８０２を含む。これらの周辺装置は、記憶サブシステム８０６（例えば、メモリサブシステム８０８とファイル記憶サブシステム８１０とを含む）及びネットワークインタフェースサブシステム８１６を含むことができる。幾つかのコンピュータシステムは、ユーザインタフェース入力装置８１２及び／又はユーザインタフェース出力装置８１４を更に含むことができる。

【0049】

バスサブシステム８０４は、コンピューティングシステム８００種々のコンポーネント及びサブシステムが意図した通りに互いに通信できるようにするメカニズムを提供できる。バスサブシステム８０４は、単一のバスとして概略的に示されるが、バスサブシステムの代替の実施形態は、複数のバスを利用してよい。

【0050】

ネットワークインタフェースサブシステム８１６は、コンピュータシステム８００と他のコンピュータシステム又はネットワークとの間でデータを通信するためのインタフェースとして機能することができる。ネットワークインタフェースサブシステム８１６の実施形態は、例えば、イーサネット、Wi-Fi及び／又はセルラアダプタ、モデム（電話、衛星、ケーブル、ISDNなど）、デジタル加入者線（digital subscriber line （DSL））ユニット及び／又は類似のものを含むことができる。

【0051】

記憶サブシステム８０６は、メモリサブシステム８０８及びファイル／ディスク記憶サブシステム８１０含む。サブシステム８０８及び８１０ならびに本明細書に記載される他のメモリは、本開示の実施形態の機能性を提供する実行可能プログラムコード及び／又はデータを記憶することができる非一時的コンピュータ可読記憶媒体の例である。

【0052】

メモリサブシステム８０８は、プログラム実行中に命令及びデータを記憶するための主ランダムアクセスメモリ（RAM）８１８及び固定命令が格納される読み出し専用メモリ（ROM）８２０を含む多数のメモリを含む。ファイル記憶サブシステム８１０は、プログラム及びデータファイルのための永続的（例えば、不揮発性）記憶を提供することができ、磁気又は固体ハードディスクドライブ、関連するリムーバブルメディア（CD-ROM、DVD、Blu-Rayなど）とともに光学ドライブ、リムーバブルフラッシュメモリベースのドライブ又はカード、及び／又は当技術分野で公知の他のタイプの記憶メディアを含むことができる。

【0053】

コンピュータシステム８００は例示的であり、システム８００よりも多く又は少ないコンポーネントを有する他の多くの構成が可能であることは理解されるべきである。

【0054】

図９は、幾つかの実施形態によるニューラルネットワーク処理システムを示す。様々な実施形態において、本開示によるニューラルネットワークは、１つ以上のニューラルネットワークプロセッサを含むハードウェア環境において実装され、トレーニングされ得る。ニューラルネットワークプロセッサは、例えば、様々なグラフィックスプロセシングユニット（GPU）（例えば、NVIDIA Corp（登録商標）製のニューラルネットワークを処理するためのGPU）、フィールドプログラマブルゲートアレイ（FPGA）（例えば、Xilinx（登録商標）によって生成されたニューラルネットワークを処理するためのFPGA）、又は、ニューラルネットワーク計算のために最適化されたハードウェアアーキテクチャを含む様々なアプリケーション特定集積回路（ASIC）又はニューラルネットワークプロセッサを指すことができる。この例示的な環境では、上記の図８に示されるアーキテクチャを含むことができる１つ以上のサーバ９０２を、通信ネットワーク９０１（例えば、スイッチ、ルータ等）を介して複数の制御部９１０（１）～９１０（M）に結合することができる。制御部９１０（１）～９１０（M）は、上記の図８に示されるアーキテクチャを含むこともできる。各制御部９１０（１）～９１０（M）は、例えば、プロセッサ９１１（１）～９１１（N）及び９１２（１）～９１２（N）のような、１つ以上のNNプロセッサに結合することができる。NNプロセッサ９１１（１）～９１１（N）及び９１２（１）～９１２（N）は、トレーニング又は推論のようなニューラルネットワーク処理のために最適化された機能処理ブロック及びメモリの様々な構成を含むことができる。NNプロセッサは、ニューラルネットワーク計算のために最適化される。サーバ９０２は、例えばNNプロセッサ９１１（１）～９１１（N）及び９１２（１）～９１２（N）によって並列にロード及び実行され得るNNモデル及びモデルへの入力データを制御部９１０に設定することができる。モデルは、例えば上述のようにレイヤ及び関連する重みを含むことができる。NNプロセッサは、モデルをロードし、入力を適用して出力結果を生成することができる。NNプロセッサは、例えば、本明細書に記載されるトレーニングアルゴリズムを実装することもできる。

【0055】

＜更なる例示的な実施形態＞
種々の実施形態では、本開示は、ニューラルネットワークのための狭いデータフォーマットをスパース化するためのシステム、方法、及び機器を含む。本明細書に記載された技術は、コンピュータシステムによって実行可能なプログラムを格納する機械可読媒体において具現化することができ、そのプログラムは、本明細書に記載された技術を実行するための命令のセットを含む。幾つかの実施形態では、システムは、処理ユニットのセットと、処理ユニットのセット内の少なくとも１つの処理ユニットによって実行されると、少なくとも１つの処理ユニットに上述の技術を実行させる命令を格納する機械可読媒体とを含む。幾つかの実施形態では、機械可読媒体は、例えば、１つ以上の制御部又は１つ以上の人工知能プロセッサに結合され得るメモリであり得る。

【0056】

以下の技術は、単独で、又は異なる組み合わせで実施され得るし、本明細書に記載される他の技術と共に更に実施され得る。

【0057】

例えば、１つの実施形態において、本開示は、装置の少なくとも１つの処理ユニットによって実行可能なプログラムを格納する機械可読媒体を含む。プログラムは、
ニューラルネットワークにおける第１層から受信した複数の活性化値を、前記ニューラルネットワークにおける第２層を実装するように構成された多重化ユニットに提供し、前記複数の活性化値は、第１の複数の下位ビット仮数値及び第１共有指数値を使用して表され、
前記ニューラルネットワークにおける前記第２層に含まれる複数の重み値に対して、スパース化演算のセットを実行して、前記複数の重み値のサブセットと前記複数の重み値に関連する複数のマスク値とを生成し、前記複数の重み値は、第１の複数の下位ビット仮数値及び第２共有指数値を使用して表され、
前記複数の重み値のサブセットを、前記ニューラルネットワークにおける前記第２層を実装するように構成された行列乗算ユニットに提供する、
ための命令のセットを含み、
前記多重化ユニットは、前記複数のマスク値に基づいて前記複数の活性化値のサブセットを生成し、前記複数の活性化値のサブセットを前記行列乗算ユニットに提供するように更に構成され、
前記行列乗算ユニットは、前記複数の重み値のサブセット及び前記複数の活性化値のサブセットに対して行列乗算演算のセットを実行して出力のセットを生成するように構成され、
前記複数の重み値に対してスパース化演算のセットを実行することが、前記行列乗算ユニットが前記複数の活性化値と前記複数の重み値との積を生成するために実行するサイクル数を減少させる。

【0058】

一実施形態では、前記スパース化のセットを実行するステップは、
定義されたグループサイズに基づいて、前記複数の重み値を重み値のグループに分割するステップと、
前記重み値のグループ内の重み値の各グループについて、該重み値のグループ内の、最も高い値を有する重み値の定義された比率を決定するステップと、
を含み、
前記複数の重み値のサブセットは、前記重み値のグループ内の重み値の各グループについて、前記複数の重み値のサブセットに、重み値の決定された比率の重み値を含めることによって生成され、
前記複数の重み値に関連する前記複数のマスク値は、前記複数の重み値の各重み値について、
前記重み値が前記複数の重み値のサブセットに含まれる場合には、前記重み値に関連する前記複数のマスク値に前記マスク値として第１の定義された値を格納し、
前記重み値が前記複数の重み値のサブセットに含まれない場合には、前記重み値に関連する前記複数のマスク値に前記マスク値として第２の定義された値を格納する、
ことによって生成される。

【0059】

一実施形態では、本開示は、前記出力のセットに対してベクトル演算のセットを実行することを更に含む。

【0060】

一実施形態では、本開示は、前記ベクトル演算のセットを実行した後、前記行列乗算ユニットによって生成された前記出力のセットに対して量子化演算のセットを実行して、前記出力のセットの精度を低下させることを更に含む。

【0061】

一実施形態では、本開示は、量子化された前記出力のセットを前記ニューラルネットワークの第３層への入力として送信することを更に含む。

【0062】

一実施形態では、本開示は、前記量子化演算のセットを実行した後、量子化された前記出力のセットに対してスパース化演算のセットを実行して、量子化された前記出力のセットにスパース性を追加することを更に含む。

【0063】

一実施形態では、本開示は、前記量子化演算のセットを実行する前に、前記出力のセットに対してスパース化演算のセットを実行して、前記出力のセットにスパース性を追加することを更に含む。

【0064】

一実施形態では、本開示は、前記ベクトル演算のセットを実行する前に、前記行列乗算ユニットによって生成された前記出力のセットに対して量子化演算のセットを実行して、前記出力のセットの精度を低下させることを更に含む。

【0065】

一実施形態では、第１の複数の下位ビット仮数値の各下位ビット仮数値は、４ビット以下を含み、前記第２の複数の下位ビット仮数値の各下位ビット仮数値は、４ビット以下を含む。

【0066】

上記の説明は、特定の実施形態の態様がどのように実施され得るかの例と共に、本開示の様々な実施形態を示した。上記の例は、唯一の実施形態とみなされるべきではなく、以下の請求項によって定義される特定の実施形態の柔軟性及び利点を説明するために提示される。上記開示及び以下の請求項に基づき、請求項によって定義される本開示の範囲から逸脱することなく、他の構成、実施形態、実施形態及び均等物を採用することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】