特表2025-532655IP Force 特許公報全文掲載

ホーム > 特許ランキング > テキサス　インスツルメンツ　インコーポレイテッド > 特表2025-532655

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】
(54)【発明の名称】ニューラルネットワークプロセッサ
(51)【国際特許分類】
   
   
【ＦＩ】
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】
(86)(22)【出願日】
(85)【翻訳文提出日】
(86)【国際出願番号】
(87)【国際公開番号】
(87)【国際公開日】
(31)【優先権主張番号】63/407,757
(32)【優先日】
(33)【優先権主張国・地域又は機関】
(31)【優先権主張番号】63/407,760
(32)【優先日】
(33)【優先権主張国・地域又は機関】
(31)【優先権主張番号】63/407,758
(32)【優先日】
(33)【優先権主張国・地域又は機関】
(31)【優先権主張番号】18/355,795
(32)【優先日】
(33)【優先権主張国・地域又は機関】
(81)【指定国・地域】
(71)【出願人】
【識別番号】507107291
【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド
(74)【代理人】
【識別番号】230129078
【弁護士】
【氏名又は名称】佐藤 仁
(72)【発明者】
【氏名】マヘシュ エム メヘンデール
(72)【発明者】
【氏名】アトゥル レーレ
(72)【発明者】
【氏名】ナジェンドラ グルール
(72)【発明者】
【氏名】ヘトゥル サングヴィ
(72)【発明者】
【氏名】スリニヴァサ ビーエス チャクラヴァルシ
【テーマコード（参考）】
【Ｆターム（参考）】
5B033DD06
(57)【要約】
一例において、ニューラルネットワークプロセッサ（５０２）が、入力データレジスタ（５２８ａ）と、重みレジスタ（５２８ｂ）と、入力精度の或る範囲の入力データ要素と重み精度の或る範囲の重み要素との間で乗累算（ＭＡＣ）演算を実施するように構成可能な演算エンジン（５２４）と、コントローラ（５２２）とを含む。コントローラは、特定の入力精度の第１の指示と特定の重み精度の第２の指示とを受け取り、第１の指示と第２の指示とに基づいて演算エンジンを構成するように構成されている。コントローラはまた、命令に応答して、入力データ要素及び重み要素を演算エンジンにフェッチし、第１の指示と第２の指示とに基づいて構成された演算エンジンを用いて、特定の入力精度の入力データ要素と特定の重み精度の重み要素との間でＭＡＣ演算を実施して中間出力データ要素を生成するように構成されている。

【特許請求の範囲】
【請求項】
ニューラルネットワークプロセッサであって、
命令バッファと、
入力データレジスタと、
重みレジスタと、
中間出力データレジスタと、
特定の入力精度の第１の指示と特定の重み精度の第２の指示とを格納するように構成された構成レジスタと、
入力精度の或る範囲の入力データ要素と重み精度の或る範囲の重み要素との間で乗累算（ＭＡＣ）演算を実施するように構成可能である演算エンジンと、
コントローラと、
を含み、前記コントローラが、
前記特定の入力精度の前記第１の指示と前記特定の重み精度の前記第２の指示とを前記構成レジスタから受け取り、
前記第１の指示と前記第２の指示とに基づいて前記演算エンジンを構成し、
前記命令バッファから命令を受け取り、
前記命令に応答して、
第１の数のビットを有する第１のパックドデータと第２の数のビットを有する第２のパックドデータとを、それぞれ、前記入力データレジスタ及び前記重みレジスタからフェッチし、
前記特定の入力精度に基づいて前記第１の数のビットから第１の数の前記入力データ要素を抽出し、
前記特定の重み精度に基づいて前記第２の数のビットから第２の数の前記重み要素を抽出し、
前記入力データ要素と前記重み要素とを前記演算エンジンにフェッチし、
前記第１の指示と前記第２の指示とに基づいて構成された前記演算エンジンを用いて、前記特定の入力精度の前記入力データ要素と前記特定の重み精度の前記重み要素との間でＭＡＣ演算を実施して、中間出力データ要素を生成し、
前記中間出力データ要素を前記中間出力データレジスタにおいて格納する、
ように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項１に記載のニューラルネットワークプロセッサであって、前記入力精度の範囲が、少なくとも、２値入力精度、符号付き４ビットの入力精度、符号なし４ビットの入力精度、符号付き８ビットの入力精度、及び符号なし８ビットの入力精度を含み、
前記重み精度の範囲が、少なくとも、２値重み精度、３値重み精度、２ビットの重み精度、４ビットの重み精度、及び８ビットの重み精度を含む、
ニューラルネットワークプロセッサ。
【請求項】
請求項２に記載のニューラルネットワークプロセッサであって、前記演算エンジンが、前記ＭＡＣ演算を実施するように構成されたＭＡＣ）第１、第２、第３、及び第４のＭＡＣデータ入力との間に結合されたデータマルチプレクサを含み、前記データマルチプレクサが、前記コントローラに結合されたデータ制御入力を有し、
前記入力データレジスタが、第１の入力精度を各々が有する第１、第２、第３、及び第４の入力データ要素、又は、第２の入力精度を各々が有する第１、第２、第３、第４、第５、第６、第７、及び第８の入力データ要素を格納するように構成されており、
前記コントローラが、前記データマルチプレクサを、
前記第１の入力精度を示す前記第１の指示に応答して、
前記入力データレジスタの第１のデータビット出力を前記第１のＭＡＣデータ入力に接続して、前記第１の入力データ要素を提供し、
前記入力データレジスタの第２のデータビット出力を前記第２のＭＡＣデータ入力に接続して、前記第２の入力データ要素を提供し、
前記入力データレジスタの第３のデータビット出力を前記第３のＭＡＣデータ入力に接続して、前記第３の入力データ要素を提供し、
前記入力データレジスタの第４のデータビット出力を前記第４のＭＡＣデータ入力に接続して、前記第４の入力データ要素を提供し、
前記第２の入力精度を示す前記第１の指示に応答して、
前記第１のデータビット出力の半分の複製を前記第１のＭＡＣデータ入力に接続して、前記第１の入力データ要素又は前記第５の入力データ要素の複製を提供し、
前記第２のデータビット出力の半分の複製を前記第２のＭＡＣデータ入力に接続して、前記第２の入力データ要素又は前記第６の入力データ要素の複製を提供し、
前記第３のデータビット出力の半分の複製を前記第３のＭＡＣデータ入力に接続して、前記第３の入力データ要素又は前記第７の入力データ要素の複製を提供し、
前記第４のデータビット出力の半分の複製を前記第４のＭＡＣデータ入力に接続して、前記第４の入力データ要素又は前記第８の入力データ要素の複製を提供する、
ように制御するように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項３に記載のニューラルネットワークプロセッサであって、前記ＭＡＣエンジンが、第１、第２、第３、及び第４のＭＡＣ重み入力のグループを有し、
前記重みレジスタが、重み要素の第１のグループ、重み要素の第２のグループ、重み要素の第３のグループ、及び重み要素の第４のグループを格納するように構成されており、
前記演算エンジンが、前記重みレジスタと前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力のグループとの間に結合された重みマルチプレクサを含み、前記重みマルチプレクサが、前記コントローラに結合された重み制御入力を有し、
前記コントローラが、前記重みマルチプレクサを、
前記第２の入力精度を示す前記第１の指示に応答して、前記重みレジスタの各ビットを前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力のグループの各それぞれのビットに接続して、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループにおいて重み要素の前記第１のグループを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第２のグループにおいて重み要素の前記第２のグループを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第３のグループにおいて重み要素の前記第３のグループを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第４のグループにおいて重み要素の前記第４のグループを提供し、
前記第１の入力精度を示す前記第１の指示に応答して、前記重みレジスタのビットの半分の複製を前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力のグループに接続して、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループにおいて重み要素の前記第１のグループ又は前記第３のグループの第１の半分の複製を提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第２のグループにおいて重み要素の前記第１のグループ又は前記第３のグループの第２の半分の複製を提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第３のグループにおいて重み要素の前記第２のグループ又は前記第４のグループの第１の半分の複製を提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第４のグループにおいて重み要素の前記第２のグループ又は前記第４のグループの第２の半分の複製を提供する、
ように制御するように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項４に記載のニューラルネットワークプロセッサであって、
前記ＭＡＣエンジンが、複数の演算ユニットを含み、各演算ユニットが、
前記第１のＭＡＣデータ入力に結合されたそれぞれの第１の演算データ入力、前記第２のＭＡＣデータ入力に結合されたそれぞれの第２の演算データ入力、前記第３のＭＡＣデータ入力に結合されたそれぞれの第３の演算データ入力、及び前記第４のＭＡＣデータ入力に結合されたそれぞれの第４の演算データ入力と、
第１、第２、第３、及び第４のＭＡＣ重み入力のそれぞれのグループに結合されるそれぞれの第１、第２、第３、及び第４の演算重み入力と、
前記コントローラに結合されたシフト入力と、
累算入力と、
累算出力と、
を有し、
各演算ユニットが、
第１の乗算器入力と第１の乗算器出力とを有する第１の乗算器であって、前記第１の乗算器入力のうちの第１の乗算器入力が前記それぞれの第１の演算データ入力に結合されており、前記第１の乗算器入力のうちの第２の乗算器入力が前記それぞれ第１の演算重み入力に結合されている、前記第１の乗算器と、
第２の乗算器入力と第２の乗算器出力とを有する第２の乗算器であって、前記第２の乗算器入力のうちの第１の乗算器入力が前記それぞれ第２の演算データ入力に結合されており、前記第２の乗算器入力のうちの第２の乗算器入力が前記それぞれ第２の演算重み入力に結合されている、前記第２の乗算器と、
第３の乗算器入力と第３の乗算器出力とを有する第３の乗算器であって、前記第３の乗算器入力のうちの第１の乗算器入力が前記それぞれ第３の演算データ入力に結合されており、前記第３の乗算器入力のうちの第２の乗算器入力が前記それぞれ第３の演算重み入力に結合されている、前記第３の乗算器と、
第４の乗算器入力と第４の乗算器出力とを有する第４の乗算器であって、前記第４の乗算器入力のうちの第１の乗算器入力が前記それぞれ第４の演算データ入力に結合されており、前記第４の乗算器入力のうちの第２の乗算器入力が前記それぞれ第４の演算重み入力に結合されている、前記第４の乗算器と、
前記第１、前記第２、前記第３、及び前記第４の乗算器出力のそれぞれの第１の出力に結合された入力と、第１の加算器出力とを有する、第１の加算器と、
前記第１、前記第２、前記第３、及び前記第４の乗算器出力のそれぞれの第２の出力に結合された入力と、第２の加算器出力とを有する、第２の加算器と、
前記第１の加算器出力に結合されたビットシフタ入力と、前記シフト入力に結合されたビットシフタ制御入力と、ビットシフタ出力とを有するビットシフタと、
前記ビットシフタ出力に結合された入力と、前記第２の加算器出力に結合された入力と、第３の加算器出力とを有する、第３の加算器と、
前記累算器出力と、前記第３の加算器出力に結合された入力と、前記累算器入力に結合された入力とを有する、累算器と、
を含む、ニューラルネットワークプロセッサ。
【請求項】
請求項５に記載のニューラルネットワークプロセッサであって、前記コントローラが、前記第１の指示と前記第２の指示とに応答して、前記ビットシフタ制御入力の状態を設定するように構成されている、ニューラルネットワークプロセッサ。
【請求項】
請求項６に記載のニューラルネットワークプロセッサであって、前記コントローラが、
８ビットの入力精度を示す前記第１の指示に応答して、前記ビットシフタ制御入力を第１の状態に設定するように構成されており
４ビットの入力精度を示す前記第１の指示と４ビットの重み精度を示す前記第２の指示とに応答して、前記ビットシフタ制御入力を第２の状態に設定するように構成されており、
４ビットの入力精度を示す前記第１の指示と２ビットの重み精度を示す前記第２の指示とに応答して、前記ビットシフタ制御入力を第３の状態に設定するように構成されており、
前記ビットシフタが、前記ビットシフタ制御入力が前記第１の状態を有することに応答して４ビットの左シフト演算を実施するように構成されており、
前記ビットシフタが、前記ビットシフタ制御入力が前記第２の状態を有することに応答して２ビットの左シフト演算を実施するように構成されており、
前記ビットシフタが、前記ビットシフタ制御入力が前記第３の状態を有することに応答してシフト演算を実施しないように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項５に記載のニューラルネットワークプロセッサであって、前記第１、前記第２、前記第３、及び前記第４の乗算器の各々が、前記コントローラに結合された２値モード制御入力を有し、
前記第１、前記第２、前記第３、及び前記第４の乗算器の各々が、
前記２値モード制御入力が第１の状態を有することに応答して、
それぞれの前記第１、前記第２、前記第３、及び前記第４の乗算器入力の前記第１の乗算器入力の最上位ビット（ＭＳＢ）と、前記第１、前記第２、前記第３、及び前記第４の乗算器入力の前記第２の乗算器入力との間でビット単位のＸＮＯＲ演算を実施することに基づいて、それぞれの前記第１、前記第２、前記第３、及び前記第４の乗算器出力の前記第１の乗算器出力を生成し、
それぞれの前記第１、前記第２、前記第３、及び前記第４の乗算器入力の前記第１の乗算器入力の最下位ビット（ＬＳＢ）と、それぞれの前記第１、前記第２、前記第３、及び前記第４の乗算器入力の前記第２の乗算器入力との間でビット単位のＸＮＯＲ演算を実施することに基づいて、前記第１、前記第２、前記第３、及び前記第４の乗算器出力のそれぞれの前記第２の乗算器出力を生成し、
前記２値モード制御入力が第２の状態を有することに応答して、それぞれの前記第１、前記第２、前記第３、及び前記第４の乗算器入力の前記第１の乗算器入力と前記第２の入力との間で乗算演算を実施することに基づいて、それぞれの前記第１、前記第２、前記第３、及び前記第４の乗算器出力の前記第１及び前記第２の乗算器出力を生成する、
ように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項８に記載のニューラルネットワークプロセッサであって、前記累算器が、前記第１の加算器出力に結合された入力と、前記第２の加算器出力に結合された入力と、前記２値モード制御入力に結合された入力とを有し、前記累算器が、
前記２値モード制御入力が前記第１の状態を有することに応答して、
前記第１の加算器出力を前記累算器入力のＭＳＢに加算することに基づいて前記累算器出力のＭＳＢを設定し、
前記第２の加算器出力を前記累算器入力のＬＳＢに加算することに基づいて前記累算器出力のＬＳＢを設定し、
前記２値モード制御入力が前記第２の状態を有することに応答して、前記第３の加算器出力を前記累算器入力に加算することに基づいて前記累算器出力を設定する、
ように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項８に記載のニューラルネットワークプロセッサであって、前記コントローラが、前記第１又は前記第２の指示のうちの少なくとも１つが２値精度を示すことに応答して前記２値モード制御入力を前記第１の状態に設定するように構成されている、ニューラルネットワークプロセッサ。
【請求項】
請求項５に記載のニューラルネットワークプロセッサであって、前記コントローラが、８ビットの入力精度を示す前記第１の指示と２ビットの重み精度を示す前記第２の指示とに応答して、
前記データマルチプレクサに、
前記第１のＭＡＣデータ入力において８ビットの第１の入力データ要素を提供させ、
前記第２のＭＡＣデータ入力において８ビットの第２の入力データ要素を提供させ、
前記第３のＭＡＣデータ入力において８ビットの第３の入力データ要素を提供させ、
前記第４のＭＡＣデータ入力において８ビットの第４の入力データ要素を提供させ、
前記重みマルチプレクサに、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループの前記第１のＭＡＣ重み入力において２ビットの第１の重み要素の複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第２のＭＡＣ重み入力において２ビットの第２の重み要素の複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第３のＭＡＣ重み入力において２ビットの第３の重み要素の複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第４のＭＡＣ重み入力において２ビットの第４の重み要素の複製を提供させ、
４ビットの左シフト演算を実施するように前記演算ユニットの前記ビットシフタを制御する、
ように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項１１に記載のニューラルネットワークプロセッサであって、前記２ビットの第１の重み、前記２ビットの第２の重み、前記２ビットの第３の重み、及び前記２ビットの第４の重みの各々が、それぞれの３値の第１の重み、３値の第２の重み、３値の第３の重み、及び３値の第４の重みを含むか、又は、それぞれの２値の第１の重み、２値の第２の重み、２値の第３の重み、又は２値の第４の重みから変換される、ニューラルネットワークプロセッサ。
【請求項】
請求項５に記載のニューラルネットワークプロセッサであって、前記コントローラが、４ビットの入力精度を示す前記第１の指示と４ビットの重み精度を示す前記第２の指示とに応答して、
前記データマルチプレクサに、
前記第１のＭＡＣデータ入力において４ビットの第１の入力データ要素の複製を提供させ、
前記第２のＭＡＣデータ入力において４ビットの第２の入力データ要素の複製を提供させ、
前記第３のＭＡＣデータ入力において４ビットの第３の入力データ要素の複製を提供させ、
前記第４のＭＡＣデータ入力において４ビットの第４の入力データ要素の複製を提供させ、
前記重みマルチプレクサに、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループの前記第１のＭＡＣ重み入力において４ビットの第１の重み要素を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第２のＭＡＣ重み入力において４ビットの第２の重み要素を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第３のＭＡＣ重み入力において４ビットの第３の重み要素を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第４のＭＡＣ重み入力において４ビットの第４の重み要素を提供させ、
２ビットの左シフト演算を実施するように前記演算ユニットの前記ビットシフタを制御する、
ように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項５に記載のニューラルネットワークプロセッサであって、前記コントローラが、４ビットの入力精度を示す前記第１の指示と２ビットの重み精度を示す前記第２の指示とに応答して、
前記データマルチプレクサに、
前記第１のＭＡＣデータ入力において２ビットの第１の入力データ要素と２ビットの第２の入力データ要素とを提供させ、
前記第２のＭＡＣデータ入力において２ビットの第３の入力データ要素と２ビットの第４の入力データ要素とを提供させ、
前記第３のＭＡＣデータ入力において２ビットの第５の入力データ要素と２ビットの第６の入力データ要素とを提供させ、
前記第４のＭＡＣデータ入力において２ビットの第７の入力データ要素と２ビットの第８の入力データ要素とを提供させ、
前記重みマルチプレクサに、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループの前記第１のＭＡＣ重み入力において２ビットの第１の重み要素と２ビットの第２の重み要素とを提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第２のＭＡＣ重み入力において２ビットの第３の重み要素と２ビットの第４の重み要素とを提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第３のＭＡＣ重み入力において２ビットの第５の重み要素と２ビットの第６の重み要素とを提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第４のＭＡＣ重み入力において２ビットの第７の重み要素と２ビットの第８の重み要素とを提供させ、
ビットシフト演算を実施しないように前記演算ユニットの前記ビットシフタを制御する、
ように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項５に記載のニューラルネットワークプロセッサであって、前記ＭＡＣエンジンが、
前記複数の演算ユニットのうちの第１の演算ユニットの第１の累算器出力に結合された入力を有する第２のビットシフタと、
前記第２のビットシフタの前記出力に結合された入力と、前記複数の演算ユニットのうちの第２の演算ユニットの第２の累算器出力に結合された入力とを有する第４の加算器と、
を含み、
前記コントローラが、８ビットの入力精度を示す前記第１の指示と４ビットの重み精度を示す前記第２の指示とに応答して、
前記データマルチプレクサに、前記第１のＭＡＣデータ入力において８ビットの第１の入力データ要素を、前記第２のＭＡＣデータ入力において８ビットの第２の入力データ要素を、前記第１のＭＡＣデータ入力において８ビットの第３の入力データ要素を、及び、前記第２のＭＡＣデータ入力において８ビットの第４の入力データ要素を提供させ、
前記重みマルチプレクサに、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループの前記第１のＭＡＣ重み入力において４ビットの第１の重み要素のＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第２のグループの前記第１のＭＡＣ重み入力において前記４ビットの第１の重み要素のＬＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第２のＭＡＣ重み入力において４ビットの第２の重み要素のＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第２のグループの前記第２のＭＡＣ重み入力において前記４ビットの第２の重み要素のＬＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第３のＭＡＣ重み入力において４ビットの第３の重み要素のＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第２のグループの前記第３のＭＡＣ重み入力において前記４ビットの第３の重み要素のＬＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第４のＭＡＣ重み入力において４ビットの第４の重み要素のＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第２のグループの前記第４のＭＡＣ重み入力において前記４ビットの第４の重み要素のＬＳＢの複製を提供させ、
４ビットの左シフト演算を実施するように前記演算ユニットの前記ビットシフタを制御し、
２ビットの左シフト演算を実施するように前記第２のビットシフタを制御し、
前記第４の加算器の出力のデータを前記中間出力データレジスタにおいて格納するように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項５に記載のニューラルネットワークプロセッサであって、前記ＭＡＣエンジンが、
前記複数の演算ユニットのうちの第１の演算ユニットの第１の累算器出力に結合された入力を有する第２のビットシフタと、
前記第２のビットシフタの前記出力に結合された入力と、前記複数の演算ユニットのうちの第２の演算ユニットの第２の累算器出力に結合された入力とを有する第４の加算器と、
前記複数の演算ユニットのうちの第３の演算ユニットの第３の累算器出力に結合された入力を有する第３のビットシフタと、
前記第３のビットシフタの前記出力に結合された入力と、前記複数の演算ユニットのうちの第４の演算ユニットの第４の累算器出力に結合された入力とを有する第５の加算器と、
前記第４の加算器の前記出力に結合された入力を有する第４のビットシフタと、
前記第４のビットシフタの前記出力に結合された入力と前記第５の加算器の前記出力に結合された入力とを有する第６の加算器と、
を含み、
前記コントローラが、８ビットの入力精度を示す前記第１の指示と８ビットの重み精度を示す前記第２の指示とに応答して、
前記データマルチプレクサに、前記第１のＭＡＣデータ入力において８ビットの第１の入力データ要素を、前記第２のＭＡＣデータ入力において８ビットの第２の入力データ要素を、前記第３のＭＡＣデータ入力において８ビットの第３の入力データ要素を、及び、前記第４のＭＡＣデータ入力において８ビットの第４の入力データ要素を提供させ、
前記重みマルチプレクサに、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループの前記第１のＭＡＣ重み入力において８ビットの第１の重み要素の第１の２つのＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第２のグループの前記第１のＭＡＣ重み入力において前記８ビットの第１の重み要素の第２の２つのＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第３のグループの前記第１のＭＡＣ重み入力において前記８ビットの第１の重み要素の第１の２つのＬＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第４のグループの前記第１のＭＡＣ重み入力において前記８ビットの第１の重み要素の第２の２つのＬＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第２のＭＡＣ重み入力において８ビットの第２の重み要素の第１の２つのＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第２のグループの前記第２のＭＡＣ重み入力において前記８ビットの第２の重み要素の第２の２つのＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第３のグループの前記第２のＭＡＣ重み入力において前記８ビットの第２の重み要素の第１の２つのＬＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第４のグループの前記第２のＭＡＣ重み入力において前記８ビットの第２の重み要素の第２の２つのＬＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第３のＭＡＣ重み入力において８ビットの第３の重み要素の第１の２つのＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第２のグループの前記第３のＭＡＣ重み入力において前記８ビットの第３の重み要素の第２の２つのＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第３のグループの前記第３のＭＡＣ重み入力において前記８ビットの第３の重み要素の第１の２つのＬＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第４のグループの前記第３のＭＡＣ重み入力において前記８ビットの第３の重み要素の第２の２つのＬＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第４のＭＡＣ重み入力において８ビットの第４の重み要素の第１の２つのＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第２のグループの前記第４のＭＡＣ重み入力において前記８ビットの第４の重み要素の第２の２つのＭＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第３のグループの前記第４のＭＡＣ重み入力において前記８ビットの第４の重み要素の第１の２つのＬＳＢの複製を提供させ、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第４のグループの前記第４のＭＡＣ重み入力において前記８ビットの第４の重み要素の第２の２つのＬＳＢの複製を提供させ、
４ビットの左シフト演算を実施するように前記演算ユニットの前記ビットシフタを制御し、
２ビットの左シフト演算を実施するように前記第２のビットシフタを制御し、
２ビットの左シフト演算を実施するように前記第３のビットシフタを制御し、
４ビットの左シフト演算を実施するように前記第４のビットシフタを制御し、
前記第６の加算器の出力のデータを前記中間出力データレジスタにおいて格納する、
ように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項４に記載のニューラルネットワークプロセッサであって、前記構成レジスタが、深さ方向畳み込み演算の第３の指示を格納するように構成されており、
前記重みマルチプレクサが、前記第３の指示に応答して、前記ＭＡＣエンジンの前記ＭＡＣ重み入力の少なくともいくつかにゼロ重み要素を提供するように構成されている、ニューラルネットワークプロセッサ。
【請求項】
請求項１７に記載のニューラルネットワークプロセッサであって、前記重みマルチプレクサが、８ビットの入力精度を示す前記第１の指示と８ビットの重み精度を示す前記第２の指示とに応答して、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループの前記第１のＭＡＣ重み入力において８ビットの第１の重み要素の第１の２つのＭＳＢの複製を提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第２のグループの前記第１のＭＡＣ重み入力において前記８ビットの第１の重み要素の第２の２つのＭＳＢの複製を提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第３のグループの前記第１のＭＡＣ重み入力において前記８ビットの第１の重み要素の第１の２つのＬＳＢの複製を提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第４のグループの前記第１のＭＡＣ重み入力において前記８ビットの第１の重み要素の第２の２つのＬＳＢの複製を提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１、前記第２、前記第３、及び前記第４のグループの前記第２、前記第３、及び前記第４のＭＡＣ重み入力においてゼロを提供する、
ように構成される、
ニューラルネットワークプロセッサ。
【請求項】
請求項１７に記載のニューラルネットワークプロセッサであって、前記重みマルチプレクサが、８ビットの入力精度を示す前記第１の指示と２ビットの重み精度を示す前記第２の指示とに応答して、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループの前記第１のＭＡＣ重み入力において２ビットの第１の重み要素の複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループの前記第２、前記第３、及び前記第４のＭＡＣ重み入力においてゼロを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第２のグループの前記第２のＭＡＣ重み入力において２ビットの第２の重み要素の複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第２のグループの前記第１、前記第３、及び前記第４のＭＡＣ重み入力においてゼロを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第３のグループの前記第３のＭＡＣ重み入力において２ビットの第３の重み要素の複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第３のグループの前記第１、前記第２、及び前記第４のＭＡＣ重み入力においてゼロを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第４のグループの前記第４のＭＡＣ重み入力において２ビットの第４の重み要素の複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第４のグループの前記第１、前記第２、及び前記第３のＭＡＣ重み入力においてゼロを提供する、
ように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項１７に記載のニューラルネットワークプロセッサであって、前記重みマルチプレクサが、８ビットの入力精度を示す前記第１の指示と４ビットの重み精度を示す前記第２の指示とに応答して、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループの前記第１のＭＡＣ重み入力において４ビットの第１の重み要素のＭＳＢの複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第１のグループの前記第２、前記第３、及び前記第４のＭＡＣ重み入力においてゼロを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第２のグループの前記第１のＭＡＣ重み入力において前記４ビットの第１の重み要素のＬＳＢの複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第２のグループの前記第２、前記第３、及び前記第４のＭＡＣ重み入力においてゼロを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第３のグループの前記第２のＭＡＣ重み入力において４ビットの第２の重み要素のＭＳＢの複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第３のグループの前記第１、前記第３、及び前記第４のＭＡＣ重み入力においてゼロを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第４のグループの前記第２のＭＡＣ重み入力において前記４ビットの第２の重み要素のＬＳＢの複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第４のグループの前記第１、前記前記第３、及び前記第４のＭＡＣ重み入力においてゼロを提供する、
ように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項４に記載のニューラルネットワークプロセッサであって、前記構成レジスタが、平均プーリング演算の第４の指示を格納するように構成されており、
前記重みマルチプレクサが、前記第４の指示に応答して、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第１のグループの前記第１のＭＡＣ重み入力において論理１を表す２ビットの第１の重み要素の複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の＼＼第１のグループの前記第２、前記第３、及び前記第４のＭＡＣ重み入力においてゼロを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第２のグループの前記第２のＭＡＣ重み入力において論理１を表す２ビットの第２の重み要素の複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第２のグループの前記第１、前記第３、及び前記第４のＭＡＣ重み入力においてゼロを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第３のグループの前記第３のＭＡＣ重み入力において論理１を表す２ビットの第３の重み要素の複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第３のグループの前記第１、前記第２、及び前記第４のＭＡＣ重み入力においてゼロを提供し、
前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の第４のグループの前記第４のＭＡＣ重み入力において論理１を表す２ビットの第４の重み要素の複製を、並びに、前記第１、前記第２、前記第３、及び前記第４のＭＡＣ重み入力の前記第４のグループの前記第１、前記第２、及び前記第３のＭＡＣ重み入力においてゼロを提供する、
ように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
請求項１に記載のニューラルネットワークプロセッサであって、
前記中間出力データレジスタが、第１の中間出力データレジスタであり、
前記ニューラルネットワークプロセッサが、バイアス値を格納するように構成された第２の中間出力データレジスタをさらに含み、
前記コントローラが、前記命令が畳み込み演算の第１の命令を示すことに応答して、前記演算エンジンの出力と前記第２の中間出力データレジスタに格納された前記バイアス値とを合算することによって前記中間出力データ要素を生成し、前記合算の結果を前記第１の中間出力データレジスタにおいて格納するように構成されている、
ニューラルネットワークプロセッサ。
【請求項】
方法であって、
特定の入力精度の第１の指示と特定の重み精度の第２の指示とを受け取ることと、
前記第１の指示と前記第２の指示とに基づいてニューラルネットワークプロセッサの演算エンジンを構成することと、
命令バッファから命令を受け取ることと、
前記命令に応答して、
入力データ要素及び重み要素を、それぞれ、前記ニューラルネットワークプロセッサの入力データレジスタ及び重みレジスタから、前記第１の指示と前記第２の指示とに基づいて構成された前記演算エンジンにフェッチすることと、
中間出力データ要素を生成するため、前記第１の指示と前記第２の指示とに基づいて構成された前記演算エンジンを用いて、前記特定の入力精度の前記入力データ要素と前記特定の重み精度の前記重み要素との間で乗累算（ＭＡＣ）演算を実施することと、
前記中間出力データ要素を前記ニューラルネットワークプロセッサの中間出力データレジスタにおいて格納することと、
を含む、方法。
【請求項】
請求項２３に記載の方法であって、前記特定の入力精度が、少なくとも、２値入力精度と、符号付き４ビットの入力精度と、符号なし４ビットの入力精度と、符号付き８ビットの入力精度と、符号なし８ビットの入力精度とを含む、入力精度の或る範囲からのものであり、
前記特定の重み精度が、少なくとも、２値重み精度と、３値重み精度と、２ビットの重み精度と、４ビットの重み精度と、８ビットの重み精度とを含む、重み精度の或る範囲からのものである、
方法。
【請求項】
請求項２３に記載の方法であって、前記乗累算（ＭＡＣ）演算が、深さ方向畳み込み演算を含む、方法。
【発明の詳細な説明】
【技術分野】
【】
人工ニューラルネットワークは、生物学的神経回路網に基づくアーキテクチャを備える演算システムである。人工ニューラルネットワークは、或る演算タスクをどのように実施するかについて学習するために、訓練データを用いて訓練プロセスにおいて訓練され得る。人工ニューラルネットワークは、ニューラルネットワークプロセッサに実装され得、ニューラルネットワークプロセッサは、人工ニューラルネットワークの演算動作をサポートするためのメモリと演算リソースとを含み得る。アプリケーションによっては、ニューラルネットワークハードウェアアクセラレータ上で利用可能なメモリ及び演算リソースの量に制限を課すものがある。
【発明の概要】
【】
一例において、ニューラルネットワークプロセッサが提供される。ニューラルネットワークプロセッサは、命令バッファと、入力データレジスタと、重みレジスタと、中間出力データレジスタと、構成レジスタと、演算エンジンと、コントローラとを含む。構成レジスタは、特定の入力精度の第１の指示と特定の重み精度の第２の指示とを格納するように構成されている。演算エンジンは、入力精度の或る範囲の入力データ要素と重み精度の或る範囲の重み要素との間で乗累算（ＭＡＣ）演算を実施するように構成可能である。コントローラは、特定の入力精度の第１の指示と特定の重み精度の第２の指示とを構成レジスタから受け取り、第１の指示と第２の指示とに基づいて演算エンジンを構成するように構成されている。コントローラはまた、命令バッファから命令を受け取り、命令に応答して、第１の数のビットを有する第１のパックドデータと第２の数のビットを有する第２のパックドデータとを、それぞれ、入力データレジスタ及び重みレジスタからフェッチし、特定の入力精度に基づいて第１の数のビットから第１の数の入力データ要素を抽出し、特定の重み精度に基づいて第２の数のビットから第２の数の重み要素を抽出し、入力データ要素と重み要素とを演算エンジンにフェッチし、第１の指示と第２の指示とに基づいて構成された演算エンジンを用いて特定の入力精度の入力データ要素と特定の重み精度の重み要素との間でＭＡＣ演算を実施して、中間出力データ要素を生成し、中間出力データ要素を中間出力データレジスタにおいて格納するように構成されている。
【】
一例において、或る方法が提供される。この方法は、特定の入力精度の第１の指示と特定の重み精度の第２の指示とを受け取ることと、第１の指示と第２の指示とに基づいてニューラルネットワークプロセッサの演算エンジンを構成することとを含む。この方法はさらに、命令バッファから命令を受け取ることと、命令に応答して、入力データ要素及び重み要素を、それぞれ、ニューラルネットワークプロセッサの入力データレジスタ及び重みレジスタから、第１の指示と第２の指示とに基づいて構成された演算エンジンにフェッチすることと含む。この方法はさらに、命令に応答して、第１の指示と第２の指示とに基づいて構成された演算エンジンを用いて、特定の入力精度の入力データ要素と特定の重み精度の重み要素との間で乗累算（ＭＡＣ）演算を実施して中間出力データ要素を生成することと、中間出力データ要素をニューラルネットワークプロセッサの中間出力データレジスタにおいて格納することとを含む。
【図面の簡単な説明】
【】
【図】いくつかの例に従って、推論演算が実施され得るシステムを示す概略図である。
【】
【図】いくつかの例に従って、図１のシステムの電子デバイスによって実施されるデータ処理動作の例を示す概略図である。
【図】いくつかの例に従って、図１のシステムの電子デバイスによって実施されるデータ処理動作の例を示す概略図である。
【図】いくつかの例に従って、図１のシステムの電子デバイスによって実施されるデータ処理動作の例を示すチャートである。
【】
【図】いくつかの例に従って、ニューラルネットワークプロセッサを示す概略図である。
【】
【図】いくつかの例に従って、図５のニューラルネットワークプロセッサによって実行可能な命令の例を示すチャートである。
【図】いくつかの例に従って、図５のニューラルネットワークプロセッサによって実行可能な命令の例を示すチャートである。
【図】いくつかの例に従って、図５のニューラルネットワークプロセッサによって実行可能な命令の例を示すチャートである。
【図】いくつかの例に従って、図５のニューラルネットワークプロセッサによって実行可能な命令の例を示すチャートである。
【】
【図】いくつかの例に従って、図５のニューラルネットワークプロセッサによって実行可能な命令のセットを示すチャートを含む。
【】
【図】いくつかの例に従って、図５のニューラルネットワークプロセッサによって提供されるメモリ管理方式を示すチャートである。
【図】いくつかの例に従って、図５のニューラルネットワークプロセッサによって提供されるメモリ管理方式を示すチャートである。
【図】いくつかの例に従って、図５のニューラルネットワークプロセッサによって提供されるメモリ管理方式を示すチャートである。
【】
【図】いくつかの例に従って、図５のニューラルネットワークプロセッサの循環バッファ回路を示す概略図である。
【】
【図】いくつかの例に従って、図１０Ａの循環バッファ回路の動作を示すチャートである。
【】
【図】いくつかの例に従って、図６Ａ及び図６Ｂの命令シンタックスのフロー制御要素を示すチャートである。
【図】いくつかの例に従って、図６Ａ及び図６Ｂの命令シンタックスのフロー制御要素を示すチャートである。
【】
【図】いくつかの例に従って、図５のニューラルネットワークプロセッサの演算エンジンの内部構成要素を示す概略図である。
【】
【図】いくつかの例に従って、図１３の演算エンジンによって実施される畳み込み演算を示すチャートを含む。
【】
【図】いくつかの例に従って、異なる重み精度に対して図１３の演算エンジンによって実施される後処理演算を示すチャートを含む。
【図】いくつかの例に従って、異なる重み精度に対して図１３の演算エンジンによって実施される後処理演算を示すチャートを含む。
【図】いくつかの例に従って、異なる重み精度に対して図１３の演算エンジンによって実施される後処理演算を示すチャートを含む。
【図】いくつかの例に従って、異なる重み精度に対して図１３の演算エンジンによって実施される後処理演算を示すチャートを含む。
【】
【図】いくつかの例に従って、図１３の演算エンジンによって実施される算術演算を示す概略図である。
【】
【図】いくつかの例に従って、図１３の演算エンジンの乗算回路を示す概略図である。
【】
【図】いくつかの例に従って、図１３の演算エンジンの演算ユニットを示す概略図である。
【】
【図】いくつかの例に従って、図１８の演算ユニットの累算器を示す概略図である。
【】
【図】いくつかの例に従って、図１８の演算ユニットを含む、図１３の演算エンジンの内部構成要素を示す概略図である。
【図】いくつかの例に従って、図１８の演算ユニットを含む、図１３の演算エンジンの内部構成要素を示す概略図である。
【】
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【図】いくつかの例に従って、異なる入力精度及び重み精度に対する、図１３の演算エンジンの異なる構成を示す概略図である。
【】
【図】いくつかの例に従って、図１３の演算エンジンの内部マルチプレクサを示す概略図である。
【図】いくつかの例に従って、図１３の演算エンジンの内部マルチプレクサを示す概略図である。
【図】いくつかの例に従って、図１３の演算エンジンの内部マルチプレクサを示す概略図である。
【】
【図】いくつかの例に従って、図１３の後処理エンジンの内部構成要素を示す概略図である。
【】
【図】いくつかの例に従って、図１３の後処理エンジンの内部構成要素を示す概略図である。
【】
【図】いくつかの例に従って、図１３の後処理エンジンの構成を示す概略図である。
【図】いくつかの例に従って、図１３の後処理エンジンの構成を示す概略図である。
【図】いくつかの例に従って、図１３の後処理エンジンの構成を示す概略図である。
【】
【図】いくつかの例に従って、図１３の最大プーリングエンジンの内部構成要素及びそれらの動作を示す概略図である。
【図】いくつかの例に従って、図１３の最大プーリングエンジンの内部構成要素及びそれらの動作を示す概略図である。
【図】いくつかの例に従って、図１３の最大プーリングエンジンの内部構成要素及びそれらの動作を示すチャートである。
【】
【図】いくつかの例に従って、ニューラルネットワークプロセッサの動作を示すフローチャートである。
【図】いくつかの例に従って、ニューラルネットワークプロセッサの動作を示すフローチャートである。
【図】いくつかの例に従って、ニューラルネットワークプロセッサの動作を示すフローチャートである。
【図】いくつかの例に従って、ニューラルネットワークプロセッサの動作を示すフローチャートである。
【】
図面において、同じ（又は類似の）特徴を示すために同じ参照番号が用いられている。
【発明を実施するための形態】
【】
図１はシステム１００を示す概略図である。システム１００は、電子デバイス１０２ａ、１０２ｂ、及び１０２ｃを含む複数の電子デバイス１０２と、クラウドネットワーク１０３とを含み得る。各電子デバイス１０２は、センサ１０４とデータプロセッサ１０６とを含み得る。例えば、電子デバイス１０２ａは、センサ１０４ａとデータプロセッサ１０６ａとを含み、電子デバイス１０２ｂは、センサ１０４ｂとデータプロセッサ１０６ｂとを含み、電子デバイス１０２ｃは、センサ１０４ｃとデータプロセッサ１０６ｃとを含む。センサ１０４は、オーディオ／音響センサ、動きセンサ、画像センサなどの種々のタイプのものであり得る。いくつかの例において、各電子デバイス１０２は、異なるタイプの複数のセンサ（例えば、音響センサ及び動きセンサ）、又は同じタイプのセンサの複数のインスタンス（例えば、複数のマイクロフォン）を含み得る。各センサシステムは、刺激１０８（例えば、音響信号、光信号、動きなど）を受け取り、受け取った刺激に基づいて決定１１０を生成することができる。決定は、例えば、対象の事象が検出されたかどうかを示すことができる。例えば、電子デバイス１０２ａは、刺激１０８ａに基づいて決定１１０ａを生成することができ、電子デバイス１０２ｂは、刺激１０８ｂに基づいて決定１１０ｂを生成することができ、電子デバイス１０２ｃは、刺激１０８ｃに基づいて決定１１０ｃを生成することができる。いくつかの例において、各電子デバイス１０２は、モノのインターネット（ＩｏＴ）のエンドノードであり得、ネットワーク１０３のエッジデバイスであり得る。各電子デバイス１０２は、それぞれの決定１１０をクラウドネットワーク１０３に送信することができ、クラウドネットワーク１０３は、決定に基づいて動作を実施すること（例えば、異常事象に関するアラートを送信すること、法執行機関に連絡することなど）ができる。
【】
特定の電子デバイス１０２のデータプロセッサ１０６は、特定の電子デバイス上のセンサ１０４によって収集されたデータに対してデータ処理動作を実施して、決定１１０を生成することができる。例えば、センサ１０４がオーディオ／音響センサを含む例において、データプロセッサ１０６は、キーワードスポッティング、ボイスアクティビティ検出、及び特定の音響シグネチャ（例えば、ガラスの破損、射撃）の検出などのデータ処理動作を実施することができる。また、センサ１０４が動きセンサを含む例において、データプロセッサ１０６は、振動検出、アクティビティ認識、及び異常検出（例えば、家に誰もいないときに又は夜間に窓／ドアが叩かれたかどうか又は開けられたかどうか）などのデータ処理動作を実施することができる。また、センサ１０４が画像センサを含む例において、データプロセッサ１０６は、顔認識、ジェスチャ認識、及び視覚的ウェイクワード検出（例えば、人が環境内に存在するかどうかを判定すること）などのデータ処理動作を実施することができる。データプロセッサ１０６はまた、例えば、音声中のキーワードの検出、特定の音響シグネチャ、特定のアクティビティ、特定のジェスチャなどの検出を含むデータ処理動作の結果に基づいて、決定１１０を生成して出力することができる。電子デバイス１０２が複数のセンサを含む場合、データプロセッサ１０６は、異なるタイプのセンサデータに関するセンサフュージョン動作を実施して、決定１１０を生成することができる。
【】
データプロセッサ１０６は、センサ１０４によって生成されたセンサ信号を処理するための種々の回路要素を含み得る。例えば、データプロセッサ１０６は、センサ信号をサンプリングするためのサンプルホールド（Ｓ／Ｈ）回路を含み得る。データプロセッサ１０６は、サンプルをデジタル信号に量子化するためのアナログデジタル変換器（ＡＤＣ）を含み得る。データプロセッサ１０６はまた、サンプルを処理するための人工ニューラルネットワークを実装するためのニューラルネットワークプロセッサを含み得る。人工ニューラルネットワーク（以下、「ニューラルネットワーク」）は、複数の処理ノードを含み得る。ニューラルネットワークは、センサデータに対して推論演算又は分類演算を実施して、前述の決定を生成することができる。推論演算は、センサデータを、ニューラルネットワーク訓練演算から取得される重み要素のセットと組み合わせることによって、決定を生成するために実施され得る。ニューラルネットワークの例としては、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）などを挙げることができる。
【】
ニューラルネットワークの処理ノードは、例えば、入力層、複数の中間層（例えば、隠れ層）、及び出力層を含む、種々の層に分割され得る。入力層及び中間層は各々、ＣＮＮを形成する畳み込み層であり得、一方、出力層は全結合層であり得、入力層、中間層、及び出力層は共にＤＮＮを形成する。入力層の各処理ノードは、入力セットの要素を受け取り、出力への要素の影響度を示すために、重み要素でその要素をスケーリングする。入力セットとしては、例えば、音響データ、動きデータ、画像データ、異なるタイプのデータの組み合わせ、又はそうしたデータから抽出された入力特徴のセットを挙げることができる。また、中間層内の処理ノードは、入力層の各処理ノードから受け取ったスケーリングされた要素を組み合わせて、中間出力のセットを演算することができる。例えば、中間層内の各処理ノードは、要素－重み積の和を演算し、次いで、活性化関数を和に適用することによって中間出力を生成し得る。１つの中間層の各処理ノードからの中間出力は、次の中間層の中間出力を決定するために、アクティブ化された投票（又は非投票）と見なされ、投票の影響を示す重みに関連付けることができる。中間出力は、特定の直前層の出力特徴を表すことができる。出力層は、最終中間層からのスケーリングされた中間出力の和を生成し得る。いくつかの例において、出力層は、スケーリングされた中間出力の和が閾値を超えるかどうかに基づいて２値出力（例えば、「はい」又は「いいえ」）を生成することができ、これは、データ処理動作からの決定（例えば、音声中のキーワードの検出、特定の音響シグネチャ、特定のアクティビティ、特定のジェスチャの検出）を示すことができる。
【】
データプロセッサ１０６のニューラルネットワークプロセッサは、人工ニューラルネットワークモデルに基づいて演算を実施するようにプログラムされ得る。ニューラルネットワークプロセッサは、モデルに関連付けられた演算動作（例えば、加算、乗算、活性化関数の処理など）を含む命令シーケンスに基づいてプログラムされ得る。命令はまた、データを取得及び格納するために内部及び外部メモリデバイスにアクセスすることができる。コンパイラは、ニューラルネットワークモデル、入力データ、並びに利用可能なメモリ及び演算リソースに関する情報を受け取り、ニューラルネットワーク処理を実施するために、例えば、そういったデータについて内部及び外部メモリデバイスにいつアクセスするか、ニューラルネットワークプロセッサのどの構成要素がニューラルネットワークモデルに基づいてデータに対して演算を実施するか、などを示す命令のセットを生成することができる。図１の例において、各電子デバイス１０２のデータプロセッサ１０６は、例えば、重み要素のセット、ニューラルネットワークモデルの各層を表すコンパイルされた命令などを含むデータ１２０（例えば、１２０ａ、１２０ｂ、及び１２０ｃ）をクラウドネットワーク１０３から受け取ることができる。いくつかの例において、各電子デバイス１０２のニューラルネットワークプロセッサは、初期重み要素を調整するために、訓練演算を実施することができる。いくつかの例において、訓練演算はまた、クラウドネットワーク１０３において実施され得、各電子デバイス１０２は、更新された重み要素をクラウドネットワーク１０３から受け取り、更新された重みを用いて推論／分類演算を実施することができる。
【】
図２、図３、及び図４は、音響信号を処理する際に電子デバイス１０２によって実施されるデータ処理動作の例を示す概略図である。図２は、音声中のワードを識別するための例示のデータ処理動作２００を図示する。例示のデータ処理動作は、特徴抽出動作２０２と、ＤＮＮ層処理演算２０４と、後処理演算２０６とを含む。特徴抽出動作２０２の一部として、データプロセッサ１０６は、センサ１０４から音響信号２１２のサンプルを受け取り、サンプルから特徴２１４を抽出することができる。音響信号は、時間によって異なる大きさ／電力レベルを有する音声信号を表すことができる。また、特徴２１４は、音響信号の識別特性を含み得、音響信号の識別特性に基づいて、後続の処理演算（例えば、ＤＮＮ層処理演算２０４及び後処理演算２０６）は、音声中のワードを識別することができる。図２の例において、特徴２１４は、信号電力の時間－周波数分布を含み得る。いくつかの例において、特徴抽出動作２０２は畳み込み演算を含み得、畳み込み演算は、データプロセッサ１０６のＣＮＮ、汎用プロセッサ（例えば、マイクロコントローラ）、メモリ内演算（ＣＩＭ）回路などを実装するニューラルネットワークプロセッサによって実施され得る。
【】
また、ＤＮＮ層処理演算２０４の一部として、データプロセッサ１０６は、多層ＤＮＮ及び重み要素２１６のセットを用いて特徴２１４を処理し、出力２１８のセットを演算することができる。後処理演算２０６は、出力２１８を後処理及び量子化して、推論出力２２０を生成することができる。後処理演算としては、例えば、出力２１８を推論出力のセットにマッピングするための活性化関数処理、並びに訓練中の収束を容易にするためのバッチ正規化（バッチノーム、すなわちＢＮｏｒｍ）及び残差層処理などの他の後処理演算を挙げることができる。推論出力２２０は、候補ワードのセットに関する確率のセットを含み得る。図２の例において、推論出力２２０は、候補ワード「はい」を確率０．９１で、「いいえ」を確率０．０２で、他のワードを確率０．０１でマッピングすることができる。いくつかの例において、候補ワード「はい」が候補ワードの中で最も高い確率にマッピングされることに基づいて、音声信号２１２がワード「はい」を含むという決定を後処理演算２０６の一部として行うこともできる。いくつかの例において、図２に示されているように、ニューラルネットワーク層の出力を表し得る後処理演算２０６の出力は、別のニューラルネットワーク層への入力としてＤＮＮ層処理演算２０４にフィードバックされ得る。
【】
図３は、図２のＤＮＮ層処理演算２０４の一部であり得る例示の処理動作３００の例を示す。図３において、処理動作３００は、出力データ要素３０４のセットを生成するために入力データ要素３０２のセットに対してニューラルネットワーク層によって実施される畳み込み演算であり得る。入力データ要素３０２及び出力データ要素３０４は各々、第１の次元（入力高さ）、第２の次元（入力幅）、及び第３の次元（入力チャネル）を含む多次元配列の形態であり得る。入力データ要素３０２の配列は、高さＦｈ、幅Ｆｗを有し、Ｎｉｎ個の入力チャネルを有することができる。例えば、入力データ要素３０２は特徴２１４を表すことができ、第１の次元は時間を表すことができ、第２の次元は周波数を表すことができ、第３の次元はデータチャネル（又はチャネル）を表すことができる。チャネルは、データソースを表すことができる。例えば、入力データ要素３０２が、複数のマイクロフォンによって生成されたオーディオデータである場合、特定のマイクロフォンから生成されたデータは、特定のデータチャネルに関連付けられ得る。別の例として、入力データ要素３０２が、異なる色チャネル（例えば、赤、緑、及び青）の画像センサによって生成された画像データである場合、特定の色チャネルの生成されたデータは、特定のデータチャネルに関連付けられ得る。
【】
畳み込み演算を実施して１つの出力データ要素（例えば、出力データ要素３０４ａ）を演算するために、データプロセッサ１０６は、重み要素３０６のセットと入力データ要素３０２のサブセットとの間でドット積を演算することができる。図３の例において、重み要素３０６はまた、重み高さＫｈ、重み幅Ｋｗ、及びＮｉｎ個の入力チャネルを有する多次元配列であり得る。重み要素３０６のセットは、入力データ要素３０２の異なるサブセットと重複するように入力データ要素３０２のセットに対してストライドＤだけ移動され得る。異なるドット積（及び異なる出力データ要素３０４）は、下記のように、重み要素３０６のセットと入力データ要素３０２の異なる重複するサブセットとの間で異なるストライドで演算され得る。
【数】
【】
式１において、ｒは幅次元に沿った添え字を表し、ｓは高さ次元に沿った添え字を表し、ｃは入力チャネル次元に沿った添え字を表す。また、ＸｃｅＤ＋ｒ，ｆＤ＋ｓは、入力チャネルｃの入力データ要素３０２を表し、幅次元に沿った添え字ｅＤ＋ｒ及び高さ次元に沿った添え字ｆＤ＋ｓを有し、ｅ及びｆは、ストライドＤの倍数であり、Ｆｃｒ，ｓは、幅次元に沿った添え字ｒ及び高さ次元に沿った添え字ｓを有する重みデータ要素３０６を表し、Ｙｅ，ｆは、幅次元に沿った添え字ｅ及び高さ次元に沿った添え字ｆを有する出力データ要素３０４を表す。いくつかの例において、データプロセッサ１０６は、入力データ要素３０２と重み要素３０６の複数のセットとの間で畳み込み演算を実施して、Ｎｏｕｔ個の出力チャネルを有する出力データ要素３０４を生成することができ、入力データ要素と重み要素３０６の１つのセットとの間の畳み込みは、特定の出力チャネルの出力データ要素３０４を生成することができる。
【】
図４は、ループ命令４００のセットの一例を示す。いくつかの例において、ループ命令４００は、図３の処理動作３００の一部、又は１つのニューラルネットワーク層によって実施される他の処理動作を表すことができる。例えば、ループ命令のセット４００は、特定のストライドＤでの畳み込み演算の一部を表すことができる。データプロセッサ１０６のニューラルネットワークプロセッサは、ループ命令のセットを実行して、入力データ要素３０２及び重み要素３０６の複数のセットからＮｏｕｔ個の出力チャネルを有する出力データ要素３０４の多次元配列を演算することができる。ループ命令４００は、ネストループ構造を表し、ネストループ構造は、出力チャネル（０～Ｎｏｕｔ－１の間のｎ）の次元及び入力チャネル（０～Ｎｉｎ－１の間のｍ）の次元における添え字の範囲をスイープする最も外側のループ４０２及び４０４と、入力高さ（０～Ｆｈ－１の間のｉ）の次元及び入力幅（０～Ｆｗ－１の間のｊ）の次元における添え字の範囲をスイープする中間ループ４０６及び４０８と、重みフィルタ／カーネル高さ（０～Ｋｈ－１の間のｈ）の次元及び重み幅（０～Ｋｗ－１の間のｗ）の次元における添え字の範囲をスイープする最も内側のループ４１０及び４１２とを含み、入力高さ、入力幅、及び入力チャネルの添え字の範囲に関連付けられた入力データ要素と、重み高さ、重み幅、入力チャネル、及び出力チャネルの添え字の範囲に関連付けられた重み要素との間のドット積として出力データ要素Ｙを演算することができる。
【】
ループ命令のセット４００のパラメータは、ループ命令のセットによって表されるニューラルネットワーク層の特定のタイプ／トポロジーに基づいて構成され得る。例えば、各出力データ要素が、同じ入力チャネルの入力データ要素と重み要素とのドット積から生成される深さ方向畳み込み層を実装するために、最も外側のループ４０２及び４０４を１つのループにマージされ得るか、又は変数ｍが定数に設定され得る。また、平均プーリング層を実装するために、ニューラルネットワーク層に提供される重み要素の全てが１／（ＫＷ×Ｋｈ）に設定され得る。また、各出力データ要素が、入力データ要素と入力チャネルの数Ｎｉｎに等しい深さを有する１×１カーネルとのドット積から生成される点単位畳み込み層を実装するために、Ｋｗ及びＫｈ（重み要素配列の幅及び高さ）を各々１に設定することができる。また、全結合層を実装するために、Ｋｗ、Ｋｈ、Ｆｗ、及びＦｈを各々１に設定することができる。
【】
再び図１を参照すると、推論を実施するためにセンサデータをクラウドネットワーク１０３に送信するのではなく、電子デバイス１０２にセンサデータに対する推論演算をローカルで実施させることは、種々の利点をもたらすことができる。例えば、センサデータをローカルで保持及び処理することにより、電子デバイス１０２からクラウドネットワーク１０３へのセンサデータの送信が、低減され得るか又は完全に排除され得る。そのような構成は、特に、電子デバイス１０２が大量のセンサデータを連続的に生成する（例えば、常時オンのシステムの一部である）場合、センサデータの送信に伴う電力及び帯域幅を低減することができる。また、センサデータ（例えば、画像、音声データなど）の送信に関連付けられたセキュリティ及びプライバシーのリスクも低減することができる。また、推論決定を提供する際の速度及び信頼性を改善することもでき、又は少なくとも、センサデータの送信におけるネットワークボトルネック、クラウドネットワーク１０３が利用不可能であるなどの、電子デバイス１０２の外部の要因による影響を少なくすることができる。
【】
センサデータに対する推論演算を電子デバイス１０２にローカルで実施させることは有利であるが、種々の課題が存在する。具体的には、推論演算は、ニューラルネットワークプロセッサなどの専用ハードウェアによって実施するときでも、電力集約的であり得、大量のメモリ及び演算リソースを用いることがある。一方、電子デバイス１０２は、低電力デバイスであり得、特にそれらがＩｏＴデバイスである場合、小型フォームファクタを有することがある。したがって、電子デバイス１０２上のニューラルネットワークプロセッサは、推論演算を実施するために利用可能な非常に限られたメモリ及び演算リソースを有することがある。また、異なるアプリケーションは、推論演算に関して異なり相矛盾する要件を有することがある。例えば、いくつかのアプリケーションは、推論演算に高い精度を必要とすることがあるが、いくつかの他のアプリケーションは、そのような高い精度を必要としないことがある。また、ニューラルネットワークプロセッサは、異なるアプリケーションをサポートするために、広範囲のニューラルネットワークトポロジー、層タイプ、カーネル／フィルタサイズ、並びにフィルタ、入力データ、及び出力データの次元をサポートすることがある。これらは全て、広範囲のアプリケーションをサポートするために、限られたメモリ及び演算リソースを用いて種々の推論演算を実施することができるニューラルネットワークプロセッサを有するための課題を提示する。
【】
図５は、で説明した課題の少なくともいくつかに対処することができるニューラルネットワークプロセッサ５０２を有する電子デバイス１０２の内部構成要素の例を示す概略図である。図５を参照すると、電子デバイス１０２は、メモリ５１２と、直接メモリアクセス（ＤＭＡ）コントローラ５１６と、プロセッサ５１４と、センサインターフェース回路５１７とに相互接続５１８を介して結合されるニューラルネットワークプロセッサ５０２とを含み得る。センサインターフェース回路５１７は、センサ１０４とインターフェースするインターフェース回路要素（例えば、アナログデジタル変換器（ＡＤＣ））を含み得る。いくつかの例において、ニューラルネットワークプロセッサ５０２と、メモリ５１２と、ＤＭＡコントローラ５１６と、相互接続５１８と、センサ１０４とは、システムオンチップ（ＳｏＣ）などの集積回路（ＩＣ）の一部であり得る。いくつかの例において、ニューラルネットワークプロセッサ５０２は、スタンドアロンの特定用途向け集積回路（ＡＳＩＣ）であり得る。相互接続５１８は、ＳｏＣバス相互接続、又は他のタイプの相互接続であり得る。また、プロセッサ５１４は、汎用プロセッサであり得、種々のタスクを実施するための命令を実行可能な、例えば、中央処理装置（ＣＰＵ）、一つ又は複数のプロセッサコアなどを含む。
【】
メモリ５１２は、ニューラルネットワークプロセッサ５０２とプロセッサ５１４とによって共有される。メモリ５１２は、推論演算を実施するためにニューラルネットワークプロセッサ５０２に提供される各ニューラルネットワーク層の命令、入力データ、及び重み、並びに、推論演算からニューラルネットワークプロセッサ５０２によって生成された出力データを格納し得る。入力データとしては、例えば、センサ１０４によって提供されたセンサデータ、センサデータから抽出された特徴データ、又は前のニューラルネットワーク層によって生成された中間出力データを挙げることができる。メモリ５１２はまた、プロセッサ５１４のためのプログラム命令及びデータなどの他のデータを格納することができる。メモリ５１２は、フラッシュメモリデバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）、抵抗性ランダムアクセスメモリ（ＲｅＲＡＭ）などの任意の適切なオンチップメモリを含み得る。
【】
ニューラルネットワークプロセッサ５０２とプロセッサ５１４のために別々に専用メモリデバイスを提供するのではなく、プロセッサ５１４とニューラルネットワークプロセッサ５０２とにメモリ５１２を共有させることにより、電子デバイス１０２の総メモリサイズを低減することができ、これにより、電子デバイス１０２の電力及び占有面積が低減され得る。下記でより詳細に説明するように、メモリリソース使用量及びメモリデータ移動を低減するために、ニューラルネットワークプロセッサ５０２は、出力データが出力データの循環アドレス指定を用いて入力データを上書きするインプレース演算、及び常時オンのアプリケーションをサポートするための入力データの循環アドレス指定など、種々のメモリ管理方式を実装することができ、これにより、ニューラルネットワークプロセッサ５０２が限られたメモリリソースで動作することを可能にすることができる。また、ニューラルネットワークプロセッサ５０２は、メモリ５１２からのデータにアクセスするための可変レイテンシを処理するように構成されており、それにより、ニューラルネットワークプロセッサ５０２への最小限の性能影響でプロセッサ５１４の同時動作を可能にする。
【】
プロセッサ５１４は、ニューラルネットワークプロセッサ５０２を用いるソフトウェアプログラムを実行して推論演算を実施し、次いで推論演算の結果に基づいて追加演算を実施することができる。例えば、プロセッサ５１４は、ホームセキュリティシステムのためのソフトウェアプログラムを実行することができる。ソフトウェアプログラムは、ニューラルネットワークプロセッサ５０２への命令（例えば、アプリケーションプログラミングインターフェース（ＡＰＩ））を含み得る。１つのＡＰＩは、１つのニューラルネットワーク層における演算に関連付けられ得、ソフトウェアプログラムは、多重極ニューラルネットワーク層のための複数のＡＰＩを含み得る。ＡＰＩを呼び出す／実行すると、プロセッサ５１４は、ニューラルネットワークプロセッサ５０２によって実行可能なニューラルネットワーク層命令、並びに重み、パラメータ、及び入力データのメモリアドレスをニューラルネットワークプロセッサ５０２に提供することができ、次いで、ニューラルネットワークプロセッサは、こうしたデータをメモリ５１２のメモリアドレスにフェッチすることができる。プロセッサ５１４はまた、ニューラルネットワークプロセッサ５０２に制御信号を送信して、そのニューラルネットワーク層の演算を開始することができる。ニューラルネットワーク層演算が完了し、出力データがメモリ５１２に格納されると、ニューラルネットワークプロセッサ５０２は、出力データのメモリアドレス及び制御信号をプロセッサ５１４に返送して完了をシグナリングすることができ、プロセッサ５１４は、次のニューラルネットワーク層のための別のＡＰＩを呼び出すことができる。プロセッサ５１４はまた、ソフトウェアプログラムを実行して、とりわけ、推論決定をクラウドネットワーク１０３（又は他のデバイス／システム）に送信すること、グラフィカルユーザインターフェースを提供することなどの他の機能を実施することができる。プロセッサ５１４は、ニューラルネットワークプロセッサ５０２と同時にそうした他の機能を実施することができる。
【】
ＤＭＡコントローラ５１６は、メモリ５１２とニューラルネットワークプロセッサ５０２との間で或るデータを転送するためにＤＭＡ動作を実施するように構成することができる。例えば、ＡＰＩを呼び出すと、プロセッサ５１４は、格納された命令、重み、及びパラメータについてのメモリアドレスをニューラルネットワークプロセッサ５０２に（例えば、メモリ記述子の形態で）提供することができる。次いで、ニューラルネットワークプロセッサ５０２は、プロセッサ５１４によって提供されたメモリアドレスに基づいて、格納された命令、重み、及びパラメータを取得することができる。後述するように、いくつかの例において、ニューラルネットワークプロセッサ５０２は、ＤＭＡコントローラ５１６を用いて入力データをバルクでフェッチする代わりに、必要に応じて入力データをメモリ５１２から直接フェッチすることができる。また、ニューラルネットワークプロセッサ５０２は、ＤＭＡコントローラ５１６を用いて出力データをバルクでフェッチする代わりに、出力データが生成されてチャンクサイズに達すると、新たに生成された出力データを比較的小さなチャンク（例えば、３２ビットのチャンクサイズ）でメモリ５１２に直接格納することができる。そのような構成により、ニューラルネットワークプロセッサ５０２上に入力／出力データバッファを有することを回避する（又は入力／出力データバッファのサイズを少なくとも低減する）ことができ、ニューラルネットワークプロセッサ５０２の電力及び占有面積を低減することができる。
【】
ニューラルネットワークプロセッサ５０２は、ニューラルネットワークハードウェアアクセラレータであり得、推論演算をサポートするためのニューラルネットワーク層演算のための演算リソース及びメモリリソースを含むハードウェアリソースを提供することができる。ニューラルネットワークプロセッサ５０２は、命令バッファ５２０と、演算コントローラ５２２と、構成可能な演算精度を有する演算エンジン５２４とを含み得る。ニューラルネットワークプロセッサ５０２はまた、重み及びパラメータバッファ５２６と、レジスタ５２８と、ロード／ストアコントローラ５３０と、アドレス生成器５３２とを含む。ロード／ストアコントローラ５３０は、メモリインターフェース５３４をさらに含む。ニューラルネットワークプロセッサ５０２の各構成要素は、後述するように、ニューラルネットワークプロセッサ５０２の種々の動作をサポートするために、組み合わせ論理回路（例えば、論理ゲート）、順序論理回路（例えば、ラッチ、フリップフロップなど）、及び／又はメモリデバイス（例えば、ＳＲＡＭ）を含み得る。
【】
命令バッファ５２０は、プロセッサ５１４からの制御信号に応答して、ニューラルネットワーク層のための演算命令をメモリ５１２からフェッチし、格納することができる。例えば、ニューラルネットワーク層演算を開始するためにＡＰＩが呼び出されることに応答して、プロセッサ５１４は、ニューラルネットワーク層演算の命令（例えば、マイクロコード）をメモリ５１２から転送するか、又は命令を他のソース（例えば、別のプロセッサ）から受け取り、命令を命令バッファ５２０に格納するように命令バッファ５２０を制御することができる。
【】
演算コントローラ５２２は、命令バッファ５２０に格納された各演算命令を復号し、命令に基づいて動作を実施するように演算エンジン５２４と、ロード／ストアコントローラ５３０と、アドレス生成器５３２とを制御することができる。例えば、畳み込み演算を実施する命令に応答して、演算コントローラ５２２は、畳み込み演算のためのデータ及び重みがフェッチされ、それぞれ、データレジスタ５２８ａ及び重み／パラメータレジスタ５２８ｂに格納された後に、畳み込み演算のための演算を実施するように演算エンジン５２４を制御することができる。演算コントローラ５２２は、次に実行される命令を追跡／指示するプログラムカウンタ（ＰＣ）を維持することができる。いくつかの例において、演算命令は、演算コントローラ５２２によって抽出され得る、ループ要素、マクロ要素などのフロー制御要素を含み得る。次いで、演算コントローラ５２２は、フロー制御要素に応答してＰＣ値を変更し、フロー制御要素に基づいて命令の実行のフロー／シーケンスを変更することができる。そのような構成は、ニューラルネットワーク層命令が、図４に示されているような、畳み込み層演算を反映するループ命令を含むことを可能にして、よりコンパクトにされ得、これにより、マイクロコードサイズを低減し、ニューラルネットワーク層トポロジーの命令への変換を容易にすることができる。
【】
演算エンジン５２４は、ＣＮＮネットワーク層演算をサポートするための畳み込み演算を実施するための回路要素と、ニューラルネットワーク出力データに対して後処理演算（例えば、ＢＮｏｒｍ及び残差層処理）を実施するための回路要素とを含み得る。下記で説明するように、演算エンジン５２４は、プロセッサ５１４によって提供され、構成レジスタ５２８ｃに格納されたパラメータに基づいて、ビット精度の或る範囲（例えば、２値(binary)精度、３値（ternary）精度、４ビット精度、８ビット精度など）にわたって重み及び入力データに対してＭＡＣ（例えば、畳み込み）及び後処理演算を実施するように構成可能である。パラメータは、特定のニューラルネットワーク層に提供され得、異なるニューラルネットワーク層の実行の間に更新され得る。これは、プロセッサ５１４が、例えば、推論演算を実施する必要性、推論結果を用いるアプリケーション、電子デバイス１０２の利用可能な電力などに基づいて、演算エンジン５２４における畳み込み及び後処理演算のビット精度を動的に構成することを可能にする。いくつかの例において、演算エンジン５２４は、異なるニューラルネットワーク層のための重み及び入力データに対する異なるビット精度を可能にし、これは、広範な精度と演算とのトレードオフを可能にすることができる。これは、ニューラルネットワークプロセッサ５０２がドメイン固有又はアプリケーション固有の命令セットプロセッサとして動作することも可能にし、ニューラルネットワークプロセッサ５０２は、或るアプリケーション（例えば、ディープニューラルネットワークに基づく機械学習）を効率的に実施するように構成／カスタマイズされ得る。
【】
重み及びパラメータバッファ５２６は、後処理演算をサポートするために、複数のニューラルネットワーク層のための重み、及びニューラルネットワークプロセッサ５０２の異なる内部構成要素のためのパラメータを格納することができる。ニューラルネットワークプロセッサ５０２は、例えば、ＤＭＡコントローラ５１６を介して、重み及びパラメータをメモリ５１２からフェッチすることができる。いくつかの例において、重み及びパラメータバッファ５２６は、ＳＲＡＭデバイスを含み得る。特定のニューラルネットワーク層に関して静的である重み及びパラメータを格納するための重み及びパラメータバッファ５２６を有することにより、ニューラルネットワーク層に対する演算中にニューラルネットワークプロセッサ５０２とメモリ５１２との間におけるそのような静的なデータの移動を低減することができる。また、重み及びパラメータデータのサイズをニューラルネットワーク層演算のための入力及び出力データのサイズと比較して相対的に小さくすることができ、これにより、重み及びパラメータバッファ５２６が小さな占有面積を有することを可能にする。
【】
また、レジスタ５２８は、データレジスタ５２８ａと、重み及びパラメータレジスタ５２８ｂと、アドレスレジスタ５２８ｃと、構成レジスタ５２８ｄとを含み得る。データレジスタ５２８ａは、ニューラルネットワーク層演算のための入力データのサブセット及び出力データのサブセットを格納することができ、重み及びパラメータレジスタ５２８ｂは、ニューラルネットワーク層演算のための重みのサブセットと、後処理演算のためのパラメータとを格納することができる。アドレスレジスタ５２８ｃは、重み及び入力／出力データについてメモリ５１２においてロード／ストアコントローラ５３０によってアクセスされるメモリアドレスを格納することができる。アドレスレジスタ５２８ｃは、重み及びパラメータをフェッチするためにロード／ストアコントローラ５３０によってアクセスされる重み及びパラメータバッファ５２６内にアドレスを格納することができる。構成レジスタ５２８ｄは、ニューラルネットワークプロセッサ５０２のための種々の構成要素に共通である構成パラメータを格納することができる。例えば、構成レジスタ５２８ｄは、演算エンジン５２４における畳み込み演算及び後処理演算のための入力データ要素及び重み要素のビット精度、ニューラルネットワークプロセッサ５０２の特定のメモリ管理方式（例えば、インプレース演算、入力データの循環アドレス指定など）などを設定するためのパラメータを格納することができる。上述したように、こうしたパラメータのいくつかが、ニューラルネットワークの実行の間に、又は２つのニューラルネットワーク層の実行の間に、プロセッサ５１４によって提供／更新され得る。
【】
データレジスタ５２８ａ及び重みレジスタ５２８ｂの読出し／書込み動作は、演算コントローラ５２２によって実行される命令に基づいてロード／ストアコントローラ５３０によって実施され得る。例えば、データレジスタ５２８ａへの入力データのフェッチを示す命令に応答して、ロード／ストアコントローラ５３０は、メモリインターフェース５３４を介して直接（例えば、ＤＭＡコントローラ５１６を介さずに）入力データをメモリ５１２からフェッチし、フェッチされたデータをデータレジスタ５２８ａに格納することができる。また、出力データをメモリ５１２に戻して格納することを示す命令に応答して、ロード／ストアコントローラ５３０は、出力データをデータレジスタ５２８ａからフェッチし、メモリインターフェース５３４を介して直接（例えば、ＤＭＡコントローラ５１６を介さずに）出力データをメモリ５１２に格納することができる。で説明したように、そのような構成により、ニューラルネットワークプロセッサ５０２上に入力／出力データバッファを有することを回避する（又は入力／出力データバッファのサイズを低減する）ことができ、ニューラルネットワークプロセッサ５０２の電力及び占有面積を低減することができる。
【】
また、後述するように、ロード／ストアコントローラ５３０は、アドレスレジスタ５２８ｃに格納されたメモリアドレスを設定することにより、出力データが入力データを上書きするインプレース演算、及び常時オンのアプリケーションをサポートするための入力データの循環アドレス指定など、種々のメモリ管理方式を実装することができる。そのような構成は、メモリ５１２内の入力／出力データの占有面積を低減し、メモリ５１２内の入力／出力データの移動を低減することができ、ニューラルネットワークプロセッサ５０２とプロセッサ５１４との間におけるメモリ５１２への共有アクセスを容易にする。一方、ロード／ストアコントローラ５３０はまた、演算コントローラ５２２によって実行される命令に基づいて、重み及びパラメータを重み及びパラメータバッファ５２６から重みレジスタ５２８ｂにフェッチすることができる。上述したように、プロセッサ５１４は、ＤＭＡコントローラ５１６を用いて別個のメモリインターフェース（図５には図示せず）を介して重み及びパラメータをメモリ５１２から又は別のプロセッサからフェッチし、重み及びパラメータを重み及びパラメータバッファ５２６に格納するように、ニューラルネットワークプロセッサ５０２を制御することができる。
【】
図６Ａ、図６Ｂ、及び図６Ｃは、ニューラルネットワークプロセッサ５０２によって実行可能な命令の例を示すチャートである。図６Ａ及び図６Ｂを参照すると、命令６００は、複数のサブ命令を含み、複数のサブ命令は、サブ命令６０２、６０４、６０６、６０８、６１０、６１２、及び６１４を含み得る。各サブ命令は、ニューラルネットワークプロセッサ５０２の特定の構成要素を対象とし得、異なる構成要素は、サブ命令によってプログラムされ得、サブ命令によって表される動作を並列に及び／又は独立して実施し得る。例えば、サブ命令６０２は演算エンジン５２４を対象とする。サブ命令６０４は、重み、入力データ、出力データ、並びにバイアス、スケール、及びシフトなどの後処理パラメータにアクセスするためのメモリアドレスを生成するアドレス生成器５３２の一部を対象とする。サブ命令６０４はまた、開始ループインジケータを含み得、また演算コントローラ５２２を対象とし得る。サブ命令６０６は、入力データ及び出力データにアクセスするためのメモリアドレスを生成するアドレス生成器５３２の一部を対象とする。また、サブ命令６０８は、重み及び後処理パラメータ（例えば、バイアス、スケール、及びシフト）を重み及びパラメータバッファ５２６から重み／パラメータレジスタ５２８ｂにフェッチするために、ロード／ストアコントローラ５３０を対象とする。また、サブ命令６１０は、入力データをメモリ５１２からデータレジスタ５２８ａにフェッチし、出力データをデータレジスタ５２８ａからメモリ５１２に格納するために、ロード／ストアコントローラ５３０を対象とする。また、サブ命令６１２は、演算コントローラ５２２を対象とし、ループ又はマクロの命令のための終了インジケータを提供する。
【】
また、サブ命令６１４は、命令６００のタイプを示す。ニューラルネットワークプロセッサ５０２は、異なるタイプ及びビット長の命令をサポートすることができる。例えば、図６Ａ及び図６Ｂにおいて、命令６００は、４８ビット（４８ｂ）命令であり、４８ビット（４８ｂ）命令は、演算エンジン５２４、アドレス生成器５３２、及びロード／ストアコントローラ５３０を対象とする５つのサブ命令（６０２、６０４、６０６、６０８、及び６１０）を有する。ニューラルネットワークプロセッサ５０２はまた、他のサブ命令に加えて、サブ命令６０２～６１０のサブセットを有する２４ビット（２４ｂ）命令をサポートすることができる。サブ命令６１４に基づいて、演算コントローラ５２２は、命令のタイプ及びビット長を決定し、タイプ及びビット長に基づいて命令からサブ命令を復号及び抽出することができる。
【】
演算コントローラ５２２は、命令の所定のビット位置からサブ命令を抽出し、抽出したサブ命令に基づいてニューラルネットワークプロセッサ５０２の対象構成要素のための制御信号を生成することができる。演算コントローラ５２２は、それぞれのサブ命令を並列に実行するように演算エンジン５２４と、アドレス生成器５３２と、ロード／ストアコントローラ５３０とを制御することができ、これにより、ニューラルネットワークプロセッサ５０２は、Ｎ通り（例えば、サブ命令６０２～６１０の実行において５通り）の並列プログラマビリティを提供することができる。
【】
サブ命令６０２～６１０は各々、対象構成要素によって実行される動作及び／又はアクセスされるレジスタを識別するフィールドを含む。例えば、サブ命令６０２は、フィールド６０２ａ、６０２ｂ、６０２ｃ、及び６０２ｄを含む。フィールド６０２ａは、乗累算（ＭＡＣ）演算動作、ＢＮｏｒｍ演算動作、又は最大プーリング演算動作など、演算エンジン５２４によって実施される演算を識別することができる。フィールド６０２ｂは、演算の出力を格納するための宛先データレジスタ（ＭＡＣｒｅｇ０～ＭＡＣｒｅｇ７と標示されている）を識別することができる。フィールド６０２ｃ及び６０２ｄは、それぞれ、ソース入力データレジスタ（図６Ａ及び図６ＢにおいてＤｉｎ０及びＤｉｎ１と標示されている）及び重みレジスタ（図６Ａ及び図６Ｂにおいて重み－０及び重み－１と標示されている）を識別し、ソース入力データレジスタ及び重みレジスタから入力データ要素及び重み要素が演算のためにフェッチされる。後述するように、いくつかの例において、フィールド６０２ｃはまた、最大プーリング演算が演算エンジン５２４によって実施されるかどうか、又は最大プーリング演算が０出力を提供するかどうかを示すことができる。
【】
また、サブ命令６０４は、フィールド６０４ａ、６０４ｂ、及び６０４ｃを含む。フィールド６０４ａは、フィールド６０４ｃによって識別されるソースアドレスレジスタに格納されたアドレスを更新するために実施される動作を識別することができ、更新されたアドレスは、フィールド６０４ｂによって識別される宛先アドレスレジスタに格納される。動作としては、例えば、１増分（ＡＤＤ）、１減分（ＳＵＢ）、及び宛先アドレスレジスタ内のアドレスをソースアドレスレジスタ内のアドレスで置き換えるための移動動作（ＭＯＶ）を挙げることができる。アドレスは、（入力データ／出力データのための）メモリ５１２内のメモリアドレス、又は、（重み又はパラメータのための）重み及びパラメータバッファ５２６内の位置に対するエイリアス／参照／アドレスであり得る。ソース／宛先アドレスレジスタは、入力データ及び出力データのためのアドレスレジスタ（図６Ａ及び図６ＢにおいてＡＲｉｎ０、ＡＲｉｎ１、ＡＲｏｕｔ０、及びＡＲｏｕｔ１と標示されている）、重みのためのアドレスレジスタ（図６Ａ及び図６ＢにおいてＡＲｗｔ０及びＡＲｗｔ１と標示されている）、シフト及びスケールのためのアドレスレジスタ（図６Ａ及び図６ＢにおいてＡＲｓｓ０及びＡＲｓｓ１と標示されている）、並びにバイアス値のためのアドレスレジスタ（図６Ａ及び図６ＢにおいてＡＲｂｉａｓ０及びＡＲｂｉａｓ１と標示されている）を含み得る。いくつかの例において、フィールド６０４ａはまた、ループの命令のための開始インジケータであり得るセットアップループ演算（ＳＥＴＵＰ＿ＬＰ）を識別することができ、フィールド６０４ｃは、ループのためのループカウント値を格納するループカウントレジスタＬＣ－ｒｅｇ（構成レジスタ５２８ｄの一部であり得る）を識別することができ、サブ命令６０４は、演算コントローラ５２２によって処理され得る。
【】
また、サブ命令６０６は、フィールド６０６ａ、６０６ｂ、及び６０６ｃを含む。フィールド６０６ａは、フィールド６０６ｃによって識別されるソースアドレスレジスタに格納されたアドレスを更新するために実施される動作を識別することができ、更新されたアドレスは、フィールド６０６ｂによって識別される宛先アドレスレジスタに格納される。動作としては、例えば、１増分（ＡＤＤ）、１減分（ＳＵＢ）、及び宛先アドレスレジスタ内のアドレスをソースアドレスレジスタ内のアドレスで置き換えるための移動動作（ＭＯＶ）を挙げることができる。アドレスは、入力又は出力データのためのメモリ５１２内のメモリアドレスであり、ソース／宛先アドレスレジスタは、入力データ及び出力データのためのアドレスレジスタ（図６Ａ及び図６ＢにおいてＡＲｉｎ０、ＡＲｉｎ１、ＡＲｏｕｔ０、及びＡＲｏｕｔ１と標示されている）を含み得る。後述するように、入力データのインプレース演算又は循環アドレス指定が実施される場合、アドレス生成器５３２は、循環バッファを用いて調整されたアドレスを処理して、入力／出力データの循環アドレス指定を提供することができる。
【】
また、サブ命令６０８は、フィールド６０８ａ、６０８ｂ、及び６０８ｃを含む。フィールド６０８ａは、フィールド６０８ｃによって識別されるアドレスレジスタ（例えば、ＡＲｗｔ０、ＡＲｗｔ１、ＡＲｓｓ０、ＡＲｓｓ１、ＡＲｂｉａｓ０、ＡＲｂｉａｓ１）に格納されたアドレスから重み／バイアス／スケール／シフトをフェッチし、フェッチした重み／バイアス／スケール／シフトをフィールド６０８ｂによって識別されるレジスタ（重み－０、重み－１、スケール－シフト－０、スケール－シフト－１、ＭＡＣｒｅｇ０～ＭＡＣｒｅｇ７）に格納するためのロード命令を示すことができる。
【】
また、サブ命令６１０は、フィールド６１０ａ、６１０ｂ、及び６１０ｃを含む。フィールド６１０ａは、サブ命令６１０がロード命令であるか、又はストア命令であるかを示すことができる。ロード命令の場合、フィールド６１０ｃは、そこから入力データがロードされるメモリアドレスを格納する、アドレスレジスタ（ＡＲｉｎ０、ＡＲｉｎ１）を識別することができ、フィールド６１０ｂは、入力データを格納する入力データレジスタ（Ｄｉｎ０又はＤｉｎ１）を識別することができる。ストア命令の場合、フィールド６１０ｃは、出力データを格納するためのメモリアドレスを格納するアドレスレジスタ（ＡＲｏｕｔ０、ＡＲｏｕｔ１）を識別することができ、フィールド６１０ｂは、そこから出力データがフェッチされる、出力データレジスタ（Ｄｏｕｔ）を識別することができる。
【】
いくつかの例において、Ｄｉｎ０、Ｄｉｎ１、及びＤｏｕｔレジスタの各々は３２ビットを有し、重みレジスタ及びスケールシフトレジスタの各々は６４ビットを有し、各ＭＡＣｒｅｇレジスタは７２ビットを有する。
【】
図６Ｃ及び図６Ｄは、２４ビット命令６３０、６３２、６３４、及び６３６の例を示す。命令６３０は、２４ｂタイプ１命令であり得、サブ命令６０２、６０６、６１０を含む。命令６３２は、２４ｂタイプ２命令であり得、サブ命令６０２と、サブ命令６０８’とを含み、サブ命令６０８’は、（重み及びパラメータバッファ５２６から重み／パラメータレジスタ５２８ｂに重み及び後処理パラメータをフェッチするための）サブ命令６０８の機能と、バッファアドレスの自動増分とを含む。命令６３４は、２４ｂタイプ３命令であり得、フロー制御（マクロ、停止）及びデバッグ（ブレークポイント）のためのサブ命令６４０を含む。また、命令６３６は、２４ｂタイプ４命令であり得、サブ命令６０４とサブ命令６０６とを含む。２４ｂ命令６３０、６３２、６３４、及び６３４の各々は、（命令のタイプ／ビット長を示すための）サブ命令６１４と（フロー制御をサポートするための）サブ命令６１２とを含む。
【】
種々のビット長の命令及び種々の数のサブ命令を実行するように構成されたニューラルネットワークプロセッサ５０２を有することで、サブ命令の実行における並列性を最大化するための柔軟性を提供する一方、コードサイズ及び電力を低減することができる。具体的には、ニューラルネットワークプロセッサ５０２は、ニューラルネットワーク演算をサポートするために５つのサブ命令６０２、６０４、６０６、６０８、及び６１０を常に実行するわけではないが、サブ命令のいくつかの組合せ（例えば、メモリから読み出し、アドレスレジスタを増分するサブ命令）は、他の組み合わせよりも頻繁に共に実行される。したがって、より頻繁に共に実行されるサブ命令を有する２４ｂ命令をサポートすることにより、コードサイズが低減され得る。短縮された命令をフェッチ及び復号する際に消費される電力も低減することができる。一方、５つのサブ命令６０２～６１０を含む４８ｂ命令をサポートすることにより、サブ命令の実行における並列性を最大化することもできる。これらは全て、電力、コードサイズ、及び実行並列性に関する異なる要件を有する異なるアプリケーションをサポートする際に、ニューラルネットワークプロセッサ５０２の柔軟性を改善することができる。
【】
図７は、命令バッファ５２０に格納される命令／マイクロコードのセットを示すチャート７００を含む。図７において、列７０２の値は、命令バッファ５２０内の各命令のアドレスを表すことができる。図７の例において、ニューラルネットワークプロセッサ５０２は、列７０２の値に従って命令を順次実行することができ、列７０２の各値は、実行のタイムスロットを表すこともできる。また、列７０６は、重みをフェッチする際にロード／ストアコントローラ５３０によって実行されるサブ命令６１０を表し、列７０４は、入力データをフェッチする際にロード／ストアコントローラ５３０によって実行されるサブ命令６０８を表し、列７０８は、入力データがフェッチされるメモリアドレスを更新する際にアドレス生成器５３２によって実行されるサブ命令６０６を表し、列７１０は、重みがフェッチされるメモリアドレスを更新する際にアドレス生成器５３２によって実行されるサブ命令６０４を表し、列７１２は、ＭＡＣ演算を実施する際に演算エンジン５２４によって実行されるサブ命令６０２を表す。
【】
タイムスロット０において、ロード／ストアコントローラ５３０は、ＡＲｉｎ０レジスタにおける特定されたメモリ５１２の第１のメモリアドレスにおける入力データのフェッチを開始する。入力データは、入力データレジスタＤｉｎ０において格納される。また、ロード／ストアコントローラ５３０は、ＡＲｗｔ０レジスタにおける特定された（重み及びパラメータバッファ５２６の）第１のバッファアドレスにおける重み要素の第１のセットをフェッチし、重みレジスタＷｔ０に重みを格納する。アドレス生成器５３２はまた、ＡＲｉｎ０レジスタ内の第１のメモリアドレスを増分して第２のメモリアドレスを生成し、Ｗｔ０レジスタ内の第１のバッファアドレスを増分して第２のバッファアドレスを生成する。メモリ５１２からの入力データのフェッチは、タイムスロット１において継続することができる。
【】
タイムスロット２において、メモリ５１２から入力データレジスタＤｉｎ０への入力データのフェッチが完了する。また、ロード／ストアコントローラ５３０は、ＡＲｗｔ０レジスタにおける特定された第２のバッファアドレスにおける重み要素の第２のセットをフェッチし、重みレジスタＷｔ１において重みを格納する。アドレス生成器５３２はまた、Ｗｔ０レジスタ内の第２のバッファアドレスを増分して第３のバッファアドレスを生成する。演算エンジン５２４はまた、サブ命令６０２を実行して、Ｄｉｎ０に格納された入力データと重みレジスタＷｔ０内の重み要素のサブセット（Ｗｔ０Ｌ）との間でＭＡＣ演算を実施し、一方、ロード／ストアコントローラ５３０は、重みレジスタＷｔ１に重みをフェッチする。
【】
タイムスロット３において、ロード／ストアコントローラ５３０は、ＡＲｉｎ０レジスタにおいて特定されたメモリ５１２の第２のメモリアドレスにおける入力データのフェッチを開始する。入力データは、入力データレジスタＤｉｎ１において格納される。アドレス生成器５３２はまた、ＡＲｉｎ０レジスタ内の第２のメモリアドレスを増分して第３のメモリアドレスを生成する。演算エンジン５２４はまた、サブ命令６０２を実行して、Ｄｉｎ０に格納された入力データと重みレジスタＷｔ０内の重み要素の残り（Ｗｔ０Ｈ）との間でＭＡＣ演算を実施する。ロード／ストアコントローラ５３０は、重みレジスタＷｔ０及びＷｔ１内の重みが（タイムスロット３において）使用中であるか、又はまだ用いられていないか、のいずれかであるので、タイムスロット３において第３のバッファアドレスから重みをフェッチすることを保留する。
【】
タイムスロット４において、メモリ５１２の第２のメモリアドレスにおける入力データのフェッチが継続する。Ｄｉｎ０に格納された入力データと、重みレジスタＷｔ０内の重み要素の残りとの間でＭＡＣ演算が完了する。したがって、ロード／ストアコントローラ５３０は、重み要素の第３のセットを第３のバッファアドレスから重みレジスタＷｔ０にフェッチする。アドレス生成器５３２はまた、第３のバッファアドレスを第４のバッファアドレスに増分する。演算エンジン５２４はまた、サブ命令６０２を実行して、Ｄｉｎ０に格納された入力データと重みレジスタＷｔ１内の重み要素のサブセット（Ｗｔ１Ｌ）との間でＭＡＣ演算を実施する。
【】
Ｄｉｎ１への入力データのフェッチは、タイムスロット５において完了する。しかしながら、ロード／ストアコントローラ５３０は、演算エンジン５２４が、Ｄｉｎ０における入力データを依然として演算しているので、第３のメモリアドレスから入力データレジスタＤｉｎ０への入力データのフェッチを保留する。タイムスロット５において、演算エンジン５２４はまた、サブ命令６０２を実行して、Ｄｉｎ０に格納された入力データと重みレジスタＷｔ１内の重み要素の残り（Ｗｔ１Ｈ）との間でＭＡＣ演算を実施する。
【】
タイムスロット６において、ロード／ストアコントローラ５３０は、重み要素の第４のセットを第４のバッファアドレスから重みレジスタＷｔ１にフェッチし、一方、演算エンジン５２４は、サブ命令６０２を実行して、Ｄｉｎ０に格納された入力データと、タイムスロット４においてロード／ストアコントローラ５３０が更新した、重みレジスタＷｔ０に格納された重みの第１のセット（Ｗｔ０Ｌ）との間でＭＡＣ演算を実施する。アドレス生成器５３２はまた、第４のバッファアドレスを第５のバッファアドレスに増分する。タイムスロット７において、演算エンジン５２４はまた、サブ命令６０２を実行して、Ｄｉｎ０に格納された入力データと重みレジスタＷｔ０内の重み要素の残り（Ｗｔ０Ｈ）との間でＭＡＣ演算を実施する。
【】
タイムスロット８において、演算エンジン５２４がサブ命令６０２を実行して、Ｄｉｎ０に格納された入力データと重みレジスタＷｔ１内の重み要素（Ｗｔ１Ｌ及びＷｔ１Ｈ）との間でＭＡＣ演算を実施する一方、ロード／ストアコントローラ５３０は、第５のバッファアドレスにおける重みを重みレジスタＷｔ０にフェッチする。タイムスロット８において重みレジスタＷｔ０にフェッチされた重みは、Ｄｉｎ１に格納された入力データとのＭＡＣ演算のために演算エンジン５２４によって用いられる。アドレス生成器５３２はまた、第５のバッファアドレスを増分して第６のバッファアドレスを生成する。
【】
タイムスロット９において、演算エンジン５２４はまた、サブ命令６０２を実行して、Ｄｉｎ０に格納された入力データと重みレジスタＷｔ１内の重み要素の残り（Ｗｔ１Ｈ）との間でＭＡＣ演算を実施し、Ｄｉｎ０と重みとの間のＭＡＣ演算の第１のセットを完了する。ＭＡＣ演算の結果は、データレジスタＭＡＣｒｅｇ０～ＭＡＣｒｅｇ７に格納される。
【】
タイムスロット１０において、ロード／ストアコントローラ５３０は、第６のバッファアドレスにおける重みを重みレジスタＷｔ１にフェッチし、一方、演算エンジン５２４は、サブ命令６０２を実行して、Ｄｉｎ１に格納された入力データと重みレジスタＷｔ０における重み要素のサブセット（Ｗｔ０Ｌ）との間でＭＡＣ演算を実施する。
【】
タイムスロット１１において、ロード／ストアコントローラ５３０は、メモリ５１２の第３のメモリアドレスにおける入力データをレジスタＤｉｎ０にフェッチする。アドレス生成器５３２はまた、第３のメモリアドレスを増分して第４のメモリアドレスを生成し、演算エンジン５２４は、サブ命令６０２を実行して、Ｄｉｎ１に格納された入力データと重みレジスタＷｔ０内の重み要素の残り（Ｗｔ０Ｈ）との間でＭＡＣ演算を実施する。
【】
図７に示されているように、ニューラルネットワークプロセッサ５０２は、ロード／ストアコントローラ５３０による重み及び入力データのフェッチと、アドレス生成器５３２による重み及び入力データのフェッチのためのメモリ及びバッファアドレスの更新と、演算エンジン５２４における演算動作との間の並列性を最大化する（又は少なくとも増加させる）ように命令を実行することができる。ロード／ストアコントローラ５３０による重み及び入力データのフェッチの際の遅延に起因する演算エンジン５２４におけるストールも最小化（又は少なくとも低減）することができる。例えば、タイムスロット２及び３において、演算エンジン５２４がレジスタＷｔ０内の重みに対する演算を実施する一方、ロード／ストアコントローラ５３０はレジスタＷｔ１内の重みを更新し、これにより、演算エンジン５２４は、さらなる遅延なしに後続のタイムスロット４及び５においてレジスタＷｔ１内の更新された重みに対する演算を実施することができ、演算エンジン５２４は、レジスタＷｔ１内の重みが更新されるのを待つためにストールする必要がない。また、入力データは、メモリ５１２から１つのレジスタ（例えば、Ｄｉｎ１）にフェッチされ、一方、演算エンジン５２４は、他のレジスタ（例えば、Ｄｉｎ０）に格納された入力データを演算し、そのため、演算エンジン５２４は、更新された入力データを待つためにストールする必要がない。また、メモリ５１２へのアクセスを比較的長時間隔てる（例えば、図７においては、８タイムスロットで隔てる）ことにより、プロセッサ５１４とニューラルネットワークプロセッサ５０２との間のメモリアクセスの衝突も、回避すること又は少なくとも低減することができる。
【】
図８Ａ及び図８Ｂは、アドレス生成器５３２によって実装され得る例示のメモリ管理方式を示すチャートである。図８Ａ及び図８Ｂの例示のメモリ管理方式は、出力データが入力データを上書きし、出力データの循環アドレス指定が実装されるインプレース演算を表すことができる。そのような構成において、入力及び出力データは、メモリ５１２内の別個の空間に格納する必要がなく、これにより、ニューラルネットワークプロセッサ５０２によるメモリリソース使用を低減することができる。
【】
チャート８００を参照すると、メモリ５１２は、１６セットの入力データ要素（ｆｍ０）を格納することができ、入力データ要素の各セットは、４つの異なるチャネル（ｃ０、ｃ１、ｃ２、及びｃ３）のための４つの入力データ要素を含む。チャート８００の各行は、メモリアドレスに関連付けられ得、行は、連続するアドレスに関連付けられ得る。しかしながら、１７セットの入力データ要素を格納するための空間が割り当てられ得、行１６（メモリ空間８０２）は空であり、１セットの出力データ要素（ｆｍ１）を格納するために利用可能である。
【】
時間Ｔ０において、初期読出しアドレスは、ポインタ８０４によって示されているように、行０にある。行０内の入力データ要素の第１のセットが、入力データレジスタ（例えば、Ｄｉｎ０）にフェッチされ、次いで、演算動作のために演算エンジン５２４にフェッチされる。演算動作の出力データ要素の第１のセットのための初期書込みアドレスは、ポインタ８０６によって示されているように、メモリ空間８０２に関連付けられる。そのような構成により、出力データが、依然として使用中であり得る入力データ要素の第１のセットを上書きすることを防止することができる。初期読出し及び書込みアドレスは、サブ命令６０６を用いて設定され得る。入力データ要素の第１のセットをフェッチした後、アドレス生成器５３２は、別のサブ命令６０６に応答して読出しアドレスを１だけ増分することができ、そのため、ポインタ８０４は、その後、行１を指示することができる。
【】
時間Ｔ１において、行１内の入力データ要素の第２のセット（ｆｍ０＿０１ｃ０～ｆｍ０＿０１ｃ３）が、ポインタ８０４によって示されているように、入力データレジスタにフェッチされる。入力データ要素の第２のセットをフェッチした後、アドレス生成器５３２は、サブ命令６０６に応答して読出しアドレスを１だけ増分することができ、そのため、ポインタ８０４は、その後、行２を指示することができる。出力データ要素の第１のセット（ｆｍ１＿００ｃ０～ｆｍ１＿００ｃ３）が、ポインタ８０６によって示されるように、行１６に格納される。出力データ要素の第１のセットを行１６に格納した後、アドレス生成器５３２は、サブ命令６０６に応答して書込みアドレスを１だけ増分することができる。しかしながら、インプレース演算をサポートするために、循環アドレス指定が出力データに提供され得、そのため、増分された書込みアドレスがラップアラウンドして行０を指示することができ、そのため、出力データ要素の次のセットが入力データ要素の第１のセットを上書きすることができる。
【】
図８Ｂを参照すると、時間Ｔ２において、行２内の入力データ要素の第３のセット（ｆｍ０＿０２ｃ０～ｆｍ０＿０２ｃ３）が、ポインタ８０４によって示されているように、入力データレジスタにフェッチされる。入力データ要素の第３のセットをフェッチした後、アドレス生成器５３２は、サブ命令６０６に応答して読出しアドレスを１だけ増分することができ、そのため、ポインタ８０４は、その後、行３を指示することができる。出力データ要素の第２のセット（ｆｍ１＿００ｃ０～ｆｍ１＿００ｃ３）が、ポインタ８０６によって示されるように、行０に格納される。出力データ要素の第２のセットを行０に格納した後、アドレス生成器５３２は、サブ命令６０６に応答して書込みアドレスを１だけ増分することができ、そのため、ポインタ８０６は、その後、行１を指示することができる。最後に、時間Ｔ３において、全ての出力データ要素が行０～１４及び１６に格納され、ポインタ８０６は、出力データ要素ｆｍ１＿１５＿ｃ０～ｆｍ１＿１５＿ｃ３を格納する行１４を指示する。
【】
図９は、アドレス生成器５３２によって実装され得る、別の例示のメモリ管理方式を示すチャートを含む。図９の例示のメモリ管理方式は、ボイスコマンド認識アプリケーションなどの常時オンのアプリケーションをサポートするための入力データの循環アドレス指定を表すことができる。そのようなアプリケーションの場合、推論演算は、コマンド長よりも頻繁に実施され得る。したがって、２つの推論演算の間で入力データに著しい重複が存在することがある。
【】
例えば、ボイスコマンド認識の場合、入力音声サンプルは、４０ミリ秒（ｍｓ）フレームにグループ化することができ、８つの周波数ドメイン特徴がフレーム毎に抽出され得る。したがって、１秒のコマンド長について、２５フレームに対して特徴が抽出され、２５個の位置と位置毎に８つのチャネルとを有する入力特徴が得られる。推論演算が１２０ｍｓ毎に実施される場合、推論演算によって処理される新しい入力特徴は、前の入力特徴のセットに対して、３つの新しい特徴のセット（３つの位置において、位置毎に８つのチャネル）を有することができる。重複する２２セットの入力特徴は、割り当てられたメモリアドレスの同じセット内に入力特徴が収まるようにメモリ内で移動され得るが、そのようなデータ移動は、メモリアクセスにおけるレイテンシ、及びメモリによる電力消費を増加させる。
【】
重複する入力データをメモリ５１２内で移動させる代わりに、循環アドレス指定方式に従って新しい入力データが（例えば、センサ１０４によって、プロセッサ５１４によってなど）メモリ５１２に格納され得、アドレス生成器５３２はまた、同じ循環アドレス指定方式に基づいて入力データをフェッチするために入力データアドレスを更新することができる。図９のチャート９００は、循環アドレス指定方式の一例を図示する。チャート９００において、メモリ５１２は、２５セットの入力データ要素を格納することができ、入力データ要素の各セットは、８つの異なるチャネル（ｃ０～ｃ７）の８つの入力データ要素を含む。チャート９００の各行は、メモリアドレスに関連付けられ得、行は、連続するアドレスに関連付けられ得る。
【】
時間Ｔ０において、メモリ５１２は、入力データ要素の２５個の初期セット（ｆｍ０＿００×～ｆｍ０＿２４＊）を格納する。第１の推論演算を実施するために２５セットの入力データ要素をフェッチするための第１のアドレスは、ポインタ９０２によって示されている行０にある。アドレス生成器５３２は、行０に関連付けられたアドレスとして初期入力データアドレスを提供し、サブ命令６０６に応答して入力データアドレスを増分することができ、ロード／ストアコントローラ５３０は、メモリ５１２からの２５セットの入力データ要素を入力データアドレスからフェッチすることができる。
【】
時間Ｔ１において、入力データ要素の新しい３つのセット（ｆｍ０＿２５＊～ｆｍ０＿２７＊）がメモリ５１２に格納される。入力データ要素の初期セットの残りの移動を回避するために、入力データ要素の新しいセットは、行０、１、及び２に関連付けられたメモリアドレスに格納され、入力データ要素ｆｍ０＿００＊～ｆｍ０＿０２＊を上書きする。第２の推論演算を実施するために２５セットの入力データ要素をフェッチするための第１のアドレスは、ポインタ９０２によって示されている行３にある。アドレス生成器５３２は、行３に関連付けられたアドレスとして初期入力データアドレスを提供し、サブ命令６０６に応答して入力データアドレスを増分することができ、ロード／ストアコントローラ５３０は、メモリ５１２からの２５セットの入力データ要素を入力データアドレスからフェッチすることができる。しかし、入力データ要素の新しいセットを読み出すために、アドレス生成器５３２はまた、入力データのための循環アドレス指定方式を実装しており、入力データアドレスは、（入力データ要素ｆｍ０２４＊を格納する）行２４に関連付けられたアドレスを超えて増分した後にラップアラウンドし、行０で再開し、行２で終了する。
【】
時間Ｔ２において、入力データ要素の別の新しい３つのセット（ｆｍ０＿２８＊～ｆｍ０＿３０＊）がメモリ５１２に格納される。入力データ要素の初期セットの残りの移動を回避するために、入力データ要素の新しいセットは、行３、４、及び５に関連付けられたメモリアドレスに格納され、入力データ要素ｆｍ０＿０３＊～ｆｍ０＿０５＊を上書きする。第３の推論演算を実施するために２５セットの入力データ要素をフェッチするための第１のアドレスは、ポインタ９０２によって示されている行６にある。アドレス生成器５３２は、行６に関連付けられたアドレスとして初期入力データアドレスを提供し、サブ命令６０６に応答して入力データアドレスを増分することができ、ロード／ストアコントローラ５３０は、メモリ５１２からの２５セットの入力データ要素を入力データアドレスからフェッチすることができる。しかし、入力データ要素の新しいセットを読み出すために、アドレス生成器５３２はまた、入力データのための循環アドレス指定方式を実装しており、入力データアドレスは、（入力データ要素ｆｍ０＿２４＊を格納する）行２４に関連付けられたアドレスを超えて増分した後にラップアラウンドし、行０で再開し、行５で終了する。
【】
図１０Ａは、アドレス生成器５３２の一部であり得る循環バッファ回路１０００の一例を示し、一方、図１０Ｂは、循環バッファ１０００の例示の動作を示すグラフを提示する。図１０Ｂを参照して、循環バッファ回路１０００は、入力／出力データアドレスＡＲｗ０を受け取ることができる。循環バッファ１０００は、循環アドレス指定が無効である場合、又はＡＲｗ０が入力／出力データに割り当てられたメモリ領域１００１の開始アドレス（図１０Ａ及び図１０Ｂのｓｔａｒｔ－ａｄｄｒ）及び終了アドレス（図１０Ａ及び図１０Ｂのｅｎｄ－ａｄｄｒ）内にある場合、ＡＲｗ０を出力アドレスとして転送することができる。左側の図を参照すると、循環アドレス指定が有効であり、ＡＲｗ０が（減分によって）オフセット（ｏｆｆｓｅｔ１）だけ開始アドレスを下回る場合、循環バッファ回路１０００は、ラップアラウンドを実施し、ｏｆｆｓｅｔ１を終了アドレスから減算することによってＡＲｗ０の循環したバージョン（ＡＲｗ０ｃｉｒ０）を提供することができる。また、右側の図を参照すると、循環アドレス指定が有効であり、ＡＲｗ０が（増分によって）オフセット（ｏｆｆｓｅｔ２）だけ開始アドレスを上回る場合、循環バッファ回路１０００は、ラップアラウンドを実施し、開始アドレスからｏｆｆｓｅｔ２を減算することによってＡＲｗ０の循環したバージョン（ＡＲｗ０＿ｃｉｒ１）を提供することができる。一方、循環アドレス指定が無効である場合、又はＡＲｗ０がメモリ領域１００１内にある場合、循環バッファ回路１０００は、ＡＲｗ０を出力アドレスとして転送することができる。
【】
図１０Ａを参照すると、循環バッファ回路１０００は、マルチプレクサ１００２、１００４、１００６及び１００８と、差分回路１０１２、１０１４及び１０１６と、加算回路１０２０と、増分回路１０２２と、減分回路１０２４と、マルチプレクサ制御回路１０３０及び１０３２とを含み得る。循環バッファ回路１０００は、入力／出力データアドレス（ＡＲｗ０）を受け取るために入力／出力データアドレスレジスタ（例えば、ＡＲｉｎ０又はＡＲｏｕｔ０）に結合されたアドレス入力１０４０を有する。
【】
マルチプレクサ１００２は、開始入力データアドレス（図１０の「ｓｔａｒｔ－ｉｎ」）及び開始出力データアドレス（図１０の「ｓｔａｒｔ－ｏｕｔ」）を受け取ることができ、マルチプレクサ１００４は、終了入力データアドレス（図１０の「ｅｎｄ－ｉｎ」）及び終了出力データアドレス（図１０の「ｅｎｄ－ｏｕｔ」）を受け取ることができる。開始及び終了入力データアドレスは、入力データに割り当てられたメモリ領域を定義することができ、開始及び終了出力データアドレスは、出力データに割り当てられたメモリ領域を定義することができ、開始アドレスは、終了アドレスを下回る／終了アドレスよりも小さい。マルチプレクサ１００２及び１００４の各々は、循環アドレス指定モードが、入力データアドレスを更新するために（例えば、常時オンのアプリケーションのために）提供されるか、又は出力データアドレスのために（例えば、インプレース演算のために）提供されるかを示す指示Ｍ０を受け取ることもできる。指示Ｍ０は、構成レジスタ５２８ｃから受け取ることもできる。入力データアドレスを更新するために循環アドレス指定モードが提供される場合、マルチプレクサ１００２は、開始入力データアドレスを開始アドレス（図１０の「ｓｔａｒｔ－ａｄｄｒ」）として提供することができ、マルチプレクサ１００４は、終了入力データアドレスを終了アドレス（図１０の「ｅｎｄ－ａｄｄｒ」）として提供することができ、そうでない場合、マルチプレクサ１００２は、開始出力データアドレスを開始アドレスとして提供することができ、マルチプレクサ１００４は、終了出力データアドレスを終了アドレスとして提供することができる。増分回路１０２２は、マルチプレクサ１００４の出力に結合される入力を有し、増分された終了アドレス１０６０を生成することができ、減分回路１０２４は、マルチプレクサ１００２の出力に結合される入力を有し、減分された開始アドレス１０６２を生成することができる。
【】
また、差分回路１０１２は、アドレス入力１０４０に結合される第１の入力と、マルチプレクサ１００２の出力に結合される第２の入力とを有する。差分回路１０１４は、アドレス入力１０４０に結合される第１の入力と、マルチプレクサ１００４の出力に結合される第２の入力とを有する。差分回路１０１２は、開始アドレスとＡＲｗ０との間のオフセット１０５０を生成することができ、これはまた、ＡＲｗ０が開始アドレスを上回るか又は下回るかを示す。また、差分回路１０１４は、終了アドレスとＡＲｗ０との間のオフセット１０５２を生成することができ、これはまた、ＡＲｗ０が開始アドレスを上回るか又は下回るかを示す。また、差分回路１０１６は、増分された終了アドレス１０６０からオフセット１０５０を減算することによってアドレス１０７０を生成することができ、加算回路１０２０は、減分された終了アドレス１０６２にオフセット１０５２を加算することによってアドレス１０７２を生成することができる。アドレス１０７０は、ＡＲｗ０が開始アドレスを下回る場合、ラップアラウンドアドレスＡＲｗ０＿ｃｉｒ０であり得、アドレス１０７２は、ＡＲｗ０が終了アドレスを上回る場合、ラップアラウンドアドレスＡＲｗ０＿ｃｉｒ１であり得る。
【】
マルチプレクサ１００６及び１００８は、入力アドレスＡＲｗ０、アドレス１０７０（ＡＲｗ０＿ｃｉｒ０）、又はアドレス１０７２（ＡＲｗ０＿ｃｉｒ１）のうちの１つをアドレス出力１０４２に選択的に転送することができる。この選択は、マルチプレクサ制御回路１０３０及び１０３２によって実施される。具体的には、マルチプレクサ制御回路１０３０及び１０３２は各々、循環アドレス指定が有効であるかどうかの指示（図１０の「ｃｉｒｃ ｅｎａｂｌｅ」）を、例えば、構成レジスタ５２８ｃから受け取ることができる。循環アドレス指定が無効である場合、又はＡＲｗ０が開始アドレスを上回る場合、又はＡＲｗ０が終了アドレスを下回る場合、マルチプレクサ１００６及び１００８は、アドレス入力１０４０をアドレス出力１０４２に接続し、入力／出力データアドレスレジスタに格納されたアドレスを出力として提供することができる。一方、循環アドレスが有効であり、ＡＲｗ０が開始アドレスを下回る場合、マルチプレクサ１００６及び１００８は、ＡＲｗ０＿ｃｉｒ０（アドレス１０７０）をアドレス出力１０４２に提供することができる。また、循環アドレスが有効であり、ＡＲｗ０が終了アドレスを上回る場合、マルチプレクサ１００６及び１００８は、ＡＲｗ０＿ｃｉｒ１（アドレス１０７２）をアドレス出力１０４２に提供することができる。
【】
で説明したように、ニューラルネットワークプロセッサ５０２は、畳み込み層演算のコンパクトな表現を可能にする、図４に示されているもののようなループ要素及びマクロ要素など、フロー制御要素を含むサブ命令をサポートする。図１１は、ニューラルネットワークプロセッサ５０２によって実行可能なループ要素を含む例示のプログラムを図示する。図１１の上部を参照すると、プログラム１１００は、命令１１０２、１１０４、１１０６、及び１１０８を含み、命令の各々が一つ又は複数のサブ命令を含み得る。命令１１０２は、サブ命令６０４を含み得、サブ命令６０４は、セットアップループ演算（ＳＥＴＵＰ＿ＬＰ）を識別するフィールド６０４ａと、ループカウントレジスタ（ＬＣ＿ｒｅｇ）を識別するフィールド６０４ｃとを有し得る。フィールド６０４ａは、セットアップループ演算を示すオペコードを含み得る。命令１１０２には、命令１１０４及び１１０６が続き、命令１１０４及び１１０６の各々が、ゼロ／デアサートされた終了マーカを示すサブ命令６１２を有する。プログラム１１００はまた、命令１１０８を含み、命令１１０８は、アサートされた終了マーカを示すサブ命令６１２を有する。命令１１０２、１１０４、１１０６、及び１１０８は、命令１１０４から開始し命令１１０８で終了するループ演算を定義することができ、ループ演算は、命令１１０２のフィールド６０４ｃによって識別されるループカウントレジスタ内で定義された回数だけ繰り返される。ループ演算を実施するために、演算コントローラ５２２は、演算コントローラ５２２が命令を解析する際に、オペコードＳＥＴＵＰ＿ＬＰとアサートされた終了マーカとが抽出される順序／シーケンスを追跡することにより、オペコードＳＥＴＵＰ＿ＬＰtとアサートされた終了マーカとを含むサブ命令の一つ又は複数のペアを識別し、サブ命令のペアのプログラムカウンタ値を格納することができる。アサートされた終了マーカを抽出した後、演算コントローラ５２２は、プログラムカウンタをリセットして、ペアにされたＳＥＴＵＰ＿ＬＰオペコードを有するサブ命令のカウント値に戻し、ＳＥＴＵＰ＿ＬＰサブ命令とアサートされた終了マーカとのペアの間で命令の実行を繰り返すことができる。
【】
図１１はまた、ネストループ演算を表すプログラム１１２０を示す。プログラム１１２０は、命令１１２２、１１２４、１１２６、１１２８、１１３０、及び１１３２を含み、各々が一つ又は複数のサブ命令を含む。命令１１２２は、オペコードＳＥＴＵＰ＿ＬＰを含み、第１のループカウントを格納する第１のループレジスタＬＣ－ｒｅｇ０を識別する。命令１１２４は、オペコードＳＥＴＵＰ＿ＬＰを含み、第２のループレジスタＬＣ－ｒｅｇ１を識別する。命令１１３０はアサートされた終了マーカを含み、サブ命令１１３２もアサートされた終了マーカを含む。演算コントローラ５２２は、演算コントローラ５２２がＳＥＴＵＰ＿ＬＰオペコード及びアサートされた終了マーカを抽出する順序に基づいて、サブ命令１１２２のＳＥＴＵＰ＿ＬＰを命令１１３２のアサートされた終了マーカとペアにし、サブ命令１１２４のＳＥＴＵＰ＿ＬＰを命令１１３０のアサートされた終了マーカとペアにすることができる。演算コントローラ５２２は、ＬＣ－ｒｅｇ０において特定された回数だけ、命令１１２４、１１２６、及び１１２８の実行を繰り返すことができる。また、サブ命令１１３０のアサートされた終了マーカを抽出すると、演算コントローラ５２２は、プログラムカウンタをリセットしてサブ命令１１２４の実行を再開し、ＬＣ－ｒｅｇ１において特定された回数だけ命令１１２６及び１１２８の実行を繰り返すことができ、それにより、ネストされたループ演算を実施する。
【】
図１２は、ニューラルネットワークプロセッサ５０２によって実行可能なマクロ要素を含む例示のプログラム１２００を示す。プログラム１２００は、命令１２０１、１２０２、１２０４、１２０６、及び１２０８を含み、各々が一つ又は複数のサブ命令を含む。各命令はまた、プログラムカウンタ値に関連付けられており、アサート又はデアサートされた終了マーカを有する。命令１２０６は、フィールド１２０６ａ、１２０６ｂ、及び１２０６ｃを含む。フィールド１２０６ａは、命令のセットを含むマクロを識別するマクロ要素オペコード（ＭＡＣＲＯ）を含み得る。フィールド１２０６ｂは、マクロの最初の命令のプログラムカウント値（例えば、ＰＣ＃０）を識別することができ、マクロの最後の命令は、アサートされた終了マーカサブ命令６１２を含み得る。フィールド１２０６ｃは、マクロが実行される回数を示すことができる。命令１２０６を実行すると、演算コントローラ５２２は、プログラムカウンタをフィールド１２０６ｂのカウント値にリセットし、アサートされた終了マーカを有する命令１２０４を受け取るまで、全ての後続の命令を実行することができる。命令１２０４は、図１２に示していない他のサブ命令を含み得る。演算コントローラ５２２は、フィールド１２０６ｃにおいて特定された回数だけマクロの実行を繰り返すことができる。演算コントローラ５２２は、マクロの実行をその回数だけ繰り返した後、命令１２０６を実行するとプログラムカウンタのリセットを停止し、後続の命令１２０８の実行に進むことができる。
【】
図１３は、演算エンジン５２４の内部構成要素の例を示す概略図である。図１３を参照すると、演算エンジン５２４は、ＭＡＣエンジン１３００と、後処理エンジン１３０２とを含む。ＭＡＣエンジン１３００は、それぞれ、データレジスタ５２８ａの入力データレジスタ（例えば、ＤＩＮ０、ＤＩＮ１）、重み／パラメータレジスタ５２８ｂの重みレジスタ（例えば、重み－０、重み－１）、及び重み／パラメータレジスタ５２８ｂのスケールシフトレジスタ（例えば、スケール－シフト－０、スケール－シフト－１）から入力データ要素及び重み要素を受け取ることができる。ＭＡＣ演算を示すサブ命令６０２に応答して制御信号を生成する演算コントローラ５２２からの制御信号１３０１に応答して、ＭＡＣエンジン１３００は、入力データ要素と重み要素とに対してＭＡＣ演算を実施することができる。ＭＡＣエンジン１３００は、ＣＮＮ層、ＤＮＮ層、全結合層などのニューラルネットワーク層のためのＭＡＣ演算を実施し、データレジスタ５２８ａのＭＡＣレジスタ（例えば、ＭＡＣｒｅｇ０～７）において中間出力データを格納するための、算術回路を含む。ＭＡＣエンジン１３００はまた、ＭＡＣレジスタから古い部分和をフェッチし、ＭＡＣ演算の結果を古い部分和に加算することによって古い部分和を更新し、更新した部分和をＭＡＣレジスタに戻して格納することができる。演算エンジン５２４はまた、累算を実施するためにＭＡＣエンジン１３００によってどのＭＡＣレジスタがアクセスされるかを選択するためのＭＡＣレジスタマルチプレクサ１３０３を含む。
【】
また、後処理エンジン１３０２は、ＭＡＣレジスタから中間出力データ要素を受け取ることができる。ＢＮｏｒｍ演算を示すサブ命令６０２に応答して制御信号を生成する演算コントローラ５２２からの制御信号１３０５に応答して、後処理エンジン１３０２は、中間出力データに対して後処理演算（例えば、ＢＮｏｒｍ及び残差層処理）を実施して出力データを生成し、出力データをデータレジスタ５２８ａの出力データレジスタ（例えば、ＤＯＵＴ）において格納することができる。後述するように、後処理エンジン１３０２はまた、出力データレジスタにおいてデータパッキング演算を実施し、データパッキング演算を完了すると、出力データレジスタからの出力データをメモリ５１２に戻して格納するために、ロード／ストアコントローラ５３０に信号を送信することができる。そのような構成は、出力データを書き戻す際のメモリ５１２へのニューラルネットワークプロセス５０２のアクセスを低減することができ、これにより、メモリ使用量及び電力消費を低減することができる。また、後処理エンジン１３０２は、入力データレジスタから入力データ要素を受け取り、入力データ要素に基づいて残差モード演算を実施することもできる。
【】
上述したように、演算エンジン５２４は、プロセッサ５１４によって提供されるパラメータに基づいて、ビット精度の或る範囲（例えば、２値精度、３値精度、４ビット精度、８ビット精度など）にわたって重み及び入力データに対してＭＡＣ演算及び後処理演算を実施するように構成可能である。演算エンジン５２４は、精度構成可能性をサポートするために、重みマルチプレクサ１３０４と入力データマルチプレクサ１３０６とを含む。具体的には、入力データ及び重み構成１３１０に応じて、重みマルチプレクサ１３０４は、重みレジスタ（例えば、重み－０レジスタ又は重み－１レジスタのうちの１つ）に格納された重み要素の全て、又は格納された重み要素の半分の複製を、所定の数のビット（例えば、３２ビット）を有するパックドデータとしてフェッチすることができる。また、構成１３１１に応じて、重みマルチプレクサ１３０４は、深さ方向畳み込み演算及び平均プーリングなどの種々の演算をサポートするために、重み要素に対して処理を実施することができる。深さ方向畳み込みの場合、重みマルチプレクサ１３０４は、重みレジスタに格納された８ビットの重みのうちの１つを選択し、８ビットの重みを重み要素のグループ（例えば、４グループ）に分割し、各重み要素グループに０をパディングすることができ、そのため、ＭＡＣエンジン１３００は、特定のチャネルの入力データ要素に０を乗算することができる。そのような構成は、特定のチャネルの中間出力が、そのチャネルの入力データのみに対するＭＡＣ演算に基づくことを確実にすることができる。別の例として、平均プーリング演算の場合、重みマルチプレクサ１３０４は、重み要素としてゼロ及び１を選択的に転送することができ、１の重み要素とペアにされた入力データ要素は、中間出力データ要素に表され、ゼロの重み要素とペアにされた入力データ要素は、ゼロにされ、中間出力データ要素に表されない。構成１３１１は、層タイプを示すことができ、層タイプはまた、深さ方向畳み込み演算が実施されるかどうかを示すことができる。構成１３１１はまた、平均プーリング演算が実施されるかどうかを示すことができる。構成１３１１は、構成レジスタ５２８ｄに格納された構成データ、及び／又は、命令に応答した演算コントローラ５２２からの制御信号に基づき得る。
【】
また、入力データマルチプレクサ１３０６は、入力データレジスタ（例えば、Ｄｉｎ０又はＤｉｎ１のうちの１つ）に格納された入力データ要素の全て、又は格納された入力データ要素の半分の複製を、所定の数のビット（例えば、３２ビット）を有するパックドデータとして、フェッチすることができる。いくつかの例において、入力データ及び重み構成１３１０は、８ビットモード（Ｄ８）又は４ビットモード（Ｄ４）を含み得、Ｄ８又はＤ４は、演算エンジン５２４が入力データを８ビット形式でフェッチするか４ビット形式でフェッチするかを示す。入力データ及び重み構成１３１０は、構成レジスタ５２８Ｄに格納され、構成レジスタ５２８Ｄから受け取られ得る。演算エンジン５２４がＤ８モードで演算するかＤ４モードで演算するかは、入力精度及び重み精度に依存し得、入力精度及び重み精度はまた、（例えば、１クロックサイクルで）一度にＭＡＣエンジン１３００にフェッチされる入力データ要素の数及び重み要素の数を決定することができる。
【】
また、ＭＡＣエンジン１３００及び後処理エンジン１３０２は、入力精度及び重み精度構成１３１２を受け取ることができる。入力データ精度及び重み精度に応じて、ＭＡＣエンジン１３００及び後処理エンジン１３０２の算術回路及び論理回路は、演算を別様に処理することができる。後処理エンジン１３０２はまた、例えば、後処理演算のためのパラメータを定義することができる後処理パラメータ１３１４を受け取り、後処理パラメータ１３１４の一部又は全ては、入力精度及び／又は重み精度に依存し得る。入力精度及び重み精度構成１３１２、並びに後処理パラメータ１３１４のいくつかが、構成レジスタ５２８ｄから受け取られ得る。シフト及びスケールなどの後処理パラメータ１３１４のいくつかが、後処理エンジン１３０２の異なる内部構成要素の間で異なり得る。こうしたパラメータは、重み／パラメータバッファ５２６から重み／パラメータレジスタ５２８ｂにフェッチされ得、後処理エンジン１３０２は、重み／パラメータレジスタ５２８ｂからそうしたパラメータを受け取ることができる。
【】
また、演算エンジン５２４は、入力データレジスタ（ＤＩＮ０、ＤＩＮ１）に格納された入力データ要素と出力データレジスタ（ＤＯＵＴ）に格納された出力データ要素とに対して最大プーリング演算を実施し、最大プーリングの結果を出力データレジスタ（ＤＯＵＴ）に戻して格納するための最大プーリングエンジン１３２０も含み得る。具体的には、最大プーリングエンジン１３２０は、入力データ要素が出力データ要素よりも高い値を有する場合、ＤＩＮ０／ＤＩＮ１における入力データ要素でＤＯＵＴの出力データ要素を上書きすることができる。演算コントローラ５２２は、例えば、実施される最大プーリング演算を示すサブ命令６０２のフィールド６０２ｃに応答して、最大プーリングエンジン１３２０に制御信号１３２２を提供することができる。次いで、最大プーリングエンジン１３２０は、制御信号１３２２に応答して最大プーリング演算を実施することができる。最大プーリングエンジン１３２０はまた、後処理パラメータ１３１４を受け取り、パラメータに基づいて最大プーリング演算を構成することができる。いくつかの例において、最大プーリングエンジン１３２０は、独立して、又はＭＡＣエンジン１３００及び後処理エンジン１３０２と並列に、動作することができ、これにより、演算エンジン５２４の残りの部分による演算に関する最大プーリング演算の中断を最小限に抑え、効率を改善することができる。
【】
図１４は、ＭＡＣエンジン１３００によって実施される例示の畳み込み演算を図示する。図１４を参照すると、ＭＡＣエンジン１３００は、チャネル優先のシーケンス（channel major sequence）において畳み込み演算を実施することができる。ＭＡＣエンジン１３００は、まず、（出力チャネルのセットに関連付けられた重みのセットを用いて、）入力チャネルの第１のセットに関連付けられた、特定の高さ及び特定の幅の位置にある入力データ要素１４０４に対して畳み込み演算１４０２を実施して、中間出力データ要素１４０６の第１の部分和を生成することができる。入力データ要素１４０４は、入力データレジスタ（例えば、Ｄｉｎ０）に格納され得、中間出力データ要素１４０６は、中間出力データレジスタ（例えば、ＭＡＣｒｅｇ０）に格納され得る。次いで、ＭＡＣエンジン１３００は、入力データ要素１４０４と同じ高さ及び同じ幅の位置にあるが、入力チャネルの第２のセットに関連付けられた入力データ要素１４１４に対して畳み込み演算１４１２を実施して、中間出力データ要素１４０６の第２の部分和を生成し、第２の部分和を第１の部分和に加算することができる。入力データ要素１４１４は、別の入力データレジスタ（例えば、Ｄｉｎ１）に格納され得る。ＭＡＣエンジン１３００は、入力データ要素１４２４を含む、同じ高さ及び同じ幅の位置にある他の入力チャネルの入力データ要素に対して付加的な畳み込みを実施し、中間出力データレジスタにおける部分和を累算して、中間出力データ要素１４０６を生成することができる。全ての入力チャネルの特定の高さ及び幅の位置にある入力データ要素が処理された後、ＭＡＣエンジン１３００は、出力チャネルの異なるセットに関連付けられた重みの別のセットを用いて入力データ要素１４０４、１４１４、及び１４２４に対して畳み込み演算を再開して、異なる出力チャネルに関連付けられた中間出力データ要素１４３０及び１４３２などの中間出力データ要素の別のセットを演算することができる。
【】
図１５Ａ、図１５Ｂ、図１５Ｃ、及び図１５Ｄは、異なるビット精度の重み要素及び入力データ要素を用いてＭＡＣエンジン１３００及び後処理エンジン１３０２によって実施される、例示の畳み込み演算及び後処理演算を示す。図１５Ａにおいて、ＭＡＣエンジン１３００は、２５６個の８ビットの入力データ要素（ｉｎ０、ｉｎ１、ｉｎ２、ｉｎ３、．．．ｉｎ２５４、及びｉｎ２５５と標示されている）と８ビットの重み要素との間で畳み込み演算を実施して、２４ビットの中間出力データ要素を生成することができ、各中間出力データ要素は、入力データ要素と重み要素との積の和によって生成される。後処理エンジン１３０２は、各中間出力データ要素に対してＢＮｏｒｍ及びクランプ／活性化関数演算（例えば、図１４のＲｅＬＵ）を含む後処理演算を実施して、８ビットの出力データ要素を生成する。
【】
図１５Ｂにおいて、ＭＡＣエンジン１３００は、２５６個の８ビットの入力データ要素（ｉｎ０、ｉｎ１、ｉｎ２、ｉｎ３、．．．ｉｎ２５４、及びｉｎ２５５と標示されている）と１ビット（２値）の重み要素との間で畳み込み演算を実施して、１６ビットの中間出力データ要素を生成することができ、各中間出力データ要素は、入力データ要素と重み要素との間の乗算積の和によって生成され、続いて、各中間出力データ要素に対して後処理演算（例えば、ＢＮｏｒｍ及びＲｅＬＵ）を実施して、８ビットの出力データ要素を生成する。２値重み（＋１又は－１）を用いて、ＭＡＣエンジン１３００は、重み要素が１である場合に入力データ要素を単に転送し、重み要素が－１である場合に入力データ要素の負の表現を転送することにより、入力データ要素と重み要素との間の乗算積を生成することができ、これにより、複雑さ及び電力を低減し、演算の速度を増加させることができる。８ビットの重みと比較して、重みストレージを１／８に低減させることもできる。中間出力データ要素の精度が（２４ビットから１６ビットに）低減されるが、低減された精度は、特定のアプリケーションにとって依然として許容可能であり得、低減された精度の影響は、ニューラルネットワーク層の間で混合精度を有するニューラルネットワークトポロジーを有することによってさらに軽減することができる。
【】
図１５Ｃにおいて、ＭＡＣエンジン１３００は、８ビットの入力データ要素と２ビットの３値重み要素（－１、０、＋１）との間で畳み込み演算を実施して、１６ビットの中間出力データ要素を生成することができ、各中間出力データ要素は、入力データ要素と重み要素との間の乗算積の和によって生成され、続いて、各中間出力データ要素に対して後処理演算（例えば、ＢＮｏｒｍ及びＲｅＬＵ）を実施して、８ビットの出力データ要素を生成する。２ビットの３値重み要素（重み要素を表すために３つの代替レベルを提供する）は、重みを表す際に２値重み（２つの代替レベルを提供する）よりも正確であり得る。また、ＭＡＣエンジン１３００は、重み要素が１である場合に入力データ要素を単に転送し、重み要素が－１である場合に入力データ要素の負の表現を転送し、重み要素がゼロである場合にゼロを転送することにより、入力データ要素と重み要素との間の乗算積を生成することができ、これにより、複雑さ及び電力を低減し、演算速度を増加させることができる。
【】
図１５Ｄにおいて、ＭＡＣエンジン１３００は、８ビットの入力データ要素と２つのセットの２ビットの３値重み要素（－１、０、＋１）との間で畳み込み演算を実施して、１６ビットの中間出力データ要素を生成することができ、各中間出力データ要素は、入力データ要素と２つのセットの重み要素との間の乗算積の和によって生成され、２つのセットの重み要素から生成された中間出力データ要素が合算される。次いで、合算された中間出力データ要素が後処理（例えば、ＢＮｏｒｍ及びＲｅＬＵ）され、８ビットの出力データ要素を生成することができる。２つのセットの２ビットの３値重み要素（９つの代替レベルを提供する）を用いることで、重みを表す際に１つのセットの２ビットの３値重み要素（３つの代替レベルを提供する）を用いるよりも正確であり得、３値重み要素を用いるＭＡＣエンジン１３００における簡略化された演算の同様の利益が提供される。
【】
図１６は、例えば、図１４のチャネル優先のシーケンスにおける例示の畳み込み演算をサポートするためにＭＡＣエンジン１３００によって実施される算術演算の例を図示する。図１６に示す算術演算は、ＭＡＣエンジン１３００によって１クロックサイクルで実施され得る。図１６を参照すると、ＭＡＣエンジン１３００は、各クロックサイクルで、４つの入力値Ｘ［０］、Ｘ［１］、Ｘ［２］、及びＸ［３］を受け取ることができ、４つの入力値の各々が、異なる入力チャネルに関連付けられている。ＭＡＣエンジン１３００はまた、例えば、（出力チャネル０及び入力チャネル０に関連付けられた）Ｗ［０、０］、（出力チャネル１及び入力チャネル３に関連付けられた）Ｗ［１、３］等の、異なる入力チャネル及び出力チャネルに関連付けられた１６個の重み値を受け取ることができる。図１６の例示の演算は、８ビットの入力データ要素及び２ビットの重み要素、又は４ビットの入力データ要素及び４ビットの重み要素に対して実施され得る。後述するように、入力精度及び重み精度に応じて、演算エンジン５２４は、８ビットの入力データ要素又は４ビットの入力データ要素を受け取ることができる。また、演算エンジン５２４は、４ビットの重み要素、２ビットの重み要素、８ビットの重み要素などを受け取ることもできる。演算エンジン５２４は、入力データ及び重み構成１３１０と精度構成１３１２とにより、重み／データを分割して図１６の例示の演算を実施するように構成され得る。例えば、演算エンジン５２４は、４ビットの重みを２つの２ビットの重みに分割し、２セットの重みに対して８ビットのデータ及び２ビットの重み演算を実施することができ、各重み値は、単一の４ビットの重み要素、２つの２ビットの重み要素を含み得るか、又は８ビットの重み要素の半分であり得る。
【】
ＭＡＣエンジン１３００は、入力データＸ［０］～Ｘ［３］と、特定の出力チャネル及びＸ［０］～Ｘ［３］の入力チャネルに関連付けられた重みとの乗算に基づいて、異なる出力チャネルに各々が関連付けられた、中間出力データ要素Ｙ［０］、Ｙ［１］、Ｙ［２］、及びＹ［３］の各々について、部分和を生成することができる。例えば、中間出力データ要素Ｙ［０］について、ＭＡＣエンジン１３００は、Ｗ［０、３］とＸ［３］との間の乗算積、Ｗ［０、２］とＸ［２］との間の乗算積、Ｗ［０、１］とＸ［１］との間の乗算積、及びＷ［０、０］とＸ［０］との間の乗算積を演算し、乗算積を中間出力データレジスタＭＡＣｒｅｇ０～ＭＡＣｒｅｇ３のうちの１つからの前の部分和Ｙ０’に合算することによって累算演算を実施して、新しい部分和Ｙ０を生成することができ、新しい部分和Ｙ０は、前の部分和Ｙ０’の代わりにＭＡＣｒｅｇ０～ＭＡＣｒｅｇ３に格納され得る。加算は、飽和加算であり得る。畳み込み演算の第１の命令の場合、バイアス値（例えば、Ｂｉａｓ０）を、中間出力データレジスタＭＡＣｒｅｇ４～ＭＡＣｒｅｇ７の別のセットからマルチプレクサ（図１６において、ＭＵＸと標示されている）を介してＭＡＣエンジン１３００にフェッチすることができ、乗算積は、部分和を生成するためにバイアス値に加算され得る。そのような構成により、後続の後処理演算において加算を実施することを回避することができ、これにより、後処理演算を高速化することができる。第１の命令が実行された後、畳み込み演算の後続の命令について、マルチプレクサは、乗算積を前の部分和に加算するために、ＭＡＣｒｅｇ０～ＭＡＣｒｅｇ３の出力をＭＡＣエンジン１３００に配路（route）することができる。
【】
ＭＡＣエンジン１３３０は、乗算演算１６０２などの１６個の乗算演算を実施して、１クロックサイクルで乗算積を生成することができる。いくつかの例において、ＭＡＣエンジン１３３０は、１６個の乗算演算を並列に実施するために１６個の乗算回路を含み得る。ＭＡＣエンジン１３３０はまた、新しい部分和をＹ’［０］に加算することにより、ＭＡＣレジスタに格納された前の部分和Ｙ’［０］を更新することができる。
【】
下記の表１は、演算エンジン５２４によってサポートされる入力精度及び重み精度のセットを示す。各行はまた、所与の入力精度及び重み精度について、クロックサイクル毎に演算エンジン５２４によって処理される入力データ要素の数と、クロックサイクル毎に演算エンジン５２４によって提供される出力データ要素の数と、クロックサイクル毎に演算エンジン５２４によって実施される乗累算（ＭＡＣ）演算の数とを示す。サイクル毎のＭＡＣの数は、処理される入力データ要素の数とクロックサイクル毎に生成される出力データ要素の数との積に等しくし得る。
【】
いくつかの例において、後述するように、ＭＡＣエンジン１３３０は、３２個の４ビット２ビット乗算回路の配列を含み得、各乗算回路は、クロックサイクル毎に４ビットの数と２ビットの数との間の乗算演算（又はビット単位演算）を実施することができ、３２個の乗算回路は、４ビットの数と２ビットの数との間の３２個の乗算を実施することができる。
【】
８ビットの入力データ要素及び２ビットの重み要素（２値又は３値）の場合、各入力データ要素は２つの４ビットのデータ値に分割され得、２つの乗算回路が、１つの８ビットのデータ要素及び１つの２ビットの重み要素について演算を実施する。したがって、３２個の乗算回路の配列は、クロックサイクル毎に８ビットの入力データ及び２ビットの重みの３２／２の演算動作を実施することができる。
【】
８ビットの入力データ要素及び４ビットの重み要素の場合、各入力データ要素は２つの４ビットのデータ値に分割され得、各４ビットの重み要素は２つの２ビットの重み値に分割され得、４つの乗算回路が、１つの８ビットのデータ要素及び１つの４ビットの重み要素について演算を実施する。したがって、３２個の乗算回路の配列は、クロックサイクル毎に８ビットの入力データ及び４ビットの重みの３２／（２×２）個の演算動作を実施することができる。
【】
８ビットの入力データ要素及び８ビットの重み要素の場合、各入力データ要素は２つの４ビットのデータ値に分割され得、各重み要素は４つの２ビットの重み値に分割され得、８つの乗算回路が、１つの８ビットのデータ要素及び１つの８ビットの重み要素について演算を実施する。したがって、３２個の乗算回路の配列は、クロックサイクル毎に８ビットの入力データ及び４ビットの重みの３２／（２×４）個の演算動作を実施することができる。
【】
４ビットの入力データ要素及び４ビットの重み要素の場合、各重み要素は２つの２ビットの重み値に分割され得、２つの乗算回路が、１つの４ビットのデータ要素及び１つの２ビットの重み要素について演算を実施する。したがって、３２個の乗算回路の配列は、クロックサイクル毎に４ビットの入力データ及び２ビットの重みの３２／２個の演算動作を実施することができる。
【】
２値重み及び２値データの場合、ＭＡＣエンジン１３３０（又は演算エンジン５２４）は、２値重みを２ビットの重みに内部的に変換することができる。後述するように、各乗算回路は、２値重みと２値データとの間で４ビット単位の演算動作（例えば、ＸＮＯＲ）を実施することができ、３２個の乗算回路の配列は、クロックサイクル毎に２値重み及び２値データの１２８個の演算動作を実施することができる。
【表】
【】
図１７は、ＭＡＣエンジン１３００の一部としり得る例示の乗算回路１７００の動作を図示する。例示の乗算回路１７００は、乗算演算１６０２など、図１６に示されている乗算演算を実施することができる。乗算回路１７００は、図１６のＸ［０］～Ｘ［３］のうちの１つであり得る８ビットの入力値Ｄ［７：０］と、図１６の重み値のうちの１つ（例えば、Ｗ［０、０］）であり得る４ビットの重み値Ｗ［３：０］とを受け取ることができる。入力値Ｄ及び重み値Ｗの各々は、符号付き又は符号なしであり得る。乗算回路１７００は、２つの４ビット×２ビット乗算回路１７０２及び１７０４を含み得る。図１７において、乗算回路１７０２及び１７０４の論理演算は、命令の形態で表され、命令は、乗算回路１７０２及び１７０４を表す論理回路に統合され（及び論理回路を表し）得る。
【】
乗算回路１７００は、乗算器構成１７１０を受け取って、種々のモードで乗算演算を実施するように乗算回路１７０２及び１７０４の各々を構成することができる。乗算器構成１７１０は、精度構成１３１２の一部とすることができ、Ｄ［７：４］が符号付きであるかどうかを示す第１のフラグ（例えば、Ｄ［７：４］は、フラグがアサートされる場合又は論理１を表す場合に符号付きであり、フラグがデアサートされる場合又は論理０を表す場合に符号なしである）と、Ｄ［３：０］が符号付きであるかどうかを示す第２のフラグ（両方とも入力精度に基づく）と、Ｗ［３：２］が符号付きであるかどうかを示す第３のフラグと、Ｗ［１：０］が符号付きであるかどうかを示す第４のフラグ（両方とも重み精度に基づく）と、２値モードで動作するかどうかを示す第５のフラグと、を含み得る。乗算回路１７０２及び１７０４は、精度構成１３１２が、入力データ及び重みの両方が１ビット（２値）精度を有することを示す場合、２値モードで動作することができる。
【】
乗算器構成１７１０が、２値モードが無効であることを示す場合、乗算回路１７０２は、４ビットのＬＳＢのＤ［３：０］と２ビットのＬＳＢのＷ［１：０］との間で乗算演算を実施することにより、出力Ｎ０を７ビット符号付き数として生成することができ、乗算回路１７０４は、４ビットのＭＳＢのＤ［７：４］と２ビットのＭＳＢのＷ［３：２］との間で乗算演算を実施することにより、出力Ｎ１を７ビットの符号付き数として生成することができる。乗算器構成１７１０に基づいて、Ｎ０についての乗算演算は、Ｄ［３：０］又はＷ［１：０］のうちの少なくとも１つが符号付きである場合、符号付き乗算演算であり得、Ｎ１についての乗算演算は、Ｄ［７：４］又はＷ［３：２］のうちの少なくとも１つが符号付きである場合、符号付き乗算演算であり得る。
【】
一方、乗算器構成１７１０が、２値モードが有効であることを示す場合、乗算回路１７０２は、Ｄ［３：０］とＷ［３：０］との間でビット単位のＸＮＯＲ演算（例えば、図１７の
）を実施し、ビット単位のＸＮＯＲ出力を合算することにより、８ビット出力Ｎ０を生成することができる。また、乗算回路１７０４は、Ｄ［７：４］とＷ［３：０］との間でビット単位のＸＮＯＲ演算を実施し、ビット単位のＸＮＯＲ出力を合算することにより、８ビット出力Ｎ１を生成することができる。ＸＮＯＲ演算の真理値表を下記に示し、－１は論理０で表され、＋１は論理１で表される。表から分かるように、このように表された２つの２値数の乗算は、ＸＮＯＲ演算を用いて演算され得る。
【表】
【】
ＭＡＣエンジン１３００は、表１に記載された入力精度及び重み精度の或る範囲について中間出力データ要素を生成するためにＭＡＣ演算を実施するための、複数の演算ユニットを含み得、複数の演算ユニットの各々が、乗算回路１７００及び他の論理回路のセットを含む。図１８は、演算ユニット１８００の一例を図示する。図１８を参照すると、演算ユニット１８００は、図１８に示すＸ０、Ｘ１、Ｘ２、及びＸ３をそれぞれ受け取るための、４つの演算データ入力を有することができる。演算ユニット１８００はまた、図１８に示すＷ０、Ｗ１、Ｗ２、及びＷ３をそれぞれ受け取るための、４つの演算重み入力を有する。演算ユニット１８００はまた、１７００ａ、１７００ｂ、１７００ｃ、及び１７００ｄを含む４つの乗算回路１７００を含む。乗算回路１７００ａの入力は、第１の演算データ入力及び第１の演算重み入力に結合されている。乗算回路１７００ｂの入力は、第２の演算データ入力と第２の演算重み入力とに結合されている。乗算回路１７００ｃの入力は、第３の演算データ入力と第３の演算重み入力とに結合されている。乗算回路１７００ｄの入力は、第４の演算データ入力と第４の演算重み入力とに結合されている。上述したように、各乗算回路１７００は２つの７ビット出力Ｎ０及びＮ１を生成する。乗算回路１７００ａは、７ビット出力Ｎ０ａ、Ｎ１ａを生成し、乗算回路１７００ｂは、７ビット出力Ｎ０ｂ、Ｎ１ｂを生成し、乗算回路１７００ｃは、７ビット出力Ｎ０ｃ、Ｎ１ｃを生成し、乗算回路１７００ｄは、７ビット出力Ｎ０ｄ、Ｎ１ｄを生成する。また、上述したように、各乗算回路１７００ａ～ｄは乗算器構成１７１０を受け取る。
【】
演算ユニット１８００はまた、加算器１８０２ａ、１８０２ｂ、及び１８０２ｃと、加算器１８０４ａ、１８０４ｂ、及び１８０４ｃとを含む。加算器１８０２ａ、１８０２ｂ、及び１８０２ｃは、Ｎ１ａと、Ｎ１ｂと、Ｎ１ｃと、Ｎ１ｄとの和をＭＡＣ＿Ｌとして生成し、ＭＡＣ＿Ｌは、９ビットを有し、非２値モードで動作するときに符号付き数として表される。また、加算器１８０４ａ、１８０４ｂ、及び１８０４ｃは、Ｎ０ａと、Ｎ０ｂと、Ｎ０ｃと、Ｎ０ｄとの和をＭＡＣ＿Ｒとして生成し、ＭＡＣ＿Ｒも、９ビットを有し、非２値モードで符号付き数として表される。演算ユニット１８００はまた、ビットシフタ回路１８０６を含み、ビットシフタ回路１８０６は、シフト制御１８０８において特定された数のビットだけＭＡＣ＿Ｌの左シフトを実施してＭＡＣ＿Ｌ’を生成することができる。演算ユニット１８００は、構成レジスタ５２８ｃからシフト制御１８０８を受け取ることができる。後述するように、左ビットシフトの量は、入力精度及び重み精度に基づく。また、演算ユニット１８００は、ＭＡＣ ＲとＭＡＣ Ｌ’との和をＭＡＣ ｏｕｔとして生成する加算器１８０９を含み、ＭＡＣ ｏｕｔは、１３ビットを有し、ＭＡＣ出力として非２値モードで符号付き数として表すことができる。ＭＡＣ＿Ｌ及びＭＡＣ＿ＲもＭＡＣ出力であり得る。
【】
演算ユニット１８００はまた、累算器１８１０を含み、累算器１８１０は、古い部分和としてＭＡＣｒｅｇ ｉｎ（１８ビット）を受け取り、古い部分和にＭＡＣ出力を加算することによって古い部分和を更新して新しい部分和ＭＡＣｒｅｇ ｏｕｔを生成することができる。図１９は、累算器１８１０の例示の内部構成要素及びそれらの動作を示す。図１９において、累算器１８１０の論理演算は、命令の形態で表され、命令は、累算器１８１０を表す論理回路に統合され（及び論理回路を表し）得る。
【】
図１９を参照すると、累算器１８１０は２つの加算器１９０２及び１９０４を含み得、２つの加算器の各々が９ビット加算器であり得る。ＭＡＣエンジン１３００が２値モードで動作しない場合、加算器１９０２及び１９０４は、１８ビット加算器を形成することができ、１８ビット加算器は、１３ビットのＭＡＣ ｏｕｔを１８ビットの古い部分和に加算することによって古い部分和（ＭＡＣｒｅｇ＿ｉｎ）を更新する。加算器１９０４は、まず、ＭＡＣ＿ｏｕｔの９ビットのＬＳＢとＭＡＣｒｅｇ＿ｉｎとの間で９ビットの加算を実施し、次いで、ＭＡＣ ｏｕｔのＭＳＢとＭＡＣｒｅｇ＿ｉｎのＭＳＢとの間の加算のために、繰り上げ（もしある場合）を加算器１９０２に伝搬して、１８ビットのＭＡＣｒｅｇ＿ｏｕｔを生成することができる。加算／合算は、飽和加算とすることができ、次式によって表すことができる。
MACreg_out[17:0]=Saturate((MACreg_in[17:0]+MAC_out[12:0]),18bits) （式２）
【】
一方、ＭＡＣエンジン１３００が２値モードで動作する場合、Ｎ０ａ、Ｎ０ｂ、Ｎ０ｃ、Ｎ０ｄの各々及びＮ１ａ、Ｎ１ｂ、Ｎ１ｃ、Ｎ１ｄの各々は、最大値４をとることができ、ＭＡＣ＿Ｌ及びＭＡＣ＿Ｒは、各々最大値１６をとることができる。加算器１９０２及び１９０４は、２つの別個の９ビット加算器とし得る。加算器１９０２は、ＭＡＣｒｅｇ＿ｉｎの９ビットのＭＳＢとＭＡＣ＿Ｌの６ビットのＬＳＢとを合算することによってＭＡＣｒｅｇ＿ｏｕｔの９ビットのＭＳＢを生成することができる。加算器１９０４は、ＭＡＣｒｅｇ＿ｉｎの９ビットのＬＳＢとＭＡＣ Ｒの６ビットのＬＳＢとを合算することによって、ＭＡＣｒｅｇ＿ｏｕｔの９ビットのＬＳＢを生成することができる。加算器１９０４から加算器１９０２への繰り上げがないので、加算器１９０２及び１９０４は、加算を並列に実施し、部分和の更新を高速化することができる。
【】
図２０Ａ及び図２０Ｂは、図１８の演算ユニット１８００を含むＭＡＣエンジン１３００を示す概略図である。図２０Ａ及び図２０Ｂを参照すると、ＭＡＣエンジン１３００は、演算ユニット１８００ａ、１８００ｂ、１８００ｃ、及び１８００ｄを含む。ＭＡＣエンジン１３００は、入力データマルチプレクサ１３０６から、８ビットの入力データＩＮ０、ＩＮ１、ＩＮ２、及びＩＮ３をそれぞれ受け取るため、第１、第２、第３、及び第４のＭＡＣデータ入力を有する。各演算ユニットの第１の演算データ入力は、（ＩＮ０を受け取るために）第１のＭＡＣデータ入力に結合されている。各演算ユニットの第２の演算データ入力は、（ＩＮ１を受け取るために）第２のＭＡＣデータ入力に結合されている。各演算ユニットの第３の演算データ入力は、（ＩＮ２を受け取るために）第３のＭＡＣデータ入力に結合されている。各演算ユニットの第４の演算データ入力は、（ＩＮ３を受け取るために）第４のＭＡＣデータ入力に結合されている。入力データマルチプレクサ１３０６は、Ｄｉｎ０又はＤｉｎ１入力データレジスタのうちの１つから入力データを選択的に転送し、Ｄ４モード又はＤ８モードに応じて、入力データレジスタに格納された全てのビット（例えば、４つの８ビットの入力データを含む３２ビット）又はビットの半分の複製（１６ビット）を転送することができる。例えば、Ｄ８モードにおいて、入力データマルチプレクサ１３０６は、（入力チャネル０に関連付けられた）Ｘ０をＩＮ０として、（入力チャネル１に関連付けられた）Ｘ１をＩＮ１として、（入力チャネル２に関連付けられた）Ｘ２をＩＮ２として、（入力チャネル３に関連付けられた）Ｘ３をＩＮ３として転送することができる。Ｄ４モードにおいて、入力データマルチプレクサ１３０６は、Ｘ２ビットの下半分（ＬＳＢ）の複製をＩＮ０として、Ｘ２ビットの上半分（ＭＳＢ）の複製をＩＮ１として、Ｘ３ビットの下半分の複製をＩＮ２として、Ｘ３ビットの上半分の複製をＩＮ３として転送することができる。入力データマルチプレクサ１３０６はまた、Ｘ０ビットの下半分の複製をＩＮ０として、Ｘ０ビットの上半分の複製をＩＮ１として、Ｘ１ビットの下半分の複製をＩＮ２として、Ｘ１の上半分の複製をＩＮ３として転送することができる。
【】
また、ＭＡＣエンジン１３００は、第１、第２、第３、及び第４のＭＡＣ重み入力のグループを含む。各演算ユニットは、第１、第２、第３、及び第４のＭＡＣ重み入力のそれぞれのグループに結合されており、第１の演算重み入力はグループの第１のＭＡＣ重み入力に結合され、第２の演算重み入力はグループの第２のＭＡＣ重み入力に結合され、第３の演算重み入力はグループの第３のＭＡＣ重み入力に結合され、第４の演算重み入力はグループの第４のＭＡＣ重み入力に結合されている。各演算ユニットは、重みマルチプレクサ１３０４から４つの４ビットの重みを受け取ることができる。例えば、演算ユニット１８００ａは、演算ユニット１８００ａの、それぞれの、第１、第２、第３、及び第４の演算重み入力において、４ビットの重みＷ０ａ、Ｗ１ａ、Ｗ２ａ、及びＷ３ａを受け取る。演算ユニット１８００ｂは、演算ユニット１８００ｂの、それぞれの、第１、第２、第３、及び第４の演算重み入力において、４ビットの重みＷ０ｂ、Ｗ１ｂ、Ｗ２ｂ、及びＷ３ｂを受け取る。演算ユニット１８００ｃは、演算ユニット１８００ｃの、それぞれの、第１、第２、第３、及び第４の演算重み入力において、４ビットの重みＷ０ｃ、Ｗ１ｃ、Ｗ２ｃ、及びＷ３ｃを受け取る。また、演算ユニット１８００ｄは、演算ユニット１８００ｄの、それぞれの、第１、第２、第３、及び第４の演算重み入力において、４ビットの重みＷ０ｄ、Ｗ１ｄ、Ｗ２ｄ、及びＷ３ｄを受け取る。図２０において、第１、第２、第３、及び第４のＭＡＣ重み入力の第１のグループが、それぞれ、Ｗ０ａ、Ｗ１ａ、Ｗ２ａ、及びＷ３ａを受け取ることができる。第１、第２、第３、及び第４のＭＡＣ重み入力の第２のグループが、それぞれ、Ｗ０ｂ、Ｗ１ｂ、Ｗ２ｂ、及びＷ３ｂを受け取ることができる。第１、第２、第３、及び第４のＭＡＣ重み入力の第３のグループが、それぞれ、Ｗ０ｃ、Ｗ１ｃ、Ｗ２ｃ、及びＷ３ｃを受け取ることができる。第１、第２、第３、及び第４のＭＡＣ重み入力の第４のグループが、それぞれ、Ｗ０ｄ、Ｗ１ｄ、Ｗ２ｄ、及びＷ３ｄを受け取ることができる。
【】
重みマルチプレクサ１３０４は、重み－０レジスタ又は重み－１レジスタのうちの１つから重みを選択的に転送することができる。Ｄ４モードにおいて、演算ユニット１８００ａ及び１８００ｂは、選択された重みレジスタの３２個の上半分のビットを受け取ることができ、演算ユニット１８００ｃ及び１８００ｄは、選択されたレジスタの３２個の下半分のビットを受け取ることができる。Ｄ８モードにおいて、演算ユニット１８００ａ及び１８００ｂは、選択された重みレジスタの上半分のビットの半分の複製（１６ビット）を受け取ることができ、演算ユニット１８００ｃ及び１８００ｄは、選択された重みレジスタの下半分のビットの半分の複製（１６ビット）を受け取ることができる。演算ユニット１８００ａ～ｄは、中間出力データ要素を１つのＭＡＣレジスタに格納することができ、各中間出力データ要素は１８ビットを有することができる。
【】
図２０Ａ及び図２０Ｂはまた、ＭＡＣエンジン１３００又は後処理エンジン１３０２の一部とし得るデータマージ回路２００２を図示する。後述するように、或る入力精度及び重み精度について、演算ユニット１８００ａ～ｄの一部又は全ての出力をマージして、特定の中間出力データ要素を生成することができる。データマージ回路２００２は、ビットシフタ２００４ａ、２００４ｂ、及び２００６を含む。ビットシフタ２００４ａは、演算ユニット１８００ａの１８ビット出力に対して２ビットの左シフトを実施するように構成されており、ビットシフタ２００４ｂは、演算ユニット１８００ｃの１８ビット出力に対して２ビットの左シフトを実施するように構成されている。データマージ回路２００２はまた、加算器２００８ａ、２００８ｂ、及び２０３０を含む。加算器２００８ａは、演算ユニット１８００ａの出力の左シフトバージョンを演算ユニット１８００ｂの出力に加算して、部分和２０２０ａを生成することができる。加算器２００８ｂは、演算ユニット１８００ｃの出力の左シフトバージョンを演算ユニット１８００ｄの出力に加算して、部分和２０２０ｂを生成することができる。ビットシフタ２００６は、部分和２０２０ａに対して４ビットの左シフトを実施するように構成されている。データマージ回路２００２はまた、部分和２０２０ａの左シフトバージョンを部分和２０２０ｂに加算することによって部分和２０３２を生成するため、加算器２０３０を含む。ＭＡＣレジスタマルチプレクサ１３０３は、演算ユニット１８００ａ～１８００ｄの１８ビット出力と、部分和２０２０ａ、２０２０ｂ、及び２０３２とを受け取り、後述するように、入力精度及び重み精度に基づいて、それらのうちの１つを選択してＭＡＣレジスタに格納することができる。
【】
図２１Ａ～図２１Ｆはまた、異なる入力精度及び重み精度を伴うＭＡＣ演算をサポートするため、演算エンジン１８００ａ～ｄ、データマージ回路２００２、重みマルチプレクサ１３０４、入力データマルチプレクサ１３０３、及びＭＡＣレジスタマルチプレクサ１３０３の異なる構成を図示する。
【】
図２１Ａ－１及び図２１Ａ－２は、各入力データ要素が８ビットの数であり、各重み要素が２ビットの数である、例示の構成を図示する。入力データマルチプレクサ１３０６は、Ｄ８モードで動作し、４つの８ビットの入力データ要素を含む３２ビットの入力データを各サイクルで提供することができる。２ビットの重み要素は、３値重み（－１、０、１）であり得るか、又は１ビットの２値重みから拡張され得る（例えば、＋１がビット０１にマッピングされ、－１がビット１１にマッピングされる）。また、重みマルチプレクサ１３０４は、Ｄ８モードで動作することができ、３２ビットの重み（１６×２ビットの重み要素を含む）を提供するために、重みレジスタにおける格納された重み要素の半分を複製する。演算ユニット１８００ａは、第１、第２、第３、及び第４の演算データ入力において４つの８ビットの入力データ要素を受け取り、第１、第２、第３、及び第４の重み入力において２ビットの重み要素の４つの複製を受け取ることができる。演算ユニット１８００ａは、Ｙ０などの中間出力データ要素のうちの１つについての部分和を下記のように演算することができる。
Y0=(W0×X0H+W1×X1H+W2×X2H+W3×X3H)<<4+(W0×X0L+W1×X1L+W2×X2L+W3×X3L) （式３）
【】
式（３）において、Ｗ０、Ｗ１、Ｗ２及びＷ３の各々は、２ビットの重み要素である。Ｘ０、Ｘ１、Ｘ２、Ｘ３は各々、８ビットの入力データ要素である。Ｘ０Ｈ、Ｘ１Ｈ、Ｘ２Ｈ、及びＸ３Ｈは、それぞれ、Ｘ０、Ｘ１、Ｘ２、及びＸ３の４ビットのＭＳＢ（Ｄ［７：４］ビットとしても表される）であり、一方、Ｘ０Ｌ、Ｘ１Ｌ、Ｘ２Ｌ、及びＸ３Ｌは、それぞれ、Ｘ０、Ｘ１、Ｘ２、及びＸ３の４ビットのＬＳＢ（Ｄ［３：０］ビットとしても表される）である。（演算ユニット１８００ａの）乗算回路１７００ａは、Ｗ０×Ｘ０ＨをＮ０ａとして、Ｗ０×Ｘ０ＬをＮ０ｂとして生成し、乗算回路１７００ｂは、Ｗ１×Ｘ１ＨをＮ１ａとして、Ｗ１×Ｘ１ＬをＮ１ｂとして生成し、乗算回路１７００ｃは、Ｗ２×Ｘ２ＨをＮ２ａとして、Ｗ２×Ｘ２ＬをＮ２ｂとして生成し、乗算回路１７００ｄは、Ｗ３×Ｘ３ＨをＮ３ａとして、Ｗ３×Ｘ３ＬをＮ３ｂとして生成する。シフト制御１８０８は、ＭＡＣ＿Ｌを４ビットだけ左シフトするようにビットシフタ回路１８０６ａを制御することができる。ＭＡＣレジスタマルチプレクサ１３０３は、累算器１８１０ａの出力をＭＡＣレジスタに選択的に接続し、データマージ回路２００２を迂回することができる。
【】
図２１Ｂ－１及び図２１Ｂ－２は、各入力データ要素が４ビットの数であり、各重み要素が４ビットの数である、例示の構成を図示する。入力データマルチプレクサ１３０６は、Ｄ４モードで動作し、４つの４ビットの入力データ要素を含む１６ビットの入力データ（例えば、Ｄｉｎ０／Ｄｉｎ１レジスタ内のビットの半分を複製することによる）を各サイクルで提供することができる。また、重みマルチプレクサ１３０４もＤ４モードで動作することができ、６４ビットの重み（１６×４ビットの重み要素を含む）を提供するために、重みレジスタにおける格納された重み要素の全てを提供する。演算ユニット１８００ａは、第１、第２、第３、及び第４の演算データ入力において４ビットのＸ０、Ｘ１、Ｘ２、Ｘ３（各々Ｄ［３：０］ビットとして表される）の複製を受け取り、第１、第２、第３、及び第４の演算重み入力において４つの４ビットの重み要素を受け取ることができる。演算ユニット１８００ａは、Ｙ０についての部分和を下記のように演算することができる。
Y0=(W0H×X0+W1H×X1+W2H×X2+W3H×X3)<<2+(W0L×X0+W1L×X1+W2L×X2+W3L×X3) （式４）
【】
式４において、Ｗ０、Ｗ１、Ｗ２、及びＷ３の各々は、４ビットの重み要素である。Ｘ０、Ｘ１、Ｘ２、及びＸ３は、各々４ビットの入力データ要素である。Ｗ０Ｈ、Ｗ１Ｈ、Ｗ２Ｈ、及びＷ３Ｈは、それぞれ、Ｗ０、Ｗ１、Ｗ２、及びＷ３の２ビットのＭＳＢであり、一方、Ｗ０Ｌ、Ｗ１Ｌ、Ｗ２Ｌ、及びＷ３Ｌは、それぞれ、Ｗ０、Ｗ１、Ｗ２、及びＷ３の２ビットのＬＳＢである。乗算回路１７００ａは、Ｘ０及びＸ４を８ビットの入力として、Ｗ０を４ビットの入力として（Ｄ４モードで動作する入力データマルチプレクサ１３０６から）受け取り、Ｘ０×Ｗ０ＨをＮ０ａとして、Ｘ４×Ｗ０ＬをＮ０ｂとして生成する。また、乗算回路１７００ｂは、Ｘ１×Ｗ１ＨをＮ１ａとして、Ｘ５×Ｗ１ＬをＮ１ｂとして生成し、乗算回路１７００ｃは、Ｘ２×Ｗ２ＨをＮ２ａとして、Ｘ６×Ｗ２ＬをＮ２ｂとして生成し、乗算回路１７００ｄは、Ｘ３×Ｗ３ＨをＮ３ａとして、Ｘ７×Ｗ３ＬをＮ３ｂとして生成する。シフト制御１８０８は、ＭＡＣ＿Ｌを２ビットだけ左シフトするようにビットシフタ回路１８０６ａを制御することができる。ＭＡＣレジスタマルチプレクサ１３０３は、累算器１８１０ａの出力をＭＡＣレジスタに選択的に接続し、データマージ回路２００２を迂回することができる。
【】
後続のサイクル（図２１Ｂ－１及び図２１Ｂ－２に図示せず）において、演算ユニット１８００ａは、第１、第２、第３、及び第４の演算重み入力において、４ビットのＸ４、Ｘ５、Ｘ６、Ｘ７の複製と、４つの４ビットの重み要素Ｗ４、Ｗ５、Ｗ６、及びＷ７とを受け取り、式２に基づいて部分和を演算し、部分和をＹ０に加算することができる。
【】
図２１Ｃ－１及び図２１Ｃ－２は、各入力データ要素が４ビットの数であり、各重み要素が２ビットの数である、例示の構成を図示する。入力データマルチプレクサ１３０６は、Ｄ８モードで動作し、８つの４ビットの入力データ要素を含む３２ビットの入力データを各サイクルで提供することができる。また、重みマルチプレクサ１３０４は、Ｄ４モードで動作することもでき、６４ビットの重み（３２×２ビットの重み要素を含む）を提供するために、重みレジスタにおける格納された重み要素の全てを提供する。演算ユニット１８００ａは、８つの２ビットの重み要素を、それぞれの第１、第２、第３、及び第４の重み入力において２つの２ビットの重み要素と共に受け取ることができる。演算ユニット１８００ａは、８つの４ビットの入力データ要素を、それぞれの第１、第２、第３、及び第４の入力データ入力において２つの４ビットの入力データ要素と共に受け取ることができる。演算ユニット１８００ａは、Ｙ０についての部分和を下記のように演算することができる。
Y0=(W0×X0+W2×X2+W4×X4+W6×X6)+(W1×X1+W3×X3+W5×X5+W7×X7) （式５）
【】
式５において、Ｗ０、Ｗ１、Ｗ２、及びＷ３の各々は、２ビットの重み要素である。Ｘ０、Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５、Ｘ６、及びＸ７は各々、４ビットの入力データ要素である（Ｄ［３：０］ビットとして表される）。乗算回路１７００ａは、Ｘ０及びＸ１を８ビットの入力として、Ａ０及びＡ１を４ビットの入力として受け取り、Ａ０×Ｘ０をＮ０ａとして、Ａ１×Ｘ１をＮ０ｂとして生成する。また、乗算回路１７００ｂは、Ａ２×Ｘ２をＮ１ａとして、Ａ３×Ｘ３をＮ１ｂとして生成し、乗算回路１７００ｃは、Ａ４×Ｘ４をＮ２ａとして、Ａ５×Ｘ５をＮ２ｂとして生成し、乗算回路１７００ｄは、Ａ６×Ｘ６をＮ３ａとして、Ａ７×Ｘ７をＮ３ｂとして生成する。シフト制御１８０８は、ＭＡＣ＿Ｌを左シフトしないようにビットシフタ回路１８０６ａを制御することができる。したがって、図２１Ｃ－１及び図２１Ｃ－２においてビットシフタ回路１８０６ａが省略されている。ＭＡＣレジスタマルチプレクサ１３０３は、累算器１８１０ａの出力をＭＡＣレジスタに選択的に接続し、データマージ回路２００２を迂回することができる。
【】
図２１Ｄ－１及び図２１Ｄ－２は、各入力データ要素が８ビットの数であり、各重み要素が４ビットの数である、例示の構成を図示する。入力データマルチプレクサ１３０６は、Ｄ８モードで動作し、４つの８ビットの入力データ要素を含む３２ビットの入力データを各サイクルで提供することができる。また、重みマルチプレクサ１３０４もＤ８モードで動作することができ、６４ビットの重み（８×４ビットの重み要素の複製を含む）を提供するために、重みレジスタにおける格納された重み要素の半分を複製する。演算ユニット１８００の各々は、４ビットの重み要素の２ビットの複製の４セットと、４つの８ビットの入力データ要素とを受け取ることができる。演算ユニット１８００ａ、１８００ｂ、１８００ｃ、及び１８００ｄは、Ｙ０及びＹ１についての部分和を下記のように演算することができる。
Y0H=(W0H×X0H+W1H×X1H+W2H×X2H+W3H×X3H)<<4+(W0H×X0L+W1H×X1L+W2H×X2L+W3H×X3L) （式６）
Y0L=(W0L×X0H+W1L×X1H+W2L×X2H+W3L×X3H)<<4+(W0L×X0L+W1L×X1L+W2L×X2L+W3L×X3L) （式７）
Ｙ０＝Ｙ０Ｈ＜＜２＋Ｙ０Ｌ （式８）
Y1H=(W4H×X0H+W5H×X1H+W6H×X2H+W7H×X3H)<<4+(W4H×X0L+W5H×X1L+W6H×X2L+W7H×X3L) （式９）
Y1L=(W4L×X0H+W5L×X1H+W6L×X2H+W7L×X3H)<<4+(W4L×X0L+W5L×X1L+W6L×X2L+W7L×X3L) （式１０）
Ｙ１＝Ｙ１Ｈ＜＜２＋Ｙ１Ｌ （式１１）
【】
式６～式１１において、Ｗ０、Ｗ１、Ｗ２、Ｗ３、Ｗ４、Ｗ５、Ｗ６、及びＷ７の各々は、４ビットの重み要素である。Ｘ０、Ｘ１、Ｘ２、及びＸ３は各々、８ビットの入力データ要素である。Ｗ０Ｈ、Ｗ１Ｈ、Ｗ２Ｈ、Ｗ３Ｈ、Ｗ４Ｈ、Ｗ５Ｈ、Ｗ６Ｈ、Ｗ７Ｈは、それぞれ、Ｗ０、Ｗ１、Ｗ２、Ｗ３、Ｗ４、Ｗ５、Ｗ６、及びＷ７の２ビットのＭＳＢであり、一方、Ｗ０Ｌ、Ｗ１Ｌ、Ｗ２Ｌ、Ｗ３Ｌ、Ｗ４Ｌ、Ｗ５Ｌ、Ｗ６Ｌ、Ｗ７Ｌは、それぞれ、Ｗ０、Ｗ１、Ｗ２、Ｗ３、Ｗ４、Ｗ５、Ｗ６、及びＷ７の２ビットのＬＳＢである。また、Ｘ０Ｈ、Ｘ１Ｈ、Ｘ２Ｈ、及びＸ３Ｈは、それぞれ、Ｘ０、Ｘ１、Ｘ２、及びＸ３の４ビットのＭＳＢ（Ｄ［７：４］ビットとしても表される）であり、一方、Ｘ０Ｌ、Ｘ１Ｌ、Ｘ２Ｌ、及びＸ３Ｌは、それぞれ、Ｘ０、Ｘ１、Ｘ２、及びＸ３の４ビットのＬＳＢ（Ｄ［３：０］ビットとしても表される）である。
【】
複数の演算ユニット１８００が、Ｙ０Ｈ及びＹ０Ｌの演算に関与し得る。例えば、演算ユニット１８００ａの第１の演算重み入力は、Ｗ０Ｈの複製を受け取ることができ、演算ユニット１８００ａの第２の演算重み入力は、Ｗ１Ｈの複製を受け取ることができ、演算ユニット１８００ａの第３の演算重み入力は、Ｗ２Ｈの複製を受け取ることができ、演算ユニット１８００ａの第４の演算重み入力は、Ｗ３Ｈの複製を受け取ることができる。また、演算ユニット１８００ｂの第１の演算重み入力は、Ｗ０Ｌの複製を受け取ることができ、演算ユニット１８００ｂの第２の演算重み入力は、Ｗ１Ｌの複製を受け取ることができ、演算ユニット１８００ｂの第３の演算重み入力は、Ｗ２Ｌの複製を受け取ることができ、演算ユニット１８００ｂの第４の演算重み入力は、Ｗ３Ｌの複製を受け取ることができる。
【】
また、演算ユニット１８００ｃの第１の演算重み入力は、Ｗ４Ｈの複製を受け取ることができ、演算ユニット１８００ｃの第２の演算重み入力は、Ｗ５Ｈの複製を受け取ることができ、演算ユニット１８００ｃの第３の演算重み入力は、Ｗ６Ｈの複製を受け取ることができ、演算ユニット１８００ｃの第４の演算重み入力は、Ｗ７Ｈの複製を受け取ることができる。演算ユニット１８００ｄの第１の演算重み入力は、Ｗ４Ｌの複製を受け取ることができ、演算ユニット１８００ｄの第２の演算重み入力は、Ｗ５Ｌの複製を受け取ることができ、演算ユニット１８００ｄの第３の演算重み入力は、Ｗ６Ｌの複製を受け取ることができ、演算ユニット１８００ｄの第４の演算重み入力は、Ｗ７Ｌの複製を受け取ることができる。演算ユニット１８００ａ～１８００ｄの各々の第１の演算データ入力は、Ｘ０を受け取ることができ、演算ユニット１８００ａ～１８００ｄの各々の第２の演算データ入力は、Ｘ１を受け取ることができ、演算ユニット１８００ａ～１８００ｄの各々の第３の演算データ入力は、Ｘ２を受け取ることができ、演算ユニット１８００ａ～１８００ｄの各々の第４の演算データ入力は、Ｘ３を受け取ることができる。
【】
演算ユニット１８００ａは、Ｗ０Ｈ×Ｘ０Ｈ＋Ｗ１Ｈ×Ｘ１Ｈ＋Ｗ２Ｈ×Ｘ２Ｈ＋Ｗ３Ｈ×Ｘ３Ｈ及びＷ０Ｈ×Ｘ０Ｌ＋Ｗ１Ｈ×Ｘ１Ｌ＋Ｗ２Ｈ×Ｘ２Ｌ＋Ｗ３Ｈ×Ｘ３Ｌを演算することができ、演算ユニット１８００ｂは、Ｗ０Ｌ×Ｘ０Ｈ＋Ｗ１Ｌ×Ｘ１Ｈ＋Ｗ２Ｌ×Ｘ２Ｈ＋Ｗ３Ｌ×Ｘ３Ｈ及びＷ０Ｌ×Ｘ０Ｌ＋Ｗ１Ｌ×Ｘ１Ｌ＋Ｗ２Ｈ×Ｘ２Ｌ＋Ｗ３Ｈ×Ｘ３Ｌを演算することができる。各演算ユニットのビットシフタ１８０６Ａ及び１８０６Ｂは、４ビットの左シフトを実施することができる。Ｙ０Ｈの部分和は、第１のＭＡＣレジスタ（例えば、ＭＡＣｒｅｇ０）に格納され、Ｙ０Ｌの部分和は、第２のＭＡＣレジスタ（例えば、ＭＡＣｒｅｇ１）に格納され得る。また、同じサイクルにおいて、演算ユニット１８００ｃが、Ｗ４Ｈ×Ｘ０Ｈ＋Ｗ５Ｈ×Ｘ１Ｈ＋Ｗ６Ｈ×Ｘ２Ｈ＋Ｗ７Ｈ×Ｘ３Ｈ及びＷ４Ｈ×Ｘ０Ｌ＋Ｗ５Ｈ×Ｘ１Ｌ＋Ｗ６Ｈ×Ｘ２Ｌ＋Ｗ７Ｈ×Ｘ３Ｌとを演算して、Ｙ１Ｈの部分和を生成することができ、演算ユニット１８００ｄが、Ｗ４Ｌ×Ｘ０Ｈ＋Ｗ５Ｌ×Ｘ１Ｈ＋Ｗ６Ｌ×Ｘ２Ｈ＋Ｗ７Ｌ×Ｘ３Ｈ及びＷ４Ｌ×Ｘ０Ｌ＋Ｗ５Ｌ×Ｘ１Ｌ＋Ｗ６Ｌ×Ｘ２Ｌ＋Ｗ７Ｌ×Ｘ３Ｌを演算して、Ｙ１Ｌの部分和を生成することができる。Ｙ１Ｈの部分和及びＹ１Ｌの部分和は、第３のＭＡＣレジスタ（例えば、ＭＡＣｒｅｇ２）及び第４のＭＡＣレジスタ（例えば、ＭＡＣｒｅｇ３）に格納され得る。したがって、２つの出力（Ｙ０及びＹ１）の部分和をサイクル毎に生成することができる。
【】
図２１Ｅ－１及び図２１Ｅ－２は、各入力データ要素が８ビットであり、各重み要素が８ビットである、例示の構成を図示する。入力データマルチプレクサ１３０６は、Ｄ８モードで動作し、４つの８ビットの入力データ要素を含む３２ビットの入力データを各サイクルで提供することができる。また、重みマルチプレクサ１３０４もＤ８モードで動作することができ、６４ビットの重み（４×８ビットの重み要素の複製を含む）を提供するため、重みレジスタにおける格納された重み要素の半分を複製する。各演算ユニット１８００は、８ビットの重み要素の２ビットの複製の４つのセットと、４つの８ビットの入力データ要素とを受け取ることができる。演算ユニット１８００ａ～１８００ｄは、Ｙ０についての部分和を下記のように演算することができる。
Y0HH=(W0HH×X0H+W1HH×X1H+W2HH×X2H+W3HH×X3H)<<4+(W0HH×X0L+W1HH×X1L+W2HH×X2L+W3HH×X3L) （式１２）
Y0HL=(W0HL×X0H+W1HL×X1H+W2HL×X2H+W3HL×X3H)<<4+(W0HL×X0L+W1HL×X1L+W2HL×X2L+W3HL×X3L) （式１３）
Y0LH=(W0LH×X0H+W1LH×X1H+W2LH×X2H+W3LH×X3H)<<4+(W0LH×X0L+W1LH×X1L+W2LH×X2L+W3LH×X3L) （式１４）
Y0LL=(W0LL×X0H+W1LL×X1H+W2LL×X2H+W3LL×X3H)<<4+(W0LL×X0L+W1LL×X1L+W2LL×X2L+W3LL×X3L) （式１５）
Ｙ０＝Ｙ０ＨＨ＜＜６＋Ｙ０ＨＬ＜＜４＋Ｙ０ＬＨ＜＜２＋Ｙ０ＬＬ （式１６）
【】
式１２～１６において、Ｗ０ＨＨ、Ｗ１ＨＨ、Ｗ２ＨＨ及びＷ３ＨＨは、それぞれ、Ｗ０、Ｗ１、Ｗ２及びＷ３のビット［７：６］であり、Ｗ０ＨＬ、Ｗ１ＨＬ、Ｗ２ＨＬ及びＷ３ＨＬは、それぞれ、Ｗ０、Ｗ１、Ｗ２及びＷ３のビット［５：４］であり、Ｗ０ＬＨ、Ｗ１ＬＨ、Ｗ２ＬＨ及びＷ３ＬＨは、それぞれ、Ｗ０、Ｗ１、Ｗ２、及びＷ３のビット［３：２］であり、Ｗ０ＬＬ、Ｗ１ＬＬ、Ｗ２ＬＬ及びＷ３ＬＬは、それぞれ、Ｗ０、Ｗ１、Ｗ２、及びＷ３のビット［１：０］である。また、Ｘ０Ｈ、Ｘ１Ｈ、Ｘ２Ｈ、及びＸ３Ｈは、それぞれ、Ｘ０、Ｘ１、Ｘ２、及びＸ３の４ビットのＭＳＢ（Ｄ［７：４］ビットとしても表される）であり、一方、Ｘ０Ｌ、Ｘ１Ｌ、Ｘ２Ｌ、及びＸ３Ｌは、それぞれ、Ｘ０、Ｘ１、Ｘ２、及びＸ３の４ビットのＬＳＢ（Ｄ［３：０］ビットとしても表される）である。また、Ｙ０ＨＨ、Ｙ０ＨＬ、Ｙ０ＬＨ、Ｙ０ＬＬは、それぞれ、Ｙ０のビット［７：６］、ビット［５：４］、ビット［３：２］、ビット［１：０］である。
【】
複数の演算ユニット１８００が、Ｙ０ＨＨ、Ｙ０ＨＬ、Ｙ０ＬＨ、及びＹ０ＬＬの演算に関与し得る。例えば、演算ユニット１８００ａの第１の演算重み入力は、Ｗ０ＨＨの複製を受け取ることができ、演算ユニット１８００ａの第２の演算重み入力は、Ｗ１ＨＨの複製を受け取ることができ、演算ユニット１８００ａの第３の演算重み入力は、Ｗ２ＨＨの複製を受け取ることができ、演算ユニット１８００ａの第４の演算重み入力は、Ｗ３ＨＨの複製を受け取ることができる。また、演算ユニット１８００ｂの第１の演算重み入力は、Ｗ０ＨＬの複製を受け取ることができ、演算ユニット１８００ｂの第２の演算重み入力は、Ｗ１ＨＬの複製を受け取ることができ、演算ユニット１８００ｂの第３の演算重み入力は、Ｗ２ＨＬの複製を受け取ることができ、演算ユニット１８００ｂの第４の演算重み入力は、Ｗ３ＨＬの複製を受け取ることができる。
【】
また、演算ユニット１８００ｃの第１の演算重み入力は、Ｗ０ＬＨの複製を受け取ることができ、演算ユニット１８００ｃの第２の演算重み入力は、Ｗ１ＬＨの複製を受け取ることができ、演算ユニット１８００ｃの第３の演算重み入力は、Ｗ２ＬＨの複製を受け取ることができ、演算ユニット１８００ｃの第４の演算重み入力は、Ｗ３ＬＨの複製を受け取ることができる。演算ユニット１８００ｄの第１の演算重み入力は、Ｗ０ＬＬの複製を受け取ることができ、演算ユニット１８００ｄの第２の演算重み入力は、Ｗ１ＬＬの複製を受け取ることができ、演算ユニット１８００ｄの第３の演算重み入力は、Ｗ２ＬＬの複製を受け取ることができ、演算ユニット１８００ｄの第４の演算重み入力は、Ｗ３ＬＬの複製を受け取ることができる。演算ユニット１８００ａ～１８００ｄの各々の第１の演算データ入力は、Ｘ０を受け取ることができ、演算ユニット１８００ａ～１８００ｄの各々の第２の演算データ入力は、Ｘ１を受け取ることができ、演算ユニット１８００ａ～１８００ｄの各々の第３の演算データ入力は、Ｘ２を受け取ることができ、演算ユニット１８００ａ～１８００ｄの各々の第４の演算データ入力は、Ｘ３を受け取ることができる。
【】
演算ユニット１８００ａは、Ｗ０ＨＨ×Ｘ０Ｈ＋Ｗ１ＨＨ×Ｘ１Ｈ＋Ｗ２ＨＨ×Ｘ２Ｈ＋Ｗ３ＨＨ×Ｘ３Ｈ、及びＷ０ＨＨ×Ｘ０Ｌ＋Ｗ１ＨＨ×Ｘ１Ｌ＋Ｗ２ＨＨ×Ｘ２Ｌ＋Ｗ３ＨＨ×Ｘ３Ｌを演算することができ、演算ユニット１８００ｂは、Ｗ０ＨＬ×Ｘ０Ｈ＋Ｗ１ＨＬ×Ｘ１Ｈ＋Ｗ２ＨＬ×Ｘ２Ｈ＋Ｗ３ＨＬ×Ｘ３Ｈ、及びＷ０ＨＬ×Ｘ０Ｌ＋Ｗ１ＨＬ×Ｘ１Ｌ＋Ｗ２ＨＬ×Ｘ２Ｌ＋Ｗ３ＨＬ×Ｘ３Ｌを演算することができ、演算ユニット１８００ｃは、Ｗ０ＬＨ×Ｘ０Ｈ＋Ｗ１ＬＨ×Ｘ１Ｈ＋Ｗ２ＬＨ×Ｘ２Ｈ＋Ｗ３ＬＨ×Ｘ３Ｈ、及びＷ０ＬＨ×Ｘ０Ｌ＋Ｗ１ＬＨ×Ｘ１Ｌ＋Ｗ２ＬＨ×Ｘ２Ｌ＋Ｗ３ＬＨ×Ｘ３Ｌを演算することができ、演算ユニット１８００ｄは、Ｗ０ＬＬ×Ｘ０Ｈ＋Ｗ１ＬＬ×Ｘ１Ｈ＋Ｗ２ＬＬ×Ｘ２Ｈ＋Ｗ３ＬＬ×Ｘ３Ｈ、及びＷ０ＬＬ×Ｘ０Ｌ＋Ｗ１ＬＬ×Ｘ１Ｌ＋Ｗ２ＬＬ×Ｘ２Ｌ＋Ｗ３ＬＬ×Ｘ３Ｌを演算することができる。各演算ユニットのビットシフタ１８０６ａ～ｄは、４ビットの左シフトを実施することができる。Ｙ０ＨＨの第１の部分和は第１のＭＡＣレジスタ（例えば、ＭＡＣｒｅｇ０）に格納され得、Ｙ０ＨＬの部分和は第２のＭＡＣレジスタ（例えば、ＭＡＣｒｅｇ１）に格納され得、Ｙ０ＬＨの部分和は第３のＭＡＣレジスタ（例えば、ＭＡＣｒｅｇ２）に格納され得、Ｙ０ＬＬの部分和は第４のＭＡＣレジスタ（例えば、ＭＡＣｒｅｇ３）に格納され得る。演算ユニット１８００は、Ｙ０ＨＨを符号付き数として演算し、Ｙ０ＨＬ、Ｙ０ＬＨ、及びＹ０ＬＬを符号なし数として演算することができる。
【】
図２１Ｆ、図２１Ｇ、及び図２１Ｈは、深さ方向畳み込み演算をサポートするための例示の構成を図示する。上述したように、深さ方向畳み込み演算では、中間出力データ要素は、同じチャネルの入力データ要素から生成され得る。深さ方向畳み込み演算をサポートするために、重みマルチプレクサ１３０４は、異なるチャネルの入力データ要素に対して乗算演算を実施するように割り当てられた或る乗算器にゼロを選択的に転送することができ、そのため、そのような乗算器の出力は、ゼロであり、中間出力データ要素に寄与しない。
【】
図２１Ｆ－１及び図２１Ｆ－２は、８ビットの入力データ要素と８ビットの重み要素との間の深さ方向畳み込み演算をサポートするための例示の構成を図示する。深さ方向畳み込み演算をサポートするために、演算ユニット１８００ａ～ｄは、重みマルチプレクサ１３０４から、特定のチャネルの非ゼロ重み（例えば、Ｗ０ＨＨ、Ｗ０ＨＬ、Ｗ０ＬＨ、Ｗ０ＬＬ）と、他のチャネルのゼロ重みとを受け取ることができる。図２１Ｆの構成において、演算ユニット１８００ａ～ｄは、データマージ回路２００２と共に、Ｙ０を下記のように演算することができる。
Ｙ０ＨＨ＝（Ｗ０ＨＨ×Ｘ０Ｈ）＜＜４＋（Ｗ０ＨＨ×Ｘ０Ｌ） （式１７）
Ｙ０ＨＬ＝（Ｗ０ＨＬ×Ｘ０Ｈ）＜＜４＋（Ｗ０ＨＬ×Ｘ０Ｌ） （式１８）
Ｙ０ＬＨ＝（Ｗ０ＬＨ×Ｘ０Ｈ）＜＜４＋（Ｗ０ＬＨ×Ｘ０Ｌ） （式１９）
Ｙ０ＬＬ＝（Ｗ０ＬＬ×Ｘ０Ｈ）＜＜４＋（Ｗ０ＬＬ×Ｘ０Ｌ） （式２０）
Ｙ０＝Ｙ０ＨＨ＜＜６＋Ｙ０ＨＬ＜＜４＋Ｙ０ＬＨ＜＜２＋Ｙ０ＬＬ （式２１）
【】
図２１Ｇ－１及び図２１Ｇ－２は、８ビットの入力データ要素と２ビットの重み要素との間の深さ方向畳み込み演算をサポートするための、例示の構成を図示する。図２１Ｇ－１及び図２１Ｇ－２において、演算ユニット１８００ａは、（第１のチャネルの）Ｙ０を演算するように割り当てられ得、第１の演算重み入力において第１のチャネルの非ゼロ重み（Ｗ０）のみを受け取り、他の演算重み入力において他のチャネルについてのゼロ重みを受け取ることができる。演算ユニット１８００ｂは、（第２のチャネルの）Ｙ１を演算するように割り当てられ得、第２の演算重み入力において第２のチャネルの非ゼロ重み（Ｗ１）のみを受け取り、他の演算重み入力において他のチャネルについてのゼロ重みを受け取ることができる。また、演算ユニット１８００ｃは、（第３のチャネルの）Ｙ２を演算するように割り当てられ得、第３の演算重み入力において第３のチャネルの非ゼロ重み（Ｗ２）のみを受け取り、他の演算重み入力において他のチャネルについてのゼロ重みを受け取ることができる。また、演算ユニット１８００ｄは、（第４のチャネルの）Ｙ３を演算するように割り当てられ得、第４の演算重み入力において第４のチャネルの非ゼロ重み（Ｗ３）のみを受け取り、他の演算重み入力において他のチャネルについてのゼロ重みを受け取ることができる。図２１Ｇの構成において、演算ユニット１８００ａ～ｄは、Ｙ０、Ｙ１、Ｙ２、及びＹ３を下記のように演算することができる。
Ｙ０＝（Ｗ０×Ｘ０Ｈ）＜＜４＋（Ｗ０×Ｘ０Ｌ） （式２２）
Ｙ１＝（Ｗ１×Ｘ１Ｈ）＜＜４＋（Ｗ１×Ｘ１Ｌ） （式２３）
Ｙ２＝（Ｗ２×Ｘ２Ｈ）＜＜４＋（Ｗ２×Ｘ２Ｌ） （式２４）
Ｙ３＝（Ｗ３×Ｘ２Ｈ）＜＜４＋（Ｗ３×Ｘ３Ｌ） （式２５）
【】
図２１Ｈ－１及び図２１Ｈ－２は、８ビットの入力データ要素と４ビットの重み要素との間の深さ方向畳み込み演算をサポートするための、例示の構成を図示する。図２１Ｈにおいて、演算ユニット１８００ａ及び１８００ｂは、（第１のチャネルの）Ｙ０を演算するように割り当てられ得、第１の演算重み入力において第１のチャネルの非ゼロ重み（Ｗ０）のみを受け取り、他の演算重み入力において他のチャネルについてのゼロ重みを受け取ることができる。演算ユニット１８００ｃ及び１８００ｄは、（第２のチャネルの）Ｙ１を演算するように割り当てられ得、第２の演算重み入力において第２のチャネルの非ゼロ重み（Ｗ１）のみを受け取り、他の演算重み入力において他のチャネルについてのゼロ重みを受け取ることができる。図２１Ｈの構成で、演算ユニット１８００ａ～ｄは、データマージ回路２００２と共に、Ｙ０及びＹ１を下記のように演算することができる。
Ｙ０Ｈ＝（Ｗ０Ｈ×Ｘ０Ｈ）＜＜４＋（Ｗ０Ｈ×Ｘ０Ｌ） （式２６）
Ｙ０Ｌ＝（Ｗ０Ｌ×Ｘ０Ｈ）＜＜４＋（Ｗ０Ｌ×Ｘ０Ｌ） （式２７）
Ｙ１Ｈ＝（Ｗ１Ｈ×Ｘ１Ｈ）＜＜４＋（Ｗ１Ｈ×Ｘ１Ｌ） （式２８）
Ｙ１Ｌ＝（Ｗ１Ｌ×Ｘ１Ｈ）＜＜４＋（Ｗ１Ｌ×Ｘ１Ｌ） （式２９）
Ｙ０＝Ｙ０Ｈ＜＜２＋Ｙ０Ｌ （式３０）
Ｙ１＝Ｙ１Ｈ＜＜２＋Ｙ１Ｌ （式３１）
【】
後続のサイクル（図示せず）において、演算ユニット１８００ａ及び１８００ｂは、第３の演算重み入力において第３のチャネルの非ゼロ重み（Ｗ２）を受け取り、他の演算重み入力において他のチャネルについてのゼロ重みを受け取ることができ、演算ユニット１８００ｃ及び１８００ｄは、第４の演算重み入力において第４のチャネルの非ゼロ重み（Ｗ３）を受け取り、他の演算重み入力において他のチャネルについてのゼロ重みを受け取ることができ、Ｙ２及びＹ３を下記のように演算することができる。
Ｙ２Ｈ＝（Ｗ２Ｈ×Ｘ２Ｈ）＜＜４＋（Ｗ２Ｈ×Ｘ２Ｌ） （式３２）
Ｙ２Ｌ＝（Ｗ２Ｌ×Ｘ２Ｈ）＜＜４＋（Ｗ２Ｌ×Ｘ２Ｌ） （式３３）
Ｙ３Ｈ＝（Ｗ３Ｈ×Ｘ３Ｈ）＜＜４＋（Ｗ３Ｈ×Ｘ３Ｌ） （式３４）
Ｙ３Ｌ＝（Ｗ３Ｌ×Ｘ３Ｈ）＜＜４＋（Ｗ３Ｌ×Ｘ３Ｌ） （式３５）
Ｙ２＝Ｙ２Ｈ＜＜２＋Ｙ２Ｌ （式３６）
Ｙ３＝Ｙ３Ｈ＜＜２＋Ｙ３Ｌ （式３７）
【】
図２２Ａ、図２２Ｂ、及び図２２Ｃは、ＭＡＣレジスタマルチプレクサ１３０３、入力データマルチプレクサ１３０６、及び重みマルチプレクサ１３０４の内部構成要素の例を図示する。図２２Ａは、ＭＡＣレジスタマルチプレクサ１３０３の例示の内部構成要素を図示する。図２２Ａを参照すると、ＭＡＣレジスタマルチプレクサ１３０３は、デマルチプレクサ回路２２００とマルチプレクサ回路２２０２とを含み得る。デマルチプレクサ回路２２００は、演算ユニット１８００のセットの出力（４つのＭＡＣｒｅｇ＿ｏｕｔ、８つのＭＡＣｒｅｇ＿ｏｕｔなどの複数のＭＡＣｒｅｇ＿ｏｕｔ［１７：０］）とＭＡＣレジスタの入力との間に結合されており、マルチプレクサ回路２２０２は、ＭＡＣレジスタの出力と演算ユニット１８００のセットの入力（複数のＭＡＣｒｅｇ＿ｉｎ［１７：０］）との間に結合されている。デマルチプレクサ回路２２００は、演算ユニット１８００の出力をＭＡＣレジスタの入力に接続して、演算ユニット１８００によって生成された部分和を格納するように、又はバイアス値（Ｂｉａｓ０、Ｂｉａｓ１、Ｂｉａｓ２、及びＢｉａｓ３）をＭＡＣレジスタのいくつかに格納するように、演算コントローラ５２２によって（例えば、サブ命令に基づいて）制御され得る。バイアス値は、後処理演算の一部として部分和に加算され得る。演算コントローラ５２２は、ニューラルネットワーク層演算の第１のサブ命令を実行することに応答して、バイアス値をＭＡＣレジスタに格納するようにデマルチプレクサ回路２２００を制御することができる。初期化動作の一部としてバイアス値をＭＡＣレジスタに導入することにより、後処理エンジン１３０２による後処理演算の一部としてバイアスを加えることによって引き起こされるレイテンシが回避され得る。また、マルチプレクサ２２０２は、特定の演算ユニット１８００によって更新するための前の部分和をどのＭＡＣレジスタが提供するかを選択するためのサブ命令に基づいて、演算コントローラ５２２によって制御することもできる。
【】
図２２Ｂは、入力データマルチプレクサ１３０６の例示の内部構成要素を図示する。図２２Ｂを参照すると、入力データマルチプレクサ１３０６は、第１の入力データレジスタ（Ｄｉｎ０）と第２の入力データレジスタ（Ｄｉｎ１）とに結合された入力と、４つの入力データＩＮ０、ＩＮ１、ＩＮ２、及びＩＮ３を提供するためにＭＡＣエンジン１３００に結合された出力とを有し得る。入力データマルチプレクサ１３０６はまた、マルチプレクサ２２１０、２２１２と、複製回路２２１４と、マルチプレクサ２２１６とを含む。マルチプレクサ２２１０、２２１２、及び２２１６は、制御信号Ｍ０、Ｍ１、及びＭ２によって制御され、制御信号Ｍ０、Ｍ１、及びＭ２のいくつかが、入力データ及び重み構成１３１０から導出され得、制御信号Ｍ０、Ｍ１、及びＭ２のいくつかが、演算コントローラ５２２によって提供され得る。例えば、マルチプレクサ２２１０は、レジスタＤｉｎ０又はＤｉｎ１のうちの１つからのデータをＩＮ０、ＩＮ１、ＩＮ２、及びＩＮ３として選択的に提供するように制御信号Ｍ０によって制御され得る。マルチプレクサ２２１２は、Ｄ４モードにおいて、ビットを複製するために、選択されたレジスタの上位１６ビット（ビット３１～１６）又は下位１６ビット（ビット１５～０）から８ビットを選択することができる。複製回路２２１４は、選択された８ビット値を２つの４ビット値に分割し、各４ビット値を複製することによって２つの８ビット値を生成する。マルチプレクサ２２１６は、選択された８ビット値をＩＮ０、ＩＮ１、ＩＮ２、及びＩＮ３として（Ｄ８モードにおいて）転送するように、又はそれぞれの複製された４ビット値を各々が含む８ビット値をＩＮ０、ＩＮ１、ＩＮ２、及びＩＮ３として転送するように、Ｄ４モード又はＤ８モードに基づいて設定される制御信号Ｍ２によって制御され得る。
【】
図２２Ｃは、重みマルチプレクサ１３０４の例示の内部構成要素を図示する。図２２Ｃを参照すると、重みマルチプレクサ１３０４は、第１の重みレジスタ（重み－０レジスタ）と第２の重みレジスタ（重み－１レジスタ）とに結合された入力と、第１のグループの重みＷ０ａ、Ｗ１ａ、Ｗ２ａ、及びＷ３ａと、第２のグループの重みＷ０ｂ、Ｗ１ｂ、Ｗ２ｂ、及びＷ３ｂと、第３のグループの重みＷ０ｃ、Ｗ１ｃ、Ｗ２ｃ、及びＷ３ｃと、第４のグループの重みＷ０ｄ、Ｗ１ｄ、Ｗ２ｄ、及びＷ３ｄとを提供するためにＭＡＣエンジン１３００の４つのグループの重み入力に結合された出力とを有することができる。重みマルチプレクサ１３０４はまた、マルチプレクサ２２２０、２２２２と、複製回路２２２４と、マルチプレクサ２２２６とを含む。マルチプレクサ２２２０、２２２２、及び２２２６は、制御信号Ｍ０、Ｍ１、及びＭ２によって制御され、制御信号Ｍ０、Ｍ１、及びＭ２のいくつかが、入力データ及び重み構成１３１０から導出され得、制御信号Ｍ０、Ｍ１、及びＭ２のいくつかが、演算コントローラ５２２によって提供され得る。例えば、マルチプレクサ２２１０は、重み－０レジスタ又は重み－１レジスタのうちの１つから６４ビットのデータを重みのグループとして選択的に提供するように、制御信号Ｍ０によって制御され得る。マルチプレクサ２２２２は、Ｄ８モードにおいて、ビットを複製するために、選択されたレジスタの上位３２ビット（Ｗｔ１Ｈ又はＷｔ０Ｈのうちの１つ）又は下位３２ビット（Ｗｔ１Ｌ又はＷｔ０Ｌのうちの１つ）から１６ビットを選択することができる。複製回路２２２４は、選択された３２ビット値を２つの１６ビット値に分割し、各１６ビット値について複製することによって２つの３２ビット値を生成する。マルチプレクサ２２２６は、Ｄ４モードにおいて、選択されたレジスタから６４ビット値を重みのグループとして転送するように、又はＤ８モードにおいて１６ビット値の複製から２つの３２ビット値を重みのグループとして転送するように、Ｄ４モード又はＤ８モードに基づいて設定される制御信号Ｍ２によって制御され得る。
【】
加えて、重みマルチプレクサ１３０４はまた、深さ方向及び平均プーリング論理２２２８を含む。論理２２２８は、（例えば、構成１３１１からの）深さ方向畳み込みイネーブル信号によって有効化されたとき、６４ビットの重み－０レジスタ又は重み－１レジスタのうちの１つから８ビットのうちの１つを選択することができ、８ビットを２ビットの４つのグループに分割し、重みグループにゼロをパディングし、重みグループを演算ユニット１８００ａ、１８００ｂ、１８００ｃ、及び１８００ｄに送信することができる。また、重みマルチプレクサ１３０４は、入力データ及び重み構成１３１０からの重み精度に応じて、図２１Ｆ～図２１Ｈに示されているように、各グループの異なる重みをゼロでパディングすることができる。また、重みマルチプレクサ１３０４は、（例えば、構成１３１１からの）平均プーリングイネーブル信号によって有効化されると、図２１Ｇ－１及び図２１Ｇ－２のように、重み要素Ｗ０、Ｗ１、Ｗ２、及びＷ３の複製を、第１、第２、第３、及び第４の重み要素のグループにおいて提供することができ、Ｗ０、Ｗ１、Ｗ２、及びＷ３の各々は論理１に等しい。
【】
図２３は、後処理エンジン１３０２の例示の内部構成要素を図示する。図２３を参照すると、後処理エンジン１３０２は、後処理回路２３０２とデータパッキング回路２３０４とを含む。後処理回路２３０２は、Ｙ０、Ｙ１、Ｙ２、及びＹ３などの異なるチャネルの中間出力データをＭＡＣレジスタから受け取ることができる。後処理回路２３０２は、後処理演算を示すサブ命令６０２に応答して制御信号を生成する演算コントローラ５２２からの制御信号１３０５に応答して、中間出力データに対して後処理演算（例えば、ＢａｔｃｈＮｏｒｍ、残差層処理など）を実施するために、算術回路及び種々の論理回路などの回路を含む。処理回路２３０２はまた、入力精度、出力精度、及び重み精度を示す精度構成１３１２と、出力データビットサイズ／精度を含む後処理演算の種々のパラメータを定義する後処理パラメータ１３１４とを受け取り、精度構成１３１２と後処理パラメータ１３１４とに基づいて後処理演算を構成する。いくつかの例において、処理回路２３０２は、中間出力データＹ０、Ｙ１、Ｙ２、及びＹ３に対して複数の後処理演算を並列に実施して、出力データＯｕｔ０、Ｏｕｔ１、Ｏｕｔ２、及びＯｕｔ３を１クロックサイクルで生成することができる。いくつかの例において、処理回路２３０２は、上述したように、異なる入力精度及び重み精度について中間出力データ要素を提供するために、図２０Ａ及び図２０Ｂのデータマージ回路２００２を含み得る。
【】
データパッキング回路２３０４は、Ｏｕｔ０、Ｏｕｔ１、Ｏｕｔ２、及びＯｕｔ３などの出力データをＤＯＵＴレジスタにおいて格納することができる。いくつかの例において、ＤＯＵＴレジスタは３２ビットを有する。データパッキング回路２３０４は、ＤＯＵＴレジスタの特定のビット位置に出力データを格納し、ＤＯＵＴレジスタが出力データで満たされる（例えば、３２ビットの出力データが格納される）ことに応答して、出力データをＤＯＵＴレジスタからメモリ５１２にフェッチして戻すために制御信号２３０５をロード／ストアコントローラ５３０に送信するように構成されており、これにより、ＤＯＵＴレジスタを新しい出力データで上書きすることができる。
【】
具体的には、入力精度、出力精度、及び重み精度の或るセットについて、データパッキング回路２３０４は、４つの８ビットの出力データ要素Ｏｕｔ０、Ｏｕｔ１、Ｏｕｔ２、及びＯｕｔ３を１クロックサイクルで生成することができる。データパッキング回路２３０４は、１クロックサイクル後に４つの８ビットの出力データ要素をＤＯＵＴレジスタに格納し、次いで、制御信号２３０５をロード／ストアコントローラ５３０に送信することができる。入力、出力、及び重み精度の異なるセットについて、処理回路２３０２は、４つの４ビットの出力データ要素又は２つの８ビットの出力データ要素など、１６ビットの出力データをクロックサイクル毎に生成し得る。そのような場合、処理回路２３０２は、第１のクロックサイクルの後にＤＯＵＴレジスタの第１のビット位置に１６ビットの出力データの第１のセットを格納し、次いで、第２のクロックサイクルの後にＤＯＵＴレジスタの第２のビット位置に１６ビットの出力データの第２のセットを格納することができる。そのような構成により、ロード／ストアコントローラ５３０が、メモリ５１２の書込み動作のために最適化され得る特定の数のビット（例えば、３２ビット）のチャンクで出力データを送信することが可能となる。そのような構成により、出力データを書き戻す際のメモリ５１２へのニューラルネットワークプロセス５０２のアクセスを低減することができ、メモリ使用量及び電力消費を低減することができる。
【】
いくつかの例において、データパッキング回路２３０４はまた、演算コントローラ５２２から制御信号２３０６を受け取り、制御信号２３０６に応答して制御信号２３０５を送信することができる。演算コントローラ５２２は、命令バッファ５２０からの命令に応答して制御信号２３０６を生成することができる。
【】
図２４は、処理回路２３０２の内部構成要素の例を図示する。図２４を参照すると、処理回路２３０２は、中間出力データ要素を受け取るためのデータ入力と、出力データ要素を提供するためのデータ出力との間に結合された一連の処理回路を含み得る。処理回路は、乗算回路２４０２と、ビットシフタ２４０４と、飽和回路２４０６と、加算器２４０８と、クランプ回路２４１０とを含み得、各々が、中間出力データ要素を処理し出力データ要素を提供するために、算術回路（例えば、加算器及び乗算器）及び／又は論理回路（例えば、ビットシフタ回路、飽和回路、及びクランプ回路のためのマルチプレクサ及びデマルチプレクサを用いて実装されるマッピングテーブルなど）を含み得る。例えば、処理回路２３０２は、処理回路２３０２の（例えば、Ｙ０を受け取るための）第１の入力と処理回路２３０２の（例えば、Ｏｕｔ０を提供するための）第１の出力との間に結合された、乗算回路２４０２ａ、ビットシフタ２４０４ａ、飽和回路２４０６ａ、加算器２４０８ａ、及びクランプ回路２４１０ａと、処理回路２３０２の（例えば、Ｙ１を受け取るための）第２の入力と処理回路２３０２の（例えば、Ｏｕｔ１を提供するための）第２の出力との間に結合された、乗算回路２４０２ｂ、ビットシフタ２４０４ｂ、飽和回路２４０６ｂ、加算器２４０８ｂ、及びクランプ回路２４１０ｂと、処理回路２３０２の（例えば、Ｙ２を受け取るための）第３の入力と処理回路２３０２の（例えば、Ｏｕｔ２を提供するための）第３の出力との間に結合された、乗算回路２４０２ｃ、ビットシフタ２４０４ｃ、飽和回路２４０６ｃ、加算器２４０８ｃ、及びクランプ回路２４１０ｃと、処理回路２３０２の（例えば、Ｙ３を受け取るための）第４の入力と処理回路２３０２の（例えば、Ｏｕｔ３を提供するための）第４の出力との間に結合された、乗算回路２４０２ｄ、ビットシフタ２４０４ｄ、飽和回路２４０６ｄ、加算器２４０８ｄ、及びクランプ回路２４１０ｄとを含み得る。
【】
処理回路２３０２はまた、処理回路２３０２の入力と乗算回路２４０２ａ～ｄの入力との間に結合されたデータ配路回路２４１２と、クランプ回路２４１０ａ～ｄの出力と処理回路２３０２の出力との間に結合されたデータ配路回路２４１４とを含む。後述するように、入力精度、出力精度、及び重み精度に基づいて、データ配路回路２４１２は、中間出力データ要素を乗算回路に、データ配路回路２４１４は、クランプ回路の出力を処理回路２３０２の出力に配路することができる。さらなる処理回路２３０２は、加算器２４０８ａの出力と加算器２４０８ｂの入力との間に結合されたマルチプレクサ回路２４１６ａと、加算器２４０８ｃの出力と加算器２４０４ｄの入力との間に結合されたマルチプレクサ回路２４１６ｃとを含む。マルチプレクサ回路２４１６は、重み精度に基づいて制御され得る。
【】
各乗算回路２４０２は、中間出力データ要素をスケーリング係数（図２４において、スケール［０］、スケール［１］、スケール［２］、及びスケール［３］と標示されている）でスケーリングするために、２３０２のそれぞれの入力に結合されている。ビットシフタ２４０４の入力は、シフトパラメータ（図２４において、シフト［０］、シフト［１］、シフト［２］、シフト［３］と標示されている）によって特定される数のビットだけ、スケーリングされた中間出力データ要素の右シフトを実施するために、乗算器の出力に結合されている。飽和回路２４０６の入力は、ビットシフタの出力に結合されている。飽和回路２４０６は、データ要素が－２１５と（２１５－１）との間にある場合、スケーリングされ右シフトされた中間出力データ要素を転送することができ、そうでない場合、データ要素が－２１５を下回る場合に下限－２１５を出力し、データ要素が（２１５－１）を上回る場合に上限（２１５－１）を出力することができる。いくつかの例において、飽和回路２４０６の上限及び下限は、固定され／組み込まれており、プログラム可能ではない可能性がある。加算器２４０８は、スケーリングされ、右シフトされ、制限された中間出力データ要素に或る値を加算することができる。加算される値は、残差層処理を提供するために、入力データレジスタＤＩＮ０／ＤＩＮ１からフェッチされ得る残差層出力（ｉｎ［０］、ｉｎ［１］、ｉｎ［２］、及びｉｎ［３］と標示されている）からのものであり得る。いくつかの例において、加算される値はまた、マルチプレクサ回路２４１６に対する制御に基づいて、処理回路２３０２内の別の加算回路２４０８の出力から得られるものであり得る。加算器２４０８ａの出力は、クランプ回路２４１０の入力に結合されている。クランプ回路２４１０は、活性化関数の正規化線形ユニット（ＲｅＬＵ）に基づき得るクランプ関数を実装することができる。クランプ関数はまた、上側値（ｃｌａｍｐ＿ｈｉｇｈと標示されている）と下側値（ｃｌａｍｐ＿ｌｏｗと標示されている）との間で出力をクランプ／制限することができる。スケール、シフト、ｃｌａｍｐ＿ｈｉｇｈ、及びｃｌａｍｐ＿ｌｏｗの値、並びに接続は、精度構成１３１２及び／又は後処理パラメータ１３１４において定義され得る。例えば、異なるｃｌａｍｐ＿ｈｉｇｈ値及びｃｌａｍｐ＿ｌｏｗ値は、出力データ精度に基づいて下記のように設定され得る。
【表】
【】
各中間出力データ要素Ｙ＿ｎ（例えば、Ｙ０、Ｙ１、Ｙ２、及びＹ３）について、処理回路２３０２は、出力データ要素Ｏｕｔ＿ｎ（例えば、Ｏｕｔ０、Ｏｕｔ１、Ｏｕｔ２、及びＯｕｔ３）を下記の式に基づいて生成することができる。スケーリング及びシフトは、異なるチャネルについて異なることがある。また、図２２で上述したように、中間出力データ要素を初期化するために、バイアス値ｂｉａｓ［ｎ］がＭＡＣレジスタに導入され得る。
Out n=clamp(Scale[n]×(Y_n+bias[n])>>shift[n]、clamp_high、clamp_low) （式３８）
【】
図２４において、スケール値（例えば、スケール［０］～スケール［３］）及びシフト値（例えば、シフト［０］～シフト［３］）は、異なるニューラルネットワーク層の間で異なることがあり、重み／パラメータレジスタ５２９ｂ（並びに重み及びパラメータバッファ５２６）から受け取られ得る。ｃｌａｍｐ＿ｈｉｇｈ値及びｃｌａｍｐ＿ｌｏｗ値は、異なるニューラルネットワーク層の間で比較的静的であり得、構成レジスタ５２８ｄから受け取られ得る。
【】
図２５Ａ、図２５Ｂ、及び図２５Ｃは、異なる入力精度及び重み精度のための後処理演算をサポートするための処理回路２３０２の異なる構成を図示する概略図である。簡潔にするために、データ配路回路２４１２及び２４１４並びにマルチプレクサ回路２４１６ａ～ｃが省略されているが、それらのデータ配路動作は図２５Ａ～図２５Ｃに示されている。
【】
図２５Ａは、図１５Ｄにも示されている、８ビットのデータ及び２－ｔｅｒｎａｒｙ（２Ｔ）重みをサポートするための処理回路２３０２の例示の構成である。図２５Ａにおいて、データ配路回路２４１２は、第１の入力を乗算回路２４０２ａに、第２の入力を乗算回路２４０２ｂに、第３の入力を乗算回路２４０２ｃに、第４の入力を乗算回路２４０２ｄに接続することができる。また、２Ｔ重み演算をサポートするために、マルチプレクサ回路２４１６ａは、加算器２４０８ａの出力を加算器２４０８ｂの入力に配路することができ、そのため、加算器２４０８ｂは、飽和回路２４０６ａの（Ｙ０のための）出力と飽和回路２４０６ｂの（Ｙ１のための）出力とを加算し、その和をクランプ回路２４１０ｂに提供する。また、マルチプレクサ回路２４１６ｃは、加算器２４０８ｃの出力を加算器２４０８ｄの入力に配路することができ、そのため、加算器２４０８ｄは、飽和回路２４０６ｃの（Ｙ２のための）出力と飽和回路２４０６ｄの（Ｙ３のための）出力とを加算し、その和をクランプ回路２４１０ｄに提供する。データ配路回路２４１４は、複製Ｏｕｔ０及びＯｕｔ２を提供するためにクランプ回路２４１０ｂの出力を第１及び第３の出力に配路し、複製Ｏｕｔ１及びＯｕｔ３を提供するためにクランプ回路２４１０ｄの出力を第２及び第４の出力に配路することができる。いくつかの例において、データパッキング回路２３０４は、第１のクロックサイクルで処理回路２３０２によって生成されたＯｕｔ０又はＯｕｔ２のうちの１つとＯｕｔ１又はＯｕｔ３のうちの１つとを、ＤＯＵＴレジスタの第１のビット位置に格納し、次いで、第２のクロックサイクルで処理回路２３０２によって生成されたＯｕｔ０又はＯｕｔ２のうちの１つとＯｕｔ１又はＯｕｔ３のうちの１つとをＤＯＵＴレジスタの第２のビット位置に格納し、次いで、ＤＯＵＴレジスタからメモリ５１２への出力データのフェッチを開始するために制御信号２３０５を送信することができる。いくつかの例において、データパッキング回路２３０４はまた、あるクロックサイクルで処理回路２３０２によって生成されたＯｕｔ０、Ｏｕｔ２、Ｏｕｔ１、及びＯｕｔ３を格納し、ＤＯＵＴレジスタからメモリ５１２への出力データのフェッチを開始するために、制御信号２３０５を送信することができる。
【】
図２５Ｂ及び図２５Ｃは、データ配路回路２４１２の一部であり得るデータマージ回路２００２を含む処理回路２３０２の例示の構成を図示する。図２５Ｂにおいて、データマージ回路２００２は、図２１Ｄ－１及び図２１Ｄ－２にあるように、８ビットの入力データ及び４ビットの重みをサポートするように構成される。データ配路回路２４１２は、加算器２００８ａの出力を乗算回路２４０２ａ及び２４０２ｃの入力に配路し、加算器２００８ｂの出力を乗算回路２４０２ｂ及び２４０２ｄの入力に配路することができる。処理回路２３０２は、Ｏｕｔ０及びＯｕｔ２を複製として生成し、Ｏｕｔ１及びＯｕｔ３を複製として生成することができる。データパッキング回路２３０４は、Ｏｕｔ０及びＯｕｔ２、Ｏｕｔ１及びＯｕｔ３を１クロックサイクルで生成された複製データとしてＤＯＵＴレジスタに格納し得、又は上述したように、２つの異なるクロックサイクルからのＯｕｔ０／Ｏｕｔ２及びＯｕｔ１／Ｏｕｔ３の異なるセットをＤＯＵＴレジスタに格納し得る。
【】
また、図２５Ｃにおいて、データマージ回路２００２は、図２１Ｅにあるように、８ビットの入力データ及び８ビットの重みをサポートするように構成されている。データ配路回路２４１２は、加算器２００８ａの出力を乗算回路２４０２ａ及び２４０２ｃの入力に配路し、加算器２０３０の出力を乗算回路２４０２ａ～ｄの入力に配路することができる。処理回路２３０２は、Ｏｕｔ０、Ｏｕｔ１、Ｏｕｔ２、及びＯｕｔ４（３？）を複製として生成することができる。データパッキング回路２３０４は、上述したように、Ｏｕｔ０～Ｏｕｔ３を１クロックサイクルで生成された複製データとしてＤＯＵＴレジスタに格納し得、又は４つの異なるクロックサイクルからの異なるＯｕｔ０／Ｏｕｔ１／Ｏｕｔ２／Ｏｕｔ３をＤＯＵＴレジスタに格納し得る。
【】
図２６Ａ－１、図２６Ａ－２、及び図２６Ｂは、最大プーリングエンジン１３２０の内部構成要素及びそれらの動作の例を図示する。最大プーリングエンジン１３２０は、ＤＩＮ０又はＤＩＮ１入力データレジスタのうちの１つの入力データレジスタの入力データ要素をＤＯＵＴレジスタの出力データ要素と比較し、ＤＯＵＴレジスタ内の特定の出力データ要素が、比較されている入力データ要素よりも低い値を有する場合、特定の出力データ要素を置き換えることができる。最大プーリングエンジン１３２０は、ＤＯＵＴレジスタを上書きしないように、又は最大プーリング演算の結果としてゼロを出力しないように、迂回され得る。
【】
図２６Ａ－１及び図２６Ａ－２を参照すると、最大プーリングエンジン１３２０は、マルチプレクサ２６０２と、比較回路要素２６０４と、マルチプレクサ２６０６とを含み得る。マルチプレクサ２６０２は、入力データレジスタＤＩＮ０又はＤＩＮ１のどちらが最大プーリング演算を実施するかを選択するように、（例えば、後処理パラメータ１３１４に基づいて）制御され得る。比較回路要素２６０４は、例えば、４ビット比較を実施するか８ビット比較を実施するか、比較が符号付きであるか符号なしであるか、などを示す構成データを、端子ｃｎｆｇ－ｈｉ［１：０］及びｃｎｆｇ－ｌｏ［１：０］を介して受け取り、構成データに基づいて、８ビットチャンク（例えば、ＤＩＮ［３１：２４］とＤＯＵＴ［３１：２４］との間、ＤＩＮ［２３：１６］とＤＯＵＴ［２３：１６］との間、ＤＩＮ［１５：８］とＤＯＵＴ［１５：８］との間、及びＤＩＮ［７：０］とＤＯＵＴ［７：０］との間）で、（ＤＩＮ０又はＤＩＮ１のうちの１つからの）入力データと（ＤＯＵＴの）出力データとを比較することができる。構成データは、構成レジスタ５２８ｄからの後処理パラメータ１３１４の一部であり得る。
【】
各８ビットチャンクについて、４ビットのＭＳＢ間の比較は、比較回路２６０４ａ（図２６Ａ及び図２６Ｂにおいて、ＣＭＰ－ｈｉとも標示されている）などのＭＳＢ比較回路によって実施され得、４ビットのＬＳＢ間の比較は、比較回路２６０４ｂ（図２６Ａ及び図２６Ｂにおいて、ＣＭＰ－ｌｏとも標示されている）などのＬＳＢ比較回路によって実施され得る。ＣＭＰ－ｈｉ回路はまた、８ビット比較について、ＤＯＵＴのＭＳＢがＤＩＮのＭＳＢと同じ値又はそれよりも大きい値を有するが、ＤＯＵＴのＬＳＢがＤＩＮのＬＳＢよりも小さい値を有するとき、ＣＭＰ－ｌｏ回路が、ＤＯＵＴがＤＩＮよりも小さいと示さないことを確実にするために、４ビットのＭＳＢの比較結果をＣＭＰ－ｌｏ回路に送信することができる。また、比較の結果に応じて、マルチプレクサ（例えば、マルチプレクサ２６０４ｃ及び２６０４ｄ）が、出力データの８ビットチャンクの４ビットのＭＳＢ及び／又は４ビットのＬＳＢを入力データで上書きすることができる。８ビット比較の場合、マルチプレクサは、８ビットのＤＯＵＴデータ全体が８ビットのＤＩＮデータよりも低い値を有する場合にのみ、８ビットのＤＯＵＴデータを８ビットのＤＩＮデータで上書きする。また、マルチプレクサ２６０６は、ＤＯＵＴデータの８ビットチャンク又はゼロのいずれかを提供することができる。一方、４ビット比較の場合、マルチプレクサは、４ビットのＤＯＵＴデータと４ビットのＤＩＮデータとを比較し、他の４ビットのＤＩＮ／ＤＯＵＴデータの比較結果を考慮することなく、４ビットのＤＩＮデータが４ビットのＤＯＵＴデータを超える場合、４ビットのＤＯＵＴデータを置き換えることができる。
【】
図２６Ｂは、ＣＭＰ－ｈｉ回路及びＣＭＰ－ｌｏ回路の例示の動作を示すチャート２６１０及び２６１２である。図２６Ｂにおいて、チャート２６１０及び２６１２は、それぞれ、ＣＭＰ－ｈｉ回路及びＣＭＰ－ｌｏ回路の論理演算を示しており、これらの論理演算は、命令の形態で表され、命令は、ＣＭＰ－ｈｉ回路及びＣＭＰ－ｌｏ回路を表す論理回路に統合され（及び論理回路を表し）得る。
【】
チャート２６１０を参照すると、ＣＭＰ－ｈｉ回路（例えば、比較回路２６０４ａ）は、比較されているＤＩＮデータとＤＯＵＴデータの８ビットチャンクの４ビットのＭＳＢが符号付きデータであるか符号なしデータであるか、などの構成データを受け取ることができる。データが符号付きである場合、ＣＭＰ－ｈｉは、ＤＩＮデータの４ビットのＭＳＢとＤＯＵＴデータの４ビットのＭＳＢの両方を符号拡張することができ、そうでない場合、（ＭＳＢの前にゼロを追加することによって）それらをゼロでプリペンドすることができる。
【】
ＤＩＮデータの４ビットのＭＳＢがＤＯＵＴデータの４ビットのＭＳＢよりも大きい値を有する場合、ＣＭＰ－ｈｉ回路は、マルチプレクサ（例えば、マルチプレクサ回路２６０４ｃ）がＤＯＵＴデータの４ビットのＭＳＢをＤＩＮデータの４ビットのＬＳＢで上書きするように制御信号を設定することができる。ＣＭＰ－ｈｉ回路はまた、第１の比較信号（ｓｅｔ ｃｍｐ－ｒｅｓ＝「ＧＴ」）をＣＭＰ－ｌｏ回路に提供することができる。一方、ＤＩＮデータの４ビットのＭＳＢとＤＯＵＴデータの４ビットのＭＳＢとが同じである場合、ＣＭＰ－ｈｉ回路は、第２の比較信号（ｓｅｔ ｃｍｐ－ｒｅｓ＝「ＥＱ」）を提供することができる。第１及び第２の比較信号は、ＤＯＵＴのＭＳＢがＤＩＮよりも高い値を有するが、ＤＯＵＴのＬＳＢがＤＩＮよりも低い値を有するという誤った比較判定を行うことを回避するために、ＣＭＰ－ｌｏ回路に提供される。ＤＩＮデータの４ビットのＭＳＢがＤＯＵＴデータと同じ値を有する場合又はそれよりも低い値を有する場合の両方において、ＣＭＰ－ｈｉ回路は、ＤＯＵＴレジスタ内のＤＯＵＴデータの４ビットのＭＳＢを維持することができる。
【】
また、チャート２６１２を参照すると、ＣＭＰ－ｌｏ回路（例えば、比較回路２６０４ｂ）は、比較されているＤＩＮデータとＤＯＵＴデータの８ビットチャンクの４ビットのＬＳＢが符号付きデータであるか符号なしデータであるか、及び８ビット比較が実施されるか４ビット比較が実施されるか、などの構成データを受け取ることができる。データが符号付きである場合、ＣＭＰ－ｌｏは、ＤＩＮデータの４ビットのＬＳＢとＤＯＵＴデータの４ビットのＬＳＢの両方を符号拡張することができ、そうでない場合、それらをゼロでプリペンドすることができる。また、４ビット比較が実施される場合、ＣＭＰ－ｌｏ回路は、ＣＭＰ－ｈｉ回路からの制御信号を無視し、ＤＩＮデータの４ビットのＬＳＢがより高い値を有する場合、ＤＯＵＴデータの４ビットのＬＳＢをＤＩＮデータの４ビットのＬＳＢで上書きすることができる。また、８ビット比較が実施される場合、ＣＭＰ－ｌｏ回路は、第１の制御信号が、ＤＯＵＴデータの４ビットのＭＳＢがＤＩＮデータの４ビットのＭＳＢよりも高い値を有することを示す場合、又は第２の制御信号が、４ビットのＭＳＢが等しく、ＤＯＵＴデータの４ビットのＬＳＢがＤＩＮデータの４ビットのＬＳＢよりも低い値を有することを示す場合にのみ、（マルチプレクサ回路２６０４ｄを用いて）ＤＯＵＴデータの４ビットのＬＳＢをＤＩＮデータの４ビットのＬＳＢで上書きすることができる。
【】
図２７は、ニューラルネットワークプロセッサの動作の方法２７００のフローチャートを示す。方法２７００は、例えば、演算コントローラ５２２、ロード／ストアコントローラ５３０、演算エンジン５２４などの、ニューラルネットワークプロセッサ５０２の種々の構成要素によって実施され得る。
【】
動作２７０２において、演算コントローラ５２２は、命令バッファ５２０から第１の命令を受け取る。第１の命令の例示のシンタックスが、図６Ａ及び図６Ｂに図示されている。第１の命令は、入力データレジスタへの入力データ要素のフェッチを示すサブ命令６１０と、重みレジスタへの重み要素のフェッチを示すサブ命令６０８とを含み得る。
【】
動作２７０４において、第１の命令（例えば、サブ命令６１０）に応答して、ロード／ストアコントローラ５３０は、入力データ要素をニューラルネットワークプロセッサの外部のメモリ（例えば、メモリ５１２）からニューラルネットワークプロセッサの入力データレジスタ（例えば、データレジスタ５２８ａのＤｉｎ０又はＤｉｎ１）にフェッチする。ロード／ストアコントローラ５３０は、入力データ要素をフェッチするために、メモリインターフェース５３４を介して読出し動作を実施することができる。読出しアドレスは、アドレス生成器５３２によって生成することができ、図８Ａ～図１０Ｂで説明されるような循環アドレス指定方式に基づき得る。
【】
また、動作２７０６において、第１の命令（例えば、サブ命令６０８）に応答して、ロード／ストアコントローラ５３０は、重み要素をニューラルネットワークプロセッサの重みバッファ（例えば、重み及びパラメータバッファ５２６）からニューラルネットワークプロセッサの重みレジスタ（例えば、重み／パラメータレジスタ５２８ｂの重み－０レジスタ又は重み－１レジスタ）にフェッチする。重み要素及び入力データ要素のフェッチは、並列に実施され得る。
【】
動作２７０８において、演算コントローラ５２２は、命令バッファ５２０から第２の命令を受け取る。第２の命令は、重みレジスタに格納された重み要素と入力データレジスタに格納された入力データ要素とに対して演算エンジン５２４によって実施される演算動作（例えば、ＭＡＣ演算、後処理演算など）を示すサブ命令６０２を含み得る。
【】
動作２７１０において、演算エンジンは、第２の命令に応答して、入力データ要素及び重み要素を、それぞれ、入力データレジスタ及び重みレジスタからフェッチすることができる。
【】
動作２７１２において、演算エンジンは、第２の命令に応答して、入力データ要素及び重み要素に対してＭＡＣ演算及び後処理演算を含む演算動作を実施して、出力データ要素を生成することができる。
【】
動作２７１４において、演算エンジンは、出力データ要素を出力データレジスタ（例えば、Ｄｏｕｔ）に格納することができる。
【】
図２８は、ニューラルネットワークプロセッサの動作の方法２８００のフローチャートを示す。方法２８００は、例えば、演算コントローラ５２２、ロード／ストアコントローラ５３０、ＭＡＣエンジン１３００を含む演算エンジン５２４などの、ニューラルネットワークプロセッサ５０２の種々の構成要素によって実施され得る。
【】
動作２８０２において、演算コントローラ５２２は、特定の入力精度の第１の指示と特定の重み精度の第２の指示とを受け取る。第１の指示と第２の指示とは、構成レジスタ５２８ｃから受け取られ得る。
【】
動作２８０４において、演算コントローラ５２２は、第１の指示と第２の指示とに基づいてニューラルネットワークプロセッサの演算エンジンを構成する。こういった構成は、例えば、重みマルチプレクサ１３０４及び入力データマルチプレクサ１３０６についてＤ４／Ｄ８モードを設定すること、ＭＡＣエンジン１３００の演算ユニット１８００について２値モードを含む（又は２値モードを含まない）構成１７１０を設定することなどに基づき得る。
【】
動作２８０６において、演算コントローラ５２２は、命令バッファから命令を受け取る。命令は、重みレジスタに格納された重み要素及び入力データレジスタに格納された入力データ要素に対してＭＡＣエンジン１３００によって実施されるＭＡＣ演算のセットを示すサブ命令６０２を含み得る。
【】
動作２８０８において、命令に応答して、第１の指示と第２の指示とに基づいて構成された演算エンジンは、入力データ要素及び重み要素を、それぞれ、入力データレジスタ及び重みレジスタからフェッチすることができる。上述したように、重みが４ビット精度であるか８ビット精度であるか、及び入力データ要素が４ビット精度であるか８ビット精度であるかに応じて、Ｄ８／Ｄ４モードを設定することができ、重みマルチプレクサ１３０４及びデータマルチプレクサ１３０６は、図２１Ａ～図２１Ｈに示されるように、異なるビット精度の重み要素及び異なるビット精度の入力データ要素を演算ユニット１８００にフェッチすることができる。ビット精度に応じて、重みマルチプレクサ１３０４は、重み要素の異なるビットを異なる演算ユニットに提供すること、又は異なる重み要素を異なる演算ユニットに提供することができる。重みマルチプレクサ１３０４はまた、Ｄ８モードでビットのいくつかを複製し得る。また、データマルチプレクサ１３０６は、Ｄ４モードで入力データ要素の複製を提供することができる。
【】
動作２８１０において、第１の指示と第２の指示とに基づいて構成された演算エンジンは、命令に応答して、特定の入力精度の入力データ要素と特定の重み精度の重み要素との間で乗累算（ＭＡＣ）演算を実施して、中間出力データ要素を生成することができる。例えば、２値モードにおいて、演算エンジンは、入力データ要素と重み要素との間でビット単位のＸＮＯＲ演算を実施することができる。また、或るデータ及び重み精度（例えば、８ビットの入力精度及び２ビットの重み精度、４ビットの入力精度及び重み精度など）について、各演算ユニットは、中間出力データ要素を生成することができる。他のデータ及び重み精度（例えば、８ビットの入力精度及び４ビットの重み精度、８ビットの入力精度及び８ビットの重み精度）について、演算エンジンは、図２１Ｄ及び図２１Ｅに示されているように、データマージ回路（例えば、データマージ回路２００２）を用いて、異なる演算ユニットからの出力をマージして、中間出力データ要素を生成することができる。
【】
動作２８１２において、演算エンジンは、中間出力データ要素を中間出力データレジスタ（例えば、ＭＡＣレジスタ）において格納することができる。
【】
図２９Ａ及び図２９Ｂは、ニューラルネットワークプロセッサの動作の方法２９００のフローチャートを示す。方法２９００は、例えば、演算コントローラ５２２、ロード／ストアコントローラ５３０、ＭＡＣエンジン１３００を含む演算エンジン５２４などの、ニューラルネットワークプロセッサ５０２の種々の構成要素によって実施され得る。
【】
動作２９０２において、演算コントローラ５２２は、特定の出力精度の第１の指示と特定の重み精度の第２の指示とを受け取る。演算コントローラ５２２はまた、特定の入力精度の第３の指示を受け取ることができる。第１、第２、及び第３の指示は、構成レジスタ５２８ｃから受け取ることができる。
【】
動作２９０４において、演算コントローラ５２２は、第１の指示と第２の指示と（第３の指示と）に基づいて後処理エンジン１３０２を構成する。こういった構成は、例えば、図２５Ａ～図２５Ｃに示されているように、出力精度（８ビット又は４ビット）に基づいてクランプ高値及びクランプ低値を設定することと、２－ｔｅｒｎａｒｙ重みをサポートするため、加算器２４０８ａの出力を加算器２４０８ｂの入力に配路するようにマルチプレクサ回路２４１６ａを設定し、加算器２４０８ｃの出力を加算器２４０８ｄの入力に配路するようにマルチプレクサ回路２４１６ｂを設定することと、８ビットの入力精度及び４ビットの重み精度又は８ビットの入力精度及び８ビットの重み精度をサポートするために、データマージ回路２００２の出力を乗算器２４０２ａ～ｄに配路するようにデータ配路回路２４１２を設定することとに基づき得る。
【】
動作２９０６において、演算コントローラ５２２は、命令バッファから第１の命令を受け取る。第１の命令は、重みレジスタに格納された重み要素と入力データレジスタに格納された入力データ要素とに対してＭＡＣエンジン１３００によって実施されるＭＡＣ演算のセットを示すサブ命令６０２を含み得る。
【】
動作２９０８において、演算エンジン５２４のＭＡＣエンジン１３００は、第１の命令に応答して、入力データ要素及び重み要素を、それぞれ、入力データレジスタ及び重みレジスタからフェッチすることができる。いくつかの例において、演算エンジン５２４はまた、入力精度及び重み精度に基づいて構成され得る。上述したように、重みが４ビット精度であるか８ビット精度であるか、及び入力データ要素が４ビット精度であるか８ビット精度であるかに応じて、Ｄ８／Ｄ４モードを設定することができ、重みマルチプレクサ１３０４及びデータマルチプレクサ１３０６は、図２１Ａ～図２１Ｈに示されるように、異なるビット精度の重み要素と異なるビット精度の入力データ要素とを演算ユニット１８００にフェッチすることができる。ビット精度に応じて、重みマルチプレクサ１３０４は、重み要素の異なるビットを異なる演算ユニットに提供すること、又は異なる重み要素を異なる演算ユニットに提供することができる。重みマルチプレクサ１３０４はまた、Ｄ８モードでビットのいくつかを複製し得る。また、データマルチプレクサ１３０６は、Ｄ４モードで入力データ要素の複製を提供することができる。
【】
動作２９１０において、ＭＡＣエンジン１３００は、命令に応答して、特定の入力精度の入力データ要素と特定の重み精度の重み要素との間で乗累算（ＭＡＣ）動作を実施して、中間出力データ要素を生成することができる。例えば、２値モードについて、演算エンジンは、入力データ要素と重み要素との間でビット単位のＸＮＯＲ演算を実施することができる。また、或るデータ及び重み精度（例えば、８ビットの入力精度及び２ビットの重み精度、４ビットの入力精度及び重み精度など）について、各演算ユニットは、中間出力データ要素を生成することができる。他のデータ及び重み精度（例えば、８ビットの入力精度及び４ビットの重み精度、８ビットの入力精度及び８ビットの重み精度）について、演算エンジンは、図２１Ｄ及び図２１Ｅに示されているように、データマージ回路（例えば、データマージ回路２００２）を用いて、異なる演算ユニットからの出力をマージして、中間出力データ要素を生成することができる。
【】
動作２９１２において、ＭＡＣエンジン１３００は、中間出力データ要素を中間出力データレジスタ（例えば、ＭＡＣレジスタ）において格納することができる。
【】
図２９Ｂを参照すると、動作２９１４において、演算コントローラ５２２は、命令バッファから第２の命令を受け取る。第２の命令は、中間出力データに対して後処理エンジン１３０２によって実施される後処理演算（例えば、ＢＮｏｒｍ）を示すサブ命令６０２を含み得る。
【】
動作２９１６において、第１の指示と第２の指示と（第３の指示と）に基づいて構成された後処理エンジン１３０２は、第２の命令に応答して、中間出力データ要素を中間出力データレジスタからフェッチする。
【】
動作２９１８において、第１の指示と第２の指示と（第３の指示と）に基づいて構成された後処理エンジン１３０２は、第２の命令に応答して、図２４及び図２５Ａ～図２５Ｃに示されているように、中間データ要素に対して、ＢＮｏｒｍ動作、残差層処理などの後処理演算を実施して、出力データ要素を生成する。スケーリング、ビットシフト、クランプなどを含む後処理演算が、１クロックサイクルで実施され得る。
【】
動作２９２０において、後処理エンジン１３０２は、第２の命令に応答して、データレジスタ５２８ａの出力データレジスタ（例えば、Ｄｏｕｔ）において出力データ要素を格納する。出力データ要素の格納は、データパッキング回路２３０４によって実施され得る。閾値サイズのデータ（例えば、３２ビット）をＤｏｕｔに格納すると、データパッキング回路２３０４は、出力データをメモリ５１２にフェッチするために、制御信号２３０５をロード／ストアコントローラ５３０に送信することができる。
【】
本記載において、「結合する」という用語は、本記載と一貫する機能的関係を可能にする、接続、通信、又は信号経路を包含し得る。例えば、デバイスＡが、或る行為を実施するようにデバイスＢを制御するための信号を提供する場合、（ａ）第１の例において、デバイスＡはデバイスＢに結合され、又は（ｂ）第２の例において、介在する構成要素ＣがデバイスＡとデバイスＢとの間の機能的な関係を実質的に変更しない場合、デバイスＡは介在する構成要素Ｃを介してデバイスＢに結合され、そのため、デバイスＢはデバイスＡによって提供される制御信号を介してデバイスＡによって制御されるようにする。また、本記載において、或るタスク又は機能を実施する「ように構成される」デバイスは、その機能を実施するように製造業者によって製造時に構成（例えば、プログラム及び／又はハードワイヤード）されてもよく、並びに／又は、その機能及び／又は他の付加的な又は代替の機能を実施するように製造後にユーザによって構成可能（又は再構成可能）であってもよい。こうした構成は、デバイスのファームウェア及び／又はソフトウェアプログラミングを介するもの、デバイスのハードウェア構成要素及び相互接続の構築及び／又はレイアウトを介するもの、或いは、それらの組み合わせであり得る。また、本記載において、或る構成要素を含む回路又はデバイスが、代わりに、それらの構成要素に結合されて、説明される回路要素又はデバイスを形成するように適合されてもよい。例えば、一つ又は複数の半導体素子（トランジスタなど）、一つ又は複数の受動素子（抵抗器、コンデンサ、及び／又はインダクタなど）、並びに／又は一つ又は複数の供給源（電圧源及び／又は電流源など）を含むものとして説明される構造が、代わりに、単一の物理デバイス（例えば、半導体ダイ及び／又は集積回路（ＩＣ）パッケージ）内に半導体素子のみを含んでいてもよく、製造時又は製造後のいずれかにおいて、エンドユーザー及び／又は第三者などによって、受動素子及び／又は供給源の少なくともいくつかに結合されて、説明される構造を形成するように適合されていてもよい。
【】
特定のトランジスタ構造がで言及されているが、他のトランジスタ又はデバイス構造が代わりに用いられてもよい。例えば、付加的な変更をほとんど又は全く伴わずに、ｎ型ＭＯＳＦＥＴの代わりにｐ型ＭＯＳＦＥＴが用いられてもよい。また、他のタイプのトランジスタ（バイポーラトランジスタなど）が、示されたトランジスタの代わりに利用され得る。コンデンサは、異なるデバイス構造（平行板コンデンサを形成するために互いに上下に形成された金属構造など）を用いて実装されてもよく、或いは、半導体基板表面により近い又は半導体基板表面からより遠い（金属又はドープ半導体）層上に形成されてもよい。
【】
で用いられる場合、「端子」、「ノード」、「相互接続」、及び「ピン」という用語は、互換的に用いられる。特に反対の記載がない限り、こうした用語は、概して、デバイス要素、回路要素、集積回路、デバイス、又は他の電子機器若しくは半導体構成要素の間の相互接続、或いは、それらの終端を意味するために用いられる。
【】
或る構成要素が、特定のプロセス技術のものであるとして本明細書で説明されている場合があるが、こうした構成要素は、他のプロセス技術の構成要素と交換されてもよい。本明細書で説明される回路は、構成要素を置換する前に利用可能であった機能と少なくとも部分的に同様の機能を提供するために置換される構成要素を含むように再構成可能である。抵抗器として示されている構成要素は、別段の記載がない限り、概して、示されている抵抗器によって表されるインピーダンスの量を提供するように直列及び／又は並列に結合される、任意の一つ又は複数の要素を表す。例えば、本明細書で単一の構成要素として図示及び説明されている抵抗器又はコンデンサを、代わりに、それぞれ、その単一の抵抗器又はコンデンサと同じ２つのノード間に直列又は並列に結合される、複数の抵抗器又はコンデンサとしてもよい。また、本記載における「接地端子」という語句の使用には、シャーシ接地、アース接地、浮動接地、仮想接地、デジタル接地、共通接地、及び／又は、本説明の教示に適用可能であるか若しくは好適な、任意の他の形態の接地接続が含まれる。別段の記載がない限り、或る値に先行する「約」、「およそ」、又は「実質的に」は、記載された値の＋／－１０パーセントを意味する。
【】
特許請求の範囲内で、説明された例における改変が可能であり、他の例も可能である。
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【国際調査報告】

［広告欄］

ログインすれば広告は減ります

ログインすれば広告は減ります

Copyright © Science Impact Inc. All Rights Reserved.