IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > Ｇｏｏｇｌｅ ＬＬＣ

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ グーグル　インコーポレイテッドの特許一覧

特許7682283シストリックアレイ計算のエラーチェック
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-15
(45)【発行日】2025-05-23
(54)【発明の名称】シストリックアレイ計算のエラーチェック
(51)【国際特許分類】
   G06F 11/10 20060101AFI20250516BHJP
   G06F 17/16 20060101ALI20250516BHJP
【ＦＩ】
G06F11/10 604
G06F17/16 V
【請求項の数】 22
(21)【出願番号】P 2023548914
(86)(22)【出願日】2022-07-13
(65)【公表番号】
(43)【公表日】2024-03-27
(86)【国際出願番号】 US2022036946
(87)【国際公開番号】W WO2023287871
(87)【国際公開日】2023-01-19
【審査請求日】2023-10-17
(31)【優先権主張番号】63/222,549
(32)【優先日】2021-07-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/410,558
(32)【優先日】2021-08-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ
【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ヨーン，ドゥ・ヒュン
(72)【発明者】
【氏名】ジョピー，ノーマン・ポール
【審査官】田中 幸雄
(56)【参考文献】
【文献】特表２０２１－５０８１２５（ＪＰ，Ａ）
【文献】中国特許出願公開第１１０９３３７２８（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １１／１０
Ｇ０６Ｆ １７／１６
(57)【特許請求の範囲】
【請求項1】
計算ユニットであって、
処理要素の２次元シストリックアレイを含み、前記２次元シストリックアレイは、前記２次元シストリックアレイの第１の方向に沿って第１の入力行列から第１の入力要素を受信し、前記２次元シストリックアレイの第２の方向に沿って第２の入力行列から第２の入力要素を受信するように構成され、前記計算ユニットはさらに、
前記２次元シストリックアレイが前記第１の入力要素を受信する間に、前記第１の入力要素から第１のチェックサムの１つまたは複数のグループを生成するように構成された第１のチェックサム回路と、
前記２次元シストリックアレイが前記第２の入力要素を受信している間に、第２のチェックサムの１つまたは複数のグループを生成するように構成された第２のチェックサム回路とを含み、
前記２次元シストリックアレイは、前記第１の入力行列、前記第２の入力行列、前記第１のチェックサムの１つまたは複数のグループ、および前記第２のチェックサムの１つまたは複数のグループから出力行列を生成するようにさらに構成され、前記計算ユニットはさらに、
前記出力行列を受信し、前記出力行列から、前記出力行列の前記生成における１つまたは複数のエラーの発生を決定するように構成された出力チェックサム回路を含む、計算ユニット。
【請求項2】
前記出力行列は、データサブ行列、出力チェックサム行、および出力チェックサム列を含み、前記データサブ行列は、前記第１の入力要素および前記第２の入力要素を使用する前記２次元シストリックアレイによって生成された値を含み、
前記出力行列の前記生成における１つまたは複数のエラーの発生を決定するために、前記出力チェックサム回路は、
前記データサブ行列の少なくとも１つの行から、行チェックサムを生成し、
前記行チェックサムを前記出力チェックサム列のチェックサムと比較し、
前記行チェックサムと前記出力チェックサム列の前記チェックサムとの前記比較から、前記出力行列の前記生成におけるエラーの発生を決定するように構成される、請求項１に記載の計算ユニット。
【請求項3】
前記出力行列の前記生成における１つまたは複数のエラーの発生を決定するために、前記出力チェックサム回路は、
前記データサブ行列の少なくとも１つの列から、列チェックサムを生成し、
前記列チェックサムを前記出力チェックサム行のチェックサムと比較し、
前記列チェックサムと前記出力チェックサム行の前記チェックサムとの前記比較から、前記出力行列の前記生成におけるエラーの発生を決定するようにさらに構成される、請求項２に記載の計算ユニット。
【請求項4】
前記出力行列の前記生成における１つまたは複数のエラーの発生を決定するために、前記出力チェックサム回路は、
前記データサブ行列の少なくとも１つの行から、行チェックサムを生成し、
前記行チェックサムを前記出力チェックサム列のチェックサムと比較し、
前記行チェックサムと前記出力チェックサム列の前記チェックサムとの前記比較から、前記出力行列の前記生成におけるエラーの発生を決定するようにさらに構成される、請求項３に記載の計算ユニット。
【請求項5】
前記行チェックサムを前記出力チェックサム列の前記チェックサムと比較するために、前記出力チェックサム回路は、前記行チェックサムと前記出力チェックサム列の前記チェックサムとの間の絶対差が所定の閾値以内であるかどうかを決定するようにさらに構成される、請求項２に記載の計算ユニット。
【請求項6】
前記計算ユニットは、１つまたは複数のチェックサム処理要素をさらに含み、前記１つまたは複数のチェックサム処理要素は、前記第１および第２のチェックサム回路の一方または両方からチェックサムを受信するように構成される、請求項１に記載の計算ユニット。
【請求項7】
前記第１および第２のチェックサム回路の一方または両方は、制御信号に基づいて、処理のために第１または第２のチェックサムを前記２次元シストリックアレイに送信するように構成される、請求項１に記載の計算ユニット。
【請求項8】
前記第１および第２のチェックサム回路の一方または両方への前記制御信号のタイミングは、前記２次元シストリックアレイにわたって第１または第２の入力値をロードするための時間ステップの数に基づく、請求項７に記載の計算ユニット。
【請求項9】
前記計算ユニットは、前記出力行列の前記生成における１つまたは複数のエラーの発生の前記決定に応答して、前記１つまたは複数のエラーの発生の表示を、前記計算ユニットに接続された１つまたは複数のデバイスに送信するようにさらに構成される、請求項１に記載の計算ユニット。
【請求項10】
前記２次元シストリックアレイはさらに、
前記１つまたは複数のエラーの発生の表示が送信された後、前記１つまたは複数のデバイスから、調整された電圧を受信するように構成され、前記調整された電圧は、前記２次元シストリックアレイの所定の臨界電圧よりも高い、請求項９に記載の計算ユニット。
【請求項11】
前記２次元シストリックアレイは、前記表示の送信に応答して前記調整された電圧を受信するまで、前記計算ユニットの前記所定の臨界電圧よりも低い第１の電圧を受信するようにさらに構成される、請求項１０に記載の計算ユニット。
【請求項12】
前記第１および第２のチェックサム回路の一方または両方が、前記所定の臨界電圧よりも高い第２の電圧を受信するように構成される、請求項１１に記載の計算ユニット。
【請求項13】
前記第１および第２のチェックサム回路の一方または両方が、２入力２段パイプライン加算回路を含み、前記２入力２段パイプライン加算回路は、前記第１および第２のチェックサムの一方または両方の前記生成を遅らせるように構成される、請求項１０に記載の計算ユニット。
【請求項14】
前記第１および第２のチェックサム回路の一方または両方が、
１つまたは複数の２サイクル加算回路と、
複数のレジスタとを含み、前記複数のレジスタは、第１のクロック周波数に従ってデータを送受信するように構成された１つまたは複数の第１のレジスタと、第２のクロック周波数に従ってデータを送受信するように構成された１つまたは複数の第２のレジスタと、第３のクロック周波数に従ってデータを送受信するように構成された１つまたは複数の第３のレジスタとを含み、前記第１、第２、および第３のクロック周波数はすべて異なる周波数である、請求項１０に記載の計算ユニット。
【請求項15】
前記２次元シストリックアレイは出力固定シストリックアレイであり、前記第１および前記第２のチェックサム回路は両方とも複数のチェックサム処理要素に接続され、前記チェックサム処理要素は前記第１および第２のチェックサム回路の一方または両方から、生成されたチェックサムを受信するように構成される、請求項１に記載の計算ユニット。
【請求項16】
前記複数のチェックサム処理要素は、前記２次元シストリックアレイの周囲に沿って配置される、請求項１５に記載の計算ユニット。
【請求項17】
前記計算ユニットは、前記第１のチェックサム回路からのみチェックサムを生成するか、または前記第２のチェックサム回路からのみチェックサムを生成するように構成される、請求項１に記載の計算ユニット。
【請求項18】
データ処理システムであって、
前記データ処理システムは、１つまたは複数のプロセッサ、１つまたは複数のメモリデバイス、および請求項１～１７のいずれか１項に記載の計算ユニットを含む、データ処理システム。
【請求項19】
前記データ処理システムは、
前記２次元シストリックアレイに電圧を印加するように構成され、印加された前記電圧は前記２次元シストリックアレイの所定の臨界電圧を下回り、前記データ処理システムはさらに、
前記計算ユニットから１つまたは複数のエラーの表示を受信し、応答において、印加された前記電圧を増加して前記２次元シストリックアレイの前記所定の臨界電圧よりも高くするように構成される、請求項１８に記載のデータ処理システム。
【請求項20】
前記データ処理システムは、前記２次元シストリックアレイの前記所定の臨界電圧より低い電圧を、前記第１のチェックサム回路、前記第２のチェックサム回路、および前記出力チェックサム回路のうちの１つまたは複数に印加し、
前記表示の受信に応答して、前記第１のチェックサム回路、前記第２のチェックサム回路、および前記出力チェックサム回路のうちの１つまたは複数に前記所定の臨界電圧より低い電圧を印加し続けるようにさらに構成される、請求項１９に記載のデータ処理システム。
【請求項21】
前記データ処理システムは、前記第１および第２のチェックサム回路のうちの一方または両方に制御信号を送信するように構成され、前記送信のタイミングは、前記２次元シストリックアレイにわたって第１または第２の入力値をロードするための時間ステップの数に基づく、請求項１８に記載のデータ処理システム。
【請求項22】
１つまたは複数のコンピュータプログラムであって、前記１つまたは複数のコンピュータプログラムは、計算ユニットによって実行される場合、前記計算ユニットに動作を実行させ、前記計算ユニットは、処理要素の２次元シストリックアレイ、第１のチェックサム回路、第２のチェックサム回路、および出力チェックサム回路を含み、
前記動作は、
前記２次元シストリックアレイによって、前記２次元シストリックアレイの第１の方向に沿って第１の入力行列から第１の入力要素を受信することと、
前記２次元シストリックアレイによって、前記２次元シストリックアレイの第２の方向に沿って第２の入力行列から第２の入力要素を受信することと、
前記２次元シストリックアレイが前記第１の入力要素を受信している間に、前記第１のチェックサム回路によって、前記第１の入力要素から第１のチェックサムの１つまたは複数のグループを生成することと、
前記２次元シストリックアレイが前記第２の入力要素を受信している間に、前記第２のチェックサム回路によって第２のチェックサムの１つまたは複数のグループを生成することと、
前記２次元シストリックアレイによって、前記第１の入力行列、前記第２の入力行列、前記第１のチェックサムの１つまたは複数のグループ、および前記第２のチェックサムの１つまたは複数のグループから出力行列を生成することと、
前記出力チェックサム回路によって前記出力行列を受信することと、
前記出力チェックサム回路によって、前記出力行列から、前記出力行列の前記生成における１つまたは複数のエラーの発生を決定することとを含む、１つまたは複数のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年８月２４日に出願された米国特許出願第１７／４１０，５５８号の継続出願であり、これは、２０２１年７月１６日に出願された「Ｅｒｒｏｒ Ｃｈｅｃｋｉｎｇ Ｆｏｒ Ｓｙｓｔｏｌｉｃ Ａｒｒａｙ Ｃｏｍｐｕｔａｔｉｏｎ」という題名の米国仮出願第６３／２２２，５４９号の出願日の利益を主張するものであり、これらの開示は、参照により本明細書に組み込まれる。
【背景技術】
【0002】
背景
シストリックアレイは、いくつかのデータを処理するように構成されたプロセッサ、マイクロプロセッサ、または専用回路などの処理要素のアレイである。シストリックアレイの隣接する処理要素は、例えばプリント回路基板上のワイヤまたは他の物理的接続などの１つまたは複数の相互接続を介して接続することができる。
【0003】
アルゴリズムベースの耐障害性（ＡＢＦＴ：algorithm-based fault tolerance）は、行列乗算、フーリエ変換などの異なるタイプの算術アルゴリズムまたはロジックアルゴリズムの実行中にエラーを検出および修正するためのスキームまたは技術を指す。行列乗算の場合、例えば、入力行列Ａ、Ｂ、出力行列Ｃに対してＡ×Ｂ＝Ｃの場合、行列乗算のＡＢＦＴには、Ａのチェックサム行と行列Ｂのチェックサム列の生成が含まれる。Ａのチェックサム行の各要素は、行列Ａのそれぞれの列の要素に対して実行される線形演算の結果である。例えば、行列Ａの列の各要素を加算して行列Ａのチェックサム行にチェックサム値を生成する。同様に、列Ｂの各チェックサム値は、行列Ｂのそれぞれの行の要素に対して実行された線形演算の結果である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
行列ＡおよびＢ（対応するチェックサム行／列を備える）を乗算した後、出力行列は、行列ＡおよびＢを乗算する積を表すサブ行列、ならびにチェックサム行およびチェックサム列を含む。行列乗算のＡＢＦＴの一部として、行列Ｃのチェックサム行と列のチェックサム値は、行列ＡとＢに対して同じ線形演算を実行した結果と比較されるが、現在はＣのサブ行列で実行される。Ｃのサブ行列の行または列で線形演算を実行した結果が、Ｃの対応するチェックサム値と一致しない場合、不一致は、行列乗算中にエラーが発生したことを示す。
【課題を解決するための手段】
【0005】
簡単な概要
本開示の態様は、シストリックアレイを実装し、シストリックアレイ上のデータを処理しながらエラーを検出するように構成された計算ユニットを対象とする。シストリックアレイと通信するチェックサム回路は、シストリックアレイが入力データを処理している間、チェックサムを計算し、エラー検出を実行するように構成される。入力行列でチェックサムを事前生成する代わりに、入力行列を、チェックサム回路を介してシストリックアレイに直接供給することができる。出力側では、一態様によれば、チェックサム回路は、シストリックアレイが出力を生成するための対応する動作を終了するとき、または出力がシストリックアレイからストリーミングされる間に、シストリックアレイへの出力のチェックサムを生成することができる。別の態様によれば、出力側では、チェックサム回路は、シストリックアレイによって生成された出力行列内のチェックサムを生成し、チェックサムと比較することができる。
【0006】
本開示の態様は、多くの技術的利点を提供する。オペランドのチェックサムとシストリックアレイの出力によるエラー検出は、入力のチェックサムを生成する前処理や、チェックサムの正しさを比較する後処理動作を行わずに実行できる。チップ上のシストリックアレイは、さまざまなランダムまたは疑似ランダムテストパターンに従って迅速にテストして、ハードウェア障害がアレイに存在するか、アレイの個々の処理要素に存在するかを決定できる。既知の入力や出力は不要であり、疑似ランダムテストの署名も必要ないため、テストに必要なさまざまなテストパターンを生成して展開できる。さらに、出力行列を生成するための動作のエラーチェックは、シストリックアレイの動作を遅らせることなく、また入力行列を前処理することなく実行することができる。
【0007】
実行時に、本開示の態様に従って実装されたプロセッサは、ソフトエラーまたはハードエラー、例えば、ハードウェア欠陥によって引き起こされないエラー、およびハードウェア欠陥によって引き起こされるエラーを検出することができる。プロセッサがクリティカルで時間に敏感なタスクを実行するアクセラレータの一部である場合、エラーの迅速な識別は特に重要になり得る。例えば、ソフトエラー検出は、プロセッサがバンキング、自律車両ナビゲーション／制御、飛行機または宇宙船ナビゲーションなどに関連するタスクを実行するようにトレーニングされた機械学習モデルの入力を処理している場合に特に重要であり得る。
【0008】
いくつかの例では、本明細書に記載の計算ユニットは、タイミング違反エラーを検出するように構成され得、これは、シストリックアレイにより良いエネルギー効率を提供するために検出および対処され得る。エラー検出を実行するための回路を実装して、タイミングエラーの可能性を低減し、シストリックアレイが所定の臨界電圧未満の供給電圧で動作している場合でも、正確なエラー検出を続行できるようにする。本開示の態様はまた、プロセッサの精度および信頼性を改善するために修正することができる行列乗算を含む、いくつかのタイプの動作におけるエラーの検出を提供する。異なる計算ユニットは、例えば、計算ユニットによって実行される機械学習モデルの推論中に、より良い性能のためにユニットを調整するために、異なる電圧および／または周波数レベルに調整することができる。エラーを検出することで、計算の精度を全体的に向上させることができる。
【0009】
本開示の態様は、最小限のオーバーヘッドで、計算ユニットのシストリックアレイの性能に影響を与えることなく実装することができる。入力の前処理は不要であり、入力が前処理される他のアプローチよりも計算ユニットのエラーチェックの効率をさらに向上させる。さらに、本明細書で説明するように、エラー検出を実行するためのチェックサム回路への入力は、処理のためのシストリックアレイへの入力を遅らせない。
【0010】
「緩和された」耐障害性を適用して、オーバーヘッド、特に計算ユニットとのソフトウェアの相互作用をさらに低減して、エラーが実際に検出された場合にのみ適用することもできる。いくつかの例では、エラーの正確な原因を特定する必要なしにエラーの存在を検出することが主な使用例である場合、緩和された耐障害性が有益である可能性がある。
【0011】
本明細書に記載されるように計算ユニットに適用されるエラー検出により、エラー訂正メカニズム、例えば、行列乗算のためのＡＢＦＴに基づくエラー訂正プロセスを実装して、計算ユニットの実行中に検出されたハードエラーから回復することができる。
【0012】
本開示の一態様は、以下を含む計算ユニットを対象とし、処理要素の２次元シストリックアレイを含む。シストリックアレイは、シストリックアレイの第１の方向に沿って第１の入力行列から第１の入力要素を受信し、シストリックアレイの第２の方向に沿って第２の入力行列から第２の入力要素を受信するように構成される。計算ユニットはさらに、２次元シストリックアレイと、シストリックアレイが第１の入力要素を受信している間に、第１の入力要素から第１のチェックサムの１つまたは複数のグループを生成するように構成された第１のチェックサム回路と、シストリックアレイが第２の入力要素を受信している間に、第２のチェックサムの１つまたは複数のグループを生成するように構成された第２のチェックサム回路とを含む。シストリックアレイは、第１の入力行列、第２の入力行列、第１のチェックサムの１つまたは複数のグループ、第２のチェックサムの１つまたは複数のグループから出力行列を生成するようにさらに構成される。計算ユニットはさらに、出力行列を受信し、出力行列から、出力行列の生成における１つまたは複数のエラーの発生を決定するように構成された出力チェックサム回路を含む。
【0013】
前述の態様は、単独で、または任意の組み合わせで、以下の特徴の１つまたは複数を含むことができる。いくつかの例では、前述の態様は、以下のすべての特徴を一緒に含む。
【0014】
出力行列には、データサブ行列、出力チェックサム行、および出力チェックサム列が含まれる。データサブ行列は、第１の入力要素および第２の入力要素を使用するシストリックアレイによって生成された値を含む。出力行列の生成時に１つまたは複数のエラーが発生したかどうかを決定するために、出力チェックサム回路は、データサブ行列の少なくとも１つの行から行チェックサムを生成し、行チェックサムを出力チェックサム列のチェックサムと比較し、行チェックサムと出力チェックサム列のチェックサムとの比較から、出力行列の生成におけるエラーの発生を決定するように構成される。
【0015】
出力行列の生成における１つまたは複数のエラーの発生を決定するために、出力チェックサム回路はさらに、データサブ行列の少なくとも１つの列から、列チェックサムを生成し、列チェックサムを出力チェックサム行のチェックサムと比較し、列チェックサムと出力チェックサム行のチェックサムとの比較から、出力行列の生成におけるエラーの発生を決定するように構成される。
【0016】
出力行列の生成における１つまたは複数のエラーの発生を決定するために、出力チェックサム回路はさらに、データサブ行列の少なくとも１つの行から、行チェックサムを生成し、行チェックサムを出力チェックサム列のチェックサムと比較し、行チェックサムと出力チェックサム列のチェックサムとの比較から、出力行列の生成におけるエラーの発生を決定するように構成される。
【0017】
行チェックサムを出力チェックサム列のチェックサムと比較するために、出力チェックサム回路はさらに、行チェックサムと出力チェックサム列のチェックサムとの間の絶対差が所定の閾値内にあるかどうかを決定するように構成される。
【0018】
計算ユニットは、１つまたは複数のチェックサム処理要素をさらに含む。１つまたは複数のチェックサム処理要素は、第１および第２のチェックサム回路の一方または両方からチェックサムを受信するように構成される。
【0019】
第１および第２のチェックサム回路の一方または両方は、制御信号に基づいて、処理のために第１または第２のチェックサムをシストリックアレイに送信するように構成される。
【0020】
第１および第２のチェックサム回路の一方または両方への制御信号のタイミングは、シストリックアレイにわたって第１または第２の入力値をロードするための時間ステップの数に基づく。
【0021】
計算ユニットは、出力行列の生成における１つまたは複数のエラーの発生の決定に応答して、１つまたは複数のエラーの発生の表示を、計算ユニットに接続された１つまたは複数のデバイスに送信するようにさらに構成される。
【0022】
シストリックアレイはさらに、１つまたは複数のエラーの発生の表示が送信された後、１つまたは複数のデバイスから、調整された電圧を受信するように構成される。調整された電圧は、計算ユニットの臨界電圧よりも高い。
【0023】
シストリックアレイは、表示の送信に応答して調整された電圧を受信するまで、計算ユニットの臨界電圧よりも低い第１の電圧を受信するようにさらに構成される。
【0024】
第１および第２のチェックサム回路の一方または両方は、臨界電圧よりも高い第２の電圧を受信するように構成される。
【0025】
第１および第２のチェックサム回路の一方または両方は、２入力２段パイプライン加算回路を含む。２入力２段パイプライン加算回路は、第１および第２のチェックサムの一方または両方の生成を遅らせるように構成される。
【0026】
第１および第２のチェックサム回路の一方または両方は、１つまたは複数の２サイクル加算回路と、複数のレジスタとを含み、前記複数のレジスタは、第１のクロック周波数に従ってデータを送受信するように構成された１つまたは複数の第１のレジスタと、第２のクロック周波数に従ってデータを送受信するように構成された１つまたは複数の第２のレジスタと、第３のクロック周波数に従ってデータを送受信するように構成された１つまたは複数の第３のレジスタとを含み、第１、第２、および第３のクロック周波数はすべて異なる周波数である。
【0027】
いくつかの例では、シストリックアレイは重み固定である。他の例では、シストリックアレイは出力固定シストリックアレイであり、第１および第２のチェックサム回路は両方とも複数のチェックサム処理要素に接続され、チェックサム処理要素は、第１および第２のチェックサム回路の一方または両方から生成されたチェックサムを受信するように構成される。
【0028】
複数のチェックサム処理要素は、シストリックアレイの周囲に沿って配置される。
計算ユニットは、第１のチェックサム回路からのみチェックサムを生成するか、または第２のチェックサム回路からのみチェックサムを生成するように構成される。
【0029】
本開示の一態様は、データ処理システムを対象とし、このデータ処理システムは、１つまたは複数のプロセッサ、１つまたは複数のメモリデバイス、および計算ユニットを含む。計算ユニットは、処理要素の２次元シストリックアレイを含む。シストリックアレイは、シストリックアレイの第１の方向に沿って第１の入力行列から第１の入力要素を受信し、シストリックアレイの第２の方向に沿って第２の入力行列から第２の入力要素を受信するように構成される。計算ユニットはさらに、シストリックアレイが第１の入力要素を受信している間に、第１の入力要素から第１のチェックサムの１つまたは複数のグループを生成するように構成された第１のチェックサム回路と、シストリックアレイが第２の入力要素を受信している間に第２のチェックサムの１つまたは複数のグループを生成するように構成された第２のチェックサム回路とを含む。シストリックアレイは、第１の入力行列、第２の入力行列、第１のチェックサムの１つまたは複数のグループ、および第２のチェックサムの１つまたは複数のグループから出力行列を生成するようにさらに構成される。計算ユニットはさらに、出力行列を受信し、出力行列から、出力行列の生成における１つまたは複数のエラーの発生を決定するように構成された出力チェックサム回路を含む。
【0030】
前述の態様は、単独でまたは組み合わせて、以下の特徴のうちの１つまたは複数を含むことができる。いくつかの例では、前述の態様は、以下の特徴のすべてを一緒に含むことができる。
【0031】
データ処理システムは、シストリックアレイに電圧を印加するように構成され、印加された電圧はシストリックアレイの臨界電圧を下回る。そして、計算ユニットから１つまたは複数のエラーの表示を受信し、応答において、印加された電圧を増加してシストリックアレイの臨界電圧よりも高くするように構成される。
【0032】
データ処理システムはさらに、シストリックアレイの臨界電圧より低い電圧を、第１のチェックサム回路、第２のチェックサム回路、および出力チェックサム回路のうちの１つまたは複数に印加するように構成される。そして、表示の受信に応答して、第１のチェックサム回路、第２のチェックサム回路、および出力チェックサム回路のうちの１つまたは複数に臨界電圧より低い電圧を印加し続けるように構成される。
【0033】
データ処理システムは、第１および第２のチェックサム回路のうちの一方または両方に制御信号を送信するように構成され、送信のタイミングは、シストリックアレイにわたって第１または第２の入力値をロードするための時間ステップの数に基づく。
【0034】
本開示の一態様は、計算ユニットによって実行されるコンピュータ命令でエンコードされた１つまたは複数の非一時的なコンピュータ可読記憶媒体を対象とする。計算ユニットは、処理要素の２次元シストリックアレイ、第１のチェックサム回路、第２のチェックサム回路を含む。出力チェックサム回路により、計算ユニットは動作を実行する。動作は、シストリックアレイによって、シストリックアレイの第１の方向に沿って第１の入力行列から第１の入力要素を受信し、シストリックアレイによって、シストリックアレイの第２の方向に沿って第２の入力行列から第２の入力要素を受信することと、シストリックアレイが第１の入力要素を受信している間に、第１のチェックサム回路によって、第１の入力要素から第１のチェックサムの１つまたは複数のグループを生成することと、シストリックアレイが第２の入力要素を受信している間に、第２のチェックサム回路によって第２のチェックサムの１つまたは複数のグループを生成することと、シストリックアレイによって、第１の入力行列、第２の入力行列、第１のチェックサムの１つまたは複数のグループ、および第２のチェックサムの１つまたは複数のグループから出力行列を生成することと、出力チェックサム回路によって出力行列を受信することと、出力チェックサム回路によって、出力行列から、出力行列の生成における１つまたは複数のエラーの発生を決定することとを含む。
【図面の簡単な説明】
【0035】
【図1】本開示の態様による計算ユニットのブロック図である。
【図2】本開示の態様による、対応するチェックサムを有するそれぞれの出力行列を生成するために計算ユニットによって処理された例示的な入力行列を示す。
【図3】垂直チェックサム回路およびチェックサム処理要素のブロック図である。
【図4】水平チェックサム回路のブロック図である。水平チェックサム回路１１５は、いくつかの加算回路、レジスタ、およびマルチプレクサを含む。
【図5】出力チェックサム回路のブロック図である。出力チェックサム回路は、出力行列Ｃのデータサブ行列の行と列からチェックサムを生成するように構成される。
【図6】垂直チェックサム回路および出力チェックサム回路を有するが、水平チェックサム回路はない例示的な計算ユニットである。
【図7】出力固定シストリックアレイを有する例示的な計算ユニットである。
【図8A】例示的な垂直チェックサム回路である。垂直チェックサム回路は、長さ８の入力行列の行からチェックサムを生成するように構成される。
【図8B】２入力２段パイプライン加算回路を有する例示的な垂直チェックサム回路である。
【図8C】２サイクルの非パイプライン加算回路を備えた別の例示的な垂直チェックサム回路の回路図である。
【図9A】本開示の態様による、計算ユニット上でエラー検出を伴う行列乗算を実行するための例示的なプロセスのフローチャートである。
【図9B】本開示の態様による、計算ユニットの処理中にエラーの発生を検出するための例示的なプロセスのフローチャートである。
【図10A】例示的な計算ユニットを実装するデータ処理システムのブロック図である。
【図10B】本開示の態様による、計算ユニットへの供給電圧を調整するための例示的なプロセスのフローチャートである。
【図11】計算ユニット１０００を含むデータ処理システムを実装するための環境例のブロック図である。
【発明を実施するための形態】
【0036】
詳細な説明
図１は、本開示の態様による、計算ユニット１００のブロック図である。計算ユニット１００は、処理要素１１０Ａ～Ｐのシストリックアレイ１１０、水平チェックサム回路１１５、垂直チェックサム回路１２０、出力チェックサム回路１２５、およびチェックサム処理要素１３０を含む。
【0037】
シストリックアレイ１１０は、さまざまな異なる方法で実装することができ、一般に、異なる処理要素を隣接する処理要素に接続する１つまたは複数のデータバスまたは相互接続を含むことができる。例えば、シストリックアレイは、シストリックアレイ１１０の各行および／または列に沿ったデータバスを含むことができ、その処理要素１１０Ａ～Ｐは正方形または長方形の配置で構成することができる（ただし、処理要素１１０Ａ～Ｐは、いくつかの例では、六角形配置などの他の幾何学的配置で構成することもできる）。いくつかの例では、シストリックアレイ１１０は、アレイ内の互いに斜め上または下に配置された処理要素に沿って１つまたは複数のデータバスを含むことができる。いくつかの例では、シストリックアレイ１１０は、時間借用を活用するために、二相の重複しないクロックおよびラッチを実装することができる。
【0038】
データバスは、データが処理要素から処理要素へ、または外部入力から処理要素へ、または処理から外部出力へ流れることを可能にする。外部入出力には、例えば、計算ユニット１００に通信可能に結合された他のデバイス、または計算ユニット１００の一部であるか、または計算ユニット１００の外部に配置されたメモリデバイスが含まれることができる。いくつかの例では、シストリックアレイ１１０は、シストリックアレイ１１０の周囲の処理要素を介してのみ、シストリックアレイ１１０の外部で入力または出力を受信または生成するように構成することができる。他の例では、シストリックアレイ１１０は、処理要素１１０Ａ～Ｐのいずれかから外部入力または出力を受信または生成するように構成することができる。
【0039】
シストリックアレイ１１０の処理要素は、１つまたは複数の入力を受信し、入力を処理し、および１つまたは複数の出力を生成するように構成されたプロセッサ、マイクロプロセッサ、または任意の専用回路であり得る。処理要素は、例えば、特定のタイプの動作を実行するように構成されたデータ処理ユニット（ＤＰＵ）であり得る。いくつかの例では、処理要素は、メモリを一時的に、例えばレジスタに、またはラッチまたはフリップ／フロップ回路などの１つまたは複数の回路を使用して記憶するように構成することができる。
【0040】
処理要素１１０Ａ～Ｐは、いくつかのトポロジに従って配置することができる。例えば、処理要素１１０Ａ～Ｐは、アレイ、メッシュ、または立方体として配置することができる。各処理要素は、隣接する処理要素に接続する１つまたは複数のチャネルを有することができる。１つまたは複数のチャネルは、例えば、シストリックアレイ１１０が実装されているシリコンウェーハ上のワイヤまたは他の物理的接続であり得る。各処理要素のチャネル数に応じて、シストリックアレイ１１０は、１つまたは複数の次元を有することができる。説明のために、シストリックアレイ１１０は２次元メッシュであると仮定されるが、他の実装形態では、シストリックアレイ１１０は、一般性を失うことなく他のトポロジに従って構成できることが理解される。
【0041】
シストリックアレイ１１０には１６個の処理要素が示されており、４×４メッシュとして配置されているが、さまざまな例において、シストリックアレイ１１０の処理要素の数は、例えば、２５６×２５６メッシュとして配置される６５，５３６個の処理要素、または１２８×１２８メッシュとして配置される１６，３８４個の処理要素など、変化し得ることが理解される。
【0042】
データは、互いに独立して、各データバスまたはシストリックアレイ１１０の相互接続を横切って移動することができる。換言すれば、異なる処理要素は、例えば時間ステップで測定される異なる時点で、異なるデータを受信して隣接する処理要素に送信することができる。時間ステップは、計算ユニット１００の１つまたは複数のクロックサイクル、または計算ユニット１００に通信可能に結合されたより大きなシステムを参照することができる。この明細書での説明を容易にするために、この明細書の時間ステップは、特に明記されていない限り、単一のクロックサイクルを指す。各時間ステップについて、各処理要素１１０Ａ～Ｐは異なる演算を実行してもよい。例えば、単一の時間ステップでは、一部の処理要素が新しい入力の受信、生成された出力の送信、受信された入力の処理、または受信または送信するデータの不足のためにアイドル状態になり得る。
【0043】
処理要素１１０Ａ～Ｐの機能は、シストリックアレイ１１０の機能、例えば、シストリックアレイ１１０が実行するように構成される演算に依存することができる。例えば、シストリックアレイ１１０は、２つの入力行列、例えばニューラルネットワーク層の重み行列およびその層への入力行列に対して行列乗算を実行するように構成され得る。他の例では、シストリックアレイ１１０は、畳み込みニューラルネットワーク（「ＣｏｎｖＮｅｔ」）の受信入力の一部として畳み込み演算実行するように構成することができる。行列乗算の例では、各処理ユニット１１０Ａ０Ｐは、乗算および累積（「ＭＡＣ」）演算実行するように構成することができる。ＭＡＣ演算を行うように構成された処理要素は、ＭＡＣユニットと呼ぶことができる。本開示の態様は、ＭＡＣユニットのシストリックアレイによって実行される行列乗算中のエラーチェックおよび修正を対象とし、以下の例は、特に明記しない限り、処理要素１１０Ａ～ＰがＭＡＣ演算用に構成されると仮定する。
【0044】
例として、ＭＡＣユニットとして構成された処理要素は次のようにデータを処理できる。時間ステップごとに、処理要素は、ユニットにロードされた行列要素と受信入力行列要素を乗算し、乗算の積をＭＡＣユニットによって維持される実行部分合計に加算できる。ＭＡＣユニットは、入力行列要素をデータバスに沿って隣接するＭＡＣユニットに第１の方向（例えば、右側）に転送し、更新された部分合計を同じまたは異なるデータバスに沿ってＭＡＣユニットに第２の方向（例えば、下）に渡す。
【0045】
シストリックアレイ１１０は、パイプライン化されたサブ演算、異なるサイズの入力、デバッグなどのさまざまなレベルで演算を実行するように構成することができる。例えば、シストリックアレイ１１０に対する１つの演算は、処理要素のグループによって個別に実行される演算、例えば、２×２または４×４の処理要素のサブ配列によって実行され得る。他の例では、シストリックアレイ１１０は、離散フーリエ変換などのより複雑な演算を実行するように構成するか、またはデータがシストリックアレイ１１０に入出力される方法を管理する異なる制御フローを定義するように構成することができる。シストリックアレイ１１０はまた、シストリックアレイ１１０が乗算するように課されるより大きな行列の一部である入力ブロックに対して、行列乗算などの演算を実行することができる。他の例では、シストリックアレイ１１０の異なる処理ユニットは、異なるタイプの回路または回路の組み合わせ、例えば、加算器、乗算器、アキュムレータ、２つの入力を比較するように構成された回路などを用いて実装することができる。
【0046】
この明細書の例は、シストリックアレイ１１０での行列乗算に対するアルゴリズムベースの耐障害性に焦点を当てているが、本開示の態様は、例えば、本明細書に記載される動作および条件を含む、さまざまな条件のいずれかの下で他のタイプの動作を実行するように構成されたシストリックアレイ上のエラー検出に適用可能であることが理解される。
【0047】
シストリックアレイ１１０は、それぞれの要素について異なるデータタイプを有する入力行列に対して行列乗算を実行するように構成される。例えば、シストリックアレイ１１０は、要素として１および０を有するバイナリ行列に対して行列乗算を実行することができる。要素として正または負の整数を有する整数行列。浮動小数点値を要素などとする浮動小数点行列。要素は、異なるレベルの精度にすることができる。例えば、８ビット整数、または浮動小数点値は、異なる範囲と精度のレベルなどである。
【0048】
本明細書でより詳細に説明するように、垂直チェックサム回路１２０および水平チェックサム回路１１５は、入力される入力行列１４０Ａ、Ｂのチェックサムを生成するように構成される。「垂直」および「水平」チェックサム回路への言及は、シストリックアレイ１１０によって受信される入力の方向に限定することを意図したものではない。しかし、これは、図に示されている回路例に対する入力行列の方向と併せて説明を容易にするために提供されているにすぎない。いくつかの例では、本明細書に記載の垂直チェックサム回路１２０は、列の代わりにアレイの列に沿ってシストリックアレイ１１０に入力を提供するように配向することができ、水平チェックサム回路１１５およびアレイの列ではなく行についてはその逆である。チェックサム回路１１５、１２０は、シストリックアレイ１１０に入力を提供するために、互いに対して任意の方向に配置することができる。
【0049】
チェックサム処理要素１３０は、入力行列Ａ１４０Ａの各列に対して生成されたチェックサムを記憶するための追加の処理要素を含む。各列が垂直チェックサム回路１２０によって処理されると、結果のチェックサムがチェックサム処理要素１３０に押し出され、これは、シストリックアレイ１１０に通信可能に結合することができ、チェックサム回路１１５、１２０によってそれぞれのチェックサム列または行で増補される入力行列１４０Ａ～Ｂの乗算中に含めることができる。本明細書でより詳細に説明するように、チェックサム処理要素１３０の方向および位置はまた、垂直チェックサム回路１２０の方向および位置に対して変化し得る。
【0050】
出力チェックサム回路１２５は、入力行列Ａ１４０Ａ（およびそのチェックサム）に入力行列１４０Ｂ（およびそのチェックサム）を乗算するシストリックアレイ１１０の積である、結果として生じる出力行列のチェックサムを生成するように構成される。出力行列は、入力行列Ａと入力行列Ｂを乗算した積であるサブ行列と、出力チェックサム回路１２５によって生成されたチェックサム列およびチェックサム行とを含む。出力チェックサム回路１２５は、チェックサム列および行をサブ行列のそれぞれの列または行の合計と比較し、チェックサム値と比較された計算合計との間の不一致によって示されるエラーを検出するように構成される。
【0051】
図２は、本開示の態様による、対応するチェックサムを有するそれぞれの出力行列１４０Ｃを生成するために計算ユニット１００によって処理された例示的な入力行列１４０Ａ、Ｂを示す。
【0052】
この例では、入力行列Ａ１４０Ａ（「行列Ａ」）は、入力行列Ｂ１４０Ｂ（「行列Ｂ」）によって乗算され、これは、Ａ×Ｂとして表すことができる。図２では、入力行列は４×４であり、シストリックアレイ１１０の寸法に一致する。他の例では、入力行列の次元が異なり得る。例えば、行列Ａはｎ×４、行列Ｂは４×ｍであり、ｎ，ｍは正の整数である。本明細書で説明されるように、シストリックアレイ１１０は任意の寸法であり得るので、行列ＡおよびＢの内寸法（この例では４つ）もまた、シストリックアレイ１１０の寸法に基づいて変化し得る。
【0053】
チェックサム回路１１５、１２０の例示的な方向および位置に基づいて、入力行列Ａ１４０Ａ（「入力行列Ａ」）および入力行列Ｂ１４０Ｂ（「入力行列Ｂ」）は、行列の要素がシストリックアレイ１１０によって受信される順序が行列乗算の規則に従って正しい乗算を可能にすることを保証するために最初に操作される。計算ユニット１００を実装するデータ処理システムの一部として構成されたシーケンサは、行列Ａ、Ｂの操作、および入力行列の要素がシストリックアレイ１１０に提供されるタイミングの調整に関連して現在説明されている動作の一部またはすべてを実行するために実装することができる。例示的なデータ処理システムのシーケンサおよび他の構成要素は、図１０Ａを参照して本明細書で説明される。
【0054】
入力行列Ａは転置され（ＡＴ）、その列のそれぞれは、１つの時間ステップ、例えば１クロックサイクルによってずらされる。時間ステップは、１つまたは複数のクロックサイクルまたは期間を定義することができ、これは、タイミング回路、例えば、図１０Ａを参照して本明細書で説明されるタイミング回路によって管理することができる。転置された行列ＡＴの各列は、垂直チェックサム回路１２０のそれぞれの処理要素を通過する。図３を参照して本明細書で説明したように、垂直チェックサム回路１２０は、転置行列ＡＴの各列（それぞれが元の入力行列Ａの行に対応する）に対してチェックサムを生成する。垂直チェックサム回路１２０は、転置行列ＡＴの受信要素を処理した後、受信した要素をシストリックアレイ１１０に渡して行列乗算を行う。生成されたチェックサムは、チェックサム処理要素１３０にも押し出される。
【0055】
計算ユニット１００は、異なるブロックサイズの入力行列を受信するように構成することができる。計算ユニット１００は、より大きな入力のサブ行列である複数の行列を受信することができる。例えば、計算ユニット１００は、１２８×１２８要素であり得、ブロック行列乗算を行うように構成することができ、元の入力行列は大きく、例えば、４，０９６×４，０９６要素である。「Ａ」入力行列は１２８×１２８要素であり得、計算ユニット１００への「Ｂ」入力行列は１０２４×１２８要素であり得る。
【0056】
入力行列Ｂもまた、その要素が水平チェックサム回路１１５によって受信される前に前処理される。入力行列Ｂは逆（Ｂｒ）であるため、各行の各要素の位置が入れ替わる。例えば、第１の要素は最後の要素、第２の要素が最後から第２の要素などになる。逆行列Ｂｒも、各行の１つの時間ステップによってずらされる。図４を参照して本明細書で説明したように、水平チェックサム回路１１５は、逆行列Ｂｒの各行に対してチェックサムを生成する。水平チェックサム回路１１５は、逆行列Ｂｒの受信要素を処理した後、受信した要素をシストリックアレイ１１０に渡して行列乗算を実行する。
【0057】
いくつかの例では、行列Ａの要素または行列Ｂの要素は、シストリックアレイ１１０にロードされ、例えば、シストリックアレイ１１０のそれぞれの処理要素にロードされた１つの要素であり、次に、他の行列の要素は、シストリックアレイ１１０にストリーミングされる。例えば、入力行列Ａは、ニューラルネットワークの層の重みに対応する重み行列であり得、一方、入力行列Ｂは、ニューラルネットワーク層の重みを乗算するための入力値を含み得る。行列Ａの要素は、例えば、ラッチまたは重み負荷によってシストリックアレイ１１０にロードされてもよく、行列Ｂの要素は、処理のためにシストリックアレイ１１０にストリーミングされ得る。入力行列のストリーミング要素または負荷要素の選択は、入力行列の次元に依存し得、例えば、より広いまたはより高い行列をシストリックアレイにストリーミングすることができ、一方、シストリックアレイ１１０に適合する行列をロードすることができる。出力行列Ｃ１４０Ｃ（「行列Ｃ」）は、シストリックアレイ１１０からストリーミングアウトすることができ、またはいくつかの例では、乗算が完了した後にのみシストリックアレイ１１０から完全に押し出すことができる。
【0058】
多数の時間ステップが経過した後、例えば行列乗算を実行するためのシストリックアレイの処理要素の構成と数に基づいて、出力チェックサム回路１２５は、行列Ｃの要素を受信し始める。入力行列ＡおよびＢがずれているため、行列Ｃの要素もまたずれる。しかし、いくつかの例では、シストリックアレイ１１０は、出力固定シストリックアレイとして構成することができ、出力行列Ｃの要素は、乗算が完了するまでシストリックアレイ１１０に留まり、その後、出力チェックサム回路１２５を介してのみポップアウトされる。図５を参照してより詳細に説明するように、出力チェックサム回路１２５は、出力行列チェックサムを生成し、それらの値を出力行列Ｃからのチェックサムと比較する。生成されたチェックサムが出力行列Ｃのチェックサムと一致しない場合、出力チェックサム回路１２５は、エラーが検出されたことを示すフラグまたは他の表示を立てることができる。
【0059】
出力行列Ｃは、データサブ行列とチェックサム部分の２つの部分を有する。出力行列Ｃのチェックサム部分は、出力行列Ｃのチェックサム行２０２の破線の輪郭と、列チェックサム２０４の点線の輪郭で示される、出力行列Ｃの周囲の要素によって示される。チェックサム行列のデータサブ行列１４０Ｄは、クロスサッチ要素によって示される。データサブ行列１４０Ｄは、チェックサムを追加せずに、入力行列ＡおよびＢの積に対応する。チェックサム行２０２、列チェックサム２０４を含む全体的な出力行列Ｃ（要素１４０Ｃ）およびデータサブ行列１４０Ｄは、行列ＡおよびＢと、水平および垂直チェックサム回路１１５、１２０によって生成されるそれぞれのチェックサム行または列との積に対応する。
【0060】
行および列２０２、２０４のチェックサムは、出力行列Ｃの右上隅の要素によって示される共通の要素を共有することに留意されたい。出力行列Ｃの行および列２０２、２０４のチェックサムは、出力チェックサム回路１２５がチェックサム生成および比較を実行した後に破棄することができる。
【0061】
全体として、水平、垂直、および出力チェックサム回路の導入により、時間ステップの増加に関して追加コストが低くなるか、追加コストがかからなくなり、すなわち、水平／垂直チェックサム回路の場合にシストリックアレイ１１０に入力を渡すのに、またはシストリックアレイ１１０からの出力要素を出力チェックサム回路１２５からのそれぞれの宛先に渡すのに必要な追加の時間ステップである。必要な追加のロジックはまた、例えば、アレイ内の処理要素の数ではなく、アレイの次元の長さのみが増加する、２次元シストリックアレイに対して線形にスケーリングする。
【0062】
図３は、垂直チェックサム回路１２０およびチェックサム処理要素１３０のブロック図である。チェックサム処理要素１３０は、シストリックアレイ１１０の処理要素と同様に構成することができるチェックサム処理要素１３０Ａ、Ｂ、Ｃ、およびＤを含む。いくつかの例では、垂直チェックサム回路１２０によって提供されるエラーチェック機能は、例えば、ユーザ入力に基づいて、無効にすることができる。場合によっては、チェックサム処理要素１３０は、エラーチェックが無効になっている場合でも、シストリックアレイ１１０上で行列乗算を実行する一環として使用することができる。
【0063】
垂直チェックサム回路１２０は、いくつかの加算回路３０５Ａ、Ｂ、およびＣ（「加算回路３０５」）を含む。レジスタ３１０Ａ、Ｂ、Ｃ、およびＤ（「レジスタ３１０」）も同様である。レジスタ３１０は、例えば、フリップ／フロップ回路のそれぞれのグループとして、回路にデータを記憶するためのさまざまな技術のいずれかに従って実装することができる。加算回路３０５は、２つの入力を受信し、その結果生じる２つの入力の合計を生成するように構成された回路を構築するためのさまざまな技術のいずれかに従って実装することができる。加算回路３０５の数は、入力行列の行入力の長さに応じて変化する。本明細書で提供される例は、４×４の入力行列に焦点を合わせており、したがって、垂直チェックサム回路１２０は、３つの加算回路および４つのレジスタを含む。
【0064】
垂直チェックサム回路１２０は、図２に記載されているように、入力行列Ａを受信し、１つの時間ステップ（ＡＴ）によって転置およびずらされる。第１の行の入力は、入力行列ＡＴ（図３では入力行列１４０ＡＴとして示される）によって受信される。入力行列１４０ＡＴの第１の行は、入力行列Ａの第１の列に対応する。入力行列１４０ＡＴは、要素ａ１、ａ２、ａ３、ａ４、ａ５、ａ６、ａ７、ａ８、ａ９、ａ１０、ａ１１、ａ１２、ａ１３、ａ１４、ａ１５、およびａ１６を含む。
【0065】
一般に、垂直チェックサム回路１２０は、チェックサムをチェックサム処理要素１３０に押し出す前に、チェックサムの部分合計をレジスタ３１０Ａ～Ｃに累算し、計算されたチェックサムをレジスタ３１０Ｄに記憶する。入力はずらされているため、第１の時間ステップで、垂直チェックサム回路１２０は入力ａ１を受信する。入力ａ１はレジスタ３１０Ａに記憶され、処理のためにシストリックアレイ１１０にも渡される、すなわち、シストリックアレイ上の行列乗算アルゴリズムによる行列乗算。
【0066】
第２の時間ステップでは、入力ａ１および入力ａ２は加算回路３０５Ａによって受信される。ａ１＋ａ２の部分合計はレジスタ３１０Ｂに記憶される。入力ａ２は、シストリックアレイ１１０にも渡される。図３には示されていないが、第２の時間ステップにおいても、ａ１の上の次の入力ａ５はレジスタ３１０Ａに記憶され、シストリックアレイ１１０にも渡される。
【0067】
第３の時間ステップで、加算回路３０５Ｂは、入力ａ３を用いて、レジスタ３１０Ｂに記憶された部分合計を加算する。加算回路３０５Ｂによって生成された更新された部分合計は、レジスタ３１０Ｃに記憶される。入力ａ３は、シストリックアレイ１１０にも渡される。また、ａ１と同じ列の次の入力（入力ａ９）がレジスタ３１０Ａに渡され、レジスタ３１０Ａの以前の内容がａ２と同じ列の次の入力ａ６に加算され、レジスタ３１０Ｂに記憶される。
【0068】
第４の時間ステップで、加算回路３０５Ｃは、入力ａ４を用いて、レジスタ３１０Ｃに記憶された部分合計を加算する。加算回路３０５Ｃは最後の加算器であるため、Ａの第１列（すなわち、ＡＴの第１の行）のチェックサムを生成する。チェックサムはレジスタ３１０Ｄに記憶される。入力ａ４もシストリックアレイ１１０に渡され、入力行列Ａの連続する入力（ａ７）はシストリックアレイ１１０に渡され、レジスタ３１０Ａ～Ｃにわたってそれぞれの部分合計を更新するために加算される。
【0069】
第５の時間ステップで、レジスタ３１０Ｄに記憶されたチェックサムは、チェックサム処理要素１３０の最後の利用可能な処理要素に押し下げられる。例えば、入力行列Ａ（入力ａ１～ａ４）の第１の列に対して生成されたチェックサムは、処理要素１３０Ｄに押し出される。また、第５の時間ステップで、入力ａ８が押し出され、入力行列Ａの第２の列のチェックサムを計算して、レジスタ３１０Ｄに記憶することができる。後続の時間ステップで、第２の列（入力ａ５～ａ８）のチェックサムが処理要素１３０Ｃに押し出され、次に処理要素１３０Ｂの第３の列（入力ａ９～ａ１２）の第３のチェックサム、および第４の列（入力ａ１３～ａ１６）のチェックサムは、チェックサム処理要素１３０Ａに押し出される。
【0070】
入力行列Ａのチェックサムが生成された後、シストリックアレイ１１０は、例えば、各チェックサムを入力行列Ｂの対応する行と乗算することによって、チェックサム処理要素１３０に記憶されたチェックサムを使用して、チェックサムの対応する行および列を有する出力行列Ｃを生成することができる。
【0071】
前の例では、転置行列ＡＴの各行の要素を合計することによって入力行列Ａの列チェックサムを生成することを説明したが、垂直チェックサム回路１２０は、チェックサムを生成するための任意の線形演算、例えば、定数値または係数を加算して乗算するか、チェックサム行に所定のベクトルを乗算するように構成できることが理解される。
【0072】
図４は、水平チェックサム回路１１５のブロック図である。水平チェックサム回路１１５は、多数の加算回路４０５Ａ～Ｄ（「加算回路４０５」）、レジスタ４１０Ａ～Ｄ（「レジスタ４１０Ａ～Ｄ」）、マルチプレクサ４１５Ａ～Ｄ（「マルチプレクサ４１５」）を含む。加算回路４０５およびレジスタ４１０は、図３に示される加算回路３０５およびレジスタ３１０を参照して本明細書で説明されるように実装することができる。マルチプレクサ４１５は、対応するレジスタの値または対応する入力値のいずれかをシストリックアレイ１１０に渡すように構成された２対１のマルチプレクサであり得る。マルチプレクサは、意思決定回路の任意のバリアントで置き換えることができ、例えば、複数の入力の間で選択し、選択されていない入力をゲートするように構成された、水平チェックサム回路１１５の特定の部分を無効および有効するために１つまたは複数の制御信号によって制御されるスイッチ、または１つまたは複数の回路。
【0073】
水平チェックサム回路１１５は、図３に記載されているように入力行列Ｂを受信し、逆でずらされている（Ｂｒ）。説明を簡単にするために、入力は昇順で表示される。入力行列Ｂｒが受信する第１の列の入力（つまり、入力行列Ｂの最後の列の入力）は、要素ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６、ｂ７、ｂ８、ｂ９、ｂ１０、ｂ１１、ｂ１２、ｂ１３、ｂ１４、ｂ１５、およびｂ１６が含まれる。
【0074】
一般に、水平チェックサム回路１１５は、チェックサムの部分合計をレジスタ４１０Ａ～Ｄに累算し、制御信号に基づいて、レジスタ４１０Ａ～Ｄの内容を完了したチェックサムとしてシストリックアレイ１１０にいつ押し出すかを決定する。例えば、制御信号、例えば、ｉｓ＿ｃｈｅｃｋｓｕｍフラグは、入力行列Ａの内寸法のサイズに基づいて、マルチプレクサ４１５Ａからマルチプレクサ４１５Ｄに伝播することができる。本明細書で説明するように、入力行列Ｂは、入力行列Ａ（例えば、４×ｍ）よりもはるかに長い（例えば、ｎ×４）可能性がある。したがって、チェックサムは、入力行列Ｂのセグメントにわたって生成され、定期的にシストリックアレイ１１０に送信される。制御信号により、水平チェックサム回路１１５は、シストリックアレイ１１０に渡されるデータが、いつ行列Ｂからの通常の入力であるか、または生成されたチェックサムであるかを決定することができる。制御信号に基づいて、水平チェックサム回路１１５はチェックサムを渡し、行列Ｂからの新しい入力セットに対する部分合計の累積をリセットすることができる。制御信号は、計算ユニット１００に通信可能に結合されたシーケンサによって自動的に提供することができ、および／または入力行列Ａおよび入力行列Ｂに対して行列乗算を実行するために計算ユニット１００によって実行される命令を含むソフトウェアによってプログラム的に提供することができる。
【0075】
例えば、制御信号を受信するまで、マルチプレクサ４１５Ａは、入力行列Ｂからシストリックアレイ１１０に入力を渡すように構成される。制御信号を受信すると、マルチプレクサ４１５Ａは、代わりに、レジスタ４１０Ａの内容をシストリックアレイ１１０に渡して処理する。マルチプレクサ４１５Ａへの制御信号のタイミングは、入力行列Ａの対応する行チェックサムの完了と一致する必要がある。例えば、入力行列Ｂの行の各入力を受信して累算するための適切な数の時間ステップが経過した後、制御信号をマルチプレクサ４１５Ａに渡すことができる。水平チェックサム回路１１５について時間ステップごとに実行される動作の内訳の例が次に続く。
【0076】
入力がずらされているため、第１の時間ステップで、水平チェックサム回路１１５は、入力ｂ１３を受信する。レジスタ４１０Ａは、最初は空であるため、入力ｂ４はレジスタ４１０Ａの内容、すなわちゼロに加算される。マルチプレクサ４１５Ａは、制御信号をチェックし、制御信号がない場合、入力ｂ４をシストリックアレイ１１０に渡す。
【0077】
第２の時間ステップでは、水平チェックサム回路１１５は、入力ｂ８を受信する。登録された４１０Ｂが最初に空であるので、入力ｂ８はレジスタ４１０Ｂの内容、すなわちゼロに加えられる。マルチプレクサ４１５Ｂは、制御信号をチェックし、制御信号が存在しない場合、入力ｂ８をシストリックアレイ１１０に渡す。同時に、水平チェックサム回路１１５は、ｂ４に続く次の入力ｂ３も受信する。
【0078】
第３の時間ステップでは、水平チェックサム回路１１５は、入力ｂ１２を受信する。入力ｂ１２は、レジスタ４１０Ｃの内容に加算される。水平チェックサム回路１１５はまた、入力行列Ｂの上位行から連続する入力を受信し、それぞれの受信入力をレジスタ４１０Ａ～Ｃに記憶されたそれぞれの部分合計に加算する。水平チェックサム回路１１５は、入力ｂ７およびｂ２も受信する。
【0079】
第４の時間ステップでは、水平チェックサム回路１１５は、入力ｂ１６を受信する。入力ｂ１６は、レジスタ４１０Ｄの内容に加算され、マルチプレクサ４１５Ｄによってシストリックアレイに渡される。水平チェックサム回路１１５は、入力ｂ１１、ｂ６、およびｂ１も受信する。
【0080】
また、第４の時間ステップ中に、マルチプレクサ４１５Ａは、レジスタ４１０Ａの内容が行列Ｂの第１の行のチェックサムであることを示す制御信号を受信する。この時間ステップにおいて、レジスタ４１０Ａは、合計ｂ４＋ｂ３＋ｂ２＋ｂ１を含む。マルチプレクサ４１５Ａは、チェックサムをレジスタ４１０Ａからシストリックアレイ１１０に押し出して、行列乗算演算に含まれる。次に、レジスタ４１０Ａはゼロにリセットされ、次の入力セットのチェックサムの計算を開始する。制御信号は、次のマルチプレクサ、すなわちマルチプレクサ４１５Ｂに押し下げられる。
【0081】
第５の時間ステップにおいて、マルチプレクサ４１５Ｂは、レジスタ４１０Ｂの内容をシストリックアレイ１１０に押し出す。第５の時間ステップによって、レジスタ４１０Ｂは、合計ｂ８＋ｂ７＋ｂ６＋ｂ５を含むことができる。レジスタ４１０Ｂがクリアされ、制御信号が次のマルチプレクサであるマルチプレクサ４１５Ｃに押し下げられる。
【0082】
第６の時間ステップにおいて、マルチプレクサ４１５Ｃは、レジスタ４１０Ｃの内容をシストリックアレイ１１０に押し出す。第６の時間ステップによって、レジスタ４１０Ｃは、合計ｂ１２＋ｂ１１＋ｂ１０＋ｂ９を含むことができる。レジスタ４１０Ｃがクリアされ、制御信号が次のマルチプレクサであるマルチプレクサ４１５Ｄに押し下げられる。
【0083】
第７の時間ステップにおいて、マルチプレクサ４１５Ｄは、レジスタ４１０Ｄの内容をシストリックアレイ１１０に押し出す。第７の時間ステップによって、レジスタ４１０Ｄは、合計ｂ１６＋ｂ１５＋ｂ１４＋ｂ１３を含むことができる。レジスタ４１０Ｄはクリアされる。後続の時間ステップにおいて、水平制御回路１１５は、その行のそれぞれで、行列Ｂからの入力の新しいグループのための新しいそれぞれのチェックサムを生成することができる。
【0084】
いくつかの例では、垂直チェックサム回路１２０は、行列Ａからの入力または生成されたチェックサムがシストリックアレイ１１０に渡されるかどうかを管理するマルチプレクサで構成される。例えば、垂直チェックサム回路１２０は、シストリックアレイ１１０に収まり得るものよりもはるかに長い入力行列を受信し得、その内容は代わりにシストリックアレイ１１０にストリーミングされる。これらの例では、チェックサム処理要素１３０は使用されないか、または代わりに水平チェックサム回路１１５によって使用され得る。例えば、チェックサム処理要素１３０は、シストリックアレイ１１０にストリーミングされないが、代わりに処理要素１１０Ａ～Ｐに直接ロードされる入力行列を受信するときに、水平チェックサム回路１１５によって使用され得る。これらの例では、チェックサム処理要素１３０は、シストリックアレイ１１０への追加の行として配置することができる。他の例では、水平および垂直チェックサム回路１１５、１２０の両方が、ストリーミング入力を処理するために、本明細書に記載されるようにマルチプレクサで構成することができる。いくつかの実装形態では、チェックサム回路１１５、１２０、およびチェックサム処理要素１３０の特定の方向および位置は、シストリックアレイ１１０が入力を受信するように構成される方向に基づいて変化し得る。
【0085】
前の例では、各行の要素を合計することによって入力行列Ｂの行のチェックサムを生成することを説明したが、垂直チェックサム回路１２０は、チェックサムを生成するための任意の線形演算を実行、例えば、定数値または係数を加算して乗算するか、チェックサム行に所定のベクトルを乗算するように構成できることが理解される。水平チェックサム回路１１５に対する追加の考慮事項は、シストリックアレイ１１０の有効な入力であるチェックサムを生成することである。浮動小数点などの一部のデータタイプは、入力行列の個々の要素の非常に大きな合計を表すのに十分な精度を備え得るが、例えばシストリックアレイ１１０は、例えば、行列乗算の低精度整数値、例えば８ビットの量子化値を有する行列用に構成され得る。水平チェックサム回路１１５によって計算されたチェックサムは、シストリックアレイ１１０への入力よりも精度を必要とし得る。
【0086】
シストリックアレイのハードウェアまたは構成を変更せずにこの潜在的な問題に対処するために、いくつかの例では、水平チェックサム回路１１５は、何らかの値、例えばシストリックアレイ１１０によってサポートされる最大値を法とするチェックサムを生成するように構成することができる。他の例では、ガロア体演算を適用して、チェックサムを表すのに必要な精度を、シストリックアレイ１１０で乗算される行列の要素を表す精度と同じにすることができる。これらの例では、水平チェックサム回路１１５は、ガロア体演算を実行するように構成された追加の回路で構成することができる。
【0087】
水平および垂直チェックサム回路による動作例は、連続する時間ステップにわたって実行されるものとして説明されているが、水平チェックサム回路および垂直チェックサム回路の動作を、シストリックアレイ１１０の処理要素によって実行される動作と同期させるために、必要に応じて、いくつかの遅延またはアイドル時間ステップが挿入され得ることが理解される。
【0088】
図５は、出力チェックサム回路１４０Ｃのブロック図である。出力チェックサム回路１４０Ｃは、出力行列Ｃのデータサブ行列１４０Ｄの行および列からチェックサムを生成するように構成される。図２を参照して説明したように、出力行列Ｃは、チェックサム行２０２、チェックサム列２０４、およびデータサブ行列１４０Ｄを含む。後者は、水平および垂直チェックサム回路によって生成されたチェックサム行とチェックサム列を除いた行列ＡとＢの積に対応する。データサブ行列１４０Ｄは、出力要素ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、ｄ７、ｄ８、ｄ９、ｄ１０、ｄ１１、ｄ１２、ｄ１３、ｄ１４、ｄ１５、およびｄ１６を有する。チェックサム行２０２は、チェックサムｃ１、ｃ２、ｃ３、ｃ４、およびｃ５を有する。チェックサム列２０４は、チェックサムｃ５、ｃ６、ｃ７、ｃ８、およびｃ９を有する。
【0089】
いくつかの例における出力チェックサム回路１４０Ｃは、水平および垂直チェックサム回路１１５、１２０の組み合わせであり得る。レジスタ５００Ａ～Ｄおよび加算回路５０２Ａ～Ｃは、水平チェックサム回路１１５の加算回路およびレジスタと同様に構成することができる。
【0090】
入力行列ＡおよびＢは、それぞれの要素がシストリックアレイ１１０に押し出される前にずれるため、出力行列Ｃの入力要素も、シストリックアレイ１１０から押し出されるときにずれる。出力チェックサム回路１４０Ｃは、出力行列Ｃの各行に対してチェックサムを生成し、それをチェックサム列２０４の対応するチェックサムと比較する。例えば、出力ｄ１３、ｄ１４、ｄ１５、およびｄ１６は、図３および入力行列１４０ＡＴの行入力を参照して本明細書で説明されるように、レジスタ５００Ａ～Ｄ、および加算回路５０２Ａ～Ｄを通過する。５００Ｄが入力、すなわち、出力ｄ１３、ｄ１４、ｄ１５、およびｄ１６から生成されたチェックサムを受信すると、比較回路５０５は、レジスタ５００Ｄ内のチェックサムを、チェックサム列２０４から押し出された第１のチェックサム、すなわち、チェックサムｃ９と比較する。
【0091】
チェックサムｃ９がレジスタ５００Ｄの内容と一致する場合、エラーチェックは成功する。チェックサムｃ９がレジスタ５００Ｄの内容と一致しない場合、出力チェックサム回路１２５はエラーを発生させる。エラーの発生に応答して、計算ユニット１００は、図２を参照して本明細書で説明するように、さまざまなアクションのうちの１つまたは複数を実行することができる。出力チェックサム回路１２５は、チェックサム列２０４に対応するチェックサムを用いて、データサブ行列１４０Ｄの各行チェックサムを計算し続けることができる。例えば、比較回路５０５は、合計ｄ９＋ｄ１０＋ｄ１１＋ｄ１２をチェックサムｃ８、合計ｄ５＋ｄ６＋ｄ７＋ｄ８をチェックサムｃ７、合計ｄ１＋ｄ２＋ｄ３＋ｄ４をチェックサムｃ６、合計ｃ１＋ｃ２＋ｃ３＋ｃ４をチェックサムｃ５と比較する。
【0092】
出力チェックサム回路１２５の一部として実装された比較回路は、チェックサムを直接比較するか、または比較されたチェックサム間の差の絶対値を計算することができる。次に、比較回路は、チェックサム間の差の絶対値が所定の閾値内にあるかどうかを決定できる。いくつかの例では、閾値は、例えば、エラーに対するより高いまたはより低い許容を有する使用例に基づいて、プログラム的に定義することができる。他の例では、閾値は、計算ユニット１００の設計時に指定することができる。一部の用途、例えば、一部の機械学習モデルの実行では、絶対精度は不要であり、計算された浮動小数点値である程度のエラーを許容できる。例えば、所定の閾値内で許容される。
【0093】
出力チェックサム回路１２５がデータサブ行列１４０Ｄの各行のチェックサムを生成するが、出力チェックサム回路１２５はまた、出力行列Ｃの列ごとにチェックサムを生成し、生成された各チェックサムをチェックサム行２０２内のそれぞれのチェックサムと比較することもできる。出力チェックサム回路１２５は、加算回路５０４Ａ～Ｅ、デマルチプレクサ５０３Ａ～Ｅ、レジスタ５０７Ａ～Ｅ、レジスタ５１０Ａ～Ｅ、および比較回路５１５Ａ～Ｅを含むことができる。出力チェックサム回路１２５は、デマルチプレクサを含むものとして示されているが、デマルチプレクサ５０３Ａ～Ｅは、例えば、出力チェックサム回路１２５の特定の部分を無効にするかまたは有効にするための制御信号、または例えば制御信号に基づいて、複数の出力のうちの１つに入力を送信するように構成されたスイッチなど、さまざまな異なる意思決定回路のいずれかで置き換えることができることが理解される。
【0094】
例えば、第１の時間ステップにおいて、出力ｄ１３は、（本明細書に記載されるように、出力行列Ｃの第１の行チェックサムを計算するために）レジスタ５００Ａおよびデマルチプレクサ５０３Ａに渡される。デマルチプレクサ５０３Ａ～Ｅは、チェックサム行２０２のチェックサムをそれぞれのレジスタ５１０Ａ～Ｅに送信しながら、出力行列Ｃの列の残りの部分をそれぞれの加算回路５０４Ａ～Ｅおよびレジスタ５０７Ａ～Ｅに送信するように構成される。
【0095】
第２の時間ステップでは、ｄ１３が加算回路５０４Ａに押し出され、加算回路５０４Ａは、出力ｄ１３をレジスタ５０７Ａの内容に加算する。これは、最初はゼロである。また、第２の時間ステップ中に、出力ｄ１４は加算回路５０２Ａおよびデマルチプレクサ５０３Ｂにも押し出される。出力チェックサム回路１２５は、チェックサム行２０２のチェックサムに到達するまで、出力行列Ｃの出力要素を受信し処理し続けることができる。同時に、出力チェックサム回路１２５は制御信号を受信することができ、例えば、水平チェックサム回路１１５に使用される制御信号であり、制御信号の存在に基づいて、チェックサム行２０２のチェックサム値を対応するレジスタ５１０Ａ～Ｅに押し出す。
【0096】
レジスタ５１０Ａの両方の内容に対応するチェックサム、例えばレジスタ５１０Ａのチェックサムｃ１、レジスタ５１０Ｂのチェックサムｃ２、レジスタ５１０Ｃのチェックサムｃ３、レジスタ５１０Ｄのチェックサムｃ４、レジスタ５１０Ｅのチェックサムｃ５がロードされているとき、次に、各比較回路は、記憶されたチェックサムを、生成されレジスタ５０７Ａ～Ｅに記憶されたチェックサムと比較する。例えば、比較回路５１５Ａは、合計ｄ１＋ｄ５＋ｄ９＋ｄ１３をチェックサムｃ１と比較する。比較回路５１５Ｂは、合計ｄ２＋ｄ６＋ｄ１０＋ｄ１４をチェックサムｃ２と比較する。比較回路５１５Ｃは、合計ｄ３＋ｄ７＋ｄ１１＋ｄ１５をチェックサムｃ３と比較する。比較回路５１５Ｄは、合計ｄ４＋ｄ８＋ｄ１２＋ｄ１６をチェックサムｃ４と比較する。比較回路５１５Ｅは、合計ｃ６＋ｃ７＋ｃ８＋ｃ９をチェックサムｃ５と比較する。
【0097】
いくつかの例では、出力チェックサム回路１２５は、検出された異なるエラーの数および重大度に対応する１つまたは複数の測定値またはインジケータを生成するように構成することができる。例えば、出力チェックサム回路１２５は、比較されたチェックサム間の差の絶対値を計算することができ、これは、立てられたフラグに加えて、結合された外部プロセッサに送信することができる。比較されたチェックサム間の差の絶対値は、出力チェックサム回路１２５によって検出されたエラーの重大度の尺度であり得る。例えば、値が大きいほど、値が小さい場合よりも重大なエラーを示すことができる。
【0098】
比較回路５０５によって行われる比較と同様に、比較回路５１５Ａ～Ｅのいずれかが何らかの不一致（または所定の閾値を超える不一致）を識別した場合、その後、出力チェックサム回路１２５は、入力行列ＡおよびＢの行列乗算中にエラーが発生したことを示すフラグを立てることができる。
【0099】
図６は、垂直チェックサム回路６２０および出力チェックサム回路６２５を有するが、水平チェックサム回路はない例示的な計算ユニット６００である。図６にも示されているのは、入力行列６４０Ａ、６４０Ｂ、チェックサム列６０２を備えた出力行列６４０Ｃ、およびチェックサム処理要素６３０である。出力チェックサム回路６２５は、出力行列Ｃの各行チェックサムを生成し、垂直チェックサム回路によって生成されたチェックサムと比較するように構成することができる。
【0100】
水平チェックサム回路を省略しても、依然としてエラー検出が可能であり、複雑さおよび計算ユニット６００への入力がさらに軽減され、水平チェックサム回路１１５を参照して本明細書で説明したように、少なくとも、例えば、計算ユニット６００によって実行可能なプログラムを通じて、制御信号のタイミングを管理する必要がないためである。場合によっては、エラーが発生した場所を具体的に示さずにエラーを検出し、これは、チェックサム行とチェックサム列の両方を比較することによって得られ、実行される修正措置がエラーの正確な位置を必要としない場合には、依然として価値があり得る。例えば、デフォルトの修正措置が前の行列乗算を繰り返すか、計算ユニットをコールドリスタートすることである場合、エラーの正確な位置は必要ない。
【0101】
さらに、水平チェックサム回路を省略することにより、チェックサムを生成するためのロジックをシストリックアレイから完全に分離することができる。図４に戻って参照すると、水平チェックサム回路１１５によって生成されたチェックサムはシストリックアレイ１１０に押し出された。したがって、シストリックアレイ１１０が、例えば、ある精度レベルまでの入力のみを受信するように構成される場合には、シストリックアレイ１１０の入力仕様に従う必要がある。計算ユニット６００は、図４のように水平チェックサム回路を省略しているため、残りのチェックサムは、シストリックアレイ６１０から分離することができるチェックサム処理要素６３０に記憶される。いくつかの例では、垂直チェックサム回路６２０によって生成されたチェックサムは、異なる精度の測定値を有することができ、および／または入力行列の要素とは全く別のタイプであり得る。
【0102】
水平チェックサム回路の省略は、実装することができるチェックサム生成のための異なるタイプの線形演算間のより柔軟な性質を可能にすることができる。例えば、浮動小数点のチェックサムは８ビット整数要素に使用できる。１６ビット整数は８ビット整数要素に使用できる。ガロア体演算またはモジュロ加算または乗算演算は、一般的にチェックサム計算に使用できる。
【0103】
いくつかの実装形態では、垂直チェックサム回路６２０は、入力行列Ａの行の入力要素からチェックサムを生成するための異なる線形演算に基づいて、複数のチェックサム列を生成するように拡張することができる。有限体上に定義されたすべての線形コードについて、同様のエラー検出および修正機能を備えた対応する線形実数コードが存在する場合、ガロア体演算を使用してチェックサムを生成する場合、Ｎ個のチェック記号リードソロモンコードなどの追加のエラー検出プロセスを適用できる。それ以外の場合は、対応する実数コードを使用できる。
【0104】
いくつかの例では、入力行列Ａがストリーミングされ、入力行列Ｂがラッチされるかシストリックアレイにプリロードされる場合、シストリックアレイの計算ユニットは、代わりに、適切に構成された水平チェックサム回路、すなわち、チェックサム処理要素に結合され、図３を参照して本明細書で説明されるようにチェックサム列を生成するように構成された、すなわち、列チェックサムを計算し、水平チェックサム回路によって生成されたチェックサムと比較するように構成される適切に構成された水平チェックサム回路を実装することができる。換言すれば、計算ユニットの異なる実装は、本明細書で説明される全体的なエラー検出機能に影響を与えることなく、シストリックアレイが入力を受信する方法と比較して、チェックサム回路の異なる方向および位置を有することができる。
【0105】
本明細書に記載の計算ユニットは、水平チェックサム回路および垂直チェックサム回路のいずれもなし、一方、または両方を使用して動作するように構成することができる。計算ユニットは、例えば、エラー検出がプログラム的に無効にされているため、水平チェックサム回路も垂直チェックサム回路も使用できない。同じ計算ユニットも、例えば図６を参照して本明細書で説明するように、水平および垂直チェックサム回路の一方のみを使用して動作してエラー検出を実行するように構成することができる。同じ計算ユニットはまた、例えば、図１－５を参照して本明細書で説明されるように、水平および垂直チェックサム回路の両方を使用して動作してエラー検出を実行するように構成することができる。
【0106】
図７は、出力固定シストリックアレイ７１０を有する例示的な計算ユニット７００である。出力固定シストリックアレイでは、各処理要素は、出力行列Ｃ７４０Ｃのそれぞれの出力要素を保持し、入力行列Ａ、Ｂ、７４０Ａ、Ｂは、シストリックアレイ７１０にストリーミングすることができる。行列ＡおよびＢのすべての入力要素が処理されると、出力行列Ｃは、出力チェックサム回路７２５を介して押し出される。計算ユニット７００はまた、垂直チェックサム回路７２０および水平チェックサム回路７１５を含む。両方のチェックサム回路７１５、７２０は、チェックサム処理要素の行７３０Ａ、およびチェックサム処理要素の列７３０Ｂを含むチェックサム処理要素７３０に結合されている。
【0107】
垂直チェックサム回路７２０は、垂直チェックサム回路１２０と同様に構成され、入力行列Ａ７４０Ａ（入力行列Ａおよび行列ＡＴを参照して本明細書で説明されているように、これは元の入力行列の転置バージョンであり得る）の行からチェックサムを生成するように構成される。チェックサム処理要素の列７３０Ｂは、チェックサム処理要素１３０に対応することができ、チェックサム処理要素は、出力チェックサム回路７２５によって後で比較するために使用される生成されたチェックサムを受信および記憶するように構成される。
【0108】
水平チェックサム回路７１５はまた、垂直チェックサム回路１２０と同様に実装することができるが、チェックサム処理要素の対応する行７３０Ａを用いて実装することができる。水平チェックサム回路７１５および行７３０Ａの両方が、処理要素の対応する回路７２０および列７３０Ｂに対して９０度回転している。しかし、水平チェックサム回路７１５は、入力行列Ｂ７４０Ｂの対応する列（または入力行列Ｂ７４０Ｂが転置されている場合は対応する行）のチェックサムを生成するように構成することもできる。
【0109】
出力チェックサム回路７２５は、出力チェックサム回路１２５および図５を参照して前述したように、チェックサムを生成および比較するように構成することができる。水平および垂直チェックサム回路のこの例示的な配置では、チェックサム行７０２が、出力行列７４０Ｃのデータサブ行列７４０Ｄの値の前に、最初に押し出される。出力チェックサム回路７２５は、出力行列７４０Ｃのそれぞれの列の各第１の出力要素を比較回路の対応するレジスタに押し出し、続いてそれぞれの加算回路に結合されたそれぞれのレジスタに残りの列出力要素を累算するように構成することができる。
【0110】
いくつかの例では、出力行列Ｃ７４０Ｃの受信したチェックサムと比較するために別個の部分合計を加算する代わりに、出力チェックサム回路７２５は、チェックサム行からチェックサムを受信し、そのチェックサムから、チェックサムを超える出力行列Ｃ７４０Ｃの各出力要素を減算するように構成することができる。すべての出力要素を減算した後、結果が所定の閾値内でゼロではない、またはゼロに近くない場合、出力チェックサム７２５は、エラーが検出された表示を送信することができる。チェックサム処理要素の行７０４のチェックサムの比較によるエラー検出の結果に応じて（例えば、対応する行の出力要素から減算することによって、またはここで説明するように、各チェックサムを対応する累積チェックサムと比較することによって）、出力チェックサム回路７４０はまた、エラーが発生した場所、例えば、列および行と誤ったチェックサムとの交点で特定することができる。
【0111】
図７を参照して説明した構成では、計算ユニット７００は、例えば、入力の受信および行列乗算の実行において、チェックサム回路７１５、７２０、および７２５によって実装されるエラーチェックロジックを用いて、シストリックアレイのデータパスを完全に分離する。これにより、例えば、データタイプと精度の一致を気にすることなく、行列乗算のためのＡＢＦＴのさまざまな異なる線形演算を増やすことができる（例えば、図６の計算ユニット６００の水平チェックサム回路を省略することを参照して説明したように）。
【0112】
これは、図５を参照して説明した出力チェックサム回路１２５の動作の逆である。ここで、制御信号は、出力チェックサム回路１２５が出力行列１４０Ｃのチェックサムをいつ受信しているかを示すために使用された。いくつかの例における出力チェックサム回路７２５はまた、例えば、大きな入力行列７４０Ａ、Ｂがシストリックアレイ７１０にストリーミングされるときに、制御信号を使用することもできる。これらの例では、制御信号は、終了ではなく、チェックサムの生成および比較のために、出力要素の各グループの最初に出力チェックサム回路１２５に送信することができる。
【0113】
シストリックアレイは、異なる電圧レベルに従って動作することができる。臨界供給電圧は、シストリックアレイの正しい動作に十分な電圧を示す値である。例えば、回路の性能に影響を与える可能性のあるさまざまな環境またはプロセス関連の変動に直面する。臨界供給電圧よりも低いレベルでシストリックアレイに供給される電圧は、例えば、シストリックアレイを動作するために必要なエネルギーが少ないため、エネルギー効率が高くなる可能性があるが、エラー、例えば、前述の変動に直面して、タイミングエラーのリスクがある。タイミングエラーは、修正または対処しないとすぐにさらに深刻なエラーに連鎖する可能性があり、特に処理要素間での入出力の適切なタイミングが重要であるシストリックアレイを使用する計算ユニットでは顕著である。本明細書に記載の計算ユニットを実装するデータ処理システムは、計算ユニットに低減された電圧を供給し、計算ユニットからのエラー検出フラグの受信に応答して必要に応じて電圧を上昇させることができる。シストリックアレイを使用した計算ユニットの通常の動作と比較してエラーが比較的まれであるため、特に複数の計算ユニットが並列実行される場合には、通常、臨界供給電圧レベルを下回る供給電圧でシストリックアレイを実行することにより、時折発生するエラーと修正措置を上回ることができる。
【0114】
計算ユニットは、図１～６を参照して本明細書で説明されるのと同じメカニズムに従って、低電圧に関連するエラーを検出することができる。他のアプローチでは、複数の異なるラッチ、シャドウラッチ、またはフリップ／フロップ回路で追加のロジックが必要であるが、水平、垂直、および出力チェックサム回路はシストリックアレイから独立し、アレイに対する行列乗算やその他の演算の実行を遅らせる必要はない。さらに、出力チェックサム回路の比較回路が生成および受信チェックサムを比較するために使用する所定の閾値は、シストリックアレイに供給される電圧の低下によって引き起こされるより小さなエラーを許容するように調整することができる。
【0115】
制御ロジックは、例えば、計算ユニットを実装するデータ処理システムによって実装され、また、計算ユニットのエネルギー効率をさらに向上させるために、観測されたエラー発生率に応じて、供給される電圧や周波数、例えばデータ処理システムが動作するクロック周波数を調整することもできる。
【0116】
タイミングエラーは、シストリックアレイの処理だけでなく、水平チェックサム回路、垂直チェックサム回路、および／または出力チェックサム回路によって提供されるエラー検出ロジックの実行においても起こり得る。これらの回路のタイミングエラーは、さまざまなアプローチで対処できる。いくつかの例では、より高い電圧を、水平チェックサム回路、垂直チェックサム回路、および出力チェックサム回路のうちの１つまたは複数に供給することができる。他の例では、特殊なトランジスタまたは他の構成要素を垂直、水平、および／または出力チェックサム回路に実装して、本明細書で説明するエラーチェック動作、例えばチェックサムの生成およびチェックサムの比較の実行速度を向上させることができる。
【0117】
さらに他の例では、図８Ａ～Ｃを参照して本明細書に記載されるように、水平チェックサム回路は、時間ステップごとに異なる動作が実行されるので、タイミングのより広いマージンを可能にするように修正することができる。マージンの増加は、エラー検出ロジック自体で発生するタイミングエラーの可能性を軽減できるため、より低い供給電圧で計算ユニットを動作することにより、不正確なエラー検出または検出されないエラーの欠落の可能性を低減できる。
【0118】
図８Ａは、例示的な垂直チェックサム回路８００Ａである。垂直チェックサム回路８００Ａは、長さ８の入力行列の行からチェックサムを生成するように構成される。垂直チェックサム回路８００Ａは、入力ａ０～ａ７を受信することができ、レジスタ８０５Ａ～Ｈおよび加算回路８０４Ａ～Ｈを含む。レジスタ８０５Ｈに記憶された生成されたチェックサムは、チェックサム処理要素８３０に押し出すことができる。入力ａ０～ａ７は、シストリックアレイの処理要素８０３Ａ～Ｈにも押し出される。
【0119】
図８Ｂは、２入力２段パイプライン加算回路を有する例示的な垂直チェックサム回路８００Ｂである。回路８００Ｂは、回路８００Ａの変形版であり、加算回路８０４Ａ～Ｈを２入力２段パイプライン加算回路８２０Ａ、Ｂ、およびＣ（「加算回路８２０」）に置き換えたものである。回路８００Ｂは、チェックサムの生成を遅らせるように構成することができる。加算回路８２０Ａ、Ｂ、Ｃは、２つの時間ステップ、例えば２クロックサイクルのレイテンシを有し、クロックサイクルごとに１つの合計または加算演算のスループットが実行される。各加算回路８２０は、中間加算回路ＡおよびＢを含む２対１加算回路と、中間合計を記憶するための２つの中間加算回路間のレジスタとを含むことができる。
【0120】
垂直チェックサム回路８００Ｂは、入力要素ａ０～ａ７の処理を２つのパイプラインステージ８０６Ａおよび８０６Ｂに分割する。奇数番号の入力要素（例えば、ａ１、ａ３、ａ５、およびａ７）は、ステージ８０６Ａの加算回路８２０Ａを横切って累算され、一方、偶数番号の入力要素（例えば、ａ０、ａ２、ａ４、およびａ６）は、ステージ８０６Ｂの加算回路８２０Ｂを横切って累算される。ステージ８０６Ａ、Ｂを介して生成された部分合計は、加算回路８０６Ｃで一緒に加算され、結果はチェックサム処理要素８３０に渡される。
【0121】
加算回路８２０によって提供される追加のレイテンシは、垂直チェックサム回路８００Ｂが臨界電圧レベル未満で動作している場合でも、垂直チェックサム回路８００Ｂが正しく動作するためのタイミングマージンを増加させ、より低いレベルの供給電圧で動作することによって引き起こされるタイミングエラーの結果として生じる可能性または誤計算を低減する。垂直チェックサム回路８００Ａと比較すると、垂直チェックサム回路８００Ｂは、チェックサムを生成するために３つの追加のクロックサイクルを必要とするが、垂直チェックサム回路８００Ｂにおける追加のレイテンシは、垂直チェックサム回路８００Ｂに接続されたシストリックアレイへの入力要素ａ０～ａ７のスループットに影響を及ぼさず、処理レイテンシに影響を与えない。例えば、シストリックアレイが入力行列を処理するためのクロックサイクル数が増加しない。
【0122】
垂直チェックサム回路８００Ｂの他の例では、垂直チェックサム回路８００Ｂは、異なる数のステージ、および／または異なる数の加算回路もしくは異なる数のクロックサイクルにわたって指定された線形演算に従ってチェックサムを生成するように構成された他の処理回路を含むことができる。
【0123】
図８Ｃは、２サイクルの非パイプライン加算回路８５０を有する別の例示的な垂直チェックサム回路８００Ｃの回路図である。垂直チェックサム回路８００Ｃは、多数の２サイクル加算回路８５０、ならびにフリップ／フロップ回路８６０、８６５、および８７０を含む。２サイクル加算回路は、２つの入力を受信し、２クロックサイクルにわたってこれら２つの入力の合計を生成するように構成される。凡例８８０によって示されるように、フリップ／フロップ回路８６０は、垂直チェックサム回路８００Ｃの回路図において、色付きで実線であり、フリップ／フロップ回路８６５は垂直のサッチマークを有し、フリップ／フロップ回路８７０は対角のサッチマークを有する。いくつかの例では、データを記憶するように構成された他のタイプの回路を、フリップ／フロップ回路８６０、８６５、８７０の代わりに使用することができることが理解される。フリップ／フロップ回路８６０、８６５、および８７０は、異なるクロック周波数で動作する。
【0124】
フリップ／フロップ回路８６０は、クロック周波数φ０で動作する。クロック周波数は、図１０および図１１を参照して本明細書で説明するように、垂直チェックサム回路８００Ｃを実装する計算ユニットに接続されたタイミング回路によって設定することができる。フリップ／フロップ回路８６５および８７０は、異なるそれぞれのクロック周波数φ１およびφ２で動作することができる。クロック周波数φ１とφ２は、チャート８９０で示されるように、異なる位相を有することができる。垂直チェックサム回路８００Ｃも、回路８００Ａと比べてタイミングマージンが増加し、垂直チェックサム回路８００Ｂを参照して本明細書で説明されるように、垂直チェックサム回路８００Ｃを実装する計算ユニットのエラーチェック機能に影響を与えるタイミングエラーの可能性を軽減する。
【0125】
垂直チェックサム回路８００Ｃの他の例では、垂直チェックサム回路８００Ｂは、異なる周波数で動作する異なるフリップ／フロップ回路、および／または加算回路または異なる数のクロックサイクルにわたって指定された線形演算に従ってチェックサムを生成するように構成された異なる数の他の処理回路を含むことができる。
【0126】
図９Ａは、本開示の態様による、計算ユニット上でエラー検出を伴う行列乗算を実行するための例示的なプロセスのフローチャートである。
【0127】
ブロック９０５Ａによれば、計算ユニットのシストリックアレイは、シストリックアレイの第１の方向に沿って第１の入力行列から第１の入力要素を受信する。例えば、第１の入力要素は、例えば、図３を参照して本明細書に記載されるように、シストリックアレイの頂部周辺から受信される入力行列Ａの入力要素であり得る。シストリックアレイは、本開示の態様と一致して実装された対応するチェックサム回路を用いて、任意の方向から入力を受信するように構成できることが理解される。
【0128】
シストリックアレイは、ブロック９１０Ａに従って、シストリックアレイの第２の方向に沿って第２の入力行列から第２の入力要素を受信する。第２の方向は、水平方向、例えば左から右にすることができ、一方、第１の方向は、シストリックアレイの固定方向に対する垂直方向、例えば上から下にすることができる。第２の入力要素は、例えば、図４を参照して本明細書で説明されるように、入力行列Ｂからの入力要素であり得る。
【0129】
ブロック９１５Ａによれば、計算ユニットの第１のチェックサム回路は、シストリックアレイが第１の入力要素を受信する間に、第１の入力要素から第１のチェックサムの１つまたは複数のグループを生成する。第１のチェックサム回路は、垂直チェックサム回路、例えば図１の垂直チェックサム回路１２０であり得る。第１のチェックサムの１つまたは複数のグループは、生成され、後でチェックサム処理要素、例えば、図１のチェックサム処理要素１３０に記憶されるチェックサムの列であり得る。いくつかの例では、チェックサムの１つまたは複数のグループは、異なる線形演算に従って生成されたチェックサムの複数の列または行を参照することができる。いくつかの例では、計算ユニットは、第１および第２のチェックサム回路の一方または両方からチェックサムを受信するように構成された１つまたは複数のチェックサム処理要素を含む。
【0130】
ブロック９２０Ａによれば、計算ユニットの第２のチェックサム回路は、シストリックアレイが第２の入力要素を受信する間に、第２の入力要素から第２のチェックサムの１つまたは複数のグループを生成する。第２のチェックサム回路は、水平チェックサム回路、例えば、図１の水平チェックサム回路１１５であり得る。第２のチェックサム回路は、例えば、水平チェックサム回路１１５および図４を参照して本明細書で説明されるように、チェックサムを生成することができる。いくつかの例では、第２のチェックサム回路への入力行列がシストリックアレイにストリーミングされる場合、第２のチェックサム回路は、回路を横切って制御信号を押し出して、チェックサムをシストリックアレイに押し出しできるタイミングを示し、新しいチェックサムを生成できる。第１および第２のチェックサム回路の一方または両方への制御信号のタイミングは、シストリックアレイにわたって第１または第２の入力値をロードするための時間ステップの数に基づくことができる。時間ステップは、１つまたは複数のクロックサイクルにすることができる。
【0131】
いくつかの例では、シストリックアレイは出力固定シストリックアレイであり、第１および第２のチェックサム回路は両方とも複数のチェックサム処理要素に接続され、チェックサム処理要素は第１および第２のチェックサム回路の一方または両方から生成されたチェックサムを受信するように構成される。複数のチェックサム処理要素は、例えば、図７を参照して本明細書で説明するように、シストリックアレイの周囲に配置することができる。
【0132】
シストリックアレイは、ブロック９２５Ａに従って、第１の入力行列、第２の入力行列、第１のチェックサムの１つまたは複数のグループ、および第２のチェックサムの１つまたは複数のグループから出力行列を生成する。出力行列は、例えば、図２を参照して本明細書で説明されるように、出力行列Ｃであり得る。
【0133】
ブロック９３０Ａによれば、出力チェックサム回路は、出力行列を受信する。図５を参照して本明細書で説明されるように、出力チェックサム回路は、出力行列がシストリックアレイから押し出されるときに出力行列を受信することができる。いくつかの例では、計算ユニットは、第１のチェックサムユニットからのみチェックサムを生成するか、または第２のチェックサムユニットからのみチェックサムを生成する。
【0134】
出力チェックサム回路は、ダイヤモンド９３５Ａに従って、出力行列の計算においてエラーが検出されたかどうかを決定する。エラーが検出された場合（「ＹＥＳ」）、出力チェックサム回路は、ブロック９４０Ａに従って、エラーの発生（または該当する場合はエラー以上）の表示を送信する。それ以外の場合（「ＮＯ」）、プロセス９００Ａは、エラー検出を処理および実行するための新しい入力要素を続行できる。
【0135】
エラー検出の表示に対する応答を受信するまで、シストリックアレイは、臨界電圧よりも低い第１の電圧を受信することができ、これは、図８Ａ～Ｃおよび前述の説明を参照して本明細書に記載されるように事前に決定することができる。表示の送信または１つまたは複数のエラーの識別に応答して、シストリックアレイは、臨界電圧よりも高い第２の電圧を受信し始めることができる。シストリックアレイは、第２の電圧を自動的に受信することも、第２の電圧を別のデバイスによってシストリックアレイに印加することもできる。いくつかの例では、シストリックアレイは、例えば、エラーを検出せずに一定期間が経過した後、自動的に第１の電圧の受信に戻る。
【0136】
第１、第２、および出力チェックサム回路のうちの１つまたは複数は、シストリックアレイの臨界電圧よりも低い電圧を受信し続けることができる。第１、第２、および出力チェックサム回路は、本開示の態様に従って実装して、回路の動作のタイミングマージンを増加させ、電圧の低下に起因するタイミングエラーを軽減することができる。例えば、第１および第２のチェックサム回路の一方または両方は、図８００Ｂを参照して本明細書で説明されるように、２入力２段パイプライン加算回路を含むことができる。別の例として、第１および第２のチェックサム回路の一方または両方は、１つまたは複数の２サイクル加算回路、およびそれぞれが異なるクロック周波数で動作する１つまたは複数のフリップ／フロップ回路を含み得る複数のレジスタを含むことができる。例えば、いくつかのレジスタは第１の周波数で動作し、いくつかは第２の周波数で動作し、そして他のレジスタは第３の周波数で動作し得る。第２と第３の周波数は、異なる位相で、第１の周波数の半分にすることができる。
【0137】
図９Ｂは、本開示の態様による、計算ユニットの処理中のエラーの発生を検出するための例示的なプロセス９００Ｂのフローチャートである。例えば、図９Ａのダイヤモンド９３５Ａによれば、エラーが検出されたかどうかの決定の一部として、プロセス９００Ｂを実行することができる。
【0138】
出力チェックサム回路は、ブロック９１０Ｂに従って、データサブ行列の少なくとも１つの行から、列チェックサムを生成する。データサブ行列は、対応するチェックサム、例えば、図２を参照して説明したように、データサブ行列１４０Ｄなしで、両方の入力行列を処理することによる出力であり得る。例えば、出力チェックサム回路は、出力行列の受信行に出力要素を累算し、チェックサムをレジスタ、例えば、本明細書に記載され、図５に示されるレジスタ５００Ｄに記憶することができる。また、ブロック９１０Ｂによれば、出力チェックサム回路は、データサブ行列の少なくとも１つの列から、列チェックサムを生成する。列チェックサムは、行チェックサムとは独立して生成でき、出力行列の各列に対して並列に生成できる。例えば、出力チェックサム回路は、列チェックサムを生成し、それらを、図５を参照して説明および示されるように、レジスタ５１０Ａ～Ｅなどの回路のそれぞれのレジスタに記憶することができる。いくつかの例では、列と行の両方のチェックサムが出力チェックサム回路によって生成される。他の例では、列チェックサムと行チェックサムのみが生成される。
【0139】
出力チェックサム回路は、ブロック９２０Ｂに従って、行チェックサムを、出力行列の出力チェックサム列のチェックサムと比較する。出力チェックサム列は、例えば、チェックサム列２０４に対応することができる。出力チェックサム回路による比較は、１つまたは複数の比較回路、例えば、図５を参照して説明および示されるように、比較回路５０５によって実行することができる。また、ブロック９２０Ｂによれば、出力チェックサム回路は、列チェックサムを、出力行列の出力チェックサム行のチェックサムと比較する。出力チェックサム行は、例えば、図２に示すように、出力行列Ｃのチェックサム行２０２とすることができる。１つまたは複数の出力チェックサム行は、例えば、図５に記載され示されるように比較回路５１５Ａ～Ｅを使用して、出力チェックサム回路によって並列にチェックすることができる。
【0140】
行／列チェックサムと出力チェックサム列／行のチェックサムとの間の比較は、例として、並列または順番に行うことができる。いくつかの例では、行チェックサムを使用した比較のみが、出力チェックサム列のチェックサムで実行され、列チェックサムと出力チェックサム行ではその逆も同様である。
【0141】
出力チェックサム回路は、ブロック９３０Ｂに従って、行チェックサムと出力チェックサム列のチェックサムとの比較から、出力行列の生成におけるエラーの発生を決定する。出力チェックサム回路は、例えば、比較されたチェックサムが一致するかどうか、またはそれらが所定の閾値内で一致するかどうかを決定することができる。そうでない場合、出力チェックサム回路は、例えば、ブロック９４０Ａおよび図９Ａを参照して本明細書で説明されるように、エラーが発生した表示を送信することができる。また、ブロック９３０Ｂによれば、出力チェックサム回路は、列チェックサムと出力チェックサム行のチェックサムとの比較から、出力行列の生成におけるエラーの発生を決定する。
【0142】
行／列チェックサムと、出力チェックサム列／行における対応するチェックサムとの比較からの決定は、例として、同時に、並行して、または順番に発生することができる。いくつかの例では、出力チェックサム回路は、１つのエラーが検出された後、または閾値数のエラーが検出された後、表示を送信することができる。いくつかの例では、表示は、エラーの重大度の尺度、例えば、比較されたチェックサム間の絶対差を含むことができる。他の例では、表示は、エラーの発生源に関する情報、例えば、チェックサム行のチェックサムとチェックサム列のチェックサムについて検出されたエラーの交差を含むことができる。
【0143】
図１０Ａは、例示的な計算ユニット１０００を実装するデータ処理システム１００１のブロック図である。計算ユニット１０００は、さまざまな異なる計算ユニット、例えば、図１～５を参照して本明細書で説明される計算ユニット１００のいずれかであり得る。計算ユニット１０００は、本明細書全体を通して説明されるように、水平、垂直、および出力チェックサム回路のさまざまな組み合わせのいずれかを実装することができる。
【0144】
データ処理システムは、ホストインターフェース１００５、シーケンサ回路１０１０、１つまたは複数のプロセッサ１０１５、メモリ１０２０、およびタイミング回路１０２５を含むことができる。データ処理システム１００１は、図１１を参照して本明細書で説明されるように、１つまたは複数の物理的場所にわたる１つまたは複数のデバイスに実装することができる。いくつかの例では、説明されるデータ処理システム１００１の構成要素は、さまざまなデータバスまたは他の物理的相互接続インターフェースのいずれかに従ってホストデバイスとインターフェースすることができる１つまたは複数のチップ上に実装することができる。いくつかの例では、データ処理システム１００１は、ネットワーク上の１つまたは複数のデバイス、例えば、クラウドプラットフォームの１つまたは複数のサーバ上に実装することができる。
【0145】
プロセッサ１０１５およびメモリ１０２０は、図１１を参照して本明細書に記載されるように、さまざまな異なるタイプのプロセッサおよびメモリのいずれかであり得る。いくつかの例では、プロセッサ１０１５は、データを処理するために計算ユニット１０００によって実行可能な命令を受信する。例えば、命令は、計算ユニット１０００を使用して動作を実行するために書き込まれたコンピュータプログラムの一部であり得る。
【0146】
シーケンサ回路１０１０は、受信した命令を、計算ユニット１００によって理解される１つまたは複数の信号に変換することができ、これにより、計算ユニット１０００は、さまざまな事前構成された動作のいずれかを実行する。これらの動作は、例えばメモリ１０２０から計算ユニット１０００のシストリックアレイ（図示せず）へデータをロードすることと、シストリックアレイの１つまたは複数の処理要素へデータを移動することと、１つまたは複数の処理要素によってデータを処理することと、シストリックアレイからデータを押し出すことと、を含み得る。シーケンサ回路１０１０はまた、例えば、水平チェックサム回路１１５および図４を参照して本明細書で説明するように、チェックサムが計算ユニット１０００に押し出されるときに制御するための１つまたは複数の制御信号を生成するように構成することができる。
【0147】
ホストインターフェース１００５は、データ処理システムの外部から、例えばプロセッサまたは別のデバイスからデータを受信し、計算ユニット１０００によって生成されたデータ、例えば行列乗算の積を１つまたは複数のデバイスまたはプロセッサに送信するように構成することができる。
【0148】
タイミング回路１０２５は、計算ユニットのタイミング、例えば、そのクロック周波数またはクロックレートを制御するように構成することができる。チェックサム回路の動作に関して本明細書で説明される時間ステップは、タイミング回路１０２５によって管理されるクロックサイクルの観点から測定することができる。
【0149】
データ処理システム１００１はまた、電源１０３０に接続することができる。電源１０３０は、データ処理システムを実装するホストデバイス上で利用可能なバッテリまたは他の形態の電力であり得、あるいは、ホストデバイスの外部にあり、何らかの無線接続または物理接続、例えば有線を介してホストデバイスおよびデータ処理システム１００１に接続されたソースであってもよい。電源１０３０は、プロセッサ１０１５によって、例えば、より高いまたはより低い調整によって管理され得る計算ユニット１０００に電圧を供給することができる。
【0150】
図１０Ｂは、本開示の態様による、計算ユニットへの供給電圧を調整するための例示的なプロセスのフローチャートである。
【0151】
ブロック１０５０によれば、計算ユニットを実装するデータ処理システムは、計算ユニットのシストリックアレイに電圧を印加することができる。供給される電圧は、シストリックアレイの臨界電圧よりも小さくすることができ、これは、計算ユニットの使用例動作、環境要因、および／またはシストリックアレイのアーキテクチャ上の特徴などに基づいて事前に決定することができる。
【0152】
ブロック１０６０によれば、データ処理システムは、計算ユニットから１つまたは複数のエラーの表示を受信し、それに応じて、印加電圧をシストリックアレイの臨界電圧よりも高くする。計算ユニットは、例えば、図９Ａ～Ｂに記載されるようなプロセス９００Ａ～Ｂを実行する一環として、検出されたエラーの表示を送信することができる。データ処理システムは、シストリックアレイに供給される電圧を増加させて、タイミング違反の結果としてさらにエラーが発生するリスクを低減することができる。
【0153】
データ処理システムは、表示の受信に応答して、ブロック１０７０に従って、シストリックアレイの臨界電圧未満の電圧を、計算ユニットの第１のチェックサム回路、第２のチェックサム回路、および出力チェックサム回路のうちの１つまたは複数に印加し続けることができる。前述したように、水平、垂直、出力チェックサム回路は、タイミングエラーのリスクを軽減するために、回路によって実行される動作（例えば、チェックサムの生成、チェックサムの記憶、チェックサムの比較）のタイミングマージンを増やすためのさまざまなアプローチのうちの１つまたは複数に従って構成できる。
【0154】
いくつかの例では、データ処理システムは、ある期間または条件が満たされた後、例えば、計算ユニットからエラーの追加の表示を受信せずに一定期間が経過した後、シストリックアレイへの電圧を低減することができる。いくつかの例では、データ処理システムは、エラーの表示の受信に応じて、計算ユニットによって実行された動作を前のチェックポイントにロールバックしたり、計算に１つまたは複数の動作を再実行させたりするなど、さまざまなアクションを実行できる。
【0155】
図１１は、計算ユニット１０００を含むデータ処理システム１００１を実装するための例示的な環境１１００のブロック図である。システム１００１は、サーバコンピューティングデバイス１１０５など、１つまたは複数の場所に１つまたは複数のプロセッサを有する１つまたは複数のデバイスに実装することができる。ユーザコンピューティングデバイス１１１２およびサーバコンピューティングデバイス１１０５は、ネットワーク１１６０を介して１つまたは複数の記憶デバイス１１３０に通信可能に結合することができる。記憶デバイス１１３０は、揮発性メモリと不揮発性メモリとの組み合わせであり得、コンピューティングデバイス１１１２、１１０５と同じまたは異なる物理的場所にあり得る。例えば、記憶デバイス１１３０は、ハードドライブ、ソリッドステートドライブ、テープドライブ、光学ストレージ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書き込み可能、および読み取り専用メモリなどの情報を記憶できる任意のタイプの非一時的なコンピュータ可読媒体を含み得る。
【0156】
サーバコンピューティングデバイス１１０５は、１つまたは複数のプロセッサ１１１３およびメモリ１１１４を含むことができる。メモリ１１１４は、プロセッサ１１１３によって実行可能な命令１１２１を含む、プロセッサ１１１３によってアクセス可能な情報を記憶することができる。メモリ１１１４はまた、プロセッサ１１１３によって検索、操作、または記憶することができるデータ１１２３を含むことができる。メモリ１１１４は、揮発性および不揮発性メモリなどのプロセッサ１１１３によってアクセス可能な情報を記憶することができる一種の非一時的なコンピュータ可読媒体であり得る。プロセッサ１１１３は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／またはテンソル処理ユニット（ＴＰＵ）などの特定用途向け集積回路（ＡＳＩＣ）を含むことができる。
【0157】
命令１１２１は、プロセッサ１１１３によって実行されると、１つまたは複数のプロセッサに命令によって定義されたアクションを実行させる１つまたは複数の命令を含むことができる。命令１１２１は、プロセッサ１１１３による直接処理のためのオブジェクトコードフォーマット、または要求に応じて解釈されるかまたは事前にコンパイルされる解釈可能なスクリプトまたは独立したソースコードモジュールのコレクションを含む他のフォーマットで記憶することができる。命令１１２１は、本開示の態様と一致するシステム４００を実装するための命令を含むことができる。システム４００は、プロセッサ１１１３を使用して、および／またはサーバコンピューティングデバイス１１０５から遠隔に配置された他のプロセッサを使用して実行することができる。
【0158】
データ１１２３は、命令１１２１に従って、プロセッサ１１１３によって検索、記憶、または修正することができる。データ１１２３は、コンピュータレジスタ、リレーショナルまたは非リレーショナルデータベースに、複数の異なる場およびレコードを有するテーブルとして、またはＪＳＯＮ、ＹＡＭＬ、プロト、またはＸＭＬ文書として記憶することができる。データ１１２３はまた、バイナリ値、ＡＳＣＩＩまたはＵｎｉｃｏｄｅなどのコンピュータ可読フォーマットでフォーマットすることができるが、これらに限定されない。さらに、データ１１２３は、数値、説明テキスト、独自のコード、ポインタ、他のネットワークロケーションを含む他のメモリに記憶されたデータへの参照、または関連するデータを計算するために関数によって使用される情報などの関連情報を識別するのに十分な情報を含むことができる。
【0159】
ユーザコンピューティングデバイス１１１２はまた、１つまたは複数のプロセッサ１１１６、メモリ１１１７、命令１１１８、およびデータ１１１９を用いて、サーバコンピューティングデバイス１１０５と同様に構成することができる。ユーザコンピューティングデバイス１１１２はまた、ユーザ出力１１２６、およびユーザ入力１１２４を含むことができる。ユーザ入力１１２４は、キーボード、マウス、機械式アクチュエータ、ソフトアクチュエータ、タッチスクリーン、マイクロフォン、およびセンサなどの、ユーザから入力を受信するための任意の適切なメカニズムまたは技術を含むことができる。
【0160】
サーバコンピューティングデバイス１１０５は、データをユーザコンピューティングデバイス１１１２に送信するように構成され得、ユーザコンピューティングデバイス１１１２は、ユーザ出力１１２６の一部として実装されたディスプレイ上に受信データの少なくとも一部を表示するように構成され得る。ユーザ出力１１２６はまた、ユーザコンピューティングデバイス１１１２とサーバコンピューティングデバイス１１０５との間のインターフェースを表示するために使用することができる。ユーザ出力１１２６は、代替的または追加的に、１つまたは複数のスピーカー、トランスデューサまたは他のオーディオ出力、触覚インターフェース、またはユーザコンピューティングデバイス１１１２のプラットフォームユーザに非視覚的および非聴覚的情報を提供する他の触覚フィードバックを含むことができる。
【0161】
図１１は、プロセッサ１１１３、１１１６およびメモリ１１１４、１１１７がコンピューティングデバイス１１０５、１１１２内にあるものとして示すが、プロセッサ１１１３、１１１６およびメモリ１１１４、１１１７を含む、本明細書で説明される構成要素は、同じコンピューティングデバイス内ではなく、異なる物理的場所で動作できる複数のプロセッサおよびメモリを含むことができる。例えば、命令１１２１、１１１８およびデータ１１２３、１１１９のいくつかは、取り外し可能なＳＤカードに記憶することができ、他のものは、読み取り専用コンピュータチップ内に記憶することができる。命令およびデータの一部またはすべては、プロセッサ１１１３、１１１６から物理的に離れたが、プロセッサ１１１３、１１１６によってまだアクセス可能である場所に記憶することができる。同様に、プロセッサ１１１３、１１１６は、同時および／または順次動作を実行できるプロセッサのコレクションを含むことができる。コンピューティングデバイス１１０５、１１１２はそれぞれ、タイミング情報を提供する１つまたは複数の内部クロックを含むことができ、これは、コンピューティングデバイス１１０５、１１１２によって実行される動作およびプログラムの時間測定に使用することができる。
【0162】
サーバコンピューティングデバイス１１０５は、ユーザコンピューティングデバイス１１１２からデータを処理する要求を受信するように構成することができる。例えば、環境１１００は、プラットフォームサービスを公開するさまざまなユーザインターフェースおよび／またはＡＰＩを介して、ユーザにさまざまなサービスを提供するように構成されたコンピューティングプラットフォームの一部であり得る。１つまたは複数のサービスは、指定されたタスクおよびトレーニングデータに従ってニューラルネットワークまたは他の機械学習モデルを生成するための機械学習フレームワークまたはツールのセットであり得る。ユーザコンピューティングデバイス１１１２は、計算ユニット１０００によって実行される動作を指定するデータを送受信することができる。
【0163】
デバイス１１１２、１１０５は、ネットワーク１１６０を介して直接および間接通信することができる。デバイス１１０５、１１１２は、情報を送受信するための開始接続を受け入れることができるリスニングソケットをセットアップすることができる。ネットワーク１１６０自体は、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、および１つまたは複数の企業が所有する通信プロトコルを使用するプライベートネットワークを含むさまざまな構成およびプロトコルを含むことができる。ネットワーク１１６０は、さまざまな短距離および長距離接続をサポートすることができる。短距離および長距離接続は、２．４０２ＧＨｚ～２．４８０ＧＨｚ（通常はＢｌｕｅｔｏｏｔｈ（登録商標）標準に関連付けられている）、２．４ＧＨｚおよび１１ＧＨｚ（通常はＷｉ－Ｆｉ（登録商標）通信プロトコルに関連付けられている）などのさまざまな帯域幅で行うことができる。または、無線ブロードバンド通信用のＬＴＥ（登録商標）標準などのさまざまな通信標準を使用する。ネットワーク１１６０は、追加的または代替的に、さまざまなタイプのイーサネット（登録商標）接続を含む、デバイス１１１２、１１０５間の有線接続もサポートすることができる。
【0164】
図１１には、単一のサーバコンピューティングデバイス１１０５、ユーザコンピューティングデバイス１１１２、データ処理システム１００１が示されているが、本開示の態様は、逐次または並列処理のパラダイム、または複数のデバイスの分散ネットワーク上を含む、コンピューティングデバイスのさまざまな異なる構成および数量に従って実装できることが理解される。いくつかの実装形態では、本開示の態様は、単一のデバイス、およびそれらの任意の組み合わせ上で実行することができる。いくつかの例では、１つまたは複数のデバイスは、１つまたは複数のデータ処理システムを実装し、各データ処理システムは、本開示の態様による１つまたは複数の計算ユニットを含む。いくつかの例では、単一のデバイスは、複数の計算ユニットを実装することができ、複数の計算ユニットのそれぞれは、例えば、順次または並列処理において、分散データ処理タスクを実行するために少なくとも１つの他の計算ユニットと通信するように構成される。
【0165】
本開示の態様は、デジタル回路、コンピュータ可読記憶媒体において、１つまたは複数のコンピュータプログラムとして、または前述の１つまたは複数の組み合わせとして実装することができる。コンピュータ可読記憶媒体は、非一時的であり得、例えば、クラウドコンピューティングプラットフォームによって実行可能であり、有形の記憶デバイスに記憶される１つまたは複数の命令としてである。
【0166】
本明細書では、「構成された」という語句は、コンピュータシステム、ハードウェア、またはコンピュータプログラム、エンジン、またはモジュールの一部に関連する異なる文脈で使用される。システムが１つまたは複数の動作を実行するように構成されると言われる場合、これは、システムが、動作中にシステムに１つまたは複数の動作を実行させる、システム上にインストールされた適切なソフトウェア、ファームウェア、および／またはハードウェアを有することを意味する。あるハードウェアが１つまたは複数の動作を実行するように構成されると言われる場合、これは、動作中に入力を受信し、入力に従って１つまたは複数の動作に対応する出力を生成する１つまたは複数の回路をハードウェアが含むことを意味する。コンピュータプログラム、エンジン、またはモジュールが１つまたは複数の動作を実行するように構成されると言われる場合、これは、コンピュータプログラムが１つまたは複数のプログラム命令を含み、１つまたは複数のコンピュータによって実行されると、１つまたは複数のコンピュータが１つまたは複数の動作を実行することを意味する。
【0167】
図面に示され、特許請求の範囲に記載された動作は特定の順序で示されているが、動作は示されているものとは異なる順序で実行することができ、いくつかの動作は省略され、複数回実行され得るおよび／または他の動作と並行して実行され得ることが理解される。さらに、異なる動作を実行するように構成された異なるシステム構成要素の分離は、構成要素を分離する必要があると理解されるべきではない。記述されている構成要素、モジュール、プログラム、およびエンジンは、単一のシステムとして一緒に統合することも、複数のシステムの一部にすることもできる。
【0168】
特に明記しない限り、前述の代替例は相互に排他的ではないが、固有の利点を達成するためにさまざまな組み合わせで実施され得る。上述した特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施例の前述の説明は、特許請求の範囲によって定義される主題を限定するものではなく、例示として解釈されるべきである。さらに、本明細書に記載の実施例の提供、および「例えば」、「含む」などと表現される節は、特許請求の範囲の主題を特定の実施例に限定すると解釈されるべきではない。むしろ、実施例は、多くの可能な実装のうちの１つだけを説明することを意図している。さらに、異なる図面内の同じ参照番号は、同じまたは類似の要素を識別することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図10A】
【図10B】
【図11】
Copyright © 2010-2025 Science Impact Inc. All Rights Reserved.