ホーム > 特許ランキング > ＳＹＮＴＨＡＲＡ ＡＧ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-28
(54)【発明の名称】ニューラルネットワークアクセラレータ
(51)【国際特許分類】
G06N 3/065 20230101AFI20240621BHJP
【ＦＩ】
G06N3/065
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023579442
(86)(22)【出願日】2021-11-25
(85)【翻訳文提出日】2024-02-21
(86)【国際出願番号】 IB2021060991
(87)【国際公開番号】W WO2023275610
(87)【国際公開日】2023-01-05
(31)【優先権主張番号】21182210.1
(32)【優先日】2021-06-28
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】523481115
【氏名又は名称】シンタラ アーゲー
【氏名又は名称原語表記】ＳＹＮＴＨＡＲＡ ＡＧ
【住所又は居所原語表記】Ｊｏｓｅｆｓｔｒａｓｓｅ ２１９ Ｚｕｒｉｃｈ ＳＷＩＴＺＥＲＬＡＮＤ
(74)【代理人】
【識別番号】100134430
【弁理士】
【氏名又は名称】加藤 卓士
(72)【発明者】
【氏名】マヌ ヴィジャヤゴパラン・ナイール
(57)【要約】
コンピューティングエレメントアレイシステムは、複数のコネクションによって接続されたコンピューティングエレメントのアレイを含む。各コンピューティングエレメントは、制御回路、記憶回路、および演算回路を有し、コネクションはそれぞれ２つのコンピューティングエレメントを接続する。記憶回路は、データ値とターゲットタグを含むデータパケットを接続の１つから入力し、記憶する。演算回路は、データ値に対して演算を実行し、処理されたデータ値を生成する。ターゲットタグは、データ値に対して演算を実行するコンピューティングエレメントを特定する。制御回路は、ターゲットタグからコンピューティングエレメントを識別し、識別されたコンピューティングエレメントがコンピューティングエレメントと一致する場合に、演算回路がデータ値を処理する。処理データ値を含むようにデータパケットを修正し、修正データパケットをコネクションで出力する。
【選択図】 図１
【選択図】 図１
【特許請求の範囲】
【請求項1】
複数のコネクションによって接続された複数のコンピューティングエレメントを含むコンピューティングエレメントアレイを備えたコンピューティングエレメントアレイシステムであって、各コンピューティングエレメントは、制御回路、記憶回路、および演算回路を備え、
前記複数のコネクションはそれぞれ、２つの前記コンピューティングエレメントを接続し
前記コンピューティングエレメントアレイ内の各コンピューティングエレメントにおいて、
前記記憶回路は、データ値とターゲットタグとを含むデータパケットを前記複数のコネクションの１つから入力し、前記データパケットを記憶するように動作可能であり、
前記演算回路は、前記データ値に対して演算を実行し、処理データ値を生成するように動作可能であり、
前記ターゲットタグは、前記データ値に対して演算を実行すべきコンピューティングエレメントを指定し、
前記制御回路は、前記コンピューティングエレメントが前記ターゲットタグによって指定されているか判定し、前記ターゲットタグによって指定された前記コンピューティングエレメントにおいては、前記演算回路が前記データ値に演算を実行できるようにし、前記処理データ値を含むように前記データパケットを修正し、前記複数のコネクションの１つに修正データパケットを出力できるように動作するコンピューティングエレメントアレイシステム。
【請求項2】
前記ターゲットタグは、ルーティング値順序リストに含まれた１つ以上のルーティング値を備えた請求項１記載のコンピューティングエレメントアレイシステム。
【請求項3】
前記制御回路は、前記ルーティング値順序リスト内の前記ルーティング値を変更するように動作可能である請求項２に記載のコンピューティングエレメントアレイシステム。
【請求項4】
前記制御回路が、前記ルーティング値順序リストから１つのルーティング値を削除するように動作可能であるか、または、
前記ルーティング値順序リストが、ルーティング値リストポインタを含み、前記制御回路が、前記ルーティング値リストポインタを変更するように動作可能である、請求項３に記載のコンピューティングエレメントアレイシステム。
【請求項5】
前記ルーティング値の少なくとも１つは、前記コンピューティングエレメントを特定するノールート値であり、前記制御回路は、前記ノールート値でコンピューティングエレメントを特定する請求項２～４のいずれか１項に記載のコンピューティングエレメントアレイシステム。
【請求項6】
前記コンピューティングエレメントは、該コンピューティングエレメントを記述するセルフタグを含み、前記ターゲットタグは、１つ以上のコンピューティングエレメント特定情報を含み、
前記制御回路は、前記コンピューティングエレメント特定情報と前記セルフタグとを比較することにより前記コンピューティングエレメントを識別する請求項２～５のいずれか１項に記載のコンピューティングエレメントアレイシステム。
【請求項7】
前記１つ以上のコンピューティングエレメント特定情報は、前記コンピューティングエレメントまたは前記コンピューティングエレメントのオペレーションを識別する請求項６に記載のコンピューティングエレメントアレイシステム。
【請求項8】
前記コンピューティングエレメント特定情報は、コンピューティングエレメント順序リストに含まれ、前記制御回路がコンピューティングエレメント順序リストに含まれるコンピューティングエレメント特定情報を修正するように動作可能である請求項６または７に記載のコンピューティングエレメントアレイシステム。
【請求項9】
前記制御回路が、前記コンピューティングエレメント順序リストから１つのコンピューティングエレメントを削除するように動作可能か、または、前記コンピューティングエレメント順序リストがコンピューティングエレメントリストポインタを含み、前記制御回路が、前記コンピューティングエレメントリストポインタを変更するように動作可能である請求項７または８に記載のコンピューティングエレメントアレイシステム。
【請求項10】
前記制御回路は、前記ターゲットタグを修正して、前記コンピューティングエレメント順序リストにエンドタグを提供するように動作可能である請求項１～９のいずれか１項に記載のコンピューティングエレメントアレイシステム。
【請求項11】
前記ターゲットタグは、前記データ値に対して順次演算を実行する複数の前記コンピューティングエレメントを指定する、請求項１～１０のいずれか１項に記載のコンピューティングエレメントアレイシステム。
【請求項12】
アレイが、２次元グリッド、２次元アレイ、３次元グリッド、３次元アレイ、トーラス、またはリングである、請求項１～１１のいずれか１項に記載のコンピューティングエレメントアレイシステム。
【請求項13】
前記複数のコンピューティングエレメントの少なくとも１つに接続されたデータ制御回路をさらに備え、前記データ制御回路は、前記コンピューティングエレメントアレイの外部からデータパケットを受信し、前記コンピューティングエレメントアレイの外部にデータパケットを送信するように動作可能である請求項１～１２のいずれか１項に記載のコンピューティングエレメントアレイシステム。
【請求項14】
前記データ制御回路は、前記コネクションの１つを介して前記コンピューティングエレメントの少なくとも１つに接続されるか、または、前記データ制御回路は、バスを介して前記コンピューティングエレメントの少なくとも１つに接続される請求項１３に記載のコンピューティングエレメントアレイシステム。
【請求項15】
前記データ制御回路は、前記コンピューティングエレメントアレイからデータパケットを受信し、前記データパケットを前記コンピューティングエレメントアレイに返すように動作可能である請求項１３または１４に記載のコンピューティングエレメントアレイシステム。
【請求項16】
前記データ制御回路が、前記コンピューティングエレメントの少なくとも１つに接続されている請求項１３～１５のいずれか１項に記載のコンピューティングエレメントアレイシステム。
【請求項17】
前記データ制御回路が前記コンピューティングエレメントから受信したデータパケットは、エンドタグまたはノールート値を含み、前記データ制御回路は、データ値をコンピューティングエレメントアレイの外部に送信するように動作可能である請求項１３～１６のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項18】
前記データ制御回路が前記コンピューティングエレメントから受信したデータパケットのターゲットタグは、エンドタグもノールート値も含まず、前記データ制御回路は、データ値を前記コンピューティングエレメントの１つに送信するように動作可能である請求項１３～１７のいずれか一項に記載のコンピューティングエレメントアレイにおいて、
【請求項19】
前記コネクションは双方向接続である請求項１～１８のいずれか一項に記載のコンピューティングエレメントアレイ。
【請求項20】
前記演算回路が、（ｉ）行列－ベクトル積演算、
（ｉｉ）加算、
（ｉｉｉ）累積、
（ｉｖ）乗算、
（ｖ）変換、
（ｖｉ）フィルタ演算、
（ｖｉｉ）テーブルルックアップ、または、
（ｖｉｉｉ）（ｉ）～（ｖｉｉ）の任意の組み合わせを実行するように動作可能である請求項１～１９のいずれか一項に記載のコンピューティングエレメントアレイ。
【請求項21】
前記コンピューティングエレメントの少なくとも１つが設定変更可能（configurable）である請求項１～２０のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項22】
前記コンピューティングエレメントの少なくとも１つが１つ以上の設定変数を記憶できる請求項２１に記載のコンピューティングエレメントアレイ。
【請求項23】
前記設定変数の少なくとも１つは、セルフタグ、計算定数、または動作設定を含む請求項２１または２２に記載のコンピューティングエレメントアレイ。
【請求項24】
前記コンピューティングエレメントは、（ｉ）ルーティングノード、（ｉｉ）メモリノード、（ｉｉｉ）ルーティングパススルーを実行するように動作可能、（ｉｖ）指定された期間の１つまたは複数のデータ値を記憶するように動作可能、または（ｖ）（ｉ）～（ｉｖ）の任意の組み合わせである請求項１～２３のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項25】
第１のコンピューティングエレメントの演算回路は、第１の演算を実行するように動作可能であり、第２のコンピューティングエレメントの演算回路は、第１の演算とは異なる第２の演算を実行するように動作可能である請求項１～２４のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項26】
コンピューティングエレメントの１つの演算回路は、２つ以上の演算を実行するように動作可能である請求項１～２５のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項27】
前記制御回路は、設定変数に応答する動作を選択するように動作可能である、請求項２６に記載のコンピューティングエレメントアレイ。
【請求項28】
前記制御回路は、前記ターゲットタグまたはルーティング値に応答する動作を選択するように動作可能である請求項２～２７のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項29】
２つ以上のコンピューティングエレメントが同期している請求項１～２８のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項30】
２つ以上のコンピューティングエレメントが非同期である請求項１～２９のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項31】
コンピューティングエレメントの１つ以上が、２つ、３つ、４つ、または８つの隣接するコンピューティングエレメントとコネクションによって接続されている請求項１～３０のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項32】
１つまたは複数のコンピューティングエレメントの記憶回路は、１つ、２つ、３つ、４つ、または８つの隣接するコンピューティングエレメントから入力データを受信するように動作可能であるか、１つ、２つ、３つ、４つ、または８つの隣接するコンピューティングエレメントにデータを出力するように動作可能であるか、またはその両方である、請求項１～３１のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項33】
各コンピューティングエレメントの１つは、設定制御回路に直接または間接的に接続されている請求項１～３２のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項34】
ターゲットタグが数学関数または計算グラフを指定する、請求項１～３３のいずれか１項に記載のコンピューティングエレメントアレイ。
【請求項35】
複数のコネクションによって接続された複数のコンピューティングエレメントを含むコンピューティングエレメントアレイであって、各コンピューティングエレメントは、制御回路、記憶回路、および演算回路を備え、
各コンピューティングエレメントは、前記演算回路によって実行される演算を識別するセルフタグを記憶するように動作可能であり、
前記コンピューティングエレメントアレイ内の各コンピューティングエレメントにおいて、
前記記憶回路は、データパケットを前記複数のコネクションの１つから入力し、前記データパケットを記憶するように動作可能であり、
前記データパケットはデータ値とターゲットタグを含み、前記ターゲットタグは、前記データ値に対して実行すべき演算を指定し、
前記制御回路は、前記ターゲットタグと前記セルフタグとを比較し、前記セルフタグが前記ターゲットタグと一致する場合に、前記演算回路が前記データ値を処理し、処理された前記データ値を含むように前記データパケットを修正し、前記コネクションの１つで前記修正されたデータパケットの出力するように動作可能であり、
前記演算回路は、前記データ値を処理して処理データ値を生成するように動作可能であるコンピューティングエレメントアレイ。
【請求項36】
複数のコネクションによって接続された複数のコンピューティングエレメントを含むコンピューティングエレメントアレイであって、各コンピューティングエレメントは、制御回路、記憶回路、および演算回路を備え、
前記コンピューティングエレメントアレイ内の各コンピューティングエレメントにおいて、
前記記憶回路は、データパケットを前記複数のコネクションの１つから入力し、前記データパケットを記憶するように動作可能であり、
前記データパケットは、データ値と、ルーティング値を指定するターゲットタグとを含み、
前記ルーティング値の１つは、前記演算回路が前記データ値に基づいて動作することを示すノールート値であり、
前記制御回路は、前記ノールート値を識別し、前記ノールート値が識別された場合に前記演算回路が前記データ値を処理し、処理された前記データ値を含むように前記データパケットを修正し、前記コネクションの１つで修正された前記データパケットを出力するように動作可能であり、
前記演算回路は、データ値を処理して処理データ値を生成するように動作可能であるコンピューティングエレメントアレイ。
【請求項37】
記憶値を記憶する１つのラッチと、１つのキャパシタと、スイッチ入力に応答してラッチからキャパシタに電荷を供給する１つのスイッチとを含むユニット乗算器を複数有するユニット乗算器アレイを備えた行列スベクトル乗算器であって、複数の前記ユニット乗算器に含まれる複数の前記キャパシタは電気的に並列に接続され、出力電荷値を提供する行列ベクトル乗算器。
【請求項38】
前記記憶値はアナログ値であり、前記スイッチ入力はアナログ入力であり、前記ユイット乗算器はアナログ乗算器である請求項３７に記載の行列ベクトル乗算器。
【請求項39】
前記記憶値はデジタル値であり、前記スイッチ入力はデジタル入力であり、単位乗算器はデジタル乗算器である請求項３７に記載の行列ベクトル乗算器。
【請求項40】
前記スイッチ入力がデジタル値であり、前記スイッチ入力をアナログ値に変換するために前記スイッチに接続されたデジタル－アナログ変換器を備えた請求項３７に記載のマトリクスベクトル乗算器。
【請求項41】
前記出力値がアナログ電荷値であり、アナログ電荷値を出力デジタル値に変換するためにアナログ電荷値に接続されたアナログデジタル変換器を備える、請求項３７に記載の行列ベクトル乗算器。
【請求項42】
スイッチがバイポーラトランジスタ、ラッチがキャパシタ、またはその両方を含む、請求項３７に記載の行列ベクトル乗算器。
【請求項43】
スイッチ入力、ラッチ、キャパシタ、またはそれらの任意の組み合わせに接続された変換回路を備えた請求項３７に記載の行列ベクトル乗算器。
【請求項44】
記憶値を記憶するラッチと、抵抗器と、前記記憶値をスイッチ入力で乗算してビット値を提供するためにスイッチ入力に応答するスイッチのアレイとを設けたユニット乗算器を複数備えたユニット乗算器のアレイと、前記ビット値を加算して前記記憶値と前記スイッチ入力との積を算出するビット加算器と、
を備えた行列ベクトル乗算器。
【請求項45】
前記ビット加算器がデジタル論理回路である請求項４４に記載の行列ベクトル乗算器。
【請求項46】
Ｎ個のデジタル入力値を提供するベクトル入力回路と、Ｎ行Ｍ列に格納されたデジタルウェイト値のＭｘＮ配列と、
Ｎ個の記憶されたデジタル重み値の各列をＮ個のデジタル入力値で乗算し、各列ＭについてＮ個の積を生成するように動作可能である乗算器のＭｘＮアレイと、
各列ＭのＮ個の積のデジタル値を累積し、Ｍ個の累積値を提供するように動作可能なアキュムレータと、
を備えた行列ベクトル乗算器であって、
Ｎ個のデジタル入力値はそれぞれｉビットであり、格納されたデジタル重み値はそれぞれｊビットであり、
各乗算器はｉ＋ｊビット未満の積を計算する行列ベクトル乗算器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工知能のプロセスアーキテクチャ、処理装置、および処理方法に関し、特に、人工ニューラルネットワークハードウェアに関する。
【背景技術】
【0002】
センサフュージョンは、人工知能システムにとって重要なアプリケーションである。人工知能システムでは、スマートウェアラブルデバイス、拡張現実（ＡＲ）ヘッドセット、ドローン、産業用アプリケーションおよび自動車用アプリケーションなどのデバイスに、音声、カメラ、慣性およびその他のセンサタイプなどの多数の異なるセンサが統合されている。これらのセンサは、特定のタスクに対処するために、共通の理解と表現に統合（融合）されなければならない様々なデータを生成する。データ処理には様々な複雑さがあり、異なるデータ帯域幅を必要となる。さまざまなセンサからのデータが時間とともに変化すると、処理と帯域幅の要件も変化する。エネルギー消費を最小限に抑えながら、さまざまなアプリケーションのこうした変化に対応することは困難であり、現在のソリューションでは十分に対応できていない。
【0003】
人工的なニューラルネットワークは何十年も前から提案されており、最近では、従来の蓄積プログラム型デジタルコンピューター内のソフトウェアシミュレーションとしても、実際の専用電子ハードウェアとしても、さらに発展している。典型的なニューラルネットワークは、様々な強度の相互接続を持つ多層ノードで、一連の入力に応答する。ハードウェアとソフトウェアの両方のニューラルネットワークはアダプティブであり、既知のよいアウトプットを実現するデータを供給して相互接続の強さを変えることによって、つまりトレーニングすることにより結果を改善することができる。
【0004】
現代のニューラルネットワークは非常に大きくなり、大量の電力を必要とすることがある。
【0005】
アプリケーションによっては、特にセーフティクリティカルなタスクのため、有用な出力を有用な時間で提供するためにリアルタイム処理が必要となる。さらに、ポータブルデバイスにおけるアプリケーションでは、使用できる電力が限られている。そのため、少ない電力と小さなハードウェアで、効率的でタイムリーな処理を提供するニューラルネットワークが求められている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
アプリケーションによっては、特にセーフティクリティカルなタスクのため、有用な出力を有用な時間で提供するためにリアルタイム処理が必要となる。さらに、ポータブルデバイスにおけるアプリケーションでは、使用できる電力が限られている。そのため、少ない電力と小さなハードウェアで、効率的でタイムリーな処理を提供するニューラルネットワークが求められている。
【0007】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0008】
本実施形態は、特に、低減された電力および帯域幅で動作するニューラルネットワークを提供することができる。いくつかの実施形態は、動的ニューラルネットワーク処理ワークロード用に設計されたニューラルネットワークアクセラレータ（例えば、ハードウェア回路）を備える。ニューラルネットワークは、固定ハードウェア電子システムとすることもできるし、例えばファームウェアまたは他のソフトウェアで設定される、ハードウェアに格納された可変パラメータ、を使用してオペレーションを再設定することができるステートマシンを備えてもよい。
【0009】
ここに開示された実施形態は、リアルタイムコンピューティングシステムを含み、リアルタイムコンピューティングシステムは、パターンマッチングシステム、機械学習システム、ニューラルネットワークシステム、または人工知能システムでありえる。リアルタイムコンピューティングシステムは、ニューラルネットワークアクセラレータであり得る。ここに開示された実施形態によれば、リアルタイムコンピューティングシステムは、可変入力（例えばセンサ入力）を連続的に監視し、その可変入力に応答するモニタ信号（例えば割り込み信号）を生成するハードウェアシステムを備える。センサ入力は、単一の値、ベクトル、または画像のような値のアレイを含む。
【0010】
ハードウェアシステムは、電子または光電子コンピューティングシステムとすることができる。ハードウェアシステムの動作は、固定され得るか、または記憶されたパラメータまたはファームウェアによって再設定され得る。例えば、ハードウェアの動作を制御および変更することができる可変値をハードウェアに記憶することによって、またはハードウェアの計算または他のソフトウェア手段において変数を提供することによって、ハードウェアの動作を制御および変更することができる。開示された実施形態は、それぞれがコンピューティングエレメント（computing element）であるインメモリ行列乗算器のアレイを備えたハードウェアシステムを提供することができる。各コンピューティングエレメントは、コネクションによって接続されたコンピューティングエレメントのアレイを備え、各コンピューティングエレメントは、制御回路、記憶回路、および演算回路（operation circuit）を含む。
【0011】
本実施形態によれば、コンピューティングエレメントアレイシステムは、コネクションによって接続されたコンピューティングエレメントのアレイを含む。各コンピューティングエレメントは、制御回路、記憶回路、および演算回路を備える。コネクションはそれぞれ、２つのコンピューティングエレメントを接続する。コンピューティングエレメントアレイ内の各コンピューティングエレメントにおいて、記憶回路は、データ値とターゲットタグを含むデータパケットをコネクションの１つから入力し、データパケットを記憶するように動作可能である。演算回路は、そのデータ値に対して演算（operation）を実行して処理データ値を生成するように動作可能である。ターゲットタグは、そのデータ値に対してその演算を実行するコンピューティングエレメントを指定する。制御回路は、そのコンピューティングエレメントをそのターゲットタグによって指定されたコンピューティングエレメントとして識別し、そのターゲットタグによって識別されたコンピューティングエレメントがコンピューティングエレメントである場合、演算回路がそのデータ値を処理することを可能にし、処理されたデータ値を含むようにデータパケットを修正し、修正されたデータパケットの出力をコネクションの１つ上で可能にするように動作可能である。
【0012】
ターゲットタグは、ルーティング値順序リストに配置された１つまたは複数のルーティング値を含み得る。制御回路は、ルーティング値順序リスト内のルーティング値を修正するように動作可能であり得る。制御回路は、ルーティング値順序付きリストからルーティング値を削除するように動作可能である。ルーティング値順序付きリストは、ルーティング値リストポインタを含み、制御回路は、ルーティング値リストポインタを変更するように動作可能である。ルーティング値の１つ以上は、コンピューティングエレメントを特定するノールート値とすることができ、制御回路は、ノールート値でコンピューティングエレメントを特定する。いくつかの実施形態では、ヌルセット（空リスト）であるルーティング値リストは、ノールート値と等価である。コンピューティングエレメントは、コンピューティングエレメントを記述するセルフタグを含むことができる。ターゲットタグは、１つ以上のコンピューティングエレメント特定情報を含むことができる。コンピューティングエレメント特定情報は、コンピューティングエレメント順序リストに配置することができる。コンピューティングエレメント特定情報は、コンピューティングエレメントの識別、またはコンピューティングエレメントの機能の識別、例えばコンピューティングエレメントの動作または計算とすることができる。制御回路は、ターゲットタグ内のコンピューティングエレメント特定情報をセルフタグと比較することによって、コンピューティングエレメントを識別することができる。制御回路は、コンピューティングエレメント順序リスト内のコンピューティングエレメントを修正するように動作可能であり得る。制御回路は、コンピューティングエレメント順序付きリストからコンピューティングエレメントを削除するように動作可能であり得る。コンピューティングエレメント順序付きリストは、コンピューティングエレメントリストポインタを含み、制御回路は、コンピューティングエレメントリストポインタを変更するように動作可能であり得る。制御回路は、ターゲットタグを変更して、コンピューティングエレメント順序付きリストにエンドタグを提供するように動作可能である。ターゲットタグは、データ値に対して順次演算を実行する複数のコンピューティングエレメントを指定することができる。
【0013】
アレイは２次元グリッド、２次元アレイ、トーラス、リング、３次元グリッド、３次元アレイのいずれでもよい。
【0014】
本実施形態によれば、コンピューティングエレメントアレイシステムは、コンピューティングエレメントのアレイ内の１つまたは複数のコンピューティングエレメントに接続されたデータ制御回路を備える。データ制御回路は、コンピューティングエレメントのアレイの外側からデータパケットを受信し、コンピューティングエレメントのアレイの外側にデータパケットを送信するように動作可能である。データ制御回路は、コネクションを介して、コンピューティングエレメントのアレイ内の１つまたは複数のコンピューティングエレメントに接続することができる。データ制御回路は、バスを介してコンピューティングエレメントのアレイ内の１つまたは複数のコンピューティングエレメントに接続され得る。データ制御回路は、コンピューティングエレメントのアレイからデータパケットを受信し、データパケットをコンピューティングエレメントのアレイに返すように動作可能であり得る。データ制御回路は、コンピューティングエレメントのアレイ内の１つまたは複数のコンピューティングエレメントに接続することができる。
【0015】
いくつかの実施形態によれば、データ制御回路によってアレイ内のコンピューティングエレメントから受信されたデータパケットは、エンドタグまたはノールート値を含み、データ制御回路は、エンドタグまたはノールート値に応答してデータ値をコンピューティングエレメントアレイから送信するように動作可能である。本開示のいくつかの実施形態によれば、データ制御回路によってアレイ内のコンピューティングエレメントから受信されたデータパケットのターゲットタグは、エンドタグまたはノールート値を含まず、データ制御回路は、データ値をアレイ内のコンピューティングエレメントに送信するように動作可能である。
【0016】
いくつかの実施形態によれば、コネクションは双方向接続である。いくつかの実施形態によれば、コネクションは単方向接続である。実施形態によれば、コンピューティングエレメントの１つ以上は、２つ、３つ、４つ、または８つの隣接するコンピューティングエレメントへのコネクションによって接続される。いくつかの実施形態によれば、１つまたは複数のコンピューティングエレメントの記憶回路は、１つ、２つ、３つ、４つ、または８つの隣接するコンピューティングエレメントから入力データを受信するように動作可能であり、１つ、２つ、３つ、４つ、または８つの隣接するコンピューティングエレメントにデータを出力するように動作可能であり、あるいはその両方である。
【0017】
いくつかの実施形態によれば、演算回路は、（ｉ）行列－ベクトル積演算を計算する、（ｉｉ）加算を計算する、（ｉｉｉ）累積を計算する、（ｉｖ）乗算を計算する、（ｖ）変換を計算する、（ｖｉ）フィルタ演算を実行する、（ｖｉｉ）テーブルルックアップを実行する、または（ｖｉｉｉ）（ｉ）～（ｖｉｉ）の任意の組み合わせを実行するように動作可能である。本開示のいくつかの実施形態によれば、コンピューティングエレメントのうちの１つ以上は設定可能である。本開示のいくつかの実施形態によれば、コンピューティングエレメントのうちの１つ以上は、１つ以上の設定変数を記憶するように動作可能である。本開示のいくつかの実施形態によれば、設定変数のうちの１つ以上は、セルフタグ、計算定数、または動作設定を含む。
【0018】
本開示のいくつかの実施形態によれば、コンピューティングエレメントは、（ｉ）ルーティングノード、（ｉｉ）メモリノード、（ｉｉｉ）ルーティングパススルーを実行するように動作可能、（ｉｖ）指定された期間の１つまたは複数のデータ値を記憶するように動作可能、または（ｖ）（ｉ）～（ｉｖ）の任意の組み合わせである。
【0019】
本開示のいくつかの実施形態によれば、第１のコンピューティングエレメントの演算回路は、第１の演算を実行するように動作可能であり、第２のコンピューティングエレメントの演算回路は、第１の演算とは異なる第２の演算を実行するように動作可能である。コンピューティングエレメントの１つの演算回路は、２つ以上の演算を実行するように動作可能であり得る。制御回路は、設定変数に応答して動作を選択するように動作可能であり得る。
【0020】
本開示のいくつかの実施形態によれば、制御回路は、ターゲットタグまたはルーティング値に応答する動作を選択するように動作可能である。
【0021】
本開示のいくつかの実施形態によれば、コンピューティングエレメントの２つ以上が同期であるか、コンピューティングエレメントの２つ以上が非同期であるか、またはその両方である。
【0022】
各コンピューティングエレメントは、例えばシリアルバスやパラレルバス、デイジーチェーン接続など、設定制御回路に直接または間接的に接続することができる。
【0023】
ターゲットタグには、数学関数や計算グラフを指定することができる。
【0024】
本開示の実施形態によれば、コンピューティングエレメントアレイは、コネクションによって接続されたコンピューティングエレメントのアレイを備え、各コンピューティングエレメントは、制御回路、記憶回路、および演算回路を備え、各コンピューティングエレメントは、演算回路によって実行される演算を識別するセルフタグを記憶するように動作可能である。コンピューティングエレメントのアレイ内の各コンピューティングエレメントについて、記憶回路は、接続の１つからデータパケットを受信し、入力データを記憶するように動作可能であり得、データパケットは、データ値と、データ値に対して実行される演算を指定するターゲットタグとを含み得、制御回路は、ターゲットタグとセルフタグとを比較するように動作可能であり得る、セルフタグがターゲットタグと一致する場合、演算回路がデータ値を処理し、処理されたデータ値を含むようにデータパケットを修正し、コネクションの１つ上で修正されたデータパケットの出力を可能にし、演算回路が、処理されたデータ値を生成するようにデータ値を処理するように動作可能であり得る。ターゲットタグは、ルーティング値順序リストに配置された１つまたは複数のルーティング値から設定され得る。制御回路は、ルーティング値順序リスト内のルーティング値を修正するように動作可能であり得る。制御回路は、ルーティング値順序リストからルーティング値を削除するように動作可能であり得る。ルーティング値順序付きリストはルーティング値リストポインタを含み、制御回路はルーティング値リストポインタを変更するように動作可能である。
【0025】
本開示の実施形態によれば、コンピューティングエレメントアレイは、コネクションによって接続されたコンピューティングエレメントのアレイを備え、各コンピューティングエレメントは、制御回路、記憶回路、および演算回路を備える。コンピューティングエレメントアレイ内の各コンピューティングエレメントについて、記憶回路は、接続の１つからデータパケットを受信し、データパケットを記憶するように動作可能であり得る。データパケットは、データ値と、ルーティング値を指定するターゲットタグとを含むことができ、ルーティング値の１つは、演算回路がデータ値で動作することを示すノールート値であり、制御回路は、ノールート値を識別するように動作可能であることができる、ノールート値が識別された場合、演算回路がデータ値を処理することを可能にし、処理されたデータ値を含むようにデータパケットを修正し、コネクションの１つ上で修正されたデータパケットの出力を可能にし、演算回路は、処理されたデータ値を生成するようにデータ値を処理するように動作可能であり得る。ターゲットタグは、ルーティング値順序リストに配置された１つまたは複数のルーティング値を含み得る。制御回路は、ルーティング値順序リスト内のルーティング値を修正するように動作可能であり得る。制御回路は、ルーティング値順序付きリストからルーティング値を削除するように動作可能であり得る。ルーティング値順序付きリストはルーティング値リストポインタを含み、制御回路はルーティング値リストポインタを変更するように動作可能である。
【0026】
本開示の実施形態によれば、行列－ベクトル乗算器は、単位乗算器のアレイを備える。各単位乗算器は、記憶された値を記憶するラッチと、キャパシタと、ラッチからキャパシタに電荷を伝導するためのスイッチ入力に応答するスイッチとを備えることができる。単位乗算器のキャパシタは電気的に並列に接続され、出力電荷値を提供する。蓄積値はアナログ値とすることができ、スイッチ入力はアナログ入力とすることができ、単位容量乗算器はアナログ乗算器とすることができる。いくつかの実施形態によれば、蓄積値はデジタル値であり、スイッチ入力はデジタル入力であり、単位乗算器はデジタル乗算器である。いくつかの実施形態によれば、スイッチ入力はデジタル値であり、実施形態は、スイッチ入力をアナログ値に変換するためにスイッチに接続されたデジタルアナログ変換器を備える。いくつかの実施形態によれば、出力値はアナログ電荷値であり、実施形態は、アナログ電荷値を出力デジタル値に変換するためにアナログ電荷値に接続されたアナログ／デジタル変換器を備える。スイッチはバイポーラトランジスタ、ラッチはキャパシタ、またはその両方を備えることができる。
【0027】
本開示の実施形態は、スイッチ入力、ラッチ、キャパシタ、またはスイッチ入力、ラッチ、キャパシタの任意の組み合わせに接続された変換回路を備えることができる。
【0028】
本開示の実施形態によれば、行列－ベクトル乗算器は、デジタル単位乗算器のアレイを備える。各デジタル単位乗算器は、記憶された値を記憶するラッチと、抵抗器と、記憶された値とスイッチ入力とを乗算してビット値を提供するためにスイッチ入力に応答するスイッチのアレイとを備えることができる。ビット加算器は、ビット値を加算して、記憶値とスイッチ入力の積を生成することができる。ビット加算器はデジタル論理回路とすることができる。
【0029】
本開示の実施形態によれば、行列－ベクトル乗算器は、Ｎ個のデジタル入力値を提供するベクトル入力回路と、Ｍ個の列のＮ行に記憶された記憶されたデジタル重み値のＭ×Ｎ個のアレイと、乗算器のＭ×Ｎ個のアレイであって、乗算器のアレイは、Ｎ個の記憶されたデジタル重み値の各列をＮ個のデジタル入力値で乗算して各列ＭのＮ個の積を生成するように動作可能である、乗算器のＭ×Ｎ個のアレイと、各列ＭのＮ個の積のデジタル値を累積してＭ個の累積値を提供するように動作可能な累積器とを備える。Ｎ個のデジタル入力値はそれぞれｉビットからなり、記憶されたデジタル重み値はそれぞれｊビットからなり、各乗算器はｉ＋ｊビット未満の積を計算する。
【図面の簡単な説明】
【0030】
【図1】本開示の例示的実施形態による、センサと、コンピューティングアクセラレタを含むハードウェアユニットとを含むリアルタイムコンピューティングシステムの概略図である。
【図2】本開示の例示的実施形態によるコンピューティングアクセラレータの機能概略図である。
【図3】本開示の例示的実施形態による行列－ベクトル積回路の概略図である。
【図4】本開示の例示的な実施形態による、コンピューティングエレメントのアレイを含むグリッド接続コンピューティングアクセラレータの概略図である。
【図5A】本開示の例示的な実施形態によるコンピューティングエレメントの概略図である。
【図5B】本開示の例示的な実施形態によるコンピューティングエレメントの概略図である。
【図6A】本開示の例示的な実施形態によるコンピューティングエレメント間の接続の概略図である。
【図6B】本開示の例示的な実施形態によるコンピューティングエレメント間の接続の概略図である。
【図7】本開示の例示的実施形態による、コンピューティングエレメントのアレイを含むトーラス接続コンピューティングアクセラレータの概略図である。
【図8A】本開示の例示的な実施形態によるデータパケット内のビットを示す図である。
【図8B】本開示の例示的な実施形態によるデータパケット内のビットを示す図である。
【図8C】本開示の例示的な実施形態によるデータパケット内のビットを示す図である。
【図9】本開示の例示的実施形態によるコンピューティングエレメントのアレイの概略図である。
【図10】本開示の例示的な実施形態によるデータフローを示すコンピューティングエレメントのアレイの概略図である。
【図11A】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11B】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11C】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11D】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11E】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11F】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11G】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11H】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11I】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11J】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11K】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11L】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図11M】本開示の例示的な実施形態による、セルフタグおよびコンピューティングエレメント識別子を使用して、コンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続したターゲットタグである。
【図13A】本開示の例示的な実施形態による、無経路ルーティング値を使用してコンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続するターゲットタグである。
【図13B】本開示の例示的な実施形態による、無経路ルーティング値を使用してコンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続するターゲットタグである。
【図13C】本開示の例示的な実施形態による、無経路ルーティング値を使用してコンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続するターゲットタグである。
【図13D】本開示の例示的な実施形態による、無経路ルーティング値を使用してコンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続するターゲットタグである。
【図13E】本開示の例示的な実施形態による、無経路ルーティング値を使用してコンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続するターゲットタグである。
【図13F】本開示の例示的な実施形態による、無経路ルーティング値を使用してコンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続するターゲットタグである。
【図13G】本開示の例示的な実施形態による、無経路ルーティング値を使用してコンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続するターゲットタグである。
【図13H】本開示の例示的な実施形態による、無経路ルーティング値を使用してコンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続するターゲットタグである。
【図13I】本開示の例示的な実施形態による、無経路ルーティング値を使用してコンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続するターゲットタグである。
【図13J】本開示の例示的な実施形態による、無経路ルーティング値を使用してコンピューティングエレメントのアレイによって実行されるコンピュートグラフの連続するターゲットタグである。
【図15】本開示の例示的な実施形態によるコンピューティングエレメントのアレイの概略図である。
【図16】本開示の例示的な実施形態によるコンピューティングエレメントのアレイの概略図である。
【図17】本開示の例示的な実施形態によるコンピューティングエレメントのアレイの概略図である。
【図18】本開示の例示的な実施形態によるコンピューティングエレメントのアレイの概略図である。
【図19】本開示の例示的な実施形態によるコンピューティングエレメントのアレイの概略図である。
【図20】本開示の例示的実施形態による単位容量逓倍器の簡略回路図である。
【図21】本開示の例示的実施形態による単位容量逓倍器のアレイの簡略化された概略図である。
【図22】本開示の例示的実施形態に従ってデジタル乗算を実行するように配置された単位容量乗算器のアレイの簡略化された概略図である。
【図23A】本開示の例示的実施形態による単位論理セルである。
【図23B】本開示の例示的な実施形態に従って、乗算された単一ビット値を累積するために単位論理セルを使用する回路である。
【図23C】本開示の実施形態を理解する上で有用なビット番号付けを示す図である。
【発明を実施するための形態】
【0031】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【0032】
本開示の特徴および利点は、同様の参照文字が全体を通して対応する要素を識別する図面と併せて考慮すると、以下に記載する詳細な説明からより明らかになるだろう。
【0033】
図面において、同様の参照番号は、一般に、同一、機能的に類似、および／または構造的に類似の要素を示す。図は必ずしも縮尺通りに描かれていない。
【0034】
［第１実施形態］
本開示の特定の実施形態は、低減された電力およびハードウェア要件で効率的かつタイムリーな処理を提供するニューラルネットワーク、パターンマッチングコンピュータ、または機械学習コンピュータに向けられている。そのような実施形態は、コンピューティングアクセラレータ、例えば、ニューラルネットワークアクセラレータ、パターンマッチングアクセラレータ、機械学習アクセラレータ、または、例えば、センサフュージョンに限定されないが、静的または動的処理ワークロード用に設計された人工知能コンピューティングアクセラレータを備えることができる。動的ワークロードは、いくつかの実施形態において、連続的な時間的監視を必要とする常時オンタスクと、特定の時間に発生する割り込み駆動タスクという、少なくとも２つのカテゴリのタスクを含む。場合によっては、常時オンタスクは比較的計算集約度が低く、割り込み駆動タスクは比較的計算集約度が高い。常時オンタスクの例としては、１つまたは複数のセンサ、例えば、生体医療センサ、加速度センサなどのモーションセンサ、およびマイクなどのオーディオセンサからの時間的信号を連続的に分類して、動きの検出および分類、ならびにキーフレーズの検出を提供することが挙げられる（ただし、これらに限定されない）。割り込み駆動タスクの例としては、画像セグメンテーション、音声翻訳、物体検出および識別を挙げることができる（ただし、これらに限定されない）。処理される常時オンタスクは、入力（例えば、センサ）データの連続ストリームを監視してトリガイベントを検出し、別のハードウェアまたはソフトウェアシステムによって処理される割込み駆動タスクのトリガイベントに応答してトリガ信号（例えば、割込み）を提供することができる。本開示のシステムは、例えば、シリアルまたはパラレルのいずれかの従来のプロトコルまたはハードウェアインターフェースを介して、従来のコンピュータシステムまたはスーパーコンピュータに接続された計算アクセラレータであり得る。
本開示の特定の実施形態は、低減された電力およびハードウェア要件で効率的かつタイムリーな処理を提供するニューラルネットワーク、パターンマッチングコンピュータ、または機械学習コンピュータに向けられている。そのような実施形態は、コンピューティングアクセラレータ、例えば、ニューラルネットワークアクセラレータ、パターンマッチングアクセラレータ、機械学習アクセラレータ、または、例えば、センサフュージョンに限定されないが、静的または動的処理ワークロード用に設計された人工知能コンピューティングアクセラレータを備えることができる。動的ワークロードは、いくつかの実施形態において、連続的な時間的監視を必要とする常時オンタスクと、特定の時間に発生する割り込み駆動タスクという、少なくとも２つのカテゴリのタスクを含む。場合によっては、常時オンタスクは比較的計算集約度が低く、割り込み駆動タスクは比較的計算集約度が高い。常時オンタスクの例としては、１つまたは複数のセンサ、例えば、生体医療センサ、加速度センサなどのモーションセンサ、およびマイクなどのオーディオセンサからの時間的信号を連続的に分類して、動きの検出および分類、ならびにキーフレーズの検出を提供することが挙げられる（ただし、これらに限定されない）。割り込み駆動タスクの例としては、画像セグメンテーション、音声翻訳、物体検出および識別を挙げることができる（ただし、これらに限定されない）。処理される常時オンタスクは、入力（例えば、センサ）データの連続ストリームを監視してトリガイベントを検出し、別のハードウェアまたはソフトウェアシステムによって処理される割込み駆動タスクのトリガイベントに応答してトリガ信号（例えば、割込み）を提供することができる。本開示のシステムは、例えば、シリアルまたはパラレルのいずれかの従来のプロトコルまたはハードウェアインターフェースを介して、従来のコンピュータシステムまたはスーパーコンピュータに接続された計算アクセラレータであり得る。
【0035】
図１に示される本開示の実施形態は、例えばセンサ信号３２を提供するセンサ３０からの、常時オン、連続、または連続的にサンプリングされた信号に応答して、エネルギー効率に優れた計算を提供するコンピューティングアクセラレータ２０を含むハードウェアシステム１０を備える。ハードウェアシステム１０は、センサ３０からのセンサ信号３２に応答することができ、コンピューティングアクセラレータ２０と通信するマイクロコントローラまたはコンピュータ（例えば、メモリ１２およびプロセッサ１４を含む）を備えることができる。いくつかの実施形態によれば、ハードウェアシステム１０は、トリガ割り込み信号２２を提供するためのトリガイベントの検出を、マイクロワットレベルの電力消費のみで実現できる。本開示の実施形態によれば、コンピューティングアクセラレータ２０は、従来の格納プログラムデジタルコンピュータ（例えば、中央処理装置（例えば、プロセッサ１４）を駆動するメモリ（例えば、メモリ１２）に格納されたソフトウェアプログラムを含むコンピュータ）よりも高速かつ少ない電力で、データセットを処理する（例えば、データセット内のデータ値を数学的に処理することによって結果を計算または算出する）ことができる。実施形態によれば、コンピューティングアクセラレータ２０は、ハードウェアアクセラレータであり得る。ハードウェアアクセラレータの動作は、例えば、ファームウェアまたは設定変数を用いて設定可能であり得る。実施形態によれば、コンピューティングアクセラレータ２０は、従来、行列－ベクトル積演算によって支配されているニューラルネットワークおよび機械学習タスクを、より効率的に、より少ない中央処理装置－メモリ相互作用またはデータ転送で計算することができる。コンピューティングアクセラレータ２０は、コンピューティング速度および様々なコンピューティングタスクまたは機能への適応性の有用な組み合わせを提供することができる。
【0036】
コンピューティングアクセラレータ２０は、行列ベクトル積演算を実行するために、従来の格納プログラムデジタルコンピュータに見られるような、プロセッサ１４（例えば、中央処理装置またはＣＰＵ）とメモリ１２との間のデータ転送を排除または削減するインメモリ処理アーキテクチャを備えることができる。このような従来のシステムの電力使用は、メモリ－ＣＰＵ間のデータ転送によって支配されているため、このようなデータ転送を排除または削減することにより、ハードウェアシステム１０の電力使用を大幅に削減することができる。ハードウェアシステム１０およびコンピューティングアクセラレータ２０は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）に実装することができ、センサ３０の入力に応答してリアルタイムで動作することができ、センサ３０（例えば、異なるセンサ３０Ａ、３０Ｂ、３０Ｃ）からの未処理のアナログデータへの直接インターフェースをサポートすることができる。
【0037】
本開示の実施形態によれば、および図１および図２に示されるように、ハードウェアシステム１０は、インメモリ行列乗算器のアレイ（例えば、コンピューティングエレメント７０のアレイ）を備えることができ、サブミリワットのエネルギーレベルで動作することができ、同期的にまたは非同期的に入力データを処理することができる。図２は、回路表現ではなく、ハードウェアシステム１０およびコンピューティングアクセラレータ２０の動作の機能的な説明図である。コンピューティングアクセラレータ２０は、インメモリ行列乗算器（ＭＶＭ）６０、非直線性変換器（ＮＬ）６２、アキュムレータブロック（ＡＣＣ）６４、および１つまたは複数のメモリノード（ＭＥＭ）６６を備えることができる。ハードウェアシステム１０は、内部リーク、制御、およびクロックゲーティングロジック５６と、センサ３０のためのインターフェース回路と、例えばアナログ汎用入出力回路（ＧＰＩＯ）５２を含むセンサインターフェース回路５０と、アナログセンサ３０に電気的に接続された自動利得制御（ＡＧＣ）回路５４とを備えることができる。ハードウェアシステム１０およびコンピューティングアクセラレータ２０は、低域通過ＲＮＮ（リカレントニューラルネットワーク）、完全接続ニューラルネットワーク層、ＬＳＴＭ（long/short-term memory networks）またはゲーテッドリカレントユニットなどのゲーテッドＲＮＮ、および１次元接続ニューラルネットワーク（１Ｄ－ＣＮＮ）をサポートすることができる。
【0038】
本実施形態によれば、行列ベクトル積計算は、少ないデータ転送数で効率的に計算を実行し、その結果、電力を削減するインメモリ計算モジュールおよびアーキテクチャに基づいている。この削減は、ｎ２（ｎは行列の要素数）のオーダーである。本実施形態はモデル化され、シミュレーションは、コンピューティングエレメント７０のアレイが、１Ｔｏｐ／ｓ／Ｗ（テラ演算／秒／ワット）以下（例えば、４Ｔｏｐ／ｓ／Ｗ以下、１０Ｔｏｐ／ｓ／Ｗ以下、２０Ｔｏｐ／ｓ／Ｗ以下、５０Ｔｏｐ／ｓ／Ｗ以下、または１００Ｔｏｐ／ｓ／Ｗ以下）で動作できることを示している。４～１００Ｔｏｐ／ｓ／Ｗを提供してもよい。５０ＧＯｐｓ／ｓ以下、１００ＧＯｐｓ／ｓ以下、または１５０ＧＯｐｓ／ｓ以下を提供してもよい。
【0039】
図３は、ベクトル行列乗算回路のアナログ電流ベース実装を示している。左側の各入力線は、別個の電流（所与の電圧）を持つ別個の入力データ４０値を搬送する。行列の底を横切る各出力線は、各入力線から入力線と出力線を接続する抵抗ＲＷＴを介して供給される入力電流ＩＩＮの合計である。抵抗ＲＷＴは、出力電流ＩＯＵＴ＝Ｖ／ＲＷＴとなるようにベクトル乗算を行うために、各入力線に関連する重み値を提供する。各出力ライン上の合計電流ＩＯＵＴは出力ベクトルを提供し、この出力ベクトルは累積（加算または合計）され、最終的な重み付けされた出力値を提供する。入力、出力、および累積は、アナログでも、図３に示すように、対応するデジタルアナログ変換器９７およびアナログデジタル変換器９８を備えたデジタルでもよい。
【0040】
ベクトル行列回路のハードウェア実装は、入力ベクトルのサイズに効率的に対応するサイズでなければならない。ベクトル行列回路が大きすぎると、回路の多くが使用されない（例えば、入力線の一部で入力電流ＩＩＮがゼロ、または対応するＲＷＴがゼロ、またはその両方）。ベクトル行列回路が小さすぎる場合、ベクトル乗算をより小さなベクトルに分解しなければならない。同様に、小さすぎるベクトルが多すぎると非効率になる。非直線性変換（変換）を累積値と行列－ベクトル積演算間に適用することで、回路のニューロン動作をよりよくモデル化することができる。
【0041】
本開示の一般的な実施形態によれば、および図４および図５Ａ、図５Ｂ、図６Ａ、および図６Ｂの詳細に示されるように、コンピューティングアクセラレータ２０は、図４に示されるように、コネクション４８によって接続されたコンピューティングエレメント７０のアレイを備える。図４のアレイは、２次元グリッドとして図示されているが、本開示の実施形態は、それに限定されるものではなく、１次元アレイ、２次元アレイ、リング、トーラス（図７に図示されているように）、３次元アレイ、または接続されたコンピューティングエレメント７０の他の配置でもよい。
【0042】
図５Ａに示すように、各コンピューティングエレメント７０は、コンピューティングエレメント制御回路７８と、記憶回路７２と、記憶回路７２に記憶された入力データ４０に対して演算（例えば、行列－ベクトル積のような数学演算）を実行する演算（例えば、計算）回路７４とを備える。図５Ｂは、実行される演算（例えば、２つ以上のコネクション４８から別々に受信された２つ以上のデータ値Ｄまたはベクトルの加算または乗算）のタイプに応じて、１つ以上のコネクション４８から演算のための入力データ４０を受信するコンピューティングエレメント７０を示す。
【0043】
記憶回路７２は、コネクション４８の１つから入力データ４０を受信し、受信した入力データ４０を記憶するように動作可能である。記憶回路７２は、１つまたは複数のシフトレジスタ、メモリ、またはフリップフロップとすることができる。入力データ４０は、コネクション４８上で通信される情報であり、例えばデータ値や、コンピューティングエレメント７０のアレイを介した動作およびデータルーティングを記述するメタデータなどである。コネクション４８と入力データ４０の両方は、例えば図６Ａに示されるように、入力データのソース（例えば、隣接するコンピューティングエレメント７０からの出力データ４４）と入力データ４０の宛先を示す接続矢印で表される。図６Ｂは、２つの隣接するコンピューティングエレメント７０間の双方向コネクション４８を示しており、データ通信に別々のワイヤが使用されている。いくつかの実施形態では、同じワイヤが、例えば、使用されていないときに高抵抗を提供するトライステートドライバおよび記憶回路７２を用いて、双方向に渡されるデータを通信するために使用される。
【0044】
本開示の実施形態によれば、および図６Ａおよび図６Ｂに示されるように、各コンピューティングエレメント７０は、信号ハンドシェイクを使用して隣接するコンピューティングエレメント７０と通信することができる。送信元（送信側）コンピューティングエレメント７０は、データパケット８０を送信する準備ができていることを示す要求信号Ｒｅｑを生成することができ、また、例えば、隣接するコンピューティングエレメント７０を接続する１つまたは複数のワイヤ上に（例えば、直列または並列に）データパケット８０を出力する。受信コンピューティングエレメント７０の近傍が要求信号Ｒｅｑを受信すると、データパケット８０を入力して保存し、例えば隣接コンピューティングエレメント７０を接続するワイヤ（コネクション４８）上で、送信側コンピューティングエレメント７０に送り返される確認信号Ａｃｋを提供する。送信側コンピューティングエレメント７０がアクノリッジＡｃｋを受信すると、データパケット８０は送信側コンピューティングエレメント７０から出力されなくなり、データの送受信が完了する。
【0045】
図４は、入力制御回路２６を備えるデータ制御回路２４が入力データ４０を受信し、例えば、グリッド構成のコンピューティングエレメント７０のアレイの端部上で、１つまたは複数のコンピューティングエレメント７０に接続された入力バス４２を介して、１つまたは複数のコンピューティングエレメント７０に入力データ４０を通信する実施形態を示す。同様に、データ制御回路２４は、１つまたは複数のコンピューティングエレメント７０から、例えば、グリッド構成におけるコンピューティングエレメント７０のアレイの端部上で、１つまたは複数のコンピューティングエレメント７０に接続された出力バス４６を介して、処理された出力データ４４を受信し、処理された出力データ４４を、例えば、ハードウェアシステム１０のメモリ１２またはプロセッサ１４に通信する出力制御回路２８を備えてもよい。本開示のいくつかの実施形態において、および図７に示されるように、データ制御回路２４は、１つまたは複数のコネクション４８によって、１つまたは複数のコンピューティングエレメント７０と、入力データ４０の外部ソースと、処理された出力データ４４の宛先とに接続される。データ制御回路２４は、コンピューティングエレメント７０の一種であることができる。図７に示される実施形態では、コンピューティングエレメント７０は、データ制御回路２４が行の１つのリング内に接続されたトーラス（２次元リング）内にコネクション４８で接続されている。
【0046】
本開示の実施形態によれば、データパケット８０は、図８Ａに示されるように、データ値Ｄと通信されるルーティング値Ｒ（図８Ｂに示される）に応答して、ターゲットタグＴに格納されたデータ値Ｄに対する演算を実行するために、コンピューティングエレメント７０のアレイを通って流れる。ルーティング値Ｒは、データパケット８０がコンピューティングエレメント７０のアレイを通過する経路を指示する。本開示の実施形態によれば、データ値に対して実行される演算は、データ値Ｄが記憶されているコンピューティングエレメント７０の動作によって決定される。演算は、データ値Ｄを変更する数学的演算、タイミング演算（例えば、コンピューティングエレメント７０間のデータパケット８０伝送に遅延を与える）、データパケット８０を記憶するための記憶演算（例えば、メモリ）、またはデータパケット８０をコネクション４８（例えば、通信回路を含む）上で伝送するためのルーティング演算であり得る。
【0047】
いくつかの実施形態によれば、各コンピューティングエレメント７０は、コンピューティングエレメント７０またはその動作を識別するセルフタグＳを含み、または記憶する。セルフタグＳは、一意である必要はなく、同じ動作を実行するコンピューティングエレメント７０について同じであることができる。計算エレメント７０のセルフタグＳが、計算エレメント７０の識別子Ｃ、データパケット８０のターゲットタグＴと一致すると、オペレーションが実行される。いくつかの実施形態によれば、セルフタグＳまたはコンピューティングエレメント７０の識別子Ｃは使用されない。その代わりに、ルーティング値Ｒは、コンピューティングエレメント７０によって遭遇されると、コンピューティングエレメント７０の動作がデータ値Ｄ上で実行されるべきであることを示すノールート値Ｎを符号化する。ルーティング値Ｒのノールート値Ｎは、データパケット８０がコネクション４８上で送信されるべきでなく、むしろデータパケット８０のデータ値Ｄ上でのコンピューティングエレメント７０の動作を可能にすることを示すものとしてコンピューティングエレメント７０が認識する任意の値であり、非接続（例えば、ルーティングなし）値、または残りのルーティング値Ｒのゼロカウント値（例えば、ルーティング値Ｒがリストに残っていない）である。この名称は、（通常はルーティング値Ｒによって示される）コネクション４８にデータパケット８０をルーティングするのではなく、演算が実行されることを示す。いくつかの実施形態では、ルーティング値Ｒは、残っているルーティングステップの数を指定するカウンタを含み、カウンタがゼロに等しいとき、オペレーションが実行される。図８Ｃは、そのような実施形態のターゲットタグＴを示す。本開示の実施形態によれば、データパケット８０内のターゲットタグＴによって指定されるコンピューティングエレメント７０と共にデータパケット８０が存在するコンピューティングエレメント７０を識別することは、（ｉ）コンピューティングエレメント７０に記憶されたセルフタグＳをコンピューティングエレメント７０の識別子Ｃにマッチングさせること（図１１Ａ～１２に関して議論される）、または（ｉｉ）ノールートＮルーティング値Ｒを検出すること（図１３Ａ～４に関して議論される）を含む。他のルーティング値Ｒは、ルーティングコネクション４８識別子、ルーティング命令、またはルーティング値カウントを含む。
【0048】
図８Ａに示されるように、入力データ４０（および出力データ４４）は、データ値Ｄ（例えば、１つまたは複数ビットのデジタル数値）およびターゲットタグＴを含むデータパケット８０で提供される。図８Ｂに示されるように、ターゲットタグＴは、１つまたは複数のコンピューティングエレメント識別子Ｃや、１つまたは複数のルーティング値Ｒや、演算回路７４によって使用される１つまたは複数の定数ｋを指定するメタデータ、および、任意の他の有用なメタデータを含んでもよい。ターゲットタグＴは、コンピューティングエレメント７０の動作において有用な、任意の他のパケットヘッダ情報を含んでもよい。図８Ｃに示されるように、ターゲットタグＴは、ノールート値Ｎを含む１つまたは複数のルーティング値Ｒ、演算回路７４によって使用される１つまたは複数の定数ｋ、および任意の他の有用なメタデータを指定するメタデータを含んでもよい。ターゲットタグＴおよびターゲットタグＴ内の様々な値は、デジタルビット列またはリストとすることができ、様々な要素（例えば、コンピューティングエレメント特定情報、ルーティング値R）ごとに規定された数のビットを使うことができる。ターゲットタグは、ターゲットタグＴのルーティングビットのカウント値を含んでもよい。コンピューティングエレメント識別子Ｃおよびルーティング値Ｒは、ターゲットタグＴ内の順序リストにおいて提供される。いくつかの実施形態では、この順序リストは、リスト内の現在の値、演算可能な値、または公開された値を示すポインタ（例えば、アドレス）を含む。またはこの順序リストは、リスト内の残りの値の数を示すカウンタを含む。そのカウンタがゼロに等しい場合、それ以上のルーティングステップは利用できず、オペレーションが実行される。いくつかの実施形態では、現在の値、演算可能な値、または公開された値は、例えばリスト内の順序またはアドレスによって指定されるように、リスト内の最初の値、またはリストの先頭の値である。
【0049】
いくつかの実施形態において、例えば、コンピューティングエレメント識別子Ｃを含むターゲットタグＴを用いる場合、コンピューティングエレメント７０は、演算回路７４によって実行される演算を識別するセルフタグＳを記憶する。セルフタグＳは、コンピューティングエレメント７０に記憶された１つまたは複数の設定変数Ｖのうちの１つであることができる。いくつかの実施形態では、セルフタグＳは、コンピューティングエレメント７０のアレイの初期設定ステップにおいて、例えば外部コントローラから、コンピューティングエレメント７０にロードされた設定変数Ｖである。
【0050】
本発明のいくつかの実施形態では、コンピューティングエレメント制御回路７８は、ターゲットタグＴを受信し、ターゲットタグＴを解析してコンピューティングエレメント７０識別子Ｃまたは現在のルーティング値Ｒを抽出し、ターゲットタグＴのコンピューティングエレメント７０識別子ＣをセルフタグＳと比較するか、またはルーティング値Ｒのルーティングなし値Ｎを認識するように動作可能である、比較が一致する場合、データ値Ｄを処理し、ルーティング値Ｒに応答してデータパケット８０をルーティングし、ターゲットタグＴを修正し、比較が一致しない場合、処理された出力データ４４の出力を有効にするか、または単に入力データ４０をルーティングするために、コンピューティングエレメント７０に対応する動作を有効にする。コンピューティングエレメント制御回路７８は、例えば図５Ａおよび図５Ｂに破線で示すように、あるコネクション４８から別のコネクション４８上の出力データ４４へのルーティング（パススルー）回路通信入力データ４０を可能にする。オペレーション回路７４は、データ値Ｄ（入力データ４０）を処理して、例えば出力データ４４としてコネクション４８の１つに出力されるプロセスデータパケット８０内の処理された出力データＤ（出力データ４４）を生成するように動作可能である。
【0051】
コンピューティングエレメント７０は、デジタルコンピューティングエレメント７０とすることができ、どのようなデジタル回路であってもよい。いくつかの実施形態では、コンピューティングエレメント７０は、アナログ回路を含んでもよい。コンピューティングエレメント制御回路７８も同様に、デジタル回路、論理、フリップフロップやラッチなどの記憶素子を含むことができ、マイクロコントローラ、ステートマシン、または離散制御論理を備えることができる。演算回路７４は、例えば、加算器、乗算器、フィルタ（例えば、一次フィルタ）、変換回路（例えば、ルックアップテーブルなどによって実行される線形変換または非線形変換）を備えることができる。演算回路７４は、入力データ４０がコンピューティングエレメント７０に提供される前に特定のコンピューティングエレメント７０にロードされ得る、コンピューティングエレメント制御回路７８によって設定変数Ｖとして提供される定数ｋ（例えば、乗算定数または加算定数）を採用し得る。いくつかの実施形態では、定数ｋは、図８Ｂおよび図８Ｃに示すように、ターゲットタグＴに含めることができる。
【0052】
コンピューティングエレメント制御回路７８の制御の下で、入力データ４０は、各コンピューティングエレメント７０に供給される共通のクロックに応答して、各記憶回路７２に同時にロードされ得る。いくつかの実施形態では、交互の記憶回路７２は、クロックの正方向エッジとクロックの負方向エッジによって制御され、競合状態を回避する。クロック周期は、演算回路７４がデータ値Ｄを処理するのに必要な時間を超えることはできない。このような実施形態では、各コンピューティングエレメント７０は同期であり、異なるデータ要素に対して同時に計算を実行する。いくつかの実施形態では、コンピューティングエレメント７０は非同期であり、独立して、あるコンピューティングエレメント７０から別のコンピューティングエレメント７０に送信されるデータパケット８０に応答して動作する。いずれの場合も、データパケット８０は、コンピューティングエレメント７０のアレイを通って流れることができ、多数のコンピューティングエレメント７０をアレイに含めて同時に動作させることができるため、高い計算速度およびデータ速度を達成することができる。さらに、演算を実行するために任意の時点で使用されないコンピューティングエレメント７０は、比較的静止しており、コンピューティングエレメント７０のアレイの電力を節約する。
【0053】
図９は、各コンピューティングエレメント７０の動作がラベル付けされたコンピューティングエレメント７０のアレイを示している。コンピューティングエレメント７０は全て同一である必要はなく、異なる演算回路７４を有することができる。コンピューティングエレメント７０のいくつかは、行列－ベクトル積を計算する演算回路７４を備えることができる（例えば、図３の回路に例示されているような関数を実装するアナログまたはデジタルハードウェアを使用する）。コンピューティングエレメント７０のいくつかは、２つのベクトルを加算する加算演算回路７４を備える。コンピューティングエレメント７０のいくつかは、例えばルックアップテーブルによって実装される線形または非線形関数などの変換演算回路７４を備える。いくつかの実施形態では、コンピューティングエレメント制御回路７８は、演算が実行可能であるかどうか（例えば、データパケット８０とコンピューティングエレメント７０との間に一致が存在するかどうか）を判定し、可能であれば演算回路７４による演算を可能にし、演算が実行不可能であれば、例えば、パススルールーティング演算または関数として、データパケット８０を隣接するコンピューティングエレメント７０に渡すように動作可能な回路を備える。一部のコンピューティングエレメント７０は、データパケット８０のルーティングを制御するルーティングノード、またはデータパケット８０を格納または遅延させるメモリノードとすることができ、例えば、コンピューティングエレメント制御回路７８の制御下で、シフトレジスタのアレイまたはＳＲＡＭ（スタティックランダムアクセスメモリ）を備える。
【0054】
本開示のいくつかの実施形態によれば、各コンピューティングエレメント７０は、固定された計算機能（例えば、加算器、乗算器、およびルックアップテーブルのうちの１つだけである演算回路７４）を有する。いくつかの実施形態によれば、コンピューティングエレメント７０は、複数の演算回路（例えば、加算器、乗算器、およびルックアップテーブルのうちの１つ以上）と、例えばターゲットタグＴにおいて受信される、コンピューティングエレメント７０に記憶された所望の計算を選択的に行う構成とを備えることができる。例えば、各コンピューティングエレメント７０は、所望の計算に応じて選択される状態機械を実装することができる。ターゲットタグＴは、データ値Ｄに対して実行される１つまたは複数の演算を指定することができる。演算が完了すると、ターゲットタグＴを修正することができる。いくつかの実施形態によれば、コンピューティングエレメント７０の演算は、例えば、設定変数Ｖに応答して、あらかじめ定義された計算グラフに応答して選択された、または所望の動作または関数を実行するように設定され得る。いくつかの実施形態によれば、設定変数Ｖは、動作または動作モードを選択する。演算を選択する設定変数Ｖは、例えば、数学的演算を選択することができる。ここで演算回路７４は、異なるまたは複数の演算（例えば、加算、複数の値の和を計算するアキュムレータ、乗算、行列－ベクトル積、線形変換、非線形変換のいずれか１つまたは複数であり得る第１および第２の演算回路７４）を計算するためのハードウェアを備える。または演算回路７４は、データパケット８０が単に異なる隣接するコンピューティングエレメント７０に通信されるパススルールーティング機能のためのハードウェアを備える。
【0055】
本開示のいくつかの実施形態によれば、アレイに接続された２つ以上のコンピューティングエレメント７０は、図４および図７に示すように、ポイントツーポイントコネクション４８を介して、例えば左、右、上、または下から、アレイ内の任意の隣接するコンピューティングエレメント７０からデータ４０を入力することができる。アレイの端にあるコンピューティングエレメント７０は、例えば入力バス４２または出力バス４６、あるいはその両方を介して、入力制御回路２６および出力制御回路２８を含むデータ制御回路２４に接続することができる。入力バス４２および出力バス４６は、コンピューティングエレメント７０のアレイの端にある１つまたは複数のコンピューティングエレメント７０に接続された共通のバスとすることができるが（必ずしもそうである必要はない）、理解を助けるために別々に図示されている。したがって、アレイ内部のコンピューティングエレメント７０は、コネクション４８を介して４つの隣接するコンピューティングエレメント７０に接続することができ、アレイの端にあるコンピューティングエレメント７０は、コネクション４８を介して２つまたは３つの隣接するコンピューティングエレメント７０に接続することができる。図７の実施形態では、データ制御回路２４のみが入力および出力バス４２、４６に接続され、入力データ４０および出力データ４６は、コネクション４８を介してデータ制御回路２４に通信される。コンピューティングエレメント７０内の制御回路７８は、デイジーチェーンで（または共通バスで）通信可能に接続され、セルフタグＳ、数学的定数、および動作モード選択を含む設定変数を通信することができる。
【0056】
本開示の実施形態によれば、コンピューティングエレメント７０のアレイを流れるデータパケット８０は、少なくとも部分的には、各データパケット８０に関連付けられたターゲットタグ８２によって制御することができる。したがって、複雑な集中制御および通信機構は必要ない。
【0057】
本開示の実施形態によれば、図８Ａに示されるように、データパケット８０は、データ値Ｄ（例えば、演算回路７４によって数学的に演算される数値）と、ターゲットタグＴとを含む。図８Ｂに示されるように、ターゲットタグＴは、データ値Ｄに対する関連する演算を識別するコンピューティングエレメント７０識別子Ｃを含むことができ、ルーティング値Ｒを含むことができる。ターゲットタグＴは、ターゲットタグＴが存在するコンピューティングエレメント７０がコンピューティングエレメント７０のオペレーションを実行することを示し、したがってコンピューティングエレメント７０を識別する）。コンピューティングエレメント７０の識別は、コンピューティングエレメント７０のラベルまたは演算に一致すること、またはノールート値Ｎルーティング値Ｒ（例えば、コネクション４８ではないヌル値またはカウント）を識別することを含むことができる。したがって、ターゲットタグＴは、演算回路７４の動作およびコンピューティングエレメント７０のアレイを通るデータパケットの流れを制御する動的設定変数の形態として動作することができる。
【0058】
図９に示されるように、各コンピューティングエレメント７０は、それがデータ値Ｄに対して実行することができる関連する演算を有する。図示において、「＊」がマークされたコンピューティングエレメント７０は、指示された重みＷ値（例えば、設定変数として提供されるか、コンピューティングエレメント７０にハードワイヤードされるか、またはデータパケット８０の一部として提供される）を使用して、行列－ベクトル積演算（本明細書において「乗算」と呼ばれる）を実行することができ、「＋」がマークされたコンピューティングエレメント７０は、加算または累積演算を実行することができ、「ｆ」がマークされたコンピューティングエレメント７０は、変換を実行することができる（例えば、ルックアップテーブルなど）を実行することができる。ターゲットタグＴがコンピューティングエレメント７０に一致する場合、例えば、コンピューティングエレメント制御回路７８がセルフタグＳをコンピューティングエレメント識別子Ｃに一致させることによって、またはノールートＮルーティング値Ｒ（例えば、ヌル値またはルーティング値のゼロカウント）を識別することによって決定されるように、コンピューティングエレメント７０の演算は、コンピューティングエレメント制御回路７８によって可能にされるように、演算回路７４によってデータ値Ｄに対して実行される。ターゲットタグＴは、コンピューティングエレメント７０を通過する際に変更され得、例えば、演算が完了する際のコンピューティングエレメント制御回路７８によるコンピューティングエレメント７０のリスト、およびデータパケット８０がコンピューティングエレメント７０のアレイを通過してルーティングされる際のルーティング値Ｒのリストである。
【0059】
本開示の実施形態において、コンピューティングエレメント７０のアレイは、例えばハードウェアにおいて、または例えばハードウェアシステム１０のプロセッサ１４によって、アレイ内の各コンピューティングエレメント７０に設定変数Ｖを送信することによって、初期化され得る。いくつかの実施形態では、設定変数Ｖは、（コンピューティングエレメント７０がハードワイヤード動作識別子を持たない場合）各コンピューティングエレメント７０および関連する動作を識別するセルフタグＳを含むことができる。いくつかの実施形態では、セルフタグＳは使用されず、設定値Ｖに含まれず、各コンピューティングエレメント７０にハードワイヤードされない。
【0060】
図１０に示されるように、外部コンパイラ（例えば、図１に示されるハードウェアシステム１０のプロセッサ１４上で実行されるソフトウェアを含む）は、データ値Ｄ、使用される場合、コンピューティングエレメント７０識別子Ｃ、および使用される場合、無経路値Ｎを含むルーティング情報Ｒを含むデータパケット８０のセットを構築し、ルーティング値Ｒによってルーティングされるデータ値Ｄに対して所望の順序で実行される１つまたは複数の演算を指定する１つまたは複数の演算グラフを符号化する。ターゲットタグＴは、使用される場合、コンピューティングエレメント７０の識別子Ｃと、例えば、実行されるべき次のコンピューティングエレメント７０での演算または使用されるべきルート値Ｒが、関連するリスト内の最初の値であり、したがって、次のステップのために公開されるターゲットタグＴ内のリストで提供されるルート値Ｒと、を含むことができる、次の演算またはコネクション４８出力のための現在の値。データパケット８０は、（例えば、プロセッサ１４によって）データ制御回路２４に提供され、データ制御回路２４は、（図４に示されるように）入力バス４２上で、または（図７に示されるように）コネクション４８を介して、特定のコンピューティングエレメント７０に提供する。受信コンピューティングエレメント制御回路７８はそれぞれ、ターゲットタグＴで指定されたコンピューティングエレメント７０識別子ＣをセルフタグＳと比較するか、またはノールートＮ値Ｒを識別する。コンピューティングエレメント制御回路７８が一致した場合、指示された演算が実行され、データ値Ｄが処理され、処理されたデータ値Ｄが、コネクション４８、例えばハードウェアで定義されたコネクション４８、設定変数Ｖで定義されたコネクション４８、またはルーティング値Ｒで定義されたコネクション４８に出力される、を削除して、新しいルーティング値Ｒが公開されるように変更することができる。（リスト内の実際の値は、削除または上書きすることができる。あるいは、いくつかの実施形態では、次のルーティング値Ｒまたは識別子Ｃを示すためにリストポインタを使用することができる。）一致しない場合、コンピューティングエレメント７０に関連する演算は実行されない。代わりに、ルーティング値ＲはターゲットタグＴ内のルーティング値のリストから削除され、変更されたデータパケット８０が、削除されたルーティング値Ｒによって示されるコネクション４８上に出力される。
【0061】
元のデータパケット８０を構築する責任を負うコンパイラは、データパケット８０をルーティングし、所望のコンピューティングエレメント７０上で所望の計算を実行するために、一連のルーティング値Ｒおよびコンピューティングエレメント７０識別子Ｃ（使用される場合）を設定する。エンドタグＥは、処理された出力データ４４の値Ｄが、どの演算回路７４によってもそれ以上処理されることなく、ルーティング値Ｒによって示されるようにアレイを通ってルーティングされ、図４に示されるように出力バス４６を通ってデータ制御回路２４、または図７に示されるようにコネクション４８に伝送されることを可能にすることができる。データパケット８０は、データ制御回路２４によってコンピューティングエレメント７０のアレイを通して再循環され、処理を継続することができる。複数のデータパケット８０をコンピューティングエレメント７０のアレイに同時に導入して、コンピューティングエレメント７０をビジー状態に保ち、コンピューティングエレメント７０を可能な限り効率的に使用することができる。
【0062】
図１０の例は、ｙ＝ｇ（ｆ（（Ｗ０＊ｘ）＋（Ｗ１＊ｘ））＊Ｗ２）の計算を示す。ここで、ｘは入力ベクトル（入力データ４０）であり、ｙは出力ベクトル（処理済み出力データ４４）であり、関数ｇおよびｆは非線形変換である。図１０に示すように、データパケット８０のデータ値Ｄは、関数（Ｗ０＊ｘ）および（Ｗ１＊ｘ）がそれぞれ実行されるアレイの左上２つのコンピューティングエレメント７０に提供される。処理されたデータパケット８０は、次に、最初のルーティング値Ｒによって指定されるように、隣接するボトムコンピューティングエレメント７０に渡される。受信コンピューティングエレメント７０は、（図９に示すように）必要な次の加算関数を実行できないため、データパケット８０は、次のルーティング値Ｒによって指定されるように、次のボトムコンピューティングエレメント７０にルーティングされ、したがって、図１０の「Ｐ」によって示されるパススルー関数が実行される。次の演算は、２つのコンピューティングエレメント７０からの入力データ４０を必要とする加算であるため、Ｗ０ の積のデータパケット８０は、（次のルーティング値Ｒに従って）右側に伝達される。次に、データパケット８０は、次のコンピューティングエレメント７０によって上と左から入力され、加算が実行され、ターゲットタグＴは、次の演算とルーティング値Ｒを公開するように修正され、加算の結果は、関数変換ｆを計算するコンピューティングエレメント７０に渡される。再び、セルフタグＳとターゲットタグＴの公開された演算が一致するので、関数変換ｆが実行され、処理されたデータ値Ｄは、次のルーティング値Ｒに従って、右に送信される。次に、データパケット８０は、次の演算、重みＷ２を持つ乗算ステップに、後続のルーティング値Ｒに従って、２回上に送信される。乗算の結果は、関数変換ｇ（ｘ）を実行する最終的なマッチングコンピューティングエレメント７０に、次のルーティング値Ｒによって示されるように、右に渡され、次に２回下に渡される。処理された出力データ４４は、データ制御回路２４に伝えられ、演算アレイから取り除かれる。
【0063】
一般に、演算は、１つまたは複数のコネクション４８からの入力を必要とすることができ、コンピューティングエレメント制御回路７８は、コネクション４８のいずれか１つまたは複数からの入力データ４０を有効にすることができる。さらに、異なるコネクション４８からの入力データ４０（例えば、データパケット８０から）は、異なる時間に到着することができ、コンピューティングエレメント制御回路７８は、例えば、値がターゲットタグＴにエンコードされ、コンパイラによって指定され得るカウンタを使用して、必要なデータが全て到着するまで、オペレーションを遅延させることができる。さらに、いくつかの実施形態では、コンピューティングエレメント７０は、データパケット８０を内部に格納する一方で、次のオペレーションに必要でない他のデータパケット８０を、例えばメモリノードにルーティングすることができる。したがって、データパケット８０は、無関係なオペレーションが行われるために遅延することなく、効率的にルーティングすることができる。
【0064】
図１０に示された計算グラフは、図７に示されたコンピューティングエレメント７０のトロイダルアレイを用いて実装することもできる。いくつかのそのような実施形態において、データ値Ｄ（入力データ４０）およびターゲットタグＴを含むデータパケット８０は、アレイの外部でコンパイルされ、データ制御回路２４（例えば、専用のコンピューティングエレメント７０）に（例えば、バスを介して）通信される。データ制御回路２４は、データパケット８０を、コネクション４８を介してアレイ内のコンピューティングエレメント７０に通信する。例えば、Ｗ０、Ｗ１、最初の２つの乗算演算は、コンピューティングエレメント７０のアレイにおける最上行の左端および右端のコンピューティングエレメント７０によって実行することができる。そして、左端のコンピューティングエレメント７０の処理データと右端のコンピューティングエレメント７０の処理データが、２つのコンピューティングエレメント７０の下にシフトされ、右端のデータが１つのコンピューティングエレメント７０の右にシフトされ、２つの乗算コンピューティングエレメント７０からの処理データが加算される。加算されたデータは、コンピューティングエレメント７０が１つ下にシフトされ、変換演算が行われ、その後、上述したような処理が行われる。
【0065】
上述したように、データパケット８０の制御フローは、各コンピューティングエレメント７０に格納されたセルフタグＳと、ターゲットタグＴで通信されるコンピューティングエレメント識別子Ｃとを用いて実装することができる。図１１Ａ～１１Ｊは、そのような実施形態における第１のデータパケット８０に関連付けられたターゲットタグＴの簡略化された例を示している。図１３Ａ～１３Ｊは、図１１Ａ～１１ＪのようにセルフタグＳおよび識別子Ｃを使用せず、無経路Ｎルーティング値Ｒを使用する実施形態を示す。図１１Ａに示すように、コンピューティングエレメント７０の識別子Ｃには、コンピューティングエレメント７０に関連する関数、「＊」（乗算）、「＋」（加算）、「ｆ」（関数変換）、「Ｅ」（終了タグまたは無演算）、および処理順序を示す添え字が付されている。ルーティング値Ｒも同様に、順にマークされ、示された方向にコンピューティングエレメント７０から延びるコネクション４８に対応する「Ｂ」（下）、「Ｌ」（左）、「Ｒ」（右）、「Ｔ」（上）で示される。Ｘ」は、未使用の任意のルーティング値Ｒを示す。ルーティング値は、複数ビットのバイナリ値、例えば、コネクション４８の各方向を示す２ビット値とすることができる。後述する図１５に示すように、いくつかの単一方向の配置では、２つの可能なコネクション４８のうちの１つを選択するには、１ビットで十分である。
【0066】
ターゲットタグＴの最初の演算「＊」は、左上のコンピューティングエレメント７０と一致し、実行される。次に、コンピューティングエレメント制御回路７８は、ターゲットタグＴから演算とルーティング値「Ｂ」を除去し、ターゲットタグＴの識別子Ｃ部分を別のエンドタグと任意のルーティング値（「Ｘ」で示す）で満たし、図１１Ｂの更新されたターゲットタグＴで底部コネクション４８上に乗算の結果を出力する。ターゲットタグＴの更新は、デジタル回路技術に熟練した者には明らかであるように、デジタル論理でハードワイヤードされるか、マイクロコントローラでファームウェアとして実行されるか、または他の論理回路で実行され得る。次の、露出した演算は「＋」であり、コンピューティングエレメント７０と一致しないので、図１１Ｃに示されるように、データパケット８０のルーティング値Ｒのみが修正され、底部コネクション４８上に出力される。このコンピューティングエレメント７０は、公開された演算「＋」に一致し、加算演算が実行され、図１１Ｄに示すように、演算とルーティング値Ｒの両方のターゲットタグＴが更新された加算データ値Ｄの結果が、ボトムコネクション４８を介してルーティングされる。次の演算「ｆ」も一致し、演算が実行され、図１１Ｅに示すように、更新されたターゲットタグＴを有するデータパケット８０が右コネクション４８上に出力される。データパケット８０は次に、図１１Ｆおよび図１１Ｇに示すように、乗算コンピューティングエレメント７０に遭遇するために２つのコンピューティングエレメント７０の上方にルーティングされる。乗算演算が実行された後、図１１Ｈに示されるように、結果が右コネクション４８を介して送信され、演算値およびルーティング値が更新される。次の２つのコンピューティングエレメント７０が公開関数「ｆ」に一致しないので、図１１Ｉおよび図１１Ｊに示すように、データパケット８０が底部コネクション４８を介して２回送信される。「ｆ」演算が実行された後、図１１Ｋに示されるように、データパケット８０は、再び下に送られ、コンピューティングエレメント７０の４×４アレイの最上段のコンピューティングエレメント７０まで回される。この時点で、データパケット８０は再びデータ制御回路２４に到達しており、露出した演算は終了タグであるため、データ制御回路２４は演算結果を出力する。
【0067】
全体的な動作フローは、図１２のフロー図に示されている（図７に示されたコンピューティングエレメント７０のアレイに対応する）。図１２に示されるように、ステップ１００において、入力データ４０が、例えばセンサ３０からハードウェアシステム１０（図１に示されるように）へ、システムに提供される。入力データ４０は、ステップ１０５において、例えばプロセッサ１４によってデータパケット８０にコンパイルされる。コンピューティングエレメント７０は、ステップ１１０において設定され（例えば、ハードワイヤードでない場合には、セルフタグＳなどの設定値で）、データパケット８０は、ステップ１１５においてデータ制御回路２４に送信される。次に、データ制御回路２４は、ステップ１２０において、例えば入力バス４２（図４に示される）またはコネクション４８（図７に示される）を介して、設定されたコンピューティングエレメント７０のアレイにデータパケット８０を送信する。ステップ１２５において、現在の露出されたコンピューティングエレメント７０の識別子Ｃ（例えば、コンピューティングエレメント７０の識別子Ｃのリストの最上位にある現在のコンピューティングエレメント７０の識別子Ｃ）が、受信コンピューティングエレメント７０の能力（例えば、コンピューティングエレメント７０の識別子ＣがセルフタグＳに一致する）と一致する場合、演算は、ステップ１３０において実行され、識別子リストは、ステップ１３５において更新される。ステップ１２５において、現在の識別子Ｃがコンピューティングエレメント７０のセルフタグＳに一致しない場合、演算は実行されない。データパケット８０は、ステップ１４０でルーティングリストを更新した後、ステップ１４５でルーティングリストに示されたコネクション４８を介して隣接コンピューティングエレメント７０にルーティングされる。受信コンピューティングエレメント７０がデータ制御回路２４である場合、ステップ１４５でコンピュートグラフが完了し、ステップ１５０で処理されたデータが出力される。受信コンピューティングエレメント７０がデータ制御回路２４でない場合（あるいは、データ制御回路２４がエンドタグＥ識別子Ｃを検出しない場合）、プロセスは、処理されたデータがデータ制御回路２４に伝達されるまで継続する。例えば、データ制御回路２４は、データ制御回路２４が接続されている行において、アレイの一方の側から他方の側にデータをルーティングすることができる。
【0068】
図１３Ａ～図１３Ｊは、図１１Ａ～図１１ＪのようにセルフタグＳおよび識別子Ｃを使用せず、無経路Ｎルーティング値Ｒを使用する実施形態を示す。実施形態において、ルーティング値Ｒは、ルーティングコネクション４８または性能演算（例えば、無経路値Ｎ）のいずれかを示す複数ビットのタグであり得る。非限定的な例では、各ルーティング値Ｒは、２つのビットを有し、００は性能動作を示し、０１は第１のコネクション４８へのルーティングを示し、１０は第２のコネクション４８へのルーティングを示し、１１はデータパケット８０が受信されたコネクション４８から時計回りの方向で第３のコネクション４８へのルーティングを示す。（この例では、データパケット８０は、データパケット８０が受信されたコネクション４８を通って戻されないが、他の例では、例えば、３ビットのルーティング値Ｒでは、そのような戻しが可能である）。ルーティング値Ｒは、順にマークされ、示された方向にコンピューティングエレメント７０から延びるコネクション４８に対応する「Ｂ」（下）、「Ｌ」（左）、「Ｒ」（右）、「Ｔ」（上）で示される。Ｘ」は、使用されない任意のルーティング値Ｒを示す。配線値Ｒ（無配線値Ｎを含む）を使用することにより、（セルフタグが不要なため）単純性が向上し、回路が削減されるなどの利点が得られる。デジタル回路設計技術に精通した者には理解されるように、計算が実行されることを示すために様々な論理機構を提供することができる。例えば、いくつかの他の実施形態では、ルーティング値Ｒは、コネクション４８を介した各送信の後にヌル値（例えば、ルーティングなし値）に置き換えられる。ルーティング値Ｒのリストがヌル値で満たされると、演算が実行される。本開示の実施形態は、ルーティング値Ｒおよび無ルート値Ｎの特定の論理的実装、または計算が実行されることを示す他の表示に限定されない。実施形態によれば、必要なことは、コンピューティングエレメント７０が、ターゲットタグＴから、コンピューティングエレメント７０のコンピューティング動作が実行されることを認識することだけである。この認識により、コンピューティングエレメント７０は、ターゲットタグＴによって指定されたコンピューティングエレメント７０と識別される。
【0069】
図１３Ａに示すように、第１のルーティング値Ｒは「Ｎ」であるため、第１のコンピューティングエレメント７０の演算（図１０において「＊」で示す乗算）が実行され、「Ｎ」のルーティング値Ｒがルーティング値Ｒリストから削除される。任意の値（例えば、「Ｎ」個のルーティング値）をリストの一番下に挿入することができる。次のルーティング値Ｒは「Ｂ」（図１３Ｂに示す）であり、乗算の結果が底部コネクション４８を通過し、「Ｂ」ルーティング値Ｒがルーティング値リストから削除されることを示す（図１３Ｃに示す）。次のルーティング値Ｒも「Ｂ」であり（図１３Ｃに示される）、データパケット８０がボトムコネクション４８を通過し、「Ｂ」ルーティング値Ｒがルーティング値リストから削除されることを示す（図１３Ｄに示される）。次のルーティング値Ｒは「Ｎ」であるため、コンピューティングエレメント７０の演算（図１０において「＋」で示される加算）が実行され、「Ｎ」のルーティング値Ｒがルーティング値Ｒリストから削除される。次のルーティング値Ｒは、加算の結果が底部コネクション４８を通過し、ルーティング値リストから「Ｂ」ルーティング値Ｒが削除されることを示す「Ｂ」である（図１３Ｅでは、ルーティング値Ｒリストから「Ｎ」と「Ｂ」の両方が削除されて示されている）。次のルーティング値Ｒは再び「Ｎ」であるため、コンピューティングエレメント７０の演算が実行され（図１０において「ｆ」で示される変換）、「Ｎ」ルーティング値Ｒがルーティング値Ｒリストから削除される。次のルーティング値Ｒは、加算の結果が右コネクション４８に渡され、ルーティング値リストＲから削除された「Ｒ」ルーティング値Ｒを示す「Ｒ」である（図１３Ｆでは、ルーティング値Ｒリストから「Ｎ」と「Ｒ」の両方が削除されて示されている）。次の２つのルーティング値Ｒは両方とも「Ｔ」であり、データパケット８０がトップコネクション４８を通過して乗算コンピューティングエレメント７０に提示され、「Ｔ」ルーティング値Ｒが削除されることを示す（図１３Ｇに示されるように）。次のルーティング値Ｒは再び「Ｎ」であるため、コンピューティングエレメント７０の演算（図１０において「＊」で示される乗算）が実行され、「Ｎ」のルーティング値Ｒがルーティング値Ｒリストから削除される。次のルーティング値Ｒは、加算の結果が右コネクション４８に渡され、ルーティング値リストから「Ｂ」ルーティング値Ｒが削除されることを示す「Ｒ」である（図１３Ｈでは、ルーティング値Ｒリストから「Ｎ」と「Ｒ」の両方が削除されて示されている）。次の２つのルーティング値Ｒは両方とも「Ｂ」であり、データパケット８０がボトムコネクション４８を通過して変換コンピューティングエレメント７０に提示され、「Ｂ」ルーティング値Ｒが削除されることを示す（図１３Ｉに示されるように）。次のルーティング値Ｒは再び「Ｎ」であり、したがって、コンピューティングエレメント７０の演算が実行され（図１０において「ｆ」で示される変換）、「Ｎ」ルーティング値Ｒがルーティング値Ｒリストから削除される。次のルーティング値Ｒは「Ｂ」であり、加算の結果が底部コネクション４８を通過し、「Ｂ」ルーティング値Ｒがルーティング値リストから削除されることを示す（図１３Ｊでは、「Ｎ」と「Ｂ」の両方がルーティング値Ｒリストから削除されて示されている）。次の２つのルーティング値Ｒは両方とも「Ｒ」であり、データパケット８０が右コネクション４８を通過してデータ制御回路２４に提示されることを示す。データ制御回路２４は、「Ｎ」のルーティング値を検出し、データ制御回路２４が完了したデータパケット８０を出力することを示す。その後、データパケット８０の処理が完了し、データパケット８０のデータ値Ｄがコンピューティングエレメント７０のアレイから出力される。図１３Ａ～１３Ｊは、アクティブまたは露出されたルーティング値Ｒがメモリまたはレジスタの最前または最下アドレス位置にあるルーティング値Ｒのリストを示す。いくつかの実施形態では、アクティブまたは露出されたルーティング値Ｒは、メモリまたはレジスタ内の後方または最高アドレス位置にある。
【0070】
全体的なデータの流れは、図１４のフロー図に示されている（図７に示されたコンピューティングエレメント７０のアレイに対応する）。図１４に示されるように、ステップ１００において、入力データ４０が、例えばセンサ３０からハードウェアシステム１０に（図１に示されるように）提供される。入力データ４０は、ステップ１０５において、例えばプロセッサ１４によってデータパケット８０をコンパイルする。コンピューティングエレメント７０は、ステップ１１０において任意に設定され（例えば、設定値で）、データパケット８０は、ステップ１１５においてデータ制御回路２４に送信される。次に、データ制御回路２４は、ステップ１２０において、例えば入力バス４２（図４に示される）またはコネクション４８（図７に示される）を介して、設定されたコンピューティングエレメント７０のアレイにデータパケット８０を送信する。現在のコンピューティングエレメント７０が「Ｎ」ルーティング値Ｒを検出した場合、演算はステップ１３０で実行される。現在のコンピューティングエレメント７０が「Ｎ」ルーティング値Ｒを検出しない場合、演算は実行されない。データパケット８０は、ステップ１４０でルーティングリストを更新した後、ステップ１４５でルーティングリストに示されたコネクション４８を介して隣接コンピューティングエレメント７０にルーティングされる。受信コンピューティングエレメント７０がデータ制御回路２４であり、次のルーティング値Ｒが「Ｎ」に等しい場合、ステップ１４５でコンピュートグラフが完了し、ステップ１５０で処理されたデータが出力される。受信コンピューティングエレメント７０がデータ制御回路２４でない場合（あるいは、データ制御回路２４が「Ｎ」ルーティング値Ｒを検出しない場合）、プロセスは、処理されたデータがデータ制御回路２４に伝達されるまで継続する。例えば、データ制御回路２４は、データ制御回路２４が接続されている行において、アレイの一方の側から他方の側へデータをルーティングすることができる。
【0071】
複数セットのデータパケット８０は、コンパイルされたデータパケット８０によって指示されるように、コンピューティングエレメント７０のアレイを同時に循環することができ、コンピューティングエレメント７０の効率的な使用を可能にする。コンピューティングエレメント７０は、各コンピューティングエレメント７０に記憶されたプログラムマシンを必要とすることなく、論理回路に直接実装することができるため、コネクション４８を介した１つのコンピューティングエレメント７０と別のコンピューティングエレメント７０との間の通信を含む入力、処理動作、および出力動作は、例えばナノ秒など、非常に高速であり、その結果、極めて高速で電力効率の高いコンピューティングを実現することができる。
【0072】
本開示の実施形態は、多種多様なコンピューティングエレメント７０の構成およびコネクション４８のアーキテクチャを備える。同様に、本開示の実施形態は、多種多様なコンピューティングエレメント７０、例えば、外部システム（例えば、プロセッサ１４）と相互作用するデータ制御回路２４、演算回路７４を含むコンピューティングエレメント７０、メモリノードとして機能し、データパケット８０をバッファまたは順序付けることができるコンピューティングエレメント７０（例えば、シフトレジスタまたはＳＲＡＭのようなメモリアレイおよびステートマシンコントローラを備える）またはルーティングノードを含む。図１５は、データ制御回路２４に接続されたグリッドの対向する角のコンピューティングエレメント７０を有するグリッド配置の一方向コネクション４８を含む実施形態を示す。このような実施形態は、より単純であり、より少ないコネクション４８を必要とするが、図７のような他の配置よりも多くのルーティングを必要とする可能性がある。図１６は、より少ないコネクション４８を有する、より単純なコンピューティングエレメント７０の一次元アレイを図示する。いくつかの実施形態において、および図１７に示されるように、複数のデータ制御回路２４は、各々、コンピューティングエレメント７０のアレイのサブセットを制御することができる。各サブセットのコンピューティングエレメント７０は、１次元または２次元アレイとすることができ、様々な機能、例えば行列－ベクトル積乗算器、アキュムレータ、非線形変換器、およびメモリノードを含むことができる。いくつかの実施形態では、コンピューティングエレメント７０は、図１８に示されるように、８つの最近接コンピューティングエレメント７０に双方向（任意選択で単方向）コネクション４８によって斜めに接続される。斜めコネクション４８は、ルーティング通信ステップの数を減らすことができる。いくつかのそのような実施形態では、ルーティング値Ｒは、３ビット値として記憶され得る。いくつかの構成では、データパケット８０は、データパケット８０の到着時間を制御するために、異なる経路を使用してルーティングされ得る。
【0073】
図１９は、比較的単純なメッセージパッシング回路７１がコネクション４８で接続され、各メッセージパッシング回路７１が、メッセージパッシング回路７１に接続された１つ以上のコンピューティングエレメント７０にデータパケット８０を渡すことができる実施形態を示す。この配置は、コンピューティングエレメント７０を単純化することができる。
【0074】
本開示の実施形態において、複数のデータパケット８０は、コンピューティングエレメント７０のアレイ内を循環することができる。しかしながら、コンピューティングエレメント７０のいずれか１つ以上がコンピューティング、ルーティング、または他の方法でアクティブでないとき、コンピューティングアクセラレータ２０の電力を節約するために、電力を低減した静止状態に入ることができる。
【0075】
本開示の実施形態によれば、コンピューティングエレメント７０の回路は、例えば、半導体ファウンドリでフォトリソグラフィプロセスを使用してシリコン基板または他の半導体材料で作られ、プリント回路基板技術を用いて組み立てられた、デジタルロジックを含む集積回路であり得る。コンピューティングエレメント７０は、単一の集積回路で構成することができる。コンピューティングエレメントアレイシステム、例えばコンピューティングアクセラレータ２０は、コンピューティングアクセラレータ２０を備えた回路に電力を供給し、コンピューティングアクセラレータ２０に入力データ４０とターゲットタグＴを供給する適切な電気信号を供給することによって動作させることができる。
【0076】
本開示の実施形態によれば、行列ベクトル乗算器（ＭＶＭ）６０は、コンピューティングエレメント７０（例えば、図３に示されるような）において、デジタル演算として、またはアナログ演算とともに、またはその組み合わせのいずれかで、行列ベクトル積演算を実行することができる。このようなＭＶＭ６０は、示された演算を実行するためのデジタル回路およびロジックを備えることができ、またはアナログ回路を備えることができ、またはデジタル回路とアナログ回路との組み合わせを備えてもよい。このようなドット積行列乗算は、ニューラルネットワーク計算における典型的な演算である。いくつかの実施形態では、ＭＶＭ６０は、マルチビットキャパシタアレイと、乗算累積（ＭＡＣ）機能を提供し、ハードウェアシステム１０内のコンピューティングエレメント７０のインメモリ計算アーキテクチャの改善された電力効率の基礎を生成するアナログ／デジタルコンバータ９８とを含む。マルチビットキャパシタアレイは、本明細書ではｑＭＡＣ６１（「ｑ」は、マルチビットキャパシタアレイ内の電荷Ｑを指す）として参照され、コンピューティングエレメント７０のＭＶＭ６０においてドット積演算を実装することができる。このようなドット積は、Ｎ個の入力値を有する１次元ベクトルの各メンバを、ＭｘＮ配列のＮ個の値を有する列の各メンバに乗算し、乗算された値を累積（合計）して、Ｍ個の値を有する出力ベクトルをもたらす。ＭｘＮ配列は、ニューラルネットワークの計算における重み行列となる。Ｍが１に等しい場合、各１次元Ｎｘ１配列の対応する要素が乗算され、それらの値が加算されて単一の値が得られる。本開示のいくつかの実施形態では、ドット積演算は、電力を低減し、乗算の速度を向上させるために、少なくとも部分的にアナログ領域で実行され（例えば、１つまたは複数のキャパシタ内の電荷で）、その結果、性能および電力効率が向上する。
【0077】
図２０の実施形態に示されるように、単位容量乗算器９０は、例えば重み値Ｗのような値を記憶するラッチ９２を含む。ラッチ９２に記憶される値は、例えばキャパシタに記憶される電圧のようなアナログ値であっても、例えばフリップフロップまたはデジタルラッチに記憶される２進値のようなデジタル値であってもよい。スイッチ９４（例えば、トランジスタ）は、ラッチ９２をキャパシタ９６に接続する。スイッチ９４は、２つの状態で動作可能なデジタルバイナリスイッチとすることも、例えばバイポーラトランジスタの電圧に応答して連続制御を行うアナログスイッチとすることもできる。スイッチ入力９３（例えば、入力４０）は、スイッチ９４をオンにしてラッチ９２からキャパシタ９６に電荷を伝導するようにスイッチ９４を制御する。ラッチ９２がゼロ値を記憶しているか、スイッチ入力９３がゼロの場合、電荷は伝導されない。ラッチ９２とスイッチ入力９３の両方がゼロより大きい値を持つ場合のみ、電荷がキャパシタ９６に伝導される。最も単純なケースでは、ラッチ９２とスイッチ９４は単一ビットである。いくつかの実施形態では、ラッチ９２とスイッチ９４は、複数のビットを表す電圧を持つか、実質的に連続した電荷でキャパシタ９６を充電する連続電圧である。キャパシタ９６の出力（電荷Ｑ）は、Ｑ＝Ｗ＊Ｘとなるようにラッチ９２によって乗算されたスイッチ入力９３と等価である（そして、例えば、図３の挿入図に対応する）。
【0078】
完全なＭＶＭ６０は、ｑＭＡＣ６１を生成する複数の単位容量型乗算器９０を含むことができる。単位容量マルチプライヤ９０のアレイ（例えば、図３のマルチプライヤの列を表す）の累積（和）は、図２１に示されるように、キャパシタ９６を短絡させて電荷Ｑの全てを累積することによって得られる。この蓄積はほぼ瞬時に行われ（電荷は導体に沿って非常に速く伝搬するため）、ほとんど電力を必要とせず、それによりエネルギーが節約される。入力４０（例えば、４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ）は、（図３に示されるように）デジタル－アナログ変換器を用いてデジタル値からアナログ値（例えば、電圧）に変換することができ、出力値は、アナログ－デジタル変換器を用いてアナログ（例えば、電荷）値からデジタル値に変換することができる。いくつかの実施形態では、ｑＭＡＣ６１はアナログ配列乗算器である。入力データ４０および出力データ４４は、オプションの変換回路６８によって、ある数学的空間から別の数学的空間へ（例えば、線形から非線形へ、またはその逆へ）変換することができる。この変換は、スイッチ９４とラッチ９２の特性を補完して乗算動作を可能にするように特別に選択することができる。
【0079】
いくつかの実施形態では、各乗算はデジタル演算として実行され、図２１の各単位乗算素子は、例えば図２２に示されるようなデジタル乗算器である。いくつかのそのような実施形態では、ラッチ９２はバイナリ値を記憶し、スイッチ入力９３はバイナリ値であり、スイッチ９４はバイナリスイッチである。ラッチ９２とスイッチ入力９３の両方がハイ（正電圧、真値、または１値）のとき、電荷がキャパシタ９６に堆積される。積の各ビットの電荷は、例えばキャパシタ９６で合計される。結果として得られるデジタル値のビットは、図２３Ｃに示すように、欠落している単位乗算器にもラベルが付けられた正方行列を仮定すると累積することができ、例えばデジタル回路を用いて、図２３Ａおよび図２３Ｂのように示される（ビットはそれぞれＢｙｘと記される。ｙは行であり、ｘは図２２の単位乗算器の行のビットである）。図２３Ａは、論理排他的論理和（ＸＯＲ）関数と、図２３Ｂで繰り返し使用される論理積関数（ＯＲ関数と共に）を示し、乗算の下位３ビットの各ビットを累積する。デジタル論理設計に精通した者であれば、同様または同様の概念を使用して、任意のビット数を有するデジタル乗算のビット値を計算する論理回路を設計することができる。いくつかの実施形態では、図２０および図２１のキャパシタを高値の抵抗に置き換え、各単位乗算器の出力を、容量和やアナログ－デジタル変換またはデジタル－アナログ変換を行うことなく、電圧として（ラッチ９２またはスイッチ９４が低い（低電圧を有する）場合はゼロ値として抵抗によってグランドにプルされるか、または両方が高い（高電圧を有する）場合は１値としてプルアップされる）図２３Ｂの回路に直接供給することができる。
【0080】
本開示の実施形態によれば、図２０に示されるようなデジタル１ビット乗算器の使用は、従来のデジタル論理ＡＮＤゲートの使用に勝る利点を提供する。このような実施形態は、デジタルゲートまたは論理回路と比較して、リークを低減したスイッチ９４（例えば、トランジスタ）の低電圧領域で動作させることができ、それにより、使用電力を低減することができる。単位乗算器９０は高速かつ高頻度で繰り返し使用されるため、このような電力削減により、ＭＶＭ６０が使用する電力を大幅に削減することができる。例えば、図２２のデジタル乗算器構造を使用する図２１に示すような４×４の乗算器アレイは、各乗算を実行するために４×４の単位乗算器９０のアレイ、または２５６（１６×１６）の乗算器を必要とする。ビット数は通常４よりはるかに大きいので、単位乗算器の数は、本開示の実施形態によって提供される電力節約と同様に、それに応じて大きくなる。例えば、８ビット値では４０９６（６４×６４）個の乗算器が必要となり、１６ビット値では６５５３６（２５６×２５６）個の乗算器が必要となり、３２ビット値では１０４８５７６（１０２４×１０２４）個の乗算器が必要となる。
【0081】
本開示の実施形態によれば、ＭＶＭ６０は、入力ベクトル（例えば、入力データ４０）と重み行列との間の乗算の上位ビットのみを計算することができる。ニューラルネットは、入力データの非常に小さな変化に対して非常に弱くしか応答することができないので、行列－ベクトル乗算の下位ビットは無視することができる。したがって、図２２に示されるような計算の下位ビットは無視することができ、乗算を実行するために使用される回路のサイズと電力を低減することができる。
【0082】
本開示のいくつかの実施形態では、累積値またはベクトルのサブセットのみが処理される。行列が繰り返し処理されるネットワークでは、１つまたは複数のベクトル積の乗算からの結果を刈り込みまたは他の方法でダウンサンプリングする（例えば、蓄積された値またはベクトルの全てよりも少ないサブセットを選択する）ことによって、使用される計算の総数およびエネルギーが低減される。いくつかの実施形態では、他の累積値またはベクトルに比べてゼロまたは相対的に小さい結果は、ゼロに設定されるか、または後続の計算から除外される。
【0083】
実施形態の特定の実施態様を説明してきたが、当業者には、本開示の概念を組み込んだ他の実施態様を使用することができることが今や明らかになるだろう。したがって、本開示は、特定の実施態様に限定されるべきではなく、むしろ、以下の特許請求の範囲の精神および範囲によってのみ限定されるべきである。
【0084】
本明細書を通じて、装置およびシステムが特定の要素を有する、含む、または備えるものとして記載される場合、または、プロセスおよび方法が特定のステップを有する、含む、または備えるものとして記載される場合、さらに、開示された要素から本質的に構成される、または構成される開示された技術の装置およびシステムが存在すること、および開示された処理ステップから本質的に構成される、または構成される開示された技術によるプロセスおよび方法が存在することが企図される。
【0085】
開示された技術が動作可能である限り、ステップの順序や特定の動作を実行する順序は重要ではないことを理解すべきである。さらに、状況によっては、２つ以上のステップまたは動作を同時に実施することもできる。本開示は、その特定の実施形態を特に参照して詳細に説明されてきたが、以下の特許請求の範囲の精神および範囲内で、変形および修正が効果的に行われ得ることが理解されるだろう。
【符号の説明】
【0086】
Ｂ ビット
Ｃ 要素識別子の計算／識別子
Ｄ データ値
Ｅ エンドタグ
ｋ 定数
Ｎ 非ルート
Ｏ 演算
Ｑ チャージ
Ｒ ルーティング値
Ｓ セルフタグ
Ｔ ターゲットタグ
Ｗ 重み
１０ ハードウェアシステム
１２ メモリ
１４ プロセッサ
２０ コンピューティングアクセラレータ
２２ 割り込み信号
２４ データ制御回路
２６ 入力制御回路
２８ 出力制御回路
３０、３０Ａ、３０Ｂ、３０Ｃ センサ
３２ センサ信号
４０、４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ、４０Ｎ 入力／入力データ／入力値
４２ 入力バス
４４ 出力／出力データ
４６ 出力バス
４８ 接続
５０ センサインターフェース回路
５２ 汎用入出力回路
５４ オートマチックゲイン回路
５６ 内部ロジックとクロックゲーティング
６０ インメモリ行列乗算器
６１ ｑＭＡＣ
６２ 非線形変換器
６４ アキュムレータ
６６ メモリノード
６８ 変換回路
７０ コンピューティングエレメント
７２ ストレージ回路
７４ 演算回路
７８ 制御回路／コンピューティングエレメント制御回路
８０ データパケット
９０ 単位容量乗数／単位乗数
９２ ラッチ
９３ スイッチ入力
９４ スイッチ
９５ ビット加算器
９６ キャパシタ
９７ デジタルアナログコンバータ
９８ アナログデジタルコンバータ
１００ 入力データステップを提供するステップ
１０５ データパケットをコンパイルするステップ
１１０ コンピューティングエレメントを設定するステップ
１１５ データ制御回路にデータパケットを提供するステップ
１２０ データパケットをコンピューティングエレメントに送信するステップ
１２５ 露出した演算がコンピューティングエレメントステップと一致するか判定するステップ
１２７ 公開されたルーティング値がNに一致するか判定するステップ
１３０ 演算実行ステップ
１３５ 演算リスト更新ステップ
１４０ ルーティングリスト更新ステップ
１４５ コンピューティングエレメントがデータ制御回路と一致するか判定するステップ
１４７ コンピューティングエレメントがデータ制御回路であり、かつルーティング値がＮに一致するか判定するステップ
１５０ 処理データ値を出力するステップ
Ｃ 要素識別子の計算／識別子
Ｄ データ値
Ｅ エンドタグ
ｋ 定数
Ｎ 非ルート
Ｏ 演算
Ｑ チャージ
Ｒ ルーティング値
Ｓ セルフタグ
Ｔ ターゲットタグ
Ｗ 重み
１０ ハードウェアシステム
１２ メモリ
１４ プロセッサ
２０ コンピューティングアクセラレータ
２２ 割り込み信号
２４ データ制御回路
２６ 入力制御回路
２８ 出力制御回路
３０、３０Ａ、３０Ｂ、３０Ｃ センサ
３２ センサ信号
４０、４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ、４０Ｎ 入力／入力データ／入力値
４２ 入力バス
４４ 出力／出力データ
４６ 出力バス
４８ 接続
５０ センサインターフェース回路
５２ 汎用入出力回路
５４ オートマチックゲイン回路
５６ 内部ロジックとクロックゲーティング
６０ インメモリ行列乗算器
６１ ｑＭＡＣ
６２ 非線形変換器
６４ アキュムレータ
６６ メモリノード
６８ 変換回路
７０ コンピューティングエレメント
７２ ストレージ回路
７４ 演算回路
７８ 制御回路／コンピューティングエレメント制御回路
８０ データパケット
９０ 単位容量乗数／単位乗数
９２ ラッチ
９３ スイッチ入力
９４ スイッチ
９５ ビット加算器
９６ キャパシタ
９７ デジタルアナログコンバータ
９８ アナログデジタルコンバータ
１００ 入力データステップを提供するステップ
１０５ データパケットをコンパイルするステップ
１１０ コンピューティングエレメントを設定するステップ
１１５ データ制御回路にデータパケットを提供するステップ
１２０ データパケットをコンピューティングエレメントに送信するステップ
１２５ 露出した演算がコンピューティングエレメントステップと一致するか判定するステップ
１２７ 公開されたルーティング値がNに一致するか判定するステップ
１３０ 演算実行ステップ
１３５ 演算リスト更新ステップ
１４０ ルーティングリスト更新ステップ
１４５ コンピューティングエレメントがデータ制御回路と一致するか判定するステップ
１４７ コンピューティングエレメントがデータ制御回路であり、かつルーティング値がＮに一致するか判定するステップ
１５０ 処理データ値を出力するステップ
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図11D】
【図11E】
【図11F】
【図11G】
【図11H】
【図11I】
【図11J】
【図11K】
【図11L】
【図11M】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図13F】
【図13G】
【図13H】
【図13I】
【図13J】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23A】
【図23B】
【図23C】
【国際調査報告】