特許 7530544 順次接続された計算モジュールを介したニューラルネットワークハードウェアアクセラレーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-31

(45)【発行日】2024-08-08

(54)【発明の名称】順次接続された計算モジュールを介したニューラルネットワークハードウェアアクセラレーション

(51)【国際特許分類】

   G06N 3/063 20230101AFI20240801BHJP

   G06F 17/10 20060101ALI20240801BHJP

【ＦＩ】

G06N3/063

G06F17/10 A

G06F17/10 S

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2023211411

(22)【出願日】2023-12-14

(65)【公開番号】P2024086675

(43)【公開日】2024-06-27

【審査請求日】2024-02-06

(31)【優先権主張番号】18/067,015

(32)【優先日】2022-12-16

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】520043615

【氏名又は名称】ＥＤＧＥＣＯＲＴＩＸ株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ハビン オレグ

(72)【発明者】

【氏名】ネズ ニコライ

(72)【発明者】

【氏名】ダスグプタ サキャシンガ

【審査官】渡辺 一帆

(56)【参考文献】

【文献】特開平０４－２３７３６４（ＪＰ，Ａ）

【文献】米国特許第１１１４４８２２（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０６３－３／０６７

Ｇ０６Ｆ １７／１０

(57)【特許請求の範囲】

【請求項1】

値を記憶し、記憶された値を送信するように構成されたメモリ；及び
複数の順次接続された計算モジュール
を備え、前記複数の順次接続された計算モジュールの中の各計算モジュールは、
プロセッサであって、
前記メモリから入力データ値及び重み値を受信し、
前記入力データ値及び前記重み値に対して数学的演算を実行し、結果データ値を生成する
ように構成された回路構成を含み、前記プロセッサは、メモリインターコネクトを通じて前記メモリに接続されている、プロセッサ、及び
加算器であって、
前記プロセッサから、前記結果データ値を直接受信し、
先行する結果データ値及び先行する合計値のうちの１つを、前記複数の順次接続された計算モジュールの中の先行する計算モジュールの先行する加算器から直接受信し、
前記結果データ値を前記先行する結果データ値及び前記先行する合計値のうちの前記１つに加算して合計値を生成し、
前記メモリに、又は、前記複数の順次接続された計算モジュールの中の後続の計算モジュールの後続の加算器に直接、前記結果データ値及び前記合計値のうちの１つを送信する
ように構成された回路構成を含み、前記加算器は、前記プロセッサ、前記先行する加算器、及び前記後続の加算器に直接接続され、前記メモリインターコネクトを通じて前記メモリに接続されている、加算器
を有する、集積回路。

【請求項2】

前記複数の順次接続された計算モジュールの中の各計算モジュールは、
前記プロセッサ及び加算器に、プログラムに従って、送信、受信、及び演算を実行させるように構成された回路構成を含むシーケンサ
を更に有する、請求項１に記載の集積回路。

【請求項3】

ホストコンピュータから前記プログラムを受信する、及び
前記複数の順次接続された計算モジュールの中の各計算モジュールの前記シーケンサに前記プログラムを送信する
ように構成された回路構成を含むコントローラを更に備え、ここで前記プログラムは、ニューラルネットワーク推論を実行するための命令を含む、請求項２に記載の集積回路。

【請求項4】

前記複数の順次接続された計算モジュールの中の各計算モジュールは、
前記後続の計算モジュールの後続の同期ユニットとデータ読み取り動作を同期させるように構成された回路構成を含む同期ユニットを更に有し、ここで前記プロセッサ及び前記後続の計算モジュールの後続のプロセッサは、単一のクロック周期内に、前記メモリからの単一の送信において前記入力データ値及び前記重み値のうちの１つを受信する、請求項１に記載の集積回路。

【請求項5】

前記メモリは複数のメモリバンクを含む、及び
前記メモリインターコネクトは、前記複数のメモリバンクの中のメモリバンクを、前記複数の順次接続された計算モジュールの中の計算モジュール又はホストコンピュータに選択的に接続する、
請求項３に記載の集積回路。

【請求項6】

前記複数の順次接続された計算モジュールの中の各計算モジュールは、
前記メモリから、又は、前記先行する計算モジュールの先行するラインレジスタから直接、前記入力データ値を受信する、及び
前記プロセッサ及び前記後続の計算モジュールの後続のラインレジスタのうちの少なくとも１つに、前記入力データ値を直接送信する
ように構成された回路構成を含むラインレジスタを更に有し、ここで前記ラインレジスタは、前記プロセッサ、前記先行するラインレジスタ、及び前記後続のラインレジスタに直接接続され、前記メモリインターコネクトを通じて前記メモリに接続されている、請求項２に記載の集積回路。

【請求項7】

前記複数の順次接続された計算モジュールの中の各計算モジュールの前記シーケンサは、前記ラインレジスタに、前記プログラムに従って送信及び受信させるように構成された回路構成を更に含む、請求項６に記載の集積回路。

【請求項8】

前記プログラムは、ニューラルネットワーク推論を実行するための命令を含む、請求項５に記載の集積回路。

【請求項9】

前記コントローラは、前記プログラムに従って、
前記メモリに、前記ホストコンピュータから受信された第１の入力データ値を、前記メモリの複数のメモリバンクの中の第１のメモリバンクに記憶させる、
前記メモリに、前記ホストコンピュータから受信された第２の入力データ値を、前記メモリの前記複数のメモリバンクの中の第２のメモリバンクに記憶させる、
前記メモリに、前記ホストコンピュータから受信された前記重み値を、前記メモリの前記複数のメモリバンクの中の第３のメモリバンクに記憶させる
ように更に構成された回路構成を含む、請求項８に記載の集積回路。

【請求項10】

前記コントローラは、前記プログラムに従って、
第１の時間ステップにおいて、第１の計算モジュールに、前記メモリの前記複数のメモリバンクの中の第１のメモリバンクに第１の入力データ値を要求させる、
前記第１の時間ステップの直後の第２の時間ステップにおいて、
前記第１のメモリバンクに、前記第１の入力データ値を前記第１の計算モジュールに送信させる、及び
第２の計算モジュールに、前記メモリの前記複数のメモリバンクの中の第２のメモリバンクに第２の入力データ値を要求させる、
前記第２の時間ステップの直後の第３の時間ステップにおいて、
前記第１の計算モジュールに、前記第１の入力データ値に対して数学的演算を実行させて第１の結果データ値を生成する、
前記第１の計算モジュールに、前記第１の結果データ値を前記第２の計算モジュールに送信させる、及び
前記第２のメモリバンクに、前記第２の入力データ値を前記第２の計算モジュールに送信させる、及び
前記第３の時間ステップの直後の第４の時間ステップにおいて、
前記第２の計算モジュールに、前記第２の入力データ値に対して数学的演算を実行させて第２の結果データ値を生成する、
前記第２の計算モジュールに、前記第１の結果データ値を前記第２の結果データ値に加算させて第１の合計値を生成する、及び、
前記第２の計算モジュールに、前記第１の合計値を前記メモリに送信させる、及び
前記第４の時間ステップの直後の第５の時間ステップにおいて、
前記メモリに、前記第２の計算モジュールから受信された前記第１の合計値を、前記メモリの前記複数のメモリバンクの中の第４のメモリバンクに記憶させる
ように更に構成された回路構成を含む、請求項８に記載の集積回路。

【請求項11】

前記コントローラは、前記プログラムに従って、
第１の時間ステップにおいて、第１の計算モジュールに、前記メモリの前記複数のメモリバンクの中の第１のメモリバンクに第１の入力データ値及び第２の入力データ値を要求させる、
前記第１の時間ステップの直後の第２の時間ステップにおいて、前記第１のメモリバンクに、前記第１の入力データ値及び前記第２の入力データ値を前記第１の計算モジュールに送信させる、
前記第２の時間ステップの直後の第３の時間ステップにおいて、
前記第１の計算モジュールに、前記第１の入力データ値に対して数学的演算を実行させて第１の結果データ値を生成する、
前記第１の計算モジュールの第１の加算器に、前記第１の結果データ値を前記第２の計算モジュールの第２の加算器に送信させる、及び
前記第１の計算モジュールの第１のラインレジスタに、前記第２の入力データ値を前記第２の計算モジュールの第２のラインレジスタに送信させる、及び
前記第３の時間ステップの直後の第４の時間ステップにおいて、
前記第２の計算モジュールに、前記第２の入力データ値に対して数学的演算を実行させて第２の結果データ値を生成する、
前記第２の計算モジュールに、前記第１の結果データ値を前記第２の結果データ値に加算させて第１の合計値を生成する、及び、
前記第２の計算モジュールに、前記第１の合計値を前記メモリに送信させる、及び
前記第４の時間ステップの直後の第５の時間ステップにおいて、
前記メモリに、前記第２の計算モジュールから受信された前記第１の合計値を、前記メモリの前記複数のメモリバンクの中の第２のメモリバンクに記憶させる
ように更に構成された回路構成を含む、請求項１０に記載の集積回路。

【請求項12】

前記プロセッサは、点単位畳み込み又は深さ単位畳み込みを実行するように構成されている、請求項１に記載の集積回路。

【請求項13】

集積回路に含まれる計算モジュールであって、
メモリに接続可能な第１の入力データ経路、
前記第１の入力データ経路の下流に直接接続されたプロセッサ、前記プロセッサは、畳み込み演算を実行するように構成された回路構成を含む、
先行する加算器に直接接続可能な第２の入力データ経路、
前記プロセッサ及び前記第２の入力データ経路の下流に直接接続された加算器、前記加算器は、加算するように構成された回路構成を含む、
前記加算器の下流に直接接続され、前記メモリに接続可能な第１の出力データ経路、
前記加算器の下流に直接接続され、後続の加算器に直接接続可能な第２の出力データ経路、
先行するシーケンサに直接接続可能な第１の双方向制御経路、
前記第１の双方向制御経路の下流に直接接続されたシーケンサ、前記シーケンサは、プログラムに従い、前記プロセッサ及び加算器に信号を送信するように構成された回路構成を含む、及び
後続のシーケンサに直接接続可能な第２の双方向制御経路
を備える、計算モジュール。

【請求項14】

前記シーケンサは、
先行する同期ユニット又は後続の同期ユニットのうちの少なくとも１つとデータ読み取り動作を同期させるために前記第１の双方向制御経路及び前記第２の双方向制御経路を通じて信号を送信及び受信するように構成された回路構成を含む同期ユニット、ここで、前記プロセッサ、及び、先行するプロセッサ及び後続のプロセッサのうちの少なくとも１つは、単一のクロック周期内に前記メモリから単一の送信を受信する、
を更に含む、請求項１３に記載の計算モジュール。

【請求項15】

前記シーケンサは、
前記メモリに接続可能な第３の入力データ経路、
先行するラインレジスタに直接接続可能な第４の入力データ経路、
前記第３の入力データ経路及び前記第４の入力データ経路の下流に直接接続されたラインレジスタ、
前記ラインレジスタの下流に直接接続され、後続のラインレジスタに接続可能な第３の出力データ経路
を更に含む、請求項１３に記載の計算モジュール。

【発明の詳細な説明】

【背景技術】

【0001】

集積回路などのチップ内にますます多くの計算リソースが詰め込まれるのに伴い、計算能力のコストはより安くなってきている。しかしながら、所与のチップの完全な計算能力が、必ずしもあらゆるタスクに対して利用されているわけではない。従って、単一のチップに複数タイプのタスクが割り当てられる状況において、チップはそのタスクの中で最もリソースを要するものに対応するような計算リソースで設計され得る。その特定の設計は、他のタスクの実行には効率的でない場合があり、そのため、実行が失われる可能性がある。これは特に、異なるタイプのニューラルネットワーク推論を実行するように構成されたアクセラレータチップに当てはまる。

【図面の簡単な説明】

【0002】

添付の図と共に読まれるときに、本開示の態様が以下の詳細な説明から最も良く理解される。産業における標準的な慣行に従って、様々な特徴は一定の縮尺で描かれていないことが留意される。実際には、様々な特徴の寸法は、論述の明確さのために、任意に増加又は減少し得る。

【0003】

【図1】本発明の少なくとも一実施形態による、順次接続された計算モジュールを介したニューラルネットワークハードウェアアクセラレーションのためのシステムの概略図である。

【0004】

【図2】本発明の少なくとも一実施形態による、ラインレジスタを含む、順次接続された計算モジュールを介したニューラルネットワークハードウェアアクセラレーションのための集積回路の概略図である。

【0005】

【図3】本発明の少なくとも一実施形態による、メモリが複数のメモリバンクを含む、順次接続された計算モジュールを介したニューラルネットワークハードウェアアクセラレーションのための集積回路の概略図である。

【0006】

【図4】本発明の少なくとも一実施形態による、ニューラルネットワークハードウェアアクセラレーションのための集積回路用の順次接続された計算モジュールの概略図である。

【0007】

【図5】本発明の少なくとも一実施形態による、ニューラルネットワークハードウェアアクセラレーションのための集積回路用の同期ユニットを含む、順次接続された計算モジュールの概略図である。

【0008】

【図6】本発明の少なくとも一実施形態による、ニューラルネットワークハードウェアアクセラレーションのための集積回路用のラインレジスタを含む、順次接続された計算モジュールの概略図である。

【0009】

【図7】本発明の少なくとも一実施形態による、データブロードキャスティングが実行されるニューラルネットワークハードウェアアクセラレーションのためのプログラムのタイムラインである。

【0010】

【図8】本発明の少なくとも一実施形態による、入力タイル並列処理が実行されるニューラルネットワークハードウェアアクセラレーションのためのプログラムのタイムラインである。

【0011】

【図9】本発明の少なくとも一実施形態による、カーネル行並列処理が実行されるニューラルネットワークハードウェアアクセラレーションのためのプログラムのタイムラインである。

【発明を実施するための形態】

【0012】

以下の開示は、提供される主題の異なる特徴を実装するための、多くの異なる実施形態、又は例を提供する。構成要素、値、動作、材料又は配置等の具体例が、本開示を簡略化にするために以下で説明される。当然ながら、これらは単なる例であって、限定を意図するものではない。他の構成要素、値、動作、材料又は配置等が企図される。加えて、本開示は、様々な例において参照番号及び／又は文字を繰り返し得る。この繰り返しは、簡略化及び明確さを目的としており、それ自体が、論述される様々な実施形態及び／又は構成間の関係を規定するものではない。

【0013】

ニューラルネットワーク推論の実行において、様々な度合いの並列処理が存在し、計算効率を向上させるために利用可能である。特に、多くの計算リソースを有するチップにより実行されるシンプルなタスクは、並列処理を通じてそのリソースのより多くを利用可能である。しかしながら、最高性能のチップは、限定された数の利用可能な度合いの並列処理を活用するように最適化された、固定アーキテクチャを有することになり、全ての度合いの並列処理を効率的にサポートできなくなる。従って、シンプルなタスクを強力なチップ上で実行することは、計算リソース利用の低下、及び、性能及び電力効率の低下をもたらし得る。

【0014】

他方、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、完全なアーキテクチャ再構成が可能なチップが存在する。そのようなチップは、各特定のタスクのために再構成可能である。しかしながら、そのようなチップを実際に再構成するのに必要なリソースは、多くの場合、タスク中の全計算リソースの利用におけるリソース貯蓄分を超える。更に、ＦＰＧＡは、高粒度再構成可能性に起因する高い柔軟性を提供するが、これによりは、それらのピーク計算性能は、同様のチップサイズの特定用途向け集積回路（ＡＳＩＣ）と比較して限定される。

【0015】

粗粒度並列再構成可能性は、計算モジュール及び加算器の間の「リダクションインターコネクト（ｒｅｄｕｃｔｉｏｎ ｉｎｔｅｒｃｏｎｎｅｃｔ）」を通じて実現され得る。これらのインターコネクトにより、あらゆる計算モジュールについて、メモリへの直接アクセス、又は選択された加算器を経由することが可能になる。そのような構成は、計算モジュールが共通のシーケンサの制御下で完全に同期して作業していることを条件に、複数の入力チャネルタイルの並列した計算を可能にする。そのような構成は、推論を開始する前に回路切り替え方式で設定され、選択された信号を利用して接続性を制御することによって、リダクションインターコネクトの構成が推論中に再構成され得る。

【0016】

粗粒度並列再構成可能性はまた、メモリ及び計算モジュールの間のラインバッファ及び「リダクションインターコネクト」を通じて実現され得る。そのような構成は、複数の計算モジュールで利用を増加させることにより、カーネル行次元における並列処理を可能にする。そのような構成は、カーネル行におけるインデックスに対応するラインバッファのどのインデックスが各計算モジュールに供給されるかを判定するために利用される。

【0017】

しかしながら、アクセラレータの計算モジュールの数が増加するにつれて、計算モジュール及びラインバッファ又は加算器の間の接続の長さ及び数が増加する。特定用途向け集積回路（ＡＳＩＣ）の場合、接続の数が多いと作製が複雑になり得、アクセラレータの速度は接続の長さによって制限される。接続の長さが増加するにつれ、値が接続を通じて送信されるのに十分な時間を与えるためにクロック周期が拡大される必要があり、速度はクロック周期に反比例して変化する。

【0018】

本明細書で説明される少なくとも幾つかの実施形態は、順次接続された計算モジュールによって接続の長さ及び数を削減する。少なくとも幾つかの実施形態において、同期命令は、単一のシーケンサが広範な制御命令を各計算モジュールに直接渡す代わりに、隣接する計算モジュールの同期ユニット間の低ビット同期チェーンにおいて送信される。少なくとも幾つかの実施形態において、ニューラルネットワーク推論のためのプログラムは、入力タイル並列処理モード及びカーネル行並列処理モードにおいて、順次チェーン内の特定の計算モジュールについて開始遅延を引き起こす。少なくとも幾つかの実施形態において、ニューラルネットワーク推論のためのプログラムは、データブロードキャスティングモードにおける順次チェーン内の特定の計算モジュールについて同時開始を引き起こす。少なくとも幾つかの実施形態において、「リダクションインターコネクト手法」は、接続の数及び長さを削減するために、「デイジーチェーン」手法に置き換えられる。少なくとも幾つかの実施形態において、加算器が含まれる計算モジュールの単一の回路構成設計は、任意の数の計算モジュールを含むアクセラレータを作製するために複製可能である。

【0019】

図１は、本発明の少なくとも一実施形態による、順次接続された計算モジュールを介したニューラルネットワークハードウェアアクセラレーションのためのシステムの概略図である。システムは、接続されたホストコンピュータ１３０及び集積回路１００を含む。

【0020】

集積回路１００は、計算モジュール１０２Ａ、計算モジュール１０２Ｂ、及び計算モジュール１０２Ｃ、コントローラ１０４、及びメモリ１０６を含む複数の順次接続された計算モジュールを含む。少なくとも幾つかの実施形態において、集積回路１００は、専用回路構成を含む特定用途向け集積回路（ＡＳＩＣ）である。少なくとも幾つかの実施形態において、集積回路はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）である。

【0021】

少なくとも幾つかの実施形態において、複数の順次接続された計算モジュールは、直列で接続されており、隣接する計算モジュールは、１つ又は複数のデータ経路及び１つ又は複数の制御経路を介して接続されている。少なくとも幾つかの実施形態において、隣接する計算モジュールは、単一のデータ経路及び単一の制御経路を介して接続されている。少なくとも幾つかの実施形態において、データ経路は単方向性であり、順次接続された計算モジュールを通じてデータが一方向にのみ流れることを意味する。例えば、計算モジュール１０２Ａは、１つ又は複数のデータ経路を介して計算モジュール１０２Ｂにデータを送信するように構成されているが、計算モジュール１０２Ｂは、計算モジュール１０２Ａにデータを送信するように構成されていない。同様に、計算モジュール１０２Ｂは、１つ又は複数のデータ経路を介して計算モジュール１０２Ｃにデータを送信するように構成されているが、計算モジュール１０２Ｃは、計算モジュール１０２Ｂにデータを送信するように構成されていない。少なくとも幾つかの実施形態において、制御経路は双方向性であり、順次接続された計算モジュールを通じて制御信号がいずれの方向にも流れ得ることを意味する。例えば、計算モジュール１０２Ａは、１つ又は複数の制御経路を介して計算モジュール１０２Ｂに制御信号を送信するように構成されており、計算モジュール１０２Ｂは、同じ１つ又は複数の制御経路を介して計算モジュール１０２Ａに制御信号を送信するように構成されている。同様に、計算モジュール１０２Ｂは１つ又は複数の制御経路を介して計算モジュール１０２Ｃに制御信号を送信するように構成されており、計算モジュール１０２Ｃは、同じ１つ又は複数の制御経路を介して計算モジュール１０２Ｂに制御信号を送信するように構成されている。

【0022】

計算モジュール１０２Ｂは、複数の計算モジュールの中の各計算モジュールを表す。計算モジュール１０２Ｂは、プロセッサ１１０、シーケンサ１１２、及び加算器１１４を含む。少なくとも幾つかの実施形態において、プロセッサ１１０は、ニューラルネットワーク推論のためのプログラムに従い、値に対して数学的演算を実行するように構成された回路構成を含む。少なくとも幾つかの実施形態において、プロセッサ１１０は、点単位畳み込み又は深さ単位畳み込みなどの畳み込み演算を実行するように構成されている。少なくとも幾つかの実施形態において、数学的演算は、入力データ値及び重み値に対して実行されて、結果値を生成する。少なくとも幾つかの実施形態において、プロセッサ１１０はメモリ１０６に接続され、メモリ１０６から入力データ値及び重み値を受信するように構成されている。少なくとも幾つかの実施形態において、プロセッサ１１０は、結果値を加算器１１４に送信するように構成されている。

【0023】

少なくとも幾つかの実施形態において、シーケンサ１１２は、制御経路を介してプロセッサ１１０、加算器１１４、及びコントローラ１０４に接続されている。少なくとも幾つかの実施形態において、シーケンサ１１２は、プロセッサ１１０及び加算器１１４に、ニューラルネットワーク推論についての命令を含むプログラムなどのプログラムに従って、送信、受信、及び演算を実行させるように構成された回路構成を含む。少なくとも幾つかの実施形態において、シーケンサ１１２は、コントローラ１０４からプログラムの命令を受信するように構成された回路構成を含む。

【0024】

少なくとも幾つかの実施形態において、加算器１１４は、結果データ値及び合計値を加算するように構成された回路構成を含む。少なくとも幾つかの実施形態において、加算器１１４は、プロセッサ１１０から結果データ値を直接受信し、計算モジュール１０２Ａの先行する加算器から先行する結果データ値及び先行する合計値を直接受信するように構成された回路構成を含む。少なくとも幾つかの実施形態において、加算器１１４は、プロセッサ１１０から受信された結果データ値を、先行する結果データ値及び先行する合計値のうちの１つに加算して、計算モジュール１０２Ａの先行する加算器から受信された合計値を生成するように構成された回路構成を含む。少なくとも幾つかの実施形態において、加算器１１４は、メモリ１０６に、又は、計算モジュール１０２Ｃの後続の加算器に直接、結果データ値及び合計値を送信するように構成された回路構成を含む。少なくとも幾つかの実施形態において、加算器１１４は、プロセッサ１１０、計算モジュール１０２Ａの先行する加算器、及び計算モジュール１０２Ｃの後続の加算器に直接接続され、メモリインターコネクトを通じてメモリ１０６に接続されている。

【0025】

コントローラ１０４は、ホストコンピュータ１３０及び複数の順次接続された計算モジュールの中の各計算モジュールに接続されている。少なくとも幾つかの実施形態において、コントローラ１０４は、ニューラルネットワーク推論を実行するための命令を含むプログラムなどのプログラムをホストコンピュータ１３０から受信するように構成された回路構成を含む。少なくとも幾つかの実施形態において、コントローラ１０４は、複数の順次接続された計算モジュールの中の各計算モジュールのシーケンサにプログラムを送信するように構成された回路構成を含む。少なくとも幾つかの実施形態において、コントローラ１０４は、全ての計算モジュールに適用可能な命令を送信する。少なくとも幾つかの実施形態において、コントローラ１０４は、一部の計算モジュールにのみ適用可能な命令を送信する。例えば、全てよりも少ない、複数の順次接続された計算モジュールを利用するプログラムは、全ての計算モジュールについての命令を含まないことになる。少なくとも幾つかの実施形態において、ホストコンピュータ１３０から受信されたプログラムのフォーマットは、複数の計算モジュールのシーケンサに送信される準備が整っている。少なくとも幾つかの実施形態において、ホストコンピュータ１３０から受信されたプログラムのフォーマットは、複数の計算モジュールのシーケンサに送信される前にコントローラ１０４によって変換される。少なくとも幾つかの実施形態において、コントローラ１０４は、コントローラ１０４に適用可能なプログラムの命令を記憶し、残りの命令を計算モジュールのシーケンサに送信する。

【0026】

少なくとも幾つかの実施形態において、メモリ１０６は、値を記憶し、記憶された値を送信するように構成されている。少なくとも幾つかの実施形態において、メモリ１０６は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、組み込みシステムブロック（Ｅｍｂｅｄｄｅｄ Ｓｙｓｔｅｍ Ｂｌｏｃｋ：ＥＳＢ）、連想メモリ（Ｃｏｎｔｅｎｔ Ａｄｄｒｅｓｓａｂｌｅ Ｍｅｍｏｒｙ：ＣＡＭ）などのような揮発性データストレージの１つ又は複数のバンク又はブロックを含む。少なくとも幾つかの実施形態において、メモリ１０６は、集積回路１００全体に分散されている。少なくとも幾つかの実施形態において、メモリ１０６は、インターコネクト又はデータバスなどの１つ又は複数のデータ経路を介して各計算モジュールに接続されている。少なくとも幾つかの実施形態において、メモリ１０６は、データ経路を通じて計算モジュールのプロセッサに入力データ値を送信するように構成されており、データ経路を通じて計算モジュールの加算器から結果データ値及び合計値を受信するように構成されている。

【0027】

少なくとも幾つかの実施形態において、ホストコンピュータ１３０は、パーソナルコンピュータ、サーバ、クラウドコンピューティングリソースの一部、又は、集積回路１００にプログラム命令を送信し、結果データを記憶することができるその他のものである。少なくとも幾つかの実施形態において、ホストコンピュータ１３０は、ノートブックコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ：ＩｏＴ）デバイスなどである。ホストコンピュータ１３０は、制御経路及びデータ経路を通じて集積回路１００に接続されている。少なくとも幾つかの実施形態において、ホストコンピュータ１３０は、プログラム、入力データ、及び結果データを記憶するように構成されたダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＤＲＡＭ）などの外部メモリを含む。

【0028】

図２は、本発明の少なくとも一実施形態による、ラインレジスタを含む、順次接続された計算モジュールを介したニューラルネットワークハードウェアアクセラレーションのための集積回路２００の概略図である。集積回路２００は、計算モジュール２０２Ａ、計算モジュール２０２Ｂ、及び計算モジュール２０２Ｃ、コントローラ２０４、及びメモリ２０６を含む複数の順次接続された計算モジュールを含む。計算モジュール２０２Ａ、計算モジュール２０２Ｂ、及び計算モジュール２０２Ｃ、コントローラ２０４、及びメモリ２０６を含む集積回路２００の複数の順次接続された計算モジュールは、別様に説明されている場合を除き、それぞれ、図１の計算モジュール１０２Ａ、計算モジュール１０２Ｂ、及び計算モジュール１０２Ｃ、コントローラ１０４、及びメモリ１０６を含む集積回路１００の複数の順次接続された計算モジュールと構造及び機能において実質的に同様である。

【0029】

計算モジュール２０２Ｂは、複数の計算モジュールの中の各計算モジュールを表す。計算モジュール２０２Ｂは、プロセッサ２１０、シーケンサ２１２、加算器２１４、及びラインレジスタ２１６を含む。プロセッサ２１０、シーケンサ２１２、及び加算器２１４は、別様に説明されている場合を除き、それぞれ、図１のプロセッサ１１０、シーケンサ１１２、及び加算器１１４と構造及び機能において実質的に同様である。

【0030】

少なくとも幾つかの実施形態において、ラインレジスタ２１６は、メモリ２０６から、又は、計算モジュール２０２Ａの先行するラインレジスタから直接、入力データ値を受信するように構成された回路構成を含む。少なくとも幾つかの実施形態において、ラインレジスタ２１６は、プロセッサ２１０又は計算モジュール２０２Ｃの後続のラインレジスタに入力データ値を直接送信するように構成された回路構成を含む。少なくとも幾つかの実施形態において、ラインレジスタ２１６は、プロセッサ２１０、先行するラインレジスタ、及び後続のラインレジスタに直接接続され、メモリインターコネクトを通じてメモリ２０６に接続されている。少なくとも幾つかの実施形態において、ラインレジスタ２１６は、メモリ２０６から複数の入力データ値を受信し、少なくとも１つの入力データ値をプロセッサ２１０に送信し、複数の入力データ値の中から他の入力データ値を計算モジュール２０２Ｃの後続のラインレジスタに送信するように構成されている。少なくとも幾つかの実施形態において、ラインレジスタ２１６は、計算モジュール２０２Ａの先行するラインレジスタから複数の入力データ値を受信し、少なくとも１つの入力データ値をプロセッサ２１０に送信し、複数の入力データ値の中から他の入力データ値を計算モジュール２０２Ｃの後続のラインレジスタに送信するように構成されている。

【0031】

少なくとも幾つかの実施形態において、プロセッサ２１０は、データ経路を介してラインレジスタ２１６に接続され、ラインレジスタ２１６から入力データを受信するように構成されている。少なくとも幾つかの実施形態において、シーケンサ２１２は、制御経路を介してラインレジスタ２１６に接続され、ラインレジスタ２１６に、ニューラルネットワーク推論についての命令を含むプログラムなどのプログラムに従って、送信、受信、及び演算を実行させるように構成されている。少なくとも幾つかの実施形態において、シーケンサ２１２は、ラインレジスタに、プログラムに従って送信及び受信させるように構成された回路構成を更に含む。

【0032】

少なくとも幾つかの実施形態において、各計算モジュールは、計算モジュール２０２Ｂと実質的に同様であるが、加算器２１４を伴わない。そのような実施形態は、結果のマージが必要ない場合に利用され得る。

【0033】

図３は、本発明の少なくとも一実施形態による、メモリが複数のメモリバンクを含む、順次接続された計算モジュールを介したニューラルネットワークハードウェアアクセラレーションのための集積回路３００の概略図である。集積回路３００は、計算モジュール３０２、コントローラ３０４、及びメモリ３０６を含む、複数の順次接続された計算モジュールを含む。計算モジュール３０２、コントローラ３０４、及びメモリ３０６を含む集積回路３００の複数の順次接続された計算モジュールは、別様に説明されている場合を除き、それぞれ、図２の計算モジュール２０２Ａ、計算モジュール２０２Ｂ、及び計算モジュール２０２Ｃ、コントローラ２０４、及びメモリ２０６を含む集積回路２００の複数の順次接続された計算モジュールと構造及び機能において実質的に同様である。ホストコンピュータ３３０は、別様に説明されている場合を除き、図１のホストコンピュータ１３０と構造及び機能において実質的に同様である。

【0034】

メモリ３０６は、メモリインターコネクト３２０、及び、入力データメモリバンク３２２、重みメモリバンク３２４、及び累積メモリバンク３２６などの複数のメモリバンクを含む。少なくとも幾つかの実施形態において、複数のメモリバンクは、複数の入力データメモリバンク、複数の重みメモリバンク、及び複数の累積メモリバンクを含む。少なくとも幾つかの実施形態において、メモリバンクは、入力データ値、重み値、及び累積値などの単一のタイプの値を記憶することが専用ではない。少なくとも幾つかの実施形態において、メモリ３０６は、ブロックなどのような、バンク以外の部分に分割される。少なくとも幾つかの実施形態において、１つ又は複数のブロックは、組み合わされて単一のバンク又は仮想ブロックを形成し得る。少なくとも幾つかの実施形態において、メモリインターコネクト３２０は、入力データメモリバンク３２２、重みメモリバンク３２４、又は累積メモリバンク３２６などの複数のメモリバンクの中のメモリバンクを、計算モジュール３０２などの複数の順次接続された計算モジュールの中の計算モジュール、又は、ホストコンピュータ３３０などのホストコンピュータに選択的に接続する。

【0035】

少なくとも幾つかの実施形態において、コントローラ３０４は、プログラムに従って、メモリ３０６に、ホストコンピュータ３３０から受信された第１の入力データ値を、入力データメモリバンク３２２などの第１のメモリバンクに記憶させるように構成された回路構成を含む。少なくとも幾つかの実施形態において、コントローラ３０４は、メモリ３０６に、ホストコンピュータ３３０から受信された第２の入力データ値を、入力データメモリバンク３２２又は別の入力データメモリバンクなどの第２のメモリバンクに記憶させ、メモリ３０６に、ホストコンピュータ３３０から受信された重み値を、重みメモリバンク３２４などの第３のメモリバンクに記憶させるように更に構成されている。

【0036】

図４は、本発明の少なくとも一実施形態による、ニューラルネットワークハードウェアアクセラレーションのための集積回路用の順次接続された計算モジュール４０２の概略図である。少なくとも幾つかの実施形態において、計算モジュール４０２は、同一構造の複数の順次接続された計算モジュールを含む集積回路の一部である。計算モジュール４０２は、プロセッサ４１０、シーケンサ４１２、加算器４１４、入力データ経路４４０及び４４１、出力データ経路４４２及び４４３、及び双方向制御経路４４７を含む。プロセッサ４１０、シーケンサ４１２、及び加算器４１４は、別様に説明されている場合を除き、それぞれ、図２のプロセッサ２１０、シーケンサ２１２、及び加算器２１４と構造及び機能において実質的に同様である。

【0037】

データ経路４４０、４４１、４４２、及び４４３は、データ信号送信のために構成された電子通信の経路である。少なくとも幾つかの実施形態において、データ経路４４０、４４１、４４２、及び４４３は、より高ビット幅の送信のために構成されている。少なくとも幾つかの実施形態において、入力データ経路４４０は、メモリに接続可能である。少なくとも幾つかの実施形態において、プロセッサ４１０は、入力データ経路４４０の下流に直接接続され、畳み込み演算を実行するように構成された回路構成を含む。少なくとも幾つかの実施形態において、入力データ経路４４１は、集積回路の複数の順次接続された計算モジュールの中の先行する計算モジュールの加算器などの先行する加算器に直接接続可能である。少なくとも幾つかの実施形態において、加算器４１４は、プロセッサ４１０及び入力データ経路４４１の下流に直接接続され、加算するように構成された回路構成を含む。少なくとも幾つかの実施形態において、出力データ経路４４２は、加算器４１４の下流に直接接続され、メモリに接続可能である。少なくとも幾つかの実施形態において、出力データ経路４４３は、加算器４１４の下流に直接接続され、集積回路の複数の順次接続された計算モジュールの中の後続の計算モジュールの加算器などの後続の加算器に直接接続可能である。

【0038】

制御経路４４７は、制御信号送信のために構成された電子通信の経路である。少なくとも幾つかの実施形態において、双方向制御経路４４７は、コントローラに接続可能である。少なくとも幾つかの実施形態において、シーケンサ４１２は、双方向制御経路４４７の下流に直接接続され、ニューラルネットワーク推論のためのプログラムなどのプログラムに従って、プロセッサ４１０及び加算器４１４に信号を送信するように構成されている。

【0039】

図５は、本発明の少なくとも一実施形態による、ニューラルネットワークハードウェアアクセラレーションのための集積回路用の同期ユニット５１３を含む、順次接続された計算モジュール５０２の概略図である。少なくとも幾つかの実施形態において、計算モジュール５０２は、同一構造の複数の順次接続された計算モジュールを含む集積回路の一部である。計算モジュール５０２は、プロセッサ５１０、シーケンサ５１２、同期ユニット５１３、加算器５１４、入力データ経路５４０及び５４１、出力データ経路５４２及び５４３、及び双方向制御経路５４７、５４８、及び５４９を含む。プロセッサ５１０、シーケンサ５１２、加算器５１４、入力データ経路５４０及び５４１、出力データ経路５４２及び５４３、及び双方向制御経路５４７は、別様に説明されている場合を除き、それぞれ、図４のプロセッサ４１０、シーケンサ４１２、加算器４１４、入力データ経路４４０及び４４１、出力データ経路４４２及び４４３、及び双方向制御経路４４７と構造及び機能において実質的に同様である。

【0040】

少なくとも幾つかの実施形態において、同期ユニット５１３は、後続の計算モジュールの後続の同期ユニットとデータ読み取り動作を同期させるように構成された回路構成を含み、ここでプロセッサ５１０及び後続の計算モジュールの後続のプロセッサは、単一のクロック周期内に、メモリからの単一の送信において入力データ値及び重み値のうちの１つを受信する。同期ユニット５１３は、双方向制御経路５４８及び５４９に接続されている。制御経路５４８及び５４９は、制御信号送信のために構成された電子通信の経路である。少なくとも幾つかの実施形態において、制御経路５４８及び５４９は、データ経路５４０、５４１、５４２、及び５４３に比べてより低いビット幅送信などのより低いビット幅送信のために構成されている。少なくとも幾つかの実施形態において、制御経路５４８及び５４９は、２ビット送信のために構成されている。少なくとも幾つかの実施形態において、双方向制御経路５４８は、集積回路の複数の順次接続された計算モジュールの中の先行する計算モジュールのシーケンサなどの先行するシーケンサに直接接続可能である。少なくとも幾つかの実施形態において、双方向制御経路５４９は、集積回路の複数の順次接続された計算モジュールの中の後続の計算モジュールのシーケンサなどの後続のシーケンサに直接接続可能である。少なくとも幾つかの実施形態において、同期ユニット５１３は、双方向制御経路５４８及び５４９に接続され、双方向制御経路５４８及び５４９を利用して、先行する同期ユニット、後続の同期ユニット、又は他の同期ユニットとデータ読み取り動作を同期させる。少なくとも幾つかの実施形態において、同期されたデータ読み取り動作は、２つ又はそれより多くの計算モジュールの中で行われ、その間、マスタ計算モジュールの同期ユニットは、関与する２つ又はそれより多くの計算モジュールの中の全ての他の計算モジュールの同期ユニットを制御する。少なくとも幾つかの実施形態において、同期ユニット５１３は、先行する同期ユニット又は後続の同期ユニットのうちの少なくとも１つとデータ読み取り動作を同期させるために双方向制御経路５４８及び双方向制御経路５４９を通じて信号を送信及び受信するように構成された回路構成を含み、ここで、プロセッサ５１０、及び、先行するプロセッサ及び後続のプロセッサのうちの少なくとも１つは、単一のクロック周期内にメモリから単一の送信を受信する。

【0041】

少なくとも幾つかの実施形態において、各計算モジュールは、計算モジュール５０２と実質的に同様であるが、加算器５１４、入力データ経路５４１、及び出力データ経路５４３を伴わない。そのような実施形態は、結果のマージが必要ない場合に利用され得る。

【0042】

図６は、本発明の少なくとも一実施形態による、ニューラルネットワークハードウェアアクセラレーションのための集積回路用のラインレジスタ６１６を含む、順次接続された計算モジュール６０２の概略図である。少なくとも幾つかの実施形態において、計算モジュール６０２は、同一構造の複数の順次接続された計算モジュールを含む集積回路の一部である。計算モジュール６０２は、プロセッサ６１０、シーケンサ６１２、同期ユニット６１３、加算器６１４、ラインレジスタ６１６、入力データ経路６４０、６４１、６４４及び６４５、出力データ経路６４２、６４３、及び６４６、及び双方向制御経路６４７、６４８、及び６４９を含む。プロセッサ６１０、シーケンサ６１２、同期ユニット６１３、加算器６１４、入力データ経路６４０及び６４１、出力データ経路６４２及び６４３、及び双方向制御経路６４７、６４８、及び６４９は、別様に説明されている場合を除き、それぞれ、図５のプロセッサ５１０、シーケンサ５１２、同期ユニット５１３、加算器５１４、入力データ経路５４０及び５４１、出力データ経路５４２及び５４３、及び双方向制御経路５４７、５４８、及び５４９と構造及び機能において実質的に同様である。ラインレジスタ６１６は、別様に説明されている場合を除き、図２のラインレジスタ２１６と構造及び機能において実質的に同様である。

【0043】

少なくとも幾つかの実施形態において、入力データ経路６４４は、メモリに接続可能である。少なくとも幾つかの実施形態において、入力データ経路６４５は、集積回路の複数の順次接続された計算モジュールの中の先行する計算モジュールのラインレジスタなどの先行するラインレジスタに直接接続可能である。少なくとも幾つかの実施形態において、ラインレジスタ６１６は、入力データ経路６４４及び入力データ経路６４５の下流に直接接続されている。少なくとも幾つかの実施形態において、出力データ経路６４６は、ラインレジスタ６１６の下流に直接接続され、集積回路の複数の順次接続された計算モジュールの中の後続の計算モジュールのラインレジスタなどの後続のラインレジスタに接続可能である。

【0044】

少なくとも幾つかの実施形態において、各計算モジュールは、計算モジュール６０２と実質的に同様であるが、加算器６１４、入力データ経路６４１、及び出力データ経路６４３を伴わない。そのような実施形態は、結果のマージが必要ない場合に利用され得る。

【0045】

図７は、本発明の少なくとも一実施形態による、データブロードキャスティングが実行されるニューラルネットワークハードウェアアクセラレーションのためのプログラムのタイムラインである。少なくとも幾つかの実施形態において、集積回路のコントローラはホストコンピュータからプログラムを受信し、プログラムの命令を、コントローラと共にプログラムを遂行してニューラルネットワーク推論を実行する複数の計算モジュールに送信する。タイムラインは、Ｔ０からＴ４までの時間のステップにおいて配置される。Ｔ０、Ｔ１、Ｔ２、Ｔ３、及びＴ４の各ステップは、集積回路の１つ又は複数のクロック周期を表す。集積回路は、少なくとも、第１の入力データメモリバンクＤＭ０、第２の入力データメモリバンクＤＭ１、第３の入力データメモリバンクＤＭ２、第１の計算モジュールＣＭ０、第２の計算モジュールＣＭ１、第３の計算モジュールＣＭ２、第１の累積メモリバンクＡＭ０、第２の累積メモリバンクＡＭ１、及び第３の累積メモリバンクＡＭ２を含む。時間の各ステップで、集積回路の１つ又は複数の要素が動作を実行する。

【0046】

最初の時間ステップＴ０で、同期動作が実行される。少なくとも幾つかの実施形態において、同期動作は、集積回路の要素が時間の各ステップのクロック周期と同期して動作を実行するように、要素のタイミングを調整することを含む。

【0047】

第１の時間ステップＴ１において、第１の計算モジュールＣＭ０は、プログラムの動作ＲＱ０に従い、第１の入力データメモリバンクＤＭ０に第１の入力データ値を要求する。

【0048】

第１の時間ステップＴ１の直後の第２の時間ステップＴ２において、第１の入力データメモリバンクＤＭ０は、プログラムの動作ＩＮ０に従い、第１の計算モジュールＣＭ０、第２の計算モジュールＣＭ１、及び第３の計算モジュールＣＭ２に第１の入力データ値をブロードキャストする。少なくとも幾つかの実施形態において、第２の時間ステップＴ２におけるデータブロードキャスト動作は、第１の計算モジュールＣＭ０、第２の計算モジュールＣＭ１、及び第３の計算モジュールＣＭ２の同期ユニットによって可能になり、第１の入力データメモリバンクＤＭ０から第１の入力データ値の単一の送信を同時に受信する。

【0049】

第２の時間ステップＴ２の直後の第３の時間ステップＴ３において、第１の計算モジュールＣＭ０は、プログラムの動作ＣＰ０に従い、第１の入力データ値に対して計算を実行し、第１の結果値を第１の累積メモリＡＭ０に送信し、第２の計算モジュールＣＭ１は、プログラムの動作ＣＰ１に従い、第１の入力データ値に対して計算を実行し、第２の結果値を第２の累積メモリＡＭ１に送信し、第３の計算モジュールＣＭ２は、プログラムの動作ＣＰ２に従い、第１の入力データ値に対して計算を実行し、第３の結果値を第３の累積メモリＡＭ２に送信する。

【0050】

第３の時間ステップＴ３の直後の第４の時間ステップＴ４において、第１の累積メモリＡＭ０は、動作ＲＳ０に従い、第１の計算モジュールＣＭ０から受信された第１の結果値を記憶し、第２の累積メモリＡＭ１は、動作ＲＳ１に従い、第２の計算モジュールＣＭ１から受信された第２の結果値を記憶し、第３の累積メモリＡＭ２は、動作ＲＳ２に従い、第３の計算モジュールＣＭ２から受信された第３の結果値を記憶する。

【0051】

図８は、本発明の少なくとも一実施形態による、入力タイル並列処理が実行されるニューラルネットワークハードウェアアクセラレーションのためのプログラムのタイムラインである。少なくとも幾つかの実施形態において、集積回路のコントローラはホストコンピュータからプログラムを受信し、プログラムの命令を、コントローラと共にプログラムを遂行してニューラルネットワーク推論を実行する複数の計算モジュールに送信する。タイムラインは、Ｔ０からＴ６までの時間のステップにおいて配置される。Ｔ０、Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５及びＴ６の各ステップは、集積回路の１つ又は複数のクロック周期を表す。集積回路は、少なくとも、第１の入力データメモリバンクＤＭ０、第２の入力データメモリバンクＤＭ１、第３の入力データメモリバンクＤＭ２、第１の計算モジュールＣＭ０、第２の計算モジュールＣＭ１、第３の計算モジュールＣＭ２、第１の累積メモリバンクＡＭ０、第２の累積メモリバンクＡＭ１、及び第３の累積メモリバンクＡＭ２を含む。時間の各ステップで、集積回路の１つ又は複数の要素が動作を実行する。

【0052】

最初の時間ステップＴ０で、同期動作が実行される。少なくとも幾つかの実施形態において、同期動作は、集積回路の要素が時間の各ステップのクロック周期と同期して動作を実行するように、要素のタイミングを調整することを含む。

【0053】

第１の時間ステップＴ１において、第１の計算モジュールＣＭ０は、プログラムの動作ＲＱ０に従い、第１の入力データメモリバンクＤＭ０に第１の入力データ値を要求する。

【0054】

第１の時間ステップＴ１の直後の第２の時間ステップＴ２において、第１の入力データメモリバンクＤＭ０は、プログラムの動作ＩＮ０に従い、第１の入力データ値を第１の計算モジュールＣＭ０に送信し、第２の計算モジュールＣＭ１は、プログラムの動作ＲＱ１に従い、第２の入力データメモリバンクＤＭ１に第２の入力データ値を要求する。

【0055】

第２の時間ステップＴ２の直後の第３の時間ステップＴ３において、第１の計算モジュールＣＭ０は、プログラムの動作ＣＰ０に従い、第１の入力データ値に対して数学的演算を実行して第１の結果データ値を生成し、第１の結果データ値を第２の計算モジュールＣＭ１に送信し、第２の入力データメモリバンクＤＭ１は、プログラムの動作ＩＮ１に従い、第２の入力データ値を第２の計算モジュールＣＭ１に送信し、第３の計算モジュールＣＭ２は、プログラムの動作ＲＱ２に従い、第３の入力データメモリバンクＤＭ２に第３の入力データ値を要求する。

【0056】

第３の時間ステップＴ３の直後の第４の時間ステップＴ４において、第２の計算モジュールＣＭ１は、プログラムの動作ＣＰ１に従い、第２の入力データ値に対して数学的演算を実行して第２の結果データ値を生成し、第１の結果データ値を第２の結果データ値に加算して第１の合計値を生成し、第１の合計値を第３の計算モジュールＣＭ２に送信し、第３の入力データメモリバンクＤＭ２は、プログラムの動作ＩＮ２に従い、第３の入力データ値を第３の計算モジュールＣＭ２に送信する。第２の入力データ値及び第１の結果データ値が同じクロック周期中に第２の計算モジュールＣＭ１に到達するよう、動作ＲＱ１は第２の時間ステップＴ２まで遅延された。

【0057】

第４の時間ステップＴ４の直後の第５の時間ステップＴ５において、第３の計算モジュールＣＭ２は、プログラムの動作ＣＰ２に従い、第３の入力データ値に対して数学的演算を実行して第３の結果データ値を生成し、第１の合計値を第３の結果データ値に加算して第２の合計値を生成し、第２の合計値を第３の累積メモリバンクＡＭ２に送信する。第３の入力データ値及び第２の結果データ値が同じクロック周期中に第３の計算モジュールＣＭ２に到達するよう、動作ＲＱ２は第３の時間ステップＴ３まで遅延された。

【0058】

第５の時間ステップＴ５の直後の第６の時間ステップＴ６において、第３の累積メモリバンクＡＭ２は、プログラムの動作ＲＳ０に従い、第３の計算モジュールＣＭ２から受信された第２の合計値を記憶する。

【0059】

図９は、本発明の少なくとも一実施形態による、カーネル行並列処理が実行されるニューラルネットワークハードウェアアクセラレーションのためのプログラムのタイムラインである。少なくとも幾つかの実施形態において、集積回路のコントローラはホストコンピュータからプログラムを受信し、プログラムの命令を、コントローラと共にプログラムを遂行してニューラルネットワーク推論を実行する複数の計算モジュールに送信する。タイムラインは、Ｔ０からＴ６での時間のステップにおいて配置される。Ｔ０、Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５及びＴ６の各ステップは、集積回路の１つ又は複数のクロック周期を表す。集積回路は、少なくとも、第１の入力データメモリバンクＤＭ０、第２の入力データメモリバンクＤＭ１、第３の入力データメモリバンクＤＭ２、第１の計算モジュールＣＭ０、第２の計算モジュールＣＭ１、第３の計算モジュールＣＭ２、第１の累積メモリバンクＡＭ０、第２の累積メモリバンクＡＭ１、及び第３の累積メモリバンクＡＭ２を含む。時間の各ステップで、集積回路の１つ又は複数の要素が動作を実行する。

【0060】

最初の時間ステップＴ０で、同期動作が実行される。少なくとも幾つかの実施形態において、同期動作は、集積回路の要素が時間の各ステップのクロック周期と同期して動作を実行するように、要素のタイミングを調整することを含む。

【0061】

第１の時間ステップＴ１において、第１の計算モジュールＣＭ０は、プログラムの動作ＲＱ０に従い、第１の入力データメモリバンクＤＭ０に、第１の入力データ値、第２の入力データ値、及び第３の入力データ値を要求する。

【0062】

第１の時間ステップＴ１の直後の第２の時間ステップＴ２において、第１の入力データメモリバンクＤＭ０は、プログラムの動作ＩＮ０に従い、第１の入力データ値、第２の入力データ値、及び第３の入力データ値を第１の計算モジュールＣＭ０に送信する。第２の時間ステップＴ２中に、第１の計算モジュールＣＭ０のラインレジスタは、時間ステップＴ１内の異なるクロック周期中に、第１の入力データ値、第２の入力データ値、及び第３の入力データ値を受信する。第１の計算モジュールＣＭ０のラインレジスタは、第１の入力データ値を第１の計算モジュールＣＭ０のプロセッサに送信する。

【0063】

第２の時間ステップＴ２の直後の第３の時間ステップＴ３において、第１の計算モジュールＣＭ０は、プログラムの動作ＣＰ０に従い、第１の入力データ値に対して数学的演算を実行して第１の結果データ値を生成し、第１の計算モジュールＣＭ０の加算器は、第２の計算モジュールＣＭ１の加算器に第１の結果データ値を送信し、第１の計算モジュールＣＭ０のラインレジスタは、第２の入力データ値及び第３の入力データ値を第２の計算モジュールＣＭ１のラインレジスタに送信する。第２の計算モジュールＣＭ１のラインレジスタは、第２の入力データ値を第２の計算モジュールＣＭ１のプロセッサに送信する。第１の計算モジュールＣＭ０のラインレジスタは、第２の入力データ値を第２の計算モジュールＣＭ１のラインレジスタに送信するため、第２の計算モジュールＣＭ１は、第２の時間ステップＴ２中に第２の入力データ値を要求する必要がなく、入力データメモリバンクが第３の時間ステップＴ３中に第２の入力データ値を第２の計算モジュールＣＭ１に送信する動作が必要とされず、それにより、ニューラルネットワーク推論を実行するにあたってのエネルギー消費が潜在的に低減する。

【0064】

第３の時間ステップＴ３の直後の第４の時間ステップＴ４において、第２の計算モジュールＣＭ１は、プログラムの動作ＣＰ１に従い、第２の入力データ値に対して数学的演算を実行して第２の結果データ値を生成し、第２の計算モジュールＣＭ１の加算器は、第１の結果データ値を第２の結果データ値に加算して第１の合計値を生成し、第２の計算モジュールＣＭ１の加算器は、第１の合計値を第３の計算モジュールＣＭ２の加算器に送信し、第２の計算モジュールＣＭ１のラインレジスタは、第３の入力データ値を第３の計算モジュールＣＭ２のラインレジスタに送信する。第１の計算モジュールＣＭ０のラインレジスタは、第３の入力データ値を第２の計算モジュールＣＭ１のラインレジスタに送信し、これは次に、第３の入力データ値を第３の計算モジュールＣＭ２のラインレジスタに送信するため、第３の計算モジュールＣＭ２は、第３の時間ステップＴ３中に第３の入力データ値を要求する必要がなく、入力データメモリバンクが第４の時間ステップＴ４中に第３の入力データ値を第３の計算モジュールＣＭ２に送信する動作が必要とされず、それにより、ニューラルネットワーク推論を実行するにあたってのエネルギー消費が潜在的に低減する。

【0065】

第４の時間ステップＴ４の直後の第５の時間ステップＴ５において、第３の計算モジュールＣＭ２は、プログラムの動作ＣＰ２に従い、第３の入力データ値に対して数学的演算を実行して第３の結果データ値を生成し、第３の計算モジュールＣＭ２の加算器は、第１の合計値を第３の結果データ値に加算して第２の合計値を生成し、第３の計算モジュールＣＭ２は、第２の合計値を第３の累積メモリバンクＡＭ２に送信する。

【0066】

第５の時間ステップＴ５の直後の第６の時間ステップＴ６において、第３の累積メモリバンクＡＭ２は、プログラムの動作ＲＳ０に従い、第３の計算モジュールＣＭ２から受信された第２の合計値を記憶する。

【0067】

本発明の実施形態が説明されたが、特許請求の範囲に記載のいかなる主題の技術的範囲も、上記で説明された実施形態に限定されない。当業者であれば、上記で説明された実施形態に対する様々な改変及び改良が可能であることを理解するであろう。当業者であれば、特許請求の範囲の範囲から、そのような改変又は改良が加えられた実施形態が、本発明の技術的範囲に含まれることをも理解するであろう。

【0068】

特許請求の範囲、実施形態、又は図において示される装置、システム、プログラム、及び方法によって実行される各プロセスの動作、手順、ステップ、及びステージは、その順序が「に先立ち」又は「より前に」等により示されていない限り、及び、前のプロセスからの出力が後のプロセスにおいて使用されない限り、任意の順序で実行され得る。特許請求の範囲、実施形態、又は図において、プロセスフローが「最初に」又は「次に」などのフレーズを用いて説明される場合でも、そのような説明は、説明された順序でプロセスが実行されなければならないことを必ずしも意味するものではない。

【0069】

少なくとも幾つかの実施形態において、順次接続された計算モジュールを介したニューラルネットワークハードウェアアクセラレーションは、値を記憶し、記憶された値を送信するように構成されたメモリ、及び、複数の順次接続された計算モジュールを含む集積回路によって実行される。複数の順次接続された計算モジュールの中の各計算モジュールは、プロセッサ及び加算器を含む。プロセッサは、メモリから入力データ値及び重み値を受信し、入力データ値及び重み値に対して数学的演算を実行して、結果データ値を生成するように構成された回路構成を含む。プロセッサは、メモリインターコネクトを通じてメモリに接続されている。加算器は、プロセッサから結果データ値を直接受信し、複数の順次接続された計算モジュールの中の先行する計算モジュールの先行する加算器から、先行する結果データ値及び先行する合計値のうちの１つを直接受信し、結果データ値を、先行する結果データ値及び先行する合計値のうちの１つに加算して合計値を生成し、メモリに、又は、複数の順次接続された計算モジュールの中の後続の計算モジュールの後続の加算器に直接、結果データ値及び合計値のうちの１つを送信するように構成された回路構成を含む。加算器は、プロセッサ、先行する加算器、及び後続の加算器に直接接続され、メモリインターコネクトを通じてメモリに接続されている。

【0070】

上記は、当業者が本開示の態様をより良く理解するように、幾つかの実施形態の特徴を概説したものである。当業者であれば、本開示が、本明細書で導入された実施形態と同じ目的を実行する、及び／又は同じ利点を実現するための他のプロセス及び構造を設計又は修正するための基礎として容易に使用可能であることを理解すべきである。当業者はまた、そのような均等な構成が本開示の趣旨及び範囲から逸脱しないこと、及び、本明細書の様々な変更、置換、及び改変が本開示の趣旨及び範囲から逸脱することなく可能であることを認識すべきである。
本明細書によれば、以下の各項目もまた開示される。
［項目１］
値を記憶し、記憶された値を送信するように構成されたメモリ；及び
複数の順次接続された計算モジュール
を備え、前記複数の順次接続された計算モジュールの中の各計算モジュールは、
プロセッサであって、
前記メモリから入力データ値及び重み値を受信し、
前記入力データ値及び前記重み値に対して数学的演算を実行し、結果データ値を生成する
ように構成された回路構成を含み、前記プロセッサは、メモリインターコネクトを通じて前記メモリに接続されている、プロセッサ、及び
加算器であって、
前記プロセッサから、前記結果データ値を直接受信し、
先行する結果データ値及び先行する合計値のうちの１つを、前記複数の順次接続された計算モジュールの中の先行する計算モジュールの先行する加算器から直接受信し、
前記結果データ値を前記先行する結果データ値及び前記先行する合計値のうちの前記１つに加算して合計値を生成し、
前記メモリに、又は、前記複数の順次接続された計算モジュールの中の後続の計算モジュールの後続の加算器に直接、前記結果データ値及び前記合計値のうちの１つを送信する
ように構成された回路構成を含み、前記加算器は、前記プロセッサ、前記先行する加算器、及び前記後続の加算器に直接接続され、前記メモリインターコネクトを通じて前記メモリに接続されている、加算器
を有する、集積回路。
［項目２］
前記複数の順次接続された計算モジュールの中の各計算モジュールは、
前記プロセッサ及び加算器に、プログラムに従って、送信、受信、及び演算を実行させるように構成された回路構成を含むシーケンサ
を更に有する、項目１に記載の集積回路。
［項目３］
ホストコンピュータから前記プログラムを受信する、及び
前記複数の順次接続された計算モジュールの中の各計算モジュールの前記シーケンサに前記プログラムを送信する
ように構成された回路構成を含むコントローラを更に備え、ここで前記プログラムは、ニューラルネットワーク推論を実行するための命令を含む、項目２に記載の集積回路。
［項目４］
前記複数の順次接続された計算モジュールの中の各計算モジュールは、
前記後続の計算モジュールの後続の同期ユニットとデータ読み取り動作を同期させるように構成された回路構成を含む同期ユニットを更に有し、ここで前記プロセッサ及び前記後続の計算モジュールの後続のプロセッサは、単一のクロック周期内に、前記メモリからの単一の送信において前記入力データ値及び前記重み値のうちの１つを受信する、項目１に記載の集積回路。
［項目５］
前記メモリは複数のメモリバンクを含む、及び
前記メモリインターコネクトは、前記複数のメモリバンクの中のメモリバンクを、前記複数の順次接続された計算モジュールの中の計算モジュール又はホストコンピュータに選択的に接続する、
項目３に記載の集積回路。
［項目６］
前記複数の順次接続された計算モジュールの中の各計算モジュールは、
前記メモリから、又は、前記先行する計算モジュールの先行するラインレジスタから直接、前記入力データ値を受信する、及び
前記プロセッサ及び前記後続の計算モジュールの後続のラインレジスタのうちの少なくとも１つに、前記入力データ値を直接送信する
ように構成された回路構成を含むラインレジスタを更に有し、ここで前記ラインレジスタは、前記プロセッサ、前記先行するラインレジスタ、及び前記後続のラインレジスタに直接接続され、前記メモリインターコネクトを通じて前記メモリに接続されている、項目２に記載の集積回路。
［項目７］
前記複数の順次接続された計算モジュールの中の各計算モジュールの前記シーケンサは、前記ラインレジスタに、前記プログラムに従って送信及び受信させるように構成された回路構成を更に含む、項目６に記載の集積回路。
［項目８］
前記プログラムは、ニューラルネットワーク推論を実行するための命令を含む、項目５に記載の集積回路。
［項目９］
前記コントローラは、前記プログラムに従って、
前記メモリに、前記ホストコンピュータから受信された第１の入力データ値を、前記メモリの複数のメモリバンクの中の第１のメモリバンクに記憶させる、
前記メモリに、前記ホストコンピュータから受信された第２の入力データ値を、前記メモリの前記複数のメモリバンクの中の第２のメモリバンクに記憶させる、
前記メモリに、前記ホストコンピュータから受信された前記重み値を、前記メモリの前記複数のメモリバンクの中の第３のメモリバンクに記憶させる
ように更に構成された回路構成を含む、項目８に記載の集積回路。
［項目１０］
前記コントローラは、前記プログラムに従って、
第１の時間ステップにおいて、第１の計算モジュールに、前記メモリの前記複数のメモリバンクの中の第１のメモリバンクに第１の入力データ値を要求させる、
前記第１の時間ステップの直後の第２の時間ステップにおいて、
前記第１のメモリバンクに、前記第１の入力データ値を前記第１の計算モジュールに送信させる、及び
第２の計算モジュールに、前記メモリの前記複数のメモリバンクの中の第２のメモリバンクに第２の入力データ値を要求させる、
前記第２の時間ステップの直後の第３の時間ステップにおいて、
前記第１の計算モジュールに、前記第１の入力データ値に対して数学的演算を実行させて第１の結果データ値を生成する、
前記第１の計算モジュールに、前記第１の結果データ値を前記第２の計算モジュールに送信させる、及び
前記第２のメモリバンクに、前記第２の入力データ値を前記第２の計算モジュールに送信させる、及び
前記第３の時間ステップの直後の第４の時間ステップにおいて、
前記第２の計算モジュールに、前記第２の入力データ値に対して数学的演算を実行させて第２の結果データ値を生成する、
前記第２の計算モジュールに、前記第１の結果データ値を前記第２の結果データ値に加算させて第１の合計値を生成する、及び、
前記第２の計算モジュールに、前記第１の合計値を前記メモリに送信させる、及び
前記第４の時間ステップの直後の第５の時間ステップにおいて、
前記メモリに、前記第２の計算モジュールから受信された前記第１の合計値を、前記メモリの前記複数のメモリバンクの中の第４のメモリバンクに記憶させる
ように更に構成された回路構成を含む、項目８に記載の集積回路。
［項目１１］
前記コントローラは、前記プログラムに従って、
第１の時間ステップにおいて、第１の計算モジュールに、前記メモリの前記複数のメモリバンクの中の第１のメモリバンクに第１の入力データ値及び第２の入力データ値を要求させる、
前記第１の時間ステップの直後の第２の時間ステップにおいて、前記第１のメモリバンクに、前記第１の入力データ値及び前記第２の入力データ値を前記第１の計算モジュールに送信させる、
前記第２の時間ステップの直後の第３の時間ステップにおいて、
前記第１の計算モジュールに、前記第１の入力データ値に対して数学的演算を実行させて第１の結果データ値を生成する、
前記第１の計算モジュールの第１の加算器に、前記第１の結果データ値を前記第２の計算モジュールの第２の加算器に送信させる、及び
前記第１の計算モジュールの第１のラインレジスタに、前記第２の入力データ値を前記第２の計算モジュールの第２のラインレジスタに送信させる、及び
前記第３の時間ステップの直後の第４の時間ステップにおいて、
前記第２の計算モジュールに、前記第２の入力データ値に対して数学的演算を実行させて第２の結果データ値を生成する、
前記第２の計算モジュールに、前記第１の結果データ値を前記第２の結果データ値に加算させて第１の合計値を生成する、及び、
前記第２の計算モジュールに、前記第１の合計値を前記メモリに送信させる、及び
前記第４の時間ステップの直後の第５の時間ステップにおいて、
前記メモリに、前記第２の計算モジュールから受信された前記第１の合計値を、前記メモリの前記複数のメモリバンクの中の第２のメモリバンクに記憶させる
ように更に構成された回路構成を含む、項目１０に記載の集積回路。
［項目１２］
前記プロセッサは、点単位畳み込み又は深さ単位畳み込みを実行するように構成されている、項目１に記載の集積回路。
［項目１３］
メモリに接続可能な第１の入力データ経路、
前記第１の入力データ経路の下流に直接接続されたプロセッサ、前記プロセッサは、畳み込み演算を実行するように構成された回路構成を含む、
先行する加算器に直接接続可能な第２の入力データ経路、
前記プロセッサ及び前記第２の入力データ経路の下流に直接接続された加算器、前記加算器は、加算するように構成された回路構成を含む、
前記加算器の下流に直接接続され、前記メモリに接続可能な第１の出力データ経路、
前記加算器の下流に直接接続され、後続の加算器に直接接続可能な第２の出力データ経路、
先行するシーケンサに直接接続可能な第１の双方向制御経路、
前記第１の双方向制御経路の下流に直接接続されたシーケンサ、前記シーケンサは、プログラムに従い、前記プロセッサ及び加算器に信号を送信するように構成された回路構成を含む、及び
後続のシーケンサに直接接続可能な第２の双方向制御経路
を備える、集積回路構成の一部。
［項目１４］
前記シーケンサは、
先行する同期ユニット又は後続の同期ユニットのうちの少なくとも１つとデータ読み取り動作を同期させるために前記第１の双方向制御経路及び前記第２の双方向制御経路を通じて信号を送信及び受信するように構成された回路構成を含む同期ユニット、ここで、前記プロセッサ、及び、先行するプロセッサ及び後続のプロセッサのうちの少なくとも１つは、単一のクロック周期内に前記メモリから単一の送信を受信する、
を更に含む、項目１３に記載の集積回路構成の一部。
［項目１５］
前記シーケンサは、
前記メモリに接続可能な第３の入力データ経路、
先行するラインレジスタに直接接続可能な第４の入力データ経路、
前記第３の入力データ経路及び前記第４の入力データ経路の下流に直接接続されたラインレジスタ、
前記ラインレジスタの下流に直接接続され、後続のラインレジスタに接続可能な第３の出力データ経路
を更に含む、項目１３に記載の集積回路構成の一部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】