特許 7058281 三次元スタッキングを有するニューラルネットワークアクセラレータタイルアーキテクチャ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-13

(45)【発行日】2022-04-21

(54)【発明の名称】三次元スタッキングを有するニューラルネットワークアクセラレータタイルアーキテクチャ

(51)【国際特許分類】

   G06N 3/063 20060101AFI20220414BHJP

   H04B 5/02 20060101ALI20220414BHJP

【ＦＩ】

G06N3/063

H04B5/02

【請求項の数】 20

(21)【出願番号】P 2019552135

(86)(22)【出願日】2018-05-11

(65)【公表番号】

(43)【公表日】2020-07-16

(86)【国際出願番号】 US2018032259

(87)【国際公開番号】W WO2018231395

(87)【国際公開日】2018-12-20

【審査請求日】2019-11-25

(31)【優先権主張番号】15/625,810

(32)【優先日】2017-06-16

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】ノワツィク，アンドレアス・ゲオルク

(72)【発明者】

【氏名】テマム，オリビエ

(72)【発明者】

【氏名】ナラヤナスワミ，ラビ

(72)【発明者】

【氏名】ダサリ，ウダイ・クマール

【審査官】久保 光宏

(56)【参考文献】

【文献】国際公開第２０１７／０５７４８８（ＷＯ，Ａ１）

【文献】特開２０１１－８６７３８（ＪＰ，Ａ）

【文献】Tadahiro Kuroda，"ThruChip Interface (TCI) for 3D Networks on Chip"，Proceedings of 2011 IEEE/IFIP 19th International Conference on VLSI and System-on-Chip，2011年10月05日，Pages 238-241，ISBN: 978-1-4577-0170-2, <DOI: 10.1109/VLSISoC.2011.6081644>.

【文献】Akio Nomura, et al.，"3D Shared Bus Architecture Using Inductive Coupling Interconnect"，Proceedings of 2015 IEEE 9th International Symposium on Embedded Multicore/Many-core Systems-on-Chip，2015年09月25日，Pages 259-266，ISBN: 978-1-4799-8670-5, <DOI: 10.1109/MCSoC.2015.27>.

【文献】Yasuhiro Take, et al.，"3D NoC with Inductive-Coupling Links for Building-Block SiPs"，IEEE TRANSACTIONS ON COMPUTERS，2012年10月12日，Vol.63, No.3，Pages 748-763，ISSN: 0018-9340, <DOI: 10.1109/TC.2012.249>.

【文献】大久保徹以（外７名），「無線３次元積層チップを用いたDeep Learningアクセラレータのコンパイラツールチェーン」，電子情報通信学会技術研究報告，日本，一般社団法人 電子情報通信学会，2017年03月02日，Vol.116, No.510，第３５７～３６２頁，ISSN: 0913-5685.

【文献】Bilel Belhadj, et al.，"The Improbable But Highly Appropriate Marriage of 3D Stacking and Neuromorphic Accelerators"，Proceedings of 2014 International Conference on Compilers, Architecture and Synthesis for Embedded Systems (CASES)，2014年10月17日，ISBN: 978-1-4503-3050-3, <DOI: 10.1145/2656106.2656130>.

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ３／００－９９／００

Ｈ０４Ｂ５／０２

Ｈ０１Ｌ２１／００－４９／０２

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

三次元ニューラルネットワークアクセラレータであって、
第１の伝送コイルを備える第１のニューラルネットワークアクセラレータタイルと、
第２の伝送コイルを備える第２のニューラルネットワークアクセラレータタイルとを備え、
前記第１のニューラルネットワークアクセラレータタイルは、前記第２のニューラルネットワークアクセラレータタイルに隣接し垂直に整列し、
前記第１の伝送コイルは、前記第２の伝送コイルと誘導結合を介して無線伝達を確立するように構成され、
前記第１のニューラルネットワークアクセラレータタイルおよび前記第２のニューラルネットワークアクセラレータタイルは、前記確立された無線伝達を通して、途切れのないデータの流れを提供する伝達スキームを含む相互接続システムを形成することによってニューラルネットワークの計算を実行するように構成される、三次元ニューラルネットワークアクセラレータ。

【請求項2】

前記第１のニューラルネットワークアクセラレータタイルは、第１のニューラルネットワークアクセラレータチップ上の第１のタイルのアレイ内に含まれ、
前記第２のニューラルネットワークアクセラレータタイルは、第２のニューラルネットワークアクセラレータチップ上の第２のタイルのアレイ内に含まれる、請求項１に記載の三次元ニューラルネットワークアクセラレータ。

【請求項3】

前記第１の伝送コイルは、前記第２の伝送コイルとの近距離無線伝達を確立するように構成される、請求項１または請求項２に記載の三次元ニューラルネットワークアクセラレータ。

【請求項4】

前記第１の伝送コイルは、Ｔｈｒｕチップインタフェース（ＴＣＩ）受信機およびＴＣＩ送信機をさらに備え、
前記ＴＣＩ受信機は、前記第２の伝送コイルから無線伝達を受信するように構成され、
前記ＴＣＩ送信機は、前記第２の伝送コイルに無線伝達を送信するように構成される、請求項１～請求項３のいずれか１項に記載の三次元ニューラルネットワークアクセラレータ。

【請求項5】

前記第１のニューラルネットワークアクセラレータタイルは、処理要素およびリングバスをさらに備え、前記処理要素、前記第１の伝送コイル、前記ＴＣＩ受信機、および前記ＴＣＩ送信機は、前記リングバスを通して伝達可能に接続される、請求項４に記載の三次元ニューラルネットワークアクセラレータ。

【請求項6】

前記処理要素は、ハードウェア内でニューラルネットワーク計算を行うための回路を含む、請求項５に記載の三次元ニューラルネットワークアクセラレータ。

【請求項7】

前記第１の伝送コイルは、前記第２の伝送コイルとのＴｈｒｕチップインタフェース（ＴＣＩ）接続を確立し、垂直なリングバスを形成するように構成される、請求項１または請求項２に記載の三次元ニューラルネットワークアクセラレータ。

【請求項8】

前記第１のニューラルネットワークアクセラレータタイルは、他の伝送コイルからの干渉を阻止するための短絡平面をさらに備える、請求項１～請求項７のいずれか１項に記載の三次元ニューラルネットワークアクセラレータ。

【請求項9】

前記第１のニューラルネットワークアクセラレータチップは、前記第２のニューラルネットワークアクセラレータチップに対して１８０度回転される、請求項２に記載の三次元ニューラルネットワークアクセラレータ。

【請求項10】

前記第１のニューラルネットワークアクセラレータチップおよび第２のニューラルネットワークアクセラレータチップは、同じ配向にされる、請求項２に記載の三次元ニューラルネットワークアクセラレータ。

【請求項11】

ニューラルネットワークアクセラレータを製造するための方法であって、前記方法は、
第２のニューラルネットワークアクセラレータタイルに隣接し垂直に整列された第１のニューラルネットワークアクセラレータタイルをスタッキングすることを備え、
前記第１のニューラルネットワークアクセラレータタイルは、第１の伝送コイルを備え、
前記第２のニューラルネットワークアクセラレータタイルは、第２の伝送コイルを備え、
前記第１の伝送コイルは、前記第２の伝送コイルと誘導結合を介して無線で伝達するように構成され、
前記第１のニューラルネットワークアクセラレータタイルおよび前記第２のニューラルネットワークアクセラレータタイルは、無線伝達を通して、途切れのないデータの流れを提供する伝達スキームを含む相互接続システムを形成することによってニューラルネットワークの計算を実行するように構成される、方法。

【請求項12】

前記第１のニューラルネットワークアクセラレータタイルは、第１のニューラルネットワークアクセラレータチップ上の第１のタイルのアレイ内に含まれ、
前記第２のニューラルネットワークアクセラレータタイルは、第２のニューラルネットワークアクセラレータチップ上の第２のタイルのアレイ内に含まれる、請求項１１に記載の方法。

【請求項13】

前記第１の伝送コイルは、前記第２の伝送コイルとの近距離無線伝達を確立するように構成される、請求項１１または請求項１２に記載の方法。

【請求項14】

前記第１の伝送コイルは、Ｔｈｒｕチップインタフェース（ＴＣＩ）受信機およびＴＣＩ送信機をさらに備え、
前記ＴＣＩ受信機は、前記第２の伝送コイルから無線伝達を受信するように構成され、
前記ＴＣＩ送信機は、前記第２の伝送コイルに無線伝達を送信するように構成される、請求項１１～請求項１３のいずれか１項に記載の方法。

【請求項15】

前記第１のニューラルネットワークアクセラレータタイルは、処理要素およびリングバスをさらに備え、前記処理要素、前記第１の伝送コイル、前記ＴＣＩ受信機、および前記ＴＣＩ送信機は、前記リングバスを通して伝達可能に接続される、請求項１４に記載の方法。

【請求項16】

前記処理要素は、ハードウェア内でニューラルネットワーク計算を行うための回路を含む、請求項１５に記載の方法。

【請求項17】

前記第１の伝送コイルは、前記第２の伝送コイルとのＴｈｒｕチップインタフェース（ＴＣＩ）接続を確立し、垂直なリングバスを形成するように構成される、請求項１１または請求項１２に記載の方法。

【請求項18】

前記第２のニューラルネットワークアクセラレータタイルは、前記第１のニューラルネットワークアクセラレータタイルに対して９０度回転されて前記第１のニューラルネットワークアクセラレータタイルの近くにスタックされ、前記垂直なリングバスは、スタックされたタイルを通るバイファイラスパイラルを形成する、請求項１７に記載の方法。

【請求項19】

前記第１のニューラルネットワークアクセラレータタイルは、他の伝送コイルからの干渉を阻止するための短絡平面をさらに備える、請求項１１～請求項１８のいずれか１項に記載の方法。

【請求項20】

前記第１のニューラルネットワークアクセラレータチップは、前記第２のニューラルネットワークアクセラレータチップに対して１８０度回転される、請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

分野
この明細書は、一般にハードウェア内のニューラルネットワーク計算を加速することに関する。

【背景技術】

【0002】

背景
ニューラルネットワークは、１つまたは複数の非線形ユニットの層を用いて、受信された入力のための出力を予測する機械学習モデルである。いくつかのニューラルネットワークは、出力層に加えて１つまたは複数の隠れ層を含む。各隠れ層の出力は、ネットワーク内の次の層、すなわち、次の隠れ層または出力層への入力として使用される。ネットワークの各層は、パラメータのそれぞれの組の現在値に従い受信された入力からの出力を生成する。

【発明の概要】

【課題を解決するための手段】

【0003】

概要
概して、この明細書で説明される主題の１つの革新的局面は、三次元ニューラルネットワークアクセラレータであって、第１の伝送コイルを含む第１のニューラルネットワークアクセラレータタイルと、第２の伝送コイルを含む第２のニューラルネットワークアクセラレータタイルとを含み、第１のニューラルネットワークアクセラレータタイルは、第２のニューラルネットワークアクセラレータタイルに隣接し垂直に整列し、第１の伝送コイルは、第２の伝送コイルと誘導結合を介して無線で伝達するように構成され、第１のニューラルネットワークアクセラレータタイルおよび第２のニューラルネットワークアクセラレータタイルは、確立された無線伝達を通して、途切れのないデータの流れを提供する伝達スキームを含む静的相互接続システムを形成することによってニューラルネットワークの計算を加速するように構成される、三次元ニューラルネットワークアクセラレータにおいて具体化されることができる。

【0004】

これらの実装および他の実装は、任意に以下の１つまたは複数の機能を含めることができる。第１のニューラルネットワークアクセラレータタイルは、第１のニューラルネットワークアクセラレータチップ上の第１のタイルのアレイ内に含まれ、第２のニューラルネットワークアクセラレータタイルは、第２のニューラルネットワークアクセラレータチップ上の第２のタイルのアレイ内に含まれ、第１の伝送コイルは、近距離無線伝達を通して第１のニューラルネットワークアクセラレータタイルと第２のニューラルネットワークアクセラレータタイルとの間のデジタルロジック相互接続をさらに提供するように構成され、第１の伝送コイルは、Ｔｈｒｕチップインタフェース（ＴＣＩ）受信機およびＴＣＩ送信機をさらに備え、ＴＣＩ受信機は、第２の伝送コイルから無線伝達を受信するように構成され、ＴＣＩ送信機は、第２の伝送コイルに無線伝達を送信するように構成され、第１のニューラルネットワークアクセラレータタイルは、処理要素およびリングバスをさらに備え、処理要素、第１の伝送コイル、ＴＣＩ受信機、およびＴＣＩ送信機は、リングバスを通して伝達可能に接続され、処理要素は、ハードウェア内でニューラルネットワーク計算を行うための回路を含み、第１の伝送コイルは、第２の伝送コイルとのＴｈｒｕチップ接続をさらに確立し、垂直なリングバスを形成するように構成され、第１のニューラルネットワークアクセラレータタイルは、他の伝送コイルからの干渉を阻止するための短絡平面をさらに備え、第１のニューラルネットワークアクセラレータタイルは、第２のニューラルネットワークアクセラレータタイルに対して１８０度回転される。

【0005】

この明細書で説明される主題の特定の実施形態は、以下の１つまたは複数の利点を実現するように実装されることができる。三次元にスタックされたニューラルネットワークアクセラレータであって、増加されたオンチップ記憶容量を有して、たとえば、より大きいモデルを保持する、三次元にスタックされたニューラルネットワークアクセラレータ。他の三次元スタッキング解決策を上回る追加的な利点は、より低いコスト、より高い帯域幅、よりコンパクトであること、および増加されたスケーラビリティを含む。

【0006】

この明細書で説明される主題の１つまたは複数の実装の詳細は、添付の図面および以下の説明に記載される。主題の他の潜在的な特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0007】

【図1A】例示的なニューラルネットワークアクセラレータタイルのブロック図である。

【図1B】例示的なニューラルネットワークアクセラレータタイルのブロック図である。

【図1C】例示的なニューラルネットワークアクセラレータタイルのブロック図である。

【図2】２つのニューラルネットワークアクセラレータチップを有する例示的な三次元にスタックされたニューラルネットワークアクセラレータを示す。

【図3】２つのニューラルネットワークアクセラレータチップを有する別の例示的な三次元にスタックされたニューラルネットワークアクセラレータを示す。

【図4】２つのニューラルネットワークアクセラレータチップを有するさらに別の例示的な三次元にスタックされたニューラルネットワークアクセラレータを示す。

【図5】中程度の帯域幅設計のための垂直なリングバス実装を有する例示的な三次元にスタックされたニューラルネットワークアクセラレータを示す。

【発明を実施するための形態】

【0008】

さまざまな図面の同様の参照番号および名称は、同様の要素を示す。
詳細な説明
ロボティック分野、物のインターネット、および機械学習アルゴリズムを使用する他の分野において技術は、急速に進んでいる。たとえば、顔認識およびユーザ嗜好決定技術は、ニューラルネットワークといった機械学習技法を使用して、結果の精度を増加させる。ニューラルネットワーク計算は、汎用グラフィクスプロセッシングユニット、フィールドプログラマブルゲートアレイ、特定用途向けチップ、および他のハードウェア等を使用して行われ得る。ニューラルネットワークモデルが大きさおよび複雑性を増加させるにつれて、それらは、実行のためにより多くのコンピュータ計算リソースを必要とする。大規模ハードウェアニューラルネットワークアクセラレータは、コンピュータ計算リソースの増加を扱うために用いられ得る。

【0009】

ここで説明されるのは、ニューラルネットワークアクセラレータのためのアーキテクチャである。ニューラルネットワークアクセラレータは、ニューラルネットワークの計算、すなわち、出力を生成するためにニューラルネットワークを使用する入力の処理を加速するように構成されるハードウェアコンピューティングシステムである。ニューラルネットワークアクセラレータは、各々が相互接続されたニューラルネットワークアクセラレータタイルのアレイを含むニューラルネットワークダイ（チップ）をスタッキングすることによって作られ得る。いくつかの実装では、ニューラルネットワークチップ上のアレイ内の各ニューラルネットワークタイルは、平坦なリングバス埋め込みを介して互いに伝達可能に結合される。一度切断されると、ニューラルネットワークチップは、三次元にスタックされ得、ニューラルネットワークアクセラレータを形成する。スタックされたとき、１つのニューラルネットワークチップ上のタイルのアレイ内の少なくとも１つのニューラルネットワークタイルは、第１のチップの直上または直下にスタックされた別のニューラルネットワークチップ上のそれぞれのニューラルネットワークタイルに無線で伝達可能に連結され得る。連結されたニューラルネットワークタイルは、静的相互接続システムを形成する。いくつかの実装では、形成された静的相互接続システムは、それぞれのニューラルネットワークアクセラレータタイルを通して線形の一連の処理として組織化される。線形シーケンスを通した処理時間の線形パイプラインは、アンコアとも称される特別なコントローラ内で開始および終了する。アンコアは、機能的ブロックの集合であり、これは、ホストコンピュータへの入力／出力（Ｉ／Ｏ）、オフチップメモリへのインタフェース、Ｉ／Ｏデバイスへの接続、および／または同期実行、協調、およびバッファ機能を取り扱い得る。

【0010】

ニューラルネットワークアクセラレータは、ウェハーレベルスタッキングを通して作られ得、そこでは、ウェハーは、互いの上にスタックされ、一緒に接合される。ウェハーは、半導体材料の薄いスライス（たとえば、シリコン、窒化ガリウム等）であり、典型的に丸く、直径において３００または４５０ミリメートルの間であり得る。各ウェハーは、一連のダイ（またはチップ）を有し、各々は、ニューラルネットワークアクセラレータタイルのアレイを含む。ダイ（およびそれらのタイル）は、ウェハーがスタックされ接合されるときに整列される。スタックされたときに、異なるチップ上のニューラルネットワークアクセラレータタイルは、無線伝達（すなわち、ＴＣＩ技術を使用する誘導結合）を通して、またはシリコンビア（ＴＳＶ）を通してといった垂直な配線を通して、互いに伝達可能に結合され得る。スタックされたウェハーは、そしてニューラルネットワークアクセラレータであるダイスタックに切断される。

【0011】

各ニューラルネットワークアクセラレータタイルは、自己完結型であり、多層ニューラルネットワークの部分によって必要とされる計算を独立に実行することができる。ニューラルネットワークアクセラレータタイルは、処理要素（またはプロセッサ、プロセッサコア）、メモリ、および伝送コイルに結合されたリングバスを含む。伝送コイルは、直上または直下にスタックされた隣接するタイルの伝送コイルに誘導的に伝達するように構成され得る。処理要素は、ハードウェア内でニューラルネットワーク計算を処理するために必要とされる計算を行うように構成される。たとえば、処理要素は、ハードウェア内で１つまたは複数のニューラルネットワーク構築ブロック計算、たとえば、行列乗算、活性化関数の計算、プーリング、ソフトマックスまたはロジスティック回帰計算等を行い得る。ニューラルネットワークアクセラレータタイル内に含まれる処理要素のための例示的アーキテクチャは、米国特許出願第１５／３３５，７６９号に記載され、それは、参照によってここに組み込まれる。

【0012】

ニューラルネットワークアクセラレータの作成中に、ニューラルネットワークアクセラレータチップ／ダイは、埋め込まれたニューラルネットワークタイルを通したチップ間の無線伝達を可能とするような方法でスタックされる。ニューラルネットワークアクセラレータタイルは、埋め込まれた伝送コイルを通してスタックされたタイル間の無線伝達を可能とすることによって、この三次元スケーリングをサポートする。いくつかの実装では、スタックされたタイル間の無線伝達は、Ｔｈｒｕチップ無線配線技術に基づく（Ｔｈｒｕチップ無線配線技術は、“Low-Cost 3D Chip Stacking with ThruChip Wireless Connections”,Dave Ditzel,August 11,2014、においてより詳細に説明される）。たとえば、伝送コイルは、ＴＣＩの対を提供するループであり得る。いくつかの実装では、伝送コイルは、ニューラルネットワークアクセラレータタイルのロジックおよび／またはメモリ面積の上に、従来の金属酸化物半導体（ＣＭＯＳ）処理を用いて構築される。ニューラルネットワークアクセラレータタイルが他のタイルの上にスタックされた（すなわち、それぞれのダイ／チップがスタックされた）とき、ＴＣＩ（コイル）は、それぞれのニューラルネットワークアクセラレータタイルの上または下のニューラルネットワークアクセラレータタイルへと送信されるべきおよび／またはそこから受信されたデータを可能とする。いくつかの実装では、図２および図３に示されるように、アレイ内の少なくとも１つのタイルの場所は、直上または直下にスタックされたニューラルネットワークチップでのそれぞれのタイルの場所からの無線伝達を受信するように構成され、別のタイルの場所は、無線伝達を同じニューラルネットワークチップでのそれぞれのタイルの場所に送信するように構成される。いくつかの実装では、図４に示されるように、アレイ内の１つのタイルの場所は、直上または直下にスタックされたニューラルネットワークチップでのそれぞれのタイルの場所からまたはそこへと、無線伝達を受信しおよび送信する両方を行うように構成される。

【0013】

ニューラルネットワークアクセラレータチップはまた、タイルのアレイへとまたはそこからのデータを結合するためのＩ／Ｏインタフェース回路、タイルの処理要素および他のインタフェースにクロック信号を提供し、機能を制御するためのクロック配信回路等といったアンコア内の他のオンチップ回路を含む。たとえば、インタフェースは、ホストコンピュータに対してであり得る。そのようなインタフェースは、三次元スタック内のすべてのチップ上で複製され得、またはインタフェースは、ＴＣＩを介して三次元スタックに結合される異なる処理ノードを用いる第２のチップに委任され得る。

【0014】

ニューラルネットワークアクセラレータチップは、静的相互接続システムを通して形成されるシーケンスに従いデータを各タイル間でルーティングし得る。たとえば、データは、静的相互接続システム内の１つのコンピューティングタイルにおいて受信され、処理され得、タイルの出力はそして、静的相互接続システム内のシーケンス内の次のタイルへと送信され、またはそれによって受信される。次のタイルはそして、受信された入力を処理する。この処理は、シーケンス内の各タイルによって繰り返される。

【0015】

図１Ａは、例示的ニューラルネットワークアクセラレータタイル１００のブロック図である。例示的タイル１００は、処理要素１１０、リングバス１２０、伝送コイル１３０、ＴＣＩ受信機１４２、およびＴＣＩ送信機１４０を含む。ニューラルネットワークアクセラレータタイル１００は、同様のニューラルネットワークアクセラレータのアレイ内のウェハー上に製造され得る。ニューラルネットワークアクセラレータのアレイは、ウェハー上の製造されたダイに含まれ得る。タイルプロセッサ要素（またはプロセッサコア（複数可））１１０は、機能的ユニット、メモリ、データ経路、および制御ロジックを含み得、これらは、計算を行い、機能を制御するために使用される。いくつかの実装では、伝送コイル１３０は、ニューラルネットワークアクセラレータタイル１００の処理要素１１０（すなわち、ロジックおよび／またはメモリ面積）の上方に作られ、面積の節約を最大化する。

【0016】

リングバス１２０は、処理要素１１０、伝送コイル１３０、ＴＣＩ受信機１４２、およびＴＣＩ送信機１４０並びに同じダイ内（すなわち、同じタイルアレイ内）に製造される他のニューラルネットワークアクセラレータ間の相互接続といったタイル１００の部品の相互接続を提示する。いくつかの実装では、リングバス１２０は、それぞれのニューラルネットワークチップ上の平坦な埋め込まれたリングバスの部分であり、それは、有向二部グラフにおいてハミルトニアン回路を形成するようにアレイ内のタイルを接続し、そこでは、各処理タイルが１つの入力頂点および１つの出力頂点によって表され、プロセッシングユニットが入力を出力に接続するエッジである。リングバス１２０に対して、可能なマルチプレクサ構成は、ある出力をある入力に接続する多数のエッジによって表され得る。いくつかの実装では、平坦な埋め込みの一部としてタイルの線形の連なりを容易にするために、リングバス１２０は、１つの側でタイル１００に入り、反対側でそれを離れる。

【0017】

上述のように、タイル１００は、ニューラルネットワークアクセラレータチップ上の同様のタイルのアレイ内に含まれ得る個々のコンピューティングユニットである。いくつかの実装では、タイル１００は、１つまたは複数の隣接するタイルに伝達可能に結合され得、これは、スタックされ、三次元にスタックされたニューラルネットワークアクセラレータ内の静的相互接続システムを形成し得る。スタックされたタイルは、三次元にスタックされたニューラルネットワークアクセラレータ上でニューラルネットワークの計算を分散するために用いられる。たとえば、各タイル１００は、１つまたは複数の隣接するタイル（すなわち、上または下にあり無線で接続されるタイル、または平坦なリングバスを通して接続されたニューラルネットワークチップでの同じタイルアレイ内のタイル）と伝達して、静的相互接続システムを形成する。相互接続システムは、処理タイルが三次元スタックのコンピュータ計算リソースを包含するリングバス１２０といった１つまたは複数のリングバスの一部となるように構成されることができる。そのような構成は、チップの三次元スタック内のタイルが効率的に利用され、用途によって要求された場合にコンピュータ計算リソースを複数のリングへと再組織化する柔軟性を提供することを可能とする。

【0018】

伝送コイル１３０は、タイル１００内に埋め込まれ、ＴＣＩ接続を提供し、これは、それぞれのＴＣＩ受信機１４２によって受信され、それぞれのＴＣＩ送信機１４０によって伝送される。伝送コイル１３０は、他のタイル１００、たとえばスタックされた三次元的に上または下のそれぞれのタイルの伝送コイル１３０との間の近距離無線伝達を可能とするために、磁場を使用する誘導結合を用いる。可能とされた近距離無線伝達は、三次元にスタックされたニューラルネットワークアクセラレータチップ間のデジタルロジック相互接続を提供する。いくつかの実装では、タイル１００は、確立された近距離無線伝達を用いて、三次元スタック内の上または下の隣接するタイルと伝達し得る。伝送コイル１３０は、図１Ａに示されるように互いからオフセットされ得、これにより２つのタイルがスタックされたときに、それぞれの伝送コイルは、他のコイル間の伝送に干渉しない。伝送コイル１３０、ＴＣＩ受信機１４２、およびＴＣＩ送信機１４０は、一緒にＴＣＩを形成する。そのようなＴＣＩは、タイル１００に対して小さく、これによりＴＣＩ接続のために必要とされる面積は、比較可能なＴＳＶよりも小さい。たとえば、現在の処理において２０ナノメートル（ｎｍ）の特徴の大きさ、毎秒５０ギガビット（Ｇｂ／ｓ）を超える帯域幅を有するノードが実現される。実際の速度は、電力やシリアライザ／デシリアライザ（ＳＥＲＤＥＳ）ロジックの複雑さなどのエンジニアリング上の考慮事項の影響を受ける。たとえば、ＴＣＩコイルの大きさは、スタックされたダイの厚さに依存する。現在の薄型化技術は、２．６マイクロメートル（ｍｍ）のダイ厚を、一辺２．６ｍｍのコイルサイズの３倍、つまり約８ｍｍに対して実証している。より控えめなダイの厚さは４ｍｍであり、コイルサイズは約１２ｍｍである。

【0019】

たとえば、タイルは、１×１ｍｍのオーダーであり、約６０００個のＴＣＩのための空間を有し得る。高い帯域幅設計を有するタイル１００は、このタイル面積の著しい割合を覆ういくつかのＴＣＩ（伝送コイル１３０、ＴＣＩ受信機１４２、およびＴＣＩ送信機１４０）を含み得る。たとえば、ＴＣＩの群は、２０Ｇｂ／秒で動作され得、データをリングバス１２０から送信するために約５０個のＴＣＩ、およびデータをリングバス１２０に対して受信するために別の５０個のＴＣＩを必要とし得る。

【0020】

中程度の帯域幅設計を有するタイルは、タイル面積のより小さい部分を覆ういくつかのＴＣＩを含む。たとえば、ダイ厚さは、約１５ｍｍに増加され得、タイル１００は、約２０－３０個のＴＣＩを含み得る。そのような例では、伝送コイル１３０は、その一辺が４５ｍｍであってもよく、約４００個の可能なＴＣＩの場所をもたらし得る。ＴＣＩは、１×１ｍｍタイルのエッジの半分の線形行内に配置され得、ＴＣＩ送信機１４０およびＴＣＩ受信機１４２の両方は、タイルのインタフェース側の近くにあり、１０Ｇｂ／秒以下で動作する。例示的な中程度の帯域幅設計構成は、図４内に図示される。

【0021】

いくつかの実装では、タイル１００は、平坦なリングバスの部分１２０を含む。平坦なリングバスは、ニューラルネットワークチップ上のアレイ内の各タイルは、伝達可能に結合する。リングバスは、１つのタイルから次のタイルに延在し（すなわち、ポイントツーポイント）、各々が０．２５～０．５毎秒ギガビット（Ｇｂ／ｓ）の間の帯域幅の、約２０００個の配線を有する。リングバスの幅は、リングバスを構成する配線の数である。たとえば、チップ上の各タイルは、約２０００個の配線上にデータを送り出し、前のタイルから到来する約２０００個の別の組の配線を有する。

【0022】

そのような実装では、タイル１００のためのＴＣＩの信号レートは、２０～４０Ｇｂ／ｓの間であり得る。いくつかの実装では、送信機が、一定の電流スイッチングのために実際のデータレートとは独立に一定の量の電力を引き込むので、ＴＣＩは、電力を浪費しないように高いレートで動作し得る。コイルの大きさは、個々のダイ厚さの関数である。タイル１００は、２．６マイクロメートルと１０マイクロメートルとの間にまで薄くされ得る。これは、エッジ長が１２マイクロメートルから３０マイクロメートルまたはチップ対チップ距離の３倍であるＴＣＩコイルに対応する。

【0023】

高い帯域幅設計のために、厚さの上限（１０ｍｍ）でのタイル厚さ、高速信号レート、および低い多重化率が使用されることができる。高い帯域幅設計のいくつかの実装のために、タイル１００上のＴＣＩは、リングバスレートでデータを伝送するかまたは受信するかのいずれかを行うことができるが、両方を行うことはできない。そのような実装では、帯域幅仮定は、より多くのＴＣＩを使用し得（タイル毎に約６０００個のＴＣＩが利用可能）、これにより１つのリングバス接続と同等の帯域幅を伝送しまたは受信するために十分なＴＣＩのための十分な広さが１つのタイル上に存在する。例示的な高い帯域幅設計構成は、図２および３内に示される。

【0024】

図１Ｂは、タイル１００の抽象的な表現のブロック図である。図１Ｂにおいてタイル１００の抽象的な表現は、処理要素１１０と、丸１５０で表されたＴＣＩの組とを含む。タイル１００のためのＴＣＩ１５０の組は、図１Ａからの伝送コイル１３０、ＴＣＩ受信機１４２、およびＴＣＩ送信機１４０を含む。

【0025】

図１Ｃは、タイル１００の別の抽象的な表現のブロック図である。図１Ｃにおいてタイル１００の抽象的な表現は、処理要素１１０、丸１５０によって表されたＴＣＩの２つの組、およびマルチプレクサ１６０を含む。タイル１００のためのＴＣＩ１５０の組は、２つの別個の組としてグループ分けされた、図１Ａからの伝送コイル１３０、ＴＣＩ受信機１４２、およびＴＣＩ送信機１４０を含む。マルチプレクサ１６０は、どのＴＣＩの組が送信しておりどれが受信しているか管理し、たとえば、構成レジスタによって静的に制御される。上述のように、１つのタイルのための可能なＴＣＩの場所の数は、かなり大きくされることができ（約６０００個）、このため２つの丸の各々は、（図１Ｂの符号と一貫した）送信機または受信機であるように構成されるＴＣＩの群を提示する。図１Ｂおよび１Ｃ内の抽象的な表現は、図２－図５において使用される。

【0026】

図２は、２つのニューラルネットワークアクセラレータチップ２２０および２２２を有する例示的な三次元にスタックされたニューラルネットワークアクセラレータ２００を示す。２つのチップのスタックが図示されるが、任意の数のチップ（層）は、使用され得る。ニューラルネットワークアクセラレータチップ２２０および２２２は、ニューラルネットワークアクセラレータタイル１００を含み、これは、（図１Ｂに示されるような）１つのＴＣＩの組を含む。図示される例では、ニューラルネットワークアクセラレータチップ２２０および２２２は、互いの上に同じ配向において配置され、これにより各それぞれのニューラルネットワークアクセラレータチップ２２０および２２２のためのリングバス（２４０、２４２）は、平行に同方向において延在する。ＴＣＩデータ接続２３２は、上述のように誘導結合を使用して隣接するタイル１００を通るアクセラレータチップ２２０と２２２との間の伝達を提供する。交差点２３０は、ＴＣＩデータ接続２３２がリングバス２４０および２４２をネットワークアクセラレータチップ２２０と２２２との間でルーティングするために使用される場所である。交差点２３０は、ネットワークアクセラレータチップ２２０および２２２の両方のすべてのタイル１００を包含するリングバス２４０および２４２を１つのリングへとステッチで結合することによって作成される。１つのリングは、ネットワークアクセラレータチップ２２０および２２２の両方のタイル１００を伝達可能に結合する。図示される例では、ＴＣＩデータ接続２３２の単一の対が示されるが、ＴＣＩデータ接続２３２の任意の数の対は、ニューラルネットワークアクセラレータチップ２２０と２２２との間に使用され、形成され得る。垂直なデータ交換に参加し得る各タイルの対は、これらのタイルを接続する２つの配線の組を有し（交差点２３０）、これは、２倍の量の配線（すなわち、２０００個の代わりに４０００個）を必要とし得る。

【0027】

図３は、２つのニューラルネットワークアクセラレータチップ３２０および３２２を有する例示的な三次元にスタックされたニューラルネットワークアクセラレータ３００を示す。２つのチップのスタックが図示されるが、任意の数のチップ（層）は、使用され得る。ニューラルネットワークアクセラレータチップ３２０および３２２は、ニューラルネットワークアクセラレータタイル１００を含み、これは、（図１Ｂに示されるような）１つのＴＣＩの組を含む。図示される例では、ニューラルネットワークアクセラレータチップ３２０および３２２は、互いの上に配置されるが、互いに対して１８０度回転されて配向される。図２と同様に、ＴＣＩデータ接続３３２は、隣接するタイル１００を通して誘導結合を使用してアクセラレータチップ３２０と３２２との間の伝達を提供する。

【0028】

図示される例では、平坦なリングバス３４０および３４２埋め込みの際のいくつかの重要ではない制約とともに（たとえば、回転対称レイアウトを避けること）、回転されたニューラルネットワークアクセラレータチップ３２０および３２２は、それぞれのリングバス３４０および３４２が交差場所３３０において反対方向に延在することを引き起こす。開示された設計内のＴＣＩの場所の位置における制約は、スタックされたときに２つのチップが１８０度回転されてもＴＣＩの垂直な位置合わせを可能とする。追加的に、図３において示されるレイアウトは、図２に示されるように、交差場所３３０において１つのチップが２つのリングバス配線の組を有することを阻止し、データトラフィックを同時に伝搬させ、他のチップは、任意の配線を使用しない。この構成は、リングバス交差を実装するマルチプレクサのコストを超え得る配線コストを減らし得る。追加的に、図３におけるレイアウトは、ルーティングのオーバヘッドを減らし得る。図示される例では、ＴＣＩデータ接続３３２の単一の対が示されるが、ＴＣＩデータ接続３３２の任意の数の対は、ニューラルネットワークアクセラレータチップ３２０と３２２との間に形成され得る。そのような設計は、いくつかの用途で必要とされる複数の独立したリングの形成を可能とする。

【0029】

図４は、２つのニューラルネットワークアクセラレータチップ４２０および４２２を有する例示的な三次元にスタックされたニューラルネットワークアクセラレータ４００を示す。２つのチップのスタックが図示されるが、任意の数のチップ（層）は、使用され得る。ニューラルネットワークアクセラレータチップ４２０および４２２は、ニューラルネットワークアクセラレータタイル１００を含み、これは、（図１Ｃに示されるような）２つのＴＣＩの組を含む。図示される例では、ニューラルネットワークアクセラレータチップ４２０および４２２は、各々の上に配置され、同じ配向においてスタックされる。ＴＣＩデータ接続４３２は、隣接するタイル１００の対におけるＴＣＩの組の間で確立され、上述のように誘導結合を使用して２つの隣接するタイル１００を通してアクセラレータチップ４２０と４２２との間の伝達を提供する。タイル１００内の２つのＴＣＩの組を用いることによって、交差は、ちょうど１つのタイルの場所に局所化される。この構成は、長い配線がタイル全体に広がる必要性を阻止し得る。代わりに、図示されるアクセラレータ４００は、マルチプレクサを制御し、どのＴＣＩの組が送信しておりどれが受信しているかを管理するタイル構成内の対称性を破るビット（Symmetry breaking bit）を用い得る。図示される例では、タイルの単一の対は、ＴＣＩデータ接続４３２を形成するために使用されて示されるが、ＴＣＩデータ接続４３２の任意の数の対は、ニューラルネットワークアクセラレータチップ４２０と４２２との間のために使用され得る。

【0030】

図５は、高い帯域幅設計のための垂直なリングバス実装を有する例示的な三次元にスタックされたニューラルネットワークアクセラレータ５００を示す。図示される例は、チップ間のＴＣＩ接続５４２および５４４を有する３つのスタックされたニューラルネットワークアクセラレータチップ５１０、５２０、および５３０を示す。ＴＣＩ接続５４２は、チップ５１０上のタイルの場所５１２とチップ５２０上のタイルの場所５２４との間にある。ＴＣＩ接続５４４は、チップ５２０上のタイルの場所５２２とチップ５３０上のタイルの場所５３２との間にある。図示される例の場合、各タイルの場所５１２、５２２、５２４、および５３２は、同一のタイル位置を共有する（すなわち、タイルの各列は、１つのリングとして接続される）すべてのスタックされたチップ上のすべてのタイルをルーティングする１つの垂直なリングバスを形成する。各スタックされたチップ５１０、５２０、および５３０は、スタック内の前のチップに対して９０度回転される。リングバス接続は、スタックを通してバイファイラスパイラルを形成する。頂部（または底部）は、リングを閉じるリングバスを反映する。いくつかの実装では、２つの処理タイルは、少なくとも１つの処理タイルが上方向で横切られ、別の１つが下方向で横切られるように、この列の１つの仮想タイルへと組み合わされる。スタック内のチップの数とは独立にリング内のタイルの数を制御するために、１つの垂直ならせんを構成する仮想タイルは、より大きい（偶数の）数のタイルプロセッサをグループ分けし得る。図示される例では、底部層５１０は、ホストコンピュータおよび／またはリングバスコントローラへのインタフェースを含み得、一方、残りのスタックを構成するチップは、純粋なタイルアレイであり得る。そのような構成は、制御信号をすべてのタイルに同時にブロードキャストするために使用されることができる垂直なバスに基づく追加的なＴＣＩを提供し、チップ全体上で配線を延在させることに関連付けられた遅延を阻止し得る。いくつかの実装では、リングは、コントローラタイル５１０上で一緒にステッチで結合され、より多くのタイルを有するより長いリングを作成し得る。そのような構成は、コントローラ対タイル比の動的変化を提供する。図示される例では、短絡平面５１８、５２８、および５３８は、ＴＣＩコイルからの干渉が次のチップを超えて到達することを阻止するために用いられる。いくつかの実装では、短絡平面５１８、５２８、および５３８は、固体金属平面または密なグリッドであり、これは、製造処理全体における著しいコスト増加を課すことなくＴＣＩの範囲を短絡することができる。

【0031】

この明細書は多くの特定の実装の詳細を含むが、これらは発明の範囲や特許請求の範囲を制限するものではなく、特定の発明の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈で本明細書に記載されている特定の特徴は、単一の実施形態において組み合わされて実装されることもできる。逆に、単一の実施形態の文脈で説明される様々な特徴は、複数の実施形態で別々にまたは任意の適切なサブコンビネーションで実装されることもできる。さらに、特徴は特定の組み合わせで機能するものとして上記で説明され得、当初にそのように主張されようとも、主張された組み合わせからの１つまたは複数の特徴は、場合によっては組み合わせから削除され得、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションの変形に向けられ得る。

【0032】

同様に、操作は図面に特定の順序で描かれているが、これは、望ましい結果を達成するために、そのような操作、またはすべての説明された操作を示された特定の順序または順番で実行することを要求するものとして理解されるべきではない。特定の状況では、マルチタスクと並列処理が有利であり得る。さらに、上記の実施形態におけるさまざまなシステムモジュールおよびコンポーネントの分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、記述されたプログラムコンポーネントおよびシステムは一般に単一のソフトウェア製品または複数のソフトウェア製品にパッケージ化されることができる。

【0033】

主題の特定の実施形態が説明された。他の実施形態は、以下の特許請求の範囲内にある。たとえば、請求項に記載される動作は、異なる順序で実行でき、それでも望ましい結果を達成する。一例として、添付の図に描かれた処理は、望ましい結果を達成するために、示された特定の順序または連続的な順序を必ずしも必要としない。特定の実装では、マルチタスクと並列処理が有利であり得る。

【0034】

さらに他の実装は、以下の例で要約される。
例１：三次元ニューラルネットワークアクセラレータであって、
第１の伝送コイルを備える第１のニューラルネットワークアクセラレータタイルと、
第２の伝送コイルを備える第２のニューラルネットワークアクセラレータタイルとを備え、
第１のニューラルネットワークアクセラレータタイルは、第２のニューラルネットワークアクセラレータタイルに隣接し垂直に整列し、
第１の伝送コイルは、第２の伝送コイルと誘導結合を介して無線伝達を確立するように構成され、
第１のニューラルネットワークアクセラレータタイルおよび第２のニューラルネットワークアクセラレータタイルは、確立された無線伝達を通して、途切れのないデータの流れを提供する伝達スキームを含む静的相互接続システムを形成することによってニューラルネットワークの計算を加速するように構成される、三次元ニューラルネットワークアクセラレータ。

【0035】

例２：第１のニューラルネットワークアクセラレータタイルは、第１のニューラルネットワークアクセラレータチップ上の第１のタイルのアレイ内に含まれ、
第２のニューラルネットワークアクセラレータタイルは、第２のニューラルネットワークアクセラレータチップ上の第２のタイルのアレイ内に含まれる、例１に記載の三次元ニューラルネットワークアクセラレータ。

【0036】

例３：第１の伝送コイルは、近距離無線伝達を通して第１のニューラルネットワークアクセラレータタイルと第２のニューラルネットワークアクセラレータタイルとの間のデジタルロジック相互接続をさらに提供するように構成される、例１または例２に記載の三次元ニューラルネットワークアクセラレータ。

【0037】

例４：第１の伝送コイルは、Ｔｈｒｕチップインタフェース（ＴＣＩ）受信機およびＴＣＩ送信機をさらに備え、
ＴＣＩ受信機は、第２の伝送コイルから無線伝達を受信するように構成され、
ＴＣＩ送信機は、第２の伝送コイルに無線伝達を送信するように構成される、例１～例３のいずれか１項に記載の三次元ニューラルネットワークアクセラレータ。

【0038】

例５：第１のニューラルネットワークアクセラレータタイルは、処理要素およびリングバスをさらに備え、処理要素、第１の伝送コイル、ＴＣＩ受信機、およびＴＣＩ送信機は、リングバスを通して伝達可能に接続される、例４に記載の三次元ニューラルネットワークアクセラレータ。

【0039】

例６：処理要素は、ハードウェア内でニューラルネットワーク計算を行うための回路を含む、例５に記載の三次元ニューラルネットワークアクセラレータ。

【0040】

例７：第１の伝送コイルは、第２の伝送コイルとのＴｈｒｕチップインタフェース（ＴＣＩ）接続をさらに確立し、垂直なリングバスを形成するように構成される、例１～例６のいずれか１項に記載の三次元ニューラルネットワークアクセラレータ。

【0041】

例８：第１のニューラルネットワークアクセラレータタイルは、他の伝送コイルからの干渉を阻止するための短絡平面をさらに備える、例１～例７のいずれか１項に記載の三次元ニューラルネットワークアクセラレータ。

【0042】

例９：第１のニューラルネットワークアクセラレータタイルは、第２のニューラルネットワークアクセラレータタイルに対して１８０度回転される、例１～例８のいずれか１項に記載の三次元ニューラルネットワークアクセラレータ。

【0043】

例１０：第１のニューラルネットワークアクセラレータタイルおよび第２のニューラルネットワークアクセラレータタイルは、同じ配向にされる、例１～例９のいずれか１項に記載の三次元ニューラルネットワークアクセラレータ。

【0044】

例１１：ニューラルネットワークアクセラレータを製造するための方法であって、方法は、
第２のニューラルネットワークアクセラレータタイルに隣接し垂直に整列された第１のニューラルネットワークアクセラレータタイルをスタッキングすることを備え、
第１のニューラルネットワークアクセラレータタイルは、第１の伝送コイルを備え、
第２のニューラルネットワークアクセラレータタイルは、第２の伝送コイルを備え、
第１の伝送コイルは、第２の伝送コイルと誘導結合を介して無線で伝達するように構成され、
第１のニューラルネットワークアクセラレータタイルおよび第２のニューラルネットワークアクセラレータタイルは、無線伝達を通して、途切れのないデータの流れを提供する伝達スキームを含む静的相互接続システムを形成することによってニューラルネットワークの計算を加速するように構成される、方法。

【0045】

例１２：第１のニューラルネットワークアクセラレータタイルは、第１のニューラルネットワークアクセラレータチップ上の第１のタイルのアレイ内に含まれ、
第２のニューラルネットワークアクセラレータタイルは、第２のニューラルネットワークアクセラレータチップ上の第２のタイルのアレイ内に含まれる、例１１に記載の方法。

【0046】

例１３：第１の伝送コイルは、近距離無線伝達を通して第１のニューラルネットワークアクセラレータタイルと第２のニューラルネットワークアクセラレータタイルとの間のデジタルロジック相互接続をさらに提供するように構成される、例１１または例１２に記載の方法。

【0047】

例１４：第１の伝送コイルは、Ｔｈｒｕチップインタフェース（ＴＣＩ）受信機およびＴＣＩ送信機をさらに備え、
ＴＣＩ受信機は、第２の伝送コイルから無線伝達を受信するように構成され、
ＴＣＩ送信機は、第２の伝送コイルに無線伝達を送信するように構成される、例１１～例１３のいずれか１項に記載の方法。

【0048】

例１５：第１のニューラルネットワークアクセラレータタイルは、処理要素およびリングバスをさらに備え、処理要素、第１の伝送コイル、ＴＣＩ受信機、およびＴＣＩ送信機は、リングバスを通して伝達可能に接続される、例１４に記載の方法。

【0049】

例１６：処理要素は、ハードウェア内でニューラルネットワーク計算を行うための回路を含む、例１５に記載の方法。

【0050】

例１７：第１の伝送コイルは、第２の伝送コイルとのＴｈｒｕチップインタフェース（ＴＣＩ）接続をさらに確立し、垂直なリングバスを形成するように構成される、例１１～例１６のいずれか１項に記載の方法。

【0051】

例１８：第２のニューラルネットワークアクセラレータタイルは、は、第１のニューラルネットワークアクセラレータタイルに対して９０度回転され、垂直なリングバスは、スタックを通るバイファイラスパイラルを形成する、例１７に記載の方法。

【0052】

例１９：第１のニューラルネットワークアクセラレータタイルは、他の伝送コイルからの干渉を阻止するための短絡平面をさらに備える、例１１～例１８のいずれか１項に記載の方法。

【0053】

例２０：第１のニューラルネットワークアクセラレータタイルは、第２のニューラルネットワークアクセラレータタイルに対して１８０度回転される、例１１～例１９のいずれか１項に記載の方法。

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】

【図5】