知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-19
(45)【発行日】2024-12-27
(54)【発明の名称】機械学習用エレクトロフォトニックネットワーク
(51)【国際特許分類】
G06F 15/173 20060101AFI20241220BHJP
G06F 17/10 20060101ALI20241220BHJP
【ＦＩ】
G06F15/173 685M
G06F17/10 A
【請求項の数】
34
(21)【出願番号】P 2023564535
(86)(22)【出願日】2022-06-17
(65)【公表番号】
(43)【公表日】2024-04-10
(86)【国際出願番号】 US2022073039
(87)【国際公開番号】W WO2022266676
(87)【国際公開日】2022-12-22
【審査請求日】2023-11-07
(31)【優先権主張番号】63/212,353
(32)【優先日】2021-06-18
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】521325972
【氏名又は名称】セレッシャル エイアイ インコーポレイテッド
【氏名又は名称原語表記】Ｃｅｌｅｓｔｉａｌ ＡＩ Ｉｎｃ．
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100230514
【弁理士】
【氏名又は名称】泉 卓也
(72)【発明者】
【氏名】フィリップ ウィンターボトム
(72)【発明者】
【氏名】マルティノス ボス
【審査官】田中 幸雄
(56)【参考文献】
【文献】CHITTAMURU, Sai Vineel Reddy et al.，BiGNoC: Accelerating Big Data Computing with Application-Specific Photonic Network-on-Chip Architectures，IEEE Transactions on Parallel and Distributed Systems，IEEE，2018年05月08日，Volume 29, Issue 11，Pages2402-2415，https://ieeexplore.ieee.org/document/8356088
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １５／１７３
Ｇ０６Ｆ １７／１０
(57)【特許請求の範囲】
【請求項1】
複数の処理要素を含む電子集積回路であって、各処理要素がフォトニックチャネルインターフェースを含むメッセージルータを含む、電子集積回路と、前記処理要素をエレクトロフォトニックネットワークに接続する複数の双方向フォトニックチャネルであって、各双方向フォトニックチャネルは、第１の端部において、前記処理要素の中の第１の処理要素のメッセージルータのフォトニックチャネルインターフェースとインターフェース接続し、第２の端部において、前記処理要素の中の第２の処理要素のメッセージルータのフォトニックチャネルインターフェースとインターフェース接続し、前記第１の処理要素のメッセージルータと前記第２の処理要素のメッセージルータとの間でパケットを光学的に転送するように構成されている、複数の双方向フォトニックチャネルと、
を含み、
各双方向フォトニックチャネルは、それぞれの方向に向かう１つ以上の一方向フォトニックリンクを含み、
各一方向フォトニックリンクは、入力端の光変調器と、出力端の光検出器と、光変調器と光検出器とを接続する光導波路とを含み、各フォトニックチャンネルインターフェースは、前記入力端でインターフェース接続する各一方向フォトニックリンク用の変調器ドライバと、前記出力端でインターフェース接続する各一方向フォトニックリンク用のトランスインピーダンス増幅器とを含む、
回路パッケージ。
【請求項2】
各双方向フォトニックチャネルは、それぞれの方向への複数の一方向フォトニックリンクを含み、それぞれの方向への前記複数の一方向フォトニックリンクは互いに結合されている、請求項１に記載の回路パッケージ。
【請求項3】
前記光変調器は、電界吸収型変調器（ＥＡＭ）である、請求項１に記載の回路パッケージ。
【請求項4】
前記光変調器は、リング変調器、マッハツェンダー変調器、量子閉じ込めシュタルク効果（ＱＣＳＥ）電気吸収変調器の少なくとも１つからなる、請求項１に記載の回路パッケージ。
【請求項5】
前記電子集積回路は、電子回路層に実装され、前記複数の双方向フォトニックチャネルは、フォトニック回路層に実装される、請求項１に記載の回路パッケージ。
【請求項6】
前記電子回路層は、第１の半導体チップに実装され、前記フォトニック回路層は、第２の半導体チップに実装される、請求項５に記載の回路パッケージ。
【請求項7】
各変調器ドライバは、それが関連する前記光変調器の真上又は真下に配置され、各トランスインピーダンス増幅器は、それが関連する前記光検出器の真上又は真下に配置される、請求項５に記載の回路パッケージ。
【請求項8】
前記光変調器とそれに関連する変調器ドライバとの距離、及び、前記光検出器とそれに関連するトランスインピーダンス増幅器との距離は、２００μｍより小さい、請求項６に記載の回路パッケージ。
【請求項9】
前記第２の半導体チップの前記フォトニック回路層に、１つ以上のレーザー光源から供給される光キャリア信号を前記１つ以上の一方向フォトニックリンクの前記光変調器に供給する光入力導波路をさらに備え、光キャリア信号は、関連する変調器ドライバによって印加される駆動信号にしたがって前記光変調器によって変調され、パケットを伝送する変調光信号を生成する、請求項６に記載の回路パッケージ。
【請求項10】
前記回路パッケージに統合された１つ以上のレーザー光源をさらに含む、請求項９に記載の回路パッケージ。
【請求項11】
前記１つ以上のレーザー光源は、前記フォトニック回路層において１つ以上のフォトニック集積回路（ＰＩＣ）の前記光入力導波路と統合されている、請求項１０記載の回路パッケージ。
【請求項12】
前記１つ以上のレーザー光源は、前記第１の半導体チップ及び前記第２の半導体チップと同包されたインターポーザーに実装され、前記光入力導波路を含む前記フォトニック回路層において１つ以上のＰＩＣとエッジ結合される、請求項１０に記載の回路パッケージ。
【請求項13】
前記１つ以上のレーザー光源は、前記回路パッケージの外部に実装され、前記回路パッケージにおける１つ以上のＰＩＣに１つ以上の光ファイバーを介して光学的に結合される、請求項９に記載の回路パッケージ。
【請求項14】
前記１つ以上の光ファイバーは、前記ＰＩＣに実装されたグレーティングカプラ上に配置された１つ以上のファイバアタッチユニット（ＦＡＵ）を介して前記１つ以上のＰＩＣに結合される、請求項１３に記載の回路パッケージ
【請求項15】
前記１つ以上の光ファイバーは、前記１つ以上のＰＩＣにエッジ結合されている、請求項１３に記載の回路パッケージ。
【請求項16】
前記第２の半導体チップの前記フォトニック回路層において、１つ以上の光スプリッタをさらに含み、前記１つ以上の光スプリッタのそれぞれは、前記１つ以上のレーザー光源のうちの関連する１つから受信した入力光キャリア信号を複数の光導波路間で分割する、請求項１３に記載の回路パッケージ。
【請求項17】
前記電子集積回路が、特定用途向け集積回路（ＡＳＩＣ）である、請求項１に記載の回路パッケージ。
【請求項18】
前記ＡＳＩＣは、デジタル混合信号電子回路を含む、請求項１７に記載の回路パッケージ。
【請求項19】
各処理要素は、ベクトル間のドット積を計算するための乗算器と加算器の組み合わせツリーを実装するドット積エンジンをさらに含む、請求項１７に記載の回路パッケージ。
【請求項20】
各処理要素は、ドット積エンジンの出力として計算されたベクトルを得て処理するためのテンソルエンジンをさらに含む、請求項１９記載の回路パッケージ。
【請求項21】
各処理要素は、メモリシステムをさらに含む、請求項１９に記載の回路パッケージ。
【請求項22】
周辺コンポーネントインターコネクトエクスプレス（ＰＣＩＥ）インターフェース、先進ＲＩＳＣマシンコア、画像プロセッサ、又は外部メモリコントローラのうちの少なくとも１つをさらに含む、請求項１７に記載の回路パッケージ。
【請求項23】
高帯域幅メモリ（ＨＢＭ）をさらに含み、前記ＡＳＩＣは、前記処理要素を前記ＨＢＭに通信可能に結合するＲＡＭコントローラをさらに含む、請求項１７に記載の回路パッケージ。
【請求項24】
前記処理要素の前記メッセージルータは、一部にルーティング情報を有するパケットをルーティングするように構成され、前記ルーティング情報を用いて前記エレクトロフォトニックネットワークを通るパスが決定される、請求項１に記載の回路パッケージ。
【請求項25】
各処理要素の前記メッセージルータは、そのフォトニックチャネルインターフェースの１つで受信されたパケット内のルーティング情報に基づいて、パケットの送信先を決定し、送信先が処理要素内のローカルメモリ又は処理エンジンである場合は、ローカルポートに、送信先が処理要素内のローカルメモリ又は処理エンジンでない場合は、フォトニックチャネルインターフェースの別の１つに、パケットをルーティングするように構成される、請求項２４に記載の回路パッケージ。
【請求項26】
前記処理要素は、規則的なグリッドに配置され、前記パケット内のルーティング情報は、前記パケットの送信先である処理要素に対する、前記グリッドに沿った第１の次元及び第２の次元における相対位置を指定する、請求項２４に記載の回路パッケージ。
【請求項27】
各双方向フォトニックチャネルは、前記第１の次元又は前記第２の次元の一方について、前記グリッドの直に隣接する処理要素の対を接続し、各処理要素の前記メッセージルータは、前記パケットを前記第１の次元に沿って直に隣接する処理要素にルーティングするとき、前記第１の次元における相対位置に関連するルーティング情報の値をデクリメントし、前記パケットを前記第２の次元に沿って直に隣接する処理要素にルーティングするとき、前記第２の次元における相対位置に関連するルーティング情報内の値をデクリメントするように構成される、請求項２６記載の回路パッケージ
【請求項28】
前記複数の双方向フォトニックチャネルは、前記処理要素を、少なくとも２つの次元を定義するグリッドトポロジを有するエレクトロフォトニックネットワークに接続するように構成され、前記パケット内のルーティング情報は、前記パケットの送信先である処理要素に対する、前記少なくとも２つの次元における座標を指定し、各処理要素の前記メッセージルータは、前記少なくとも２つの次元のうちの１つに沿って前記パケットをトポロジー的に直に隣接する処理要素にルーティングするとき、前記少なくとも２つの次元のうちの１つに関連する値をデクリメントすることによってパケット内のルーティング情報を修正する、請求項２４に記載の回路パッケージ。
【請求項29】
前記電子集積回路は、タイルの配列として構成され、前記タイルのそれぞれが前記処理要素の１つに対応する、請求項１に記載の回路パッケージ。
【請求項30】
前記タイルは、矩形グリッドに配置された矩形タイルである、請求項２９に記載の回路パッケージ。
【請求項31】
前記複数の双方向フォトニックチャネルは、前記矩形グリッド内の直に隣接するタイルの各ペアを直接接続して、前記エレクトロフォトニックネットワークの四辺形メッシュトポロジーをもたらすように構成される、請求項３０に記載の回路パッケージ。
【請求項32】
前記複数の双方向フォトニックチャネルは、前記矩形グリッド内の非隣接タイルの１つ以上のペアをさらに直接接続するように構成されている、請求項３１に記載の回路パッケージ。
【請求項33】
前記矩形グリッドの対向するエッジ上のタイルのペアを直接接続して、前記エレクトロフォトニックネットワークのラップトロイダルメッシュトポロジーをもたらすように構成されている双方向フォトニックチャネルをさらに含む、請求項３１に記載の回路パッケージ。
【請求項34】
前記双方向フォトニックチャネルは、前記処理要素を立方格子トポロジーを有するエレクトロフォトニックネットワークに接続するように構成される、請求項１に記載の回路パッケージ。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２１年６月１８日に出願された米国仮特許出願シリアル番号６３／２１２３５３の優先権の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
【背景技術】
【0002】
機械学習（ＭＬ）や深層学習（ＤＬ）などの人工知能（ＡＩ）コンピューティングに対する要求は、利用可能な処理能力の増加で対応できる要求を凌駕する速度で増加している。このような要求の高まりとＡＩモデルの複雑化により、多数のチップをシステムに接続し、チップ間で低遅延かつ高速にデータを送信できるようにする必要性が生じている。現在知られているアプローチでは、チップ間の接続は、パラレル・メッセージをチップ間の電気的インターコネクト又は光ファイバーで送信できるシリアル・ビット・ストリームに変換するシリアライザ／デシリアライザ（ＳｅｒＤｅｓ）ブロックを使用して行われる。このようなシステムでは、オンチップ通信とオフチップ通信が区別される。チップ上の演算素子は金属インターコネクトを介してパケット通信を行い、別のチップ宛てのメッセージ（パケットなど）は、チップレベルのインターコネクトを介してＳｅｒＤｅｓへのインターフェースのサイトまで移動し、そこでデータがビットストリームに変換されて送信される。受信方向では、ビットは光ファイバー又は電気的インターコネクトに到着し、言葉に組み立てられた後、チップ内部の金属インターコネクトを経由して送信先のプロセッサ又はメモリに送信される。チップ内のデータをＳｅｒＤｅｓに移動する際にも、その後ＳｅｒＤｅｓからシステム内の他のチップに移動する際にも、かなりのエネルギーが費やされる。さらに、現在知られているＭＬモデルのハードウェア実装は、ＭＬモデルの実行中に多用される積和演算（ＭＡＣ）の実行において、比較的電力効率が悪い。
【発明の概要】
【課題を解決するための手段】
【0003】
様々な添付図面は、現在開示されている主題の様々な実施形態を単に例示しているに過ぎず、その範囲を限定するものとして考慮されるべきではない。
【図面の簡単な説明】
【0004】
【図1】図１Ａは、いくつかの実施形態による、例示的なシステムインパッケージ（ＳＩＰ）の構成要素を概略的に示す図である。図１Ｂは、いくつかの実施形態による、図１ＡのＳＩＰ内の例示的なエレクトロフォトニックネットワークを概略的に示す図である。図１Ｃは、いくつかの実施形態による、図１Ａと図１Ｂ図のＳＩＰの例示的な構造実装を側面図で示す図である。
【図2】図２Ａは、いくつかの実施形態による、図１Ａと図１ＢのＳＩＰの、メッセージルータを含む、例示的な電子処理要素を示す図である。図２Ｂは、いくつかの実施形態による、エレクトロフォトニックネットワークにおけるメッセージルータ及びフォトニックチャネルの構成例を示す図である。
【図5】図５Ａは、いくつかの実施形態による、エレクトロフォトニックネットワークのフォトニック及び電子コンポーネントの例示的な実装を側面図で示す図である。図５Ｂは、いくつかの実施形態による、図５Ａの例示的なエレクトロフォトニックネットワークのフォトニック集積回路（ＰＩＣ）を上面図で示す図である。
【発明を実施するための形態】
【0005】
以下の説明は、本開示における実施態様に関連する具体的な情報を含む。本出願における図面及びそれらの詳細な説明は、単に例示的な実施態様に向けられている。特に断りのない限り、図中の同様の要素又は対応する要素は、同様の参照数字又は対応する参照数字で示される場合がある。さらに、本願の図面及び図示は、一般に縮尺どおりではなく、実際の相対寸法に対応することも意図していない。
【0006】
本開示は、消費電力の低減及び／又は処理速度の向上を達成する、１つ又は複数の回路パッケージ（例えば、ＳＩＰ）によって実装されるコンピューティングシステムを提供する。様々な実施形態にしたがって、特にデータ移動のために消費される電力は、各回路パッケージ内のデータ局所性を最大化し、データ移動が必要とされるときのエネルギー損失を低減することによって、低減される。それに対して、電力効率に優れたデータ移動は、電子ドメインにおける抵抗及び／又は電子ドメインにおいてデータが移動できる速度が、既存の電子技術の利用では克服できない帯域幅の制限につながるシナリオにおいて、データ移動のためにフォトニックチャネルを活用しつつ、電子ドメインにおける複数の小さな距離をデータ移動させることによって達成することができる。したがって、いくつかの実施形態では、各回路パッケージは、双方向フォトニックチャネル（例えば、パッケージの別個の層又はチップにおいてＰＩＣに実装される）によって、ハイブリッドなエレクトロニックフォトニック（又はエレクトロフォトニック）のネットワークオンチップ（ＮｏＣ）に接続される複数の回路ブロック（以下、「処理要素」という。）からなる電子集積回路（ＥＩＣ）を含む。複数のこのようなＮｏＣは、それぞれの回路パッケージ間のチップ間双方向フォトニックチャネル（例えば、光ファイバーによって実装される）によって、より大きなエレクトロフォトニックネットワークに接続され、大きな電力損失を発生させることなく、コンピューティングシステムを任意のサイズに拡張することができる。さらに開示される実施形態は、ＭＡＣ演算（本明細書では「ドット積エンジン」とも呼ばれる）の電力効率に優れた性能のための新規な回路設計、及びさらなる電力節約をもたらす新規なクロッキング方式を提供する。
【0007】
ここで説明したコンピューティングシステムとその様々な新規な態様は、一般に広範囲の処理タスクに適用可能であるが、ＭＬモデル、特にＡＮＮの実装に特に適している。ＡＮＮに適用されるように、本明細書で説明される回路パッケージ及び相互接続された回路パッケージのシステムは、それぞれ「ＭＬプロセッサ」及び「ＭＬアクセラレータ」とも呼ばれる。ニューラルネットワークは一般に、複数の入力活性値の重み付き和（ＭＡＣ演算に対応する）からニューロン出力活性値を計算する１層以上の人工ニューロンを含む。あるニューラルネットワークでは、ノードと層の間の活性値のフローは固定されている。さらに、ニューラルネットワークのトレーニングが完了すると、重み付き和におけるニューロン重み、及び活性値の計算に関連するその他のパラメータも同様に固定される。したがって、本明細書に記載のＮｏＣは、ニューラルノードを処理要素に割り当て、ノードに関連付けられた固定重みをそれぞれの処理要素のメモリにプリロードし、活性値の所定のフローに基づいて処理要素間のデータルーティングを構成することによって、ニューラルネットワークの実装を助ける。重み付き和は、ここで開示されたドット積エンジンを使用して効率的に実行することができ、本明細書では、ＡＮＮへの適用可能性から「デジタルニューラルネットワーク（ＤＮＮ）」とも呼ばれる。
【0008】
ここまで開示したコンピューティングシステム及び基礎となる概念の様々な有益な態様及び特徴に関するこれまでのハイレベルな要約は、例示的な実施形態の以下の説明から明らかになるであろう。
【0009】
図１Ａは、いくつかの実施形態による、例示的な回路パッケージＳＩＰ１００の構成要素を概略的に示す図である。ＳＩＰ１００は、例えば、ＭＬプロセッサとして機能し得る。ＳＩＰ１００は、例えばデジタルや混合信号特定用途向け集積回路（ＡＳＩＣ）などのＥＩＣ１０１と、ＰＩＣ１０２とを含む。ＥＩＣ１０１及びＰＩＣ１０２は、図１Ｃを参照して、以下でさらに説明されるように、ＳＩＰの異なる層（本明細書では、それぞれ「電子回路層」及び「フォトニック回路層」）に形成され、一方が他方の上に積層される。ＰＩＣ又はＰＩＣ１０２は、１つ又は複数のレーザー光源から光を受光するものであり、当該光源は、ＰＩＣ１０２自体に一体化されていてもよいし、ＳＩＰ１００の内部又は外部のいずれかでＰＩＣとは別個に実装され、適当な光カプラを介してＰＩＣ１０２に結合されていてもよい。光カプラ及びレーザー光源は、図１Ａでは省略されているが、例えば、図１Ｂ、図１Ｃ、図５Ａ～図６Ｂに示されている。
【0010】
ＥＩＣ１０１は、ＰＩＣ１０２における光導波路で実装された双方向フォトニックチャネルを介して互いに通信する複数の処理要素１０４を含む。処理要素１０４は、（全ての実施形態においてそうである必要はないが）設計上同一の（又は少なくとも実質的に類似の）電子回路であってもよく、図示のように、矩形格子状に配置された同一サイズの「タイル」を形成してもよい（以下では、「処理要素」と「タイル」という語は同義に使用される）。描かれている例では、ＥＩＣ１０１は、４×４のアレイに配置された１６個のこのような処理要素又はタイル１０６を有するが、タイルの数及び配置は一般に様々であり得る。タイルの形状も、それらが配置されるグリッドも、必ずしも長方形である必要はなく、例えば、辺が傾斜した四辺形、三角形、又は六角形の形状及びグリッドも、原理的には可能である。さらに、タイリングは、利用可能なチップ上の実領域の効率的な使用を提供する可能性があるが、処理要素１０４は、すべての実施形態において、等しい大きさで規則的に配置される必要はない。
【0011】
ＥＩＣ１０１における各処理要素１０４は、処理エンジンとして機能する１つ又は複数の回路ブロックを含む。例えば、図１Ａ及び図２に示す実装では、各処理要素１０４は、ドット積エンジン（ＤＮＮ）１０６及びテンソルエンジン１０８を含む。ＤＮＮ１０６は、例えばニューラルネットワークで日常的に使用されるような畳み込み関数又はドット積関数のいずれかを実行するために、ＭＡＣごとに低減されたエネルギーで高速ＭＡＣ演算を実行することができる。ＤＮＮ１０６の例の詳細は、図４を参照して、以下で提供される。テンソルエンジン１０８は、他の非ＭＡＣ演算を実行するために使用されてもよく、例えば、ニューラルネットワークの重み付き和に適用されるような非線形活性化関数を実行してもよい。テンソルエンジン１０８の例を、図３を参照して以下で説明する。
【0012】
図１Ａ及び図２にさらに示されるように、各処理要素１０４はメッセージルータ１１０を含む。メッセージルータ１１０は、処理要素１０４間のデータフローを円滑にするために、ＰＩＣ１０２でフォトニックチャネルと接続する。さらに、処理要素１０４はそれぞれ、例えば、Ｌ１ＳＲＡＭメモリ（Ｌ１ＳＲＡＭ）１１２及びＬ２ＳＲＡＭメモリ（Ｌ２ＳＲＡＭ）１１４を含むメモリシステムを有することができる。Ｌ１ＳＲＡＭ１１２は任意であり、それが含まれる場合、各処理要素１０４のスクラッチパッドメモリとして機能することができる。Ｌ２ＳＲＡＭ１１４は、各処理要素１０４の主メモリとして機能し、機械学習モデルの重みなど、ＤＮＮ１０６及び及びテンソルエンジン１０８によって使用される特定の固定オペランドを、ＤＮＮ１０６及びテンソルエンジン１０８に物理的に近接して格納することができる。Ｌ２ＳＲＡＭ１１４はまた、機械学習モデル又は他の計算を実行する際に使用される任意の中間結果を格納することができる。
【0013】
ＥＩＣ１０１は、周辺コンポーネントインターコネクトエクスプレス（ＰＣＩＥ）インターフェース１２２、高度ＲＩＳＣマシン（ＡＲＭ）コア１２４、画像プロセッサ１２６、及び／又は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、不揮発性ＲＡＭ（ＮＶＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、又は別のタイプのメモリをサポートし得る外部メモリコントローラ１２８などのオプション要素をさらに含み得る。ＰＣＩＥインターフェース１２２は一般に、ＥＩＣ１０１と外部コンポーネントとの間の電気的相互接続を可能にする。例えば、Ｌ２ＳＲＡＭに格納された重みは、ＤＲＡＭなどの外部コンポーネントからＰＣＩＥインターフェース１２２を介して受け取ることができる。ＡＲＭコア１２４は、同様に、ＳＩＰ１００の外部のメモリデバイスと接続することができ、画像データを処理するか、又は他のコンピューティングタスクを実行することができる。画像プロセッサ１２６は、メモリデバイス又は他のプロセッサから受信した画像を処理することができ、画像はカメラから得られていてもよい。メモリコントローラ１２８は、ＳＩＰ１００に含まれ得る高帯域幅メモリ（ＨＢＭ）と通信してもよく、ＳＩＰ１００の外部のＤＲＡＭと接続してもよい。いくつかの例では、ＥＩＣ１０１は、異なるタイプのメモリ用の複数のメモリコントローラを含む。
【0014】
図１Ｂは、いくつかの実施形態による、図１ＡのＳＩＰ１００内の例示的なエレクトロフォトニックネットワーク（又はＮｏＣ）１３０を概略的に示す図である。各処理要素１０４、より具体的には各処理要素１０４のメッセージルータ１１０は、ネットワーク１３０のノード１３１として機能する。これらのノード１３１間の接続は、双方向フォトニックチャネルを介して確立され、各チャネルは、一端で１つの処理要素のメッセージルータと接続し、他端で別の処理要素のメッセージルータと接続する(フォトニックチャネルの物理的実装と、チャネルとメッセージルータとの間の接続については、図５Ａ及び図５Ｂを参照してさらに後述する）。それらを直接接続する双方向フォトニックチャネルを共有しない任意の２つの処理要素１０４間のメッセージ転送は、エレクトロフォトニックネットワーク１３０内の１つ又は複数の中間ノード１３１を通るパスに沿った複数の「ホップ」によって達成することができる。１つのノードから次のノードへのこのような各ホップは、電子ドメインからフォトニックドメインへの、さらには電子ドメインへと戻るメッセージの変換を伴う。このように、ネットワーク１３０はハイブリッドなエレクトロフォトニックネットワークである。
【0015】
図１Ｂでは、規則的なグリッド内で直接隣接する処理要素（又はタイル）１０４の各ペアがフォトニックチャネルによって接続され、その結果、エレクトロフォトニックネットワーク１３０の矩形メッシュトポロジーが生じる。しかしながら、他のネットワークトポロジー、例えば、隣接する処理要素の対の間の接続を省略すること、及び／又は、隣接しない処理要素の間の直接接続を追加することから生じるようなトポロジーも可能である。さらに、処理要素１０４が単一のＥＩＣ１０１において物理的に２次元に配置されているが、フォトニックチャネルは、トポロジー的に３次元のエレクトロフォトニックネットワークを確立するように集合的に構成することができる。
【0016】
図１Ｂにさらに示されるように、処理要素１０４を相互接続することに加えて、ＰＩＣ１０２内のフォトニックチャネルは、処理要素１０４を（例えば、タイル状配置の周辺に沿って）、ＰＣＩＥインターフェース１２２、ＡＲＭコア１２４、画像プロセッサ１２６、及び／又はメモリコントローラ１２８など、ＥＩＣ１０１の他の要素に接続することもできる。あるいは、ＥＩＣのいくつかの電子要素は、電気的に相互接続されてもよい。例えば、ＰＣＩＥインターフェース１２２は、エレクトロフォトニックＮｏＣ内の処理要素１０４の１つに電気的に接続されてもよく、これは他のすべての処理要素１０４との通信のためのエントリポイントとして機能してもよい。本明細書で説明する様々な実施形態によれば、電気信号ルーティングと光信号ルーティングの両方が採用される。信号ルーティングタスクは、以下の議論によって明らかになる方法及び理由で、電気的（又は電子的）パスとフォトニックパスとの間で配分されてもよい。
【0017】
ＰＩＣ１０２はまた、例えば光ファイバーを介してオフチップ光接続を行うための１つ又は複数の光結合構造を含むことができる。ファイバー接続は、いくつかの手段によって行うことができる。ファイバー接続のための例示的な光結合構造には、グレーティングカプラ又はエッジカプラの上に配置されたファイバーアタッチユニット（ＦＡＵ）が含まれる。図１Ｂには、２つのＦＡＵ１３２が示されている。一方のＦＡＵは、ＰＩＣ１０２におけるフォトニクスを駆動するために、外部レーザー光源からＰＩＣ１０２に光パワーを供給するために使用され、他方のＦＡＵは、送受信通信の両方のために、別のＳＩＰにおける別のエレクトロフォトニックネットワークへのチップ間相互接続を容易にすることができる。図１Ｂには２つのＦＡＵ１３２が示されているが、異なる実施例では他の数のＦＡＵが使用されてもよい。
【0018】
図１Ｃは、いくつかの実施形態による、図１Ａと図１ＢのＳＩＰ１００の例示的な構造実装を側面図で示す図である。この例では、ＥＩＣ（例えば、ＡＳＩＣ）１０１及びＰＩＣ１０２は、別個の半導体チップ（典型的にはシリコンチップであるが、他の半導体材料の使用も考えられる）に形成される。ＰＩＣ１０２は、基板１４０上に直接配置され、その後のプリント回路基板（ＰＣＢ）への実装するためのはんだバンプが示されている。ＰＩＣ１０２を光ファイバー１３３に接続するＥＩＣ１０１とＦＡＵ１３２は、ＰＩＣ１０２の上に配置され、ＰＩＣ１０２に光学的に接続される。オプションとして、ＳＩＰ１００は、図示されているように、ＥＩＣ１０１に隣接してＰＩＣ１０２の上に配置されたメモリチップ１４２をさらに含むことができる。
【0019】
当業者には理解されるように、ＳＩＰ１００の描かれた構造は、様々な構成要素を組み立ててパッケージ化するためのいくつかの可能な方法のうちの１つに過ぎない。 代替実施形態では、例えば、ＥＩＣ１０１を基板上に配置し、ＰＩＣ１０２をＥＩＣ１０１の上に配置してもよい。原理的には、電子回路層とフォトニック回路層を別々のチップとして実装する代わりに、単一の半導体チップの異なる層にＥＩＣ１０１とＰＩＣ１０２を形成することも可能である。さらに、フォトニック回路層は、例えば導波路の交差を低減するために、複数のサブ層に複数のＰＩＣを設けてもよい。さらに、図１Ｃに描かれた構造は、単一のＰＩＣ１０２に接続された複数のＥＩＣ１０１を含み、ＰＩＣ１０２におけるフォトニックチャネルを介して互いに接続されるように変更されてもよい。
【0020】
ＥＩＣ１０１とＰＩＣ１０２は、例えば、フォトリソグラフィによるパターニング、エッチング、イオン注入などを含む標準的なウェハ製造プロセスを使用して製造することができる。さらに、いくつかの実施形態では、異種材料プラットフォームと集積プロセスが使用される。例えば、フォトニックチャネルで使用されるレーザー光源及び／又は光変調器及び光検出器などの様々なアクティブフォトニックコンポーネントは、ＩＩＩ－Ｖ族半導体コンポーネントを使用して実装され得る。
【0021】
レーザー光源は、ＳＩＰ１００内又は外部に実装することができる。外部に実装する場合、ＳＩＰ１００への接続は光学的に行うことができ、例えば、図１Ｃに示すように、ＦＡＵ１３２の下のＰＩＣにグレーティングカプラを使用するか、又は、エッジカプラを使用することができる。ＳＩＰ１００にレーザーを実装するには、ＰＩＣ１０２とともにパッケージ化され、エッジ結合される複数のレーザーを含むインターポーザーを使用することが１つの選択肢である。また、異種集積又は均質集積を使用して、レーザーをＰＩＣ１０２に直接集積することもできる。均質集積では、ＰＩＣ１０２の導波路が形成されたシリコン基板にレーザーを直接実装することができ、例えばリン化インジウム（ＩｎＰ）などの異なる材料のレーザーや、例えば量子ドットレーザーなどのアーキテクチャのレーザーを実現できる。ＰＩＣ１０２上のレーザーの異種アセンブリにより、ＩＩＩ－Ｖ族半導体又は他の材料をＰＩＣ１０２上に精密に取り付け、ＰＩＣ１０２上に実装された導波路に光学的に結合させることができる。
【0022】
それぞれが独自のエレクトロフォトニックネットワーク１３０を含む複数のＳＩＰ１００を相互接続して、より大きなエレクトロフォトニックネットワークを提供する単一のシステムを構成してもよい。例えば、ＭＬプロセッサとして構成された複数のＳＩＰを相互接続して、より大きなＭＬアクセラレータを形成することができる。複数のＳＩＰ又はＭＬプロセッサ内のフォトニックチャネルは、光接続、レーザー光源、受動光コンポーネント、及びＰＣＢ上の外部光ファイバーとともに、他のフォトニック要素と共に様々な組み合わせ及び構成で利用され得、マルチＳＩＰシステム又はマルチＭＬプロセッサアクセラレータのフォトニックファブリックを形成する。
【0023】
図２Ａは、いくつかの実施形態による、図１Ａと図１ＢのＳＩＰ１００のメッセージルータ１１０を含む例示的な電子処理要素１０４を示す図である。図２Ａは、特に、メッセージルータ１１０と、ＰＩＣ１０２の双方向フォトニックチャネルとのインターフェースについてより詳細に説明する。各双方向フォトニックチャネルは、各方向の一方向フォトニックリンクを含み、各一方向リンクは、ＰＩＣ１０２の光導波路を使用して実装される。
【0024】
ある実装では、パケットデータを含むメッセージは、ＰＩＣ１０２のフォトニックチャネルを通って到着し、ＰＩＣ１０２とルータ１１０との間の光－電気（ＯＥ）インターフェースで受信される。ＯＥインターフェースは、例えば、光信号を電子信号に変換するためのＰＩＣ１０２の光検出器（例えば、フォトダイオード）によって、ルータ１１０の関連する電子回路２００（例えば、トランスインピーダンス増幅器（ＴＩＡ）、信号レベルを正規化するための任意の利得制御器、及びビットストリームを抽出するためのスライサを含み得る）と連携して実装され得る。メッセージはその後、「先入れ先出し」（ＦＩＦＯ）レジスタ２０２などのレジスタに電子形式でバッファリングされる。
【0025】
電子メッセージルータ１１０は、メッセージヘッダ（又は代替実施形態では、メッセージペイロード）に含まれるアドレスを調べ、メッセージがどのポート及びどの送信先にルーティングされるべきかを決定する回路を含む。例えば、送信先がエレクトロフォトニックネットワーク内の別の処理要素（タイル）である場合、メッセージは、ルータ１１０とＰＩＣ１０２との間の電気－光（ＥＯ）インターフェースを介してその送信先タイルにルーティングされ得、ここで、メッセージは、別のフォトニックチャネルを介して、伝送のために光領域に再度変換される。ＥＯインターフェースは、例えば、ルータにおいて関連するドライバ回路（本明細書では「変調器ドライバ」ともいう）２０４と連携して、ＰＩＣ１０２内の光変調器を使用して実装されてもよい。適用可能な変調器技術の非限定的な例には、電界吸収型変調器（ＥＡＭ）、マッハツェンダー変調器、リング変調器、及び量子閉じ込めシュタルク効果電界吸収型変調器（ＱＣＣＥ ＥＡＭ）が含まれる。一方、電子メッセージルータ１１０が、メッセージの送信先がルータ１００自身の常駐するタイルメモリ（例えば、Ｌ１ＳＲＡＭ１１２又はＬ２ＳＲＡＭ１１４）、ＤＮＮ１０６、又はテンソルエンジン１０８であると判断した場合、メッセージはローカルポート２０６にルーティングされる。
【0026】
メッセージルータ１１０と、ＰＩＣ側フォトダイオードに関連するＴＩＡ及びその他の回路（まとめて２００）及びＰＩＣ側光変調器に関連するドライバ回路などの所定の双方向フォトニックチャネルのリンク（両方向）との間のＯＥ及びＥＯインターフェースのＥＩＣ側部分２００、２０４は、本明細書では、まとめて、ルータ１１０の「フォトニックチャネルインターフェース」と呼ばれる。図２Ａは、１つのフォトニックチャネルインターフェースのみを図示しているが、各ルータ１１０は、一般に、複数のそれぞれのフォトニックチャネルに結合するための複数のそのようなインターフェースを含む。
【0027】
図２Ｂは、いくつかの実施形態による、エレクトロフォトニックネットワーク（例えば、図１Ｂに示すネットワーク１３０など）におけるメッセージルータ１１０及びフォトニックチャネル２１０の構成例を示す図である。この例では、ルータ１１０（図１Ｂによると、
それらが一部をなす処理要素、又はタイル１０４のようなもの）は、２次元の、四辺形（より具体的には、長方形）のアレイ又はグリッドに配置され、いずれかの次元（例えば、図２Ｂにおいて水平方向又は垂直方向）で互いにすぐ隣にある任意の２つのタイルのルータ１１０は、双方向チャネル２１０によって接続される。したがって、アレイの内部の各ルータ１１０は、「北」、「東」、「南」、及び「西」と呼ぶことができる４つの方向のそれぞれに対して１つずつ、４つのそれぞれの双方向フォトニックチャネル２１０に対する４つのフォトニックチャネルインターフェース２１２を含む。アレイの周縁に沿って、ルータ１１０は、２つ（角部）又は３つ（角部間の端部）のフォトニックチャネルインターフェース２１２を有するだけでよい。しかしながら、示されるように、周辺部に沿ったルータ１１０は、例えば、製造を単純化するために全てのタイル１０４に対して同じ回路設計を使用する結果として、任意選択で、４つのフォトニックチャネルインターフェースを備えることもできる。さらに、いくつかの実施形態では、アレイの周辺部に沿ったフォトニックチャネルインターフェースのチップ間接続を確立するために使用されてもよい。
それらが一部をなす処理要素、又はタイル１０４のようなもの）は、２次元の、四辺形（より具体的には、長方形）のアレイ又はグリッドに配置され、いずれかの次元（例えば、図２Ｂにおいて水平方向又は垂直方向）で互いにすぐ隣にある任意の２つのタイルのルータ１１０は、双方向チャネル２１０によって接続される。したがって、アレイの内部の各ルータ１１０は、「北」、「東」、「南」、及び「西」と呼ぶことができる４つの方向のそれぞれに対して１つずつ、４つのそれぞれの双方向フォトニックチャネル２１０に対する４つのフォトニックチャネルインターフェース２１２を含む。アレイの周縁に沿って、ルータ１１０は、２つ（角部）又は３つ（角部間の端部）のフォトニックチャネルインターフェース２１２を有するだけでよい。しかしながら、示されるように、周辺部に沿ったルータ１１０は、例えば、製造を単純化するために全てのタイル１０４に対して同じ回路設計を使用する結果として、任意選択で、４つのフォトニックチャネルインターフェースを備えることもできる。さらに、いくつかの実施形態では、アレイの周辺部に沿ったフォトニックチャネルインターフェースのチップ間接続を確立するために使用されてもよい。
【0028】
電子メッセージルータ１１０は、様々なアドレス指定方式を使用してメッセージを送信先アドレスにルーティングするために使用することができる。アドレス指定方式にかかわらず、タイルからタイルへのメッセージは、ＥＩＣ１０１上の電気的相互接続を介するのとは対照的に、ＰＩＣ１０２内の（パスに沿った各ルータでの光－電気変換及び電気－光変換を伴う）フォトニックチャネルを介して、主として又は排他的に、エレクトロフォトニックネットワークを通じて転送され得る。ある実装では、（例えば、メッセージのヘッダ又は代替的にペイロードから抽出される）電子署名付き５ビットのパケットデータは、送信先タイルに対する水平方向（東／西）の相対位置（又は距離）を提供し、別の電子署名付き５ビットのパケットデータは、送信先タイルに対する垂直方向（南／西）の相対位置（又は距離）を提供する。もちろん、異なるサイズ（ビット数）のパケットデータも、例えばタイルの数やアドレス空間のサイズに応じて使用することができる。メッセージが異なるタイルのルータ１１０をトラバースするとき、メッセージがどの次元に沿って転送されるかに応じて、水平座標又は垂直座標のいずれかが各ホップについてデクリメントされる。送信先タイルへの方向を提供する５ビットパケットデータの両方がゼロになると、メッセージは送信先タイルに到着し、処理のためにそのタイルのルータのローカルポート２０６に転送される。場合によっては、メッセージはタイル間でメモリトランザクションの読み書きを行うために使用される。
【0029】
タイル間でデータを伝送するパスは、例えばＰＩＣ１０２上の光導波路によって実装される光パスであるが、パス設定パケットデータは、メッセージルータ１１０によって使用されるために電子形式で提供されてもよい。さらに、同一タイルのメッセージルーティングの場合であっても、パス設定パケットデータは、光パス又は電気パスのいずれかであり得るパスを決定するために使用されてもよい。このように、様々な実施形態は、ハイブリッドアプローチを採用しており、ハイブリッドな電気光学ネットワークオンチップ（ＥＰ－ＮｏＣ）アーキテクチャにおいて、エレクトロニクス素子とフォトニクス素子の両方が、送信先を決定し、配信パスを設定し、送信先にメッセージを配信するために使用される。
【0030】
上述のようなエレクトロフォトニックネットワークを有するＳＩＰは、ニューラルネットワークのようなＭＬモデルの効率的な実行に適している。ニューラルネットワークは、一般に、入力層、１つ以上の隠れ層、及び出力層を含む層に編成された複数のノード（本明細書では、エレクトロフォトニックネットワークのノードと区別するために「ニューラルノード」とも呼ぶ）を含む。隠れ層及び出力層において、各ニューラルノードは、重みのセット及び別のノード（例えば、前の層のノード）からの入力活性値を入力として有し、ＭＬモデルにしたがって所定の方法で重み及び活性値を結合し、出力活性値を得る伝達関数を実装する計算ユニットである。
【0031】
データは、ＭＬモデルのノード間を決定論的に流れる。さらに、モデルの調整可能なパラメータであるノードに関連する重みは、一般にモデルの学習中に決定され、学習されたモデルが入力を得て出力を生成する推論計算中は固定されたままである。本明細書で説明するＭＬプロセッサ又はＭＬアクセラレータ上でＭＬモデルを実行する場合、これらの特性は、処理要素１０４へのニューラルノードの固定割り当てを介してＭＬモデルをエレクトロフォトニックネットワークにマッピングし、関連する所定の重みを処理要素（タイル）１０４のメモリにプリロードすることによって、データの移動を最小限に抑えることを可能にする。一般に、ＭＬモデルがＭＬプロセッサ１００又はＭＬアクセラレータの複数のタイル１０４に分散される場合、各タイル１０４は、複数のニューラルノード、１つのニューラルノード、又は並列化されて複数のタイル１０４に分散されたニューラルノードの一部を実行することができる。いくつかの例では、ＭＬモデルの各層は複数のタイル１０４によって実装され、各タイル１０４は１つ又は複数のニューラルノードを実装する。
【0032】
いくつかの実施形態では、重みは、ＭＬプロセッサ１００又はＭＬアクセラレータによる推論動作の初期化中に一度だけ、割り当てられたタイル１０４のメモリ（例えば、Ｌ２ＳＲＡＭ１１４）にロードされ、その後、重みはタイルからタイルへ移動されない。重みは、ＰＣＩＥ１２２を介してＭＬプロセッサ１００の外部のデバイス（例えば、メモリ）からロードされてもよい。ある実装では、ＰＣＩＥ１２２は、ＰＣＩＥ１２２に最も近いタイル１０４を介してＭＬプロセッサのエレクトロフォトニックネットワーク１３０にアクセスし、エレクトロフォトニックネットワークを通る（例えば、所定の）パスに沿ってタイルからタイルへ、各重みをそれぞれの送信先タイル１０４へ光転送する。他の実施態様では、ＭＬプロセッサ１００の初期化中に、ＰＩＣ１０２上に位置するフォトニックチャネルの代わりに、タイル１０４間のＥＩＣ１０１上に存在する電子接続が、重みを各送信先タイル１０４に転送するために利用される。ＰＣＩＥインターフェース１２２を介して提供される重みの転送が主に光通信で行われるか電子的に行われるかにかかわらず、各Ｌ２ＳＲＡＭ１１４への転送及びロードは１回のみ実行される。そのため、重みが各タイル１０４のＬ２ＳＲＡＭ１１４に静止したままであるという点で、電力が大幅に節約される。
【0033】
ニューラルノードに関連付けられた重みを、ニューラルノードに割り当てられたそれぞれのタイル１０４のＬ２ＳＲＡＭ１１４に格納することによって、ＭＬモデルがＭＬプロセッサにプリロードされると、Ｌ２ＳＲＡＭ１１４に格納された重みを使用して、ニューラルノード間の活性値をストリーミングし、ストリーミングされた活性値に対して計算を実行することによって、ＭＬモデルを実行することができる。入力活性値は、ＭＬモデルのニューラルノードに割り当てられたすべてのタイル１０４にストリーミングされる。これらのタイル１０４内の処理エンジン（例えば、ＤＮＮ１０６とテンソルエンジン１０８）は、入力された活性値とプリロードされた重みを演算して、ニューラルノードの出力活性値を計算する。例えば、ＤＮＮ１０６はＭＡＣ演算を実行し、テンソルエンジン１０８はＭＡＣ演算の結果を演算する非線形活性化関数を実装してもよいが、各タイル１０４の１つ又は複数の処理エンジン間の計算の他の配分も可能である。所与のニューラルノードに対してタイル１０４で生成された出力活性値は、次に、ＭＬモデルの（例えば、ニューラルネットワークの次の層内の）次のノードを実装するタイル１０４に、その入力活性値として送られる。同じタイル１０４に実装されたニューラルノード間を流れる活性値は、そのタイルのメモリを介して交換され、一方、タイル１０４間を移動する活性値は、フォトニックファブリックを介して送信される。各ニューラルノードがエレクトロフォトニックネットワークの１つのタイル１０４によって実装される実施形態では、タイルネットワークトポロジーは、ＭＬモデル（又はＭＬグラフトポロジー）を緻密にミラーリングする。
【0034】
活性値が送信元タイルからエレクトロフォトニックネットワークを介して送信先タイルにストリーミングされるとき、各出力活性値の送信先タイルのアドレスは、一般に、例えばＭＬモデルの初期化中に設定されたパスにしたがって、その活性値の送信元タイルの電子メッセージルータ１１０によって決定される。アドレスは、出力活性値をペイロードとして伝送するメッセージの一部としてパケットデータとして提供されてもよい。ある実装では、アドレスはメッセージのヘッダにあり、別の実装では、アドレスはメッセージ自体に（ペイロードの一部として）エンコードされる。メッセージに含まれるアドレスは、出力活性値を送信先タイルにルーティングするために、エレクトロフォトニックネットワークを通るパスに沿ったメッセージルータによって使用される。いくつかの実施形態では、上述したように、相対アドレス指定スキームが採用される。
【0035】
典型的なＭＬモデルでは、重みの数は活性値の数よりはるかに多い。現在のＭＬのワークロードでは、重みの数と活性値の数の比率は、約２０対１から約６０対１の範囲にあることが多い。したがって、重みを静止させることにより、活性値がタイルからタイルへストリーミングされるとしても、相当量のエネルギーが節約される。さらに、いくつかの有益な実施形態では、Ｌ２ＳＲＡＭ１１４は、ＤＮＮ１０６及びテンソルエンジン１０８に物理的に近接して配置され、これにより、各タイル内で重みが局所的に移動する相互接続距離が短縮され、したがって、関連する相互接続長に関連するキャパシタンスが低減され、そのような相互接続キャパシタンスに関連するエネルギー損失が低減される。さらに、上記の説明から、あるタイルの送信元ノードから別のタイルの送信先ノードへ、例えば比較的長い距離にわたってストリーミングされる活性値は、主にＰＩＣ１０２によって提供される光パスを介して横断する一方、同じタイル内で、例えば比較的短い距離にわたって流れる活性値は、ＥＩＣ１０１によって提供される電気パスを使用することが明らかである。このようにして、長距離データ移動のための電気的相互接続への依存が実質的に排除され、電気的相互接続キャパシタンスに関連して消費されるエネルギーが大幅に低減される。換言すれば、タイルからタイルへの活性値を光通信でストリーミングすることによって、大幅な電力節約が達成され得る。まとめると、本明細書で説明するようなＭＬプロセッサ又はＭＬアクセラレータを使用すると、データ移動が部分的に最小化され（重みの場合）、光通信を介した電力効率の高いタイル間データ転送に部分的に依存する（活性値の場合）。省電力という利点に加え、データ転送にフォトニックファブリックを使用することで、待ち時間（レイテンシー）を短縮し、より高い帯域幅を提供することができる。
【0036】
図３は、いくつかの実施形態による、図２Ａに示されるような電子処理要素１０４内で使用され得るようなテンソルエンジン１０８の例を示す図である。各テンソルエンジン１０８は、例えば、ＳＩＰ１００によって実装される特定の機械学習モデルの推論計算の一部を実行するように割り当てられ、ＭＬプロセッサとして機能することができる。ＭＬプロセッサ１００の異なる処理要素１０４のテンソルエンジン１０８は、機械学習タスクを並列処理又は逐次処理で実行することができる。ＭＬプロセッサのＭＬ計算は、１つ以上のテンソルエンジン１０８で実行され、テンソルエンジン間のデータフローを形成することができる。
【0037】
テンソルエンジン１０８については、本願の範囲から逸脱することなく、様々な形で実装することができる。一例では、図３に示すように、テンソルエンジン１０８は、命令シーケンサ３００、レジスタバンク３０２、マルチプレクサ３０４、Ｒａレジスタ３０６、Ｒｂレジスタ３０８、算術論理演算ユニット（ＡＬＵ）３１０、加算器３１２、及びＲｇレジスタ３１４を含む。テンソルエンジン１０８は、命令シーケンサ３００を使用して、当技術分野で知られている方法でレジスタ書き込み動作、累積動作、レジスタ読み出し動作を実行する。例えば、テンソルエンジン１０８は２つの値をＲａレジスタ３０６とＲｂレジスタ３０８に書き込み、ＡＬＵ３１０の助けを借りてそれらを累積し、その結果をＲｇレジスタ３１４に保存することができる。その後、さらに２つの値がＲａレジスタ３０６及びＲｂレジスタ３０８に書き込まれ、ＡＬＵ３１０の助けを借りて累積され、ＡＬＵ３１０から読み出され、Ｒｇレジスタ３１４内の前の内容に加算され、Ｒｇレジスタ３１４に書き込まれる。このルーチンは、テンソルエンジン１０８の各出力レジスタから３２ビットの出力を生成するために、例えば最大３２回まで再び繰り返されてもよい。
【0038】
テンソルエンジン１０８は、いくつかの実施形態では、シングルインストラクション・マルチプルデータ（ＳＩＭＤ）プロセッサであり、そこで使用される命令セットは機械学習アルゴリズムの実行という目的に合うように設計されてもよい。異なるテンソルエンジン１０８間のデータ移動は、電子的に又は光通信で行うことができるが、好ましい実装では、異なる処理要素１０４内のテンソルエンジン１０８間のデータ移動は光通信で行われ、同じテンソルエンジン１０８内のデータ移動は電子的に行われる。テンソルエンジンはメッセージルータ１１０のローカルポート２０６へのインターフェースを含み、ＰＩＣ１０２との通信を可能にする。
【0039】
図４は、いくつかの実施形態による、図２Ａに示されるような電子処理要素１０４内で使用され得るような例示的なＤＮＮ１０６を示す図である。図４の例示的なＤＮＮは、ＳＩＰ１００のＤＮＮ１０６に関して説明されているが、いくつかの実施形態では、図示されたＤＮＮは、他の環境で実装されるハードウェアの一部を形成することができる（例えば、他のタイプのプロセッサの構成要素として）。本明細書で使用されるように、ＤＮＮは、ニューラル計算エンジン（ＮＣＥ）又はドット積エンジンとも呼ばれ得る。実施形態によっては、ＤＮＮは、少なくとも２つのベクトルに基づいて１つ又は複数のドット積（例えば、ドット積値）を生成する（例えば、計算する）ように構成されたハードウェア回路の１つ又は複数の部分によって実装することができる。例えば、少なくとも２つのベクトルは、重み値及びオペランド値（例えば、活性値）のセットから構築することができる。
【0040】
次に図４を参照すると、ＳＩＰ（例えば、ＭＬプロセッサ）１００のＥＩＣ１０１に位置するＤＮＮ１０６の一部の実施形態が示されている。ＤＮＮ１０６は、基本的に、乗算器と加算器の組合せツリーであり、いかなる動作中もデータをラッチすることなく、重みとオペランド（例えば、前のノードからの活性値）のセットのドット積をハードウェアで計算する。このように、ＤＮＮ１０６は、レジスタの数が非常に少なく、レジスタ転送動作を実行することなく、データをラッチすることなく、特定の所定のルーチンのみを実行することに特化することによって、消費電力を大幅に低減する。ＤＮＮ１０６では、予めロードされた重みがＬ２ＳＲＡＭ１１４からフェッチされ、ＤＮＮシーケンサ４００が重み（例えば、重み値）とオペランド（例えば、オペランド値）を組合せツリーの先頭に供給する。例えば、図４に示すように、重みＷ１、Ｗ２、Ｗ３、Ｗ４がツリーの先頭に提供される。オペランド（例えば、前のノードからの活性値）Ｘ１、Ｘ２、Ｘ３、Ｘ４もツリーのトップに提供される。
【0041】
いくつかの実施形態では、各重みＷ１、Ｗ２、Ｗ３、Ｗ４と、各オペランドＸ１、Ｘ２、Ｘ３、Ｘ４とは、８ビットで構成される。重みＷ１、Ｗ２、Ｗ３、Ｗ４は、それぞれのオペランドＸ１、Ｘ２、Ｘ３、Ｘ４と乗算される。各演算の結果は１６ビットの積となる。図４に示すように、２つの１６ビット積が加算されて１７ビットの和が形成される。次のレベルでは、２つの１７ビット積が加算され、１８ビットの和となり、さらに次のレベルの加算が行われる。計算されたドット積は３２ビットのアキュムレータに加算されるので、精度を落とすことなく一連のドット積を累積することができる。組合せツリーのパイプライン実装は、組合せツリーを流れるデータのタイミングを再調整するように構築することができる。いくつかの実施形態では、７つのパイプラインステージが使用される。上述したように、ＤＮＮ１０６はドット積計算中に電力を大幅に節約する。比較のために、７ｎｍのＣＭＯＳ ＦｉｎＦＥＴを使用すると、図３のテンソルエンジン１０８によって実行される単一のドット積計算には、約２５０フェムトジュール（２５０ｆＪ）のエネルギーが消費される可能性がある。対照的に、図４のＤＮＮ１０６によって実行される１回のドット積計算には、約１３０フェムトジュール（１３０ｆＪ）のエネルギーしか消費されない可能性がある。
【0042】
ＤＮＮの様々な実施形態に関する詳細が、図１２に関して図示され、説明される。
【0043】
図５Ａは、いくつかの実施形態による、エレクトロフォトニックネットワークのフォトニックコンポーネントとエレクトロニックコンポーネントの実装例を側面図で示す図である。ＥＩＣ（例えば、ＡＳＩＣA）１０１は、ＰＩＣ１０２の上に位置するように示されている。ＥＩＣ１０１内の複数のタイル（処理要素）１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄが、その下のＰＩＣ１０２内の導波路５００ＡＢ、５００ＢＣ、５００ＣＤを使用して実装された、タイルの隣接するペア間の光リンクとともに示されている。また、タイル及びその間の光リンクに関連するＥＯ及びＯＥインターフェース・コンポーネントも示されている。示されるように、ＥＯインターフェース・コンポーネントは、ＥＩＣタイル１０４Ａ、１０４Ｂ、１０４Ｃにそれぞれ位置する変調器ドライバ５０２Ａ、５０２Ｂ、５０２Ｃを含み、それぞれの変調器ドライバ５０２Ａ、５０２Ｂ、５０２Ｃの直下のＰＩＣ１０２に位置する変調器（例えば、ＥＡＭ）５０４Ａ、５０４Ｂ、５０４Ｃも含む。ＯＥインターフェース・コンポーネントは、ＥＩＣタイル１０４Ｂ、１０４Ｃ、１０４Ｄにそれぞれ位置するＴＩＡ５０６Ｂ、５０６Ｃ、５０６Ｄを含み、それぞれのＴＩＡ５０６Ｂ、５０６Ｃ、５０６Ｄの直下のＰＩＣ１０２に位置する光検出器（ＰＤ）５０８Ｂ、５０８Ｃ、５０８Ｄも含む。光導波路５００ＡＢ、５００ＢＣ、５００ＣＤはそれぞれ、１つのタイルに関連する光変調器５０４Ａ、５０４Ｂ、５０４Ｃと、隣接するタイルに関連する光検出器５０８Ｂ、５０８Ｃ、５０８Ｄとを接続し、それにより、ＭＬプロセッサ１００内のタイルのそれぞれのペア間のチップ内通信のための光リンクをＰＩＣ１０２内に提供する。
【0044】
（例えば、変調器ドライバを変調器の真上に配置し、ＴＩＡを光検出器の真上に配置することによって）ＥＯインターフェース及びＯＥインターフェースのＰＩＣ側コンポーネントとＥＩＣ側コンポーネントとの間の横方向のずれを回避することは、各インターフェースのコンポーネント間の距離を最小にする。いくつかの実施形態では、変調器とその関連ドライバとの間の距離、及び、光検出器とその関連ＴＩＡとの間の距離は、電気ドメインと光ドメインとの間の信号変換速度、及びその逆が最大化されるように最小化される。一般的に、間隔は２００μｍ以下であるが、実施形態の性質、ＯＥ及びＥＯインターフェース・コンポーネントの構成、システムの要求及びアーキテクチャ、システムの温度などに応じて変化し得る。一実施形態では、ＰＩＣ側コンポーネントとＥＩＣ側コンポーネントとを密接に関連させて配置することは、ＰＩＣ側コンポーネントに対して有益な熱特性を有する。ＥＩＣ側はヒートシンクであり、ＰＩＣ側コンポーネントに向けて熱を放射することができるため、このことは逆に、付加された熱によるＰＩＣ側のコンポーネントの熱的安定性の増加を引き起こす可能性がある。ＰＩＣ側コンポーネントとＥＩＣ側コンポーネントとの間の距離を最小化することは、ひいては、光ドメインと電気ドメインとの間の信号変換のための電力消費を最小化し、これは、本明細書に記載されるようなハイブリッドなエレクトロフォトニックネットワークを介したデータ移動の全体的な電力効率にとって重要である。さらに、いくつかの例では、ＰＩＣ上のＥＡＭの直上に配置されるか、又はＥＡＭに近接して配置されるＥＩＣ内のコンポーネント（変調器ドライバ又は他の機能ブロックなど）から発生する熱がある場合に有益である。このシナリオでは、ＥＩＣ側から放射される熱は、ＥＡＭの動作温度を上昇させるか、さもなければ熱安定性を強化した形で促進し、及び／又はＥＡＭをピーク効率に近づけるか、最適な動作範囲に近づけることができる。
【0045】
また、図５Ａには、ＳＩＰ（又はＭＬプロセッサ）１００と他のデバイスとの間の光ファイバー接続を確立するために使用され得る光結合構造が示されている。光ファイバーは、エッジ結合を用いてＰＩＣ１０２に結合されてもよい。あるいは、図５Ａに描かれているように、光ファイバー１３３は、ＦＡＵ１３２を介してＰＩＣ１０２に取り付けられてもよく、光は、ＦＡＵ１３２の直下のＰＩＣ１０２に形成されたグレーティングカプラ５２０を使用して、ＦＡＵ１３２ＦとＰＩＣ１０２との間で結合されてもよい。光ファイバー１３３は、ＰＩＣ１０２に光入力を提供するオフチップレーザー光源、又は別のＳＩＰ（ＭＬプロセッサ）のＦＡＵに接続されてもよい。そして、グレーティングカプラ５２０を介して受光された光は、光導波路を介してＰＩＣ１０２内の変調器５０６Ａ、５０６Ｂ、５０６Ｃに供給され得る。図５Ａの断面図では、ＥＡＭ５０６Ａへの導波路５２２のみが見えるが、図５Ｂの上面図では、グレーティングカプラ５２０と、ＥＡＭ５０６Ｂと５０６Ｃを含むすべてのＥＡＭとの間の光接続が見える。
【0046】
図５Ｂは、いくつかの実施形態による、図５Ａの例示的なエレクトロフォトニックネットワークのＰＩＣ１０２を上面図で示す図である。ＰＩＣ１０２に対するＥＩＣ１０１のタイルの位置は、破線によって示されている。隣接するタイルの各対のために（それらが水平方向に隣接しているか垂直方向に隣接しているかにかかわらず）、ＰＩＣ１０２は、それぞれが光変調器（フォトニックリンクの入力端を規定する）、光検出器（フォトニックリンクの出力端を規定する）、及び変調器を光検出器に直接接続する導波路を含む、２つの一方向フォトニックリンクを提供する。例えば、導波路５００ＡＢは、タイル１０４Ａに関連する変調器５０４Ａを、タイル１０４Ｂに関連する光検出器５０８Ｂに接続する。任意のタイルのペア間の２つのフォトニックリンクは、反対方向に配向され、集合的に、これにしたがって双方向フォトニックチャネルを形成する。図１Ｂには、各方向の一方向フォトニックリンクが１つだけ示されているが、フォトニックチャネルは、チャネルを横切るデータ転送のための帯域幅を増大させるために、一般に、各方向の複数のリンクを含んでもよい（例えば、一緒に結合グループを形成してもよい）ことに留意されたい。タイル内（より具体的には、タイル内のルータ）で、ＰＩＣ内のある双方向フォトニックチャネルへのフォトニックチャネルインターフェースは、その双方向チャネルの各出側フォトニックリンク（ルータがリンクの入力端でインターフェース接続する）用の光ドライバと、その双方向フォトニックチャネルの各入側フォトニックリンク（ルータがリンクの出力端でインターフェース接続する）用のＴＩＡ（及び関連回路）とを含む。
【0047】
ＰＩＣ１０２は、レーザー光源から光キャリア信号を受信する。いくつかの実施形態（図示せず）では、光源はＰＩＣに内蔵される。他の実施形態では、光源はＰＩＣの外部に実装され、例えばエッジ結合を介して、又はＰＩＣ内のＦＡＵ１３２及びグレーティングカプラに接続された光ファイバーを介して、ＰＩＣに光を供給する。ＦＡＵ１３２及びグレーティングカプラ、又はＰＩＣへの他の任意の入力点から、１つ又は複数の光入力導波路がキャリア信号を双方向フォトニックチャネルの光変調器に導き、そこでキャリア信号が変調されて、フォトニックチャネルを介した伝送のために光信号にそれぞれのメッセージが付与される。いくつかの実施形態では、示されているように、キャリア信号は、光スプリッタ５３０によって、複数の光入力導波路、例えば、ＥＩＣのタイルの各列に対して北、東、西、南に向けられたフォトニックリンクに対してそれぞれ１つの導波路の間で分割される。各入力導波路に沿って、追加のスプリッタが、異なる変調器に入力される光を連続的に分岐することができる。例えば、描かれているように、導波路５３２は、キャリア信号をタイル１０４Ａのスプリッタ５３４Ａに供給し、光は、そのタイルの変調器５０４Ａへの光パスの間で分岐され、別の光パスは、導波路５３２の続きを通って光をタイル１０４Ｂのスプリッタ５３４Ｂに導く。タイル１０４Ｂのスプリッタ５３４Ｂから、キャリア光は、１つの光パスに沿ってタイル１０４Ｂの変調器５０４Ｂに供給され、別の光パスに沿って導波路５３２のさらなる続きを通ってタイル１０４Ｃの変調器５０４Ｃに供給される。
【0048】
図５Ａ及び５Ｂに示すように、１つの実装では、タイル間通信のすべて又は大部分、例えば第１のタイル内の第１のノードから第２のタイル内の第２のノードへの活性値のストリーミングは、ＥＩＣ１０１上のそれぞれの変調器ドライバ及びＴＩＡの直下に配置されるＰＩＣ１０２内の変調器（例えば、ＥＡＭ）及び光検出器を採用することによって、ＰＩＣ１０２内のフォトニックチャネルを使用して実行される。変調器とＰＤは、例えばＰＩＣ１０２内の導波路によって光学的に接続される。したがって、１つの実装では、タイル間通信のすべて又は大部分は、ＥＩＣ１０１内で電気的に実行されず、ＰＩＣ１０２によって提供されるフォトニックファブリックを使用して光学的に実行される。
【0049】
上述のように、本明細書で説明する複数のＳＩＰのエレクトロフォトニックネットワークは、ＰＩＣ上の光カプラと、異なるＳＩＰの光カプラ間の光伝送媒体とを介して、より大きなエレクトロフォトニックネットワークに接続することができる。伝送媒体は、マルチファイバーターミナルプッシュオン（ＭＴＰ）リボンファイバー接続（最大２０メートル）などの光ファイバーであってもよい。他の伝送媒体も可能であり、例えば、集積光導波路（例えば、ＳＩＰ間の光相互接続構造を提供するように構成された別個のＰＩＣ内）又は自由空間伝送（例えば、あるＰＩＣの出力から別のＰＩＣの入力に光を結合するために結像光学系を採用すること）が挙げられる。光を捕捉するためにグレーティングカプラが使用される場合、グレーティングカプラは、光の損失を最小化するように、ファイバーの角度に関連する予め規定された角度で光がＰＩＣから出るように構成され得る。他の実施形態では、エシェル回折格子などの回折格子を含む様々なタイプの導波路が可能である。このようなマルチパッケージシステム内のすべてのＥＩＣのタイル間のメッセージは、メッセージがオンチップ／イントラチップ（単一のＳＩＰ内を意味する）又はオフチップ／インターチップ（１つのＳＩＰ内のタイルから別のＳＩＰ内のタイルへを意味する）のいずれかで送信されるかにかかわらず、ＰＩＣ及びその間の光相互接続によって実装されるフォトニックファブリックを介して交換され得る。しかし、本明細書に記載される様々な実施形態によれば、オンチップ及びチップ間光通信は、オンチップ通信が一般的に単一波長光を使用して実行されるのに対し、大規模システム内の異なるＳＩＰ（例えば、ＭＬアクセラレータ内の異なるＭＬプロセッサ）間のチップ間通信は、異なるチップ（例えば、異なるＭＬプロセッサ）間で必要とされるファイバー接続の数を低減するのに役立つ波長分割多重（ＷＤＭ）を使用して実行されることが多いという点で異なる場合がある。一部の実施形態では、複数の波長もオンチップ光通信に使用され、逆に、単一波長通信も、原理的には、オフチップ通信に使用され得ることに留意されたい。
【0050】
図６Ａは、いくつかの実施形態による、ＳＩＰ内の２つの処理要素を接続するフォトニックリンク群の一例を示す図である。チップ内光通信のために、オンチップ又はオフチップレーザー光源であり得る光エンジン６００は、単一波長λａ１でキャリア光を出力する。スプリッタツリー６０２は、波長λａ１を有する光を、異なるタイル及びフォトニックチャネルに関連する変調器につながる複数の光パス６０４（１つのみが示されている）の間で分割することができる。これらのパス６０４のそれぞれに沿って、光は、ＳＩＰの１つのタイルから別のタイルへの一方向フォトニックチャネルに対応する、結合グループを形成するように一緒に結合された同じ方向の一方向フォトニックリンクのグループに関連する変調器６１０、６１２、６１４、６１６のグループの間でさらに分割されることができる。変調器６１０、６１２、６１４、６１６（例えば、ＥＡＭ）は、単一波長λａ１を有する光を変調し、変調された光をそれぞれの導波路６２０、６２２、６２４、６２６を介して、同じチップの異なるタイルに位置する光検出器６３０、６３２、６３４、６３６に伝送する。
【0051】
図６Ｂは、いくつかの実施形態による、チップ間光通信にＷＤＭを使用する２つのＳＩＰ１００Ａ、１００Ｂのシステム例を示す図である。描かれている例では、ＳＩＰ１００Ａ、１００ＢのＰＩＣは、第１のＰＩＣのグレーティングカプラ６４０、第１の光ファイバー６４１、ファイバーコネクタ６４２、第２の光ファイバー６４３、及び第２のＰＩＣのグレーティングカプラ６４５を介して接続されている。第１のＳＩＰ１００Ａでは、オンチップ又はオフチップレーザー光源であり得る光エンジン６５０が、複数の波長（例えば、２～１６の波長）の光、例えば、図示のように４つの波長λｂ１、λｂ２、λｂ３、λｂ４をＰＩＣに供給する。スプリッタツリー６０２（例えば、図６Ａのものと同様）は、複数の波長における光を、ＳＩＰ１００Ａの異なるタイルに、及び／又はタイル内の異なるフォトニックチャネルインターフェースに関連付けられた光変調器に導く複数の光パス６５２（１つのみが示されている）の間で分割してもよい。例えば、波長λｂ１、λｂ２、λｂ３、λｂ４のキャリア光は、図２Ｂに示されるインターフェース２１４のような複数の周辺フォトニックチャネルインターフェースに関連する光変調器に供給されてもよい。
【0052】
これらのパス６５２のそれぞれに沿って、デマルチプレクサ６５４が、異なるそれぞれの変調器（例えば、ＥＡＭ）６６２、６６４、６６６、６６８の間で波長λｂ１、λｂ２、λｂ３、λｂ４を分離する。変調器６６２、６６４、６６６、６６８は、波長λｂ１、λｂ２、λｂ３、λｂ４でキャリア光を変調し、それぞれの波長λｂ１、λｂ２、λｂ３、λｂ４を有する変調された光信号を光リンク６７２Ａ、６７４Ａ、６７４Ａ、６７８Ａ上でＷＤＭマルチプレクサ６８０に供給する。それぞれが別々の波長λｂ１、λｂ２、λｂ３、λｂ４で符号化された４つのデータストリームを含むＷＤＭマルチプレクサ６８０の多重化出力は、単一の導波路上でグレーティングカプラ６４０に供給され、そこで多重化変調光信号がオフチップでファイバー６４１に結合される。
【0053】
ファイバーコネクタ６４２において、多重化変調光信号は、ファイバー６４１から第２のファイバー６４３に結合される。第２のファイバー６４３は、グレーティングカプラ６４５を介して多重化変調光信号を第２のＳＩＰ１００ＢのＰＩＣに結合する。いくつかの他の実施態様のエッジ側では、ＦＡＵ及びグレーティングカプラの代わりに、又はＦＡＵ及びグレーティングカプラに加えて、結合ファイバーが使用されてもよい。ＳＩＰ１００Ｂでは、次に、デマルチプレクサ６８２が多重化変調光信号をデマルチプレクスし、波長λｂ１、λｂ２、λｂ３、λｂ４を有する４つの別個の変調信号を出力する。これらの４つの信号は、それぞれの光導波路６７２Ｂ、６７４Ｂ、６７６Ｂ、６７８Ｂを介して、ＳＩＰ１００Ｂのフォトダイオード６９２、６９４、６９６、６９８に供給される。集合的に、ＳＩＰ１００ＡのＰＩＣ内の変調器６６２、６６４、６６６、６６８、導波路６７２Ａ、６７４Ａ、６７６Ａ、６７８Ａ、マルチプレクサ６８０、及びグレーティングカプラ６４０、ＳＩＰ１００Ａ、１００Ｂ間の光ファイバー接続（６４１、６４２、６４３）、及びＳＩＰ１００ＢのＰＩＣ内のグレーティングカプラ６４５、デマルチプレクサ６８２、導波路６７２Ｂ、６７４Ｂ、６７６Ｂ、６７８Ｂ、及び光検出器６９２、６９４、６９６、６９８は、異なるＳＩＰのタイル間の一方向フォトニックチャネルを形成する。ここで、ＳＩＰの同じペアのタイル間の２つのそのような一方向フォトニックチャネルは、チップ間双方向フォトニックチャネルを形成する。
【0054】
上述した実装は、一方向の４つの光リンクと、４つの異なる波長を受信するＷＤＭマルチプレクサとを示すフォトニックチャネルに向けられているが、他の実装では、２つ以上の光リンクと、２つ以上の異なる波長を受信するＷＤＭマルチプレクサとが使用されてもよい。それに応じて、デマルチプレクサは、これらの代替実装に対応する２つ以上の異なる波長を出力する。
【0055】
例えば、上述したような、一般に、方向ごとに１つ又は複数のリンクを含む、チップ内及びチップ間フォトニックチャネルを使用して、１つ又は複数のＳＩＰのＥＩＣ内の処理要素（タイル）を、エレクトロフォトニックネットワークに接続することができる。結果として生じるネットワークトポロジーは、一般に、関連するフォトニックチャネルを介して直接接続されるタイルのペアの選択に依存し、様々な例示的なトポロジーが、図７～９を参照して以下に説明される。本開示は一般に双方向フォトニックチャネルに言及しており、これは一方向フォトニックチャネルと比較して、ＭＬ及び他の計算モデルを実装するためのより高い柔軟性を提供するネットワーク構造をもたらすが、エレクトロフォトニックネットワークは原理的に一方向フォトニックチャネルでも形成することができ、そのようなネットワークは本明細書で議論される利点の多く（例えば、より長い距離にわたるフォトニックデータ転送による電力節約）を保持することができることに留意されたい。
【0056】
図７は、いくつかの実施形態による、四辺形メッシュトポロジーを有する例示的なエレクトロフォトニックネットワーク７００を示す図である。このトポロジーは、図１Ｂに描かれたＳＩＰ１００についても示されている。描かれている例では、ネットワークは、四辺形（例えば、図示されているように、長方形）グリッドに配置され、各タイルの出力がそのすぐ隣のタイルのいずれかに入力として提供され得るようにフォトニックチャネル７０２によって相互接続された１６個のタイル１０４（ネットワークノードを構成する）を含む。代替の実施態様において、他のネットワークトポロジーも、例えば、特定のアプリケーションの要求に基づいて、より密な又はより疎な接続性を提供するためにサポートされ得る。例えば、ネットワークノードをスキップし、隣接していないノード、すなわち矩形メッシュ内で２ホップ以上離れたノードへの直接パスを提供するために、追加のフォトニックチャネルを追加することができる。
【0057】
図８は、いくつかの実施形態による、ラップトロイダルメッシュトポロジーを有する例示的なエレクトロフォトニックネットワーク８００を示す図である。ネットワーク８００は、図７のネットワーク７００と同様に、矩形グリッドに配置された１６個のタイル１０４を含む。このトポロジーにおいては、各タイル１０４の出力が、フォトニックチャネル８０２を介して（図７のメッシュトポロジーの場合もそうであるように）そのすぐ隣のタイルのいずれかに入力として提供されることができるように、さらには、アレイの周縁部に沿った各タイルが、フォトニックチャネル８０４を介して、グリッドの反対側の端にあるタイル、すなわち、垂直の端に沿って配置されたタイルについては同じ行の遠くのタイルであって、水平の端に沿って配置されたタイルについては同じ列の遠くのタイルに、その出力を直接提供することができるように、タイル１０４間のフォトニックチャネル８０２、８０４が構成される。その結果、ラップトロイドは、ネットワークの反対側にあるタイル間の通信に必要なタイル間ホップの数を大幅に減らすという有益な効果をもたらす。例えば、フォトニックチャネル８０４がなければ、ネットワークの左端のタイルから右端のタイルに送信されるメッセージは、ネットワークのタイルの行全体を横断することになる。
【0058】
いくつかの実施形態では、ラップトロイダルトポロジーは、チップの端部の光リンクを、ファイバー取り付けユニットに適合するグレーティングカプラに、又は代替的に端部カプラに結合することによって物理的に実装され、リボンファイバーに組み立てられたファイバーのアレイのための接続を提供する。リボンファイバーは、パッチファイバーを用いて光リンクの任意のトポロジーを構築できるように設計することができる。パッチファイバーは、ＰＩＣの片側からの接続を反対側に向け（ラップ）して、ラップトロイダルを形成することを可能にする。光ファイバーを使用する代わりに、対向する端のタイルを接続するフォトニックチャンネル８０４をＰＩＣ内の光導波路として実装することも可能である。オプションとして、フォトニックチャネル８０４間の導波路交差を避けるために、同じ行の反対側の端のタイルを接続する導波路は、同じ列の反対側の端のタイルを接続する導波路とは別の層に実装されてもよい。
【0059】
図９は、いくつかの実施形態による、拡張可能なラップトロイダルメッシュトポロジーを有する例示的なエレクトロフォトニックネットワーク９００を示す図である。この場合、４つのＳＩＰ１００（例えば、４つのＭＬプロセッサを有するＭＬアクセラレータを実装する）は、それぞれがそのＥＩＣに矩形グリッドの１６個のタイル１０４を含み、それ自体が２×２グリッドに配置され、その結果、全体として８×８グリッドの６４個のタイル１０４が配置される。示されるように、この構成では、同じＳＩＰ１００内又は２つの隣接するＳＩＰ１００内のいずれかにある互いにすぐ隣接するタイル１０４は、フォトニックチャネル（例えば、チップ内フォトニックチャネル９０２についてはＰＩＣ内の導波路によって実装され、チップ間フォトニックチャネル９０４については光ファイバーによって実装される）によって接続される。さらに、８×８グリッドの周縁部に沿ったタイル１０４は、図８のトポロジーと同様に、ラップトロイドとして（チップ間フォトニックチャネル９０６によって）相互接続され、８×８グリッドの端部に位置する１つのＳＩＰ１００の各タイル１０４の出力が、グリッドの反対側の端部に位置する別のＳＩＰ１００のタイルへの入力として提供され得るようにする。有益なことに、チップ間フォトニックチャネル９０４、９０６は、全てのＳＩＰ１００のタイル１０４をより大きなエレクトロフォトニックネットワーク９００にシームレスに統合する。理解されるように、単一のより大きなネットワークに接続されるＳＩＰ１００の数は、描かれた４つとは異なってもよく、フォトニック通信の長距離に対するエネルギー効率を利用して、実質的なエネルギー損失を発生させることなく単に増加させることができる。さらに、拡張可能なラップトロイダルトポロジーは、そうでなければグリッドの遠い端のタイル間で通信するために必要とされることとなるタイル間のホップ数を減少させる。
【0060】
図７～９は、可能なネットワークトポロジーの様々な非限定的な例を示している。さらに別の例を提供するために、フォトニックチャネルは、１つ又は複数のＳＩＰ内の、及び／又は１つ又は複数のＳＩＰにわたって、タイルを集合的に接続し、３次元の立方格子トポロジーとして構成することもできる。このような実施形態では、タイルは依然として単一平面内にレイアウトされる（すなわち、幾何学的に二次元である）かもしれないが、ネットワークノード間の接続によって三次元ネットワークトポロジーの特徴を備える。図８と図９に描かれているラップトロイダルネットワークも、幾何学的には２次元で、トポロジー的には３次元の構成の例でもあることに留意されたい。
【0061】
本明細書で説明する様々な実施形態によるＭＬアクセラレータシステムでは、フォトニックファブリックを使用したＭＬモデルの電力効率的な実行をサポートするために、いくつかの技術が使用され得ることに留意されたい。ＭＬモデルの場合、通信のパターンとスケジュールの両方がコンパイル時に既知であり、これは、コンパイラ指向のフォトニックファブリック最適化の機会を提供する。例えば、ＭＬプロセッサやアクセラレータにロードされたＭＬモデルに基づいて、使用されていないフォトニックファブリック内のフォトニックチャネルや光リンクをシャットダウンして電力を節約することができる。例えば、各方向に４つずつ、計８つのリンクで構成される双方向フォトニックチャネルは、所定のモデルが要求する以上の帯域幅を提供することができる。動的結合を使用すれば、コンパイラが作成したスケジュールに基づいて、ＭＬモデルのニーズに応じてチャネル内の光リンクを選択的にアクティブにしたり非アクティブにしたりできるため、消費電力をさらに低減できる。このアルゴリズムを実装するための前提条件は、ＥＯ及びＯＥインターフェースが静止状態になり、数ビット時間で再起動できることである。これは、ネゴシエーションプロトコルを使用してブート時に各チャネルからマスターリンクを選択することで達成される。チャネルのマスターリンクがシャットダウンされることはない。マスターリンクの送信クロックは、すべてのスレーブリンクの送信クロックとして使用される。受信側では、マスターリンクが受信ビットストリームに対してクロックデータリカバリーを実行し、送信クロックを再構築する。その後、受信クロックはチャネル内の他のスレーブリンクに分配される。トランスミッターとレシーバーの両方でマスターリンクとスレーブリンク間の伝送に遅延が発生するため、各受信リンクでクロックスキューを考慮する必要があり、これはチャネルの立ち上げ時にチャネルアライメントフェーズを実行することで達成される。
【0062】
フォトニックファブリックの構成可能性とその動的結合能力は、さらに、歩留まりの低い部品に起因する製造上の欠陥を修正するためのフォールトトレランスを提供するために使用することができる。変調器（例えば、ＥＡＭ）及びフォトダイオードは、製造上の欠陥がある可能性があり、これが恒久的な欠陥を引き起こす。ＭＬアクセラレータが初期化されると、フォトニックファブリック内の各チャネルは、データを伝送する準備が整うようにセットアップとキャリブレーションが行われる。通常の動作では、チャネル内のリンクは結合され、１つの論理チャネルとして動作するグループを形成する。チャネル確立の過程で、機能しないリンクは結合グループから除外され、無効にすることができる。チャネル確立プロセスは、各チャネルのポートロジック内のステートマシンによって調整される。
【0063】
チャネル確立ステートマシンは、複数フェーズで進行する。最初のフェーズでは、マスターリンクが選択される。トランスミッターがチャネル内の各リンクをローテーションし、リンク確立フレーミングパターンを送信する。受信チャネルがリンク確立パターンを正常に受信すると、その確立リンクを「マスター発見（master found）」フレーミングパターンに変換する。あるチャネルが「マスター発見」フレーミングパターンを受信すると、対応するトランスミッターはリンクのローテーションを停止し、いくつかの「マスター発見」フレーミングパターンがマスター選択が安定していることを示すのを待つ。そのチャネルが「マスター発見」を受信しなくなると、リンク確立フレーミングパターンの使用に戻る。両方向でマスターリンクが確立されると、結合を進めることができる。現在マスターでない各リンクに対して、システムは「結合準備（ready to bond）」フレーミングパターンを送信する。受信側が「結合準備」フレーミングパターンを正しくデコードすると、マスターリンク上で結合されたフレーミングパターンを送信し、受信チャンネルを結合グループに追加する。このプロセスは、すべての非マスターリンクが破棄されるか、結合グループに追加されるまで続く。結合プロセスの完了時には、完全に機能しているリンクのみが結合グループに含まれることになる。
【0064】
図１０は、プロセッサ内のクロック信号分配の従来技術を示す図である。プロセッサ内のクロック信号分配のための従来技術は、かなりのエネルギーを消費する。クロックツリーは一般的に階層的に構築され、クロック信号をリージョナルクロックネットワークに分配するルートクロックネットワークから始まる。典型的なトポロジーは、図１０に示す「Ｈツリーネットワーク」であり、クロックセグメントは、プロセッサリージョンにクロック信号を分配するために、等しい長さのパス上で連続的に分割される。バッファ１０４４は、プロセッサ全体にわたって長距離伝搬するクロック信号を再生するために使用される。Ｈツリーを通るパスは、Ｈツリーネットワークのアーム間のクロックスキューをも均等に維持するために、長さがそろえられる。次に、リージョン内では、リージョンレベルのクロック信号をローカル回路１０４６に接続するために、さらに階層的なクロック分割が行われる。ルートクロックネットワークは、クロックパスの長さをそろえる必要があるため、しばしばルーティング上の課題が発生し、また、再生バッファ１０４４で大きな電力を消費する。
【0065】
図１１は、いくつかの実施形態による、ルートクロック信号などのクロック信号を分配するためにフォトニックファブリックを使用する例を示す図である。いくつかの実施形態について、本明細書に記載のフォトニックファブリックは、ＭＬプロセッサ（例えば、１００）内のクロック信号、例えば、ＭＬプロセッサのＡＳＩＣ（又は他のＥＩＣ、例えば、１０１）によって使用されるルートクロックネットワークのクロック信号を伝送するために使用される。ここで図１１を参照すると、マスターリンクは常にチャネル１１１２、１１１４、１１１６、１１１８で送信されるので、受信タイルは、タイル（例えば、１０４）のクロックソースを確立するために第１のマスターリンク１１３０による選択を使用することができる。クロック信号は、クロックデータリカバリー（ＣＤＲ）回路１１２０を使用することによって、チャネル１１１２、１１１４、１１１６、１１１８上の受信データストリームから抽出され、低ジッタクロック信号１１２６を生成するジッタ減衰ＰＬＬ１１２４に供給される。その後、低ジッタクロック信号は、タイル内の他のすべてのチャンネル１１３２、１１３４、１１３６、１１３８のトランスミッターに使用されるだけでなく、分割されてテンソルプロセッサ、ＤＮＮ、メッセージルータのデジタルクロック信号１１４０として使用される。
【0066】
したがって、各タイルはそれ自身のクロックドメインを確立し、タイル間の電気的接続にはメソクロナスクロッキングを使用する。この配置には、デジタルグローバルクロックネットワークを超えるいくつかの利点がある。すなわち、プロセッサの典型的なルートクロックネットワークを排除することで電力を節約し、プロセッサの周囲や複数のプロセッサ間でルーティングされなければならないクロックネットワークの複雑さを軽減し、同期されたグローバルクロックへの移行によるデジタルロジックの電流スパイクを低減する。いくつかの実施形態の新規なクロック信号の分配メカニズムは、単一のＭＬプロセッサのタイル内だけでなく、ＭＬプロセッサ間にも及ぶ。
【0067】
本明細書では、様々な実施形態を使用して本発明の概念を説明するが、これらの概念の他の実施形態は、本願の範囲から逸脱することなく、当業者によって考案することができる。例えば、１つのアプローチにおいて、ＤＮＮ自体は、ニューラルネットワーク層がフォトニクスを使用して実装される（例えば、ＭＡＣ機能が光ビームスプリッタ及び光導波路を使用して実行され、中間出力信号が光出力のために光学的に結合される）ＰＮＮ（フォトニックニューラルネットワーク）であってもよい。さらに、フォトニックネットワーク及び／又はフォトニックファブリックの一部は、例えば、バックアップ接続として、又は、テスト中に使用するために、又は、ＭＬアクセラレータの初期化中に使用するために、光接続に加えて、又は光接続の代わりに、電気接続を用いて実装されてもよい。
【0068】
まとめると、本発明の概念の様々な実施形態によれば、本発明のＭＬアクセラレータは、新規なハイブリッドなエレクトロニックフォトニック（又はエレクトロフォトニック）ＮｏＣと、新規なＤＮＮと、ＭＬモデルを実行するための全体的にユニークなアーキテクチャと、新規なクロッキングスキームとを含む。ここで開示されているＭＬアクセラレータは、データ移動で消費される電力を低減し、ＭＡＣ動作におけるエネルギー消費を低減することにより、処理速度を向上させながら消費電力を大幅に低減する。データ移動のために消費される電力の低減は、各ＭＬプロセッサにおいてデータの局所性を最大化すること（例えば、データ移動を低減すること）によって達成され、さらに、データ移動が必要な場合のエネルギー損失を低減することによって達成される。さらに、本ＭＬアクセラレータにおける新規のクロッキングスキームは、さらなる電力節約をもたらす。
【0069】
いくつかの実施形態では、本明細書で説明するクロック信号の分配は、ＳＩＰなどの回路パッケージに関して実施される。例えば、回路パッケージは、フォトニックチャネルインターフェースを含む複数の処理要素（例えば、複数のタイル）を含むＡＳＩＣ（例えば、１０１）から構成することができる。さらに、回路パッケージは、エレクトロフォトニックネットワーク（例えば、ネットワーク１３０）の少なくとも一部を形成するために複数の処理要素を接続する複数のフォトニックチャネルから構成され得る。様々な実施形態によれば、複数のフォトニックチャネルのうちの複数のサブフォトニックチャネル（例えば、チャネル１１１２、１１１４、１１１６、１１１８、１１３２、１１３４、１１３６、１１３８）が、複数の処理要素の個々の処理要素（例えば、タイル１０４）に接続される。
【0070】
実施形態のクロック信号の分配を円滑にするために、個々の処理要素は、個々の処理要素のために、複数のサブフォトニックチャネルからマスターフォトニックチャネル（例えば、チャネル１１１２、１１１４、１１１６、１１１８のうちの１つ）を（例えば、第１のマスターリンク１３０を介して）選択することができる。いくつかの実施形態では、個々の処理要素は、個々の処理要素のブート時間中に（例えば、ネゴシエーションプロトコルを使用して）マスターフォトニックチャネルを選択する。
【0071】
個々の処理要素は、個々の処理要素のために、複数のサブフォトニックチャネルからスレーブフォトニックチャネルのセット（例えば、チャネル１１３２、１１３４、１１３６、１１３８）を選択することができる。いくつかの実施形態では、個々の処理要素は、個々の処理要素のブート時間中に（例えば、ネゴシエーションプロトコルを使用して）スレーブフォトニックチャネルのセットを選択する。さらに、いくつかの実施形態では、個々の処理要素は、マスターフォトニックチャネル上でチャネルアライメント動作を実行し、チャネルアライメント動作は、クロックスキューを補償するために個々の処理要素の１つ又は複数の設定を調整するように構成される。
【0072】
個々の処理要素は、選択されたマスターフォトニックチャネルから受信クロック信号を抽出することができる。いくつかの実施形態では、個々の処理要素は、マスターフォトニックチャネルを介して受信された受信ビットストリームに対して（例えば、ＣＤＲ回路１１２０によって）クロックデータリカバリーを実行することによって、マスターフォトニックチャネルから受信クロック信号を抽出する。
【0073】
個々の処理要素は、受信クロック信号に基づいて、個々の処理要素上で１つ又は複数のローカル動作を実行するために個々の処理要素（例えば、タイル１０４）によって使用されるローカルクロック信号（例えば、デジタルクロック信号１１４０）を生成することができる。個々の処理要素上のローカル動作は、個々の処理要素（例えば、タイル１０４）のテンソルプロセッサ（例えば、１０８）、ＤＮＮ（例えば、１０６）、又はメッセージルータ（例えば、１１０）のうちの少なくとも１つによって実行され得る。したがって、個々の処理要素はテンソルプロセッサ（例えば、１０８）を構成することができ、テンソルプロセッサはローカルクロック信号に基づいて動作することができる。個々の処理要素は、フォトニックチャネルインターフェースを含むメッセージルータを構成することができ、メッセージルータはローカルクロック信号に基づいて動作することができる。個々の処理要素は、少なくとも２つのベクトル間のドット積を計算するためのハードウェア回路（例えば、ＤＮＮ１０６）を構成することができ、このハードウェア回路は、ローカルクロック信号に基づいて動作することができる。
【0074】
いくつかの実施形態では、個々の処理要素（例えば、タイル１０４）は、ジッタ減衰位相ロックループ（ＰＬＬ）（例えば、１１２４）を含み、個々の処理要素は、ジッタ減衰ＰＬＬを使用して、受信クロック信号に基づいて低ジッタクロック信号を生成する。個々の処理要素は、低ジッタクロック信号に基づいてローカルクロック信号を生成することによって、受信クロック信号に基づいてローカルクロック信号を生成することができる。
【0075】
最終的に、個々の処理要素は、スレーブフォトニックチャネル（例えば、チャネル１１３２、１１３４、１１３６、１１３８）のセットを介して、個々の処理要素に接続された複数の処理要素のセットに分散クロック信号を送信することができ、分散クロック信号は、受信クロック信号（例えば、ＣＤＲ回路２０の出力）に基づいて生成される。例えば、個々の処理要素は、１つ又は複数の発信ビットストリームを処理要素のセットに送信することによって、分散クロック信号を送信することができ、１つ又は複数の発信ビットストリームは、分散クロック信号に基づいて生成される。このようにして、（スレーブチャネルのセットを介して）発信ビットストリームを受信する１つ又は複数の処理要素は、次に、発信ビットストリームから分散クロック信号を独立して抽出することができる。
【0076】
いくつかの実施形態では、個々の処理要素は、個々の処理要素と同様に動作するように構成された（複数の処理要素の）第２の処理要素に接続される。例えば、第２の処理要素は、（個々の処理要素の）スレーブフォトニックチャネルのセットの個々のフォトニックチャネルを介して個々の処理要素に接続され得る。第２の処理要素は、個々のフォトニックチャネルを、第２の処理要素のための第２のマスターフォトニックチャネルとして選択することができる。第２の処理要素は、第２の処理要素のために、第２の処理要素に接続される第２の複数のサブフォトニックチャネルから第２のスレーブフォトニックチャネルのセットを選択することができる。第２の処理要素は、第２のマスターフォトニックチャネルから（例えば、第２のマスターフォトニックチャネルを介して受信された第２の処理要素によって受信された発信ビットストリームから）第２の受信クロック信号を抽出することができる。第２の処理要素は、第２の受信クロック信号に基づいて、第２の処理要素上で１つ又は複数のローカル動作を実行するために第２の処理要素によって使用される第２のローカルクロック信号を生成することができる。その後、第２の処理要素は、第２のスレーブフォトニックチャネルの第２のセットを介して、第２の分散クロック信号を、第２の処理要素に接続された複数の処理要素の第２のセットに送信することができ、第２の分散クロック信号は、第２の受信クロック信号に基づいて生成される。
【0077】
図１２は、いくつかの実施形態による、ＤＮＮの例示的なアーキテクチャ１２００を示す図である。示されるように、アーキテクチャ１２００は、６４個のＳＲＡＭメモリバンク１２１０－１～１２１０－６４（以下、ＳＲＡＭメモリバンク１２１０と総称する）を含む複数のメモリデバイスと、スイッチファブリック１２２０（例えば、ＳＲＡＭファブリック）と、コントローラ１２３０と、ドット積ユニットのアレイ１２４０とを備え、各ドット積ユニットは、融合型ＭＡＣ（ＦＭＡ）ユニット１２５０を含む複数のＦＭＡユニットから構成される。
【0078】
アーキテクチャ１２００は、（ＭＬモデルの内部ループで典型的に使用される）畳み込みや行列乗算のような計算集約的な機能を、演算あたりのオーバーヘッドを最小にして実行することができる。ＭＬグラフを実行するためのレジスタトランスファーマシンなどの従来技術とは対照的に、アーキテクチャ１２００は、一般的なプログラマビリティに関連するオーバーヘッドを除去することによって、少ないオーバーヘッドで特定の計算集約的な機能を最適に実行することができる。アーキテクチャ１２００は、スイッチファブリック１２２０に供給するＳＲＡＭメモリバンク１２１０との密接な関連性を提供することができ、これにより、数学ユニット（例えば、ドット積ユニットのアレイ１２４０）に対するデータ移動を最小限にすることができる一方で、数学ユニット間で値を交換することができる。このようにして、アーキテクチャ１２００は、従来技術と比較して電力消費も節約するニアメモリ・コンピューティング・アーキテクチャを提供することができる。
【0079】
いくつかの実施形態によれば、アーキテクチャ１２００は、ＤＮＮのハードウェア回路を表し、このハードウェア回路は、（例えば、図４に示されるような）組合せツリーと、シーケンサー（例えば、４００）とを備える。組合せツリーは、組合せツリーのトップレベルで受信された入力値に基づいて１つ又は複数のドット積値を生成するために積和演算（ＭＡＣ）ユニットを使用することができ、シーケンサ１２１１は、一組のメモリデバイス１２１０から受信された入力ベクトルのスイッチファブリック１２２０内の位置を再配置するように構成することができる。このようにして、いくつかの実施形態は、トップレベル（例えば、２次元ドット積アレイ１２４０の左端の列）に入力ベクトルとして提供される重み値及びオペランド値の順序を制御することができる。組合せツリーは、組合せツリーを流れる値のクロックアライメントを維持するように構成されたレジスタを含むことができる。図１２において、値のクロックアライメントは、ドット積ユニットのアレイ１２４０に接続されたクロック１２８０に関して維持される。示されるように、ドット積ユニットのアレイ１２４０の各ＦＭＡはクロック１２８０に接続される。
【0080】
シーケンサ１２１１は、スイッチファブリック１２２０又はメモリデバイスに動作可能に結合され、スイッチファブリック１２２０は、組合せツリーを、この例では、それぞれが３２ビットベクトルを提供する６４個のメモリバンクとして示されているローカルＳＲＡＭメモリデバイスなどのメモリデバイス１２１０のセットに動作可能に結合する。メモリデバイスのセットは、ＳＲＡＭメモリバンク１２１０又は任意の他の適切なローカルメモリから構成され得る。組合せツリーは、ドット積ユニットのアレイ１２４０のようなドット積ユニットのアレイを含むことができる。アレイの各ドット積ユニットの入力は、入力値（例えば、３２ビットベクトル）を受信する組合せツリーのトップレベルを形成する。
【0081】
ドット積ユニットのアレイ１２４０は、入力値（例えば、入力ベクトル１２６０）を受信し、組合せツリーのトップレベルによって受信される入力値に基づいて１つ又は複数のドット積値を生成するように構成され得、ここで、単一のドット積ユニットは、ＭＡＣユニットのうちの２つ又はそれ以上から構成され得る。ドット積ユニットの単一のＭＡＣユニットは、少なくとも１つのアキュムレータを有する。いくつかの実施形態では、複数のアキュムレータが、値が単一のＭＡＣユニットを流れるときに、単一のＭＡＣユニットによって生成された部分的なドット積値を蓄積するように構成される。ＭＡＣユニットは、ＦＭＡ１２５０などの少なくとも１つのＦＭＡユニットで構成され得る。
【0082】
いくつかの実施形態では、シーケンサ１２１１は、メモリデバイス１２１０のセットから、スイッチファブリック１２２０にベクトルを提供するように構成される。いくつかの実施形態では、重み値及びオペランド値（例えば、活性値）は、スイッチファブリック１２２０によって、コントローラ（例えば、コントローラロジック）にしたがってトップレベルへの入力ベクトルのシーケンスとして提供され、これは、シーケンサ１２１１、クロック、テンソルエンジン、又はＡＳＩＣに関連する別のコンポーネントの動作又は構成を制御する。例えば、コントローラ１２３０は、シーケンサ１２１１をハードウェア、ファームウェア、ソフトウェア、又はこれらのすべての組み合わせで実装することができ、ここで、ドット積ユニットのアレイ１２４０に提供される入力ベクトル（例えば、１２６０）のシーケンスは、コントローラ１２３０によって決定される。実施形態によっては、シーケンサ１２１１は、パラメータのセットに基づいて、トップレベルに提供される入力ベクトルのシーケンスを決定することができ、ここで、パラメータのセットは、ストライド値、ダイレーション値、又はカーネルサイズ値（例えば、これらはコントローラ１２３０によって受信又は処理され得る）のうちの少なくとも１つを含む。
【0083】
シーケンサ１２１１は、単一又は複数のクロックサイクル中に、メモリデバイスのセット（例えば、ＳＲＡＭメモリバンク１２１０）から読み出された複数の重み値及び複数のオペランド値を読み出すことによって、（入力ベクトルのシーケンスの）個々の入力ベクトルを生成するように構成され得、ここで、個々の入力ベクトルは、複数の重み値及び複数のオペランド値を含む。様々な実施形態によれば、複数の重み値及び複数のオペランド値は、シーケンサによって初めて読み取られ、ドット積エンジン１２４０に入力を提供するスイッチファブリック１２２０内の入力ベクトルが並べ替えられるので、シーケンサによる読み取りの間にメモリバンクの衝突は発生しない。さらに、メモリデバイスのセットがメモリバンクを含む場合、シーケンサは、他のクロックベース方式も可能であるが、単一クロックサイクル中にメモリバンクの各々から読み出すことができる。いくつかの実施形態では、シーケンサによるメモリデバイスのセットの連続する各読み出しは、前のクロックサイクル中にシーケンサによって読み出されなかったメモリデバイスのセットからの新しい重み値及び新しいオペランド値の読み出しをもたらす。具体的には、スイッチファブリック１２２０は、バンクの競合がないように入力データを並び替えた状態で、重み値及びオペランド値（例えば、活性値）を１回だけ読み出すことができる。個々の重み値及びオペランド値を１回だけ読み出すことによって、メモリデバイスのセットから個々の重み値及びオペランド値にアクセスする回数が減少する。
【0084】
ドット積ユニットのアレイ１２４０は、少なくとも２つの重み値をアレイの隣接する行の間で入れ替えさせ、重み値をアレイの列の下に伝搬させるデータパスを含むことができる。さらに、ドット積ユニットの単一のＭＡＣユニットは、単一のＭＡＣユニットによって生成された出力値が少なくとも２つの隣接するＭＡＣユニットのそれぞれへの入力値として共有されるように、ドット積ユニットの少なくとも２つの隣接するＭＡＣユニットに動作可能に結合され得る。
【0085】
最終的に、ロジック（例えば、コントローラ１２３０）は、入力ベクトルのシーケンスのすべてが組合せツリーのトップレベルに入力された後に、重み値及びオペランド値に対して最終的なドット積値のセットを生成させることができる。例えば、ロジックによって生成される最終的なドット積値のセットは、組合せツリーのＭＡＣユニットのアキュムレータに格納された値から構築することができる。さらに、ロジックは、最後のドット積値のセットをメモリデバイス１２１０のセットに格納するように構成される。あるいは、システムは、決定論的に実行し、所定の計算サイクル数の後にアキュムレータの値を自動的にメモリに書き戻すようにプログラムすることができる。このようにして、格納された最後のドット積値のセットは、ドット積ユニットのアレイのための別の入力ベクトルを構築するために使用することができる。
【0086】
動作中、１つ又は複数の重み値及び１つ又は複数のオペランド値（例えば、活性値）は、ＳＲＡＭメモリバンク１２１０に格納され得る。いくつかの実施形態では、ＳＲＡＭメモリバンク１２１０は、３２バイト幅のＳＲＡＭメモリの６４バンクから構成される。ＳＲＡＭメモリバンク１２１０は、スイッチファブリック１２２０の入力に供給することができる。スイッチファブリック１２２０は、シーケンサ１２１１を使用して、（ＳＲＡＭメモリバンク１２１０から）読み出されたデータを再編成することができ、それにより、各連続的なメモリ読み出しが、計算機能（例えば、畳み込み又は行列乗算）を実行するために、新しい重み値又はオペランド値をドット積ユニットのアレイ１２４０に送出させる。スイッチファブリック１２２０は、進行中の演算（例えば、畳み込み又は行列乗算）及び現在実行中の演算のステップの１つ又は複数のパラメータにしたがって、ＳＲＡＭメモリバンク１２１０から読み出されたデータを（例えば、コントローラ、シーケンサ、又は両方の組み合わせを使用して）並べ替えることができる。したがって、パラメータは、オペランド値（例えば、活性値）が重み値に適用される順序を決めることができる。例えば、２次元（２Ｄ）畳み込み演算のパラメータは、ストライド、ダイレーション、又はカーネルサイズを含むことができる。スイッチファブリック１２２０の出力は、スイッチファブリック１２２０から読み出された重み値及びオペランド値で、ドット積ユニットのアレイ１２４０の入力を動作させることができる。値がＳＲＡＭメモリバンク１２１０から読み出されると、スイッチファブリック１２２０のパイプラインが値で満たされ、値がスイッチファブリック１２２０からドット積ユニットのアレイ１２４０にクロックアウトし始める。
【0087】
いくつかの実施形態では、各クロックサイクル中に、重み値及びオペランド値（例えば、活性値）は、スイッチファブリック１２２０によってベクトルのセットとして読み取られ、スイッチファブリック１２２０を通過してドット積ユニットのアレイ１２４０に到達し、ベクトルのセットがスイッチファブリック１２２０を通過するときに並べ替えられる。畳み込み演算のために、ＳＲＡＭメモリバンク１２１０から読み出されたベクトルのセットは、チャネルベクトルのパッチ（例えば、８ｘ８パッチ）として編成され得る。いくつかの実施形態では、スイッチファブリック１２２０は、メモリ内のパッチを並べ替えることによって、ＳＲＡＭメモリバンク１２１０から読み出す間のバンク衝突を回避する。このようにして、スイッチファブリック１２２０は、毎クロックサイクルですべてのＳＲＡＭメモリバンク１２１０から読み出すことができる。
【0088】
いくつかの実施形態では、ドット積ユニットのアレイ１２４０の各ドット積ユニットは、３２個のＦＭＡユニットの深さである。さらに、いくつかの実施形態では、ドット積ユニットのアレイ１２４０は、６４行×３２列のドット積ユニットから構成される。動作中、ドット積ユニットのアレイ１２４０は、各クロックサイクルにおいて６５５３６個のＦＭＡ動作を実行することができる。示されるように、いくつかの実施形態では、ドット積ユニットのアレイ１２４０内の各ＦＭＡユニット（例えば、ＦＭＡユニット１２５０）は、アキュムレータ１２５２を構成する。この例では、重み値及びオペランド値（例えば、活性値）がＦＭＡユニットを流れるにつれて部分積値を累積するように構成された一対のアキュムレータ（ＡＣＣ０及びＡＣＣ１）として示されている。他の実装では、他のアキュムレータ方式を使用することができる。例えば、ＦＭＡユニットは、２つの８ビット値を入力として受け取り、３２ビットのドット積値を生成することができる（この値はＦＭＡユニットのアキュムレータ１２５２に格納される）。さまざまな実施形態では、ＦＭＡの出力アキュムレータは、値がＦＭＡユニットを介してストリーミングされる間、静止状態に保たれる。出力アキュムレータを静止させておくことにより、各ＦＭＡサイクル及びＦＭＡユニットによって行われる各計算に関連するアルゴリズムロジックユニット及びメモリの読み取り及び書き込み動作が不要になるため、さまざまな実施形態でかなりの量のエネルギー消費が回避される。例えば、ＦＭＡのエネルギー消費は１３０ｆＪであり得る。
【0089】
いくつかの実施形態では、ドット積ユニットのアレイ１２４０の各レベルは、隣接するＦＭＡユニット間の接続のセット、及びドット積値の間の隣接するＦＭＡユニット間の接続のセットを含み、これは、重み値がＦＭＡ間でシャッフルされることを可能にし得る。重み値のシャッフルは、畳み込みパラメータ又は行列乗算次元などの１つ又は複数のパラメータのいずれかによって（例えば、コントローラ１２３０を介して）制御され得る。様々な実施形態において、ドット積ユニットのアレイ１２４０は、組み合わせ型であり、これにより、ドット積ユニットのアレイ１２４０は、ドット積ユニットのアレイ１２４０内の計算の各段階においてレジスタ内のデータをラッチするエネルギーコストを低減又は回避することができる。いくつかの実施形態では、ドット積ユニットのアレイ１２４０は、ドット積ユニットのアレイ１２４０内のデータフローをドット積ユニットのアレイ１２４０を駆動するクロック信号とアライメントされ続けるために使用されるパイプラインレジスタのセット（例えば、少数のパイプラインレジスタ）から構成される。さらに、いくつかの実施形態では、ドット積ユニットのアレイ１２４０は、ドット積ユニットのアレイ１２４０の行間で重み値のスワッピングを可能にし、ドット積ユニットのアレイ１２４０の列を通して重み値の下への伝搬を可能にするデータパスのセットを含み、これにより、オペランド値がドット積ユニットのアレイ１２４０を通ってストリーミングされるときに、各オペランド値（例えば、活性値）への正しい重み値の供給が円滑になる。すべての重み値及びオペランド値がドット積ユニットのアレイ１２４０を通過した後、ドット積ユニットのアレイ１２４０による重み値及びオペランド値の計算は完了したと考えることができ、ドット積ユニットのアレイ１２４０内の各ＦＭＡユニットのアキュムレータ内の結果として生じる値は、最終ドット積値のセットを構成する。これらの最終的なドット積値は、ＳＲＡＭメモリバンク１２１０に書き戻す（例えば、格納する）ことができ、その後、ドット積ユニットのアレイ１２４０による将来の後続の計算の間に、これらの格納された値のうちの１つ又は複数を、ドット積ユニットのアレイ１２４０への入力として使用することができる。
【0090】
図１３は、いくつかの実施形態による、ＤＮＮを動作させるための例示的な方法１３００を示すフローチャートである。本明細書で説明する例示的な方法は、スタンドアロンＤＮＮによって、又はＭＬプロセッサ１００のようなＤＮＮ（例えば、ＤＮＮ１０６）を含むデバイスによって実行されてもよいことが理解されよう。さらに、本明細書で説明する例示的な方法は、機械可読媒体上に格納された実行可能な命令の形態で、又は電子回路（例えば、ロジック）の形態で実装されてもよく、これにより、ＤＮＮを方法１３００にしたがって動作させることができる。例えば、図１３の方法１３００の動作は、ＤＮＮのコントローラによって実行されると、ＤＮＮに方法１３００にしたがって実行させる実行可能な命令によって表され得る。実施形態によっては、本明細書に記載される例示的な方法の動作は、異なる方法で繰り返されるか、又は図示されない介在する動作を含むことがある。例示的な方法の動作は、ある特定の順序で描かれ、説明されることがあるが、その動作が実行される順序は、ある特定の動作を並行して実行することを含め、実施形態間で異なることがある。
【0091】
ここで図１３を参照すると、動作１３０２において、ＤＮＮのシーケンサが、シーケンサに動作可能に結合されたメモリデバイスのセットから、第１の複数の重み値及び第１の複数のオペランド値を読み取る。動作１３０４において、シーケンサからの第１の入力ベクトルが、ＤＮＮの組合せツリーのトップレベルで受信され、第１の入力ベクトルは、動作１３０２で読み取られた第１の複数の重み値及び第１の複数のオペランド値から構成される。動作１３０６において、組合せツリーは、第１の入力ベクトルを処理し、組合せツリーは、ＭＡＣユニットを使用して、トップレベルを通じて受信された値に基づいて１つ又は複数のドット積値を生成するように構成される。シーケンサは、動作１３０８において、メモリデバイスのセットから第２の複数の重み値及び第２の複数のオペランド値を読み出す。動作１３１０において、シーケンサからの第２の入力ベクトルが、組合せツリーのトップレベルで受信され、第２の入力ベクトルは、第２の複数の重み値及び第２の複数のオペランド値から構成される。動作１３１２の間、組合せツリーは、第２の入力ベクトルを処理し、第１の入力ベクトル及び第２の入力ベクトルは、組合せツリーのトップレベルによって受信される入力ベクトルのシーケンスの一部である。入力ベクトルのシーケンスが組合せツリーのトップレベルによって受信された後、動作１３１４において、ＤＮＮは、組合せツリーのＭＡＣユニットのアキュムレータに格納された値から最終的なドット積値のセットを構築する。
【0092】
これは、アキュムレータのサイズに応じて複数のステップから構成され得る。いくつかの実施形態では、アキュムレータは３２ビットを保持する。アキュムレータを満たすのに十分な入力ベクトルが、例えば、組合せ木のトップレベル（又はドット積アレイの他の場所）で、ドット積アレイを通って流れると、動作１３１６で、組合せツリーのＭＡＣユニットのアキュムレータ内の値（例えば、満杯になったドット積ユニットのアレイの列のアキュムレータ）を、動作１３０２で使用されたメモリデバイスのセットに書き戻すことができる。その後、プロセスは任意選択で繰り返すことができる。したがって、アキュムレータ出力は、１つの実施形態によって、別の処理サイクルへの入力として使用され得、それによって、アルゴリズムロジックユニットの使用、又は、組合せツリーの行又は列によって行われた任意の計算の中間結果もしくは最終結果を処理又は格納するために必要とされる任意のメモリアクセスを回避する。
【0093】
図１４は、いくつかの実施形態による、エレクトロフォトニックネットワークを使用するクロック信号分配のための例示的な方法１４００を示すフローチャートである。本明細書で説明する例示的な方法は、ＭＬプロセッサ（例えば、１００）の個々の処理要素（例えば、タイル１０４）によって実行されてもよいことが理解されよう。さらに、本明細書で説明される例示的な方法は、機械可読媒体上に格納された実行可能な命令の形態で、又は個々の処理要素を方法１４００にしたがって動作させることができる電子回路（例えば、ロジック）の形態で実施されてもよい。実施形態によっては、本明細書に記載される例示的な方法の動作は、異なる方法で繰り返されるか、又は図示されない介在する動作を含むことがある。例示的な方法の動作は、ある特定の順序で描かれ、説明されることがあるが、その動作が実行される順序は、ある特定の動作を並行して実行することを含め、実施形態間で異なることがある。
【0094】
ここで図１４を参照すると、ＭＬプロセッサの個々の処理要素は、動作１４０２において、マスターフォトニックチャネル上でチャネルアライメント動作を実行し、チャネルアライメント動作は、クロックスキューを補償するために個々の処理要素の１つ又は複数の設定を調整するように構成される。動作１４０４において、個々の処理要素は、複数のフォトニックチャネルからマスターフォトニックチャネルを選択し、マスターフォトニックチャネルは、個々の処理要素について選択される。いくつかの実施形態では、複数の処理要素は、回路パッケージのＡＳＩＣの一部であり、複数の処理要素は、複数のフォトニックチャネルによって一緒に接続され、回路パッケージ内のエレクトロフォトニックネットワークの少なくとも一部を形成する。動作１４０６において、個々の処理要素は、複数のフォトニックチャネルからスレーブフォトニックチャネルのセットを選択し、スレーブフォトニックチャネルのセットは、個々の処理要素について選択される。動作１４０８において、個々の処理要素は、マスターフォトニックチャネルから受信クロック信号を抽出する。（動作１４０８で抽出された）受信クロック信号に基づいて、個々の処理要素は、個々の処理要素上で１つ又は複数のローカル動作を実行するために個々の処理要素によって使用されるローカルクロック信号を生成する。（動作１４１０において生成された）受信クロック信号に基づいて、動作１４１２において、個々の処理要素は、分散クロック信号を生成する。動作１４１４において、個々の処理要素は、スレーブフォトニックチャネルのセットを介して、分散クロック信号を、個々の処理要素に接続された複数の処理要素のセットに送信する。様々な実施形態に対して、動作１４１４は、個々の処理要素のフォトニックチャネルインターフェースを使用して、分散クロック信号を電気的形態から光学的形態に変換することを含む。分散クロック信号は、スレーブフォトニックチャネルのセットにわたった伝送に適している。さらに、いくつかの実施形態では、動作１４１４は、複数の処理要素のセットにおいて、分散クロック信号を光学的形態から電気的形態に変換することを含み、この分散クロック信号は、複数の処理要素のセットによる関連するローカルクロック信号としての使用に適している。
【0095】
図１５は、いくつかの実施形態による、エレクトロフォトニックネットワーク（例えば、ＳＩＰ１００のネットワーク１３０）内でメッセージを転送するための例示的な方法１５００を示すフローチャートである。動作１５０２において、ネットワークの処理要素１０４の１つ（本明細書では「第１の処理要素」又は「送信元タイル」とも呼ばれる）でメッセージが生成される。このメッセージは、一連の１と０からなるバイナリ情報のパケットである。パケットに含まれるデータの一部には、オプションとして、重み又は活性値などの、タイルのローカルメモリからのデータが含まれ得る。これは、通常、パケットのペイロードと呼ばれる。パケットに含まれるデータの別の部分はヘッダであり、送信先タイルに関連するアドレスなどのルーティング情報を含むことができる。また、代替的に、ルーティング情報をペイロードの一部として、例えば、データ（例えば、重み又は活性値）を伝送するペイロードの第２の部分とは別の第１の部分で提供することも可能である。したがって、パケット内のルーティング情報は、ネットワークの別の処理要素（本明細書では「第２の処理要素」又は「送信先タイル」とも呼ばれる）をメッセージの送信先として指定することができる。ルーティング情報に基づいて、送信元タイルから送信先タイルまでのネットワークを通るパスを決定することができる。送信元タイル及び送信先タイルがネットワークの双方向フォトニックチャネルを介して直接接続されていない限り、このパスは送信元タイルから送信先タイルへのルート上に１つ又は複数の中間処理要素（本明細書では、「第３の処理要素」又は「中間タイル」とも呼ばれる）を含む。いくつかの実施形態では、パスは、送信元タイル及び中間タイルのルータによって（送信元から送信先へのルートに沿った各ホップにおけるパケットの（例えば、ヘッダ内）ルーティング情報の少なくとも１つの値を修正することによって）集合的に決定される。例えば、送信先タイルのアドレスを現在のタイルからの相対的な位置、すなわち距離で指定する実施形態では、各メッセージルータは、例えば２次元のうちの１つで、その距離を短縮するネットワーク内の隣接タイルにメッセージをルーティングし、それに応じてパケットデータを更新することができる。
【0096】
したがって、動作１５０４において（その第１の実行中に）、送信元タイルのルータは、（第１の繰り返しにおいて）送信先タイルへのパスに沿って次のタイルを決定し、送信元タイル内のメッセージを、送信元タイルをその次のタイルに接続する双方向フォトニックチャネルにルーティングする。送信元タイルとその双方向フォトニックチャネルとの間のインターフェースにおいて、メッセージは、動作１５０６において、例えば、送信元タイルの変調器ドライバを操作して、フォトニックチャネルの関連する変調器にメッセージにしたがって光信号を変調させることによって、光信号に付与される。動作１５０８において、メッセージを伝送する変調された光信号は次のタイルに伝送される。動作１５１０において、光信号は、フォトニックチャネルと次のタイルとの間のインターフェースにおいて、例えばフォトニックチャネルの端部の光検出器で光信号を測定することによって、電子信号に変換される。いくつかの実施形態では、次のタイルのＥＩＣに到着すると、動作１５１１において、パケット内のルーティング情報は、パケットが複数の次元のうちの１つにおいて送信先に向かって１ステップ移動したことを反映するように修正される。その後、次のタイルのメッセージルータは、送信先タイルに向かって複数の異なる次元において残っている現在のステップ数を示すようにフィールドが修正されたルーティング情報を有するパケットを有する。
【0097】
動作１５１２において、動作１５１０でメッセージを受信したタイルが送信先タイルであるか中間タイルであるかが判定される。そのタイルが中間タイルである場合（例えば、一実施形態では、パケットのヘッダ内のルーティング情報フィールドがゼロでない場合）、方法１５００は、動作１５０４にループバックし、その中間タイルは（２回目以降の実行中に）、送信先へのパスに沿った次のタイルを決定する。次いで、メッセージは、（動作１５０８での）その次のタイルへの送信のために、（動作１５０６で）光信号に付与され、光信号の変換後に、（動作１５１０で）結果として生じる電子信号から抽出される。方法１５００は、送信先タイルに到着するまで、動作１５０４～１５１２を繰り返す。送信先タイルのルータが、メッセージがその送信先にあることを決定すると、動作１５１４において（例えば、ルーティング情報を有するパケットの両方のフィールドがゼロである場合）、メッセージ（又は、例えば、送信元タイルからストリーミングされた活性値などのそのペイロード）は、例えば、送信先タイルの処理エンジン又はメモリへの送信のために、送信先タイル内のローカルポートにルーティングされる。
【0098】
図１６は、いくつかの実施形態による、ＭＬプロセッサ上でＡＮＮを実装する例示的な方法１６００を示すフローチャートである。ＡＮＮは、関連する所定の重みを有する複数のニューラルノードと、ノード間の活性値の所定のフローとを含む。ＭＬプロセッサ（例えば、図１Ａ及び図１ＢのＳＩＰ１００によって実装される）は、双方向フォトニックチャネルによって接続された複数の処理要素（例えば、１０４）を含むエレクトロフォトニックネットワークを含み、各処理要素は、１つ以上の処理ブロックと、１つ以上の処理ブロックに通信可能に結合されたメモリと、２つ以上のフォトニックチャネルインターフェースを含むメッセージルータとを含む。本方法は、動作１６０２において、重みを含むＡＮＮの表現を含む入力データを、機械可読形式でＭＬプロセッサのエレクトロフォトニックネットワークで受信することを含む。ＭＬプロセッサへの接続は、例えば、ＰＣＩＥ、ＡＲＭコア、汎用プロセッサ、又はエレクトロフォトニックネットワークに電子的又は光学的に結合されたＭＬプロセッサの他のシステムを介して確立されてもよい。動作１６０２は、例えば、テンソルフローを介してデータを、人間が読み取り可能な形式から機械が読み取り可能な形式に変換するコンパイラに提供することを含み得る。
【0099】
動作１６０４において、ＡＮＮの重みは、ニューラルノードと処理要素との間の割り当てに基づいて、エレクトロフォトニックネットワークの処理要素にロードされる。この割り当ては、コンパイル時に（例えば、動作１６０２でエレクトロフォトニックネットワークに接続する前に）決定されてもよい。別の実施形態では、ＡＮＮの重みは、コンパイル後、推論又はモデルの実行前に動作するスケジューラによって、エレクトロフォトニックネットワークの処理要素のローカルメモリにロードされる。いくつかの実施形態では、各ニューラルノードは処理要素の１つに割り当てられ、各処理要素は１つ又は複数のニューラルノードを実装することができる。他の実施形態では、１つ又は複数のニューラルノードは、ノードを集合的に実装する複数の処理要素にそれぞれ割り当てられる。各ニューラルノードに関連付けられた重みは、例えば、コードがコンパイルされた後、ハードウェアが実行される前に、そのニューラルノードを実装するように割り当てられた１つ以上の処理要素のメモリにロードされる。
【0100】
動作１６０６において、処理要素、より詳細には、例えば、それらのメッセージルータは、ＡＮＮ内のノード間の活性値の所定の流れと連動して、処理要素へのノードの割り当てに基づいて構成される。この設定には、例えば、パス設定パケットデータを電子形式で、又は光伝送されたメッセージを介してルータに提供することが含まれる得る。このような構成の結果、各処理要素で計算された出力活性値は、これらの活性値を入力として受け取るＡＮＮのニューラルノードを実装するそれぞれの処理要素にルーティングされることになる。この構成では処理要素の異なるものによって実装されるニューラルノード間の活性値が双方向フォトニックチャネルを介して処理要素間で光学的に転送されるのに対し、共有処理要素によって実装されるニューラルノード間の活性値は処理要素内で電子的に転送される。動作１６０８において、ＭＬプロセッサは、例えば、コードを実行し、処理エンジン内の関連する重み及び入力活性値に対して計算を実行し、本構成のルータによって行われたルーティング決定にしたがって処理要素間で活性値をストリーミングすることによって、ＡＮＮのノードを実装するように動作する。
【0101】
以下の番号付けされた例は、例示的な実施形態であり、制限的であることを意図するものではない。
【0102】
１．複数の処理要素を含む電子集積回路であって、各処理要素がフォトニックチャネルインターフェースを含むメッセージルータを含む、電子集積回路と、
前記処理要素をエレクトロフォトニックネットワークに接続する複数の双方向フォトニックチャネルであって、各双方向フォトニックチャネルは、第１の端部において、前記処理要素の中の第１の処理要素のメッセージルータのフォトニックチャネルインターフェースとインターフェース接続し、第２の端部において、前記処理要素の中の第２の処理要素のメッセージルータのフォトニックチャネルインターフェースとインターフェース接続し、前記第１の処理要素のメッセージルータと前記第２の処理要素のメッセージルータとの間でパケットを光学的に転送するように構成されている、複数の双方向フォトニックチャネルと、
を含む回路パッケージ。
前記処理要素をエレクトロフォトニックネットワークに接続する複数の双方向フォトニックチャネルであって、各双方向フォトニックチャネルは、第１の端部において、前記処理要素の中の第１の処理要素のメッセージルータのフォトニックチャネルインターフェースとインターフェース接続し、第２の端部において、前記処理要素の中の第２の処理要素のメッセージルータのフォトニックチャネルインターフェースとインターフェース接続し、前記第１の処理要素のメッセージルータと前記第２の処理要素のメッセージルータとの間でパケットを光学的に転送するように構成されている、複数の双方向フォトニックチャネルと、
を含む回路パッケージ。
【0103】
２．各双方向フォトニックチャネルは、それぞれの方向に向かう１つ以上の一方向フォトニックリンクを含む、例１に記載の回路パッケージ。
【0104】
３．各双方向フォトニックチャネルは、それぞれの方向への複数の一方向フォトニックリンクを含み、それぞれの方向への前記複数の一方向フォトニックリンクは互いに結合されている、例２に記載の回路パッケージ。
【0105】
４．各一方向フォトニックリンクは、入力端の光変調器と、出力端の光検出器と、光変調器と光検出器とを接続する光導波路とを含み、各フォトニックチャンネルインターフェースは、前記入力端でインターフェース接続する各一方向フォトニックリンク用の変調器ドライバと、前記出力端でインターフェース接続する各一方向フォトニックリンク用のトランスインピーダンス増幅器とを含む、例２又は３に記載の回路パッケージ。
【0106】
５．前記光変調器は、電界吸収型変調器（ＥＡＭ）である、例４に記載の回路パッケージ。
【0107】
６．前記光変調器は、リング変調器、マッハツェンダー変調器、量子閉じ込めシュタルク効果（ＱＣＳＥ）電気吸収変調器の少なくとも１つからなる、例４に記載の回路パッケージ。
【0108】
７．前記電子回路は、電子回路層に実装され、前記複数の双方向フォトニックチャネルは、フォトニック回路層に実装される、例４から６のいずれかに記載の回路パッケージ。
【0109】
８．前記電子回路層は、第１の半導体チップに実装され、前記フォトニック回路層は、第２の半導体チップに実装される、例７に記載の回路パッケージ。
【0110】
９．各変調器ドライバは、それが関連する前記光変調器の真上又は真下に配置され、各トランスインピーダンス増幅器は、それが関連する前記光検出器の真上又は真下に配置される、例７又は８に記載の回路パッケージ。
【0111】
１０．前記光変調器とそれに関連する変調器ドライバとの距離、及び、前記光検出器とそれに関連するトランスインピーダンス増幅器との距離は、２００μｍより小さい、例８に記載の回路パッケージ。
【0112】
１１．前記半導体チップの前記フォトニック回路層に、１つ以上のレーザー光源から供給される光キャリア信号を前記フォトニックリンクの前記光変調器に供給する光入力導波路をさらに備え、光キャリア信号は、関連する変調器ドライバによって印加される駆動信号にしたがって前記光変調器によって変調され、パケットを伝送する変調光信号を生成する、例８から１０のいずれかに記載の回路パッケージ。
【0113】
１２．前記回路パッケージに統合された１つ以上のレーザー光源をさらに含む、例１１に記載の回路パッケージ。
【0114】
１３．前記１つ以上のレーザー光源は、前記フォトニック回路層において１つ以上のフォトニック集積回路（ＰＩＣ）の前記光入力導波路と統合されている、例１２に記載の回路パッケージ。
【0115】
１４．前記１つ以上のレーザー光源は、前記半導体チップと同包されたインターポーザーに実装され、前記光入力導波路を含む前記フォトニック回路層において１つ以上のＰＩＣとエッジ結合される、例１２に記載の回路パッケージ。
【0116】
１５．前記１つ以上のレーザー光源は、前記回路パッケージの外部に実装され、前記回路パッケージにおける１つ以上のＰＩＣに１つ以上の光ファイバーを介して光学的に結合される、例１１に記載の回路パッケージ。
【0117】
１６．前記１つ以上の光ファイバーは、前記ＰＩＣに実装されたグレーティングカプラ上に配置された１つ以上のファイバーアタッチユニット（ＦＡＵ）を介して前記１つ以上のＰＩＣに結合される、例１５に記載の回路パッケージ
【0118】
１７．前記１つ以上の光ファイバーは、前記１つ以上のＰＩＣにエッジ結合されている、例１５に記載の回路パッケージ。
【0119】
１８．前記半導体チップの前記フォトニック回路層において、１つ以上の光スプリッタをさらに含み、前記１つ以上の光スプリッタのそれぞれは、前記１つ以上のレーザー光源のうちの関連する１つから受信した入力光キャリア信号を前記複数の入力光導波路間で分割する、例１５から１７のいずれかに記載の回路パッケージ。
【0120】
１９．前記電子集積回路が、特定用途向け集積回路（ＡＳＩＣ）である、例１から１８のいずれかに記載の回路パッケージ。
【0121】
２０．前記ＡＳＩＣは、デジタル混合信号電子回路を含む、例１９に記載の回路パッケージ。
【0122】
２１．各処理要素は、ベクトル間のドット積を計算するための乗算器と加算器の組み合わせツリーを実装するドット積エンジンをさらに含む、例１９に記載の回路パッケージ。
【0123】
２２．各処理要素は、ドット積エンジンの出力として計算されたベクトルを得て処理するためのテンソルエンジンをさらに含む、例２１に記載の回路パッケージ。
【0124】
２３．各処理要素は、メモリシステムをさらに含む、例２１又は２２に記載の回路パッケージ。
【0125】
２４．周辺コンポーネントインターコネクトエクスプレス（ＰＣＩＥ）インターフェース、先進ＲＩＳＣマシンコア、画像プロセッサ、又は外部メモリコントローラのうちの少なくとも１つをさらに含む、例１９から２３のいずれかに記載の回路パッケージ。
【0126】
２５．高帯域幅メモリ（ＨＢＭ）をさらに含み、前記ＡＳＩＣは、前記処理要素を前記ＨＢＭに通信可能に結合するＲＡＭコントローラをさらに含む、例１９から２４のいずれかに記載の回路パッケージ。
【0127】
２６．前記処理要素の前記メッセージルータは、一部にルーティング情報を有するパケットをルーティングするように構成され、前記ルーティング情報を用いて前記エレクトロフォトニックネットワークを通るパスが決定される、例１から２５のいずれかに記載の回路パッケージ。
【0128】
２７．各処理要素の前記メッセージルータは、そのフォトニックチャネルインターフェースの１つで受信されたパケット内のルーティング情報に基づいて、パケットの送信先を決定し、送信先が処理要素内のローカルメモリ又は処理エンジンである場合は、ローカルポートに、送信先が処理要素内のローカルメモリ又は処理エンジンでない場合は、フォトニックチャネルインターフェースの別の１つに、パケットをルーティングするように構成される、例２６に記載の回路パッケージ。
【0129】
２８．前記処理要素は、規則的なグリッドに配置され、前記パケット内のルーティング情報は、前記パケットの送信先である処理要素に対する、前記グリッドに沿った第１の次元及び第２の次元における相対位置を指定する、例２６又は２７に記載の回路パッケージ。
【0130】
２９．各双方向フォトニックチャネルは、前記第１の次元又は前記第２の次元の一方について、前記グリッドの直に隣接する処理要素の対を接続し、各処理要素の前記メッセージルータは、前記パケットを前記第１の次元に沿って直に隣接する処理要素にルーティングするとき、前記第１の次元における相対位置に関連するルーティング情報の値をデクリメントし、前記パケットを前記第２の次元に沿って直に隣接する処理要素にルーティングするとき、前記第２の次元における相対位置に関連するルーティング情報内の値をデクリメントするように構成される、例２８に記載の回路パッケージ
【0131】
３０．前記複数の双方向フォトニックチャネルは、前記処理要素を、少なくとも２つの次元を定義するグリッドトポロジを有するエレクトロフォトニックネットワークに接続するように構成され、前記パケット内のルーティング情報は、前記パケットの送信先である処理要素に対する、前記少なくとも２つの次元における座標を指定し、各処理要素の前記メッセージルータは、前記少なくとも２つの次元のうちの１つに沿って前記パケットをトポロジー的に直に隣接する処理要素にルーティングするとき、前記少なくとも２つの次元のうちの１つに関連する値をデクリメントすることによってパケット内のルーティング情報を修正する、例２６から２９のいずれかに記載の回路パッケージ。
【0132】
３１．前記電子集積回路は、タイルの配列として構成され、前記タイルのそれぞれが前記処理要素の１つに対応する、例１から３０のいずれかに記載の回路パッケージ。
【0133】
３２．前記タイルは、矩形グリッドに配置された矩形タイルである、例３１に記載の回路パッケージ。
【0134】
３３．前記複数の双方向フォトニックチャネルは、前記矩形グリッド内の直に隣接するタイルの各ペアを直接接続して、前記エレクトロフォトニックネットワークの四辺形メッシュトポロジーをもたらすように構成される、例３２に記載の回路パッケージ。
【0135】
３４．前記複数の双方向フォトニックチャネルは、前記矩形グリッド内の非隣接タイルの１つ以上のペアをさらに直接接続するように構成されている、例３３に記載の回路パッケージ。
【0136】
３５．前記矩形グリッドの対向するエッジ上のタイルのペアを直接接続して、前記エレクトロフォトニックネットワークのラップトロイダルメッシュトポロジーをもたらすように構成されている双方向フォトニックチャネルをさらに含む、例３３から３５のいずれかに記載の回路パッケージ。
【0137】
３６．前記双方向フォトニックチャネルは、前記処理要素を立方格子トポロジーを有するエレクトロフォトニックネットワークに接続するように構成される、例１から３５のいずれかに記載の回路パッケージ。
【0138】
３７．エレクトロフォトニックネットワークの第１の電子処理要素において、ヘッダとペイロードとを有する電子パケットを生成するステップであって、前記ヘッダ又は前記ペイロードの一部が、前記エレクトロフォトニックネットワークの送信先電子処理要素に関連するルーティング情報を含む、ステップと、
前記ルーティング情報に基づいて、前記第１の電子処理要素から、エレクトロフォトニックネットワークの１つ以上の中間電子処理要素を経由して送信先電子処理要素に至るパスを決定するステップであって、前記第１の電子処理要素、前記送信先電子処理要素、及び前記中間電子処理要素は、関連するフォトニックチャネルによって接続される、ステップと、
前記第１の電子処理要素において、パケットを、フォトニックチャネルの１つを経由して前記パスに沿った第１の中間電子処理要素に接続されたポートにルーティングし、前記パケットを、前記第１の中間電子処理要素に送信するために電子信号から光信号に変換するステップと、
前記１つ以上の中間電子処理要素のそれぞれにおいて、光信号を電子信号に変換し直し、当該電子信号を、前記フォトニックチャネルの１つを介して、前記中間電子処理要素、及び前記送信先電子処理要素のうち前記パスに沿って次にある処理要素に接続されたポートにルーティングし、電子信号を、前記パスに沿って次にある処理要素への送信のために光信号に変換するステップと、
前記送信先電子処理要素において、前記光信号を前記電子信号に変換するステップと、
を含む方法。
前記ルーティング情報に基づいて、前記第１の電子処理要素から、エレクトロフォトニックネットワークの１つ以上の中間電子処理要素を経由して送信先電子処理要素に至るパスを決定するステップであって、前記第１の電子処理要素、前記送信先電子処理要素、及び前記中間電子処理要素は、関連するフォトニックチャネルによって接続される、ステップと、
前記第１の電子処理要素において、パケットを、フォトニックチャネルの１つを経由して前記パスに沿った第１の中間電子処理要素に接続されたポートにルーティングし、前記パケットを、前記第１の中間電子処理要素に送信するために電子信号から光信号に変換するステップと、
前記１つ以上の中間電子処理要素のそれぞれにおいて、光信号を電子信号に変換し直し、当該電子信号を、前記フォトニックチャネルの１つを介して、前記中間電子処理要素、及び前記送信先電子処理要素のうち前記パスに沿って次にある処理要素に接続されたポートにルーティングし、電子信号を、前記パスに沿って次にある処理要素への送信のために光信号に変換するステップと、
前記送信先電子処理要素において、前記光信号を前記電子信号に変換するステップと、
を含む方法。
【0139】
３８．各電子信号を光信号に変換することは、それぞれの前記電子処理要素の変調器ドライバを操作して、フォトニックチャネルの関連する変調器に前記パケットにしたがって前記光信号を変調させることを含み、前記光信号を電子信号に変換することは、前記フォトニックチャネルの光検出器によって光信号を測定することを含む、例３７に記載の方法。
【0140】
３９．前記第１の電子処理要素、前記中間電子処理要素、及び前記送信先電子処理要素のそれぞれがルータを含み、前記エレクトロフォトニックネットワークを通る前記パスが、前記第１の電子処理要素、前記中間電子処理要素、及び前記送信先電子処理要素の前記ルータによって集合的に決定される、例３７又は３８に記載の方法。
【0141】
４０．前記ルーティング情報は、前記送信先電子処理要素に対する第１の次元及び第２の次元における相対的な位置の観点から前記送信先を指定し、前記方法は、前記第１の電子処理要素又は前記中間電子処理要素のいずれかから前記パスに沿った前記次の電子処理要素への前記パケットの送信に応答して、前記パケット内の前記ルーティング情報を修正することをさらに含む、例３９に記載の方法。
【0142】
４１．前記第１の電子処理要素、前記中間電子処理要素、及び前記送信先電子処理要素の前記ルータは、それぞれ、ローカルポートと、それぞれの前記電子処理要素を前記エレクトロフォトニックネットワーク内の複数の他の電子処理要素に接続する複数のフォトニックチャネルに関連するポートとを含み、前記第１の電子処理要素及び前記中間電子処理要素の前記ルータはそれぞれ、前記パケットを、前記パスに沿って前記次の電子処理要素に接続された前記フォトニックチャネルに関連する前記ポートに導き、前記送信先電子処理要素の前記ルータは、前記パケットをそのローカルポートに導く、例３９又は４０に記載の方法。
【0143】
４２．システムであって、
前記システムは、第１の回路パッケージと第２の回路パッケージとを含み、前記第１の回路パッケージと前記第２の回路パッケージはそれぞれ、
複数の処理要素と、メッセージを送受信可能な複数のメッセージルータとを含む電子集積回路（ＥＩＣ）と、
前記メッセージルータを、前記メッセージについて動作可能なチップ内エレクトロフォトニックネットワークに接続する複数のチップ内双方向フォトニックチャネルを含み、
前記システムは、さらに、前記第１の回路パッケージと前記第２の回路パッケージの前記メッセージルータを、前記第１の回路パッケージのＥＩＣから前記第２の回路パッケージのＥＩＣにメッセージを送信できるチップ間エレクトロフォトニックネットワークに接続する複数のチップ間双方向フォトニックチャネルと、
を含む、システム。
前記システムは、第１の回路パッケージと第２の回路パッケージとを含み、前記第１の回路パッケージと前記第２の回路パッケージはそれぞれ、
複数の処理要素と、メッセージを送受信可能な複数のメッセージルータとを含む電子集積回路（ＥＩＣ）と、
前記メッセージルータを、前記メッセージについて動作可能なチップ内エレクトロフォトニックネットワークに接続する複数のチップ内双方向フォトニックチャネルを含み、
前記システムは、さらに、前記第１の回路パッケージと前記第２の回路パッケージの前記メッセージルータを、前記第１の回路パッケージのＥＩＣから前記第２の回路パッケージのＥＩＣにメッセージを送信できるチップ間エレクトロフォトニックネットワークに接続する複数のチップ間双方向フォトニックチャネルと、
を含む、システム。
【0144】
４３．それぞれの回路パッケージは、ＥＩＣが実装される電子回路層と、チップ内双方向フォトニックチャネルが実装されるフォトニック回路層とを含む、例４２に記載のシステム。
【0145】
４４．それぞれの回路パッケージは、前記電子回路層を実装する第１の半導体チップと、前記フォトニック回路層を実装する第２の半導体チップとを含む、例４３に記載のシステム。
【0146】
４５．それぞれの回路パッケージの前記複数のチップ内双方向フォトニックチャネルは、前記回路パッケージのフォトニック集積回路（ＰＩＣ）内の光導波路を使用して実装される、例４２から４４のいずれかに記載のシステム。
【0147】
４６．前記チップ内双方向フォトニックチャネルはそれぞれ、それぞれの方向に１つ以上のフォトニックリンクを含み、各フォトニックリンクは、前記ＰＩＣにおいて、フォトニックリンクの入力端にある光変調器と、フォトニックリンクの出力端にある光検出器と、光変調器と光検出器とを接続する光導波路とを含む、例４２から４５のいずれかに記載のシステム。
【0148】
４７．前記メッセージルータは、前記双方向フォトニックチャネルの１つとインターフェース接続するためのフォトニック回路インターフェースをそれぞれ含み、各フォトニック回路インターフェースは、フォトニックリンクの入力端でインターフェース接続する各フォトニックリンク用の変調器ドライバと、フォトニックリンクの出力端でインターフェース接続する各フォトニックリンク用のトランスインピーダンス増幅器とを含む、例４６に記載のシステム。
【0149】
４８．前記複数のチップ間双方向フォトニックチャネルは、光ファイバーを用いて実装される、例４６又は４７に記載のシステム。
【0150】
４９．前記第１の回路パッケージと前記第２の回路パッケージはそれぞれ、光ファイバーを介して前記第１の回路パッケージのエレクトロフォトニックネットワークを前記第２の回路パッケージのエレクトロフォトニックネットワークに結合するための１つ以上の光結合構造を含む、例４８に記載のシステム。
【0151】
５０．前記光カプラは、前記ＰＩＣにおけるエッジカプラを含む、例４９に記載のシステム。
【0152】
５１．前記光結合構造は、前記ＰＩＣにおけるグレーティングカプラ上に配置されたファイバーアタッチユニット（ＦＡＵ）を含む、例４９又は５０に記載のシステム。
【0153】
５２．前記チップ間双方向フォトニックチャネルは、多重化された光信号を送信するように構成されている、例４８から５１のいずれかに記載のシステム。
【0154】
５３．前記チップ間双方向フォトニックチャネルはそれぞれ、それぞれの方向への各方向フォトニックチャネルを含み、前記第１の回路パッケージの第１のＰＩＣと前記第２の回路パッケージの第２のＰＩＣとの間の各方向フォトニックチャネルは、
前記第１のＰＩＣにおいて、複数のそれぞれの波長で変調光信号を生成する複数の光変調器と、前記複数の波長で生成された前記変調光信号を単一の多重化された光信号に結合するマルチプレクサと、前記多重化された光信号を前記光ファイバーに結合する光結合構造と、
前記第２のＰＩＣにおいて、前記多重化された光信号を前記光ファイバーから前記第２のＰＩＣに結合する光結合構造と、多重化された光信号を複数の波長における変調光信号にデマルチプレクスするデマルチプレクサと、前記複数の波長における前記変調光信号を測定する複数のそれぞれの光検出器と、
を含む、例５２に記載のシステム。
前記第１のＰＩＣにおいて、複数のそれぞれの波長で変調光信号を生成する複数の光変調器と、前記複数の波長で生成された前記変調光信号を単一の多重化された光信号に結合するマルチプレクサと、前記多重化された光信号を前記光ファイバーに結合する光結合構造と、
前記第２のＰＩＣにおいて、前記多重化された光信号を前記光ファイバーから前記第２のＰＩＣに結合する光結合構造と、多重化された光信号を複数の波長における変調光信号にデマルチプレクスするデマルチプレクサと、前記複数の波長における前記変調光信号を測定する複数のそれぞれの光検出器と、
を含む、例５２に記載のシステム。
【0155】
５４．前記チップ内双方向フォトニックチャネルの変調器に光キャリア信号を供給するための少なくとも１つの単一波長光源と、前記チップ間双方向フォトニックチャネルの変調器のグループに複数の波長で光キャリア信号を供給するための少なくとも１つの複数波長光源と、
をさらに含む、例４２から５３のいずれかに記載のシステム。
をさらに含む、例４２から５３のいずれかに記載のシステム。
【0156】
５５．前記少なくとも１つの単一波長光源と前記少なくとも１つの複数波長光源は、前記回路パッケージに統合された光源を含む、例５４に記載のシステム。
【0157】
５６．前記少なくとも１つの単一波長光源と前記少なくとも１つの複数波長光源は、前記回路パッケージの外部に設けられ、１つ以上の複数の光ファイバーを介して前記回路パッケージにおける１つ以上のＰＩＣに光学的に結合する光源を含む、例５４に記載のシステム。
【0158】
５７．複数の関連する処理要素を有する関連するＥＩＣを有する複数の追加的な回路パッケージをさらに含み、前記第１の回路パッケージ、前記第２の回路パッケージ、及び前記追加的な回路パッケージは、四辺形グリッドに配置されている、例４２から５６のいずれかに記載のシステム。
【0159】
５８．前記チップ内双方向フォトニックチャネルと前記チップ間双方向フォトニックチャネルはそれぞれ、前記四辺形グリッド内で直に隣接する処理要素のペアを接続し、前記チップ間エレクトロフォトニックネットワークの四辺形メッシュトポロジーをもたらす、例５７に記載のシステム。
【0160】
５９．前記複数のチップ間双方向フォトニックチャネルは、前記四辺形グリッドの反対側の端にある処理要素のペアを直接接続して、拡張可能なラップトロイダルメッシュトポロジーを有するエレクトロフォトニックネットワークを形成するようにさらに構成される、例５８に記載のシステム。
【0161】
６０．前記メッセージルータが、前記チップ間エレクトロフォトニックネットワークと前記チップ内エレクトロフォトニックネットワークを介して前記メッセージをルーティングするように構成され、前記メッセージが第１の処理要素から双方向フォトニックチャネルを介して前記第１の処理要素と直接接続されていない第２の処理要素に送信されるとき、前記電子が、１つ以上の第３の処理要素を通るパスに沿って前記第２の処理要素にルーティングされ、前記メッセージが、前記第３の処理要素のそれぞれで光学ドメインから電子ドメインに変換され、前記それぞれの第３の処理要素に関連するメッセージルータで光学ドメインに戻される、例４２から５９のいずれかに記載のシステム。
【0162】
６１．前記メッセージルータは、ルーティング情報に関連する前記メッセージの一部に基づき、各メッセージの前記エレクトロフォトニックネットワークを通るパスを決定するように構成される、例６０に記載のシステム。
【0163】
６２．関連する重みのセットを有する複数のニューラルノードを含む人工ニューラルネットワーク（ＡＮＮ）を実装する処理デバイスであって、該処理デバイスは、
双方向フォトニックチャネルによって接続された複数の電子処理要素を含むエレクトロフォトニックネットワークであって、各処理要素は、１つ以上の処理エンジンと、前記１つ以上の処理エンジンに通信可能に結合されたメモリと、前記双方向フォトニックチャネルのうちの２つ以上にインターフェース接続され、前記メモリに通信可能に結合されたメッセージルータと、を含み、
前記ＡＮＮの各ニューラルノードは、１つ以上の処理要素によって実装され、
各ニューラルノードに関連する重みのセットが、前記ニューラルノードを実装する１つ以上の処理要素の前記メモリに記憶され、
前記メッセージルータは、前記ニューラルノード間の活性値の所定のフローに基づいて、前記ＡＮＮの実行中に前記各ニューラルノードを実装する処理要素間で複数の活性値をストリーミングするように構成され、
各処理要素内の前記１つ以上の処理エンジンは、前記処理要素によって実装された各ニューラルノードについて、前記処理要素の前記メモリに記憶された前記関連する重みのセットと、前記ＡＮＮの実行中にノードの出力活性値を生成するために処理要素にストリーミングされたそのノードへの入力活性値とに対する計算を実行するように構成される、処理デバイス。
双方向フォトニックチャネルによって接続された複数の電子処理要素を含むエレクトロフォトニックネットワークであって、各処理要素は、１つ以上の処理エンジンと、前記１つ以上の処理エンジンに通信可能に結合されたメモリと、前記双方向フォトニックチャネルのうちの２つ以上にインターフェース接続され、前記メモリに通信可能に結合されたメッセージルータと、を含み、
前記ＡＮＮの各ニューラルノードは、１つ以上の処理要素によって実装され、
各ニューラルノードに関連する重みのセットが、前記ニューラルノードを実装する１つ以上の処理要素の前記メモリに記憶され、
前記メッセージルータは、前記ニューラルノード間の活性値の所定のフローに基づいて、前記ＡＮＮの実行中に前記各ニューラルノードを実装する処理要素間で複数の活性値をストリーミングするように構成され、
各処理要素内の前記１つ以上の処理エンジンは、前記処理要素によって実装された各ニューラルノードについて、前記処理要素の前記メモリに記憶された前記関連する重みのセットと、前記ＡＮＮの実行中にノードの出力活性値を生成するために処理要素にストリーミングされたそのノードへの入力活性値とに対する計算を実行するように構成される、処理デバイス。
【0164】
６３．各処理要素が１つ以上のニューラルノードを実装する、例６２に記載の処理デバイス。
【0165】
６４．前記ニューラルノードの少なくとも１つが、前記処理要素の複数によって共同で実装される、例６２又は６３に記載の処理デバイス。
【0166】
６５．同じ処理要素によって実装されたニューラルノード間の活性値は、前記処理要素のメモリを介して交換され、異なる処理要素によって実装されたニューラルノード間の活性値は、双方向フォトニックチャネルのうち関連する双方向フォトニックチャネルを介して交換される、例６２から６４のいずれかに記載の処理デバイス。
【0167】
６６．前記１つ以上の処理エンジンが、積和演算（ＭＡＣ）を実行するように構成された乗算器と加算器の組合せツリーを実装するドット積エンジンを備える、例６２から６５のいずれかに記載の処理装置。
【0168】
６７．前記１つ以上の処理エンジンは、非線形活性値を計算するように構成されたテンソルエンジンをさらに含む、例６６に記載の処理デバイス。
【0169】
６８．前記複数の電子処理要素は、複数の前記電子処理要素を含む１つ以上の電子集積回路（ＥＩＣ）上に実装され、前記電子処理要素と各ＥＩＣとを接続する前記双方向フォトニックチャネルは、前記ＥＩＣと積層された関連フォトニック集積回路（ＰＩＣ）における光導波路として実装される、例６２から６７のいずれかに記載の処理デバイス。
【0170】
６９．各ＥＩＣとそれに関連するＰＩＣがシステムインパッケージ（ＳＩＰ）として一緒にパッケージされる、例６８に記載の処理デバイス。
【0171】
７０．前記複数の電子処理要素は複数のＥＩＣ上に実装され、前記複数のＥＩＣのうち異なる複数のＥＩＣ上の電子処理要素を接続する前記双方向フォトニックチャネルは、光ファイバーを用いて実装される、例６８又は６９に記載の処理装置。
【0172】
７１．前記複数の電子処理要素は、四辺形のグリッドに配置され、前記双方向フォトニックチャネルは、前記グリッド内の直に隣接する処理要素のペアを接続して、前記エレクトロフォトニックネットワークの四辺形のメッシュトポロジーをもたらすように集合的に構成される、例６８から７０のいずれかに記載の処理デバイス。
【0173】
７２．関連する所定の重みを有する複数のニューラルノードを含む人工ニューラルネットワーク（ＡＮＮ）を実装する方法であって、該方法は、
双方向フォトニックチャネルによって接続された複数の処理要素を含むエレクトロフォトニックネットワークに接続するステップであって、各処理要素が、１つ以上の処理エンジンと、前記１つ以上の処理エンジンに通信可能に結合されたメモリと、２つ以上のフォトニックチャネルインターフェースと前記メモリと結合する通信カプリングとを含むメッセージルータとを含む、ステップと、
実行前に、前記ニューラルノードと前記処理要素との間の割り当てに基づいて、各ニューラルノードに関連付けられた所定の重みを、前記ニューラルノードを実装するように割り当てられた１つ以上の処理要素の前記メモリにロードするステップと、
実行時に前記メッセージルータを使用して、前記割り当て及び前記ＡＮＮ内の前記ニューラルノード間の活性値の所定のフローに基づいて、処理要素によって実装されたニューラルノード間で活性値をルーティングするステップであって、前記処理要素のうちの異なる送信元要素及び送信先要素によって実装されたノード間でルーティングされた活性値が変換され、前記送信元要素から前記送信先要素までのパスに沿った任意の中間処理要素及び前記送信元要素において、双方向フォトニックチャネルを介した送信のために電気的形態から光学的形態に変換され、前記パスに沿った任意の中間処理要素及び前記送信先要素において、光学的形態から電気的形態に変換される、ステップと、
を含む、方法。
双方向フォトニックチャネルによって接続された複数の処理要素を含むエレクトロフォトニックネットワークに接続するステップであって、各処理要素が、１つ以上の処理エンジンと、前記１つ以上の処理エンジンに通信可能に結合されたメモリと、２つ以上のフォトニックチャネルインターフェースと前記メモリと結合する通信カプリングとを含むメッセージルータとを含む、ステップと、
実行前に、前記ニューラルノードと前記処理要素との間の割り当てに基づいて、各ニューラルノードに関連付けられた所定の重みを、前記ニューラルノードを実装するように割り当てられた１つ以上の処理要素の前記メモリにロードするステップと、
実行時に前記メッセージルータを使用して、前記割り当て及び前記ＡＮＮ内の前記ニューラルノード間の活性値の所定のフローに基づいて、処理要素によって実装されたニューラルノード間で活性値をルーティングするステップであって、前記処理要素のうちの異なる送信元要素及び送信先要素によって実装されたノード間でルーティングされた活性値が変換され、前記送信元要素から前記送信先要素までのパスに沿った任意の中間処理要素及び前記送信元要素において、双方向フォトニックチャネルを介した送信のために電気的形態から光学的形態に変換され、前記パスに沿った任意の中間処理要素及び前記送信先要素において、光学的形態から電気的形態に変換される、ステップと、
を含む、方法。
【0174】
７３．前記重みは、前記エレクトロフォトニックネットワークの外部のメモリからＰＣＩＥインターフェースを介して前記処理要素の前記メモリにロードされる、例７２に記載の方法。
【0175】
７４．共有処理要素によって実装されたニューラルノード間の活性値が、前記処理要素内で電子的に転送される、例７２又は７３に記載の方法。
【0176】
７５．前記ニューラルノードと前記処理要素との間の前記割り当ては、コンパイル時に決定される、例７２から７４のいずれかに記載の方法。
【0177】
７６．前記エレクトロフォトニックネットワークを、
例７２に記載のように構成されたルータによって行われるルーティング決定にしたがって、前記処理要素間の活性値をストリームし、
各ノードについて、前記ノードを実装するために割り当てられた前記１つ以上の処理要素の１つ以上の処理エンジンを使用して、関連する重み及び前記ノードにストリーミングされる入力活性値に対して計算を実行する、
ように動作させるステップをさらに含む、例７２から７５のいずれかに記載の方法。
例７２に記載のように構成されたルータによって行われるルーティング決定にしたがって、前記処理要素間の活性値をストリームし、
各ノードについて、前記ノードを実装するために割り当てられた前記１つ以上の処理要素の１つ以上の処理エンジンを使用して、関連する重み及び前記ノードにストリーミングされる入力活性値に対して計算を実行する、
ように動作させるステップをさらに含む、例７２から７５のいずれかに記載の方法。
【0178】
７７．電力消費を低減するために、前記活性値のフローに基づいて前記双方向フォトニックチャネル内のフォトニックリンクを選択的に活性化するステップをさらに含む、例７２から７６のいずれかに記載の方法。
【0179】
７８．それぞれの双方向フォトニックチャネルが複数のフォトニックリンクを含み、それぞれのチャネルの前記リンクの１つがマスターリンクとして機能するようにアクティブに維持される、例７７記載の方法。
【0180】
７９．例７２から７８のいずれかに記載の方法であって、それぞれの双方向フォトニックチャネルはそれぞれの方向の複数のフォトニックリンクを含み、前記方法はさらに、前記エレクトロフォトニックネットワークの初期化中に、前記双方向フォトニックチャネルの少なくともいくつかに論理チャネルを確立するステップを含み、双方向フォトニックチャネルに論理チャネルを確立するステップは、その双方向フォトニックチャネル内のそれぞれの方向のフォトニックリンクを結合してリンクの結合グループを形成することを含む、方法。
【0181】
８０．機能しないフォトニックリンクは結合グループから省かれる、例７９に記載の方法。
【0182】
８１．前記結合グループにおけるフォトニックリンクの数は、前記ＡＮＮの実装に関連する帯域幅要件に基づいて決定される、例７９又は８０に記載の方法。
【0183】
８２．ハードウェア回路であって
複数の行及び複数の列を有する組合せツリーであって、前記組合せツリーは、当該組合せツリーの第１の列で受信された入力値に基づいて１つ以上のドット積値を生成するために複数のハードウェアユニットを使用する、組合せツリーと、
前記入力値を記憶するための第１のメモリデバイスと、
前記第１のメモリデバイスから前記入力値を取得し、スイッチファブリックにおいて前記入力値を再編成するように構成されたシーケンサと、
前記再編成された入力値の一部が前記スイッチファブリックから前記組合せツリーの前記第１の列に提供される時間を制御するように構成されたクロックと、
複数のハードウェアユニットであって、各ハードウェアユニットが、１つ以上のドット積値を累積するように構成されたアキュムレータを含み、前記クロックによって規定される１つ以上の後続の期間中に、前記再編成された入力値の追加の部分が、前記第１の列に関連づけられたハードウェアユニットのアキュムレータに提供され、前記クロックによって制御される１つ以上の追加の期間中に、前記第１の列の前記ハードウェアユニットの前記アキュムレータのそれぞれに関連付けられた値が、前記第１のメモリデバイスに書き込まれる、複数のハードウェアユニットと、
を含む、ハードウェア回路。
複数の行及び複数の列を有する組合せツリーであって、前記組合せツリーは、当該組合せツリーの第１の列で受信された入力値に基づいて１つ以上のドット積値を生成するために複数のハードウェアユニットを使用する、組合せツリーと、
前記入力値を記憶するための第１のメモリデバイスと、
前記第１のメモリデバイスから前記入力値を取得し、スイッチファブリックにおいて前記入力値を再編成するように構成されたシーケンサと、
前記再編成された入力値の一部が前記スイッチファブリックから前記組合せツリーの前記第１の列に提供される時間を制御するように構成されたクロックと、
複数のハードウェアユニットであって、各ハードウェアユニットが、１つ以上のドット積値を累積するように構成されたアキュムレータを含み、前記クロックによって規定される１つ以上の後続の期間中に、前記再編成された入力値の追加の部分が、前記第１の列に関連づけられたハードウェアユニットのアキュムレータに提供され、前記クロックによって制御される１つ以上の追加の期間中に、前記第１の列の前記ハードウェアユニットの前記アキュムレータのそれぞれに関連付けられた値が、前記第１のメモリデバイスに書き込まれる、複数のハードウェアユニットと、
を含む、ハードウェア回路。
【0184】
８３．前記ハードウェアユニットは、少なくとも１つの融合型ＭＡＣ（ＦＭＡ）ユニットを含む、例８２に記載のハードウェア回路。
【0185】
８４．前記組合せツリーは、前記入力値を受信し、前記第１の列によって受信された前記入力値に基づいて前記１つ以上のドット積値を生成するように構成されたドット積ユニットのアレイを含み、前記アレイの単一のドット積ユニットは、前記ハードウェアユニットのうちの２つ以上のハードウェアユニットを含む、例８２から８４のいずれかに記載のハードウェア回路。
【0186】
８５．例８４に記載のハードウェア回路であって、前記ハードウェア回路は、制御回路をさらに備え、前記ドット積ユニットのアレイは、データパスを含み、前記制御回路は、前記データパスを使用して、前記アレイの２つの隣接する列間で少なくとも２つの重み値を入れ替えさせるか、又は、前記アレイの第１の行から前記アレイの第２の行に重み値を伝搬させるように構成される、ハードウェア回路。
【0187】
８６．前記シーケンサは、前記組合せツリーを前記第１のメモリデバイスに動作可能に結合する前記スイッチファブリックを含む、例８２から８５のいずれかに記載のハードウェア回路。
【0188】
８７．前記シーケンサは、パラメータのセットに基づいて前記第１の列に提供される入力ベクトルのシーケンスを決定し、前記パラメータのセットは、ストライド値、ダイレーション値、又はカーネルサイズ値のうちの少なくとも１つを含む、例８２から８６のいずれかに記載のハードウェア回路。
【0189】
８８．前記シーケンサは、１つ以上のクロックサイクル中に前記第１のメモリデバイスから読み出された複数の重み値及び複数のオペランド値を読み出すことによって、入力ベクトルのシーケンスの個々の入力ベクトルを生成するように構成され、前記個々の入力ベクトルは、前記複数の重み値及び前記複数のオペランド値から構成される、例８２から８７のいずれかに記載のハードウェア回路。
【0190】
８９．前記第１のメモリデバイスはメモリバンクを含み、前記１つ以上のクロックサイクルの間に前記シーケンサによって読み出される前記複数の重み値及び前記複数のオペランド値は、
前記複数の重み値及び前記複数のオペランド値が、前記メモリバンクからの受信後に、前記スイッチファブリックにおける前記シーケンサによって並び替えられ、前記重み値及び前記オペランド値のそれぞれは、前記シーケンサによってシングルパスで読み取られるように、
読み出しのために選択される、例８８に記載のハードウェア回路。
前記複数の重み値及び前記複数のオペランド値が、前記メモリバンクからの受信後に、前記スイッチファブリックにおける前記シーケンサによって並び替えられ、前記重み値及び前記オペランド値のそれぞれは、前記シーケンサによってシングルパスで読み取られるように、
読み出しのために選択される、例８８に記載のハードウェア回路。
【0191】
９０．前記第１のメモリデバイスはメモリバンクを含み、１つ以上のクロックサイクルの間に前記シーケンサによって読み出される前記複数の重み値及び前記複数のオペランド値は、
前記複数の重み値及び前記複数のオペランド値が、前記メモリバンクからの受信後に、前記スイッチファブリックにおける前記シーケンサによって並べ替えられ、前記重み値及び前記オペランド値のそれぞれは、前記シーケンサによってシングルパスで読み取られ、
データが前記メモリバンクの各々から読み出され、前記メモリバンクの行の数は、組合せツリーの最初の列における行の数と実質的に等しいように、
読み出しのために選択される、例８８に記載のハードウェア回路。
前記複数の重み値及び前記複数のオペランド値が、前記メモリバンクからの受信後に、前記スイッチファブリックにおける前記シーケンサによって並べ替えられ、前記重み値及び前記オペランド値のそれぞれは、前記シーケンサによってシングルパスで読み取られ、
データが前記メモリバンクの各々から読み出され、前記メモリバンクの行の数は、組合せツリーの最初の列における行の数と実質的に等しいように、
読み出しのために選択される、例８８に記載のハードウェア回路。
【0192】
９１．前記シーケンサによる、前記第１のメモリデバイスの連続的な読み出しのそれぞれは、前のクロックサイクルの間に前記シーケンサによって読み出されなかった、前記第１のメモリデバイスからの新しい重み値及び新しいオペランド値の読み出しをもたらす、例８８に記載のハードウェア回路。
【0193】
９２．単一のハードウェアユニットが、当該単一のハードウェアユニットによって生成された出力値が少なくとも２つの隣接するハードウェアユニットのそれぞれへの入力値として共有されるように、前記少なくとも２つの隣接するハードウェアユニットに動作可能に結合されている、例８２から９１のいずれかに記載のハードウェア回路。
【0194】
９３．前記アキュムレータは、単一のハードウェアユニットを値が流れるときに、前記単一のハードウェアユニットによって生成された部分ドット積値をアキュムレートするように構成された複数のアキュムレータを含む、例８２から９２のいずれかに記載のハードウェア回路。
【0195】
９４．前記組合せツリーは、前記ハードウェアユニットを流れる値のクロックアライメントを維持するように構成された、前記ハードウェアユニットに関連するレジスタを含む、例８２から９３のいずれかに記載のハードウェア回路。
【0196】
９５．例８２から９４のいずれかに記載のハードウェア回路であって、当該ハードウェア回路は、一連の入力ベクトルのすべてが前記組合せツリーに入力された後に、入力値に対する最終ドット積値のセットを生成するように構成されたロジックを含み、前記最終ドット積値のセットは、前記組合せツリーの前記ハードウェアユニットのアキュムレータに格納された値から構築される、ハードウェア回路。
【0197】
９６．前記ロジックは、前記最終ドット積値のセットを前記第１のメモリデバイスに格納するように構成される、例９５に記載のハードウェア回路。
【0198】
９７．前記入力値は、少なくとも１つの重み値と少なくとも１つのオペランド値を含む、例８２から９６のいずれかに記載のハードウェア回路。
【0199】
９８．前記ハードウェア回路は、光集積回路（ＰＩＣ）の一部である、例８２から９７のいずれかに記載のハードウェア回路。
【0200】
９９．方法であって、当該方法は、
シーケンサによって、該シーケンサに動作可能に結合されたメモリデバイスのセットから、第１の複数の重み値と第１の複数のオペランド値を読み出すステップと、
組合せツリーの第１の列において、前記シーケンサから複数の第１の入力ベクトルを受信するステップであって、前記第１の複数の入力ベクトルは、前記第１の複数の重み値と前記第１の複数のオペランド値とを含む、ステップと、
前記組合せツリーの前記第１の列において、数学ユニットによって前記第１の複数の入力ベクトルを処理するステップであって、前記数学ユニットは、前記入力ベクトルのそれぞれに関連付けられ、前記数学ユニットのそれぞれは、少なくとも１つのアキュムレータを有し、前記組合せツリーは、該組合せツリーの前記第１の列で前記数学ユニットによって受信された値に基づいて、前記数学ユニットのそれぞれのアキュムレータにドット積値を生成するように構成される、ステップと、
前記シーケンサによって、前記メモリデバイスのセットから第２の複数の重み値と第２の複数のオペランド値を読み出すステップと、
前記組合せツリーの前記第１の列において、前記シーケンサから第２の複数の入力ベクトルを受信するステップであって、前記第２の複数の入力ベクトルは、前記第２の複数の重み値と前記第２の複数のオペランド値とを含む、ステップと、
前記組合せツリーの前記第１の列の前記数学ユニットによって、前記第２の複数の入力ベクトルを処理するステップであって、前記第１の複数の入力ベクトルと前記第２の複数の入力ベクトルは、前記組合せツリーの前記第１の列の前記数学ユニットによって受信される入力ベクトルのシーケンスの一部である、ステップと、
前記入力ベクトルのシーケンスのすべてが、前記組合せツリーの前記第１の列によって受信され、関連する数学ユニットによって処理された後、前記組合せツリーの前記第１の列のすべての行に存在する前記数学ユニットのそれぞれのアキュムレータから値を取得することによって、最終的なドット積値のセットを提供するステップと、
を含む、方法。
シーケンサによって、該シーケンサに動作可能に結合されたメモリデバイスのセットから、第１の複数の重み値と第１の複数のオペランド値を読み出すステップと、
組合せツリーの第１の列において、前記シーケンサから複数の第１の入力ベクトルを受信するステップであって、前記第１の複数の入力ベクトルは、前記第１の複数の重み値と前記第１の複数のオペランド値とを含む、ステップと、
前記組合せツリーの前記第１の列において、数学ユニットによって前記第１の複数の入力ベクトルを処理するステップであって、前記数学ユニットは、前記入力ベクトルのそれぞれに関連付けられ、前記数学ユニットのそれぞれは、少なくとも１つのアキュムレータを有し、前記組合せツリーは、該組合せツリーの前記第１の列で前記数学ユニットによって受信された値に基づいて、前記数学ユニットのそれぞれのアキュムレータにドット積値を生成するように構成される、ステップと、
前記シーケンサによって、前記メモリデバイスのセットから第２の複数の重み値と第２の複数のオペランド値を読み出すステップと、
前記組合せツリーの前記第１の列において、前記シーケンサから第２の複数の入力ベクトルを受信するステップであって、前記第２の複数の入力ベクトルは、前記第２の複数の重み値と前記第２の複数のオペランド値とを含む、ステップと、
前記組合せツリーの前記第１の列の前記数学ユニットによって、前記第２の複数の入力ベクトルを処理するステップであって、前記第１の複数の入力ベクトルと前記第２の複数の入力ベクトルは、前記組合せツリーの前記第１の列の前記数学ユニットによって受信される入力ベクトルのシーケンスの一部である、ステップと、
前記入力ベクトルのシーケンスのすべてが、前記組合せツリーの前記第１の列によって受信され、関連する数学ユニットによって処理された後、前記組合せツリーの前記第１の列のすべての行に存在する前記数学ユニットのそれぞれのアキュムレータから値を取得することによって、最終的なドット積値のセットを提供するステップと、
を含む、方法。
【0201】
１００．前記少なくとも１つのアキュムレータは、前記数学ユニットのそれぞれにおける複数のアキュムレータを含み、前記複数のアキュムレータは、値が前記数学ユニットのそれぞれを流れるときに、前記数学ユニットのそれぞれによって生成された部分ドット積値をアキュムレートするように構成される、例９９に記載の方法。
【0202】
１０１．ハードウェア回路であって、該ハードウェア回路は、
ドット積ユニットのアレイによって入力として受け取られた重み値と活性値に基づいてドット積値を生成する組合せツリーとして構成されたドット積ユニットのアレイであって、当該ドット積ユニットのアレイは６４行×３２列のドット積ユニットを含み、各ドット積ユニットは、２つの８ビット値を入力として受け取るように構成され、アキュムレータを有する、ドット積ユニットのアレイと、
前記アレイをメモリデバイスのセットに動作可能に結合するスイッチファブリックであって、前記メモリデバイスのセットは、複数の重み値と複数の活性値を格納し、前記スイッチファブリックは、１つ以上のクロックサイクルからなる第１のクロックシーケンスの間に、前記アレイの第１の列に入力として６４個の入力ベクトルを提供するように構成される、スイッチファブリックと、を含み、
１つ以上の追加のクロックシーケンスにより、前記スイッチファブリックは、複数の追加的な６４個の入力ベクトルのセットを前記アレイの前記第１の列に提供するものであり、前記アレイの前記第１の列のアキュムレータのそれぞれが３２ビットを有する場合に、それぞれのアキュムレータからのそれぞれの値を前記メモリデバイスのセットに書き出すステップを含む、ハードウェア回路。
ドット積ユニットのアレイによって入力として受け取られた重み値と活性値に基づいてドット積値を生成する組合せツリーとして構成されたドット積ユニットのアレイであって、当該ドット積ユニットのアレイは６４行×３２列のドット積ユニットを含み、各ドット積ユニットは、２つの８ビット値を入力として受け取るように構成され、アキュムレータを有する、ドット積ユニットのアレイと、
前記アレイをメモリデバイスのセットに動作可能に結合するスイッチファブリックであって、前記メモリデバイスのセットは、複数の重み値と複数の活性値を格納し、前記スイッチファブリックは、１つ以上のクロックサイクルからなる第１のクロックシーケンスの間に、前記アレイの第１の列に入力として６４個の入力ベクトルを提供するように構成される、スイッチファブリックと、を含み、
１つ以上の追加のクロックシーケンスにより、前記スイッチファブリックは、複数の追加的な６４個の入力ベクトルのセットを前記アレイの前記第１の列に提供するものであり、前記アレイの前記第１の列のアキュムレータのそれぞれが３２ビットを有する場合に、それぞれのアキュムレータからのそれぞれの値を前記メモリデバイスのセットに書き出すステップを含む、ハードウェア回路。
【0203】
１０２．前記ドット積ユニットは、複数のＦＭＡユニットを含む、例１０１に記載のハードウェア回路。
【0204】
１０３．前記ドット積ユニットは、３２バイト入力を受け取るように構成される、例１０１又は１０２に記載のハードウェア回路。
【0205】
１０４．前記メモリデバイスのセットは、６４個の３２バイト幅メモリデバイスのバンクを含む、例１０１から１０３のいずれかに記載のハードウェア回路。
【0206】
１０５．回路パッケージであって、
フォトニックチャネルインターフェースを含む複数の処理要素を含む特定用途向け集積回路（ＡＳＩＣ）と、
前記フォトニックチャネルインターフェースを介して複数の処理要素を接続し、エレクトロフォトニックネットワークの少なくとも一部を形成する複数のフォトニックチャンネルであって、該複数のフォトニックチャンネルのうちの複数のサブフォトニックチャンネルは、前記複数の処理要素の個々の処理要素に接続されており、個々の処理要素は、
前記個々の処理要素に対して、前記複数のサブフォトニックチャネルからマスターフォトニックチャネルを選択し、
前記個々の処理要素に対して、前記複数のサブフォトニックチャネルからスレーブフォトニックチャネルのセットを選択し、
前記マスターフォトニックチャネルから受信クロック信号を抽出し、
前記受信クロック信号に基づいて、前記個々の処理要素で１つ以上のローカル動作を実行するために前記個々の処理要素によって使用されるローカルクロック信号を生成し、
前記スレーブフォトニックチャネルのセットを介して、分散クロック信号を、前記個々の処理要素に接続された複数の処理要素のセットに送信するように構成され、
前記分散クロック信号を送信することは、前記個々の処理要素のフォトニックチャネルインターフェースを使用して、分散クロック信号を電気的形態から光学的形態に変換することを含み、前記分散クロック信号は、前記スレーブフォトニックチャネルのセットにわたって送信され、前記複数の処理要素のセットによって関連するローカルクロック信号として使用されるのに適しており、前記分散クロック信号は、前記受信クロック信号に基づいて生成されるものである、回路パッケージ。
フォトニックチャネルインターフェースを含む複数の処理要素を含む特定用途向け集積回路（ＡＳＩＣ）と、
前記フォトニックチャネルインターフェースを介して複数の処理要素を接続し、エレクトロフォトニックネットワークの少なくとも一部を形成する複数のフォトニックチャンネルであって、該複数のフォトニックチャンネルのうちの複数のサブフォトニックチャンネルは、前記複数の処理要素の個々の処理要素に接続されており、個々の処理要素は、
前記個々の処理要素に対して、前記複数のサブフォトニックチャネルからマスターフォトニックチャネルを選択し、
前記個々の処理要素に対して、前記複数のサブフォトニックチャネルからスレーブフォトニックチャネルのセットを選択し、
前記マスターフォトニックチャネルから受信クロック信号を抽出し、
前記受信クロック信号に基づいて、前記個々の処理要素で１つ以上のローカル動作を実行するために前記個々の処理要素によって使用されるローカルクロック信号を生成し、
前記スレーブフォトニックチャネルのセットを介して、分散クロック信号を、前記個々の処理要素に接続された複数の処理要素のセットに送信するように構成され、
前記分散クロック信号を送信することは、前記個々の処理要素のフォトニックチャネルインターフェースを使用して、分散クロック信号を電気的形態から光学的形態に変換することを含み、前記分散クロック信号は、前記スレーブフォトニックチャネルのセットにわたって送信され、前記複数の処理要素のセットによって関連するローカルクロック信号として使用されるのに適しており、前記分散クロック信号は、前記受信クロック信号に基づいて生成されるものである、回路パッケージ。
【0207】
１０６．前記個々の処理要素は、ジッタ減衰位相ロックループ（ＰＬＬ）を含み、前記個々の処理要素は、前記ジッタ減衰ＰＬＬを使用して、前記受信クロック信号に基づいて低ジッタクロック信号を生成し、前記受信クロック信号に基づいて前記ローカルクロック信号を生成することは、前記低ジッタクロック信号に基づいて前記ローカルクロック信号を生成することを含む、例１０５に記載の回路パッケージ。
【0208】
１０７．前記個々の処理要素は、前記個々の処理要素のブート時間中に前記マスターフォトニックチャネルを選択する、例１０５又は１０６に記載の回路パッケージ。
【0209】
１０８．前記個々の処理要素は、前記個々の処理要素のブート時間中に前記スレーブフォトニックチャネルのセットを選択する、例１０５から１０７のいずれかに記載の回路パッケージ。
【0210】
１０９．前記個々の処理要素は
前記マスターフォトニックチャネルに対してチャネルアライメント動作を実行し、前記チャネルアライメント動作は、前記個々の処理要素の１つ以上の設定を調整してクロックスキューを補償するように構成される、例１０５から１０８のいずれかに記載の回路パッケージ。
前記マスターフォトニックチャネルに対してチャネルアライメント動作を実行し、前記チャネルアライメント動作は、前記個々の処理要素の１つ以上の設定を調整してクロックスキューを補償するように構成される、例１０５から１０８のいずれかに記載の回路パッケージ。
【0211】
１１０．前記個々の処理要素は、前記マスターフォトニックチャネルを介して受信された受信ビットストリームに対してクロックデータリカバリーを実行することによって、前記マスターフォトニックチャネルから受信クロック信号を抽出する、例１０５から１０９のいずれかに記載の回路パッケージ。
【0212】
１１１．前記個々の処理要素は、前記処理要素のセットに１つ以上の発信ビットストリームを送信することによって、前記分散クロック信号を前記処理要素のセットに送信し、前記１つ以上の発信ビットストリームは、前記分散クロック信号に基づいて生成される、例１０５から１１０のいずれかに記載の回路パッケージにおいて、
【0213】
１１２．前記個々の処理要素は、テンソルプロセッサとＤＮＮとを含み、前記テンソルプロセッサと前記ＤＮＮのそれぞれは、前記ローカルクロック信号に基づいて動作するように構成され、前記ローカルクロック信号を用いて、前記ＤＮＮと前記テンソルプロセッサとの間でパケットを転送することが可能である、例１０５から１１１に記載の回路パッケージ。
【0214】
１１３．前記個々の処理要素は、前記フォトニックチャネルインターフェースを含むメッセージルータを含み、前記メッセージルータは、前記ローカルクロック信号に基づいて動作するように構成される、例１０５から１１２のいずれかに記載の回路パッケージ。
【0215】
１１４．前記個々の処理要素は、少なくとも２つのベクトル間の１つ以上のドット積を計算するためのハードウェア回路を含み、前記ハードウェア回路は、前記ローカルクロック信号に基づいて動作するように構成される、例１０５から１１３のいずれかに記載の回路パッケージ。
【0216】
１１５．前記個々の処理要素が第１の処理要素であり、前記複数のサブフォトニックチャネルが第１の複数のサブフォトニックチャネルであり、前記マスターフォトニックチャネルが第１のマスターフォトニックチャネルであり、前記スレーブフォトニックチャネルのセットが第１のスレーブフォトニックチャネルのセットであり、前記受信クロック信号が第１の受信クロック信号であり、前記ローカルクロック信号が第１のローカルクロック信号であり、前記分散クロック信号が第１の分散クロック信号であり、
前記複数のフォトニックチャネルの第２の複数のサブフォトニックチャネルが、第２の処理要素に接続され、前記第２の処理要素は、前記第１の処理要素に接続された前記処理要素のセットに含まれ、前記複数のフォトニックチャネルの前記第２の複数のサブフォトニックチャネルが、前記第１の処理要素を前記第２の処理要素に接続する前記スレーブフォトニックチャネルのセットの個々のフォトニックチャネルを含み、前記第２の処理要素は、
前記第２の処理要素に対して、前記個々のフォトニックチャネルから第２のマスターフォトニックチャネルを選択し、
前記第２の処理要素に対して、前記第２の複数のサブフォトニックチャネルから第２のスレーブフォトニックチャネルのセットを選択し、
前記第２のマスターフォトニックチャネルから第２の受信クロック信号を抽出し、
前記第２の受信クロック信号に基づいて、前記第２の処理要素で１つ以上のローカル動作を実行するために前記第２の処理要素によって使用される第２のローカルクロック信号を生成し、
前記第２のスレーブフォトニックチャネルのセットを介して、第２の分散クロック信号を、前記第２の処理要素に接続された第２の複数の処理要素のセットに送信するように構成され、
前記第２の分散クロック信号を送信することは、前記個々の処理要素のフォトニックチャネルインターフェースを使用して、前記第２の分散クロック信号を電気的形態から光学的形態に変換することを含み、前記第２の分散クロック信号を送信することは、前記第２の複数の処理要素のセットにおいて、前記第２の分散クロック信号を光学的形態から電気的形態に変換することをさらに含み、前記第２の分散クロック信号は、前記第２のスレーブフォトニックチャネルのセットにわたって送信され、前記第２の複数の処理要素のセットによって関連するローカルクロック信号として使用するために適しており、前記第２の分散クロック信号は、前記第２の受信クロック信号に基づいて生成されるものである、例１０５から１１４のいずれかに記載の回路パッケージ。
前記複数のフォトニックチャネルの第２の複数のサブフォトニックチャネルが、第２の処理要素に接続され、前記第２の処理要素は、前記第１の処理要素に接続された前記処理要素のセットに含まれ、前記複数のフォトニックチャネルの前記第２の複数のサブフォトニックチャネルが、前記第１の処理要素を前記第２の処理要素に接続する前記スレーブフォトニックチャネルのセットの個々のフォトニックチャネルを含み、前記第２の処理要素は、
前記第２の処理要素に対して、前記個々のフォトニックチャネルから第２のマスターフォトニックチャネルを選択し、
前記第２の処理要素に対して、前記第２の複数のサブフォトニックチャネルから第２のスレーブフォトニックチャネルのセットを選択し、
前記第２のマスターフォトニックチャネルから第２の受信クロック信号を抽出し、
前記第２の受信クロック信号に基づいて、前記第２の処理要素で１つ以上のローカル動作を実行するために前記第２の処理要素によって使用される第２のローカルクロック信号を生成し、
前記第２のスレーブフォトニックチャネルのセットを介して、第２の分散クロック信号を、前記第２の処理要素に接続された第２の複数の処理要素のセットに送信するように構成され、
前記第２の分散クロック信号を送信することは、前記個々の処理要素のフォトニックチャネルインターフェースを使用して、前記第２の分散クロック信号を電気的形態から光学的形態に変換することを含み、前記第２の分散クロック信号を送信することは、前記第２の複数の処理要素のセットにおいて、前記第２の分散クロック信号を光学的形態から電気的形態に変換することをさらに含み、前記第２の分散クロック信号は、前記第２のスレーブフォトニックチャネルのセットにわたって送信され、前記第２の複数の処理要素のセットによって関連するローカルクロック信号として使用するために適しており、前記第２の分散クロック信号は、前記第２の受信クロック信号に基づいて生成されるものである、例１０５から１１４のいずれかに記載の回路パッケージ。
【0217】
１１６．前記第１の処理要素は、第１のコンポーネントのセットを含み、前記第２の処理要素は、第２のコンポーネントのセットからなり、前記第１のコンポーネントのセットは、第１のテンソルプロセッサ、フォトニックチャネルインターフェースを含む第１のメッセージルータ、又は少なくとも２つのベクトル間の１つ以上の第１のドット積を計算するための第１のハードウェア回路のうちの少なくとも１つを含み、前記第２のコンポーネントのセットは、第２のテンソルプロセッサ、フォトニックチャネルインターフェースを含む第２のメッセージルータ、又は少なくとも２つのベクトル間の１つ以上の第２のドット積を計算するための第２のハードウェア回路のうちの少なくとも１つを含み、前記第１のコンポーネントのセットは、前記第１のローカルクロック信号に基づいて動作するように構成され、前記第２のコンポーネントのセットは、前記第２のローカルクロック信号に基づいて動作するように構成される、例１１５に記載の回路パッケージ。
【0218】
１１７．方法であって、
複数の処理要素の個々の処理要素によって、複数のフォトニックチャネルからマスターフォトニックチャネルを選択するステップであって、前記マスターフォトニックチャネルは、個々の処理要素のために選択され、前記複数の処理要素は、回路パッケージの特定用途向け集積回路（ＡＳＩＣ）の一部であり、前記複数の処理要素は、複数のフォトニックチャネルによって互いに接続され、前記回路パッケージ内のエレクトロフォトニックネットワークの少なくとも一部を形成する、ステップと、
前記個々の処理要素によって、前記複数のフォトニックチャネルからスレーブフォトニックチャネルのセットを選択するステップであって、前記スレーブフォトニックチャネルのセットは個々の処理要素に対して選択される、ステップと、
前記個々の処理要素によって、前記マスターフォトニックチャネルから受信クロック信号をデジタルフォーマットで抽出するステップと、
前記デジタルフォーマットの前記受信クロック信号に基づいて、前記個々の処理要素によって、前記ＡＳＩＣのデジタル部分を使用して前記個々の処理要素上で１つ以上のローカル動作を実行するために前記個々の処理要素によって使用されるローカルクロック信号を生成するステップと、
前記個々の処理要素によって、かつ前記スレーブフォトニックチャネルのセットを介して、前記個々の処理要素に接続された前記複数の処理要素のセットに分散クロック信号を送信するステップであって、前記分散クロック信号は、前記デジタルフォーマットの前記受信クロック信号に基づいて生成されるものであり、当該ステップは、
前記分散クロック信号をデジタルフォーマットから光フォーマットに変換するステップと、
前記分散クロック信号を光フォーマットで前記スレーブフォトニックチャネルのセットにルーティングするステップと、
前記複数の処理要素のセットのフォトニックインターフェースで光フォーマットの分散クロック信号を受信するステップと、
関連するフォトニックチャネルインターフェースを使用して、前記複数の処理要素のセットにおいて、前記分散クロック信号をデジタルフォーマットに変換するステップと
を含む、方法。
複数の処理要素の個々の処理要素によって、複数のフォトニックチャネルからマスターフォトニックチャネルを選択するステップであって、前記マスターフォトニックチャネルは、個々の処理要素のために選択され、前記複数の処理要素は、回路パッケージの特定用途向け集積回路（ＡＳＩＣ）の一部であり、前記複数の処理要素は、複数のフォトニックチャネルによって互いに接続され、前記回路パッケージ内のエレクトロフォトニックネットワークの少なくとも一部を形成する、ステップと、
前記個々の処理要素によって、前記複数のフォトニックチャネルからスレーブフォトニックチャネルのセットを選択するステップであって、前記スレーブフォトニックチャネルのセットは個々の処理要素に対して選択される、ステップと、
前記個々の処理要素によって、前記マスターフォトニックチャネルから受信クロック信号をデジタルフォーマットで抽出するステップと、
前記デジタルフォーマットの前記受信クロック信号に基づいて、前記個々の処理要素によって、前記ＡＳＩＣのデジタル部分を使用して前記個々の処理要素上で１つ以上のローカル動作を実行するために前記個々の処理要素によって使用されるローカルクロック信号を生成するステップと、
前記個々の処理要素によって、かつ前記スレーブフォトニックチャネルのセットを介して、前記個々の処理要素に接続された前記複数の処理要素のセットに分散クロック信号を送信するステップであって、前記分散クロック信号は、前記デジタルフォーマットの前記受信クロック信号に基づいて生成されるものであり、当該ステップは、
前記分散クロック信号をデジタルフォーマットから光フォーマットに変換するステップと、
前記分散クロック信号を光フォーマットで前記スレーブフォトニックチャネルのセットにルーティングするステップと、
前記複数の処理要素のセットのフォトニックインターフェースで光フォーマットの分散クロック信号を受信するステップと、
関連するフォトニックチャネルインターフェースを使用して、前記複数の処理要素のセットにおいて、前記分散クロック信号をデジタルフォーマットに変換するステップと
を含む、方法。
【0219】
１１８．前記個々の処理要素は、ジッタ減衰位相ロックループ（ＰＬＬ）を含み、前記個々の処理要素は、前記ジッタ減衰ＰＬＬを使用して、前記受信クロック信号に基づいて低ジッタクロック信号を生成し、前記受信クロック信号に基づいて前記ローカルクロック信号を生成することは、前記低ジッタクロック信号に基づいて前記ローカルクロック信号を生成することを含む、例１１７記載の方法。
【0220】
１１９．前記マスターフォトニックチャネルを選択するステップは、前記個々の処理要素のブート時間中に実行される、例１１７又は１１８に記載の方法。
【0221】
１２０．前記スレーブフォトニックチャネルのセットを選択するステップは、前記個々の処理要素のブート時間中に実行される、例１１７から１１９のいずれかに記載の方法。
【0222】
１２１．前記個々の処理要素によって、前記マスターフォトニックチャネルに対してチャネルアライメント動作を実行するステップを含み、当該チャネルアライメント動作は、前記個々の処理要素の１つ以上の設定を調整してクロックスキューを補償するように構成される、例１１７から１２０のいずれかに記載の方法。
【0223】
１２２．前記マスターフォトニックチャネルから前記受信クロック信号を抽出するステップは、前記マスターフォトニックチャネルを介して受信された受信ビットストリームに対してクロックデータリカバリーを実行することを含む、例１１７から１２１のいずれかに記載の方法。
【0224】
１２３．前記分散クロック信号を前記処理要素のセットに送信するステップは、前記処理要素のセットに１つ以上の発信ビットストリームを送信することを含み、前記１つ以上の発信ビットストリームは、前記分散クロック信号に基づいて生成される、例１１７から１２２のいずれかに記載の方法。
【0225】
１２４．前記個々の処理要素は、コンポーネントのセットを含み、前記コンポーネントのセットは、テンソルプロセッサ、フォトニックチャネルインターフェースを含むメッセージルータ、又は少なくとも２つのベクトル間のドット積を計算するためのハードウェア回路のうちの少なくとも１つを含み、前記コンポーネントのセットは、前記ローカルクロック信号に基づいて動作するように構成される、例１１７から１２３のいずれかに記載の方法。
【0226】
以上の説明から、本願明細書に記載された概念を実施するために、それらの概念の範囲から逸脱することなく、様々な技術を使用できることが明らかである。さらに、概念は、特定の実装を具体的に参照して説明されてきたが、当業者であれば、これらの概念の範囲から逸脱することなく、形態及び詳細に変更を加えることができることを認識するであろう。このように、記載された実装態様は、全ての点で例示的なものであり、制限的なものではないと考えられる。また、本出願は、本明細書に記載された特定の実施態様に限定されるものではなく、本開示の範囲から逸脱することなく、多くの再配置、修正、及び置換が可能であることも理解されるべきである。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
