特開 2023-84110 クロスバーを使用するＮＯＣ性能の最適化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023084110

(43)【公開日】2023-06-16

(54)【発明の名称】クロスバーを使用するＮＯＣ性能の最適化

(51)【国際特許分類】

   G06F 15/173 20060101AFI20230609BHJP

   G06F 15/80 20060101ALI20230609BHJP

【ＦＩ】

G06F15/173 683C

G06F15/173 680

G06F15/80

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022191602

(22)【出願日】2022-11-30

(31)【優先権主張番号】17/543,636

(32)【優先日】2021-12-06

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】508178054

【氏名又は名称】メタ プラットフォームズ， インク．

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】ウー， オリヴィア

(72)【発明者】

【氏名】ディリル， アブデュルカディル ウツク

(72)【発明者】

【氏名】カンサル， パンカジ

(72)【発明者】

【氏名】チェン， リンダ

【テーマコード（参考）】

5B045

【Ｆターム（参考）】

5B045BB16

5B045BB18

5B045BB29

5B045DD01

5B045GG12

(57)【要約】      （修正有）

【課題】処理エンジンのアレイに関するトラフィックのルーティングを改善するシステム及び方法を提供する。
【解決手段】計算システム２００は、処理素子２２０のアレイ、周辺クロスバー及び記憶素子２７０－０～１５を含む。処理素子のアレイは、集積回路上でネットワーク２３０を介してグリッド状に相互接続される。周辺クロスバーは、処理素子のアレイのエッジに接続される。記憶素子は、周辺クロスバーに接続され、各々の周辺クロスバーは、対応するエッジに接続される。システムはまた、アレイのコーナーにあり、周辺クロスバーのうちの１つ又は複数に接続される外付けマスタ２８２、２８４、２８８を含む。処理素子、記憶素子のうちの幾つか及び外付けマスタは、同じ周辺クロスバーと結合され、周辺クロスバーの各々は、処理素子のアレイ内のある処理素子用のデータが単一の方向に沿ってグリッド内部をルーティングされるように、レーンを選択する。
【選択図】図２

【特許請求の範囲】

【請求項1】

集積回路上でネットワークを介してグリッド状に相互接続された処理素子のアレイと、
前記処理素子のアレイの複数のエッジに接続された複数の周辺クロスバーと、
前記複数の周辺クロスバーに接続された複数の記憶部品と
を備える、システム。

【請求項2】

前記周辺クロスバーの各々が、前記複数のエッジのうちの対応するエッジに接続され、
前記複数の記憶部品の各々が、前記複数の周辺クロスバーのうちの対応する１つに接続されている、請求項１に記載のシステム。

【請求項3】

前記アレイが、前記複数の周辺クロスバーのうちのある周辺クロスバーに対応する前記複数のエッジのうちのあるエッジに複数のレーンを含み、前記周辺クロスバーが、前記複数のレーンに接続されている、請求項１に記載のシステム。

【請求項4】

前記周辺クロスバーは、前記処理素子のアレイ内のある処理素子用のデータが単一の方向に沿って前記アレイ内部をルーティングされるように、前記複数のレーンのうちのあるレーンを選択する、請求項３に記載のシステム。

【請求項5】

前記周辺クロスバーは、前記処理素子のアレイ内のある処理素子用のデータが前記ネットワーク内で最小数のホップを利用して前記アレイ内部をルーティングされるように、前記複数のレーンのうちのあるレーンを選択する、請求項３に記載のシステム。

【請求項6】

前記複数の周辺クロスバーのうちの少なくとも１つの周辺クロスバーが、外付けマスタに結合されている、請求項１に記載のシステム。

【請求項7】

前記複数の記憶部品のうちのある部分が、前記少なくとも１つの周辺クロスバーに接続され、前記少なくとも１つの周辺クロスバーが、前記複数の記憶部品のうちの前記部分から前記アレイの外部の前記外付けマスタへとデータをルーティングするように構成されている、請求項６に記載のシステム。

【請求項8】

前記外付けマスタに結合されたメモリブリッジであって、前記メモリブリッジが、前記外付けマスタから前記データをルーティングするために前記少なくとも１つの周辺クロスバーのうちのある周辺クロスバーを選択し、前記周辺クロスバーが、前記アレイを通る前記データの最短経路に対応する、メモリブリッジ
をさらに備える、請求項７に記載のシステム。

【請求項9】

集積回路上でネットワークを介してグリッド状に相互接続された処理素子のアレイであって、前記アレイが、複数のエッジ、および前記複数のエッジのうちの対向するエッジを接続する複数のレーンを有する、処理素子のアレイと、
前記複数のエッジに接続された複数の周辺クロスバーと、
複数の記憶部品であって、前記記憶部品のうちの第１の部分が、前記複数の周辺クロスバーのうちの対応する１つに接続される、複数の記憶部品と、
前記アレイのコーナーに存在し、前記複数の周辺クロスバーのうちの少なくとも１つの周辺クロスバーに接続される複数の外付けマスタであって、前記複数の記憶部品のうちの第２の部分が、前記少なくとも１つの周辺クロスバーと結合される、複数の外付けマスタと
を備え、
前記複数の周辺クロスバーは、前記処理素子のアレイ内のある処理素子用のデータが単一の方向に沿って前記アレイ内部をルーティングされるように、前記複数のレーンのうちのあるレーンを選択する、
システム。

【請求項10】

前記少なくとも１つの周辺クロスバーが、前記複数の記憶部品のうちの前記部分と前記アレイの外部の前記外付けマスタとの間でデータをルーティングするように構成されている、請求項９に記載のシステム。

【請求項11】

前記複数の外付けマスタに結合された少なくとも１つのメモリブリッジであって、前記少なくとも１つのメモリブリッジが、前記複数の外付けマスタからのデータをルーティングするために前記少なくとも１つの周辺クロスバーのうちのある周辺クロスバーを選択し、前記周辺クロスバーが、前記アレイを通る前記データの最短経路に対応する、少なくとも１つのメモリブリッジ
をさらに備える、請求項１０に記載のシステム。

【請求項12】

前記複数の周辺クロスバーが、前記データが前記ネットワーク内で最小数のホップを利用して前記アレイ内部をルーティングされるように、前記レーンを選択する、請求項１０に記載のシステム。

【請求項13】

集積回路上でネットワークを介してグリッド状に相互接続された処理素子のアレイを設けることと、
前記処理素子のアレイの複数のエッジに接続される複数の周辺クロスバーを設けることと、
前記複数の周辺クロスバーに接続される複数の記憶部品を設けることと
を含む、方法。

【請求項14】

前記複数のクロスバーを前記設けることが、
前記周辺クロスバーの各々を前記複数のエッジのうちの対応するエッジに結合すること
を含み、
前記複数の記憶部品を前記設けることが、前記複数の記憶部品の各々を前記複数の周辺クロスバーのうちの対応する１つに結合することをさらに含む、
請求項１３に記載の方法。

【請求項15】

前記グリッドが、前記複数の周辺クロスバーのうちのある周辺クロスバーに対応する前記複数のエッジのうちのあるエッジ上に複数のレーンを含み、前記複数の周辺クロスバーを前記設けることが、
前記複数のレーンに前記周辺クロスバーを接続すること
をさらに含む、請求項１３に記載の方法。

【請求項16】

前記複数の周辺クロスバーを前記設けることが、
前記処理素子のアレイ内のある処理素子用のデータが単一の方向に沿って前記アレイ内部をルーティングされるように、前記複数のレーンのうちのあるレーンを選択するように前記周辺クロスバーを構成すること
をさらに含む、請求項１５に記載の方法。

【請求項17】

前記複数の周辺クロスバーを前記設けることが、
前記処理素子のアレイ内のある処理素子用のデータが前記ネットワーク内で最小数のホップを利用して前記アレイ内部をルーティングされるように、前記複数のレーンのうちのあるレーンを選択するように前記周辺クロスバーを構成すること
をさらに含む、請求項１５に記載の方法。

【請求項18】

外付けマスタを設けること
をさらに含み、
前記複数の周辺クロスバーを前記設けることが、前記複数の周辺クロスバーのうちの少なくとも１つの周辺クロスバーを前記外付けマスタに結合することをさらに含む、
請求項１３に記載の方法。

【請求項19】

前記複数の記憶部品を前記設けることが、
前記少なくとも１つの周辺クロスバーに前記複数の記憶部品のうちのある部分を接続すること
をさらに含み、
前記複数の周辺クロスバーを前記設けることが、前記複数の記憶部品の前記部分から前記アレイの外部の前記外付けマスタへデータをルーティングするように前記少なくとも１つの周辺クロスバーを構成することをさらに含む、
請求項１８に記載の方法。

【請求項20】

前記外付けマスタに結合されたメモリブリッジを設けることであって、前記メモリブリッジが、前記外付けマスタからの前記データをルーティングするために前記少なくとも１つの周辺クロスバーのうちのある周辺クロスバーを選択し、前記周辺クロスバーが、前記グリッドを通る前記データの最短経路に対応する、メモリブリッジを設けること
をさらに含む、請求項１９に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

相互接続された処理エンジンのグループが、様々な用途で使用されることがある。いくつかのケースでは、処理エンジンは、グリッド状に組織化され、メッシュネットワークを介して相互接続される。処理エンジンは、ネットワークの各々のノードにある。各々の処理エンジンは、ネットワークの他のすべてのノードにおける処理エンジンと通信することができる。ノード、したがって処理エンジンは、グリッドの外部の素子とも通信することができる。このグリッド構成では、データは、グリッド内の処理エンジン同士の間で、およびグリッドを取り囲んでいる他の素子と、共有され得る。メッシュネットワークを介して相互接続された処理エンジンの使用は、処理エンジンの数の増加に伴って、より容易にスケーリングされ得る。

【0002】

処理エンジンがグリッド内で相互接続され得るとはいえ、この構成にともなう問題点があり得る。トラフィックは、ネットワーク全体にわたって均等に分散されることが一般に望まれる。このような分散は、輻輳およびレイテンシを減少させ得る。しかしながら、高トラフィックの局所的な領域がネットワーク内に生じることがある。トラフィックにおけるこれらのホットスポットは、ネットワークを通るデータのルーティングに悪影響を及ぼすことがある。さらに、ネットワークを通る多くの可能な経路がある。効率を向上させるために、ネットワークを通ってルーティングされるトラフィックは、最も短いレイテンシを有する最短経路を取ることが望まれる。このゴールは、場合によっては実現することが困難なことがあり得る。その結果、処理エンジンのアレイに関するトラフィックのルーティングを改善するための仕組みが望まれる。

【0003】

様々な実施形態が、下記の詳細な説明および添付の図面において開示される。

【図面の簡単な説明】

【0004】

【図1】処理素子のアレイを利用するシステムの実施形態を描く図である。

【図2】処理素子のアレイを利用するシステムの実施形態を描く図である。

【図3】処理素子のアレイを通ってトラフィックをルーティングするための方法の実施形態を描くフローチャートである。

【図4】処理素子のアレイを含むシステムを設けるための方法の実施形態を描くフローチャートである。

【発明を実施するための形態】

【0005】

本開示は、プロセス、装置、システム、物質の組成、コンピュータ可読記憶媒体に具現化されたコンピュータプログラム製品、ならびに／またはプロセッサに結合されたメモリに記憶されたおよび／もしくはメモリにより提供される命令を実行するように構成されたプロセッサなどのプロセッサを含め、数多くの手法で実装され得る。この明細書では、これらの実装形態、または本開示が取り得るいずれかの他の形態が、技術と呼ばれることがある。一般に、開示されるプロセスのステップの順番は、本開示の範囲内で変えられてもよい。別なふうに述べない限り、タスクを実行するように構成されるように記載されるプロセッサまたはメモリなどの構成部品は、所定の時刻にタスクを実行するように一時的に構成された汎用構成部品またはタスクを実行するために製造された特定の構成部品として実装されてもよい。本明細書において使用するように、「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された１つまたは複数のデバイス、回路、および／または処理コアを呼ぶ。

【0006】

１つまたは複数の実施形態の詳細な説明が、本開示の原理を図説する添付の図とともに下記に提供される。本開示は、このような実施形態に関連して説明されるが、いずれかの実施形態に限定されない。本開示の範囲は、特許請求の範囲によってのみ限定され、本開示は、数多くの代替形態、修正形態および均等物を包含する。数多くの具体的な詳細が、本開示の十分な理解を提供するために下記の説明において述べられる。これらの詳細は、例示の目的で提供され、本開示は、これらの具体的な詳細のうちのいくつかまたはすべてを用いずに特許請求の範囲にしたがって行われてもよい。明確化の目的で、本開示に関係する技術分野において知られている技術的マテリアルは、本開示が不必要に不明瞭にされないように詳細には記述されていない。

【0007】

人工知能（ＡＩ）推論特定用途向け集積回路（ＡＳＩＣＳ）などのいくつかのアプリケーションでは、処理エンジンの集合体が使用される。処理エンジンは、個別に動作してもよい、またはより複雑なタスクを実行するためにクラスタで一緒に作業してもよい。いくつかのケースでは、処理エンジンは、メッシュネットワークを介して相互接続される。処理エンジンは、ネットワークの各々のノードに接続されてもよい。相互接続された処理エンジンのアレイは、各々の処理エンジンがネットワーク内のあるノードに結合され、各々のノードが互いに他のノードと通信することができるという理由でネットワークオンチップ（ＮＯＣ）であると考えられてもよい。ノードはまた、処理エンジンのグリッドの外部の素子とも通信してもよい。この構成では、データは、グリッド内の素子とグリッドを取り囲んでいる素子との間で信頼性良く共有され得る。このようなメッシュネットワークの使用もまた、面積および消費されるパワーが処理エンジンの数の増加とともに直線的に大きくなることも可能にする。

【0008】

処理エンジンはグリッド状に配置され得るとはいえ、欠点がある。例えば、トラフィックは、輻輳を避けるためおよびレイテンシを減少させるためにネットワークの全体にわたって均等に分散されることが一般に望まれる。メモリ（例えば、キャッシュ）、中央処理ユニット（ＣＰＵ）、および処理エンジンにより使用される他の素子などの素子は、ネットワークの外部に存在してもよい。したがって、ネットワークを通るトラフィックは、処理エンジン同士の間だけでなくこれらの外付け素子へおよび外付け素子からもルーティングされることがある。グリッドの外部の外付け素子の使用は、素子に近いネットワークの一部分に高トラフィックの局所領域を結果的にもたらすことがある。均等に分散されたトラフィックからのこの変動は、ネットワークを通るトラフィックのルーティングに悪影響を及ぼす。ネットワークを通過するために、多くの可能な経路がある。レイテンシを減少させるために、ネットワークを通りルーティングされるトラフィックは、最小のレイテンシを有する最短経路を取ることが望まれる。このことは、いくつかのケースでは実現することが難しいことがある。その結果、相互接続された素子のアレイに関するトラフィックのルーティングを改善するための仕組みが望まれる。

【0009】

処理素子のアレイ、周辺クロスバーおよび記憶部品を含むシステムが説明される。処理素子のアレイは、集積回路上でネットワークを介してグリッド状に相互接続される。周辺クロスバーは、処理素子のアレイのエッジに接続される。記憶部品は、周辺クロスバーに接続される。いくつかの実施形態では、各々の周辺クロスバーは、対応するエッジに接続される。したがって、アレイの各々のエッジには、対応する周辺クロスバーがあってもよい。周辺クロスバーはまた、エッジ全体に沿って伸びてもよい。いくつかの実施形態では、システムは外付けマスタを含む。外付けマスタは、アレイのコーナーにあってもよい。外付けマスタはまた、周辺クロスバーのうちの１つまたは複数に接続される。したがって、処理素子、記憶部品のうちの少なくともいくつか、および外付けマスタは、同じ周辺クロスバーと結合されてもよい。周辺クロスバーの各々は、処理素子のアレイ内のある処理素子用のデータが単一の方向に沿ってグリッド内部をルーティングされるように、レーンを選択する。

【0010】

処理システムを設けるための方法が説明される。方法は、集積回路上でネットワークを介してグリッド状に相互接続された処理素子のアレイを設けることを含む。方法はまた、処理素子のアレイのエッジに接続された周辺クロスバーを設けることも含む。周辺クロスバーに接続された記憶部品もまた設けられる。いくつかの実施形態では、外付けマスタもまた設けられる。外付けマスタは、複数の周辺クロスバーのうちの少なくとも１つに結合される。いくつかの実施形態では、外付けマスタに結合されたメモリブリッジもまた設けられる。メモリブリッジは、外付けマスタからデータをルーティングするために（複数の）周辺クロスバーのうちの１つを選択する。選択された周辺クロスバーは、グリッドを通るデータの最短経路に対応する。

【0011】

図１は、計算システム１００の実施形態を描く図である。明確化のために、計算システム１００のいくつかの部分だけが示される。システム１００は、グリッド状に配置された処理素子１２０－０、１２０－１、１２０－２、１２０－３、１２０－４、１２０－５、１２０－６、１２０－７、１２０－８、１２０－９、１２０－１０、１２０－１１、１２０－１２、１２０－１３、１２０－１４、および１２０－１５（包括的にまたは一般的に処理素子１２０）を有するアレイ１１０を含む。システム１００はまた、ネットワーク１３０、周辺クロスバー１５２、１５４、１５６、および１５８（包括的にまたは一般的に周辺クロスバー１５０）、ならびに記憶素子１７０－０、１７０－１、１７０－２、１７０－３、１７０－４、１７０－５、１７０－６、１７０－７、１７０－８、１７０－９、１７０－１０、１７０－１１、１７０－１２、１７０－１３、１７０－１４、および１７０－１５（包括的にまたは一般的に記憶素子１７０）も含む。示した実施形態では、アレイ１１０は、ネットワーク１３０を介して相互接続された１６個の処理素子１２０を含む。処理素子１２０は、処理エンジンであってもよい。例えば、処理素子１２０は、ＡＩ推論ＡＳＩＣＳにおいて使用されてもよい。いくつかの実施形態では、処理素子１２０は、他の構成部品であってもよい。

【0012】

ネットワーク１３０は、ノード１３２（そのうちの１つだけが符号を付けられる）ならびに南北レーン１３４および東西レーン１３６にレイアウトされると考えられ得るインターコネクトを含むメッシュである。ネットワーク１３０およびしたがって処理素子１２０のアレイ１１０は、グリッド状にレイアウトされていると見られてもよい。単一の配線として示されるとはいえ、ネットワーク１３０のインターコネクトは多数の配線を一般に保有する。例えば、単一のインターコネクトは、データ線、制御線、ユーティリティ線、および／または他の配線を有することがある。処理素子１２０に加えて、ルータが、ネットワーク１３０を通ってトラフィックをルーティングするためにノード１３２において接続され得る。いくつかの実施形態では、このようなルータは、スタティックルーティングを実行する。他の実施形態では、このようなルータは、ダイナミックルーティングを実行することがある。各々のノード１３２は、対応する処理素子１２０に結合される。したがって、トラフィックは、ネットワーク１３０を通って、ならびに処理素子１２０へおよび処理素子１２０からルーティングされ得る。

【0013】

周辺クロスバー１５０は、アレイ１１０のエッジに存在する。示した実施形態では、周辺クロスバー１５０は、アレイ１１０の各々にある。したがって周辺クロスバー１５２、１５４、１５６、および１５８は、アレイ１１０の、それぞれ西、北、東および南のエッジに存在する。例えば、クロスバー１５２および１５６は、アレイ１１０の対向するエッジにあると考えられてもよい。同様にクロスバー１５４および１５８もまた、アレイ１１０の対向するエッジにあると考えられてもよい。示した実施形態では、アレイ１１０は、長方形形状である。しかしながら、他の形状が可能である。そのような実施形態では、周辺クロスバー１５０に似ている周辺クロスバーは、そのようなアレイの各々のエッジにあってもよい。さらに、周辺クロスバー１５０は、エッジのすべてのレーン１３４または１３６と接続される。したがって、周辺クロスバー１５２および１５６は、各々のレーン１３６へのポート接続部を有する。周辺クロスバー１５４および１５８は、各々のレーン１３４に接続されたポートを有する。

【0014】

周辺クロスバー１５０は、処理素子１２０を記憶素子１７０に結合する。したがって、各々の周辺クロスバー１５０は、アレイ１１０のエッジにおいてネットワーク１３０のレーン１３４または１３６（すなわち、インターコネクト）に結合された１つのタイプのポートを有する。各々の周辺クロスバー１５０は、記憶素子１７０に結合されたもう１つのタイプのポートを有する。周辺クロスバー１５０は、（例えば、ネットワーク１３０への／からの）１つのタイプのポートのすべてのポートと（例えば、記憶素子１７０への／からの）別のタイプのポートのすべてのポートとの間の接続を可能にすることがある。いくつかの実施形態では、周辺クロスバー１５０はまた、同じタイプのポート同士の間（ネットワーク１３０のレーン１３４もしくは１３６同士の間または記憶素子１７０同士の間）の接続も可能にする。したがって、周辺クロスバー１５０は、アレイ１１０を進むべきまたは通るべきトラフィックをルーティングするために適切なレーン１３４または１３６を選択する。周辺クロスバー１５０はまた、記憶素子１７０のためのトラフィック用に適切な記憶素子１７０も選択する。コンピュータシステム１００は、追加の素子を含んでもよい。このような素子もまた、周辺クロスバー１５０を介してアレイ１１０および記憶素子１７０に接続されてもよい。そのような実施形態では、追加のポートが、対応する周辺クロスバーに設けられてもよい。

【0015】

記憶素子１７０は、周辺クロスバー１５０を介して処理素子１２０に結合される。いくつかの実施形態では、記憶素子１７０はキャッシュである。しかしながら、他の記憶素子が使用されてもよい。追加の処理素子および／またはメモリなどの追加の素子が、記憶素子１７０に結合されてもよい。例えば、キャッシュ１７０は、ＤＤＲ ＤＲＡＭ（図示せず）または他のメモリにサービス提供してもよい。追加の素子への接続は、追加のクロスバーなどの追加のルーティング素子を介して行われてもよい。

【0016】

動作では、計算システム１００の構成要素は、パケットがアレイ１１０内を直線に沿って進み、アレイ１１０内部で短縮した移動の距離（例えば、いくつかの実施形態では最小数のホップ）を有し得るように適切なレーン１３４および１３６を選択する。周辺クロスバー１５０は、パケットが単一のレーン１３４または１３６上を（すなわち、直線で）進むようにアレイ１１０内でトラフィックをルーティングさせるために適切なレーン１３４または１３６を選択する。いくつかの実施形態では、周辺クロスバー１５０は、ネットワーク１３０内で最小距離（ノード１３２同士の間の最小数のホップ）を進むようにアレイ１１０内でトラフィックをルーティングさせるために適切なレーン１３４または１３６を選択する。より具体的に、処理素子１２０は、１つまたは複数の記憶素子１７０からデータを検索する。そうするために、処理素子１２０はデータを要求する。記憶素子１７０から処理素子１２０へトラフィックをルーティングするときに、周辺クロスバー１５０は、ネットワーク１３０内で処理素子のノードと交差し、移動の単一のレーンおよび削減した数のホップに対応するレーン１３４または１３６を選択する。いくつかの実施形態では、これは、アレイ１１０内の処理素子の場所に基づいて処理素子１２０を扱うことにより行われる。例えば、ｘ－ｙ（または、北／南－東／西）座標が、処理素子１２０および記憶素子１７０などの他の構成部品に対して使用されてもよい。座標に基づいて、周辺クロスバー１５０は、トラフィックが進むための適切なレーン１３４または１３６を選択する。

【0017】

例えば、処理素子１２０－５は、記憶素子１７０－９、１７０－１０、および１７０－１１に記憶されるデータをフェッチするために要求を一斉送信してもよい。データは、記憶素子１７０－９、１７０－１０、および１７０－１１から検索される。周辺クロスバー１５６は、パケットが単一のレーン１３６に沿って進むように記憶素子１７０からデータをルーティングする。記憶素子１７０－９、１７０－１０、および１７０－１１からのデータ用のパケットは、処理素子１２０－５が存在する同じレーン１３６上を進む。したがって、パケットは、周辺クロスバー１５６から、処理素子１２０－７に対応するノード１３２を通り、処理素子１２０－６に対応するノード１３２を通り、処理素子１２０－５へとこの順番で進む。したがって、記憶素子１７０－９、１７０－１０、および１７０－１１からのパケットは、処理素子１２０－５へとネットワーク１３０を通る同じ（単一の）レーン１３６を通り同じ経路を進む。結果として、ノード１３２同士の間の最小数のホップ（上の例では３つ）もまた進む。同様に、処理素子１２０－５が記憶素子１７０－１２および１７０－１３からデータを検索する場合、周辺クロスバー１５８はデータパケットが単一のレーンに沿って（例えば、直線で）進むようにレーン１３４を選択する。このレーン１３４は、処理素子１２０－５に対応するノード１３２と交差する。したがって、記憶素子１７０－１２および１７０－１３からのパケットは、周辺クロスバー１５８から、処理素子１２０－１３に対応するノード１３２を通り、処理素子１２０－９に対応するノード１３２を通り、処理素子１２０－５へと進む。

【0018】

同様に、トラフィックは、周辺クロスバー１５０を使用して処理素子１２０から記憶素子１７０へとより容易にルーティングされ得る。処理素子１２０は、望まれる記憶素子１７０に対応するアレイ１１０のエッジにおける周辺クロスバー１５０へと、処理素子１２０が存在するノード１３２と交差しているレーン１３４または１３６に沿ってトラフィックを単純に送ってもよい。例えば、処理素子１２０－５は、記憶素子１７０－７にデータを書き込んでもよい。処理素子１２０－５は、それ自体のノード１３２と交差しているレーン１３４に沿ってデータを送る。周辺クロスバー１５４は、データを受信し、宛先として記憶素子１７０－７を選択する。したがって、処理素子１２０－５からのデータは、処理素子１２０－１に対応するノード１３２へ、周辺クロスバー１５４へと進む。周辺クロスバー１５４は、宛先記憶素子１７０－７にデータを提供する。したがって、データパケットは、アレイ１１０内、したがってネットワーク１３０内をある直線に沿って進む。処理素子１２０からのトラフィックが直線で進むという理由で、短縮された経路長（例えば、いくつかの実施形態では最小数のホップ）を通過することがある。

【0019】

システム１００は、改善した性能を持ち得る。トラフィックが、アレイ１１０内で、およびアレイを通って、直線で単一のレーン１３４または１３６に沿って進むという理由で、アレイ１１０は、短いレイテンシ、高帯域幅、トラフィックのデッドロックフリールーティングを有し得る。システム１００の速度および効率は、このように改善される。例えば、処理素子１２０は、毎秒より多数の作業を実行することが可能になり得る。加えて、より少ない待ち行列が、ノード１３２に存在するルータに関して使用され得る。トラフィックがレーン１３４または１３６に沿って直線でルーティングされるという理由で、ノード１３２におけるルータは、北から南へ、南から北へ、東から西へ、および西から東へ走るトラフィックに関する待ち行列を含み得る。北から東へ、東から南へ、南から西へ、西から北へ、北から西へ、西から南へ、南から東へ、および東から北へ走るトラフィックに関する待ち行列は、省略されてもよい。その結果、システム１００の設計および製造は、単純化され得る。アレイ１１０／ネットワーク１３０を通るトラフィックパターンの解析もまた、トラフィックが直線でアレイ１１０／ネットワーク１３０を通り進むという理由で促進され得る。結果として、モデリングが単純化され、様々なルートのレイテンシがより容易に決定され得る。システム１００の性能を調査するために使用されるテストケースが、より簡単に決定され得る。その結果、システム１００の性能、製造、および使用が、改善され得る。

【0020】

図２は、処理素子のアレイを利用するシステム２００の実施形態を描く図である。明確化のために、計算システム２００のいくつかの部分だけが示される。システム２００はシステム１００に似ている。その結果、システム２００は、処理素子２２０を有するアレイ２１０、ネットワーク２３０、周辺クロスバー２５２、２５４、２５６、および２５８（包括的にまたは一般的に周辺クロスバー２５０）、ならびに記憶素子２７０－０、２７０－１、２７０－２、２７０－３、２７０－４、２７０－５、２７０－６、２７０－７、２７０－８、２７０－９、２７０－１０、２７０－１１、２７０－１２、２７０－１３、２７０－１４、および２７０－１５（包括的にまたは一般的に記憶素子２７０）を含み、これらは、それぞれ、処理素子１２０を有するアレイ１１０、ネットワーク１３０、周辺クロスバー１５２、１５４、１５６、および１５８、ならびに記憶素子１７０に似ている。示した実施形態では、アレイ２１０は、ネットワーク２３０を介して相互接続された６４個の処理素子２２０を含む。処理素子２２０は、処理エンジンであってもよい。例えば、処理素子２２０は、ＡＩ推論ＡＳＩＣＳにおいて使用されてもよい。ネットワーク２３０は、ノード２３２（そのうちの１つだけが符号を付けられる）ならびに南北レーン２３４および東西レーン２３６にレイアウトされるように考えられてもよいインターコネクトを含むメッシュである。その結果、アレイ２１０内の処理素子２２０およびネットワーク２３０は、グリッド状にレイアウトされると考えられてもよい。処理素子２２０に加えて、ルータが、ネットワーク２３０を通るトラフィックをルーティングするためにノード２３２において接続され得る。いくつかの実施形態では、このようなルータは、スタティックルーティングを実行する。他の実施形態では、このようなルータは、ダイナミックルーティングを実行してもよい。各々のノード２３２が、対応する処理素子２２０に結合される。

【0021】

システム２００はまた、それぞれ周辺クロスバー２５２、２５４、２５６、および２５８と処理素子２２０との間に結合された論理素子２６２、２６４、２６６、および２６８（包括的にまたは一般的に論理素子２６０）も含む。論理素子２６０は、限定しないがハッシングおよび／またはアンローリング（データの小さなチャンクへの分離）などの様々な機能を実行してもよい。しかしながら、いくつかの実施形態では、論理素子２６０は、省略されるまたは他の素子で置き換えられてもよい。さらに示したものは、追加の素子２８０、２８２、２８４、２８６、および２８８である。いくつかの実施形態では、素子２８０および２８６は、メモリブリッジである。素子２８２、２８４、および２８８は、外付けマスタである。外付けマスタ２８２、２８４、および２８８は、ＣＰＵであってもよい、および／またはブートアップを調整すること、構成、デバッギング、処理素子の作業量の管理、外付けデバイスと通信すること、デコーディング、スクランブリング、および／または他の機能などの機能を実行する他の処理素子であってもよい。メモリブリッジ２８０は、周辺クロスバー２５６および２５８と外付けマスタ２８２および２８４との間の通信を制御するために使用されてもよい。同様に、メモリブリッジ２８６は、外付けマスタ２８８と周辺クロスバー２５２および２５４との間の通信を制御してもよい。メモリブリッジ２８０および２８６は、外付けマスタ２８２、２８４、および２８８と通信するための適切な周辺クロスバー２５０を選択してもよい。記憶素子２７０は、追加の記憶素子および／または追加の処理素子などの追加の素子（図示せず）に結合されてもよい。これらの接続は、クロスバー（図示せず）を介して行われてもよい。

【0022】

周辺クロスバー２５０が周辺クロスバー１５０に似ているとはいえ、周辺クロスバー２５０は、３つのタイプのポート、（論理素子２６０を介して）アレイ２１０／ネットワーク２３０に結合された１つのタイプ、記憶素子２７０に結合された１つのタイプ、ならびにメモリブリッジ２８０および２８６を介して外付けマスタ２８２、２８４、および２８８に結合された１つのタイプを含む。示した実施形態では、周辺クロスバー２５０は、特定のタイプのポートがもう１つのタイプの任意のポートに接続できるように構成される。したがって、各々の処理素子２２０は、周辺クロスバー２５０を介してすべての記憶素子２７０ならびにすべての外付けマスタ２８２、２８４、および２８８に結合され得る。同様に、各々の記憶素子２７０は、周辺クロスバー２５０を介してすべての処理素子２２０ならびにすべての外付けマスタ２８２、２８４、および２８８に結合されてもよい。各々の外付けマスタ２８２、２８４、および２８８は、周辺クロスバー２５０を介してすべての処理素子２２０およびすべての記憶素子２７０に結合されてもよい。いくつかの実施形態では、同じタイプのポート同士もまた、接続されてもよい。そのような実施形態では、例えば、各々の記憶素子２７０は、同じ周辺クロスバー２５０に接続されたもう１つの記憶素子２７０に、その同じ周辺クロスバー２５０を通して接続されてもよい。

【0023】

システム２００は、システム１００に似た方式で動作する。システム２００は、単一のレーン２３４もしくは２３６に沿って直線でおよび／または短縮した経路長でアレイ２１０を通りトラフィックをルーティングする。したがって、トラフィックは、トラフィックがアレイ１１０／ネットワーク１３０内をどのように進むかに似た方式でアレイ２１０／ネットワーク２３０を通って進む。パケットは、東－西、西－東、北－南、および南－北へ進む。パケットは、例えば、北－東、北－西、東－南、東－北、南－東、南－西、西－南、および西－北へ進まない。したがって、システム２００は、システム１００の利点を共有する。

【0024】

加えて、システム２００は、外付けマスタ２８２、２８４、および２８８などの他の外付け素子用のデータを効率的にルーティングしてもよい。外付けマスタ２８２、２８４、および２８８とアレイ２１０／ネットワーク２３０の外部にある記憶素子２７０などの素子との間の通信に関して、トラフィックは、アレイ２１０の部分的にまたは完全に外部をルーティングされてもよい。アレイ２１０／ネットワーク２３０を通りルーティングされるトラフィックは、単一のレーン２３４または２３６に沿って進む。例えば、外付けマスタ２８２が記憶素子２７０－８からデータをフェッチする場合、対応するメモリブリッジ２８０は、要求を受信するために周辺クロスバー２５６を選択する。記憶素子２７０－８は、対応するメモリブリッジ２８０へデータを送る周辺クロスバー２５６へデータを提供する。メモリブリッジ２８０は、外付けマスタ２８２へデータを提供する。同様に、外付けマスタ２８２が記憶素子２７０－１３からデータを検索する場合、メモリブリッジ２８０は、周辺クロスバー２５８へ要求を提供する。周辺クロスバー２５８は、記憶素子２７０－１３へ要求を提供する。記憶素子２７０－１３から検索されたデータは、メモリブリッジ２８０へ周辺クロスバー２５８により提供される。メモリブリッジ２８０は、外付けマスタ２８２へデータを提供する。

【0025】

外付けマスタ２８２が、アレイ２１０／ネットワーク２３０を介して特定の処理素子２２０または他の記憶素子２７０と通信すべき場合、メモリブリッジ２８０は、要求がアレイ２１０内の直線に沿って、かつ、単一のレーン２３４または２３６内をルーティングされ得るように、適切な周辺クロスバー２５０へ要求を提供する。したがって、ルーティングは、短縮した経路長（例えば、最小ホップ）を依然として有し得る。例えば、外付けマスタ２８２が記憶素子２７０－６と通信すべき場合、メモリブリッジ２８０は、南北に走る適切なレーン２３４（例えば、アレイ２１０／ネットワーク２３０の東端から３番目）を選択する要求を周辺クロスバー２５８へ提供する。要求は、記憶素子２７０－６に要求を提供する周辺クロスバー２５４へ送られる。データは、記憶素子２７０－６から周辺クロスバー２５４へ送られた。周辺クロスバー２５４は、周辺クロスバー２５８へ南にデータを送るために適切なレーン２３４（例えば、アレイ２１０の東端から３番目の同じレーン）を選択する。周辺クロスバー２５８は、データを要求している外付けマスタ２８２へデータを転送するメモリブリッジ２８０へデータを提供する。

【0026】

処理素子２２０との通信は、似た方式で行われてもよい。例えば、外付けマスタ２８４は、アレイ２１０の北東のコーナーのプロセッサ２２０（図２で符号を付けられた処理素子２２０）と通信してもよい。メモリブリッジ２８０は、アレイ２１０内の経路が最短である周辺クロスバー２５６を選択してもよい。もう１つの実施形態では、メモリブリッジ２８０は、周辺クロスバー２５８または周辺クロスバー２５６のいずれかを選択し得る。周辺クロスバー２５６は、プロセッサ２２０と交差しているレーン２３６を選択する。トラフィックは、アレイ２１０内の直線に沿って、周辺クロスバー２５６からプロセッサ２２０へルーティングされる。

【0027】

システム２００は、システム１００の利点を共有し得る。トラフィックが、アレイ２１０／ネットワーク２３０内で、およびアレイ２１０／ネットワーク２３０を通って、直線で単一のレーンに沿って進むという理由で、アレイ２１０は、短いレイテンシ、高帯域幅、およびトラフィックのデッドロックフリールーティングを有し得る。システム２００の速度および効率は、このように改善され得る。ノード２３２におけるルータはまた、数少ない待ち行列を含み得る。その結果、システム２００の設計および製造は単純化され得る。アレイ２１０／ネットワーク２３０を通るトラフィックパターンの解析もまた、トラフィックが直線でアレイ２１０／ネットワーク２３０通り進むという理由で促進され得る。結果として、モデリングが単純化されてもよく、様々なルートのレイテンシがより容易に決定されてもよく、そしてシステム２００の性能を調査するためのテストケースがより簡単に決定され得る。

【0028】

その上、外付けマスタ２８２、２８４、および２８８の使用が促進される。記憶素子２７０と、同じ周辺クロスバー２５０を共有する外付けマスタ２８２、２８４、および２８８との間の通信は、アレイ２１０／ネットワーク２３０を通って進む必要がない。したがって、ネットワーク２３０のリソースは、このような通信のために使用される必要がない。ネットワーク２３０／アレイ２１０用の帯域幅は、このように保存され得る。したがって、処理素子２２０は、記憶素子２７０からデータをフェッチするとき、または記憶素子２７０へデータを書き込むときに、より低い輻輳を経験することになり得る。アクセスされる記憶素子２７０が外付けマスタ２８２、２８４、または２８８と同じ周辺クロスバー２５０を共有しない場合、そのときにはトラフィックは、アレイ２１０を通り単一のレーン２３４または２３６上をルーティングされる。したがって、帯域幅が保存され得、外付けマスタ２８２、２８４、および２８８に近接するエリアは、高輻輳を経験しないことになり得る。したがって、トラフィックは、アレイ２１０／ネットワーク２３０を通ってより均等に広げられ得る。その結果、システム２００の性能、製造、および使用が、改善され得る。

【0029】

図３は、メッシュネットワークを通ってトラフィックをルーティングするための方法３００の実施形態を描くフローチャートである。方法３００は、サブステップを含め追加のステップを含んでもよい。特定の順番で示されるとはいえ、ステップは、並列を含め異なる順番で行われてもよい。構成部品は、３０２において、トラフィックをルーティングするためのネットワークのレーンを選択する。選択されたレーンは、トラフィックがその宛先まで単一のレーンで進み、そして短縮した経路長を取り得るようなものである。トラフィックは、３０４において、選択されたレーン上のアレイ内部をまたはアレイを通ってルーティングされる。アレイの外のいかなるルーティングも、３０６において実行される。アレイの外部で始まる通信に関して、３０６は、３０２および３０４に先立って実行される。いくつかの実施形態では、グリッドの外部だけで生じる通信に関して、３０２および３０４は、省略されてもよい。

【0030】

例えば、方法３００は、システム２００と協働して使用され得る。処理素子２２０への通信に関して、記憶素子２７０または外付けマスタ２８２、２８４、もしくは２８８から周辺クロスバー２５０への外のルーティングが、３０６において、最初に実行される。周辺クロスバー２５０は、３０２において、適切なレーン２３４または２３６を選択する。３０２において選択されたレーン２３４または２３６は、宛先処理素子２２０と交差する。トラフィックは、３０４において、次いで宛先処理素子２２０へルーティングされる。もう１つの例では、外付けマスタ２８２は、同じ周辺クロスバー２５８に接続された記憶素子２７０－１２（または図２には図示されていない追加の素子）と通信してもよい。トラフィックは、外付けマスタ２８２、メモリブリッジ２８０、周辺クロスバー２５８と記憶素子２７０－１２との間をルーティングされる。したがって、トラフィックは、アレイ２１０／ネットワーク２３０を通過しない。

【0031】

したがって、方法３００を使用して、トラフィックは、周辺クロスバーおよびメッシュネットワークを含むシステム内を効率的にルーティングされ得る。したがって、このようなシステムの性能、製造、および使用が改善され得る。

【0032】

図４は、処理素子のアレイを利用するシステムを設けるための方法の実施形態を描くフローチャートである。方法４００は、サブステップを含め追加のステップを含んでもよい。特定の順番で示されるとはいえ、ステップは、並列を含め異なる順番で行われてもよい。

【0033】

ネットワークを介して相互接続される処理素子のアレイが、４０２において設けられる。４０２は、インターコネクト（レーン）、ノード、およびノード用のルータを含むメッシュネットワークを設けることを含んでもよい。処理素子はまた、４０２において、ノードにも接続される。処理素子およびネットワークは、集積回路の一部であってもよい。したがって、ネットワークおよび処理素子を含むグリッドが形成される。いくつかの実施形態では、論理素子などの追加の構成部品もまた、４０２において設けられる。

【0034】

周辺クロスバーが、４０４において、アレイのエッジに設けられる。４０４において設けられる各々の周辺クロスバーは、対応するエッジと交差するアレイ／ネットワークの各々のレーン（インターコネクト）用のポートを含む。いくつかの実施形態では、アレイの各々のエッジには、４０４において設けられた対応するクロスバーがある。さらに、周辺クロスバーは、各々のエッジのすべてのレーンに接続されてもよい。

【0035】

記憶部品が、４０６において設けられる。記憶部品は、周辺クロスバーに接続される。こしたがって、周辺クロスバーは、処理素子のアレイと記憶部品との間でデータをルーティングできる。

【0036】

いくつかの実施形態では、他の外付け素子が、４０８において設けられる。これらの素子もまた、周辺クロスバーに結合される。例えば、外付けマスタ、メモリブリッジ、追加のメモリ、および／または追加のクロスバーもまた設けられる。これらの外付け素子もまた、対応する周辺クロスバーを介して処理素子および／またはグリッドにアクセスする。

【0037】

例えば、処理素子２２０、アレイ２１０、およびネットワーク２３０が、４０２において設けられる。論理素子２６０もまた、４０２において設けられてもよい。周辺クロスバー２５０が、４０４において設けられる。周辺クロスバー２５０は、アレイ２１０／ネットワーク２３０のレーン２３４および２３６に結合される。記憶素子２７０が、４０６において設けられる。したがって、記憶素子２７０は、周辺クロスバー２５０のポートに結合される。他の外付け素子が、４０８において設けられる。例えば、メモリブリッジ２８０および２８６ならびに外付けマスタ２８２、２８４、および２８８が、４０８において設けられる。外付け素子もまた、直接的にまたは間接的に、周辺クロスバー２５０に結合される。

【0038】

したがって、方法４００を使用して、処理素子のグリッド、対応するメッシュネットワーク、グリッドのエッジにおける周辺クロスバー、および記憶素子を含むシステムが設けられる。外付けマスタなどの外付け部品もまた設けられる。システム１００および／または２００の利点を有するシステムが、このように製造され得る。

【0039】

前述の実施形態は、理解の明確化の目的で、いくぶんか詳細に説明されてきているとはいえ、本開示は、提供された詳細に限定されない。本開示を実装する多くの代替の手法がある。開示された実施形態は、例示であり、限定ではない。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】