ホーム > 特許ランキング > Ｇｏｏｇｌｅ ＬＬＣ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-13
(45)【発行日】2023-10-23
(54)【発明の名称】マルチチップシステムにおける同期
(51)【国際特許分類】
G06F 15/173 20060101AFI20231016BHJP
【ＦＩ】
G06F15/173 683B
【請求項の数】
19
(21)【出願番号】P 2021577623
(86)(22)【出願日】2020-08-14
(65)【公表番号】
(43)【公表日】2022-10-19
(86)【国際出願番号】 US2020046405
(87)【国際公開番号】W WO2021034680
(87)【国際公開日】2021-02-25
【審査請求日】2022-02-25
(31)【優先権主張番号】62/887,783
(32)【優先日】2019-08-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ
【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ミシャル・アレン・ギュンター
(72)【発明者】
【氏名】デニス・ベイラー
(72)【発明者】
【氏名】クリフォード・ビッフル
(72)【発明者】
【氏名】チャールズ・ロス
【審査官】田中 幸雄
(56)【参考文献】
【文献】特開２０１１－１９９４２０（ＪＰ，Ａ）
【文献】特開２００１－５３７９２（ＪＰ，Ａ）
【文献】特開２０１３－９８７８８（ＪＰ，Ａ）
【文献】特開２０００－４９８３６（ＪＰ，Ａ）
【文献】特開平５－１６７５８９（ＪＰ，Ａ）
【文献】米国特許出願公開第２００３／００４８７５４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／００９７７４５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １５／１７３
(57)【特許請求の範囲】
【請求項1】
半導体デバイスの複数のチップの中のチップのペアごとに、前記複数のチップを通る伝送パスの周りの前記チップのペア間のラウンドトリップデータ伝送の対応するループ待ち時間を決定するステップと、前記ループ待ち時間の中から、最大ループ待ち時間を特定するステップと、
前記複数のチップのうちのチップから発信されたデータ伝送が前記パスを回って伝送されて前記チップに戻るまでのフルパス待ち時間を決定するステップと、
前記最大ループ待ち時間の半分を前記フルパス待ち時間のＮ分の１と比較するステップであって、ただし、Ｎがチップの前記伝送パス内のチップの数である、ステップと、より大きい値を前記半導体デバイスのチップ間待ち時間として記憶するステップであって、前記チップ間待ち時間が、前記半導体デバイスの動作特性を表す、ステップと
を含み、
前記ステップが１つまたは複数のプロセッサを含むシステムによって実行される、チップ間待ち時間特性評価方法。
【請求項2】
前記チップのペア間のラウンドトリップデータ伝送のループ待ち時間を決定するステップが、前記チップのペアの第１のチップから前記チップのペアの第２のチップに第１のタイムスタンプ付きデータを伝送するステップと、
前記第１のタイムスタンプ付きデータに基づいて、前記チップのペア間の第１の相対的な一方向待ち時間を決定するステップと、
前記第２のチップから前記第１のチップに第２のタイムスタンプ付きデータを伝送するステップと、
前記第２のタイムスタンプ付きデータに基づいて、前記チップのペア間の第２の相対的な一方向待ち時間を決定するステップと、
前記第１の相対的な一方向待ち時間と前記第２の相対的な一方向待ち時間とに基づいて、前記チップのペア間の前記ラウンドトリップデータ伝送の前記ループ待ち時間を決定するステップと
を含む、請求項１に記載の方法。
【請求項3】
前記第１のタイムスタンプ付きデータが、前記第１のタイムスタンプ付きデータが伝送されたときの前記第１のチップのローカルカウンタ時間を示す、請求項２に記載の方法。
【請求項4】
前記チップのペア間の前記第１の相対的な一方向待ち時間を決定するステップが、前記タイムスタンプ付きデータにおいて示されている時間と、前記第２のチップが前記第１のタイムスタンプ付きデータを受信したときの前記第２のチップのローカルカウンタ時間との間の差を計算するステップを含む、請求項２または３に記載の方法。
【請求項5】
前記チップのペア間の前記ラウンドトリップデータ伝送の前記ループ待ち時間を決定するステップが、前記第１の相対的な一方向待ち時間と前記第２の相対的な一方向待ち時間との間の差を計算するステップを含む、請求項２から４のいずれか一項に記載の方法。
【請求項6】
前記複数のチップのうちの１つまたは複数が、ニューラルネットワーク演算を実行するように構成された特定用途向け集積回路（ＡＳＩＣ）チップである、請求項１から５のいずれか一項に記載の方法。
【請求項7】
半導体デバイスの複数のチップ内のチップのペアごとに、前記ペア内の第１のチップから前記チップのペア内の第２のチップへの伝送の第１の一方向待ち時間を決定するステップと、
前記ペア内の前記第２のチップから前記チップのペア内の前記第１のチップへの伝送の第２の一方向待ち時間を決定するステップと
半導体デバイスドライバにおいて、チップのペアごとの前記第１の一方向待ち時間と前記第２の一方向待ち時間とを受信するステップと、
前記半導体デバイスドライバによって、チップのペアごとのそれぞれの前記第１の一方向待ち時間および前記第２の一方向待ち時間から、チップの各ペア間のループ待ち時間を決定するステップと、
前記半導体デバイスドライバによって、チップの少なくとも１つのペアについて、前記半導体デバイスのチップ間待ち時間と、前記チップの少なくとも１つのペアの前記第１の一方向待ち時間とに基づいて、前記チップの少なくとも１つのペア内の前記第２のチップのローカルカウンタを調整するステップと
を含み、
前記チップ間待ち時間が、前記ループ待ち時間のうち最大の値の半分と、前記複数のチップのうちのチップから発信されたデータ伝送が伝送パスを回って伝送されて前記チップに戻るまでのフルパス待ち時間のＮ分の１のうち、より大きい値であって、ただし、Ｎがチップの前記伝送パス内のチップの数である、チップ間タイミング同期方法。
【請求項8】
前記半導体デバイスドライバによって、各ループ待ち時間が前記半導体デバイスのチップ間待ち時間以下であると判定するステップをさらに含む、請求項７に記載の方法。
【請求項9】
前記チップの少なくとも１つのペア内の前記第２のチップの前記ローカルカウンタを調整するステップが、前記ローカルカウンタの値を調整値だけ増加させるステップを含む、請求項７または８に記載の方法。
【請求項10】
前記調整値が、前記半導体デバイスの前記チップ間待ち時間に、前記ペア内の前記第１のチップから前記ペア内の前記第２のチップへの伝送の前記第１の一方向待ち時間を加えたものに等しい、請求項９に記載の方法。
【請求項11】
チップの各ペア間の前記ループ待ち時間を決定するステップが、チップのペアごとに、前記チップのペアに関連する前記第１の一方向待ち時間と、前記チップのペアに関連する前記第２の一方向待ち時間との間の差を計算するステップを含む、請求項７から１０のいずれか一項に記載の方法。
【請求項12】
前記ペア内の第１のチップから前記チップのペア内の第２のチップへの伝送の前記第１の一方向待ち時間を決定するステップが、前記第１のチップから前記第２のチップに第１のタイムスタンプ付きデータを伝送するステップと、
前記第１のタイムスタンプ付きデータに基づいて、前記チップのペア間の前記第１の一方向待ち時間を決定するステップと
を含む、請求項７から１１のいずれか一項に記載の方法。
【請求項13】
前記第１のタイムスタンプ付きデータが、前記第１のタイムスタンプ付きデータが伝送されたときの前記第１のチップのローカルカウンタ時間を示す、請求項１２に記載の方法。
【請求項14】
前記チップのペア間の前記第１の一方向待ち時間を決定するステップが、前記タイムスタンプ付きデータにおいて示された時間と、前記第２のチップが前記第１のタイムスタンプ付きデータを受信したときの前記第２のチップのローカルカウンタ時間との間の差を計算するステップを含む、請求項１２または１３に記載の方法。
【請求項15】
前記複数のチップのうちの１つまたは複数が、ニューラルネットワーク演算を実行するように構成された特定用途向け集積回路（ＡＳＩＣ）チップである、請求項７から１４のいずれか一項に記載の方法。
【請求項16】
第１の時間において、半導体デバイスのチップの直列リング配置における第１のチップから隣接する第２のチップにデータを伝送するステップと、前記第２のチップにおけるバッファ内に前記データを記憶するステップと、
第２の時間において前記バッファから前記データを読み出すステップであって、前記第１の時間と前記第２の時間との間の間隔が、前記チップの直列リング配置のチップ間待ち時間に基づく、ステップと、
前記第２のチップから第３のチップに前記データを伝送するステップであって、前記第３のチップが、前記チップの直列リング配置において前記第２のチップに隣接している、ステップと
を含み、
前記チップ間待ち時間が、チップの各ペア間のループ待ち時間のうち最大の値の半分と、複数の前記チップのうちのチップから発信されたデータ伝送が伝送パスを回って伝送されて前記チップに戻るまでのフルパス待ち時間のＮ分の１のうち、より大きい値であって、ただし、Ｎがチップの前記伝送パス内のチップの数である、チップ間でデータを伝送するための方法。
【請求項17】
前記第２の時間が、前記第２のチップのための動作スケジュールの事前にスケジュールされた時間である、請求項１６に記載の方法。
【請求項18】
前記第２のチップの前記バッファからの前記データを、内部バイパスパスに沿って、前記第３のチップに結合された前記第２のチップの通信インターフェースに渡すステップをさらに含む、請求項１６または１７に記載の方法。
【請求項19】
前記第１のチップ、前記第２のチップ、および前記第３のチップのうちの１つまたは複数が、ニューラルネットワーク演算を実行するように構成された特定用途向け集積回路（ＡＳＩＣ）チップである、請求項１６から１８のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、マルチチップシステムにおける同期およびデータ転送に関する。
【背景技術】
【0002】
電子デバイスは、複数の異なるチップで構成され得、複数の異なるチップは、電子デバイスが動作するために、複数の異なるチップ自体の間でデータを通信する必要がある。チップ間のデータ通信は、非決定的である場合がある。たとえば、チップ間のデータ通信は、１つのチップにおける伝送時間から別のチップにおける受信時間までの待ち時間が変動しがちである。すなわち、データが１つのチップから別のチップに移動するのにかかる時間は、一定ではなく、伝送時間における多くの異なる変動要因に左右される。
【発明の概要】
【課題を解決するための手段】
【0003】
一般に、本明細書で説明されている主題の革新的な態様は、半導体デバイスの複数のチップの中のチップのペアごとに、複数のチップを通る伝送パスの周りのチップのペア間のラウンドトリップデータ伝送の対応するループ待ち時間を決定するアクションと、
ループ待ち時間の中から、最大ループ待ち時間を特定するアクションと、
複数のチップのうちのチップから発信されたデータ伝送がパスを回って伝送されてチップに戻るまでのフルパス待ち時間を決定するアクションと、
最大ループ待ち時間の半分をフルパス待ち時間のＮ分の１と比較するアクションであって、ただし、Ｎがチップの伝送パス内のチップの数である、アクションと、より大きい値を半導体デバイスのチップ間待ち時間として記憶するアクションであって、チップ間待ち時間が半導体デバイスの動作特性を表す、アクションと
を含む、チップ間待ち時間特性評価方法において具現化され得る。
ループ待ち時間の中から、最大ループ待ち時間を特定するアクションと、
複数のチップのうちのチップから発信されたデータ伝送がパスを回って伝送されてチップに戻るまでのフルパス待ち時間を決定するアクションと、
最大ループ待ち時間の半分をフルパス待ち時間のＮ分の１と比較するアクションであって、ただし、Ｎがチップの伝送パス内のチップの数である、アクションと、より大きい値を半導体デバイスのチップ間待ち時間として記憶するアクションであって、チップ間待ち時間が半導体デバイスの動作特性を表す、アクションと
を含む、チップ間待ち時間特性評価方法において具現化され得る。
【0004】
第２の一般的な態様では、本出願で説明されている主題の革新的な特徴は、半導体デバイスの直列リング配置において接続された複数のチップにおける隣接するチップのペアごとに、チップのペア間のラウンドトリップデータ伝送の対応するループ待ち時間を決定するアクションを含む、チップ間待ち時間特性評価方法において具現化され得る。アクションは、ループ待ち時間の中から、最大ループ待ち時間を特定するアクションを含む。アクションは、複数のチップのうちのチップから発信されたデータ伝送が直列リング配置を回ってチップに戻るまでのリング待ち時間を決定するアクションを含む。アクションは、最大ループ待ち時間の半分をリング待ち時間のＮ分の１と比較するアクションであって、ただし、Ｎが、複数のチップ内のチップの数である、アクションと、より大きい値を半導体デバイスのチップ間待ち時間として記憶するアクションであって、チップ間待ち時間が、半導体デバイスの動作特性を表す、アクションとを含む。この態様の他の実装形態は、コンピュータ記憶デバイス上に符号化された方法のアクションを実行するように構成された、対応するシステム、装置、およびコンピュータプログラムを含む。
【0005】
これらおよび他の実装形態は、各々、以下の特徴のうちの１つまたは複数をオプションで含むことができる。
【0006】
いくつかの実装形態では、チップのペア間のラウンドトリップデータ伝送のループ待ち時間を決定するアクションは、チップのペアの第１のチップからチップのペアの第２のチップに第１のタイムスタンプ付きデータを伝送するステップと、第１のタイムスタンプ付きデータに基づいて、チップのペア間の第１の相対的な一方向待ち時間を決定するアクションと、第２のチップから第１のチップに第２のタイムスタンプ付きデータを伝送するアクションと、第２のタイムスタンプ付きデータに基づいて、チップのペア間の第２の相対的な一方向待ち時間を決定するアクションと、第１の相対的な一方向待ち時間と第２の相対的な一方向待ち時間とに基づいて、チップのペア間のラウンドトリップデータ伝送のループ待ち時間を決定するアクションとを含む。いくつかの実装形態では、第１のタイムスタンプ付きデータは、第１のタイムスタンプ付きデータが送信されたときの第１のチップのローカルカウンタ時間を示す。いくつかの実装形態では、チップのペア間の第１の相対的な一方向待ち時間を決定するアクションは、タイムスタンプ付きデータにおいて示されている時間と、第２のチップが第１のタイムスタンプ付きデータを受信したときの第２のチップのローカルカウンタ時間との間の差を計算するアクションを含む。いくつかの実装形態では、チップのペア間のラウンドトリップデータ伝送のループ待ち時間を決定するアクションは、第１の相対的な一方向待ち時間と第２の相対的な一方向待ち時間との間の差を計算するアクションを含む。
【0007】
いくつかの実装形態では、複数のチップのうちの１つまたは複数は、ニューラルネットワーク演算を実行するように構成された特定用途向け集積回路（ＡＳＩＣ）チップである。
【0008】
第３の一般的な態様では、本明細書で説明されている主題の革新的な特徴は、半導体デバイスの複数のチップ内のチップのペアごとに、ペア内の第１のチップからチップのペア内の第２のチップへの伝送の第１の一方向待ち時間を決定するアクションと、ペア内の第２のチップからチップのペア内の第１のチップへの伝送の第２の一方向待ち時間を決定するアクションとを含むチップ間タイミング同期方法において具現化され得る。アクションは、半導体デバイスドライバにおいて、チップのペアごとの第１の一方向待ち時間と第２の一方向待ち時間とを受信するアクションを含む。アクションは、半導体デバイスドライバによって、チップのペアごとのそれぞれの第１の一方向待ち時間および第２の一方向待ち時間から、チップの各ペア間のループ待ち時間を決定するアクションを含む。アクションは、半導体デバイスドライバによって、チップの少なくとも１つのペアについて、半導体デバイスの特性的チップ間待ち時間と、チップの少なくとも１つのペアの第１の一方向待ち時間とに基づいて、チップの少なくとも１つのペア内の第２のチップのローカルカウンタを調整するアクションを含む。この態様の他の実装形態は、コンピュータ記憶デバイス上に符号化された方法のアクションを実行するように構成された、対応するシステム、装置、およびコンピュータプログラムを含む。
【0009】
これらおよび他の実装形態は、各々、以下の特徴のうちの１つまたは複数をオプションで含むことができる。
【0010】
いくつかの実装形態では、アクションは、半導体デバイスドライバによって、各ループ待ち時間が半導体デバイスの特性的チップ間待ち時間以下であると判定するアクションを含む。
【0011】
いくつかの実装形態では、チップの少なくとも１つのペア内の第２のチップのローカルカウンタを調整するアクションは、ローカルカウンタの値を調整値だけ増加させるアクションを含む。いくつかの実装形態では、調整値は、半導体デバイスの特性的チップ間待ち時間に、ペア内の第１のチップからペア内の第２のチップへの伝送の第１の一方向待ち時間を加えたものに等しい。
【0012】
いくつかの実装形態では、チップの各ペア間のループ待ち時間を決定するアクションは、チップのペアごとに、チップのペアに関連する第１の相対的な一方向待ち時間と、チップのペアに関連する第２の相対的な一方向待ち時間との間の差を計算するアクションを含む。
【0013】
いくつかの実装形態では、ペア内の第１のチップからチップのペア内の第２のチップへの伝送の第１の一方向待ち時間を決定するアクションは、第１のチップから第２のチップに第１のタイムスタンプ付きデータを伝送するアクションと、第１のタイムスタンプ付きデータに基づいてチップのペア間の第１の相対的な一方向待ち時間を決定するアクションとを含む。いくつかの実装形態では、第１のタイムスタンプ付きデータは、第１のタイムスタンプ付きデータが送信されたときの第１のチップのローカルカウンタ時間を示す。いくつかの実装形態では、チップのペア間の第１の相対的な一方向待ち時間を決定するアクションは、タイムスタンプ付きデータにおいて示された時間と、第２のチップが第１のタイムスタンプ付きデータを受信したときの第２のチップのローカルカウンタ時間との間の差を計算するアクションを含む。
【0014】
いくつかの実装形態では、複数のチップのうちの１つまたは複数は、ニューラルネットワーク演算を実行するように構成された特定用途向け集積回路（ＡＳＩＣ）である。
【0015】
第４の一般的な態様では、本明細書で説明されている主題の革新的な態様は、第１の時間において、半導体デバイスの直列リング配置における第１のチップから第２の隣接するチップにデータを伝送するアクションを含む、チップ間でデータを伝送するための方法において具現化され得る。アクションは、第２のチップにおけるバッファ内にデータを記憶するアクションを含む。アクションは、第２の時間においてバッファからデータを解放するアクションを含み、第１の時間と第２の時間との間の間隔は、チップの直列リング配置の特性的チップ間待ち時間に基づく。アクションは、第２のチップから第３のチップにデータを伝送するアクションを含み、第３のチップは、チップの直列リング配置において第２のチップに隣接している。この態様の他の実装形態は、コンピュータ記憶デバイス上に符号化された方法のアクションを実行するように構成された、対応するシステム、装置、およびコンピュータプログラムを含む。
【0016】
これらおよび他の実装形態は、各々、以下の特徴のうちの１つまたは複数をオプションで含むことができる。
【0017】
いくつかの実装形態では、特性的チップ間待ち時間は、チップの直列リング配置内の２つのチップ間の予測される最大の一方向データ伝送待ち時間を表す。
【0018】
いくつかの実装形態では、第２の時間は、第２のチップのための動作スケジュールの事前にスケジュールされた時間である。
【0019】
いくつかの実装形態では、アクションは、第２のチップのバッファからのデータを、内部バイパスパスに沿って、第３のチップに結合された第２のチップの通信インターフェースに渡すアクションを含む。
【0020】
いくつかの実装形態では、第１、第２、および第３のチップのうちの１つまたは複数は、ニューラルネットワーク演算を実行するように構成された特定用途向け集積回路（ＡＳＩＣ）チップである。
【0021】
様々な実装形態が、以下の利点の１つまたは複数を提供する。たとえば、いくつかの実装形態では、本明細書で説明されているプロセスは、チップ間通信の潜在的なデータ到着時間における変動を最小化する。データ通信の変動を低減することは、システムのチップにおけるより小さい受信データバッファの使用を可能にし得る。いくつかの実装形態では、本明細書で説明されているプロセスは、チップ間の伝送動作を決定論的にする。たとえば、実装形態は、特定の時間において隣接するチップから受信チップに伝送された入力バッファからのデータに受信チップがアクセスするローカルカウンタ時間を計算するときに、プログラムコンパイラが一定の（たとえば、決定論的な）待ち時間を使用することを可能にし得る。
【0022】
本発明の１つまたは複数の実施形態の詳細は、添付図面および以下の説明において記載されている。他の特徴および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0023】
【図1】本開示の実装形態による例示的なマルチチップシステムを示す概略図である。
【図2】本開示の実装形態による、マルチチップシステムにおける最大待ち時間を特性評価するための例示的なプロセスのフローチャートである。
【図3A】本開示の実装形態による、２つのチップ間のループ待ち時間測定を示す一連のブロック図を示す。
【図3B】本開示の実装形態による、２つのチップ間のループ待ち時間測定を示す一連のブロック図を示す。
【図3C】本開示の実装形態による、２つのチップ間のループ待ち時間測定を示す一連のブロック図を示す。
【図4】本開示の実装形態による、マルチチップシステムにおけるチップのローカルカウンタを同期させるための例示的なプロセスのフローチャートである。
【図5】本開示の実装形態による、マルチチップシステムにおけるチップ間でデータ伝送を行うための例示的なプロセスのフローチャートである。
【発明を実施するための形態】
【0024】
一般に、本開示は、マルチチップシステムにおけるチップ間時間同期およびデータ伝送に関する。より具体的には、本開示は、チップ間の、いくつかの例では、チップの直列リングトポロジの周りのデータ伝送の予測可能性を改善するチップ動作プロセスを提供する。本開示は、システム内のチップのローカルカウンタを同期させ、データ受信時間をより決定論的に、場合によっては完全に決定論的にするチップ間データ伝送の固有の変動データ到着時間を考慮した方法でデータ伝送を実行する例示的なプロセスを提供する。
【0025】
最初にチップ間時間同期について言及すると、時間同期は、２つの態様を含む。第１の態様は、処理システム上のチップのそれぞれのペア間のデータ伝送のチップ間待ち時間の特性評価である。このプロセスは、ボードが起動されるたびにローカルチップカウンタを同期させるための定数として機能するボードの動作特性（たとえば、最大チップ間待ち時間）を提供する。第２の態様は、ボードが起動されるときにローカルチップカウンタを同期させること（たとえば、「起動時同期」）である。
【0026】
より具体的には、特性評価プロセスは、ボードの再設計ごとに完了されなければならない。たとえば、最大チップ間待ち時間は、一般に、ボード上のチップのレイアウトに依存する物理的特性である。特性評価プロセスは、互いの直接通信に関わるボード上のチップのペア（たとえば、隣接するチップのペア）間の伝送の「ラウンドトリップ」ループ待ち時間を測定するステップを含む。さらに、直列リング配置において接続されたチップを含む実装形態では、特性評価プロセスは、リング全体のラウンドトリップ伝送待ち時間を測定するステップを含むこともできる。これらの測定から収集されたデータは、任意の２つのチップ間で発生する最大チップ間待ち時間を決定するために使用され得る。
【0027】
起動時の同期は、ボードが起動、リセット、またはその両方がされるたびに、チップのローカルカウンタを同期させるために実行される。各チップは、他のチップのローカルクロックと同期されたローカルクロックによってクロックされる（たとえば、各チップのクロックは、同じ周波数と位相とを有する）が、チップは、個々のチップ動作をクロックするためにローカルカウンタを使用して動作し、ボードを起動するとき、またはチップがリセットから抜け出すとき、個々のカウンタは、一般に、異なるカウント値になる。したがって、起動時の同期は、チップのローカルカウント値をほぼ同期させるために使用される。
【0028】
起動時の同期プロセスは、ボード上のチップのペア間の伝送の一方向待ち時間を測定するステップを含む。ボードドライバは、ボードについて特性評価された最大チップ間待ち時間と、ペア内のチップ間の一方向待ち時間のうちの１つとに基づいて、各ペア内の１つのチップに関するローカルカウンタ調整を決定する。たとえば、ドライバは、最大チップ間待ち時間とチップ間の一方向待ち時間のうちの１つとの合計だけカウンタ値を増加させることによって、ペア内のチップのうちの１つのローカルカウンタを調整することができる。いくつかの実装形態では、起動時プロセスは、たとえば、チップのうちの１つのＦＩＦＯバッファを調整することによって、１つまたはチップペア間のラウンドトリップ待ち時間を調整するステップを含む。
【0029】
いくつかの実装形態では、半導体チップは、機械学習演算を実行するように設計された特定用途向け集積回路（ＡＳＩＣ）であり得る。ＡＳＩＣは、特定の用途向けにカスタマイズされた集積回路（ＩＣ）である。たとえば、ＡＳＩＣは、たとえば、ディープニューラルネットワーク、機械翻訳、音声認識、または他の機械学習アルゴリズムの一部として画像内のオブジェクトを認識する動作を含む、機械学習モデルの動作を実行するように設計され得る。たとえば、ニューラルネットワークのためのアクセラレータとして使用される場合、ＡＳＩＣは、ニューラルネットワークへの入力を受信し、入力に対してニューラルネットワークの推論を計算することができる。ニューラルネットワーク層へのデータ入力、たとえば、ニューラルネットワークへの入力、またはニューラルネットワークの別の層の出力のいずれかは、アクティベーション入力と呼ばれる場合がある。推論は、ニューラルネットワークの層に関連付けられた重み入力のそれぞれのセットに従って計算され得る。たとえば、層のうちのいくつかまたはすべては、アクティベーション入力のセットを受信し、出力を生成するために層のための重み入力のセットに従ってアクティベーション入力を処理し得る。さらに、ニューラルネットワーク演算は、明示的な演算スケジュールに従って、ＡＳＩＣのシステムによって実行され得る。そのように、ＡＳＩＣチップ間の決定論的で同期されたデータ転送は、ニューラルネットワーク演算の信頼性を改善し、デバッグ動作を簡略化することができる。
【0030】
図１は、例示的なマルチチップシステム１００を示す概略図である。マルチチップシステム１００は、機械学習演算を実行するように構成された集積回路のネットワークであり得る。たとえば、マルチチップシステム１００は、ニューラルネットワークアーキテクチャを実装するように構成され得る。マルチチップシステムは、複数の半導体チップ１０２を含む。チップ１０２は、汎用集積回路チップまたは専用集積回路チップであり得る。たとえば、チップ１０２のうちの１つまたは複数は、ＡＳＩＣ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、または任意の他の適切な集積回路チップであり得る。クロック１０６は、同期タイミング信号を提供するためにチップ１０２の各々に結合される。たとえば、クロック１０６は、チップ１０２の各々に共通タイミング信号（たとえば、１ＧＨｚクロック信号）を提供する水晶発振器を含むことができる。
【0031】
システム１００は、システムドライバ１０４も含む。システムドライバ１０４は、たとえば、ラップトップコンピュータ、デスクトップコンピュータ、またはサーバシステムなどの外部コンピューティングシステムであり得る。システムドライバ１０４は、本明細書で説明されているチップ同期プロセスまたはその一部を実行または管理するために使用され得る。たとえば、システムドライバ１０４は、チップをプログラムする、システム１００の起動動作を管理する、チップをデバッグする、またはそれらの組合せを行うように構成され得る。システムドライバは、通信リンクを介してチップ１０２に結合され得る。システムドライバ１０４は、構成ステータスレジスタ（たとえば、チップをプログラムおよびデバッグするための低速インターフェース）を介してチップ１０２に結合され得る。
【0032】
図示されている例では、マルチチップシステム１００は、直列リングトポロジにおいて配置された８つのＡＳＩＣチップ１０２と１つのＦＰＧＡチップ１０２とを含む。より具体的には、各チップ１０２は、データがリングの周りでチップから隣接するチップに通信されるように、各側に１つある２つの隣接するチップと通信している。チップ１０２およびそれらのデータ通信リンクは、閉ループを形成する。さらに、マルチチップシステム１００は、チップの各ペア間に２つのデータパス、時計回りパス１０８と反時計回りパス１１０とを含む。
【0033】
いくつかの実装形態では、各ＡＳＩＣチップ（Ｐ０～Ｐ７）は、ニューラルネットワークの層を実装するように構成され得る。入力アクティベーションデータは、ＦＰＧＡチップ１０４によって受信され、Ｐ０に伝送され得る。Ｐ０は、たとえば、ニューラルネットワークの入力層を実装するように構成され得る。Ｐ０は、Ｐ１に伝送される層出力データを生成するために、アクティベーションデータに対して計算を実行する。Ｐ１は、ニューラルネットワークの第１の隠れ層を実装するように構成され得、Ｐ０からの出力に対して計算を実行し、次いで、その出力をＰ２によって実装された次のニューラルネットワーク層に伝送する。プロセスは、ＡＳＩＣ１０２の各々を介してリングの周りで継続し、延長として、ニューラルネットワークの各層によって処理され得る。そのようなプロセスは、ニューラルネットワークが確実かつ正確に動作するために、隣接するチップ間（およびリング全体）のデータ転送の正確なタイミングに依存する場合がある。したがって、各ＡＳＩＣ間のデータ伝送の同期は、チップ間の適切な動作調整を保証するために重要である場合がある。
【0034】
同期システム内の単一のチップの内部動作は、同期的かつ決定論的であり、そのような内部動作のタイミングにおいて差異がないことを意味する。しかしながら、データ伝送などのチップ間動作について、同期システムであっても、動作のタイミングにおいて本質的かつ非決定論的な変動性が存在する。タイミングの変動性の１つの原因は、２つの隣接するチップ間の物理リンクの特性であり、隣接するチップ間のデータ伝送の待ち時間に、たとえば、約０～３クロックサイクルの変動をもたらす可能性がある。タイミングの変動性の第２のより大きい原因は、内部チップ動作とマルチチップシステムによって実装された前方誤り訂正方式との間の同期の欠如である。前方誤り訂正方式では、チップ間のデータ伝送に誤り訂正データが追加されるが、追加された誤り訂正データは、必ずしもデータ伝送と同期しているとは限らない。非同期データのデータ伝送への導入は、隣接するチップ間のデータ伝送の待ち時間に、たとえば、最大１６クロックサイクルの変動をもたらす可能性がある。
【0035】
データが１つのチップから別の隣接しないチップ（たとえば、Ｐ０からＰ７）に伝送される場合、各チップ間伝送（たとえば、Ｐ０からＰ１、Ｐ１からＰ２、など）の待ち時間の変動は、宛先チップ（Ｐ７）における累積遅延に累積する。例として前方誤り訂正による変動だけを取り上げると、単一のチップ間（たとえば、Ｐ０からＰ１への）伝送の待ち時間は、±１６クロックサイクルの変動を有する。しかしながら、いくつかの動作は、１つのチップ１０２から別の隣接しないチップ１０２へのデータ伝送、たとえば、チップＰ０からチップＰ３へのデータ伝送、または第１のチップＰ０から最後のチップＰ７へのリングをまわるデータの伝送さえ必要とする場合がある。以下でより詳細に説明されているように、１つのチップから別の隣接しないチップに（たとえば、Ｐ０からＰ７に）データを伝送するために、データは、バイパス動作を使用して、介在するチップの各々を介して（たとえば、チップＰ１～Ｐ６を介して）伝送され得る。しかしながら、チップ間の待ち時間の変動は、８チップにわたって累積し、リング周りの待ち時間の合計変動は、±１２８クロックサイクルに近づく。以下で説明されているプロセスは、チップ間のデータ伝送の予測可能性を改善し、いくつかの例では、チップ間データ伝送が決定論的な方法で実行されることを可能にする。
【0036】
図２は、マルチチップシステム１００における最大待ち時間を特性評価するための例示的なプロセス２００のフローチャートを示す。プロセス２００は、図１、図２、図３Ａ～図３Ｂを参照して説明される。いくつかの実装形態では、プロセス２００またはその一部は、システムドライバ１０４によって実行または制御される。いくつかの例では、プロセスまたはその一部は、マルチチップシステム１００の個々のチップ１０２によって実行される。特性評価プロセス２００は、マルチチップシステム設計の特性的チップ間待ち時間、たとえば、最大チップ間待ち時間（Ｌｍａｘ）を決定するために使用される。たとえば、プロセス２００は、初期チップ配置、および／または新しいシステムトポロジに対して実行され得る。
【0037】
プロセス２００の第１のステップは、マルチチップシステム１００内のチップの各ペア間のループ待ち時間を決定するステップを含む（ステップ２０２）。たとえば、図１に示されているように、図示されているマルチチップシステム１００は、独立して測定可能な待ち時間を有する１０の個別のチップ間通信ループ（１１２、１１４）を有する。隣接するチップ１０２間に９のループ１１２が存在し、リング全体の周りに１つのループ１１４が存在する。マルチチップシステムでは、利用可能な共通の時間基準がないので、絶対待ち時間値は、これらのループ１１２、１１４においてのみ測定可能である場合がある。すなわち、チップ１１２、１１４の各々は、共通のクロック１０６によって駆動されるが、各チップ１１２、１１４上のローカルカウンタは、必ずしも同じカウント値に同期されるとは限らない。言い換えれば、各チップ１１２、１１４上の「ローカル時間」は、異なる場合がある。以下でより詳細に説明されているように、チップ間の個々の一方向待ち時間ではなくループ待ち時間を測定することは、各チップ上のローカルカウンタ間の差を説明するために使用され得る。
【0038】
これらのループ待ち時間は、単なる各方向における待ち時間の合計であるので、まず時計回りに進み、次いで反時計回りに進む９つの単一のチップループ１１２は、時計回りの最初のループと同じ待ち時間を有する。同様に、完全なシステム反時計回りループ１１４は、すべての９つの単一チップループ１１２の合計から時計回りシステムループ１１４の待ち時間を引いたものと同じ待ち時間を有する。２つのチップ間のループの周りの異なる方向における待ち時間の差を測定することは、これらの差が９つの小さいループ１１２および単一のシステムループ１１４から導出され得るので、より多くの情報を提供しない。
【0039】
図３Ａ～図３Ｃは、隣接するチップ１０２間のループ待ち時間測定を示す一連のブロック図である。図３Ａ～図３Ｃは、２つの隣接するチップ１０２、チップＡおよびチップＢの簡略化されたブロック図を示す。各チップ１０２は、チップのローカル動作を制御するコントローラ３０４と、ローカルカウンタ３０６と、通信インターフェース３０８とを含む。説明を明確にするために、通信インターフェース３０８は、伝送機インターフェース（Ｔｘ）から受信機インターフェース（Ｒｘ）までとして表されている。通信インターフェース３０８は、先入れ先出し（ＦＩＦＯ）バッファを含む。
【0040】
ループ待ち時間を測定するために、各チップは、たとえば、チップ１０２を起動することによって、そのローカルカウンタ３０６を初期化する。各チップのローカルカウンタ３０６は、上記で論じられているように、そのローカル時間を表す。いくつかの実装形態では、チップ１０２は、事前にスケジュールされたカウンタ時間において、それらの個々の動作（たとえば、計算、入力バッファからデータを読み取ること、およびデータを他のチップに伝送すること）を実行する。カウンタ３０６は、プロセス２００に対していかなる方法でも同期される必要はない。たとえば、図３Ａに示されている例では、チップＡのローカルカウンタ３０６は、時間０に初期化され、チップＢのローカルカウンタ３０６は、時間１５０に初期化され、したがって、チップＡおよびチップＢのローカルカウンタは、１５０クロックサイクルだけ同期がずれている。以下で論じられている起動同期プロセスは、チップ１０２内のローカルカウンタ３０６を同期させるために使用される。図３Ａ～図３Ｃ（および図６Ａおよび図６Ｂ）において使用されるカウンタ時間は、説明の目的のために簡略化されていることが留意されるべきである。
【0041】
図３Ｂおよび図３Ｃを参照すると、チップＡとチップＢとの間のラウンドトリップ待ち時間を測定するために、チップＡおよびチップＣは、最初にチップＡからチップＢへ、次いでチップＢからチップＡへの一連のタイムスタンプ付きデータ伝送を実行する。たとえば、最初にチップＡは、たとえば、時計回りデータパス１０８上のチップＡからチップＢへの、第１の方向における伝送の相対的な一方向待ち時間を測定するために、タイムスタンプ付きデータ３０９をチップＢに伝送する。チップＡは、データ３０９が送信されたときのチップＡのローカルカウンタ時間（たとえば、１０）を有するタイムスタンプを含むデータ３０９をチップＢに送信する。説明を明確にするために、図３Ｂは、チップＢに伝送される１つのデータ伝送のみを示している。実際には、たとえば、チップＡは、５１２サイクルの物理コーディング副層（ＰＣＳ）期間の様々な時点において一連のデータ伝送３０９を伝送することができ、その各々には伝送の時点においてチップＡのローカルカウンタ時間でタイムスタンプが付けられる。チップＢは、データ３０９を受信し、それ自体のローカルカウンタ時間（たとえば、１８０）を記録する。データ３０９が送信されたときのチップＡのローカル時間（たとえば、１０）とデータ３０９が受信されたときのチップＢのローカル時間（たとえば、１８０）との間の差は、チップＡからチップＢへの相対的な一方向相対待ち時間に等しい。たとえば、図３Ｂに示されているような相対的な一方向待ち時間は、１７０クロックサイクルである。
【0042】
図３Ｃに示されているように、チップＢは、たとえば、反時計回りデータパス１１０におけるチップＢからチップＡへの、第２の方向における伝送の相対的な一方向待ち時間を測定するために同じプロセスを実行する。チップＢは、データ３１０が送信されたときのチップＢのローカルカウンタ時間（たとえば、２００）を有するタイムスタンプを含むデータ３１０をチップＡに伝送する。説明を明確にするために、図３Ｃは、チップＡに送信される１つのデータ伝送のみを示している。実際には、たとえば、チップＢは、５１２サイクルのＰＣＳ期間の様々な時点において一連のデータ伝送３０９を送信することができ、その各々には伝送の時点においてチップＢのローカルカウンタ時間でタイムスタンプが付けられる。チップＡは、データ３１０を受信し、それ自体のローカルカウンタ時間（たとえば、６０）を記録する。データ３１０が送信されたときのチップＢのローカル時間（たとえば、２００）とデータ３１０が受信されたときのチップＡのローカル時間（たとえば、６０）との間の差は、チップＢからチップＡへの相対的な一方向相対待ち時間に等しい。たとえば、図３Ｃに示されている相対的な一方向待ち時間は、－１４０クロックサイクルである。２つの隣接するチップ１０２間のローカルカウンタの差により、相対的な一方向待ち時間が負になり得ることが留意されるべきである。
【0043】
一連のデータ伝送が実行されると、各チップ１０２（たとえば、チップＡおよびＢ）は、データ（たとえば、データ３０９およびデータ３１０）内に含まれるタイムスタンプ値と、データが受信されたときのそれ自体のローカルカウンタ時間とに基づいて、一方向における相対的な一方向待ち時間を計算する。各チップ１０２は、次いで、それが測定した最大の相対的な一方向待ち時間を識別し、それぞれの最大ループ待ち時間の計算のために、最大の相対的な一方向待ち時間をシステムドライバ１０４に伝送することができる。いくつかの実装形態では、各チップ１０２は、一連の伝送における各伝送からのタイムスタンプデータを、各伝送が受信された時間におけるそれ自体の関連するローカルカウンタ値とともにシステムドライバ１０４に伝送する。システムドライバ１０４は、次いで、チップのペアごとに、各方向における相対的な一方向待ち時間を計算し、各方向における最大の一方向待ち時間を識別し、それぞれの最大ループ待ち時間を計算する。
【0044】
各チップ１０２上のローカルカウンタは、未知の状態になるので、相対的な一方向待ち時間値は、それ自体では意味がない。しかし、チップ１０２の所与のペア間の２つの相対的な一方向待ち時間（たとえば、チップＡからチップＢへの相対的な一方向待ち時間と、ＢからＡに戻る相対的な一方向待ち時間）が合計されると、ローカルカウンタの差は、チップＡとチップＢとの間のループの周りの絶対待ち時間のみを残してキャンセルされる。たとえば、ループ待ち時間の計算は、以下の式によって表され得る。
ｍａｘ（Ｒｂ－Ｓａ）＝Ｌａｂ＋Ｃｂａ、
ｍａｘ（Ｒａ－Ｓｂ）＝Ｌｂａ－Ｃｂａ、および
Ｌｉｎｔｅｒ－ｃｈｉｐ＿ｌｏｏｐ＿ｍａｘ＝ｍａｘ（Ｒａ－Ｓｂ）＋ｍａｘ（Ｒｂ－Ｓａ）＝Ｌａｂ＋Ｃｂａ＋Ｌｂａ－Ｃｂａ＝Ｌａｂ＋Ｌｂａ
Ｒａ、Ｒｂは、それぞれチップＡまたはチップＢ上でタイムスタンプ付きデータが受信されたローカルカウンタ時間を表す（たとえば、この例では、Ｒａは、６０であり、Ｒｂは、１８０である）。Ｓａ、Ｓｂは、それぞれチップＡまたはチップＢによってデータが送信されたときのカウンタ時間を表す（たとえば、この例では、Ｓａは、１０であり、Ｓｂは、２００である）。Ｃｂａは、チップＢのローカルカウンタ時間とチップＡのローカルカウンタ時間との間のカウンタ時間の差であり、Ｃｂａ＝Ｃｂ－Ｃａである（これは、直接観察できない）（たとえば、この例では、Ｃｂａは、１５０である）。Ｌａｂは、チップＡからチップＢへの最大ジッタ絶対待ち時間である（これは、直接観察できない）。Ｌｂａは、チップＢからチップＡへの最大ジッタ絶対待ち時間である（これは、直接観察できない）。ｍａｘ（Ｒｂ－Ｓａ）は、チップＡからチップＢまでの最大の相対的な一方向待ち時間を表す。ｍａｘ（Ｒｂ－Ｓａ）は、データがチップＡから受信されたときのチップＢのローカルカウンタ時間と、データが送信されたときのチップＡのローカルカウンタ時間との間の差である。これは、チップＡからチップＢへの方向における実際の待ち時間（Ｌａｂ）に、チップＢのカウンタとチップＡのカウンタとの間の差（Ｃｂａ）を加えたものにも相当する。ｍａｘ（Ｒａ－Ｓｂ）は、チップＢからチップＡへの最大の相対的な一方向待ち時間である。ｍａｘ（Ｒａ－Ｓｂ）は、データがチップＢから受信されたときのチップＡのローカルカウンタ時間と、データが送信されたときのチップＢのローカルカウンタ時間との間の差である。これは、チップＢからチップＡへの方向における実際の待ち時間（Ｌｂａ）から、チップＢのカウンタとチップＡのカウンタとの間の差（Ｃｂａ）を引いたものにも相当する。この関係は、ｍａｘ（Ｒａ－Ｓｂ）＝Ｌｂａ＋Ｃａｂとも言い換えられ得、Ｃａｂは、チップＡのカウンタ値からチップＢからのカウンタ値を引いたものであり、たとえば、Ｃｂａの逆である。簡単に言うと、２つのチップ上のローカルカウンタ間のオフセットは、一方向における伝送の「加算」待ち時間および反対方向における伝送の「減算」待ち時間のように見える。Ｌｉｎｔｅｒ－ｃｈｉｐ＿ｌｏｏｐ＿ｍａｘは、２つのチップ間の所与のループ１１２の最大ループ待ち時間を表す。
ｍａｘ（Ｒｂ－Ｓａ）＝Ｌａｂ＋Ｃｂａ、
ｍａｘ（Ｒａ－Ｓｂ）＝Ｌｂａ－Ｃｂａ、および
Ｌｉｎｔｅｒ－ｃｈｉｐ＿ｌｏｏｐ＿ｍａｘ＝ｍａｘ（Ｒａ－Ｓｂ）＋ｍａｘ（Ｒｂ－Ｓａ）＝Ｌａｂ＋Ｃｂａ＋Ｌｂａ－Ｃｂａ＝Ｌａｂ＋Ｌｂａ
Ｒａ、Ｒｂは、それぞれチップＡまたはチップＢ上でタイムスタンプ付きデータが受信されたローカルカウンタ時間を表す（たとえば、この例では、Ｒａは、６０であり、Ｒｂは、１８０である）。Ｓａ、Ｓｂは、それぞれチップＡまたはチップＢによってデータが送信されたときのカウンタ時間を表す（たとえば、この例では、Ｓａは、１０であり、Ｓｂは、２００である）。Ｃｂａは、チップＢのローカルカウンタ時間とチップＡのローカルカウンタ時間との間のカウンタ時間の差であり、Ｃｂａ＝Ｃｂ－Ｃａである（これは、直接観察できない）（たとえば、この例では、Ｃｂａは、１５０である）。Ｌａｂは、チップＡからチップＢへの最大ジッタ絶対待ち時間である（これは、直接観察できない）。Ｌｂａは、チップＢからチップＡへの最大ジッタ絶対待ち時間である（これは、直接観察できない）。ｍａｘ（Ｒｂ－Ｓａ）は、チップＡからチップＢまでの最大の相対的な一方向待ち時間を表す。ｍａｘ（Ｒｂ－Ｓａ）は、データがチップＡから受信されたときのチップＢのローカルカウンタ時間と、データが送信されたときのチップＡのローカルカウンタ時間との間の差である。これは、チップＡからチップＢへの方向における実際の待ち時間（Ｌａｂ）に、チップＢのカウンタとチップＡのカウンタとの間の差（Ｃｂａ）を加えたものにも相当する。ｍａｘ（Ｒａ－Ｓｂ）は、チップＢからチップＡへの最大の相対的な一方向待ち時間である。ｍａｘ（Ｒａ－Ｓｂ）は、データがチップＢから受信されたときのチップＡのローカルカウンタ時間と、データが送信されたときのチップＢのローカルカウンタ時間との間の差である。これは、チップＢからチップＡへの方向における実際の待ち時間（Ｌｂａ）から、チップＢのカウンタとチップＡのカウンタとの間の差（Ｃｂａ）を引いたものにも相当する。この関係は、ｍａｘ（Ｒａ－Ｓｂ）＝Ｌｂａ＋Ｃａｂとも言い換えられ得、Ｃａｂは、チップＡのカウンタ値からチップＢからのカウンタ値を引いたものであり、たとえば、Ｃｂａの逆である。簡単に言うと、２つのチップ上のローカルカウンタ間のオフセットは、一方向における伝送の「加算」待ち時間および反対方向における伝送の「減算」待ち時間のように見える。Ｌｉｎｔｅｒ－ｃｈｉｐ＿ｌｏｏｐ＿ｍａｘは、２つのチップ間の所与のループ１１２の最大ループ待ち時間を表す。
【0045】
隣接ループ１１２に対する単一のチップのいくつかの測定を実行した後、システムドライバ１０４は、すべてのチップペアの中で最大ループ待ち時間を識別する（ステップ２０４）。たとえば、システムドライバ１０４は、最大チップ間ループ待ち時間（Ｌｌｏｏｐ＿ｍａｘ）を識別するために、各チップペア間の伝送ループ１１２からの最大測定ループ待ち時間を比較することができる。
【0046】
チップ１０２のうちの１つまたはシステムドライバ１０４は、リング１１４全体の周りのデータ伝送のリング待ち時間を決定する（ステップ２０６）。たとえば、タイムスタンプ付きデータがフルリングの周りで伝送され、データを伝送したのと同じチップ１０２において受信されることを除いて、図３Ａ～図３Ｃに関して説明されているものと同様の技法が、フルリングの周りの待ち時間を測定および計算するために使用される。フルリングループ１１４の周りで測定された最大伝送時間は、最大フルリング待ち時間（Ｌｒｉｎｇ＿ｍａｘ）となる。したがって、ローカルカウンタの差は、問題にならない。
【0047】
システムドライバ１０４は、マルチチップシステム１００の特性的チップ間待ち時間（Ｌｍａｘ）を決定する（ステップ２０８）。たとえば、システムドライバ１０４は、システム１００における最大一方向待ち時間を推定するために、最大チップ間ループ待ち時間の半分と、最大フルリング待ち時間のＮ分の１とを比較することができ、Ｎは、マルチチップシステム１００内のチップ１０２の総数である。これらの２つの値のうちの大きいほうが、マルチチップシステム１００の特性的チップ間待ち時間（Ｌｍａｘ）である。システムドライバ１０４は、将来の動作において使用するために、特性的チップ間待ち時間を記憶することができる。たとえば、特性的チップ間待ち時間は、以下で論じられているように、起動時同期およびデータ伝送などの他の動作で使用される定数となる。いくつかの実装形態では、特性的チップ間待ち時間は、特定のソフトウェアアプリケーション、たとえば、特定の機械学習アルゴリズムを実行するために、チップ１０２ごとの動作スケジュールを生成するためにコンパイラによっても使用される。たとえば、特性的チップ間待ち時間は、データが１つのチップから隣接するチップに転送されるのにかかる最長の時間を表す。コンパイラは、隣接するチップがデータを伝送した後、受信チップが入力ＦＩＦＯバッファからデータを読み取るようにスケジュールし、スケジュールされた読み取り時間までにすべてのデータが到着することを保証するために、特性的チップ間待ち時間を使用することができる。
【0048】
いくつかの実装形態では、Ｌｍａｘは、特性評価プロセス中に測定されなかった可能性のある任意の変動を考慮して、設計係数によって増加され得る。たとえば、測定されたＬｍａｘは、隣接するチップ間のデータ伝送における最大の可能な変動を考慮していない場合がある。したがって、いくつかの実装形態では、Ｌｍａｘは、マルチチップシステム１００によって経験される実際のチップ間待ち時間がＬｍａｘの値を超えないことを確実にするために、増加され得る。
【0049】
図４は、マルチチップシステム１００のローカルカウンタを同期させるための例示的なプロセス４００のフローチャートである。プロセス４００は、図１、図３Ａ～図３Ｂ、および図４を参照して説明される。いくつかの実装形態では、プロセスまたはその一部は、システムドライバ１０４によって実行または制御される。いくつかの例では、プロセス４００またはその一部は、マルチチップシステム１００の個々のチップ１０２によって実行される。同期プロセス４００は、マルチチップシステム１００内のチップ１０２のローカルカウンタ３０６を同期させるために使用される。プロセス４００は、システム１００が起動されたときに実行され得、したがって、「起動同期」プロセスと呼ばれる。しかしながら、プロセス４００は、同様に他の時間において、たとえば、マルチチップシステムがリセットされた場合にも実行され得る。
【0050】
チップペアごとに、ペア内の第１のチップ（たとえば、チップＡ）からペア内の第２のチップ（たとえば、チップＢ）へのデータ伝送の第１の相対的な一方向の待ち時間が決定され（ステップ４０２ａ）、ペア内の第２のチップ（たとえば、チップＢ）からペア内の第１のチップ（たとえば、チップＡ）へのデータ伝送の第２の相対的な一方向の待ち時間が決定され（ステップ４０２ｂ）。たとえば、２つのチップ間の時計回りデータパス１０８における相対的な一方向の待ち時間が決定され得、次いで、２つのチップ間の反時計回りデータパス１０８における相対的な一方向の待ち時間が決定され得る。第１および第２の相対的な一方向の待ち時間は、たとえば、図３Ａ～図３Ｃを参照して上記で説明されている技法を使用して測定され得る。チップ１０２は、測定された相対的な一方向の待ち時間をシステムドライバ１０４に送り返す。いくつかの実装形態では、システムドライバ１０４は、相対的な一方向の待ち時間の測定を実行するために、個々のチップ１０２を制御する。いくつかの実装形態では、個々のチップ１０２は、システムが起動またはリセットされたときに相対的な一方向の待ち時間の測定を実行するように個々のチップ１０２を制御するソフトウェア（たとえば、ファームウェア）を含む。
【0051】
システムドライバ１０４は、チップの各ペア間のループ待ち時間を決定する（ステップ４０４）。たとえば、システムドライバ１０４は、チップのペア間で測定されたそれぞれの相対的な一方向の待ち時間に基づいて、チップのペア間のループ待ち時間を決定することができる。たとえば、システムドライバ１０４は、チップの所与のペア間のループ待ち時間を計算するために、式Ｌｌｏｏｐ＝（Ｒａ－Ｓｂ）＋（Ｒｂ－Ｓａ）を使用することができる。システムドライバ１０４は、マルチチップシステム１００内のチップのそれぞれのペア間のループ１１２ごとに計算を繰り返すことができる。
【0052】
システムドライバ１０４は、オプションで、各ループ待ち時間がマルチチップシステムの特性的チップ間待ち時間（Ｌｍａｘ）以下であることを確認する（ステップ４０６）。たとえば、システムドライバ１０４は、チップの各ペアについて計算されたループ待ち時間を、特性的チップ間待ち時間の記憶された値と比較することができる。いくつかの実装形態では、計算されたループ待ち時間のいずれかが特性的チップ間待ち時間よりも大きい場合、システムドライバ１０４は、ループ待ち時間測定を再実行し得る。たとえば、システムドライバ１０４は、ステップ４０２および４０４を再実行させ得る。いくつかの実装形態では、システムドライバ１０４は、計算されたループ待ち時間のいずれかが特性的チップ間待ち時間よりも大きい場合、エラー信号を生成し得る。
【0053】
システムドライバ１０４は、特性的チップ間待ち時間（Ｌｍａｘ）に基づいて１つまたは複数のチップのローカルカウンタを調整することによって、チップ１０２を同期させる（ステップ４０８）。たとえば、図１を参照すると、マルチチップシステム１００の１つのチップ１０２が、参照チップとして選択され得る。たとえば、参照チップのカウンタ値は、チップ１０２を同期させるために、マルチチップシステム１００内の他のチップ１０２のそれぞれのローカルカウンタ３０６を調整するためのベースとして機能することになる。この例では、ＦＰＧＡチップは、参照チップとして使用される。システムドライバ１０４は、参照チップから開始してペアワイズ方式でローカルカウンタを調整する。システムドライバ１０４は、Ｌｍａｘと、チップ間の測定された一方向待ち時間のうちの１つとに基づいて、隣接するチップの各ペア内の１つのチップのローカルカウンタ時間を調整する。たとえば、ＦＰＧＡおよびＰ０から開始して、システムドライバ１０４は、Ｌｍａｘと、ＦＰＧＡからＰ０へのデータ伝送の測定された一方向待ち時間（たとえば、時計回りデータパス１０８に沿ったデータ伝送の測定された一方向待ち時間）とに基づいて、Ｐ０のローカルカウンタ時間を調整する。Ｐ０内のローカルカウンタが調整された後、システムドライバ１０４は、チップＰ１のローカルカウンタを調整する。たとえば、システムドライバ１０４は、Ｌｍａｘと、Ｐ０からＰ１へのデータ伝送の測定された一方向待ち時間とに基づいて、Ｐ１のローカルカウンタ時間を調整する。システムドライバ１０４は、すべてのチップが同期されるまで、リングの周りの各チップ１０２のローカルカウンタを調整するためにこのプロセスを繰り返す。しかしながら、ＦＰＧＡ（たとえば、参照チップ）のローカルカウンタは、調整されない。
【0054】
より具体的には、図３Ａおよび図３Ｂに示されている例を使用して、システムドライバ１０４は、Ｌｍａｘと、２つのチップ間の測定された相対的な一方向待ち時間のうちの１つとに基づいて、チップのペア内の１つのチップのローカルカウンタ時間を調整する。システムドライバ１０４は、Ｌｍａｘから、ペア内の１つのチップからローカルカウンタが調整されているチップまでの測定された相対的な一方向待ち時間を引いた分だけカウンタ値を増加させることによって、チップのローカルカウンタ３０６を調整することができる。すなわち、新しいカウンタ値（Ｔｎｅｗ）は、Ｔｎｅｗ＝Ｔｏｌｄ＋Ｌｍａｘ－（Ｒｂ－Ｓａ）によって決定され得、ここで、Ｔｏｌｄは、元のカウンタ値であり、（Ｒｂ－Ｓａ）は、カウンタが調整されているチップによって測定された相対的な一方向待ち時間を表す。たとえば、図３Ｂでは、チップＡからチップＢへの相対的な一方向待ち時間は、１７０であると測定された。Ｌｍａｘを３０とすると、チップＢのカウンタへの調整は、Ｌｍａｘ－（Ｒｂ－Ｓａ）すなわち３０－１７０＝－１４０となる。したがって、システムドライバ１０４は、チップＢのローカルカウンタを－１４０カウントだけ増加させる（たとえば、ローカルカウンタを１４０だけ減少させる）。例として最も単純なケース（たとえば、図３Ａに示されているカウンタ時間）を使用すると、システムドライバ１０４は、チップＢのローカルカウンタを１５０から１０に調整することになる。チップＢのローカルカウンタの調整された値は、チップＡのローカルカウンタの値（たとえば、０）と同一ではないが、２つのチップは、本開示の目的のために同期されていると見なされ得る。たとえば、同期プロセスは、必ずしも２つのチップのローカルカウンタを等しくする必要はないが、チップの各ペア間の最大の相対的な一方向待ち時間がＬｍａｘ以下になるように、マルチチップシステム全体のチップの各ペア間のデータ伝送待ち時間を同期させる。
【0055】
いくつかの実装形態では、チップ１０２のＲｘ通信インターフェース３０８におけるＦＩＦＯバッファも調整され得る。たとえば、システムドライバ１０２は、チップループ１１２のすべてが［２Ｌｍａｘ－３，２Ｌｍａｘ］の範囲のループ待ち時間を有するまで、受信バッファサイズを増加または減少させる（たとえば、４ｎｓの増分で待ち時間を追加または削除する）ことによって、チップ間リンク間の知覚される待ち時間を調整することができる。その結果、フルシステムループ１１４は、次いで、［ＮＬｍａｘ－３，ＮＬｍａｘ］の範囲のループ待ち時間を有し、ここで、Ｎは、ループ内のチップの数である。一般に、待ち時間は、追加される必要があるだけだが、たとえば、２チップループのすべてがそれらの制限内にあるが、たとえば、全システム時計回りループ１１４がより多くの待ち時間を必要とする場合、いくつかの反時計回りポインティングデータパス１１０から待ち時間が除去される必要がある場合がある。その場合、システムドライバ１０４は、（たとえば、反時計回りデータパス１１０に結合されたチップの受信バッファのうちの１つまたは複数を減少させることによって）反時計回りデータパス１１０のうちのいくつかにおけるいくつかの待ち時間を除去し、（たとえば、適切なデータ受信バッファを増加させることによって）同じ量の待ち時間を時計回りリンクに追加し、それによって、時計回りシステムループ１１４上の待ち時間を追加しながら、各２チップループ１１２における待ち時間を維持することができる。いくつかの実装形態では、待ち時間は、受信機側ＦＩＦＯバッファを調節するのではなく、またはそれに加えて、適切な伝送機ＦＩＦＯバッファサイズを増加または減少させることによって調整され得る。
【0056】
図１を参照すると、チップ１０２が同期された後でも、チップ間およびデータ伝送における１つまたは複数の他の残りの変動が対処される必要がある場合がある。たとえば、前方誤り訂正（ＦＥＣ）動作によって発生する待ち時間の変動は、対処される必要がある場合がある。この変動は、隣接するチップ間の伝送よりも、１つのチップから別の隣接しないチップへの伝送に大きく影響を与える。たとえば、１つのチップから別の隣接しないチップへの（たとえば、第１のチップＰ０から最後のチップＰ７までリングを回って）データを伝送するために、データは、バイパス動作を使用して、介在するチップの各々を介して（たとえば、チップＰ１からＰ６を介して）伝送され得る。隣接するチップ間の各データパスの待ち時間は、一定成分と可変成分とを有する。可変成分の正確な値は、決定することが困難または不可能である場合がある。１つのチップ（Ｐ０）から別の隣接しないチップ（Ｐ７）にデータを伝送する場合、たとえば、バイパス動作では、待ち時間の累積変動は、データが伝送される各リンクの待ち時間の変動の合計である。宛先チップ（たとえば、Ｐ７）において、待ち時間の累積変動は、大きくなる可能性があり、宛先チップ（たとえば、Ｐ７）における伝送データの到着時間における大量の変動を結果として生じる。同期システムでは、到着時間におけるこの変動性は、宛先におけるデータのかなりのバッファリングを必要とする場合がある。待ち時間の累積変動から生じる宛先チップ（たとえば、Ｐ７）における到着時間の変動を排除するために、各チップ１０２からのデータ伝送に遅延が課せられ得る。各チップ１０２における遅延の導入は、待ち時間の変動の影響を打ち消し、宛先チップにおけるデータの到着時間は、決定論的になり、同期システムと互換性があるようになる。
【0057】
いくつかの実装形態では、遅延は、プログラムコンパイラによって各チップの動作に組み込まれる。たとえば、プログラムコンパイラは、各チップに対して明示的にスケジュールされた動作としてプログラム命令を生成するために、Ｌｍａｘを使用する。図５、図６Ａ、および図６Ｂを参照して以下でより詳細に説明されているように、各チップは、データがチップに伝送された後に、最大チップ間待ち時間（たとえば、Ｌｍａｘ）である時間において、隣接チップから受信されたデータを再伝送するように事前にスケジュールされ得る。たとえば、チップＰ０の動作は、ローカルカウンタ時間ｔにおいてチップＰ１にデータを伝送するように事前にスケジュールされ得る。チップＰ１は、ローカルカウンタ時間ｔ＋ＬｍａｘにおいてチップＰ２にデータを再伝送するように事前にスケジュールされ得る。
【0058】
タイミング変動性の１つの原因は、２つの隣接するチップ間の物理リンクの特性（たとえば、ＰＣＳジッタ）であり、これは、隣接するチップ１０２間のデータ伝送の待ち時間に変動をもたらす可能性がある。変動性のこの原因は、上記で説明されているシステム特性評価および同期プロセス（２００および４００）によって対処される。しかしながら、タイミング変動性の第２の原因は、内部チップ動作と、マルチチップシステム１００によって実装される前方誤り訂正方式との間の同期の欠如である。前方誤り訂正方式では、チップ１０２間のデータ伝送に誤り訂正データが追加されるが、追加された誤り訂正データは、必ずしもデータ伝送と同期しているとは限らない。非同期データのデータ伝送への導入は、隣接するチップ間のデータ伝送の待ち時間に、たとえば、最大１６クロックサイクルの変動をもたらす可能性がある。
【0059】
データが１つのチップ１０２から別の隣接しないチップ１０２（たとえば、Ｐ０からＰ７）に伝送される場合、各チップ間伝送（たとえば、Ｐ０からＰ１、Ｐ１からＰ２、など）の待ち時間の変動は、宛先チップ（Ｐ７）における累積遅延に累積する。例として前方誤り訂正による変動だけを取り上げると、単一のチップ間（たとえば、Ｐ０からＰ１への）伝送の待ち時間は、±１６クロックサイクルの変動を有する。しかしながら、いくつかの動作は、１つのチップ１０２から別の隣接しないチップ１０２へのデータ伝送、たとえば、チップＰ０からチップＰ３へのデータ伝送、または第１のチップＰ０から最後のチップＰ７へのリングをまわるデータの伝送さえ必要とする場合がある。以下でより詳細に説明されているように、１つのチップから別の隣接しないチップに（たとえば、Ｐ０からＰ７に）データを伝送するために、データは、バイパス動作を使用して、介在するチップの各々を介して（たとえば、チップＰ１～Ｐ６を介して）伝送され得る。しかしながら、チップ間の待ち時間の変動は、８チップにわたって累積し、リング周りの待ち時間の合計変動は、±１２８クロックサイクルに近づく。宛先チップにおける到着時間のこの大きい変動性を同期システムと両立させるために、各チップ１０２における受信ＦＩＦＯバッファサイズを増加させることによって、データのかなりの量のバッファリングが、受信機インターフェース、たとえば、Ｒｘ通信インターフェース３０８において実装され得る。
【0060】
しかしながら、マルチチップデータ伝送プロセス全体での待ち時間の変動の累積を防止することによって、追加のバッファリングが回避され得る。これを達成するために、隣接するチップ１０２の各ペア間のデータ伝送の待ち時間が可変ではなく固定されるように、各チップ１０２におけるデータ伝送動作に少量の遅延が導入され得る。具体的には、最大チップ間待ち時間（Ｌｍａｘ）は、上記で論じられているように決定される。データ伝送中、データがバイパス動作においてチップ１０２で受信されたとき、データは、次のチップにすぐに伝送されるのではなく、ＦＩＦＯバッファなどの受信バッファ内に記憶される。データは、データ伝送が前のチップ１０２において開始されてから最大チップ間待ち時間（たとえば、Ｌｍａｘ）が経過した後にのみバッファから解放される。データ伝送プロセスにおける各バイパス動作のタイミングを制御する際に、データ伝送プロセス全体の正確な時間は、次いで、既知の値になり、これは、宛先チップ１０２におけるデータの知覚される到着時間に変動がないことを意味する。
【0061】
図５は、マルチチップシステム１００内のチップ間でデータ伝送を行うための例示的なプロセス５００のフローチャートである。プロセス５００は、図１、図５、および図６Ａ～図６Ｂを参照して説明される。図６Ａおよび図６Ｂは、データ伝送プロセス５００を示す一連のブロック図を示す。ブロック図は、内部バイパスデータパス６０２および６０４がラベル付けされていることを除いて、図３Ａ～図３Ｃのものと同様である。たとえば、チップ１０２は、チップ１０２がリングトポロジ内の次のチップにデータを直接ルーティングすることを可能にする２つの方向におけるバイパスデータパスを含むことができる。
【0062】
プロセス５００またはその一部は、マルチチップシステム１００の個々のチップ１０２によって実行される。データ伝送プロセス５００は、チップ１０２間のデータ通信をより決定論的にするために、マルチチップシステム１００内の宛先チップ１０２におけるデータ到着時間の変動性を低減するために使用される。さらに、データ伝送プロセス５００は、各チップ１０２において必要とされるデータ入力バッファサイズを低減し得る。プロセス５００は、マルチチップシステム１００内の各チップ１０２によって実行される一連の動作が、事前にスケジュールされ、事前にスケジュールされたローカルカウンタ時間において実行されることも可能にする。
【0063】
図６Ａおよび図６Ｂに示されているように、データ６０６は、第１のチップ（たとえば、チップＡ）から第２のチップ（たとえば、チップＢ）に伝送される（ステップ５０２）。たとえば、データ６０６は、システム１００内の別のチップ１０２を対象とするバイパスデータであり、チップＢを対象とするバイパスデータではない。チップＢは、データ６０６を受信し、データ６０６をバッファ内に記憶する（ステップ５０４）。たとえば、チップＢは、データ６０６をＦＩＦＯバッファ内に記憶する。チップＢは、チップＡがデータを伝送したときから最大チップ間待ち時間が経過するまで、データを記憶する。図示されている例では、チップＢは、ローカルカウンタ時間３２においてデータ６０６を受信し、最大チップ間待ち時間は、Ｌｍａｘ＝３０カウンタサイクルであると仮定されている。したがって、チップＢは、たとえば、ローカルカウンタ時間４０（たとえば、４０＝データ６０６がチップＢに伝送されたときのチップＡのローカルカウンタ時間（１０）に最大チップ間待ち時間（３０）を加えたもの）まで、システム１００内の次のチップ（たとえば、チップＣ）にデータ６０６を伝送しない。これは、８カウンタサイクルの例示的な遅延時間を表す。
【0064】
第１のチップ（たとえば、チップＡ）がデータ６０６を伝送したときから最大チップ間待ち時間（たとえば、Ｌｍａｘ）が経過した後、第２のチップ（たとえば、チップＢ）は、記憶されたデータをバッファから解放し（ステップ５０６）、解放されたデータ６０８（図６Ｂ）を第３のチップ（たとえば、チップＣ）に伝送する（ステップ５０８）。たとえば、チップＡがデータ６０６をチップＢに伝送したときからチップＢのカウンタの３０サイクルが経過した後、チップＢは、そのＦＩＦＯバッファからデータ６０６を解放し、データを内部バイパスパス６０２に沿ってデータを渡し、（図６Ｂにおいて６０８として示される）データをチップＣに伝送することができる。
【0065】
いくつかの実装形態では、チップ動作は、所定のカウンタ値において明示的にスケジュールされる。したがって、たとえば、バイパスデータを所与のチップバッファに記憶するための遅延時間は、スケジュールされた動作において考慮される。たとえば、上記で説明されている例を参照すると、チップＡのスケジュールされた動作命令は、チップＡの１０のローカルカウンタ時間においてデータ６０６をチップＢに伝送するように命令する。チップＢのスケジュールされた動作命令は、その入力バッファからデータ６０６を解放し、チップＢの４０のローカルカウンタ時間においてデータをチップＣに再伝送するようにチップＢに命令する。したがって、チップＢは、データ６０６を再伝送するための遅延時間を内部的に計算する必要はない。
【0066】
図７は、図１のシステム１００内のチップ１０２のうちの１つとして、たとえば、ＡＳＩＣチップＰ０～Ｐ７として使用され得る専用論理チップ（たとえば、ＡＳＩＣ７００）の一例を示す概略図である。ＡＳＩＣ７００は、複数のタイル７０２を含み、タイル７０２のうちの１つまたは複数は、たとえば、乗算演算および加算演算などの演算を実行するように構成された専用回路を含む。特に、各タイル７０２は、（図１の計算ユニット２４と同様の）セルの計算アレイを含むことができ、各セルは、数学的演算を実行するように構成される（たとえば、図４に示されており、本明細書で説明されている例示的なタイル２００を参照されたい）。いくつかの実装形態では、タイル７０２は、グリッドパターンにおいて配置され、タイル７０２は、第１の方向７０１（たとえば、行）に沿って、および第２の方向７０３に沿って配置される。たとえば、図７に示されている例では、タイル７０２は、４つの異なるセクション（７１０ａ、７１０ｂ、７１０ｃ、７１０ｄ）に分割され、各セクションは、縦１８タイル掛ける横１６タイルのグリッドにおいて配置された２８８のタイルを含む。いくつかの実装形態では、図７に示されているＡＳＩＣ７００は、別個のタイルに細分／配置されたセルの単一のシストリック（ｓｙｓｔｏｌｉｃ）アレイを含むものとして理解され得、各タイルは、セルのサブセット／サブアレイと、ローカルメモリと、バスラインとを含む（たとえば、図４を参照）。
【0067】
ＡＳＩＣ７００は、ベクトル処理ユニット７０４も含む。ベクトル処理ユニット７０４は、タイル７０２から出力を受信し、タイル７０２から受信した出力に基づいてベクトル計算出力値を計算するように構成された回路を含む。たとえば、いくつかの実装形態では、ベクトル処理ユニット７０４は、タイル７０２から受信した出力に対して累積演算を実行するように構成された回路（たとえば、乗算回路、加算器回路、シフタ、および／またはメモリ）を含む。代替的に、またはそれに加えて、ベクトル処理ユニット７０４は、タイル７０２の出力に非線形関数を適用するように構成された回路を含む。代替的に、またはそれに加えて、ベクトル処理ユニット７０４は、正規化された値、プールされた値、またはその両方を生成する。ベクトル処理ユニットのベクトル計算出力は、１つまたは複数のタイル内に記憶され得る。たとえば、ベクトル計算出力は、タイル７０２に一意に関連付けられたメモリ内に記憶され得る。代替的に、またはそれに加えて、ベクトル処理ユニット７０４のベクトル計算出力は、計算の出力として、ＡＳＩＣ７００の外部の回路に転送され得る。
【0068】
いくつかの実装形態では、ベクトル処理ユニット７０４は、各セグメントが、タイル７０２の対応するコレクションから出力を受信し、受信した出力に基づいてベクトル計算出力を計算するように構成された回路を含むようにセグメント化される。たとえば、図７に示されている例では、ベクトル処理ユニット７０４は、第１の次元７０１に沿って広がる２つの行を含み、行の各々は、３２列に配置された３２のセグメントを含む。各セグメント７０６は、タイル７０２の対応する列からの出力（たとえば、累積された合計）に基づいて、本明細書で説明されているように、ベクトル計算を実行するように構成された回路（たとえば、乗算回路、加算器回路、シフタ、および／またはメモリ）を含む。ベクトル処理ユニット７０４は、図７に示されているように、タイル７０２のグリッドの中央に配置され得る。ベクトル処理ユニット７０４の他の位置配置も可能である。
【0069】
ＡＳＩＣ７００は、通信インターフェース７０８（たとえば、インターフェース７０１０Ａ、７０１０Ｂ）も含む。通信インターフェース７０８は、シリアライザ／デシリアライザ（ＳｅｒＤｅｓ）インターフェースの１つまたは複数のセットと、汎用入力／出力（ＧＰＩＯ）インターフェースとを含む。ＳｅｒＤｅｓインターフェースは、ＡＳＩＣ７００に関する入力データを受信し、ＡＳＩＣ７００から外部回路にデータを出力するように構成される。たとえば、ＳｅｒＤｅｓインターフェースは、通信インターフェース７０８内に含まれるＳｅｒＤｅｓインターフェースのセットを介して、３２Ｇｂｐｓ、５６Ｇｂｐｓ、または任意の適切なデータレートのレートにおいてデータを伝送および受信するように構成され得る。たとえば、ＡＳＩＣ７００は、オンにされたときに起動プログラムを実行し得る。ＧＰＩＯインターフェースは、起動同期プロセス（たとえば、プロセス４００）を実行するために、命令（たとえば、動作スケジュール）をＡＳＩＣ７００にロードし、システムドライバ４００と通信するために使用され得る。
【0070】
ＡＳＩＣ７００は、通信インターフェース７０８、ベクトル処理ユニット７０４、および複数のタイ７０２の間でデータを伝達するように構成された複数の制御可能なバスライン（たとえば、図４を参照）をさらに含む。制御可能なバスラインは、たとえば、グリッドの第１の次元７０１（たとえば、行）とグリッドの第２の次元（たとえば、列）の両方に沿って延びるワイヤを含む。第１の次元７０１に沿って延びる制御可能なバスラインの第１のサブセットは、第１の方向において（たとえば、図７の右の方に）データを転送するように構成され得る。第１の次元７０１に沿って延びる制御可能なバスラインの第２のサブセットは、第２の方向において（たとえば、図７の左の方に）データを転送するように構成され得る。第２の次元７０３に沿って延びる制御可能なバスラインの第１のサブセットは、第３の方向において（たとえば、図７の上の方に）データを転送するように構成され得る。第２の次元７０３に沿って延びる制御可能なバスラインの第２のサブセットは、第４の方向において（たとえば、図７の下の方に）データを転送するように構成され得る。
【0071】
各制御可能なバスラインは、クロック信号に従ってラインに沿ってデータを伝達するために使用される、フリップフロップなどの複数の伝達要素を含む。制御可能なバスラインを介してデータを転送することは、各クロックサイクルにおいて、制御可能なバスラインの第１の伝達要素から制御可能なバスラインの第２の隣接する伝達要素にデータをシフトすることを含むことができる。いくつかの実装形態では、データは、クロックサイクルの立ち上がりエッジまたは立ち上がりエッジにおいて制御可能なバスラインを介して伝達される。たとえば、第１のクロックサイクルにおいて、制御可能なバスラインの第１の伝達要素（たとえば、フリップフロップ）上に存在するデータは、第２のクロックサイクルにおいて、制御可能なバスラインの第２の伝達要素（たとえば、フリップフロップ）に転送され得る。いくつかの実装形態では、伝達要素は、互いに一定の距離において周期的に離間され得る。たとえば、場合によっては、各制御可能なバスラインは、複数の伝達要素を含み、各伝達要素は、対応するタイル７０２内またはそれに近接して配置される。
【0072】
ＡＳＩＣチップ７００の内部動作に関連する待ち時間を最小化するために、タイル７０２およびベクトル処理ユニット７０４は、様々な構成要素間のデータが移動する距離を減少させるように配置され得る。特定の実装形態では、タイル７０２と通信インターフェース７０８の両方は、複数のセクションにセグメント化され得、タイルセクションと通信インターフェースセクションの両方が、タイルと通信インターフェースとの間のデータが移動する最大距離が減少するように配置される。たとえば、いくつかの実装形態では、タイル７０２の第１のグループが、通信インターフェース７０８の第１の側の第１のセクション内に配置され得、タイル７０２の第２のグループが、通信インターフェースの第２の側の第２のセクション内に配置され得る。結果として、通信インターフェースから最も遠いタイルまでの距離は、タイル７０２のすべてが通信インターフェースの片側の単一のセクション内に配置される構成と比較して、半分にされ得る。
【0073】
代替的には、タイルは、４つのセクションなどの異なる数のセクションにおいて配置され得る。たとえば、図７に示されている例では、ＡＳＩＣ７００の複数のタイル７０２は、複数のセクション７１０（７１０ａ、７１０ｂ、７１０ｃ、７１０ｄ）において配置される。各セクション７１０は、グリッドパターンにおいて配置された同様の数のタイル７０２を含む（たとえば、各セクション７１０は、１６行および１６列に配置された２５６のタイルを含むことができる）。通信インターフェース７０８も、複数のセクションに分割され、第１の通信インターフェース７０１０Ａおよび第２の通信インターフェース７０１０Ｂが、タイル７０２のセクション７１０のいずれかの側に配置される。第１の通信インターフェース７０１０Ａは、制御可能なバスラインを介して、ＡＳＩＣチップ７００の左側の２つのタイルセクション７１０ａ、７１０ｃに結合され得る。第２の通信インターフェース７０１０Ｂは、制御可能なバスラインを介して、ＡＳＩＣチップ７００の右側の２つのタイルセクション７１０ｂ、７１０ｄに結合され得る。結果として、通信インターフェース７０８へおよび／またはからデータが移動する最大距離（および、したがって、データ伝播に関連する待ち時間）は、単一の通信インターフェースのみが利用可能である配置と比較して半分にされ得る。データ待ち時間を低減するために、タイル７０２および通信インターフェース７０８の他の結合配置も可能である。タイル７０２および通信インターフェース７０８の結合配置は、制御可能なバスラインの伝達要素およびマルチプレクサに制御信号を提供することによってプログラムされ得る。
【0074】
いくつかの実装形態では、１つまたは複数のタイル７０２は、制御可能なバスラインおよび／またはＡＳＩＣ７００内の他のタイル（本明細書では「制御タイル」と呼ばれる）に関して読み取り動作および書き込み動作を開始するように構成される。ＡＳＩＣ７００内の残りのタイルは、（たとえば、層推論を計算するために）入力データに基づいて計算を実行するように構成され得る。いくつかの実装形態では、制御タイルは、ＡＳＩＣ７００内の他のタイルと同じ構成要素および構成を含む。制御タイルは、ＡＳＩＣ７００の追加のタイル、追加の行、または追加の列として追加され得る。たとえば、各タイル７０２が入力データに対して計算を実行するように構成されているタイル７０２の対称グリッドの場合、入力データに対して計算を実行するタイル７０２のための読み取り動作および書き込み動作を処理するために、制御タイルの１つまたは複数の追加の行が含まれ得る。たとえば、各セクション７１０は、１８行のタイルを含み、最後の２行のタイルは、制御タイルを含み得る。別個の制御タイルを提供することは、いくつかの実装形態では、計算を実行するために使用される他のタイルにおいて利用可能なメモリの量を増加させる。しかしながら、本明細書で説明されているように制御を提供するための専用の別個のタイルは、必要ではなく、場合によっては、別個の制御タイルは、提供されない。むしろ、各タイルは、そのタイルのための読み取り動作および書き込み動作を開始するための命令をそのローカルメモリ内に記憶し得る。
【0075】
さらに、図７に示されている各セクション７１０は、１８行掛ける１６列に配置されたタイルを含むが、セクション内のタイル７０２の数およびそれらの配置は、異なり得る。たとえば、場合によっては、セクション７１０は、等しい数の行および列を含み得る。
【0076】
さらに、図７では４つのセクションに分割されているように示されているが、タイル７０２は、他の異なるグループに分割され得る。たとえば、いくつかの実装形態では、タイル７０２は、（図７に示されているページの上部により近い）ベクトル処理ユニット７０４の上の第１のセクションおよび（図７に示されているページの下部により近い）ベクトル処理ユニット７０４の下の第２のセクションなどの、２つの異なるセクションにグループ化される。そのような配置では、各セクションは、たとえば、（方向７０３に沿って）縦１８タイル掛ける（方向７０１に沿って）横３２タイルのグリッドにおいて配置された５９６タイルを含み得る。セクションは、他の総数のタイルを含み得、異なるサイズのアレイにおいて配置され得る。場合によっては、セクション間の分割は、ＡＳＩＣ７００のハードウェア機能によって線引きされる。たとえば、図７に示されているように、セクション７１０ａ、７１０ｂは、ベクトル処理ユニット７０４によってセクション７１０ｃ、７１０ｄから分離され得る。
【0077】
本明細書で説明されている主題の実施形態および機能的動作は、デジタル電子回路、本明細書で開示されている構造およびそれらの構造的同等物を含むコンピュータハードウェア、またはそれらのうちの１つもしくは複数の組合せにおいて実装され得る。本明細書で説明されている主題の実施形態は、１つまたは複数のコンピュータプログラム、すなわち、データ処理装置によって実行するために、またはデータ処理装置の動作を制御するために、有形の非一時的プログラムキャリア上に符号化されたコンピュータプログラムの１つまたは複数のモジュールとして実装され得る。代替的に、またはそれに加えて、プログラム命令は、データ処理装置による実行のために適切な受信機装置に伝送するための情報を符号化するために生成された、人工的に生成された伝播信号、たとえば、機械生成の電気、光、または電磁信号上に符号化され得る。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらのうちの１つまたは複数の組合せであり得る。
【0078】
「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのすべての種類の装置、デバイス、および機械を包含する。装置は、専用論理回路、たとえば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣを含むことができる。装置は、ハードウェアに加えて、問題のコンピュータプログラムのための実行環境を作成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つもしくは複数の組合せを構成するコードを含むこともできる。
【0079】
本明細書で説明されているプロセスおよび論理フローは、入力データに対して動作し、出力を生成することによって機能を実行するために、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルコンピュータによって実行され得る。プロセスおよび論理フローは、専用論理回路、たとえば、ＦＰＧＡ、ＡＳＩＣ、またはＧＰＧＰＵ（汎用グラフィック処理ユニット）によっても実行され得、装置は、専用論理回路、たとえば、ＦＰＧＡ、ＡＳＩＣ、またはＧＰＧＰＵ（汎用グラフィック処理ユニット）としても実装され得る。
【0080】
本明細書は、多くの特定の実装形態の詳細を含んでいるが、これらは、いかなる発明または特許請求され得るものの範囲に対する制限として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に固有であり得る特徴の説明として解釈されるべきである。別個の実施形態の文脈で本明細書において説明されている特定の特徴はまた、単一の実施形態において組み合わせて実装され得る。逆に、単一の実施形態の文脈で説明されている様々な特徴はまた、複数の実施形態において別々に、または任意の適切な部分的組合せにおいて実装され得る。さらに、特徴は、特定の組合せで作用するものとして上記で説明されている場合があり、当初はそのように特許請求されている場合さえあるが、特許請求された組合せからの１つまたは複数の特徴は、場合によっては、組合せから削除され得、特許請求された組合せは、部分的組合せまたは部分的組合せの変形に向けられ得る。
【0081】
同様に、動作は、図面において特定の順序で描かれているが、これは、所望の結果を達成するために、そのような動作が示されている特定の順序もしくは連続した順番に実行されること、またはすべての図示されている動作が実行されることを必要としていると理解されるべきではない。特定の状況では、マルチタスクおよび並列処理が有利である場合がある。さらに、上記で説明されている実施形態における様々なモジュールおよび構成要素の分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、説明されているプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品に統合され得、または複数のソフトウェア製品にパッケージ化され得ることが理解されるべきである。
【0082】
主題の特定の実施形態について説明されてきた。他の実施形態は、以下の特許請求の範囲の範囲内にある。たとえば、バスラインは、「制御可能」と説明されているが、すべてのバスラインが同じレベルの制御を有する必要はない。たとえば、様々な程度の制御性が存在し得、いくつかのバスラインは、それらのバスラインにデータを供給することができるまたはそれらのバスラインからデータを伝送することができるタイルの数に関して制限されている場合にのみ、制御され得る。別の例では、いくつかのバスラインは、本明細書で説明されているように、北、東、西、または南などの単一の方向に沿ってデータを供給することに専用にされ得る。場合によっては、特許請求の範囲に列挙されているアクションは、異なる順序で実行され得、依然として所望の結果を達成することができる。一例として、添付図面に描かれているプロセスは、所望の結果を達成するために、示されている特定の順序または連続した順序を必ずしも必要としない。特定の実装形態では、マルチタスクおよび並列処理が有利である場合がある。
【符号の説明】
【0083】
２４ 計算ユニット
１００ マルチチップシステム、システム
１０２ 半導体チップ、チップ、ＡＳＩＣチップ、ＦＰＧＡチップ、ＡＳＩＣ、宛先チップ
１０４ システムドライバ、ＦＰＧＡチップ
１０６ クロック
１０８ 時計回りパス、時計回りデータパス
１１０ 反時計回りパス、反時計回りポインティングデータパス、反時計回りデータパス
１１２ チップ間通信ループ、ループ、チップループ、伝送ループ、２チップループ
１１４ チップ間通信ループ、ループ、リング、フルリングループ、フルシステムループ、時計回りシステムループ
２００ タイル
３０４ コントローラ
３０６ ローカルカウンタ
３０８ 通信インターフェース、Ｒｘ通信インターフェース
３０９ タイムスタンプ付きデータ、データ、データ伝送
３１０ データ
６０２ 内部バイパスデータパス、内部バイパスパス
６０４ 内部バイパスデータパス
６０６ データ
６０８ データ
７００ ＡＳＩＣ、ＡＳＩＣチップ
７０１ 第１の方向、第１の次元
７０２ タイル
７０３ 第２の方向、第２の次元
７０４ ベクトル処理ユニット
７０６ セグメント
７０８ 通信インターフェース
７１０ セクション
７１０ａ セクション
７１０ｂ セクション
７１０ｃ セクション
７１０ｄ セクション
７０１０Ａ インターフェース、第１の通信インターフェース
７０１０Ｂ インターフェース、第２の通信インターフェース
１００ マルチチップシステム、システム
１０２ 半導体チップ、チップ、ＡＳＩＣチップ、ＦＰＧＡチップ、ＡＳＩＣ、宛先チップ
１０４ システムドライバ、ＦＰＧＡチップ
１０６ クロック
１０８ 時計回りパス、時計回りデータパス
１１０ 反時計回りパス、反時計回りポインティングデータパス、反時計回りデータパス
１１２ チップ間通信ループ、ループ、チップループ、伝送ループ、２チップループ
１１４ チップ間通信ループ、ループ、リング、フルリングループ、フルシステムループ、時計回りシステムループ
２００ タイル
３０４ コントローラ
３０６ ローカルカウンタ
３０８ 通信インターフェース、Ｒｘ通信インターフェース
３０９ タイムスタンプ付きデータ、データ、データ伝送
３１０ データ
６０２ 内部バイパスデータパス、内部バイパスパス
６０４ 内部バイパスデータパス
６０６ データ
６０８ データ
７００ ＡＳＩＣ、ＡＳＩＣチップ
７０１ 第１の方向、第１の次元
７０２ タイル
７０３ 第２の方向、第２の次元
７０４ ベクトル処理ユニット
７０６ セグメント
７０８ 通信インターフェース
７１０ セクション
７１０ａ セクション
７１０ｂ セクション
７１０ｃ セクション
７１０ｄ セクション
７０１０Ａ インターフェース、第１の通信インターフェース
７０１０Ｂ インターフェース、第２の通信インターフェース
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6A】
【図6B】
【図7】