知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-28
(54)【発明の名称】マルチタイル処理ユニットのための同期
(51)【国際特許分類】
G06F 9/52 20060101AFI20240621BHJP
【ＦＩ】
G06F9/52 150A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024501695
(86)(22)【出願日】2022-06-24
(85)【翻訳文提出日】2024-03-11
(86)【国際出願番号】 EP2022067456
(87)【国際公開番号】W WO2023285113
(87)【国際公開日】2023-01-19
(31)【優先権主張番号】2110148.0
(32)【優先日】2021-07-14
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】518371892
【氏名又は名称】グラフコアー リミテッド
【氏名又は名称原語表記】Ｇｒａｐｈｃｏｒｅ Ｌｉｍｉｔｅｄ
【住所又は居所原語表記】１１－１９ Ｗｉｎｅ Ｓｔｒｅｅｔ，Ｂｒｉｓｔｏｌ，ＢＳ１ ２ＰＨ，Ｕｎｉｔｅｄ Ｋｉｎｇｄｏｍ
(74)【代理人】
【識別番号】100169904
【弁理士】
【氏名又は名称】村井 康司
(74)【代理人】
【識別番号】100219117
【弁理士】
【氏名又は名称】金 亨泰
(72)【発明者】
【氏名】ダニエル ウィルキンソン
(72)【発明者】
【氏名】アラン アレクサンダー
(72)【発明者】
【氏名】スティーブン フィリックス
(72)【発明者】
【氏名】リチャード オズボーン
(72)【発明者】
【氏名】サイモン ノウルズ
(72)【発明者】
【氏名】デイヴィッド レイシー
(72)【発明者】
【氏名】ラーズ ポール ヒューズ
(57)【要約】
バリア同期を実行するための２つ以上の異なる外部同期グループに処理ユニット内のタイルを分けることができるマルチタイル処理ユニット。このようにして、同じ処理ユニットの異なるタイルの組がその処理ユニットの外部の異なるタイルの組とそれぞれ同期する。
【特許請求の範囲】
【請求項1】
複数のプロセッサを含む処理ユニットを含む処理装置であって、前記複数のプロセッサは第１の１組のプロセッサと第２の１組のプロセッサとを含み、前記第１の１組のプロセッサの各プロセッサは、前記第１の１組のプロセッサ及び第１の更なる処理装置に属する第３の１組のプロセッサを含む第１の同期グループ間で強制される第１のバリア同期に参加するように構成され、前記第１のバリア同期は前記第１の同期グループの計算段階を前記第１の同期グループの第１の交換段階と分離し、
前記第１の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれは、前記第１の交換段階中に前記第３の１組のプロセッサとデータを交換するように構成され、
前記第２の１組のプロセッサの各プロセッサは、前記第２の１組のプロセッサ及び第２の更なる処理装置に属する第４の１組のプロセッサを含む第２の同期グループ間で強制される第２のバリア同期に参加するように構成され、前記第２のバリア同期は前記第２の同期グループの計算段階を前記第２の同期グループの第２の交換段階と分離し、
前記第２の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれは、前記第２の交換段階中に前記第４の１組のプロセッサとデータを交換するように構成され、
前記第１の交換段階は前記第２の交換段階と時間的に重複する、
処理装置。
【請求項2】
前記第３の１組のプロセッサが属する前記第１の更なる処理装置が、前記第４の１組のプロセッサが属する前記第２の更なる処理装置と異なる、請求項１に記載の処理装置。
【請求項3】
前記第３の１組のプロセッサが属する前記第１の更なる処理装置が、前記第４の１組のプロセッサが属する前記第２の更なる処理装置と同じである、請求項１に記載の処理装置。
【請求項4】
前記第１の１組のプロセッサ及び前記第２の１組のプロセッサの各プロセッサが、前記第１の交換段階及び前記第２の交換段階の後、前記第１の１組のプロセッサ及び前記第２の１組のプロセッサを含む第３のバリア同期に参加すること、及び
前記第３のバリア同期の後、前記第１の同期グループ及び前記第２の同期グループと異なる１つ又は複数の新たな同期グループを含む１つ又は複数の更なるバリア同期に参加すること
を行うように構成される、請求項１～３の何れか一項に記載の処理装置。
【請求項5】
前記処理装置が、第１の同期メッセージを前記第１の更なる処理装置と交換することによって前記第１の同期グループのプロセッサ間の前記第１のバリア同期を調整すること、及び
第２の同期メッセージを前記第２の更なる処理装置と交換することによって前記第２の同期グループのプロセッサ間の前記第２のバリア同期を調整すること
を行うように構成される回路を含む外部同期コントローラを含む、請求項１～４の何れか一項に記載の処理装置。
【請求項6】
前記第１の同期メッセージが第１の同期要求及び同期肯定応答の対を含み、前記第２の同期メッセージが第２の同期要求及び同期肯定応答の対を含む、請求項５に記載の処理装置。
【請求項7】
前記外部同期コントローラが、前記第１のバリア同期を調整するための前記第１の同期メッセージの少なくとも１つが送信される宛先を決定すること、及び
前記第２のバリア同期を調整するための前記第２の同期メッセージの少なくとも１つが送信される宛先を決定すること
を行うための構成設定を保持する記憶域を含む、請求項５又は６に記載の処理装置。
【請求項8】
前記外部同期コントローラの前記回路が、前記外部同期コントローラの１つ又は複数のインタフェースを前記第１の同期グループに関連付けることにより、前記第１のバリア同期を調整するための前記第１の同期メッセージの前記少なくとも１つが送信される前記宛先を決定すること、及び
前記外部同期コントローラの１つ又は複数の更なるインタフェースを前記第２の同期グループに関連付けることにより、前記第２のバリア同期を調整するための前記第２の同期メッセージの前記少なくとも１つが送信される前記宛先を決定すること
を行うように構成される、請求項７に記載の処理装置。
【請求項9】
どの処理装置がどのバリア同期に参加するのかを修正するように前記構成設定が書き込み可能である、請求項７又は８に記載の処理装置。
【請求項10】
前記外部同期コントローラが前記処理ユニットとの複数のインタフェースを含み、前記複数のインタフェースの少なくとも一部のそれぞれが異なる同期グループに関連し、前記外部同期コントローラが、前記第１の同期グループに関連する前記複数のインタフェースの１つの上で前記処理ユニットから第１の同期要求を受信することに応答し、前記第１の同期グループのプロセッサ間の前記第１のバリア同期を調整する前記ステップを実行すること、及び
前記第２の同期グループに関連する前記複数のインタフェースの１つの上で前記処理ユニットから第２の同期要求を受信することに応答し、前記第２の同期グループのプロセッサ間の前記第２のバリア同期を調整する前記ステップを実行すること
を行うように構成される、請求項５～７の何れか一項に記載の処理装置。
【請求項11】
前記外部同期コントローラの前記回路が複数の同期伝播回路を含み、前記複数の同期伝播回路の少なくとも一部のそれぞれがプロセッサの同期グループに関連し、前記個々の同期グループに属するプロセッサを含む少なくとも１つの追加の処理装置に同期メッセージを伝播するように構成可能であり、第１の同期メッセージを前記第１の更なる処理装置と交換することによって前記第１の同期グループのプロセッサ間の前記第１のバリア同期を前記調整することが、前記第１の同期グループに関連する前記複数の同期伝播回路の１つによって実行される、
請求項５～１０の何れか一項に記載の処理装置。
【請求項12】
前記外部同期コントローラの前記回路は、前記第１の１組のプロセッサが前記第１のバリア同期に達したことを示す、前記第１の１組のプロセッサからの第１の少なくとも１つの同期要求を受信すること、及び
前記第１の少なくとも１つの同期要求に応答して前記第１の１組のプロセッサのそれぞれを前記第１の交換段階に入れるように前記第１の１組のプロセッサのそれぞれに同期肯定応答を提供すること、
前記第２の１組のプロセッサが前記第２のバリア同期に達したことを示す、前記第２の１組のプロセッサからの第２の少なくとも１つの同期要求を受信すること、及び
前記第２の少なくとも１つの同期要求に応答して前記第２の１組のプロセッサのそれぞれを前記第２の交換段階に入れるように前記第２の１組のプロセッサのそれぞれに同期肯定応答を提供すること
を行うように構成される、請求項５～１１の何れか一項に記載の処理装置。
【請求項13】
前記外部同期コントローラの前記回路が、前記第１の更なる処理装置との前記第１の同期メッセージの前記交換に応答して前記第１の１組のプロセッサのそれぞれに前記同期肯定応答を提供すること、及び
前記第２の更なる処理装置との前記第２の同期メッセージの前記交換に応答して前記第２の１組のプロセッサのそれぞれに前記同期肯定応答を提供すること
を行うように構成される、請求項１２に記載の処理装置。
【請求項14】
前記複数のプロセッサの少なくとも一部が、異なるバリア同期に参加するために使用される複数の異なる同期グループに属する、請求項１～１３の何れか一項に記載の処理装置。
【請求項15】
前記複数のプロセッサのそれぞれは、前記個々のプロセッサが複数の同期グループのどれに属するのかに関する指示を記憶するレジスタを含む、請求項１４に記載の処理装置。
【請求項16】
前記複数のプロセッサのそれぞれについて、前記個々のプロセッサの前記レジスタ内に記憶される前記指示は前記個々のプロセッサが複数の構成可能な同期ゾーンのどれに属するのかに関する指示である、請求項１５に記載の処理装置。
【請求項17】
前記複数のプロセッサのそれぞれが複数の配線を有し、前記複数の配線の少なくとも一部のそれぞれが複数の同期グループの異なるものに関連し、前記第１の１組のプロセッサのうちの前記プロセッサのそれぞれは、自らのコンパイル済みコード内で前記第１のバリア同期に達すると、前記第１の同期グループに関連する前記個々の複数の配線の１つの上で同期要求信号をアサートするように構成され、
前記第２の１組のプロセッサのうちの前記プロセッサのそれぞれは、自らのコンパイル済みコード内で前記第２のバリア同期に達すると、前記第２の同期グループに関連する前記個々の複数の配線の１つの上で同期要求信号をアサートするように構成される、
請求項１～１６の何れか一項に記載の処理装置。
【請求項18】
前記複数のプロセッサのそれぞれは、前記個々のプロセッサが属さない同期グループに関連する前記複数の配線の何れかの上で同期要求信号を継続的にアサートするように構成される、請求項１７に記載の処理装置。
【請求項19】
前記第１の１組の複数のプロセッサの少なくとも一部のそれぞれが、前記第１の同期グループを識別するオペランドを含む同期命令を実行することによって前記第１のバリア同期用の前記第１の同期グループを選択するように構成される、請求項１～１８の何れか一項に記載の処理装置。
【請求項20】
前記オペランドが、前記第１の同期グループの同期をサポートする構成可能な同期ゾーンを識別することによって前記第１の同期グループを識別する、請求項１９に記載の処理装置。
【請求項21】
前記第１の同期グループが、前記複数のプロセッサの異なるグループ分けを含むように前記複数の前記プロセッサのそれぞれの中で保持される設定に基づいて構成可能な第１の同期ゾーンに関連し、前記第２の同期グループが、前記複数のプロセッサの異なるグループ分けを含むように複数の前記プロセッサのそれぞれの中で保持される前記設定に基づいて構成可能な第２の同期ゾーンに関連する、請求項１～２０の何れか一項に記載の処理装置。
【請求項22】
前記複数のプロセッサのそれぞれの中で保持される前記設定は、前記個々のプロセッサが前記第１の同期ゾーンに属するのかどうか及び前記個々のプロセッサが前記第２の同期ゾーンに属するのかどうかを指定する、請求項２１に記載の処理装置。
【請求項23】
前記処理装置が集積回路であり、前記第１の更なる処理装置が第１の更なる集積回路であり、前記第２の更なる処理装置が第２の更なる集積回路である、請求項１～２２の何れか一項に記載の処理装置。
【請求項24】
前記第３の１組のプロセッサとデータを前記交換することが、前記処理装置と前記第１の更なる処理装置との間のパケット交換ネットワーク上で伝送するための１つ又は複数のデータパケットをディスパッチすることを含み、前記第４の１組のプロセッサとデータを前記交換することが、前記処理装置と前記第２の更なる処理装置との間のパケット交換ネットワーク上で伝送するための１つ又は複数のデータパケットをディスパッチすることを含む、請求項１～２３の何れか一項に記載の処理装置。
【請求項25】
請求項１～２４の何れか一項に記載の処理装置と、第１の更なる処理装置と、
第２の更なる処理装置と、
を含む、データ処理システム。
【請求項26】
処理装置を１つ又は複数の更なる処理装置と同期するための方法であって、前記処理装置は複数のプロセッサを含む処理ユニットを含み、前記複数のプロセッサは第１の１組のプロセッサ及び第２の１組のプロセッサを含み、前記第１の１組のプロセッサ及び第１の更なる処理装置に属する第３の１組のプロセッサを含む第１の同期グループ間で強制される第１のバリア同期に前記第１の１組のプロセッサの各プロセッサが参加することであって、前記第１のバリア同期は前記第１の同期グループの計算段階を前記第１の同期グループの第１の交換段階と分離して参加することと、
前記第１の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれが、前記第１の交換段階中に前記第３の１組のプロセッサとデータを交換すること、
前記第２の１組のプロセッサ及び第２の更なる処理装置に属する第４の１組のプロセッサを含む第２の同期グループ間で強制される第２のバリア同期に前記第２の１組のプロセッサの各プロセッサが参加することであって、前記第２のバリア同期は前記第２の同期グループの計算段階を前記第２の同期グループの第２の交換段階と分離して参加することと、
前記第２の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれが、前記第２の交換段階中に前記第４の１組のプロセッサとデータを交換することと、
を含み、
前記第１の交換段階は前記第２の交換段階と時間的に重複する、方法。
【請求項27】
処理ユニットの複数のプロセッサによって実行されるとき、処理装置を１つ又は複数の更なる処理装置と同期するための方法を実行させる複数組のコンピュータ可読命令を含むコンピュータプログラムであって、前記処理装置は前記処理ユニットを含み、前記複数のプロセッサは第１の１組のプロセッサ及び第２の１組のプロセッサを含み、前記方法は前記第１の１組のプロセッサ及び第１の更なる処理装置に属する第３の１組のプロセッサを含む第１の同期グループ間で強制される第１のバリア同期に前記第１の１組のプロセッサの各プロセッサが参加することであって、前記第１のバリア同期は前記第１の同期グループの計算段階を前記第１の同期グループの第１の交換段階と分離して参加することと、
前記第１の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれが、前記第１の交換段階中に前記第３の１組のプロセッサとデータを交換すること、
前記第２の１組のプロセッサ及び第２の更なる処理装置に属する第４の１組のプロセッサを含む第２の同期グループ間で強制される第２のバリア同期に前記第２の１組のプロセッサの各プロセッサが参加することであって、前記第２のバリア同期は前記第２の同期グループの計算段階を前記第２の同期グループの第２の交換段階と分離して参加することと、
前記第２の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれが、前記第２の交換段階中に前記第４の１組のプロセッサとデータを交換することと、
を含み、
前記第１の交換段階は前記第２の交換段階と時間的に重複する、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、処理装置と１つ又は複数の更なる処理装置とを同期することに関する。具体的には、本開示は異なるバリア同期による、異なるプロセッサの組を含む同期に関する。
【背景技術】
【0002】
複雑な又は大量のアプリケーションのデータを処理する状態において、そのデータの処理を実行するための処理ユニットが提供され得る。処理ユニットは、一定のデータの処理がホストシステムからオフロードされるワークアクセラレータとして機能することができる。かかる処理ユニットは、特定の種類の処理を実行するための専用ハードウェアを有し得る。
【0003】
一例として、このような専用アクセラレータサブシステムが使用され得るコンピューティングの１つの分野は機械知能に見られる。機械知能の技術分野の当業者には馴染みがあるように、機械知能アルゴリズムは、複数の相互接続ノードのグラフによって表すことができる「知識モデル」の反復更新を実行することに基づく。各ノードの実装はデータの処理を含み、グラフの相互接続はノード間で交換されるデータに対応する。典型的には、各ノードの処理の少なくとも一部はグラフ内のノードの一部又は他の全てから独立して実行することができ、従って大規模なグラフはマルチスレッディングの大きな機会となる。従って、機械知能アプリケーションに特化した処理ユニットは大幅なマルチスレッディングを含み得る。並列処理の１つの形態は、同一チップ（即ち同一ダイ）上に複数のタイルを配置することによって達成することができ、各タイルは独自の別個の個々の実行ユニット及びメモリ（プログラムメモリ及びデータメモリを含む）を含む。従って、プログラムコードの別々の部分をタイルの異なるものの上で並列に実行することができる。
【0004】
処理能力を向上させるために、複数の処理ユニットを接続してスケーリングされたシステムを提供することができる。このような処理ユニットのシステムがアプリケーションを一緒に実行する場合、異なる処理ユニット上で実行されるプログラムの部分間に依存関係が存在し得る。従って、或る処理ユニット上のコード片が、別の処理ユニット上の別のコード片によって依存先のデータが入手可能にされるよりも前に実行されるのを防ぐ技法が求められている。これを実現するための幾つかの可能なスキームがあり、ここではその１つである「ＢＳＰ」（バルク同期並列）を例として説明する。ＢＳＰによれば、各処理ユニットは計算段階と交換段階とを交互に繰り返す。計算段階の間、各処理ユニットは処理ユニット上で１つ又は複数の計算タスクをローカルに実行するが、その計算の如何なる結果も処理ユニットの他の任意のものと通信しない。交換段階では、各処理ユニットは先行する計算段階からの計算の１つ又は複数の結果を処理ユニットの１つ又は複数の他のものとの間で交換することを認められる。更にＢＳＰ原理によれば、計算段階から交換段階に移行する継ぎ目、交換段階から計算段階に移行する継ぎ目、又はその両方の継ぎ目にバリア同期が置かれる。
【発明の概要】
【課題を解決するための手段】
【0005】
処理ユニット間の各バリア同期には時間が必要であり、そのため非効率的に使用された場合は処理ユニットのシステムの動作が遅くなる可能性がある。
【0006】
第１の態様によれば、複数のプロセッサを含む処理ユニットを含む処理装置が提供され、複数のプロセッサは第１の１組のプロセッサと第２の１組のプロセッサとを含み、第１の１組のプロセッサの各プロセッサは、第１の１組のプロセッサ及び第１の更なる処理装置に属する第３の１組のプロセッサを含む第１の同期グループ間で強制される第１のバリア同期に参加するように構成され、第１のバリア同期は第１の同期グループの計算段階を第１の同期グループの第１の交換段階と分離し、第１の１組のプロセッサのうちのプロセッサの少なくとも一部のそれぞれは、第１の交換段階中に第３の１組のプロセッサとデータを交換するように構成され、第２の１組のプロセッサの各プロセッサは、第２の１組のプロセッサ及び第２の更なる処理装置に属する第４の１組のプロセッサを含む第２の同期グループ間で強制される第２のバリア同期に参加するように構成され、第２のバリア同期は第２の同期グループの計算段階を第２の同期グループの第２の交換段階と分離し、第２の１組のプロセッサのうちのプロセッサの少なくとも一部のそれぞれは、第２の交換段階中に第４の１組のプロセッサとデータを交換するように構成され、第１の交換段階は第２の交換段階と時間的に重複する。
【0007】
従って実施形態によれば、処理ユニットはどちらも処理ユニットの外部のプロセッサを含む２つ以上の同期グループに分割される。従って、処理ユニットの一部が或るエンティティと同期する一方、処理ユニットの別の部分を別のエンティティと同期することが可能である。これにより、バリア同期が関与するアプリケーションを実行する全体的な時間を短縮することができる。
【0008】
一部の実施形態では、第３の１組のプロセッサが属する第１の更なる処理装置が、第４の１組のプロセッサが属する第２の更なる処理装置と異なる。
【0009】
一部の実施形態では、第３の１組のプロセッサが属する第１の更なる処理装置が、第４の１組のプロセッサが属する第２の更なる処理装置と同じである。
【0010】
一部の実施形態では、第１の１組のプロセッサ及び第２の１組のプロセッサの各プロセッサが、第１の交換段階及び第２の交換段階の後、第１の１組のプロセッサ及び第２の１組のプロセッサを含む第３のバリア同期に参加すること、及び第３のバリア同期の後、第１の同期グループ及び第２の同期グループと異なる１つ又は複数の新たな同期グループを含む１つ又は複数の更なるバリア同期に参加することを行うように構成される。
【0011】
一部の実施形態では、処理装置が、第１の同期メッセージを第１の更なる処理装置と交換することによって第１の同期グループのプロセッサ間の第１のバリア同期を調整すること、及び第２の同期メッセージを第２の更なる処理装置と交換することによって第２の同期グループのプロセッサ間の第２のバリア同期を調整することを行うように構成される回路を含む外部同期コントローラを含む。
【0012】
一部の実施形態では、第１の同期メッセージが第１の同期要求及び同期肯定応答の対を含み、第２の同期メッセージが第２の同期要求及び同期肯定応答の対を含む。
【0013】
一部の実施形態では、外部同期コントローラが、第１のバリア同期を調整するための第１の同期メッセージの少なくとも１つが送信される宛先を決定すること、及び第２のバリア同期を調整するための第２の同期メッセージの少なくとも１つが送信される宛先を決定することを行うための構成設定を保持する記憶域を含む。
【0014】
一部の実施形態では、外部同期コントローラの回路が、外部同期コントローラの１つ又は複数のインタフェースを第１の同期グループに関連付けることにより、第１のバリア同期を調整するための第１の同期メッセージの少なくとも１つが送信される宛先を決定すること、及び外部同期コントローラの１つ又は複数の更なるインタフェースを第２の同期グループに関連付けることにより、第２のバリア同期を調整するための第２の同期メッセージの少なくとも１つが送信される宛先を決定することを行うように構成される。
【0015】
一部の実施形態では、どの処理装置がどのバリア同期に参加するのかを修正するように構成設定が書き込み可能である。
【0016】
一部の実施形態では、外部同期コントローラが処理ユニットとの複数のインタフェースを含み、複数のインタフェースの少なくとも一部のそれぞれが異なる同期グループに関連し、外部同期コントローラが、第１の同期グループに関連する複数のインタフェースの１つの上で処理ユニットから第１の同期要求を受信することに応答し、第１の同期グループのプロセッサ間の第１のバリア同期を調整するステップを実行すること、及び第２の同期グループに関連する複数のインタフェースの１つの上で処理ユニットから第２の同期要求を受信することに応答し、第２の同期グループのプロセッサ間の第２のバリア同期を調整するステップを実行することを行うように構成される。
【0017】
一部の実施形態では、外部同期コントローラの回路が複数の同期伝播回路を含み、複数の同期伝播回路の少なくとも一部のそれぞれがプロセッサの同期グループに関連し、個々の同期グループに属するプロセッサを含む少なくとも１つの追加の処理装置に同期メッセージを伝播するように構成可能であり、第１の同期メッセージを第１の更なる処理装置と交換することによって第１の同期グループのプロセッサ間の第１のバリア同期を調整することが、第１の同期グループに関連する複数の同期伝播回路の１つによって実行される。
【0018】
一部の実施形態では、外部同期コントローラの回路は、第１の１組のプロセッサが第１のバリア同期に達したことを示す、第１の１組のプロセッサからの第１の少なくとも１つの同期要求を受信すること、及び第１の少なくとも１つの同期要求に応答して第１の１組のプロセッサのそれぞれを第１の交換段階に入れるように第１の１組のプロセッサのそれぞれに同期肯定応答を提供すること、第２の１組のプロセッサが第２のバリア同期に達したことを示す、第２の１組のプロセッサからの第２の少なくとも１つの同期要求を受信すること、及び第２の少なくとも１つの同期要求に応答して第２の１組のプロセッサのそれぞれを第２の交換段階に入れるように第２の１組のプロセッサのそれぞれに同期肯定応答を提供することを行うように構成される。
【0019】
一部の実施形態では、外部同期コントローラの回路が、第１の更なる処理装置との第１の同期メッセージの交換に応答して第１の１組のプロセッサのそれぞれに同期肯定応答を提供すること、及び第２の更なる処理装置との第２の同期メッセージの交換に応答して第２の１組のプロセッサのそれぞれに同期肯定応答を提供することを行うように構成される。
【0020】
一部の実施形態では、複数のプロセッサの少なくとも一部が、異なるバリア同期に参加するために使用される複数の異なる同期グループに属する。
【0021】
一部の実施形態では、複数のプロセッサのそれぞれは、個々のプロセッサが複数の同期グループのどれに属するのかに関する指示を記憶するレジスタを含む。
【0022】
一部の実施形態では、複数のプロセッサのそれぞれについて、個々のプロセッサのレジスタ内に記憶される指示は個々のプロセッサが複数の構成可能な同期ゾーンのどれに属するのかに関する指示である。
【0023】
一部の実施形態では、複数のプロセッサのそれぞれが複数の配線を有し、複数の配線の少なくとも一部のそれぞれが複数の同期グループの異なるものに関連し、第１の１組のプロセッサのうちのプロセッサのそれぞれは、自らのコンパイル済みコード内で第１のバリア同期に達すると、第１の同期グループに関連する個々の複数の配線の１つの上で同期要求信号をアサートするように構成され、第２の１組のプロセッサのうちのプロセッサのそれぞれは、自らのコンパイル済みコード内で第２のバリア同期に達すると、第２の同期グループに関連する個々の複数の配線の１つの上で同期要求信号をアサートするように構成される。
【0024】
一部の実施形態では、複数のプロセッサのそれぞれは、個々のプロセッサが属さない同期グループに関連する複数の配線の何れかの上で同期要求信号を継続的にアサートするように構成される。
【0025】
一部の実施形態では、第１の１組の複数のプロセッサの少なくとも一部のそれぞれが、第１の同期グループを識別するオペランドを含む同期命令を実行することによって第１のバリア同期用の第１の同期グループを選択するように構成される。
【0026】
一部の実施形態では、オペランドが、第１の同期グループの同期をサポートする構成可能な同期ゾーンを識別することによって第１の同期グループを識別する。
【0027】
一部の実施形態では、第１の同期グループが、複数のプロセッサの異なるグループ分けを含むように複数のプロセッサのそれぞれの中で保持される設定に基づいて構成可能な第１の同期ゾーンに関連し、第２の同期グループが、複数のプロセッサの異なるグループ分けを含むように複数のプロセッサのそれぞれの中で保持される設定に基づいて構成可能な第２の同期ゾーンに関連する。
【0028】
一部の実施形態では、複数のプロセッサのそれぞれの中で保持される設定は、個々のプロセッサが第１の同期ゾーンに属するのかどうか及び個々のプロセッサが第２の同期ゾーンに属するのかどうかを指定する。
【0029】
一部の実施形態では、処理装置が集積回路であり、第１の更なる処理装置が第１の更なる集積回路であり、第２の更なる処理装置が第２の更なる集積回路である。
【0030】
一部の実施形態では、第３の１組のプロセッサとデータを交換することが、処理装置と第１の更なる処理装置との間のパケット交換ネットワーク上で伝送するための１つ又は複数のデータパケットをディスパッチすることを含み、第４の１組のプロセッサとデータを交換することが、処理装置と第２の更なる処理装置との間のパケット交換ネットワーク上で伝送するための１つ又は複数のデータパケットをディスパッチすることを含む。
【0031】
第２の態様によれば、第１の態様による処理装置、第１の更なる処理装置、及び第２の更なる処理装置を含むデータ処理システムが提供される。
【0032】
第３の態様によれば、処理装置を１つ又は複数の更なる処理装置と同期するための方法が提供され、処理装置は複数のプロセッサを含む処理ユニットを含み、複数のプロセッサは第１の１組のプロセッサ及び第２の１組のプロセッサを含み、本方法は、第１の１組のプロセッサ及び第１の更なる処理装置に属する第３の１組のプロセッサを含む第１の同期グループ間で強制される第１のバリア同期に第１の１組のプロセッサの各プロセッサが参加することであって、第１のバリア同期は第１の同期グループの計算段階を第１の同期グループの第１の交換段階と分離して参加すること、第１の１組のプロセッサのうちのプロセッサの少なくとも一部のそれぞれが、第１の交換段階中に第３の１組のプロセッサとデータを交換すること、第２の１組のプロセッサ及び第２の更なる処理装置に属する第４の１組のプロセッサを含む第２の同期グループ間で強制される第２のバリア同期に第２の１組のプロセッサの各プロセッサが参加することであって、第２のバリア同期は第２の同期グループの計算段階を第２の同期グループの第２の交換段階と分離して参加すること、第２の１組のプロセッサのうちのプロセッサの少なくとも一部のそれぞれが、第２の交換段階中に第４の１組のプロセッサとデータを交換することを含み、第１の交換段階は第２の交換段階と時間的に重複する。
【0033】
一部の実施形態では、第３の１組のプロセッサが属する第１の更なる処理装置が、第４の１組のプロセッサが属する第２の更なる処理装置と異なる。
【0034】
一部の実施形態では、第３の１組のプロセッサが属する第１の更なる処理装置が、第４の１組のプロセッサが属する第２の更なる処理装置と同じである。
【0035】
一部の実施形態では、本方法は、第１の１組のプロセッサ及び第２の１組のプロセッサの各プロセッサが、第１の交換段階及び第２の交換段階の後、第１の１組のプロセッサ及び第２の１組のプロセッサを含む第３のバリア同期に参加すること、及び第３のバリア同期の後、第１の同期グループ及び第２の同期グループと異なる１つ又は複数の新たな同期グループを含む１つ又は複数の更なるバリア同期に参加することを含む。
【0036】
一部の実施形態では、本方法は、第１の更なる処理装置と第１の同期メッセージを交換することによって第１の同期グループのプロセッサ間の第１のバリア同期を調整すること、及び第２の更なる処理装置と第２の同期メッセージを交換することによって第２の同期グループのプロセッサ間の第２のバリア同期を調整することを含む。
【0037】
一部の実施形態では、第１の同期メッセージが第１の同期要求及び同期肯定応答の対を含み、第２の同期メッセージが第２の同期要求及び同期肯定応答の対を含む。
【0038】
一部の実施形態では、外部同期コントローラが、第１のバリア同期を調整するための第１の同期メッセージの少なくとも１つが送信される宛先を決定すること、及び第２のバリア同期を調整するための第２の同期メッセージの少なくとも１つが送信される宛先を決定することを行うための構成設定を保持する記憶域を含む。
【0039】
一部の実施形態では、本方法は、外部同期コントローラの１つ又は複数のインタフェースを第１の同期グループに関連付けることにより、第１のバリア同期を調整するための第１の同期メッセージの少なくとも１つが送信される宛先を決定すること、及び外部同期コントローラの１つ又は複数の更なるインタフェースを第２の同期グループに関連付けることにより、第２のバリア同期を調整するための第２の同期メッセージの少なくとも１つが送信される宛先を決定することを含む。
【0040】
一部の実施形態では、本方法は、どの処理装置がどのバリア同期に参加するのかを修正するように構成設定を書き込むことを含む。
【0041】
一部の実施形態では、外部同期コントローラが処理ユニットとの複数のインタフェースを含み、複数のインタフェースの少なくとも一部のそれぞれが異なる同期グループに関連し、本方法が、第１の同期グループに関連する複数のインタフェースの１つの上で処理ユニットから第１の同期要求を受信することに応答し、第１の同期グループのプロセッサ間の第１のバリア同期を調整するステップを実行すること、及び第２の同期グループに関連する複数のインタフェースの１つの上で処理ユニットから第２の同期要求を受信することに応答し、第２の同期グループのプロセッサ間の第２のバリア同期を調整するステップを実行することを含む。
【0042】
一部の実施形態では、外部同期コントローラの回路が複数の同期伝播回路を含み、複数の同期伝播回路の少なくとも一部のそれぞれがプロセッサの同期グループに関連し、個々の同期グループに属するプロセッサを含む少なくとも１つの追加の処理装置に同期メッセージを伝播するように構成可能であり、第１の同期メッセージを第１の更なる処理装置と交換することによって第１の同期グループのプロセッサ間の第１のバリア同期を調整することが、第１の同期グループに関連する複数の同期伝播回路の１つによって実行される。
【0043】
一部の実施形態では、本方法は、第１の１組のプロセッサが第１のバリア同期に達したことを示す、第１の１組のプロセッサからの第１の少なくとも１つの同期要求を受信すること、第１の少なくとも１つの同期要求に応答して第１の１組のプロセッサのそれぞれを第１の交換段階に入れるように第１の１組のプロセッサのそれぞれに同期肯定応答を提供すること、第２の１組のプロセッサが第２のバリア同期に達したことを示す、第２の１組のプロセッサからの第２の少なくとも１つの同期要求を受信すること、及び第２の少なくとも１つの同期要求に応答して第２の１組のプロセッサのそれぞれを第２の交換段階に入れるように第２の１組のプロセッサのそれぞれに同期肯定応答を提供することを含む。
【0044】
一部の実施形態では、本方法が、第１の更なる処理装置との第１の同期メッセージの交換に応答して第１の１組のプロセッサのそれぞれに同期肯定応答を提供すること、及び第２の更なる処理装置との第２の同期メッセージの交換に応答して第２の１組のプロセッサのそれぞれに同期肯定応答を提供することを含む。
【0045】
一部の実施形態では、複数のプロセッサの少なくとも一部が、異なるバリア同期に参加するために使用される複数の異なる同期グループに属する。
【0046】
一部の実施形態では、複数のプロセッサのそれぞれは、個々のプロセッサが複数の同期グループのどれに属するのかに関する指示を記憶するレジスタを含む。
【0047】
一部の実施形態では、複数のプロセッサのそれぞれについて、個々のプロセッサのレジスタ内に記憶される指示は個々のプロセッサが複数の構成可能な同期グループのどれに属するのかに関する指示である。
【0048】
一部の実施形態では、複数のプロセッサのそれぞれが複数の配線を有し、複数の配線の少なくとも一部のそれぞれが複数の同期グループの異なるものに関連し、本方法は、第１の１組のプロセッサのうちのプロセッサのそれぞれが、自らのコンパイル済みコード内で第１のバリア同期に達すると、第１の同期グループに関連する個々の複数の配線の１つの上で同期要求信号をアサートすること、第２の１組のプロセッサのうちのプロセッサのそれぞれが、自らのコンパイル済みコード内で第２のバリア同期に達すると、第２の同期グループに関連する個々の複数の配線の１つの上で同期要求信号をアサートすることを含む。
【0049】
一部の実施形態では、本方法は、複数のプロセッサのそれぞれが、個々のプロセッサが属さない同期グループに関連する複数の配線の何れかの上で同期要求信号を継続的にアサートすることを含む。
【0050】
一部の実施形態では、本方法は、第１の１組の複数のプロセッサの少なくとも一部のそれぞれが、第１の同期グループを識別するオペランドを含む同期命令を実行することによって第１のバリア同期用の第１の同期グループを選択することを含む。
【0051】
一部の実施形態では、オペランドが、第１の同期グループを含む同期ゾーンを識別することによって第１の同期グループを識別する。
【0052】
一部の実施形態では、第１の同期グループが、複数のプロセッサの異なるグループ分けを含むように複数のプロセッサのそれぞれの中で保持される設定に基づいて構成可能な第１の同期ゾーンに属し、第２の同期グループが、複数のプロセッサの異なるグループ分けを含むように複数のプロセッサのそれぞれの中で保持される設定に基づいて構成可能な第２の同期ゾーンに属する。
【0053】
一部の実施形態では、複数のプロセッサのそれぞれの中で保持される設定は、個々のプロセッサが第１の同期ゾーンに属するのかどうか及び個々のプロセッサが第２の同期ゾーンに属するのかどうかを指定する。
【0054】
一部の実施形態では、処理装置が集積回路であり、第１の更なる処理装置が第１の更なる集積回路であり、第２の更なる処理装置が第２の更なる集積回路である。
【0055】
一部の実施形態では、第３の１組のプロセッサとデータを交換することが、処理装置と第１の更なる処理装置との間のパケット交換ネットワーク上で伝送するための１つ又は複数のデータパケットをディスパッチすることを含み、第４の１組のプロセッサとデータを交換することが、処理装置と第２の更なる処理装置との間のパケット交換ネットワーク上で伝送するための１つ又は複数のデータパケットをディスパッチすることを含む。
【0056】
第４の態様によれば、処理ユニットの複数のプロセッサによって実行されるとき、第３の態様又はその任意の実施形態による方法を実行させる複数組のコンピュータ可読命令を含むコンピュータプログラムが提供される。
【0057】
第５の態様によれば、第４の態様によるコンピュータプログラムを含む非一時的コンピュータ可読媒体が提供される。
【0058】
本発明をよりよく理解するために、及び本発明がどのように実施され得るのかを示すために、次に添付図面を例として参照する。
【図面の簡単な説明】
【0059】
【図1】マルチタイル処理ユニットの一例を示す。
【図2】マルチタイル処理ユニット内の計算段階及び交換段階を示す概略図である。
【図3】バルク同期並列システムにおけるデータの交換を示す。
【図4】内部同期バリア及び外部同期バリアの概略図である。
【図5A】マルチタイル処理ユニット及び同期コントローラ回路を含む集積回路の概略図である。
【図5B】プロセッサタイルの概略図である。
【図5C】マルチタイル処理ユニットから外部同期コントローラへの同期要求の伝播の概略図である。
【図5D】プロセッサタイルへの同期肯定応答の伝播の概略図である。
【図5E】複数の集積回路を含むシステムの概略図であり、同じ集積回路上のタイルが別の集積回路のタイルとのバリア同期に参加するように構成される。
【図6A】マルチタイル処理ユニットのタイルの２つの異なるサブセットに対する同期スケジュールの一例を示す。
【図6B】マルチタイル処理ユニットのタイルの３つの異なるサブセットに対する同期スケジュールの一例を示す。
【図7A】集積回路の一部である外部同期コントローラの回路の概略図である。
【図7B】同期ネットワークの一例の説明図である。
【図8】同期ハンドシェイクメカニズムの実施形態例を示す。
【図9A】専用同期信号を同期パケットに変換するための回路の全般的な例を示す。
【図9B】インタフェース上の専用同期信号と同期パケットとを変換するための回路の第１の実施形態例を示す。
【図10】処理装置を１つ又は複数の更なる処理装置と同期するための方法を示す。
【発明を実施するための形態】
【0060】
処理ユニット２の一例を示す図１を参照する。この処理ユニット２の一例は、マルチタイル処理ユニット２である。このような各処理ユニット２は集積回路上に形成される。図示の処理ユニット２は、参照により援用する米国特許出願第１５／８８６０６５号明細書に記載されているインテリジェンス処理ユニット（ＩＰＵ）とすることができる。
【0061】
処理ユニット２は、複数のプロセッサタイル４のアレイ６及びタイル４間を接続する相互接続３４を含む。処理ユニット２は、同じＩＣパッケージ内にパッケージされた複数のダイの１つとして単独で実装され得る。相互接続３４は、タイル４が互いにデータを交換することを可能にするので本明細書では「交換ファブリック」３４と呼ぶこともある。各タイル４は、実行ユニット及びメモリの個々のインスタンスを含む。例えば例として、処理ユニット２は、数百更には千を超えるオーダーのタイル４を含み得る。完全を期すために、本明細書で言及する「アレイ」は、必ずしもタイル４の寸法又は物理的レイアウトの或る特定の数を含意しないことにも留意されたい。
【0062】
実施形態において、各処理ユニット２は、処理ユニット２を１つ又は複数の他の処理ユニット（例えば同じ処理ユニット２の１つ又は複数の他のインスタンス）に接続することを可能にする１つ又は複数の外部リンクも含む。これらの外部リンクは、ホストシステム、及び同じＩＣパッケージ若しくはカード上の又は異なるカード上の処理ユニット２の１つ又は複数の他のインスタンスに処理ユニット２を接続できるようにし得る。処理ユニット２は、自らが処理するアプリケーションデータの形でホストから作業を受信する。
【0063】
相互接続３４は、アレイ６内の異なるタイル４が互いに通信することを可能にするように構成される。しかし、同じタイル４上のスレッド間に依存関係がある可能性があるだけでなく、アレイ６内の異なるタイル４上で実行されているプログラムの部分間にも依存関係が存在する可能性がある。従って、或るタイル４上のコード片が、別のタイル４上の別のコード片によって依存先のデータが入手可能にされるよりも前に実行されるのを防ぐ技法が求められている。これは、データ一貫性モデルを用いて達成される。
【0064】
ＡＩ及びデータサイエンスのための並列プログラミングモデルは通常、計算、バリア、及び交換という３段階の反復実行モデルに従う。その意味するところは、プロセッサ間の及び各プロセッサと外部記憶域との間のデータ一貫性を提供するために、プロセッサとの間のデータ転送が通常はバリアに依存するということである。典型的に使用されるデータ一貫性モデルは、バルク同期並列（ＢＳＰ）、ステイル同期並列（ＳＳＰ）、及び非同期である。本明細書に記載する処理ユニット２はＢＳＰモデルを使用するが、代替策として他の同期モデルを利用できることは明らかであろう。
【0065】
図２及び図３を参照すると、ＢＳＰ交換スキームの実装形態が示されており、このスキームでは各タイル４が、タイル４間のバリア同期３０によって互いに分離された計算段階３３及び交換段階３２を交互のサイクルで実行する。図２及び図３によって示す事例では、バリア同期が各計算段階３３とその後の交換段階３２との間に配置される。計算段階３３の間、各タイル４は１つ又は複数の計算タスクをタイル上で局所的に実行するが、これらの計算の如何なる結果もタイル４の他の任意のものと通信しない。交換段階３２では、各タイル４は先行する計算段階からの計算の１つ又は複数の結果をタイル４の１つ又は複数の他のものとの間で交換することを認められるが、自らのタスクが依存関係を有する任意のデータを他のタイル４から受信するまで任意の新たな計算は行わない。内部制御に関係する操作等の他の操作が交換段階３２内で実行され得ることは排除しない。タイルグループの外部の通信はＢＳＰメカニズムを任意で利用できるが、代替的にＢＳＰを利用できなくてもよく、代わりに他の一部の独自の同期メカニズムを使用することができる。
【0066】
ＢＳＰ原理によれば、バリア同期３０は、計算段階３３から交換段階３２に移行する継ぎ目、又は交換段階３２から計算段階３３に移行する継ぎ目、又はその両方に配置される。つまり（ａ）グループ内の何れかのタイルが次の交換段階３２に進むことを許可される前に、全てのタイル４がその個々の計算段階３３を完了することを要求され、又は（ｂ）グループ内の何れかのタイルが次の計算段階３３に進むことを許可される前に、グループ内の全てのタイル４がその個々の交換段階３２を完了することを要求され、又は（ｃ）それらの条件の両方が強制される。３つ全ての改変形態において、段階を交互に行うのは個々のタイルであり、同期するのはアセンブリである。次いで、この一連の交換段階及び計算段階が複数の反復にわたって繰り返され得る。ＢＳＰの用語では、交換段階及び計算段階のそれぞれの繰り返しを「スーパーステップ」と呼ぶことがある（但し、文献ではこの用語は常に一貫して使用されているわけではなく、個々の交換段階及び計算段階が個別にスーパーステップと呼ばれることもあるのに対し、本明細書で採用する用語のように他の場合は交換段階及び計算段階が合わせてスーパーステップと呼ばれる）。
【0067】
図３は、（ａ）計算段階３３から交換段階３２へのバリア同期（上記参照）を課す場合において、アレイ６内のタイルの一部又は全てのグループ４ｉ、４ｉｉ、４ｉｉｉの間で実装されるＢＳＰ原理を示す。この構成では、一部のタイルが依然として交換中でありながらも他の一部のタイル４が計算３３を開始することを許可されることに留意されたい。
【0068】
ＢＳＰモデルは、処理ユニット２上のタイル４間のデータの交換に使用され得る。処理ユニット２のタイル４間の通信は時間決定論的な方法で行われ、その際にデータパケットは、先の出願の米国特許出願第１５／８８６０６５号明細書にある通りヘッダなしで伝送される。加えて、ＢＳＰモデルは処理ユニット２間のデータの交換に使用することもできる。
【0069】
図４を参照すると、内部（即ち単一の処理ユニット２のタイル４間の）同期及び外部（即ち処理ユニット２間の）同期の両方を含むＢＳＰプログラムフローの一例が示されている。図示のように、このフローは（同じ処理ユニット２のタイル４間のデータの）内部交換５０及び（異なる処理ユニット２のタイル４間のデータの）外部交換５０’を含む。図４のプログラムフローは、第１の処理ユニット２ｉ及び第２の処理ユニット２ｉｉのためのプログラムフローを示す。
【0070】
図４に示すように、内部ＢＳＰスーパーステップ（同じ処理ユニット２のタイル４間のデータの内部交換５０を含む）は、外部同期及び交換（異なる処理ユニット２のタイル４間のデータの外部交換５０’を含む）とは別に保たれる。
【0071】
プログラムは、次の順序、つまり（ｉ）第１の計算段階、その後の（ｉｉ）内部バリア同期３０、その後の（ｉｉｉ）内部交換段階５０、その後の（ｉｖ）外部バリア同期８０、その後の（ｖ）外部交換段階５０’を含む、同期、交換段階、及び計算段階のシーケンスを実行するように構成され得る。外部バリア８０は内部交換段階５０の後に課され、それによりプログラムは内部交換５０の後にのみ外部交換５０’に進む。図４の処理ユニット２Ｉに関して示すように、計算段階は任意に（ｉｉｉ）内部交換と（ｉｖ）外部バリアとの間に含まれ得ることにも留意されたい。
【0072】
この全体的なシーケンスは（例えばコンパイラによってそのように生成される）プログラムによって強制される。実施形態では、プログラムはタイル４によって実行されるＳＹＮＣ命令によってこのように機能するようにプログラムされる。内部同期及び交換は、別の処理ユニット２上の任意のタイル又は他のエンティティには及ばない。シーケンス（ｉ）～（ｖ）（（ｉｉｉ）と（ｉｖ）との間の前述の任意の計算段階を有する）は、一連の全体的な反復において繰り返され得る。反復ごとに、外部同期及び交換の前に内部計算、同期、及び交換（ｉ）～（ｉｉｉ）の複数のインスタンスがあり得る。即ち、（ｉｖ）～（ｖ）、即ち外部同期及び交換の前に、（この順序を保持する）（ｉ）～（ｉｉｉ）の複数のインスタンス、即ち複数の内部ＢＳＰスーパーステップが実装され得る。更に、タイル４の何れかが、他のタイル４と並行して内部同期及び交換（ｉｉ）～（ｉｉｉ）の独自のインスタンスをそれぞれ実行する可能性があることにも留意されたい。
【0073】
従って、全体的なＢＳＰサイクル（ｉ）～（ｖ）ごとに、同期が内部でのみ実行されるように制約されるサイクル（ｉｉ）～（ｉｉｉ）の少なくとも１つの部分がある。
【0074】
外部交換５０の間、通信は外部のみであることに限定されず、つまり一部のタイル４は内部交換のみを実行することができ、一部のタイル４は外部交換のみを実行することができ、一部のタイル４は混合を実行できることに留意されたい。
【0075】
更に図４に示すように、一部のタイル４は計算段階中にローカル入出力を行うことができる。例えばそれらのタイルは、ホスト又は他の種類の外部記憶域とデータを交換することができる。
【0076】
図４に示すように、任意の所与のＢＳＰスーパーステップにおいて、任意の又は全てのタイルがヌル計算段階５２又はヌル交換段階５０を有することが概して可能であることにも留意されたい。
【0077】
内部バリア同期及び外部バリア同期の両方について、バリア同期に参加するタイル４は同期グループと呼ばれる。同期グループは、まとめることでタイルの同期グループが一緒に同期することを可能にする、１組のハードウェア資源である同期ゾーンによって提供される。同期ゾーンのそれぞれは、個々の同期ゾーンの設定に応じてタイル４の異なる同期グループを含むように個別に構成可能である。これらの設定を修正することにより、個別のタイル４を同期ゾーンと関連付けること又は関連付けを解除することができる。接続された処理ユニット２のシステムにわたって複数の同期ゾーンが提供される。
【0078】
同期グループに属する処理ユニット２のタイル４のそれぞれについて、そのタイル４がバリア同期に達するとタイル４は同期要求を発行する。処理ユニット２に関連する同期ロジックは、同期グループに属する処理ユニット２のタイル４の全てが同期要求を発行したときを判定するように構成される。それらのタイル４の全てが同期要求を発行すると、同期ロジックはそれらの同期要求を肯定応答し、又は同期ゾーンの更なるエンティティに同期要求を伝播する。更なるエンティティは、ホストシステムとデータを交換するためのプロキシ、又は別の処理ユニット２に関連する同期ロジックであり得る。
【0079】
同期要求が別の処理ユニット２に関連する同期ロジックに伝播される場合、同期要求に応答してその別の処理ユニット２に関連する同期ロジックが取る動作は、そのロジックが同期ゾーンのマスタとして定義されているか、又は同期ゾーンの伝播ノードとして定義されているかに依存する。同期ゾーンの伝播ノードは、自らが受信した同期要求を同期ゾーンに関して定義されたマスタに向けて伝播する。同期マスタは、その同期ゾーンに関して定義された同期グループに属するタイル４を含む処理ユニット２のそれぞれについて同期要求を受信すると、同期グループに属するタイル４を含むそれらの他の処理ユニット２（自らの処理ユニット２とは別である）のそれぞれに関連する同期ロジックに同期肯定応答を返す。同期マスタは、同期グループに属する自らの処理ユニット２内のタイル４のそれぞれにも同期肯定応答を返す。タイル４を含む他の処理ユニット２の各同期ロジック（即ち伝播ノード）は同期グループに属する、同期マスタから生じる同期肯定応答を受信すると、同期グループに属するその処理ユニット２のタイル４に同期肯定応答を返す。同期肯定応答を受信することに応答し、同期グループのタイル４はバリア同期を通過し、交換段階中に同期グループに属する他の処理ユニット２のタイル４とデータを交換する。この異なる処理ユニット２間のデータの交換は、先の出願である米国特許出願第１５／８８６，０６５号明細書に記載されているように非時間決定論的な方法で行われる。
【0080】
本願の実施形態によれば、処理ユニット２内のタイル４は２つ以上の異なる外部同期グループに分けることができ、それにより同じ処理ユニット２のタイル４の異なる組が、その処理ユニットの外部のタイル４の異なる組とそれぞれ同期する。この概念については、図５Ａ、図５Ｅ、図６Ａ、及び図６Ｂに関して本明細書でより詳細に説明する。
【0081】
本明細書で同期ネットワークという用語は、同期ゾーンに関して定義された同期グループに属するタイル４間のバリア同期を調整するために、同期要求／肯定応答を交換するために使用される同期ゾーンのための接続された同期伝播ノード／回路を指すために使用する。同期ネットワーク内で定義されたマスタノードに向けて伝送される同期要求は、同期ネットワーク内の「上流」に伝送されるという。同期ネットワーク内で定義されたスレーブノードに向けて伝送される同期肯定応答は、同期ネットワーク内の「下流」に伝送されるという。同期ネットワークの概念は、図７Ｂに関して更に詳細に説明する。
【0082】
集積回路５００ａ（即ちチップ５００ａ）の一例を示す図５Ａを参照する。このような複数の同様のチップが一緒に接続されてもよい。この説明の残りの部分では、チップ５００ａの一例がその１つである接続されたチップをチップ５００と呼ぶ。各チップ５００は、タイル４を含む処理ユニット２を含む。各チップ５００の処理ユニット２は、ホストシステムによって提供される作業負荷を処理するためのアクセラレータとして機能するため、各チップ５００は処理装置５００又はアクセラレータサブシステム５００と呼ぶこともできる。本明細書の全体を通して処理装置５００をチップ５００として記載するが、一部の実装形態ではかかる処理装置５００が同じ集積回路上に実装され得ることは排除しない。
【0083】
複数のチップ５００の中から識別するために、図５Ａに示す特定のチップをチップ５００ａと呼ぶ。同様に、複数の処理ユニット２の中から識別するために、図５Ａに示す特定の処理ユニットを処理ユニット２ａと呼ぶ。以下に記載するチップ５００ａ及び処理ユニット２ａの特徴は、チップ５００及び処理ユニット２それぞれの特徴でもある。
【0084】
処理ユニット２ａ内のタイル４のそれぞれは、異なる種類のバリア同期に参加することができる。第１の種類のバリア同期は、同じ処理ユニット２ａのタイル４のみが参加する内部同期である。
【0085】
第２の種類の同期は、同期用の同期グループが、処理ユニット２ａのタイル４を含むことに加え、ローカル有線接続上でアクセス可能な１つ又は複数のチップ５００上のタイル４も含む外部有線同期である。外部有線同期では、異なる種類の同期メッセージを伝送するために使用される専用配線上で同期メッセージがチップ５００間で交換される。外部有線同期の交換段階中にチップ５００間で交換されるアプリケーションデータは、同期に参加するチップ５００間のＰＣＩｅ接続上で送信される。
【0086】
第３の種類の同期は、ホストが関与する外部同期である。この場合、ホストと処理ユニット２ａとの間でデータが交換される交換段階の前に、ホスト同期プロキシ（ＨＳＰ）が処理ユニット２ａと同期メッセージを交換することによってバリア同期に参加する。
【0087】
第４の種類の同期は、同期用の同期グループが、処理ユニット２ａのタイル４を含むことに加え、パケット交換ネットワーク（例えばイーサネットネットワーク）上でアクセス可能な１つ又は複数のチップ５００上のタイル４も含む外部パケットベースの同期である。外部パケットベースの同期では、パケット交換ネットワーク上でアプリケーションデータをチップ５００間で送信することに加え、同期メッセージも同じパケット交換ネットワーク上で送信される。
【0088】
処理ユニット２ａ内のタイル４のそれぞれが異なる種類の同期に参加できるようにするために、処理ユニット２ａには複数の同期ゾーンが設けられる。実施形態では、処理ユニット２ａに対して３０個の異なる同期ゾーンが設けられ、これらの同期ゾーンのそれぞれは処理ユニット２ａのタイル４の１つ又は複数を含む同期グループを含むように構成可能である。各同期ゾーンは、タイル４の異なる同期のグループ分けを含むように個別に構成可能である。
【0089】
同期ゾーンのそれぞれは、外部バリア同期用の外部同期ゾーンとして（この場合、対応する同期グループは他の処理ユニット２のタイル４を含む）、又は内部バリア同期用の内部同期ゾーンとして（この場合、その同期ゾーン用の同期グループは処理ユニット２ａのタイル４に限定される）構成することができる。
【0090】
同期ゾーンは、その同期ゾーンに提供されるハードウェアに応じて、及びその結果、その同期ゾーンを使用して実装される同期の種類に応じて様々な組に分類することができる。第１の１組の同期ゾーンは、上述した第１の種類の同期（即ち内部同期）又は上述した第２の種類の同期（即ち外部有線同期）に使用するように構成され得る同期ゾーンである。処理ユニット２ａに対して３０個の同期ゾーンを定義する実施形態では、（同期ゾーン１～２２とラベル付けされる）これらのゾーンの最初の２２個が第１の１組の同期ゾーンに属する。
【0091】
第１の１組の同期ゾーンのうち、これらの同期ゾーンのサブセットはホストが関与することを伴う通信にも使用することができ、即ち上記で論じた第３の種類の同期に使用することができる。第１の１組の同期ゾーンが２２個の同期ゾーンを含む実施形態では、（同期ゾーン１及び２とラベル付けされる）これらの同期ゾーンの２つをバリア同期に使用することができ、その後ホストと処理ユニット２ａのタイル４との間でデータ交換が行われる。
【0092】
第２の１組の同期ゾーンは、上述した第１の種類の同期（即ち内部同期）又は上述した第４の種類の同期（即ち外部パケットベースの同期）に使用され得る同期ゾーンである。処理ユニット２ａに対して３０個の同期ゾーンが定義されている実施形態では、（同期ゾーン２３～３０とラベル付けされる）これらのゾーンの最後の８個が第２の１組の同期ゾーンに属する。
【0093】
上述したように、同期グループの一部である異なるタイル４間の同期を調整するために、同期要求及び同期肯定応答の交換がタイル４間で行われる。同期要求が伝播され肯定応答される同期ネットワークを通る経路は、同期グループに属するタイル４間の同期を調整するために使用中の同期ゾーンに適用される構成に依存する。
【0094】
図５Ａは、処理ユニット２ａがタイル４とＧＳＰ５８との間に同期コントローラ回路５５（ＩＰＵ同期コントローラ５５として示す）を含むことを示す。ＩＰＵ同期コントローラ５５は、内部バリア同期に対する同期要求を肯定応答するので、内部同期コントローラ５５とも呼ばれることがある。ＩＰＵ同期コントローラ５５は、タイル４から集約された同期要求を受信し、ＧＳＰ５８のレジスタ５０１内の設定に応じて行うべきアクションを決定する。レジスタ５０１内の設定は、各同期ゾーンについて、その同期ゾーンが内部として定義されるか又は外部として定義されるかを定義する。レジスタ５０１内の設定の指示は、ＧＳＰ５８とＩＰＵ同期コントローラ５５との間のインタフェース５０２上でＩＰＵ同期コントローラ５５に提供される。３０個の同期ゾーンの何れも外部又は内部として定義され得る。
【0095】
特定の同期ゾーンに関連する同期要求がＩＰＵ同期コントローラ５５において受信されるとき、その同期ゾーンがレジスタ５０１内で内部同期ゾーンとして定義されている場合、ＩＰＵ同期コントローラ５５は処理ユニット２ａのタイル４に対して同期肯定応答を送信させる。ＩＰＵ同期コントローラ５５は更に、ＧＳＰ５８のインタフェース上でアサートされるように同期要求信号をＧＳＰ５８に渡す。このことは、ＧＳＰ５８が内部同期に関するトレースデータのログを取ることを可能にする。同期要求信号はＧＳＰ５８の関連インタフェース上で一時的にアサートされ、同期グループのタイル４がＩＰＵ同期コントローラ５５から同期肯定応答を受信し、それに応答して自らの同期要求信号をデアサートするとき、デアサートされる。
【0096】
同期要求がＩＰＵ同期コントローラ５５において受信され、その同期要求の同期ゾーンがレジスタ５０１内で外部同期ゾーンとして定義されている場合、ＩＰＵ同期コントローラ５５は同期要求の特定の同期ゾーンに関連するＧＳＰ５８のインタフェース上で同期要求をＧＳＰ５８に転送する。図５Ａに示すように、ＧＳＰ５８は、そのそれぞれが処理ユニット２ａに設けられた同期ゾーンの１つに関連する幾つかのインタフェース（ＩＳ０～ＩＳ２９とラベル付けされる）を有する。同期コントローラ５５は、タイル４から受信した同期要求を、その同期要求と同じ同期ゾーンに関連するインタフェース（ＩＳ０～ＩＳ２９）の１つの上で提供する。これに応答してＧＳＰ５８は同期肯定応答を返し、同期肯定応答は同期要求が提供されたインタフェースＩＳ０～ＩＳ２９の同じものの上で送信される。ＧＳＰ５８から返された同期肯定応答が、処理ユニット２ａ内のタイル４のそれぞれに提供される。
【0097】
同期要求及び同期肯定応答を分配するために、ＩＰＵ同期コントローラ５５は複数組の配線を含み、配線の各組は異なる同期ゾーンに関連する。配線の各組は、タイル４から個々の同期ゾーンの同期要求がその上で受信される同期要求配線と、ＧＳＰ５８から個々の同期ゾーンの同期肯定応答がその上で受信される同期肯定応答配線とを少なくとも含む。配線の各組は、同期要求及び肯定応答をその上で渡すように構成される、ＧＳＰ５８のインタフェースＩＳ０～ＩＳ２９の異なるものに関連付けられている。
【0098】
各タイル４がどの同期ゾーンに参加するのかを各タイル４が示すことを確実に示すために、個々のタイル４は、処理ユニット２ａに関して定義された同期ゾーンの１つにそのそれぞれが関連する複数の専用同期要求配線も有する。各タイル４は、特定の同期ゾーンに関連するバリア同期に参加する場合、その同期ゾーンに関連する同期要求配線上で信号をアサートすることによって同期要求を発行する。各タイル４は、処理ユニット２ａに関して定義された同期ゾーンの１つにそのそれぞれが関連する複数の専用同期肯定応答配線も有する。各タイル４は、同期ゾーンの同期要求配線上で同期要求を発行した後、同期ネットワーク内の上流ノードから、その同期ゾーンに関連する自らの同期肯定応答配線上で同期肯定応答を受信する。これに応答し、タイル４はバリア同期後の交換段階に進む。
【0099】
本願の実施形態によるタイル４の一例を示す図５Ｂを参照する。タイル４は、命令及びデータを記憶するためのメモリ５１を含む。実行ユニット５２は、メモリ５１からロードされた命令を実行して、同じくメモリ５１からロードされるデータに対する演算を実行するように構成される。その後、演算の結果がメモリ５１内に記憶される。タイル４は加えて、メモリ５１内に記憶するデータを受信するためのデータ入力インタフェース５９を含む。タイル４は、自らが参加する交換段階の少なくとも一部の間にデータ出力インタフェース５４上でデータを送信するように、及び自らが参加する交換段階の少なくとも一部の間にデータ入力インタフェース５９からデータを受信するように構成される。
【0100】
タイル４は、同期要求配線上で同期要求を送信するための１つ又は複数の同期出力インタフェース６０を含む。インタフェース６０に接続された複数の同期要求配線が示されており、これらの配線のそれぞれは特定の同期ゾーンに関連付けられている。タイル４がメモリ５１内に保持された自らのコンパイル済みコード内でバリア同期に達すると、実行ユニット５２が同期命令を実行し、バリア同期用の同期ゾーンが同期命令のオペランドとして提供される。同期命令の実行に応答し、実行ユニット５２は、バリア同期用の同期ゾーンに関連する適当な同期要求配線上の同期出力インタフェース６０上で同期要求信号をアサートさせる。
【0101】
タイル４は、同期肯定応答配線上で同期肯定応答を受信するための１つ又は複数の同期入力インタフェース６１も含む。インタフェース６１に接続された複数の同期肯定応答配線が示されており、これらの配線のそれぞれは特定の同期ゾーンに関連付けられている。同期命令を実行し、同期ゾーンに関連する同期要求を伝送した後、タイル４はその同期ゾーンに関連する同期肯定応答配線上で同期肯定応答を待つ。このような肯定応答を受信した後、タイル４は、タイル４が同期ゾーンに関して定義された同期グループに属する１つ又は複数の他のタイル４と又はホストとデータを交換する交換段階に進む。
【0102】
特定の同期グループに属する処理ユニット２ａのタイル４の全てが要求をアサートしたときをＧＳＰ５８が判定するために、タイル４は自らが関連しない（即ち自らが同期ゾーンに関して定義された同期グループの一部ではない）同期ゾーンの全てについて同期要求を継続的にアサートするように構成される。このようにして、特定の同期ゾーンに関連するタイル４の全てがその同期ゾーンに対する同期要求を（以前にではなく）アサートすると、処理ユニット２内のタイル４の全てがその同期ゾーンに対する同期要求をアサートすることになる。処理ユニット２ａのタイル４から受信した同期要求を集約し、処理ユニット２ａの集約された同期要求をチップ５００ａのＩＰＵ同期コントローラ５５に提供するために、同期集約回路がチップ５００ａ内に設けられる。集約は、同期要求が処理ユニット２ａ上のタイル４の全てによってアサートされると、ＩＰＵ同期コントローラ５５が同期ゾーンに対する集約された同期要求を検出するように実行される。従って、ＩＰＵ同期コントローラ５５は、処理ユニット２ａに属する同期ゾーンに関して定義された同期グループの全てのタイル４によって同期要求がアサートされると、その同期要求を検出する。
【0103】
外部同期コントローラ５８は、他のチップ５００との間の同期要求を伝播及び肯定応答するための同期ロジックを含み、これについては後で図７Ａに関してより詳細に説明する。本明細書の全体を通して外部同期コントローラ５８はグローバル同期ペリフェラル（ＧＳＰ）と呼ぶ。
【0104】
処理ユニット２ａの異なるタイル４によって発行された同期要求の集約を示す図５Ｃを参照する。図５Ｃに示す例は、単一の同期ゾーンに関連する同期要求配線のみを示す。しかし、このような同等の同期要求配線が同期ゾーンごとに設けられることが理解されよう。図５Ｃに示すように、チップ５００ａは、異なるタイル４から受信した同期要求信号を集約するための同期集約回路５６を含む。同期集約回路５６は、異なるタイル４から同期要求配線上で受信した異なる同期要求間のＡＮＤ演算を実行するように構成される複数のＡＮＤゲートを含むことができる。同期集約回路５６は、同期要求が処理ユニット２ａのタイル４の全てによって同期ゾーンに関連する同期要求配線上でアサートされる場合、集約された同期要求（ＩＰＵ同期コントローラ５５に提供される）を出力する。その同期ゾーンに関して定義された同期グループに属さないタイル４の全てが常にその同期ゾーンに対する同期要求をアサートするので、同期集約回路５６は、その同期ゾーンに対する同期グループに属するタイル４からの同期要求を待ち、かかる同期要求はタイル４がバリア同期に達したときにタイル４が発行する。これらの同期要求を受け取ると、集約回路５６は集約された同期要求をＩＰＵ同期コントローラ５５に提供する。ＩＰＵ同期コントローラ５５は、（同期ゾーンが内部として構成されている場合）ＧＳＰ５８からの同期肯定応答を待たずに、集約された同期要求を肯定応答することによって、又は（同期ゾーンが外部として構成されている場合）集約された同期要求をＧＳＰ５８に伝播し、ＧＳＰ５８からの応答として同期肯定応答を待つことによって応答する。
【0105】
図５Ｄを参照すると、タイル４のそれぞれへの同期肯定応答の分配が示されている。図５Ｄに示す例は、図５Ｃ内で同期要求集約配線が示されているのと同じ同期ゾーンであり得る単一の同期ゾーンに関連する同期肯定応答配線を示す。このような同期肯定応答分配配線の別個の組が同期ゾーンごとに設けられることが理解されよう。同期肯定応答は、ＩＰＵ同期コントローラ５５から生じ、ＩＰＵ同期コントローラ５５によって同期分配回路５７に提供され得る。このような同期肯定応答は、（同期ゾーンが内部同期に関して構成されている場合）ＩＰＵ同期コントローラ５５において受信される同期要求に応答してＩＰＵ同期コントローラ５５によって生成される。このような同期肯定応答は、ＧＳＰ５８から同期分配回路５７に代わりに提供される場合もある。何れの場合も、同期肯定応答信号は同期分配回路５７において受信され、同期分配回路５７は処理ユニット２ａのタイル４のそれぞれに同期肯定応答信号をアサートするように構成される。同期ゾーンに関して定義された同期グループに属さないタイル４は、同期肯定応答を無視することができる。しかし同期グループに属するタイル４は、同期グループの１つ又は複数の他のタイル４と又はホストとデータを交換する交換段階に進む。
【0106】
再び図５Ｂを参照し、各タイル４は、個々のタイル４が同期ゾーンのどれに属するのかを示すレジスタ５３を含む。レジスタ５３は、同期ゾーンのそれぞれについて、タイル４がその同期ゾーンについて定義された同期グループに属するのか属さないのかを示すビットマップを記憶する。タイル４が関連しない各同期ゾーンについて、タイル４は関連する同期要求配線上で同期要求を継続的にアサートする。タイル４が関連する各同期ゾーンについて、タイル４はその同期ゾーンに関連するバリア同期に達すると、関連する同期要求配線上で同期要求をアサートする。タイル４は、その同期ゾーンに関連する同期肯定応答を受信した後、自らが関連する同期ゾーンの同期要求をデアサートする。
【0107】
図５Ａに示すシステムは、処理ユニット２のタイル４を２つ以上の独立同期グループに分けることにより、単一の処理ユニット２が複数の外部同期に参加する新しい種類のバリア同期を実装するために使用することができる。図５Ａは、第１の１組のタイル６４及び第２の１組のタイル６５を示す。第１の１組のタイル６４は、１つ又は複数のタイル４を含む。第２の１組のタイル６５は、１つ又は複数のタイル４を含む。
【0108】
第１の１組のタイル６４は第１の同期グループに属し、この第１の同期グループは、第１の１組のタイル６４のタイル４を含むことに加え、１つ又は複数の他の処理ユニット２のタイル４も含む。具体的には、第１の同期グループは更なる処理ユニット２に属する第３の１組のタイルを含む。第２の１組のタイル６５は第２の同期グループに属し、この第２の同期グループは、第２の１組のタイル６５のタイル４を含むことに加え、１つ又は複数の他の処理ユニット２のタイル４も含む。具体的には、第２の同期グループは、第１の同期グループに属する第３の１組のタイルを有する更なる処理ユニット２と同じでも異なってもよい更なる処理ユニット２に属する第４の１組のタイルを含む。
【0109】
第１の１組のタイル６４に属するタイル４のそれぞれは、第１の同期グループのバリア同期に達すると、第１の同期グループのバリア同期をサポートするように構成される同期ゾーンに関連する自らの同期要求配線上で同期要求をアサートする。第１の１組のタイル６４のタイル４の全てから同期要求を受信することに応答し、同期集約回路、例えば回路５６が同期要求を集約し、集約された同期要求をＧＳＰ５８に提供する。集約された同期要求は、第１の同期グループのバリア同期をサポートするように構成される同期ゾーンに関連するＧＳＰ５８のインタフェース（ＩＳ０からＩＳ２９）の１つの上で送信される。その後、同期分配回路、例えば回路５７がＧＳＰ５８から対応する同期肯定応答を受信する。この同期肯定応答は、第１の同期グループの同期ゾーンに関連し、同期要求がその上で配信されたインタフェース（ＩＳ０からＩＳ２９）の同じものの上から受信される。この同期肯定応答を受信することに応答し、同期分配回路は第１の１組のタイル６４内のタイル４のそれぞれに対して同期肯定応答を送信させる。同期肯定応答の受信後、第１の１組のタイル６４のタイル４は、同じく第１の同期グループに属する他の処理ユニット２上のタイル４とデータを交換する交換段階に入る。
【0110】
同様の同期要求／肯定応答プロセスが第２の同期グループに対して実行される。第２の同期グループのバリア同期は、第１の同期グループのバリア同期と異なる同期ゾーンによって提供される。このプロセスは、第１の同期グループに対して実行される同期要求／肯定応答プロセスと同時だが非同期的に行われ得る。このプロセスの一環として、第２の１組のタイル６５に属するタイル４のそれぞれは、第２の同期グループのバリア同期に達すると、第２の同期グループのバリア同期をサポートするように構成される同期ゾーンに関連する自らの同期要求配線上で同期要求をアサートする。第２の１組のタイル６５のタイル４の全てから同期要求を受信することに応答し、同期集約回路、例えば回路５６が同期要求を集約し、集約された同期要求をＧＳＰ５８に提供する。集約された同期要求は、第２の同期グループのバリア同期をサポートするように構成される同期ゾーンに関連するＧＳＰ５８のインタフェース（ＩＳ０からＩＳ２９）の１つの上で送信される。その後、同期分配回路、例えば回路５７がＧＳＰ５８から対応する同期肯定応答を受信する。この同期肯定応答は、第２の同期グループの同期ゾーンに関連し、同期要求がその上で配信されたインタフェース（ＩＳ０からＩＳ２９）の同じものの上でＧＳＰ５８によって出力される。この同期肯定応答を受信することに応答し、同期分配回路５７は第２の１組のタイル６５内のタイル４のそれぞれに対して同期肯定応答を送信させる。同期肯定応答の受信後、第２の１組のタイル６５のタイル４は、同じく第２の同期グループの一部である他の処理ユニット２のタイル４とデータを交換する交換段階に入る。
【0111】
第１の同期グループ及び第２の同期グループに対して実行される同期及び交換プロセスは独立しているので、第１の同期グループ及び第２のグループの交換段階は互いに別個でありながら時間的に重複し得る。
【0112】
第１の１組のタイル６４に属するタイル４及び第２の１組のタイル６５に属するタイル４に加え、他のタイル４が図５Ａの処理ユニット２の一部として示されている。第１の１組のタイル６４及びタイル６５の第２のものが上述した同期及び交換動作を行っている間、これらの他のタイル４は、１つ又は複数の外部同期及び交換に参加すること、１つ又は複数の内部同期に参加すること、又は１つ又は複数の計算段階に参加すること等の他の任意の活動を行うことができる。これらの他のタイル４の同期挙動は、第１の１組のタイル６４及び第２の１組のタイル６５の同期挙動に対して非同期的である。
【0113】
処理ユニット２ａのタイル４を第１の同期グループ５６０及び第２の同期グループ５７０にどのように分けるのかについての一例を示す図５Ｅを参照する。簡単にするために、この図面はこれらの同期グループに属する処理ユニット２ａのタイル４（即ち第１の１組のタイル６４及び第２の１組のタイル６５）だけを示す。図５Ｅは、チップ５００ａ、５００ｂ、５００ｃのシステム５５０を示す。チップ５００のそれぞれがインタフェース５８０によって互いに接続されており、チップ５００はインタフェース５８０によってデータプレーントラフィックを交換する。インタフェース５８０は、ＰＣＩｅによってチップ５００ａ、５００ｂ、５００ｃ間でデータを送信するためのインタフェースであってもよく、又はイーサネット上でデータを送信するためのインタフェースであり得る。
【0114】
図５Ｅに示すＧＳＰ５８は、外部同期を調整するための同期メッセージ（同期要求及び肯定応答を含む）を交換するために互いに接続される。そのそれぞれが同期メッセージの種類に関連する１組の配線（図５Ｅには不図示）により、ＧＳＰ５８の１つ又は複数が互いに接続され得る。一定の同期ゾーンでは、ＧＳＰ５８は適切な専用配線上で信号をアサートすることによって同期メッセージを交換する。これらの信号及び専用配線上でのその伝送の例を図８に関して以下でより詳細に説明する。ＧＳＰ５８間の信号交換に使用される専用配線は、データプレーントラフィックの交換に使用されるインタフェース５８０上の接続（例えばＰＣＩｅ又はイーサネットによって行われる）とは異なる。他の同期ゾーンでは、ＧＳＰ５８はパケット交換ネットワーク（例えばイーサネット）上で同期メッセージを交換するように構成される。パケット交換ネットワーク（例えばイーサネット）上での同期メッセージの交換については、図９Ａ及び図９Ｂに関してより詳細に説明する。同期メッセージがネットワーク上のパケットによって送信される場合、それらの同期メッセージは、交換段階の間アプリケーションデータの交換に使用されるのと同じインタフェース５８０上で送受信される。
【0115】
図５Ｅに示すように、第１の同期グループ５６０は、チップ５００ａの処理ユニット２ａの第１の１組のタイル６４、並びに処理ユニット２ｂに属する第３の１組のタイル６６を含む。第１の同期グループ５６０のバリア同期を調整するために、２つのチップ５００ａ、５００ｂ間で同期要求及び肯定応答を交換するためのプロセスが実行される。自らの計算段階を完了し、第１の同期グループ５６０のバリア同期に達した後、第１の同期グループ５６０のタイル４のそれぞれが同期要求を発行し、この同期要求は集約され、そのタイル４の関連するＧＳＰ５８に提供される。同期要求を受信することに応答し、ＧＳＰ５８は同期要求及び肯定応答をＧＳＰ５８間で交換する。ＧＳＰ５８間のこれらの同期メッセージの交換は所与の方向性を伴って行われる。換言すれば、ＧＳＰ５８のそれぞれが参加する同期メッセージの交換は、同期メッセージがそのＧＳＰ５８に関して移動する所与の方向、即ち同期メッセージがそのＧＳＰ５８から出力されるのか又はそのＧＳＰ５８に入力されるのかを伴って行われる。同期要求及び肯定応答の交換の方向性は、チップ５００ａ、５００ｂ上の２つのＧＳＰ５８のどちらが第１の同期グループ５６０を含む同期ゾーンのマスタとして定義されるのかに依存し、同期要求は一方のＧＳＰ５８からマスタＧＳＰ５８に伝播され、マスタＧＳＰ５８は他方のＧＳＰ５８に同期肯定応答を返答して発行する。
【0116】
２つのチップ５００ａ、５００ｂのＧＳＰ５８間で同期メッセージが交換された後、各ＧＳＰ５８は、自らの関連するチップ５００上のタイル４に対して同期肯定応答を返させる。第１の同期グループ５６０の各タイル４は、その同期肯定応答を受信し、その同期肯定応答を受信することに応答して第１の同期グループ５６０の交換段階に進む。第１の同期グループ５６０の交換段階中、第１の同期グループ５６０に属する処理ユニット２ａのタイル４（即ち第１の１組のタイル６４）と、第１の同期グループ５６０に属する処理ユニット２ｂのタイル４（即ち第３の１組のタイル６６）との間でデータが交換される。このデータは、チップ５００ａ、５００ｂ間のインタフェース５８０によってパケットで送信される。図５Ｅには、処理ユニット２ａのタイル４と処理ユニット２ｂのタイル４との間で行われるかかるデータ交換５９０ａの一例が示されている。しかし実際には、データ交換は第１の同期グループ５６０の交換段階中に３つ以上のタイル４間で行われる可能性が高く、何れの方向（即ち処理ユニット２ａから処理ユニット２ｂ又は処理ユニット２ｂから処理ユニット２ａ）にも行われ得る。
【0117】
図５Ｅは、チップ５００ｃの処理ユニット２ｃの第４の１組のタイル６７、並びに処理ユニット２ａに属する第２の１組のタイル６５を含む第２の同期グループ５７０を更に示す。第２の同期グループ５７０のバリア同期のために、２つのチップ５００ａ、５００ｂのＧＳＰ５８を使用して２つのチップ５００ａ、５００ｂ間で同期要求及び肯定応答を交換するためのプロセスが実行される。自らの計算段階を完了し、第２の同期グループ５７０のバリア同期に達した後、第２の同期グループ５７０のタイル４のそれぞれが同期要求を発行し、この同期要求は集約され、そのタイル４の関連するＧＳＰ５８に提供される。同期要求を受信することに応答し、２つのチップ５００ａ、５００ｃのＧＳＰ５８が同期要求及び肯定応答を交換する。同期要求及び肯定応答の交換の方向性は、チップ５００ａ、５００ｃ上の２つのＧＳＰ５８のどちらが第２の同期グループ５７０を含む同期ゾーンのマスタとして定義されるのかに依存し、同期要求は一方のＧＳＰ５８からマスタＧＳＰ５８に伝播され、マスタＧＳＰ５８は他方のＧＳＰ５８に肯定応答を返答して発行する。
【0118】
２つのチップ５００ａ、５００ｃのＧＳＰ５８間の同期メッセージの交換に応答し、各ＧＳＰ５８は、自らの関連するチップ５００上のタイル４に対して同期肯定応答を返させる。第２の同期グループ５７０の各タイル４は同期肯定応答を受信し、その同期肯定応答を受信することに応答して第２の同期グループ５７０の交換段階に進む。第２の同期グループ５７０の交換段階中、同期グループ５７０に属する処理ユニット２ａのタイル４（即ち第２の１組のタイル６５）と、同期グループ５７０に属する処理ユニット２ｃのタイル４（即ち第４の１組のタイル６７）との間でデータが交換される。このデータは、チップ５００ａ、５００ｃ間のインタフェース５８０によってパケットで送信される。図５Ｅには、処理ユニット２ａのタイル４と処理ユニット２ｃのタイル４との間で行われるかかるデータ交換５９０ｂの一例が示されている。しかし実際には、データ交換は第２の同期グループ５７０の交換段階中に３つ以上のタイル４間で行われる可能性が高く、何れの方向（即ち処理ユニット２ａから処理ユニット２ｃ又は処理ユニット２ｃから処理ユニット２ａ）にも行われ得る。
【0119】
上記で論じたように同じ処理ユニット２ａのタイル４を含む異なる同期グループ５６０、５７０は、独立同期グループと呼ぶことができる。独立同期グループは、システム５５０にわたって提供される異なる同期ゾーンを使用してそれぞれ動作する。
【0120】
独立同期グループが確立されると、これらの独立同期グループは、複数の計算及び交換サイクルの間互いに独立に動作し続けることができる。
【0121】
第１の１組のタイル６４及び第２の１組のタイル６５のための計算交換サイクルの実施形態の一例を示す図６Ａを参照する。計算段階、バリア同期、及び交換段階の左側の列は、第１の同期グループに属する処理ユニット２ａのタイル４（即ち第１の１組のタイル６４）に関して実行される活動を示す。計算段階、バリア同期、及び交換段階の右側の列は、第２の同期グループに属する処理ユニット２ａのタイル４（即ち第２の１組のタイル６５）に関して実行される活動を示す。
【0122】
図示のように、処理ユニット２ａ内のタイル４の異なる組が処理ユニット２ａ内のタイル４のサブセットのみを含む同期によって互いに分かれると、タイル４は自らの同期のグループ分けの中で動作を継続する。第１の１組のタイル６４は、第２の同期グループの同期スケジュールに対して非同期的であり独立した第１の同期グループの同期スケジュールに従って動作し続ける。同様に、第２の１組のタイル６５は、第２の同期グループの同期スケジュールに対して非同期的であり独立した第２の同期グループの同期スケジュールに従って動作し続ける。
【0123】
図６Ａでは、同期スケジュールを第１の同期グループ及び第２の同期グループについてのみ示す。但し、図５Ａに関して上記で論じたように、一部の実施形態では処理ユニット２ａのタイル４の幾つかが図６Ａに示す２つのグループ分けの何れにも属さない場合があることが理解されよう。
【0124】
一部の事例では、或る同期グループに以前属していたタイル４が、異なる同期グループに以前属していたタイル４を含む新たな同期グループを形成するように、同期のグループ分けを変更することが望ましい。自らが参加する同期グループをタイル４が変更するには、新たな同期グループを形成するために解消されている以前の同期グループに属する処理ユニット２ａのタイル４の全てを含むバリア同期が実行される。例えば図６Ａの例では、第１の１組のタイル６４に属する（及び第１の同期グループに以前属していた）１つ又は複数のタイル４が、第２の１組のタイル６５に属する（及び第２の同期グループに以前属していた）１つ又は複数のタイル４と同期する１つ又は複数の新たな同期グループを形成する必要があり得る。これを行うために、第１の１組のタイル６４と第２の１組のタイル６５との間でバリア同期が実行される。図６Ａにこれをバリア同期６１０として示す。バリア同期６１０は、第１の１組のタイル６４に属するタイル４の全てと、第２の１組のタイル６５に属するが他の処理ユニット２上のタイル４は含まないタイル４の全てとの間で行われる内部バリア同期である。
【0125】
このバリア同期６１０に続いて、第１の１組のタイル６４及び第２の１組のタイル６５のタイル４は、タイル４の少なくとも一部の間でデータが交換される交換段階６２０に入ることができる。但し一部の実施形態では、バリア同期６１０はこれらのタイル４の少なくとも一部に対してヌルバリア同期として機能することができ、その後、これらのタイル４は最初に交換段階６２０に参加するのではなく計算段階に直接入る。
【0126】
バリア同期６１０は、第１の１組のタイル６４及び第２の１組のタイル６５のタイル４に使用される同期のグループ分けを再構成するように機能する。図６Ｂを参照すると、同期のグループ分けを再構成した後でタイル４の同期活動がどのように進行し得るのかについての一例が示されている。この例でタイル４は、バリア同期６１０（及び任意に交換段階６２０）の直後に、これらのタイル４が新たな独立同期グループに分割される新たな段階に移行する。但し他の例では、バリア同期６１０に参加したタイル４の全てを含む同期グループを使用する計算及び交換の幾つかのサイクルが、これらのタイル４に独立同期グループが再び適用される前に実行され得る。
【0127】
図６Ｂに示すように、バリア同期６１０及び任意で交換段階６２０に続き、バリア同期６１０に参加したタイル４の全てが計算段階に入る。タイル４のそれぞれは自らの計算段階のために割り当てられた自らの計算を終了すると、バリア同期に達する。タイル４の異なるグループ分けの間で異なるバリア同期が強制される。バリア同期６４０ａは、第３の同期グループに属する処理ユニット２ａのタイル４に対して強制されることが示されている。バリア同期６４０ｂは、第４の同期グループに属する処理ユニット２ａのタイル４に対して強制されることが示されている。バリア同期６４０ｃは、第５の同期グループに属する処理ユニット２ａのタイル４に対して強制されることが示されている。第３、第４、及び第５の同期グループのそれぞれは、他の処理ユニット２に属するタイル４も含むことができ、又は処理ユニット２ａのタイル４に限定される場合もある。これらの同期グループは、バリア同期６１０に続いて第１の１組のタイル６４及び第２の１組のタイル６５のタイル４が再編成される新たな同期グループである。
【0128】
処理ユニット２ａのタイル４のそれぞれは、その同期グループに関して定義された同期スケジュールに従って動作する。第１の１組のタイル６４及び第２の１組のタイル６５のタイル４は、独立同期グループの２つ以上のうちのタイル４間で強制されるバリア同期６３０（図６Ｂの例では、バリア同期６３０は同期スケジュールが図６Ｂに示されている３つの独立同期グループの全ての間で行われる）に達するまで、少なくとも３つの独立同期グループの一部として同期し続ける。この時点で、処理ユニット２ａのタイル４に対して適用される同期のグループ分けがまた再構成され得る。
【0129】
ＧＳＰ５８をより詳細に示す図７Ａを参照する。ＧＳＰ５８は同期要求を受信し、ｉ）それらの同期要求を伝播せずに肯定応答する（その同期ゾーンの同期マスタとして機能する場合）、又はｉｉ）それらの同期要求を集約して同期ネットワーク内の上流に伝送する（同期伝播ノードとして機能する場合）ように構成される同期コンバイナ回路７０を含む。同期コンバイナ回路７０は、処理ユニット２ａに関してサポートされる同期ゾーンのそれぞれについて設けられる。この例では、３０個の同期ゾーンに対して３０個の同期コンバイナ回路７０がある。
【0130】
同期マスタノード、同期伝播ノード、及びスレーブノードを含む同期ネットワークの概念を示すために、同期ネットワーク７００の一例を示す図７Ｂを参照する。同期ネットワーク７００は、同期マスタ７１０及び複数の同期伝播ノード７２０ａ、７２０ｂ、７２０ｃを含む。実施形態の一例では、同期マスタ７１０及び同期伝播ノード７２０ａ、７２０ｂ、７２０ｃのそれぞれは同期コンバイナ回路７０であり、同期ネットワーク７００に参加するかかる各同期コンバイナ回路７０は異なるＧＳＰ５８に属するが、同じ同期ゾーンに関連する。同期ネットワーク７００は、同期要求の発生元である複数組のスレーブノード７３０ａ、７３０ｂ、７３０ｃ、７３０ｄを更に含む。スレーブノード７３０ａ、７３０ｂ、７３０ｃ、７３０ｄは、同期ネットワーク７００に関して定義される同期グループを共に形成する。本明細書で説明する実施形態では、タイル４がバリア同期のスレーブノードとして機能する。スレーブノードは異なる組に分割される。例えば第１の１組のスレーブノード７３０ａ、第２の１組のスレーブノード７３０ｂ、第３の１組のスレーブノード７３０ｃ、及び第４の１組のスレーブノード７３０ｄがある。これらの実施形態では、スレーブノード７３０ａ、７３０ｂ、７３０ｃ、７３０ｄの組のそれぞれが、異なる処理ユニット２のタイル４である。各スレーブノードは、同期ネットワーク７００内の上流に要求を発行する。スレーブノードのグループからの同期要求は集約され、同期ネットワーク内の上位のノードに提供される。
【0131】
図７Ｂに示すように、同期マスタ７１０及び同期伝播ノード７２０ａ、７２０ｂ、７２０ｃのそれぞれは、それぞれのバリア同期について集約された同期要求をそこから受信する１組の関連する下流のスレーブノードを有する。例えば同期伝播ノード７２０ａは、第１の１組のスレーブノード７３０ａに関連する。同期マスタ７１０及び同期伝播ノード７２０ａ、７２０ｂ、７２０ｃが同期コンバイナ７０である実施形態では、スレーブノードの組のそれぞれが、その関連する同期コンバイナ７０と同じチップ５００上のタイル４である。
【0132】
同期伝播ノード７２０ｂ、７２０ｃはどちらも自らの関連するスレーブノード７３０ｂ、７３０ｃから集約された同期要求を受信するが、他の同期伝播ノードからは受信しない。自らの関連するスレーブノード７３０ｂ、７３０ｃから同期要求を受信することに応答し、各同期伝播ノード７２０ｂ、７２０ｃは、同期伝播ノード７２０ａに対して同期ネットワーク７００内の上流に同期要求を伝播する。
【0133】
同期伝播ノード７２０ａは、自らの下流ノードのそれぞれから同期要求を受信するまで待機する。これらの下流ノードは、同期伝播ノード７２０ｂ、７２０ｃ、及び同期伝播ノード７２０ａに関連する１組のスレーブノード７３０ａを含む。同期伝播ノード７２０ａは自らの下流ノードのそれぞれから同期要求の全てを受信すると、同期マスタ７１０に同期要求を発行する。
【0134】
同期マスタ７１０は、自らの下流ノードのそれぞれから同期要求を受信するまで待機する。これらの下流ノードは、同期伝播ノード７２０ａ及び同期マスタ７１０に関連する１組のスレーブノード７３０ｄを含む。同期マスタ７１０は自らの下流ノードのそれぞれから同期要求の全てを受信すると、同期肯定応答を同期伝播ノード７２０ａ及びスレーブノード７３０ｄに返送する。
【0135】
同期伝播ノード７２０ａは、同期マスタ７１０から同期肯定応答を受信すると、下流の同期伝播ノード７２０ｂ、７２０ｃのそれぞれ及び自らに関連するスレーブノード７３０ａに同期肯定応答を発行する。同様に、これらの同期肯定応答を受信することに応答し、同期伝播ノード７２０ｂ、７２０ｃは自らの関連するスレーブノード７３０ｂ、７３０ｃに同期肯定応答をそれぞれ発行する。同期ネットワーク７００のスレーブの全ては、同期肯定応答を受信することに応答し、バリア同期を通過し、交換段階中にデータを交換する。
【0136】
図７Ｂの例は、同期マスタ７１０が１つの下流同期伝播ノード７２０ａのみから同期要求を受信する、同期ネットワーク７００の特定の構成を示す。但し他の例では、同期マスタ７１０は、複数の下流同期伝播ノードから同期要求を受信することができる。同様に、同期伝播ノード７２０ａは２つの下流同期伝播ノード７２０ｂ、７２０ｃから同期要求を受信するが、異なる数の下流同期伝播ノードから同期要求を受信してもよい。
【0137】
再び図７Ａを参照し、同期ネットワークに参加する各同期コンバイナ７０は、同期ネットワーク内の同期マスタ又は同期伝播ノードの役割を果たす。同期コンバイナ７０が同期伝播ノードとして機能する場合、その同期コンバイナ７０は、同期ゾーンの同期マスタとして機能する同期コンバイナ７０に向けて同期ネットワーク内の上流に同期要求を伝送する。同期ネットワーク内の上流への同期要求の伝送は、別のチップ５００上のＧＳＰ５８に同期要求を伝送することを含む。チップ５００ａ上のタイル４によって外部バリア同期に達すると、同期コンバイナ回路７０は、ＧＳＰ５８のインタフェースＩＳ０～ＩＳ２９の１つの上でそのバリア同期に対応する同期要求を受信する。インタフェースＩＳ０～ＩＳ２９のそれぞれは異なる同期ゾーンに、従って異なる同期コンバイナ７０に関連する。同期要求は、バリア同期に使用される同期ゾーンに関連するインタフェースＩＳ０～ＩＳ２９の１つの上で処理ユニット２ａから送信され、その同期ゾーンに関連する同期コンバイナ回路７０において受信される。
【0138】
同期ゾーンのそれぞれは、内部バリア同期のために、処理ユニット２ａのタイル４だけを含むローカル同期グループの同期をサポートするように構成することができ、又は他の処理ユニットのタイル４も含むグローバル同期グループの同期をサポートするように構成することができる。処理ユニット２ａに対してサポートされる同期ゾーンは、処理ユニット２ａのタイル４の異なるグループ分け及び１つ又は複数の他の処理ユニット２上のタイル４の異なるグループ分けを含むように個別に構成可能である。より詳細に説明するように、同期コンバイナ７０は、自らの同期ゾーンに関して定義される同期グループに適したやり方で同期要求及び肯定応答を伝播するように構成可能である。この同期要求及び肯定応答の伝播は、ＧＳＰ５８のインタフェースの異なるものの設定に依存する。
【0139】
同期コンバイナ回路７０のそれぞれは、自らの同期ゾーンがグローバル同期グループを定義するように構成される場合、自らの関連する同期ゾーンのために同期ネットワーク内でマスタノード又は同期伝播ノードとして機能することができる。
【0140】
マスタノードとして機能する同期コンバイナ回路７０は、予期される同期要求の全てを受信した後、同期要求を受信したＧＳＰ５８のインタフェースの全ての上で同期肯定応答を送信する。例えばマスタノードとして機能する場合、同期コンバイナ回路７０は、インタフェースＩＳ０からＩＳ２９の自らに関連するものから同期要求を受信し、インタフェースＩＳ０からＩＳ２９の自らに関連するものの上で肯定応答を提供する。別のＧＳＰからの同期要求は、（そのＧＳＰを含むチップ５００がイーサネットネットワーク上でリモートにアクセス可能な場合）仮想同期コントローラ７１によって受信することができ、又は（それらのＧＳＰを含むチップ５００が有線同期インタフェース上でローカルにアクセス可能な場合）物理同期インタフェースＡ～Ｆの１つ又は複数の上から受信することができる。
【0141】
同期伝播ノードとして機能する場合、同期コンバイナ回路７０は、インタフェースＩＳ０からＩＳ２９の自らに関連するものから同期要求を受信するように構成される。同期コンバイナ回路７０は、同期コンバイナ回路７０に関連する同期ゾーンに関して定義される同期ネットワーク内の自らの位置に応じて、１つ又は複数の他のチップ５００上の１つ又は複数のＧＳＰから１つ又は複数の同期要求を受信することもできる。別のＧＳＰからの同期要求は、（そのＧＳＰを含むチップ５００がネットワーク上でリモートにアクセス可能な場合）仮想同期コントローラ７１によって受信することができ、又は（それらのＧＳＰを含むチップ５００が有線インタフェース上でローカルにアクセス可能な場合）１つ若しくは複数の物理同期インタフェースＡ～Ｆ上から受信することができる。少なくとも一部の実施形態例では、仮想同期（外部パケットベースの同期と呼ぶこともある）が物理同期（外部配線ベースの同期と呼ぶこともある）と組み合わされず、従ってバリア同期に対する同期要求が別のＧＳＰから受信される場合、ｉ）仮想同期コントローラ７１から単一の同期要求が同期コンバイナ７０において受信され（同期が仮想同期の場合）、又はｉｉ）物理同期インタフェースＡ～Ｆの１つ又は複数の上から１つ又は複数の同期要求が同期コンバイナ７０において受信される（同期が物理同期の場合）。
【0142】
同期伝播ノードとして機能する同期コンバイナ７０は、予期される同期要求の全てを受信した後、別のチップ５００上のＧＳＰに対して同期ネットワーク内の上流に同期要求を伝播する。この同期要求は、（同期ネットワーク内の上流のＧＳＰを含むチップ５００がネットワーク上でリモートにアクセス可能な場合）仮想同期コントローラ７１によって上流に伝播することができ、又は（同期ネットワーク内の上流のＧＳＰを含むチップ５００が有線インタフェース上でローカルにアクセス可能な場合）物理同期インタフェースＡ～Ｆの１つの上で送信することができる。
【0143】
図７Ａでは、同期コンバイナ回路７０が異なる組に分割されて示されている。第１の１組の同期コンバイナ回路７０（同期コンバイナ＃０から＃２１とラベル付けされる）は、有線接続によってローカルにアクセス可能なチップ５００と物理同期インタフェース（ＰＳＩ Ａ～Ｆ）上で通信するように構成される。同期コンバイナ＃０から＃２１のそれぞれは、物理同期インタフェースの何れかの上で同期要求を送受信することができる。同期コンバイナ＃０から＃２１のそれぞれは、物理的同期インタフェースの何れかの上で同期肯定応答を送受信することができる。より詳細に説明するように、第１の１組の同期コンバイナの１つがどの（もしある場合）物理同期インタフェース上で同期メッセージを送受信するように構成されるのかは、ＧＳＰ５８内に保持される構成設定に依存する。
【0144】
同期伝播ノードとして機能する場合、第１の１組の同期コンバイナ７０の１つは、処理ユニット２ａからの同期要求、及び任意で同期物理同期インタフェースの０個から５個からの同期要求を受信する。同期要求が受信される物理同期インタフェースは、同期コンバイナ７０が関連する同期ゾーンに関して定義される同期ネットワークに依存する。１つ又は複数の同期要求を受信することに応答し、同期コンバイナ７０は物理同期インタフェースの１つの上で同期ネットワーク内の上流に同期要求を転送する。後の時点において、同期コンバイナ７０は、同期要求を送信したのと同じ物理同期インタフェース上から同期肯定応答を受信する。同期コンバイナ７０は、同期要求を受信したインタフェース（処理ユニット２ａとのインタフェース及び任意の物理同期インタフェースを含む）のそれぞれの上で同期肯定応答を伝播する。
【0145】
同期マスタノードとして機能する場合、第１の１組の同期コンバイナ回路７０の１つは、処理ユニット２ａからの同期要求及び同期物理同期インタフェースの１個から６個からの同期要求を受信する。同期要求が受信される物理同期インタフェースは、同期コンバイナ７０が関連する同期ゾーンに関して定義される同期ネットワークに依存する。２つ以上の同期要求を受信することに応答し、同期コンバイナ７０は、同期要求を受信したインタフェース（処理ユニット２ａとのインタフェース及び物理同期インタフェースを含む）のそれぞれの上で同期肯定応答を伝送することによって同期要求を肯定応答する。
【0146】
第２の１組の同期コンバイナ回路７０（同期コンバイナ＃２２から＃２９とラベル付けされる）は、イーサネットネットワーク上でアクセス可能なチップ５００との仮想インタフェース（ＶＳ０からＶＳ７）上で通信するように構成される。第２の１組の同期コンバイナ７０のうち、これらの同期コンバイナ７０のそれぞれが仮想同期コントローラ７１のインタフェース（ＶＳ０からＶＳ７）の異なるものに関連付けられる。例えば、インタフェースＶＳ０は同期コンバイナ回路＃２２に関連付けることができ、インタフェースＶＳ１は同期コンバイナ回路＃２３に関連付けること等ができる。第２の１組の同期コンバイナ回路７０の同期コンバイナ７０のそれぞれは、仮想同期コントローラ７１との自らの関連するインタフェース上で同期要求を送受信し、仮想同期コントローラ７１との自らの関連するインタフェース上で同期肯定応答を送受信するように動作可能である。より詳細に説明するように、仮想同期コントローラ７１は、第２の１組の同期コンバイナ７０と他のチップ５００上の更なるＧＳＰとの間の同期要求及び肯定応答の交換を可能にする。
【0147】
マスタノードとして機能する場合、第２の１組の同期コンバイナ回路７０の１つは、仮想同期インタフェースの自らの関連するものの上からの同期要求及び処理ユニット２ａからの同期要求を受信するように構成される。これらの同期要求を受信することに応答し、同期コンバイナ回路７０は処理ユニット２ａに対して、及び仮想同期コントローラ７１への自らの関連する仮想同期インタフェース上で同期肯定応答を伝送する。
【0148】
同期伝播ノードとして機能する場合、第２の１組の同期コンバイナ回路７０の１つは、処理ユニット２ａから同期要求を受信するように構成される。この同期要求を受信することに応答し、同期コンバイナ回路７０は、自らの関連する仮想同期インタフェース上で同期ネットワーク内の上流に同期要求を送信する。これに続いて、同期コンバイナ回路７０は、自らの関連する仮想同期インタフェース上から同期肯定応答を受信する。これに応答し、同期コンバイナ回路７０は同期肯定応答を処理ユニット２ａに対して下流に伝播する。
【0149】
仮想同期インタフェース及び物理同期インタフェースを制御するために、１つ又は複数の制御レジスタ（図７Ａには不図示）がＧＳＰ５８内で定義される。制御レジスタはＧＣＰ７６によって書き込み可能である。制御レジスタへの書き込み要求はＣｂｕｓターゲット７５によって受信される。１つ又は複数の制御レジスタは、仮想同期インタフェース及び物理同期インタフェースのそれぞれに関連する構成設定を含む。
【0150】
構成設定は、仮想同期インタフェース（ＶＳ０からＶＳ７）のそれぞれについて、そのインタフェースが有効化又は無効化されているかどうかの指示を含む。構成設定は、仮想同期インタフェース（ＶＳ０からＶＳ７）のそれぞれについて方向性の指示を含む。本明細書で使用するとき「方向性」という用語は、同期要求がＧＳＰ５８に対して移動する方向を指す。換言すれば、方向性の指示は、インタフェースが別のチップ５００上のＧＳＰからＧＳＰ５８の同期コンバイナ７０に同期要求を渡すのか、又はＧＳＰ５８の同期コンバイナ７０から別のチップ上のＧＳＰに向けて同期要求を渡すのかを決定する。
【0151】
仮想同期インタフェースの方向性を定義することにより、１つ又は複数の制御レジスタ内に保持される構成設定は、特定の同期コンバイナ回路７０が、自らが関連する同期ゾーンの同期伝播ノードとして機能するのか又は同期マスタとして機能するのかを定義する。
【0152】
構成設定は、物理同期インタフェース（ＰＳＩ Ａ～Ｆ）のそれぞれについて、そのインタフェースが有効化又は無効化されているかどうかの指示も含む。構成設定は、物理的同期インタフェース（ＰＳＩ Ａ～Ｆ）のそれぞれについて方向性の指示を含む。仮想同期インタフェースと同様に、「方向性」という用語は同期要求がＧＳＰ５８に対して移動する方向を指す。物理同期インタフェースについて、構成設定レジスタは、物理同期インタフェースのそれぞれが関連する同期ゾーン（もしある場合）の指示を含む。
【0153】
物理同期インタフェースの方向性、及び物理同期インタフェースが関連する同期ゾーンを定義することにより、１つ又は複数の制御レジスタ内に保持される構成設定はＧＳＰ５８による同期要求及び肯定応答の伝播を制御する。インタフェースの方向性及び（物理同期インタフェースについて）それらが関連する同期ゾーンを定義することにより、１つ又は複数の制御レジスタ内に保持される構成設定は、特定の同期コンバイナ回路７０が、自らが関連する同期ネットワークの同期伝播ノードとして機能するのか、又は同期マスタとして機能するのかを定義する。第１の１組の同期コンバイナ７０のそれぞれは、物理同期インタフェースであって、その同期コンバイナ７０と同じ同期ゾーンに関連し、その物理同期インタフェース上から同期コンバイナ７０において同期要求が受信されるべきことを方向性が示す、物理同期インタフェースの全ての上で同期要求を受信した後、（伝播ノードとして機能する場合）同期要求を上流に伝播するように、又は（マスタとして機能する場合）同期肯定応答を発行するように動作可能である。第１の１組の同期コンバイナ７０のそれぞれは、物理インタフェースであって、その同期コンバイナ７０と同じ同期ゾーンに関連し、その物理同期インタフェース上でＧＳＰ５８から同期要求が送信されるべきことを方向性が示す、物理インタフェース上で同期要求を伝播するように動作可能である。第１の１組の同期コンバイナ７０のそれぞれは、物理インタフェースであって、その同期コンバイナ７０と同じ同期ゾーンに関連し、その物理同期インタフェース上でＧＳＰ５８から同期肯定応答が送信されるべきことを方向性が示す、物理インタフェース上で同期肯定応答を伝播するように動作可能である。
【0154】
集合的に、同期ゾーンをサポートするチップ５００の全てにわたるＧＳＰの構成設定が同期ゾーンの同期ネットワークを定義する。
【0155】
一例として、構成設定は所与の同期ゾーン（例えば同期コンバイナ＃２に関連する同期ゾーン３）が物理同期インタフェースＣ及びＥに関連することを示し得る。構成設定は、物理同期インタフェースＣの方向性は、同期要求が物理同期インタフェースＣ上でＧＳＰ５８において受信され、同期コンバイナ７０（この事例では同期ゾーン３に関連するので同期コンバイナ＃２となる）に渡されるものであることを加えて示し得る。構成設定は、物理同期インタフェースＥの方向性は、同期コンバイナ７０（この事例では同期ゾーン３に関連するので同期コンバイナ＃２となる）が、異なるチップ５００に送信される同期要求をこのインタフェース上で発行するものであることを更に示し得る。構成設定の結果、バリア同期において、同期コンバイナ＃２は物理同期インタフェースＣからの同期要求及び処理ユニット２ａからの同期要求を受信する。これに応答し、同期コンバイナ＃２は物理同期インタフェースＥ上で同期ネットワーク内の上流に同期要求を伝播する。後の時点において、同期コンバイナ＃２は物理同期インタフェースＥ上から同期肯定応答を受信し、これを物理同期インタフェースＣ上で同期ネットワーク内の下流に転送し、処理ユニット２ａにも転送して、同期ゾーン３に関して定義された同期グループに属するチップ５００ａ上のタイル４の全てに同期肯定応答を提供する。
【0156】
有効化された物理同期インタフェースの何れも、どの時点においても単一の同期ゾーンにのみ関連し得る。これは、物理同期インタフェースの何れも単一の同期ゾーンについてのみ同期メッセージを搬送できることを意味する。各物理同期インタフェースの構成設定は０から２２までの値を指定することができ、１から２２までの値は個々の物理同期インタフェースが関連する２２個の同期ゾーンの１つを識別し、０は物理同期インタフェースが現在何れの同期ゾーンにも関連していないことを指定する。
【0157】
図７Ａに示すように、第１の１組の同期コンバイナ回路７０は２つのサブセットを含む。サブセットの第１のもの（同期コンバイナ＃２から＃２１）は同期要求を受信し、それに応答し、上述のように同期ネットワーク内の上流に同期要求を伝播し及び／又は肯定応答する。第２のサブセット（同期コンバイナ＃０から＃１）も、上述のように同期要求を伝播するために及び／又は肯定応答するために同じ動作を実行する。加えて、同期コンバイナ７０の第２のサブセットのそれぞれは、（伝播ノードとして機能する場合）同期ネットワーク内の上流に同期要求を伝播する前、又は（同期マスタとして機能する場合）同期ネットワーク内の下流に同期肯定応答を発行する前に、ホスト同期プロキシモジュール（ＨＳＰ）のクレジットをチェック及びデクリメントすることができる。同期コンバイナ７０の第２のサブセットは、ＨＳＰをチェックして同期にホストの関与が必要かどうかを判定する。同期コンバイナ回路７０によってホストの関与が必要とされるかどうかは、同期要求と共に処理ユニット２ａから受信される状態情報に依存して決定される。ＨＳＰの使用については、参照により援用する我々の先の米国特許出願第１５／８８６０６５号明細書の中でより詳細に記載されている。
【0158】
説明してきたように、処理ユニット２ａは複数の異なるグローバル同期グループに同時に参加するように動作可能であるため、異なる同期コンバイナ回路７０によって実行されるものとして上述した同期伝播動作は時間的に重複し得る。例えば説明したように、物理同期インタフェースＣ及びＥは同期ゾーン３に関連し、同期コンバイナ＃２からの同期要求／肯定応答を伝播するように構成され得る。同時に、１つ又は複数の他の物理同期インタフェースが異なる同期ゾーンに関連し、その別の同期ゾーンに関連する同期コンバイナ回路７０との間で同期要求／肯定応答を伝播するように構成され得る。
【0159】
図７Ａには、ＧＳＰ５８のレジスタ５０１も示されている。このレジスタ５０１は、各同期ゾーンが内部として構成されるのか外部として構成されるのかを定義する構成情報を記憶する。これらの指示はインタフェース５０２上でＩＰＵ同期コントローラ５５に提供され、ＩＰＵ同期コントローラ５５が、自らが属する処理ユニット２ａのタイル４から生じる同期要求を肯定するかどうか判定するために使用される。レジスタ５０１は、制御バス７２上から受信される書き込みによって書き込み可能である。これらの書き込みは、例えばホストシステム上で実行されるソフトウェアから生じ得る。
【0160】
次に、同期メッセージの伝送についてより詳細に説明する。同期要求は、同期ハンドシェイクと呼ばれるプロトコルに従って伝送及び肯定応答される。同期ハンドシェイクは、同期メッセージを交換する同期ネットワーク内のノードのそれぞれの間で行われる。
【0161】
同期ハンドシェイクは２つの異なる信号を使用し、その一方は同期要求がアサートされたかどうかを示すために使用され、他方は同期肯定応答がアサートされたかどうかを示すために使用される。これらの信号は、別々の配線を伝わって伝送されてもよく、又はレジスタの専用ビット内に情報を記憶することによって伝送することができる。例えば同期要求信号は、図５Ｃに示すタイル４と同期集約回路５６との間の配線上で伝送され得る。回路５６において生成される集約された同期要求は、回路５６とＧＳＰ５８との間の配線上で送信され得る。同期要求信号は、ＧＳＰ５８の同期コンバイナ回路７０において受信されると、同期ネットワーク内の上流に（例えば仮想同期コントローラ７１に、又は物理同期インタフェースの１つの上で）伝播され、又は肯定応答される。同様に同期肯定応答信号は、ＧＳＰ５８と同期分配回路５７との間の配線上で伝送された後、同期分配回路５７とタイル４のそれぞれとの間の配線上で分配され得る。
【0162】
図８を参照すると、同期ネットワーク内の下流の伝播ノードと上流の伝播ノードとの間の同期ハンドシェイクの一例が示されている。上流の伝播ノードは例えば仮想同期コントローラ７１とすることができ、下流の伝播ノードは仮想同期コントローラ７１とインタフェースするための同期コンバイナ７０（例えば同期コンバイナ＃２２から＃２９）の１つとすることができる。或いは上流の伝播ノードは同期コンバイナ７０とすることができ、仮想同期コントローラ７１を下流の伝播ノードとすることもできる。
【0163】
図８では、同期要求信号を「Ｘ」としてラベル付けするのに対し、同期肯定応答信号を「Ｙ」としてラベル付けしている。同期ハンドシェイクの開始時に、下流の伝播ノードが同期要求信号をアサートする（１．同期要求のアサートとして図示する）。このことは上流の伝播ノードにおいて同期要求が検出されることを引き起こす。上流の伝播ノードは、肯定応答を受信するまで信号をアサートし続ける。事実上、上流の伝播ノードは同期肯定応答を受信するまでストールする。同期要求に応答し、上流の伝播ノードは同期肯定応答信号をアサートする（２．同期肯定応答のアサートとして図示する）。このことは下流の伝播ノードにおいて同期肯定応答が検出されることを引き起こす。同期肯定応答に応答し、下流の伝播ノードは同期要求信号をデアサートする（３．同期要求のデアサートとして図示する）。上流の伝播ノードは、同期要求信号がデアサートされたことを検出し、同期要求信号のデアサートに応答して同期肯定応答信号をデアサートする（４．同期肯定応答のデアサートとして図示する）。同期肯定応答信号がデアサートされると、同期ネットワークの２つのノード間の同期ハンドシェイクが完了する。
【0164】
（図８に例示する）同期要求信号及び同期肯定応答信号は１組の配線上で同期伝播ノードの一部の間で伝送され、配線の少なくとも１つは同期要求の伝送専用であり、配線の少なくとも１つは同期肯定応答の伝送専用である。図７Ａに示すＧＳＰ５８では、インタフェースＩＳ０～ＩＳ２９のそれぞれが、同期コンバイナ回路７０と処理ユニット２ａとの間で同期要求／肯定応答信号を運ぶための複数組の配線の１つを含む。同様に、物理同期インタフェースＰＳＩ Ａ～Ｆのそれぞれは、同期コンバイナ回路７０と別のチップ５００の同期コンバイナ回路との間で同期要求／肯定応答信号を運ぶための複数組の配線の１つを含む。
【0165】
パケット交換ネットワーク上の同期ハンドシェイクを広げるために、同期要求又は肯定応答を表す専用信号のアサートに応答し、同期要求又は肯定応答を表すパケットが生成される。このことは、ハードウェアの専用アイテム（例えば配線）上でアサートされる信号によって表される同期メッセージからデータパケットによって表される同期メッセージへの変換を可能にする。第２の同期伝播回路は、第１の同期伝播回路から受信される信号の１つ又は複数の変化を検出し、検出した変化に応答してネットワーク上でパケットをディスパッチさせるように構成され、パケットは信号の１つ又は複数の変化によって表される同期要求又は同期要求に対する肯定応答を示す。ネットワーク上でディスパッチされるパケットは、信号それぞれの状態の指示を含む。このことは、パケットを受信する同期伝播回路がパケットから信号それぞれの状態の指示を抽出すること、及びハードウェアの専用アイテム上で信号を適宜アサートすることによって同期要求／肯定応答を伝播することを可能にする。
【0166】
図９Ａを参照すると、専用信号とパケットとの間で変換を行うための機器の一例が示されている。機器９００は、第１の同期伝播回路９１０及び第２の同期伝播回路９２０を含む。第２の同期伝播回路９２０は、第２の同期伝播回路９２０によって実行されるものとして本明細書に記載する動作を実行するための処理回路９６０を含む。処理回路９６０は、これらの動作の少なくとも一部を実行するためのコンピュータ可読命令を実行するように構成されるプロセッサを含み得る。処理回路９６０は有限状態機械を実装する。処理回路９６０は、これらの動作の少なくとも一部を実行するための書替え可能ゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）を含み得る。
【0167】
第１の同期伝播回路９１０と第２の同期伝播回路９２０との間のインタフェースは、第１の配線９３０及び第２の配線９４０を含む。第１の同期伝播回路９１０を第２の同期伝播回路９２０に接続する第１の配線９３０を図９Ａに示す。第１の配線９３０は、第１の同期伝播回路９１０と第２の同期伝播回路９２０との間で同期要求信号を提供するように構成される。第１の同期伝播回路９１０は、配線９３０上で信号をアサートすることによって第２の同期伝播回路９２０に同期要求を送信することができる。第２の同期伝播回路９２０は、配線９３０上で信号をアサートすることによって第１の同期伝播回路９１０に同期要求を送信することができる。同期要求が送信される方向はインタフェースの方向性に依存する。
【0168】
図９Ａには、第１の同期伝播回路９１０を第２の同期伝播回路９２０に接続する第２の配線９４０も示されている。第２の配線９４０は、第１の同期伝播回路９１０と第２の同期伝播回路９２０との間で同期肯定応答信号を提供するように構成される。第１の同期伝播回路９１０は、配線９４０上で信号をアサートすることによって第２の同期伝播回路９２０に同期肯定応答を送信することができる。第２の同期伝播回路９２０は、配線９４０上で信号をアサートすることによって第１の同期伝播回路９１０に同期肯定応答を送信することができる。同期肯定応答が送信される方向はインタフェースの方向性に依存する。
【0169】
第２の同期伝播回路９２０は、同期要求及び同期肯定応答の状態情報を記憶するための記憶域９５０を保持する。記憶域９５０は、第１の同期伝播回路９１０によって配線９３０、９４０上の信号が更新されるとき更新される。第１の同期伝播回路９１０が同期要求信号をアサートすると、第２の同期伝播回路９２０は同期要求信号がアサートされたことを示すように記憶域９５０を更新する。第１の同期伝播回路９１０が同期要求信号をデアサートすると、第２の同期伝播回路は同期要求信号がデアサートされたことを示すように記憶域９５０を更新する。第１の同期伝播回路９１０が同期肯定応答信号をアサートすると、第２の同期伝播回路９２０は同期肯定応答信号がアサートされたことを示すように記憶域９５０を更新する。第１の同期伝播回路９１０が同期肯定応答信号をデアサートすると、第２の同期伝播回路９２０は同期肯定応答信号がデアサートされたことを示すように記憶域９５０を更新する。
【0170】
第１の同期伝播回路９１０が配線９３０、９４０の何れかの上で信号の１つをアサート又はデアサートすると、第２の同期伝播回路９２０はネットワーク９１上でパケットをディスパッチすることによって応答し、パケットは配線９３０、９４０上の信号の更新された状態の指示を含む。このことは、同期要求、同期肯定応答、同期要求のデアサート、又は同期肯定応答のデアサートの１つをパケットが示すことを可能にする。パケットは同じ同期ゾーンに属する別の装置にネットワーク９１上でディスパッチされる。
【0171】
第２の同期伝播回路９２０は、別の装置上の同期要求／肯定応答信号の状態変化を示すパケットをネットワーク９１から受信することができる。このようにして、パケットはネットワーク９１上で送信される同期要求／肯定応答を表すことができる。パケットを受信することに応答し、第２の同期伝播回路９２０は、パケットからの状態更新を記憶域９５０内に記録する。第２の同期伝播回路９２０は、パケット内で示される状態更新に応じて配線９３０、９４０上で信号をアサートする。例えば同期要求の状態がアサートされることをパケットが示す場合、第２の同期伝播回路９２０は配線９３０上で同期要求信号をアサートする。同期要求の状態がデアサートされることをパケットが示す場合、第２の同期伝播回路９２０は配線９３０上で同期要求信号をデアサートする。同期肯定応答の状態がアサートされることをパケットが示す場合、第２の同期伝播回路９２０は配線９４０上で同期要求信号をアサートする。同期肯定応答の状態がデアサートされることをパケットが示す場合、第２の同期伝播回路９２０は配線９４０上で同期肯定応答信号をデアサートする。
【0172】
次に、同期変換処理が実行される第１の実施形態例について説明する。この例では、同期変換プロセスは、図７Ａに関して上記で論じたＧＳＰ５８及びＧＣＰ７６によって実行される。この第１の実施形態例では、第１の同期伝播回路９１０が同期コンバイナ回路７０を含むのに対し、第２の同期伝播回路９２０は仮想同期コントローラ７１及びＧＣＰ７６を含む。
【0173】
第１の１組の同期コンバイナ回路７０の１つが仮想同期コントローラ７１に対して発行するための同期要求又は同期肯定応答を有する場合、同期コンバイナ回路７０は、同期要求又は肯定応答を表す信号の１つを仮想同期インタフェースＶＳ０からＶＳ７の１つの上でアサートする。
【0174】
仮想同期コントローラ７１は、仮想同期インタフェースの関連するものの上での同期要求／肯定応答のアサートを示すための複数のレジスタビットを記憶するための記憶域を含む。後述するように、この記憶域は、関連する同期ゾーンに対する同期要求／肯定応答のネットワーク上での受信を示すために設定され得る１組のレジスタビットも記憶する。表１はレジスタビットを示す。ＶＳＯＵＴ２２～２９とラベル付けされたビットは、仮想同期コントローラ７１における同期コンバイナ７０からの同期要求／肯定応答の受信を示す。ＶＳＩＮ２２～２９とラベル付けされたビットは、チップ５００ａにおけるネットワーク９１上からの同期要求／肯定応答の受信を示す。
【0175】
【表1】
【0176】
図９Ｂを参照すると、専用ハードウェア上の同期要求／肯定応答ハンドシェイク信号から同期パケットに変換するための、及びその逆を行うためのチップ５００ａ上の機器が示されている。図示のように、仮想同期コントローラ７１は表２に示すレジスタビットを記憶するための記憶域９３を含む。記憶域９３は、ＶＳＩＮビットを保持する仮想同期インタフェースデータ入力レジスタ（ＶＳＩＤＩＲ）及びＶＳＯＵＴビットを保持する仮想同期インタフェースデータレジスタ（ＶＳＩＤＲ）としてラベル付けされた２つのレジスタを含むものとして示す。
【0177】
ＶＳＩＮビット及びＶＳＯＵＴビットの値は、仮想同期インタフェースの現在の状態を示す。ＶＳＩＮビット及びＶＳＯＵＴビットのそれぞれは、その対応する同期ゾーンに対して同期要求又は同期肯定応答がアサートされていないときの状態を表すデフォルト値（例えば０）を有する。ＶＳＩＮビット及びＶＳＯＵＴビットのそれぞれは、同期要求又は肯定応答がアサートされたと指示するように（例えば１に）設定され得る。ＶＳＩＮ及びＶＳＯＵＴビットのそれぞれは、自らの設定を引き起こした同期要求又は肯定応答のデアサートに応答して自らのデフォルト値に戻される。
【0178】
図９Ｂにグローバル通信プロキシ（ＧＣＰ）７６を示す。ＧＣＰ７６はパケット交換ネットワーク９１とインタフェースし、別のチップ５００において受信するためのパケットをネットワーク９１上で送信するように、及び別のチップ５００からネットワーク９１上でパケットを受信するように構成される。ＧＣＰ７６が送受信するように構成されるパケットは、チップ５００間でネットワーク９１上で同期要求及び同期肯定応答を伝えるための同期メッセージパケットを含む。
【0179】
ＧＣＰ７６は、表２に示すレジスタビットを記憶するための記憶域９４も含む。記憶域９４内に保持されるレジスタビットは、記憶域９３内に保持されるレジスタビットのミラーである。仮想同期コントローラ７１は、自らの仮想同期インタフェースＶＳ０からＶＳ７の１つの上で受信される同期要求／肯定応答に応じて記憶域９３内のＶＳＯＵＴビットの１つを設定するたびに、ＧＣＰ７６に書き込み要求を発行する。この書き込み要求は、図７Ａに示すＣＢＵＳイニシエータ７４を介してＣＢＵＳ７２上で送信され得る。ＧＣＰ７６は、仮想同期コントローラ７１から書き込み要求を受信し、仮想同期コントローラ７１において同期要求／肯定応答が受信されていることを示すように自らの記憶域９４内に保持される同じＶＳＯＵＴビットを設定させる。
【0180】
記憶域９４の更新後、ＧＣＰ７６はネットワーク９１上でパケットをディスパッチさせる。このパケットは、その同期ゾーンに対する同期要求／肯定応答信号がアサートされていることを示すように関連するＶＳＯＵＴビットが設定されていることを示す状態の指示を含む。パケットは別のチップ５００にディスパッチされる。ＧＣＰ７６がパケットをディスパッチするチップ５００は、設定されたＶＳＯＵＴビットが関連する同期ゾーンに依存する。
【0181】
同期メッセージパケットがディスパッチされるアドレスを決定するために、ＧＣＰ７６は仮想同期ゾーンそれぞれのＭＡＣアドレスを示すテーブルを記憶する。それぞれの仮想同期ゾーンについて、ＭＡＣアドレスは、その同期ゾーンに関して定義された同期グループに属するタイル４を含む他のチップ５００のＭＡＣアドレスである。更新されたＶＳＯＵＴビットを含むための書き込みを仮想同期コントローラ７１から受信することに応答し、ＧＣＰ７６は、ＶＳＯＵＴビットに関連する同期ゾーンに関して定義された同期グループに属するタイル４を含むチップ５００のＭＡＣアドレスを検索する。ＧＣＰ７６は、決定されたＭＡＣアドレスを有するそのチップ５００にパケットをディスパッチする。パケットは、仮想同期コントローラ７１において同期要求／肯定応答が受信されていることの指示（ＶＳＯＵＴの更新値の形を取る）と、その同期要求／肯定応答が関連する同期ゾーンの指示とを含む。このパケットは、他方のチップ５００において受信されると、その他方のチップ５００の記憶域内のＶＳＩＮビットをパケット内で指示されるＶＳＯＵＴビットと同じ値に設定させる。この設定されるＶＳＩＮビットは、ＶＳＯＵＴビットと同じ同期ゾーンに関連する。従って、或るチップ５００上のＶＳＯＵＴビットの更新が、別のチップ５００上の対応するＶＳＩＮビットの更新を引き起こすのでネットワーク９１にわたる方向性の逆転がある。
【0182】
ＧＣＰ７６は、ネットワーク９１から同期メッセージを含むパケットも受信するようにも構成される。同期メッセージは、別のチップ５００上の対応する回路によって発行された同期要求又は同期肯定応答（他のチップ５００内に保持されるＶＳＯＵＴビットの更新値の形を取る）を表す。かかるパケットは、同期要求又は肯定応答が関連する同期ゾーンの指示を含む。かかる同期メッセージを表すパケットを受信することに応答し、ＧＣＰ７６は同期要求／肯定応答と同じ同期ゾーンに関連する自らの記憶域９４内のＶＳＩＮビットの１つを設定する。ビットを設定した後、ＧＣＰ７６は、仮想同期コントローラ７１の記憶域９３内の対応するビットを更新するための書き込み要求を仮想同期コントローラ７１にディスパッチする。
【0183】
書き込み要求を受信することに応答し、仮想同期コントローラ７１は自らの記憶域９３内の対応するＶＳＩＮビットを更新する。次いで仮想同期コントローラ７１は、自らの記憶域９３内で更新されるＶＳＩＮビットと同じ同期ゾーンに関連する自らの仮想同期インタフェースＶＳ０からＶＳ７の１つの上で同期要求／肯定応答をディスパッチする。同期要求／肯定応答は、この仮想同期インタフェースの適切な配線上で信号をアサートすることによって同期コンバイナ７０の１つに送信される。
【0184】
説明したように、ＶＳＯＵＴビット及びＶＳＩＮビットの設定は、同期要求又は同期肯定応答を表すために使用することができる。ＶＳＯＵＴビット又はＶＳＩＮビットが同期要求又は同期肯定応答を表すかどうかは、同期要求／肯定応答が受信される仮想同期インタフェースの方向性に依存する。この方向性はＧＳＰ５８内に保持される構成設定に依存し、同期要求又は同期肯定応答が関連する仮想同期インタフェース上で同期コンバイナ７０から仮想同期コントローラ７１に伝播されるかどうかを定義する。換言すれば、構成設定は、ＶＳＯＵＴ又はＶＳＩＮに関連する同期ゾーンに対して、同期要求又は同期肯定応答がＧＳＰ５８から他のチップ５００に送信されるかどうかを定義する。
【0185】
仮想同期インタフェースの方向性が、同期要求が同期コンバイナ７０から仮想同期コントローラ７１に送信される（即ち関連する同期ゾーンの同期要求がＧＳＰ５８から他のチップ５００に送信される）ものである場合、その仮想同期インタフェースに関連するＶＳＯＵＴビットの設定は、関連する仮想同期インタフェース上で同期要求が受信されていることを示す。仮想同期インタフェースの方向性が、同期要求が仮想同期コントローラ７１から同期コンバイナ７０に送信される（即ち関連する同期ゾーンの同期要求が他のチップ５００からＧＳＰ５８において受信される）ものである場合、その仮想同期インタフェースに関連するＶＳＯＵＴビットの設定は、関連する仮想同期インタフェース上で同期肯定応答が受信されていることを示す。
【0186】
インタフェースの方向性を示す構成設定は、ＶＳＩＮビットの設定に応答し、同期要求又は同期肯定応答を仮想同期インタフェース上で同期コンバイナ７０に送信すべきかどうかを判定するために仮想同期コントローラ７１によって使用される。チップ５００ａにおいて受信された同期メッセージパケットに応答し、チップ５００ａにおいて同期要求／肯定応答が受信されたことを示すために自らのＶＳＩＮビットの１つを仮想同期コントローラ７１が設定する場合、仮想同期コントローラ７１は、同期メッセージパケットによって示される同期ゾーンの仮想同期インタフェースに関連する構成設定に応じて、同期メッセージを同期要求として解釈するのか又は同期肯定応答として解釈するのかを決定する。同期ゾーンの仮想同期インタフェースの方向性が、同期要求が仮想同期コントローラ７１からコンバイナ７０に伝播される（即ち関連する同期ゾーンの同期要求が他のチップ５００からＧＳＰ５８において受信される）ものであることを構成設定が示す場合、同期メッセージパケットは同期要求として解釈され、同期要求が仮想同期インタフェースの同期要求配線上でアサートされる。同期ゾーンの仮想同期インタフェースの方向性が、同期要求が同期コンバイナ７０から仮想同期コントローラ７１に伝播される（即ち関連する同期ゾーンの同期要求がＧＳＰ５８から他のチップ５００に送信される）ものであることを構成設定が示す場合、同期メッセージは同期肯定応答として解釈され、その結果、同期肯定応答が仮想同期インタフェースの同期肯定応答配線上でアサートされる。
【0187】
少なくとも一部の実施形態では、記憶域９４内のＶＳＯＵＴビットの変化に応答してネットワーク９１上でディスパッチされる同期メッセージパケットが（変化したＶＳＯＵＴビットの値だけでなく）記憶域９４内に保持されるＶＳＯＵＴビットの全ての値を含む。
【0188】
同期ネットワークをパケット交換ネットワーク上に広げることにより、チップ５００ａは他のチップ５００ｂ、５００ｃと、それらのチップがかかるネットワーク上でリモートにアクセス可能である場合に同期することができる。
【0189】
処理装置を１つ又は複数の更なる処理装置と同期するための方法２３００を示す図１０を参照する。
【0190】
Ｓ２３１０で、第１の１組のプロセッサの各プロセッサが、第１の１組のプロセッサ及び第１の更なる処理装置に属する第３の１組のプロセッサを含む第１の同期グループ間で強制される第１のバリア同期に参加する。第１のバリア同期は、第１の同期グループの計算段階を第１の同期グループの第１の交換段階と分離する。
【0191】
Ｓ２３２０で、第１の１組のプロセッサのうちのプロセッサの少なくとも一部のそれぞれが、第１の交換段階中に第３の１組のプロセッサとデータを交換する。
【0192】
Ｓ２３３０で、第２の１組のプロセッサの各プロセッサが、第２の１組のプロセッサ及び第２の更なる処理装置に属する第４の１組のプロセッサを含む第２の同期グループ間で強制される第２のバリア同期に参加する。第２のバリア同期は、第２の同期グループの計算段階を第２の同期グループの第２の交換段階と分離する。
【0193】
Ｓ２３４０で、第２の１組のプロセッサのうちのプロセッサの少なくとも一部のそれぞれが、第２の交換段階中に第４の１組のプロセッサとデータを交換する。
【0194】
本願の実施形態を実装するために記載したチップ５００の構成要素のそれぞれは、記載した機能を実装するのに必要なデータ処理回路及びメモリを含む。データ処理回路は、非限定的な例としてマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、書替え可能ゲートアレイ（ＦＰＧＡ）、及びマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ又は複数を含み得る。データ処理は、幾つかのデータ処理回路モジュールにわたって分散させることができる。記載した各々の動作を実行するのに適したデータ処理回路を含む構成要素は、これだけに限定されないがＧＣＰ７６、Ｃｂｕｓイニシエータ７４、Ｃｂｕｓターゲット７、仮想同期コントローラ７１、及びＩＰＵ同期コントローラ５５を含む。
【0195】
図面を参照して本明細書に記載した実施形態の少なくとも一部の側面は処理システム又はプロセッサ内で実行されるコンピュータプロセスを含むが、本発明はコンピュータプログラム、とりわけ本発明を実施するように適合されるキャリア上の又はキャリア内のコンピュータプログラムにも及ぶ。プログラムは、非一時的ソースコード、オブジェクトコード、部分的にコンパイルされた形式等のコード中間ソース及びオブジェクトコード、又は本発明によるプロセスを実装する際に使用するのに適した他の任意の非一時的形態の形を取り得る。キャリアは、プログラムを運ぶことができる任意のエンティティ又は装置であり得る。例えばキャリアは、ソリッドステートドライブ（ＳＳＤ）又は他の半導体ベースのＲＡＭ、ＲＯＭ、例えばＣＤ ＲＯＭ又は半導体ＲＯＭ、磁気記録媒体、例えばフロッピディスク又はハードディスク、光学メモリ装置全般等の記憶媒体を含み得る。
【0196】
本明細書に記載した例は、本発明の実施形態の説明のための例として理解すべきである。更なる実施形態及び例が考えられる。任意の１つの例又は実施形態に関して記載した任意の特徴は、単独で又は他の特徴と組み合わせて使用することができる。加えて、任意の１つの例又は実施形態に関して説明した任意の特徴は、例又は実施形態の他の任意のものの１つ又は複数の特徴、又は例若しくは実施形態の他の任意のものの任意の組み合わせと組み合わせて使用することもできる。更に、本明細書に記載していない等価物及び修正形態も、特許請求の範囲の中で定義する本発明の範囲内で採用することができる。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図10】
【手続補正書】
【提出日】2024-03-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数のプロセッサを含む処理ユニットを含む処理装置であって、前記複数のプロセッサは第１の１組のプロセッサと第２の１組のプロセッサとを含み、前記第１の１組のプロセッサの各プロセッサは、前記第１の１組のプロセッサ及び第１の更なる処理装置に属する第３の１組のプロセッサを含む第１の同期グループ間で強制される第１のバリア同期に参加するように構成され、前記第１のバリア同期は前記第１の同期グループの計算段階を前記第１の同期グループの第１の交換段階と分離し、
前記第１の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれは、前記第１の交換段階中に前記第３の１組のプロセッサとデータを交換するように構成され、
前記第２の１組のプロセッサの各プロセッサは、前記第２の１組のプロセッサ及び第２の更なる処理装置に属する第４の１組のプロセッサを含む第２の同期グループ間で強制される第２のバリア同期に参加するように構成され、前記第２のバリア同期は前記第２の同期グループの計算段階を前記第２の同期グループの第２の交換段階と分離し、
前記第２の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれは、前記第２の交換段階中に前記第４の１組のプロセッサとデータを交換するように構成され、
前記第１の交換段階は前記第２の交換段階と時間的に重複する、
処理装置。
【請求項2】
前記第３の１組のプロセッサが属する前記第１の更なる処理装置が、前記第４の１組のプロセッサが属する前記第２の更なる処理装置と異なる、請求項１に記載の処理装置。
【請求項3】
前記第３の１組のプロセッサが属する前記第１の更なる処理装置が、前記第４の１組のプロセッサが属する前記第２の更なる処理装置と同じである、請求項１に記載の処理装置。
【請求項4】
前記第１の１組のプロセッサ及び前記第２の１組のプロセッサの各プロセッサが、前記第１の交換段階及び前記第２の交換段階の後、前記第１の１組のプロセッサ及び前記第２の１組のプロセッサを含む第３のバリア同期に参加すること、及び
前記第３のバリア同期の後、前記第１の同期グループ及び前記第２の同期グループと異なる１つ又は複数の新たな同期グループを含む１つ又は複数の更なるバリア同期に参加すること
を行うように構成される、請求項１に記載の処理装置。
【請求項5】
前記処理装置が、第１の同期メッセージを前記第１の更なる処理装置と交換することによって前記第１の同期グループのプロセッサ間の前記第１のバリア同期を調整すること、及び
第２の同期メッセージを前記第２の更なる処理装置と交換することによって前記第２の同期グループのプロセッサ間の前記第２のバリア同期を調整すること
を行うように構成される回路を含む外部同期コントローラを含む、請求項１に記載の処理装置。
【請求項6】
前記第１の同期メッセージが第１の同期要求及び同期肯定応答の対を含み、前記第２の同期メッセージが第２の同期要求及び同期肯定応答の対を含む、請求項５に記載の処理装置。
【請求項7】
前記外部同期コントローラが、前記第１のバリア同期を調整するための前記第１の同期メッセージの少なくとも１つが送信される宛先を決定すること、及び
前記第２のバリア同期を調整するための前記第２の同期メッセージの少なくとも１つが送信される宛先を決定すること
を行うための構成設定を保持する記憶域を含む、請求項５に記載の処理装置。
【請求項8】
前記外部同期コントローラの前記回路が、前記外部同期コントローラの１つ又は複数のインタフェースを前記第１の同期グループに関連付けることにより、前記第１のバリア同期を調整するための前記第１の同期メッセージの前記少なくとも１つが送信される前記宛先を決定すること、及び
前記外部同期コントローラの１つ又は複数の更なるインタフェースを前記第２の同期グループに関連付けることにより、前記第２のバリア同期を調整するための前記第２の同期メッセージの前記少なくとも１つが送信される前記宛先を決定すること
を行うように構成される、請求項７に記載の処理装置。
【請求項9】
どの処理装置がどのバリア同期に参加するのかを修正するように前記構成設定が書き込み可能である、請求項７に記載の処理装置。
【請求項10】
前記外部同期コントローラが前記処理ユニットとの複数のインタフェースを含み、前記複数のインタフェースの少なくとも一部のそれぞれが異なる同期グループに関連し、前記外部同期コントローラが、前記第１の同期グループに関連する前記複数のインタフェースの１つの上で前記処理ユニットから第１の同期要求を受信することに応答し、前記第１の同期グループのプロセッサ間の前記第１のバリア同期を調整する前記ステップを実行すること、及び
前記第２の同期グループに関連する前記複数のインタフェースの１つの上で前記処理ユニットから第２の同期要求を受信することに応答し、前記第２の同期グループのプロセッサ間の前記第２のバリア同期を調整する前記ステップを実行すること
を行うように構成される、請求項５に記載の処理装置。
【請求項11】
前記外部同期コントローラの前記回路が複数の同期伝播回路を含み、前記複数の同期伝播回路の少なくとも一部のそれぞれがプロセッサの同期グループに関連し、前記個々の同期グループに属するプロセッサを含む少なくとも１つの追加の処理装置に同期メッセージを伝播するように構成可能であり、第１の同期メッセージを前記第１の更なる処理装置と交換することによって前記第１の同期グループのプロセッサ間の前記第１のバリア同期を前記調整することが、前記第１の同期グループに関連する前記複数の同期伝播回路の１つによって実行される、
請求項５に記載の処理装置。
【請求項12】
前記外部同期コントローラの前記回路は、前記第１の１組のプロセッサが前記第１のバリア同期に達したことを示す、前記第１の１組のプロセッサからの第１の少なくとも１つの同期要求を受信すること、及び
前記第１の少なくとも１つの同期要求に応答して前記第１の１組のプロセッサのそれぞれを前記第１の交換段階に入れるように前記第１の１組のプロセッサのそれぞれに同期肯定応答を提供すること、
前記第２の１組のプロセッサが前記第２のバリア同期に達したことを示す、前記第２の１組のプロセッサからの第２の少なくとも１つの同期要求を受信すること、及び
前記第２の少なくとも１つの同期要求に応答して前記第２の１組のプロセッサのそれぞれを前記第２の交換段階に入れるように前記第２の１組のプロセッサのそれぞれに同期肯定応答を提供すること
を行うように構成される、請求項５に記載の処理装置。
【請求項13】
前記外部同期コントローラの前記回路が、前記第１の更なる処理装置との前記第１の同期メッセージの前記交換に応答して前記第１の１組のプロセッサのそれぞれに前記同期肯定応答を提供すること、及び
前記第２の更なる処理装置との前記第２の同期メッセージの前記交換に応答して前記第２の１組のプロセッサのそれぞれに前記同期肯定応答を提供すること
を行うように構成される、請求項１２に記載の処理装置。
【請求項14】
前記複数のプロセッサの少なくとも一部が、異なるバリア同期に参加するために使用される複数の異なる同期グループに属する、請求項１に記載の処理装置。
【請求項15】
前記複数のプロセッサのそれぞれは、前記個々のプロセッサが複数の同期グループのどれに属するのかに関する指示を記憶するレジスタを含む、請求項１４に記載の処理装置。
【請求項16】
前記複数のプロセッサのそれぞれについて、前記個々のプロセッサの前記レジスタ内に記憶される前記指示は前記個々のプロセッサが複数の構成可能な同期ゾーンのどれに属するのかに関する指示である、請求項１５に記載の処理装置。
【請求項17】
前記複数のプロセッサのそれぞれが複数の配線を有し、前記複数の配線の少なくとも一部のそれぞれが複数の同期グループの異なるものに関連し、前記第１の１組のプロセッサのうちの前記プロセッサのそれぞれは、自らのコンパイル済みコード内で前記第１のバリア同期に達すると、前記第１の同期グループに関連する前記個々の複数の配線の１つの上で同期要求信号をアサートするように構成され、
前記第２の１組のプロセッサのうちの前記プロセッサのそれぞれは、自らのコンパイル済みコード内で前記第２のバリア同期に達すると、前記第２の同期グループに関連する前記個々の複数の配線の１つの上で同期要求信号をアサートするように構成される、
請求項１に記載の処理装置。
【請求項18】
前記複数のプロセッサのそれぞれは、前記個々のプロセッサが属さない同期グループに関連する前記複数の配線の何れかの上で同期要求信号を継続的にアサートするように構成される、請求項１７に記載の処理装置。
【請求項19】
前記第１の１組の複数のプロセッサの少なくとも一部のそれぞれが、前記第１の同期グループを識別するオペランドを含む同期命令を実行することによって前記第１のバリア同期用の前記第１の同期グループを選択するように構成される、請求項１に記載の処理装置。
【請求項20】
前記オペランドが、前記第１の同期グループの同期をサポートする構成可能な同期ゾーンを識別することによって前記第１の同期グループを識別する、請求項１９に記載の処理装置。
【請求項21】
前記第１の同期グループが、前記複数のプロセッサの異なるグループ分けを含むように前記複数の前記プロセッサのそれぞれの中で保持される設定に基づいて構成可能な第１の同期ゾーンに関連し、前記第２の同期グループが、前記複数のプロセッサの異なるグループ分けを含むように複数の前記プロセッサのそれぞれの中で保持される前記設定に基づいて構成可能な第２の同期ゾーンに関連する、請求項１に記載の処理装置。
【請求項22】
前記複数のプロセッサのそれぞれの中で保持される前記設定は、前記個々のプロセッサが前記第１の同期ゾーンに属するのかどうか及び前記個々のプロセッサが前記第２の同期ゾーンに属するのかどうかを指定する、請求項２１に記載の処理装置。
【請求項23】
前記処理装置が集積回路であり、前記第１の更なる処理装置が第１の更なる集積回路であり、前記第２の更なる処理装置が第２の更なる集積回路である、請求項１に記載の処理装置。
【請求項24】
前記第３の１組のプロセッサとデータを前記交換することが、前記処理装置と前記第１の更なる処理装置との間のパケット交換ネットワーク上で伝送するための１つ又は複数のデータパケットをディスパッチすることを含み、前記第４の１組のプロセッサとデータを前記交換することが、前記処理装置と前記第２の更なる処理装置との間のパケット交換ネットワーク上で伝送するための１つ又は複数のデータパケットをディスパッチすることを含む、請求項１に記載の処理装置。
【請求項25】
請求項１～２４の何れか一項に記載の処理装置と、第１の更なる処理装置と、
第２の更なる処理装置と、
を含む、データ処理システム。
【請求項26】
処理装置を１つ又は複数の更なる処理装置と同期するための方法であって、前記処理装置は複数のプロセッサを含む処理ユニットを含み、前記複数のプロセッサは第１の１組のプロセッサ及び第２の１組のプロセッサを含み、前記第１の１組のプロセッサ及び第１の更なる処理装置に属する第３の１組のプロセッサを含む第１の同期グループ間で強制される第１のバリア同期に前記第１の１組のプロセッサの各プロセッサが参加することであって、前記第１のバリア同期は前記第１の同期グループの計算段階を前記第１の同期グループの第１の交換段階と分離して参加することと、
前記第１の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれが、前記第１の交換段階中に前記第３の１組のプロセッサとデータを交換すること、
前記第２の１組のプロセッサ及び第２の更なる処理装置に属する第４の１組のプロセッサを含む第２の同期グループ間で強制される第２のバリア同期に前記第２の１組のプロセッサの各プロセッサが参加することであって、前記第２のバリア同期は前記第２の同期グループの計算段階を前記第２の同期グループの第２の交換段階と分離して参加することと、
前記第２の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれが、前記第２の交換段階中に前記第４の１組のプロセッサとデータを交換することと、
を含み、
前記第１の交換段階は前記第２の交換段階と時間的に重複する、方法。
【請求項27】
処理ユニットの複数のプロセッサによって実行されるとき、処理装置を１つ又は複数の更なる処理装置と同期するための方法を実行させる複数組のコンピュータ可読命令を含むコンピュータプログラムであって、前記処理装置は前記処理ユニットを含み、前記複数のプロセッサは第１の１組のプロセッサ及び第２の１組のプロセッサを含み、前記方法は前記第１の１組のプロセッサ及び第１の更なる処理装置に属する第３の１組のプロセッサを含む第１の同期グループ間で強制される第１のバリア同期に前記第１の１組のプロセッサの各プロセッサが参加することであって、前記第１のバリア同期は前記第１の同期グループの計算段階を前記第１の同期グループの第１の交換段階と分離して参加することと、
前記第１の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれが、前記第１の交換段階中に前記第３の１組のプロセッサとデータを交換すること、
前記第２の１組のプロセッサ及び第２の更なる処理装置に属する第４の１組のプロセッサを含む第２の同期グループ間で強制される第２のバリア同期に前記第２の１組のプロセッサの各プロセッサが参加することであって、前記第２のバリア同期は前記第２の同期グループの計算段階を前記第２の同期グループの第２の交換段階と分離して参加することと、
前記第２の１組のプロセッサのうちの前記プロセッサの少なくとも一部のそれぞれが、前記第２の交換段階中に前記第４の１組のプロセッサとデータを交換することと、
を含み、
前記第１の交換段階は前記第２の交換段階と時間的に重複する、
コンピュータプログラム。
【国際調査報告】