特表 2023-538990 データ処理装置における性能レベル制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-13

(54)【発明の名称】データ処理装置における性能レベル制御

(51)【国際特許分類】

   G06F 15/173 20060101AFI20230906BHJP

【ＦＩ】

G06F15/173 660Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022572595

(86)(22)【出願日】2020-06-26

(85)【翻訳文提出日】2022-11-25

(86)【国際出願番号】 US2020039974

(87)【国際公開番号】W WO2021262197

(87)【国際公開日】2021-12-30

(81)【指定国・地域】

(71)【出願人】

【識別番号】593096712

【氏名又は名称】インテル コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】グプタ，ウッジワール

(72)【発明者】

【氏名】ヴェルマ，アンクシュ

(72)【発明者】

【氏名】セシャン，ラクシュミプリヤ

(72)【発明者】

【氏名】バリガー，ニケタン シヴァナンド

(72)【発明者】

【氏名】グプタ，ニヒル

(72)【発明者】

【氏名】チョーダリー，スワデシュ

(72)【発明者】

【氏名】バンサル，ヨーゲシ

【テーマコード（参考）】

5B045

【Ｆターム（参考）】

5B045BB35

(57)【要約】

データ処理装置のためのシングル通信ファブリックが提供される。
ファブリックは複数のデータ処理機能ユニット間のデータ通信チャネルのトポロジを提供する相互接続ネットワークを有する。
相互接続ネットワークは、データ処理機能ユニットの第１サブセット間のデータ通信を提供する第１相互接続ドメイン、及び、データ処理機能ユニットの第２サブセット間のデータ通信を提供する第２相互接続ドメインを有する。
パワーマネジメント回路は、第２相互接続ドメインの第２性能レベルの制御とは独立して、第１相互接続ドメインの第１性能レベルを制御するようにアレンジされている。
２つの異なるファブリックドメインのパフォーマンスレベルをそれぞれの異なる動作周波数に同時に設定するための機械可読命令及び方法が提供される。

【特許請求の範囲】

【請求項1】

データ処理装置のためのシングル通信ファブリックであって、前記シングル通信ファブリックは：
複数のデータ処理機能ユニットの間のデータ通信チャネルのトポロジを提供する相互接続ネットワークであって、前記相互接続ネットワークは、前記データ処理機能ユニットの第１サブセットの間のデータ通信を提供する第１相互接続ドメイン、及び、前記データ処理機能ユニットの第２サブセットの間のデータ通信を提供する第２相互接続ドメインを有する、相互接続ネットワークと；
前記第２相互接続ドメインの第２性能レベルの制御とは独立して、前記第１相互接続ドメインの第１性能レベルを制御するパワーマネジメント回路と；
を備える、シングル通信ファブリック。

【請求項2】

前記第１相互接続ドメイン及び前記第２相互接続ドメインのうちの、より高い周波数に設定された一方から、前記第１相互接続ドメイン及び前記第２相互接続ドメインのうちの、より低い周波数に設定された他方へのデータの通信をスロットリングするバックフロー制御回路を備える、
請求項１記載のシングル通信ファブリック。

【請求項3】

前記バックフロー制御回路は、前記より高い動作周波数と前記より低い動作周波数との間の差分、及び、前記第１相互接続ドメインと前記第２相互接続ドメインとの間の伝送方向の両方に依存して、前記第１相互接続ドメインと前記第２相互接続ドメインとの間で通信されるべきデータの制御を実行する、
請求項２記載のシングル通信ファブリック。

【請求項4】

前記バックフロー制御回路は、ＯＮサイクルで示されるデューティサイクル内の前記より高い動作周波数のクロックサイクルの所定の第１サブセットに対して、前記第１相互接続ドメインと前記第２相互接続ドメインとの間のデータ通信が許可され、かつ、ＯＦＦサイクルで示されるデューティサイクル内の前記より高い動作周波数の前記第１サブセット以外のクロックサイクルに対して、データ通信が停止するように、デューティサイクルを実装することによって、通信されるべきデータの制御を実行する、
請求項３記載のシングル通信ファブリック。

【請求項5】

前記相互接続ネットワークは、デューティ期間の停止した通信クロックサイクルに対応するデータ損失が防止されるように、そうでなければデータ通信が停止されたデューティサイクルのクロックサイクルで送信されるはずのデータを送信側の前記相互接続ドメイン内で再循環させる、
請求項４記載のシングル通信ファブリック。

【請求項6】

前記パワーマネジメント回路は、適切な送信側の前記相互接続ドメインの動作周波数を増加させて、送信のために停止したデータの再循環をサポートし、前記データ損失から保護する、
請求項５記載のシングル通信ファブリック。

【請求項7】

前記バックフロー制御回路は、前記パワーマネジメント回路によって選択された、前記より高い動作周波数と前記より低い動作周波数との両方の値に依存して、デューティサイクルのＯＦＦサイクルに対するＯＮサイクルの相対比を決定する、
請求項４乃至６いずれか１項記載のシングル通信ファブリック。

【請求項8】

前記バックフロー制御回路は、（ｆｔ－ｆｒ）／ｆｒの比に依存して、デューティサイクル毎のＯＦＦサイクル数を決定し、
ここで、ｆｔは、送信側の前記相互接続ドメインが動作する前記より高い動作周波数であり、ｆｒは受信側の前記相互接続ドメインが動作する前記より低い動作周波数である、
請求項４乃至７いずれか１項記載のシングル通信ファブリック。

【請求項9】

前記バックフロー制御回路は、デューティサイクル比を決定するためのスロットリング回路ハードウェアを含み、前記スロットリング回路ハードウェアは、前記デューティサイクル比を近似するためのシフタを含む、
請求項８記載のシングル通信ファブリック。

【請求項10】

スロットリング回路ハードウェアは、第１入力として前記シフタの出力を受信し、第２入力として送信側の前記相互接続ドメインと受信側の前記相互接続ドメインとの間のクロックスキューのための補償を可能にするオフセット値を受信する加算器を備える、
請求項９記載のシングル通信ファブリック。

【請求項11】

前記データ処理機能ユニットの前記第１サブセット及び前記第１相互接続ドメインの両方を含む第１ダイレットを有し、
前記複数のデータ処理機能ユニットの前記第２サブセット及び前記第２相互接続ドメインの両方を有する第２ダイレットを有する、
請求項１乃至１０いずれか１項記載のシングル通信ファブリック。

【請求項12】

前記第１ダイレットは演算ダイレットであり、
前記第１相互接続ドメインは演算相互接続ドメインであり、
前記第２ダイレットは入力／出力、Ｉ／Ｏ、ダイレットであり、
前記第２相互接続ドメインはＩ／Ｏ相互接続ドメインである、
請求項１１記載のシングル通信ファブリック。

【請求項13】

前記演算相互接続ドメインは演算相互接続テレメトリ回路を有し、
前記Ｉ／Ｏ相互接続ドメインは前記演算相互接続テレメトリ回路から独立したＩ／Ｏ相互接続テレメトリ回路を有する、
請求項１２記載のシングル通信ファブリック。

【請求項14】

前記パワーマネジメント回路は、
前記演算相互接続テレメトリ回路からの入力に依存して、前記演算相互接続ドメインに要求される性能レベルを決定し、及び
前記Ｉ／Ｏ相互接続テレメトリ回路からの入力に依存して、前記Ｉ／Ｏ相互接続ドメインに要求されるパフォーマンスレベルを決定する、
のうちの少なくともいずれかである、
請求項１３記載のシングル通信ファブリック。

【請求項15】

前記パワーマネジメント回路は、少なくともそれぞれの要求された性能レベル及び１つ以上の制約に基づいて、異なる相互接続ドメインのそれぞれについて目標性能レベルを設定する、
請求項１２乃至１４いずれか１項記載のシングル通信ファブリック。

【請求項16】

前記１つ以上の制約は最小限界周波数及び最大限界周波数のうちの少なくとも１つを含む、
請求項１５記載のシングル通信ファブリック。

【請求項17】

前記Ｉ／Ｏ相互接続ドメインは複数のサブドメインを有し、
前記パワーマネジメント回路は前記複数のサブドメインのそれぞれの性能レベルを独立して制御する、
請求項１２乃至１６いずれか１項記載のシングル通信ファブリック。

【請求項18】

演算ドメインは複数のサブドメインを有し、
前記パワーマネジメント回路は各演算サブドメインの要求された性能レベルを決定する、
請求項１２乃至１６いずれか１項記載のシングル通信ファブリック。

【請求項19】

前記演算ダイレットは、分散最終レベルキャッシュを含み、
前記パワーマネジメント回路は、全ての前記演算サブドメインの目標性能レベルを、要求された性能レベルのうちの最高のものに設定する、
請求項１８記載のシングル通信ファブリック。

【請求項20】

請求項１乃至１９いずれか１項記載のシングル通信ファブリックと、
前記複数のデータ処理機能ユニットと、
を備える、システムオンチップ。

【請求項21】

請求項１から１９のいずれか１項に記載のシングル通信ファブリックと、
前記複数のデータ処理機能ユニットと、を備え、
前記複数のデータ処理機能ユニットは少なくとも２つの異なる半導体ダイ上に設けられる、
データ処理装置。

【請求項22】

機械可読媒体上に提供される機械可読命令であって、
前記命令は、シングル通信ファブリックのパワーマネジメントを実行するために処理回路によって実行され、
前記シングル通信ファブリックは、複数のデータ処理機能ユニットの間の通信を可能にする相互接続ネットワークを有し、
前記相互接続ネットワークは、前記データ処理機能ユニットの第１サブセット間のデータ通信を提供する第１相互接続ドメインと、前記データ処理機能ユニットの第２サブセット間のデータ通信を提供する第２相互接続ドメインとを有し、
前記機械可読命令は：
前記第２相互接続ドメインの第２性能レベルの制御とは独立して、前記第１相互接続ドメインの第１性能レベルを制御するためのコードであって、性能レベルは少なくとも動作周波数を含む、コードを含む、
機械可読命令。

【請求項23】

前記第１性能レベルと前記第２性能レベルとの間の任意の差に依存して、かつ、データの伝送方向に依存して、前記第１相互接続ドメインと前記第２相互接続ドメインとの間のデータの通信をスロットリングするコードを含む、
請求項２２記載の機械可読命令。

【請求項24】

シングル通信ファブリックへのパワーを制御する方法であって、
シングル通信ファブリックは、 複数のデータ処理機能ユニット間の通信を可能にする相互接続ネットワークを有し、
相互接続ネットワークは、データ処理機能ユニットの第１サブセット間のデータ通信を提供する第１相互接続ドメイン、及び、データ処理機能ユニットの第２サブセット間のデータ通信を提供する第２相互接続ドメインを有し、
前記方法は、
前記第１相互接続ドメインのための第１性能レベルを制御するステップと、
前記第２相互接続ドメインのための第２性能レベルを制御するステップと、
前記性能レベルは少なくとも動作周波数を含み、
前記第１性能レベル及び前記第２性能レベルは、同時にそれぞれの異なる動作周波数にセットされることができる、
方法。

【請求項25】

前記第１性能レベルと前記第２性能レベルとの間の任意の差に依存して、かつ、データの伝送方向に依存して、前記第１相互接続ドメインと前記第２相互接続ドメインとの間のデータの通信をスロットリングするステップであって、
スロットリングされたデータは再循環され伝送が保留される、ステップを含む、
請求項２４記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で説明する実施形態は、概して、データ処理装置における性能レベル制御の分野に関するものであり、より具体的には、データ処理装置の通信ファブリックにおける性能レベル制御の実装に関するものである。

【背景技術】

【0002】

処理プラットフォームでは、電圧及び周波数の少なくとも１つを動的にスケーリングすることによってアクティブなパワーマネジメントを実行でき、この技術は、動的電圧周波数スケーリング（ＤＶＦＳ：Ｄｙｎａｍｉｃ Ｖｏｌｔａｇｅ ａｎｄ Ｆｒｅｑｕｅｎｃｙ Ｓｃａｌｉｎｇ）として知られている。ＤＶＦＳは、プロセッサ又はその他のデータ処理機能ユニットがより高い（又はより低い）性能状態を要求する場合に実行されることがあり、ユニット使用率の変化に基づくことがある。より高い性能状態（より高い周波数状態）は、処理中の熱違反やピーク電流違反の検出など、より高い周波数の選択を緩和する他の制約または制限がない限り、しばしばＤＶＦＳコントローラによって付与される。サーバなどの処理プラットフォームは、それぞれが複数のコア、ＩＯコントローラ、メモリコントローラ、及び画像処理ユニット（ＧＰＵ）を含む複数の演算ユニットなどの複数のデータ処理機能ユニットをホストすることができるシステムオンチップ（ＳｏＣ）として提供されることがある。ＳｏＣ上のデータ処理機能ユニット間の通信は、データ通信チャネルの「ファブリック」を介して実行される。通信ファブリックには、リング、バス、又はメッシュトポロジを有することがあり、ファブリック全体で所与のパフォーマンスレベル（電圧と周波数の組み合わせ）で動作する。１つのファブリックがＳｏＣ全体にまたがることがある。データ処理機能ユニットの例は、演算ダイ、メモリダイ、入出力（ＩＯ）ダイなどを含む。

【0003】

サーバなどのデータ処理プラットフォームでは、全てのデータ処理機能ユニット間のシングル通信ファブリックとして、単一のコヒーレントサブシステムを使用することがある。このようなサーバのＤＶＦＳアルゴリズムは、ファブリックの性能レベルをグローバルに同一に設定し、性能カウンタと、ＳｏＣ全体にまたがるデータ処理機能ユニットからの制約とに基づいているため、ファブリックの動作周波数は、ファブリックの一部が適切よりも高い電圧と周波数の組み合わせで動作するように制約されるように設定されることがある。これによりパワー浪費が発生する可能性がある。さらに、ＳｏＣ上のそれぞれのデータ処理機能ユニットに対して、複数の位相ロックループ（ＰＬ）と完全統合電圧調整器（ＦＩＶＲ）を緊密に連携させると、複雑なグローバルアーキテクチャフローが発生する可能性がある。異なる周波数で動作する異なるファブリックを渡ってデータをバッファリングすると、数クロックサイクルのレイテンシが発生する可能性があり、送信中にデータが失われる可能性が高くなるため、パフォーマンスに悪影響を与える可能性がある。データ処理装置では、パワー最適化と性能最適化のバランスを取ることが難しい場合があることは認識されるであろう。最近では、サーバなどのデータ処理装置において、ファブリックの消費パワーが、主なパワー、性能及び設計上のボトルネックとなっている。

【図面の簡単な説明】

【0004】

本明細書に記載の実施形態は、添付の図面の図において限定ではなく例として図示され、同様の参照番号は同様の要素を指す。

【図1】図１は、データ処理装置用のシングル通信ファブリックであって、相互接続領域を有するシングル通信ファブリックを模式的に示す図である。

【図2】図２は、シミュレーション結果に基づいて、ワット単位のメッシュパワー及びギガヘルツ（ＧＨｚ）単位のファブリック動作周波数による活動係数のそれぞれの変動を模式的に示すグラフである。

【図3】図３は、インターコネクト境界によって接続された６つの「ダイレット」を有するサーバシステムオンチップ（ＳｏＣ）、及び、ダイレット境界に沿ってドメインに分割されたシングルファブリックを有するサーバシステムオンチップ（ＳｏＣ）の設計図を模式的に示す図である。

【図4】図４は、少なくとも２つの性能レベルドメインを有するシングルファブリックにおいて、ローカルダイのＴｘ周波数の範囲及びリモートダイのＲｘ周波数の範囲に対してデータスロットリングを実行するためのＤＣ ＯＦＦの計算値を示す表である。

【図5】図５は、異なる周波数で動作する２つの異なるファブリックドメイン間のインタフェースを提供するバックフロー制御回路の実装例を模式的に示す図である。

【図6】図６は、図４の表に示されているローカルダイとリモートダイの周波数値の同じ所定範囲について、正確に計算された値とスロットリングデューティサイクルのＤＣ ＯＦＦの近似値との違いを模式的に示した表である。

【図7】図７は、ドメイン境界の片側でファブリック動作周波数の周波数変更を実装するために、ダイ境界などのファブリックドメイン境界で実行されるシグナリングを模式的に示す信号図である。

【図8】図８は、性能レベル設定に関連付けられたデータのテレメトリが、ファブリックのドメインごとにドメイン上でどのように実行されるかを図式的に示す図である。

【図9A】図９Ａは、階層型パワーマネジメントアルゴリズムを模式的に示すフローチャートを示す図である。

【図9B】図９Ｂは、パワーマネジメントユニットの通信シーケンスを模式的に示す図である。

【図10】図１０は、複数の性能レベルドメインを有するシングル通信ファブリックのパワー制約を設定するためのユーザインタフェースの実施例を模式的に示す図である。

【発明を実施するための形態】

【0005】

本開示の例示的な実施形態には、データ処理装置におけるシングル通信ファブリックのパワーマネジメントのための方法、システム及び装置、及び機械可読命令が含まれるが、これらに限定されない。

【0006】

図１は、データ処理装置のシングル通信ファブリック１００を模式的に示す。ファブリックは、送信元（ｓｏｕｒｃｅｓ）、宛先（ｄｅｓｔｉｎａｔｉｏｎｓ）、ルーティングルール、トポロジ、及びその他のプロパティの既知のセットを有するように定義され得る。送信元と宛先は、任意のタイプのデータ処理機能ユニットにすることができる。この実施例のシングル通信ファブリックは、第１ダイ１２０と物理的に分離された第２ダイ１２０を含む。第１ダイ１１０は、コンポーネントノード１１６と、さらに８つのコンポーネントノードとを有する。コンポーネントノードの実施例は、コアエージェント、メモリコントローラ、及び入力出力エージェントを有する。９つのうちの３つのコンポーネントノード１１２，１１４，１１６は、第１ダイ１１０の周辺にあり、第２ダイ１２０とのインタフェースを形成する。第１ダイ１１０上のコンポーネントノード１１２は、ダイ境界１５０に設けられた第１相互接続１３０ａを介して第２ダイ１２０上の対応するコンポーネントノード１２２と通信する。ダイ境界１５０にはさらに２つの相互接続１３０ｂ及び１３０ｃが設けられている。この実施例では、２つのダイ１１０，１２０は同じサイズであり、各ダイ境界コンポーネントノード１１２，１１４，１１６は対応する相互接続を有するが、代替的実施例では、ダイ境界の周辺コンポーネントノードのうちの１つ又は２つ（すなわちサブセット）だけに相互接続が提供され得る。各ダイ１１０，１２０は、対応する完全統合電圧調整器（ＦＩＶＲ：Ｆｕｌｌｙ Ｉｎｔｅｇｒａｔｅｄ Ｖｏｌｔａｇｅ Ｒｅｇｕｌａｔｏｒ）１４２ａ、１４２ｂ及び位相同期ループ（ＰＬＬ：Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）１４４ａ、１４４ｂを有することができる。動作周波数がファブリック１００の全てのコンポーネントノードとデータ通信チャネル（例えばワイヤー）に対して同じになるように、ファブリック１００全体にシングルクロックソースがあり得る。ただし、ファブリックの動作周波数及び電圧をドメインごとに制御できるシングルファブリック内に異なる相互接続ドメインを作成するために個別のＰＬＬを使用し得る。ファブリックのメッシュ及びノードの動作周波数と電圧は、メッシュを介して接続されたコア及びメモリの動作周波数と電圧に関係しない場合があることに留意されたい。

【0007】

インターコネクト１３０ａ、１３０ｂ、１３０ｃは、物理的に別個の２つのダイ１１０，１２０間をそれらの境界で電気的に接続し、少なくともデータレーンとクロックレーン、及びオプションで制御レーンを提供することができる。一方のダイの送信機回路（図示されない）は、１つ以上の相互接続１３０ａ、１３０ｂ、１３０ｃを介して隣接するダイの受信機回路（図示されない）に接続し得る。シングルファブリックを介した２つのダイ間の通信は、単方向、双方向、又はその両方があり得る。（１つ以上の）送信機及び（１つ以上の）受信機は、１つ以上のダイ１１０，１２０及び／又は相互接続１３０ａ、１３０ｂ、１３０ｃに設けることができる。

【0008】

シングル通信ファブリック１００の任意のコンポーネントノードに接続してハードウェアプロセッサを形成できるエージェントの実施例は、メモリコントローラ、プロセッサ、最終レベルキャッシュ（ＬＬＣ）、キャッシュ回路、デコードユニットなどである。図１の実施例では、第１ダイ及び第２ダイ１１０，１２０は同じサイズであるが、代替的実施例では、相互接続されたダイのサイズが異なり得る。さらに、２つ以上のダイを相互接続して処理パッケージを形成し得る。シングルＳｏＣは、複数のコア及び関連するメモリなどの複数のコンポーネントを有する１つのダイを備え得るか、或いは、ＳｏＣは、図３の例に示すように、２つ以上の異なるダイを使用して多数のコンポーネントをホストし得る。本技術によるデータ処理装置は、図３のＳｏＣのような２つ以上の演算ソケットを含むことができる。データは、例えば、パケットが最初に送信元コンポーネントからファブリック上の別の場所にある宛先コンポーネントに垂直にルーティングされ得、その後水平にルーティングされ得るような、ルーティングアルゴリズムに従ってパケットを介してファブリック１００にわたって通信され得る。ファブリックの各コンポーネント１１２は、コア又はメモリコントローラ又は入力出力エージェントなどのエージェントとファブリック１００との間のインタフェースを容易にする収束／共通メッシュストップ（ＣＭＳ）に対応し得る。

【0009】

ダイ１１０，１２０は、プログラム命令を実行するための実行回路を含むことができ、最終レベルキャッシュ（ＬＬＣ）コンポーネントをさらに含むことができる。ＬＬＣは、メモリにアクセスする前に呼び出すことができる共有の最高レベルのキャッシュであり、複数の、独立してアクセス可能なコンポーネントにスライスされ得る。ＬＬＣは、図３を参照して以下に記載するように、複数のダイから形成される演算ソケット上の複数のコア間で共有することができる。

【0010】

この例では、シングル通信ファブリック１００のダイ１１０，１２０はそれぞれ、データ通信チャネルの二次元（２Ｄ）メッシュ相互接続トポロジを有する。ファブリックは、リングトポロジ又はバストポロジなどの代替的トポロジを有し得る。図１のメッシュは、データ通信チャネルのシステムワイド（ｓｙｓｔｅｍ ｗｉｄｅ）（例：ＳｏＣワイド）の相互接続グリッドを形成するハーフリングの２Ｄ配列を含むファブリックである。コンポーネントの全ての垂直な列は双方向の半環を形成し、同様に、すべての水平な行は双方向の半環を形成する。このようにして、コンポーネント１１２などのコンポーネントは、メッシュの行と列のいずれかを経由してファブリック１００の他のコンポーネントに接続でき、任意の２つのコンポーネント間の最短パスが可能になる。このようにして、リングトポロジなどの代替的ファブリックトポロジと比較して、レイテンシを低減し、帯域幅を向上させることができる。

【0011】

例えば、コンポーネントノード１１４がコアエージェント（シングルコア）に接続されたＣＭＳを有し、かつ、コンポーネントノード１２４がメモリコントローラエージェントに接続されたＣＭＳを有する場合、コアエージェントからのデータパケットは、相互接続１３０ｂを介して、コンポーネント１１６に垂直に、その後コンポーネントノード１２４に水平に、メモリコントローラエージェントにルーティングされ得る。この例では、水平ルーティングの前に垂直ルーティングが実行されるため、リターンパスは外向きパスとは異なり得る。なお、シングルダイ１１０は、演算、Ｉ／Ｏ及びメモリ制御に関する複数のエージェントを含み得る。

【0012】

プロセッサコアは、他のコアと並行して一度に１つのプログラムスレッドを実行できる独立した実行ユニットである。ダイは、プロセッサコアを構成するトランジスタ又はその他のコンポーネントが存在し得る、半導体材料（例えばシリコン）の単一の連続したピースである。マルチコアプロセッサは、単一のダイに２つ以上のプロセッサを有することもできるが、２つ以上のプロセッサを２つ以上のそれぞれのダイ上に設けることもできる。単一のファブリックが複数のダイにまたがる場合もあるが、この場合、ダイ境界は、ダイ境界を越えるコンポーネントノード１１２，１２２間のデータ通信のレイテンシを提供するように配置された相互接続機構がダイに設けられており、これはメッシュを介して同じダイ上の異なるコンポーネント間で達成可能なレイテンシに少なくとも近い。この説明では、「ダイレット（ｄｉｅｌｅｔ）」という用語は、物理的に別個の半導体ダイであることができるが、ダイ境界を越えるファブリックが、２つの別個のファブリックとしてではなく、単一のファブリックのように機能することを可能にする方法で、隣接するダイに接続されたダイであることもできる。したがって、少なくとも一部のダイはダイレットであり得る。これは、例えば、２つの異なるファブリックが、単一のパッケージ内でブリッジを介して接続されているデュアルプロセッサシステムとは対照的であり、ブリッジはポイントツーポイントの相互接続ブリッジ（ｐｏｉｎｔ－ｔｏ－ｐｏｉｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｂｒｉｄｇｅ）であり、その遅延は２つの異なるファブリックのいずれかのイントラメッシュレイテンシ（ｉｎｔｒａ－ｍｅｓｈ ｌａｔｅｎｃｙ）よりも低くなる。イントラファブリックレイテンシ（ｉｎｔｒａ－ｆａｂｒｉｃ ｌａｔｅｎｃｙ）は、物理的に別個の２つのファブリックを接続するブリッジ（又は同様のもの）を介して実現できるレイテンシと比較して非常に低くなる。ダイ境界にまたがる「単一ファブリック」がある場合、相互接続のレイテンシはイントラファブリックレイテンシと同じかそれに近いことが予想される。イントラファブリック帯域幅は、ブリッジを介したインターファブリックの帯域幅よりも高くなる可能性もあるところ、帯域幅も接続ワイヤの数に依存するが、レイテンシは依存しない。

【0013】

図２は、シミュレーション結果に基づいて、ワット単位のメッシュパワー及びギガヘルツ（ＧＨｚ）単位のファブリック動作周波数による活動係数のそれぞれの変動を模式的に示すグラフである。活動係数（Ａｃｔｉｖｉｔｙ Ｆａｃｔｏｒ）は、ＳｏＣ内のトランジスタで発生するスイッチングイベントの平均数を示し、無次元量である。三角形のデータポイントを伴う曲線２２２は、ＧＨｚの周波数 による、ワットのＩＯメッシュパワーの変動を示し、パワーについて１ＧＨｚのファブリック動作周波数に対する約３Ｗから、２ＧＨｚのファブリック動作周波数に対する約４．２Ｗまで、非線形に増加する傾向が見られる。正方形のデータ点を通る曲線２２４は、活動係数が１ＧＨｚの動作周波数で約６、２ＧＨｚで約３であるように、ファブリック動作周波数による動作係数の変化を示す。活動係数は、周波数が増加するにつれて非線形に減少することが図２に示されている。活動係数は、ファブリックの使用率を示す。

【0014】

２．２ＧＨｚの周波数でのＳＰＥＣ（ＳＰＥＣ：Ｓｔａｎｄａｒｄ Ｐｅｒｆｏｒｍａｎｃｅ Ｅｖａｌｕａｔｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ）ワークロードに対するＩＯダイ（データ処理機能ユニットの一種）内のファブリックの消費パワーは約４．８Ｗである。ＳＰＥＣワークロードは、コンピュータシステムの性能を評価するために広く使用されている。同じ周波数では、ＩＯダイ内のファブリックに対する活動係数は０．３未満である。これは、ファブリックの動作周波数を２．２ＧＨｚから８００ＭＨｚに下げることで、パワー消費を約２Ｗだけ削減できることを意味する。この同じ周波数の減少は活動係数を増加させる。ただし、８００ＭＨｚの低周波数でも、活動係数は０．８未満である。したがって、これらのシミュレーション結果によると、性能への悪影響をほとんど又はまったく受けずに２Ｗのパワーを節約することが可能である。活動係数がさらに低いワークロードでは、図２の８００ ＭＨｚ制限よりも周波数を低くすることで、２Ｗ以上のパワーを節約できる。消費パワーと活動係数は、周波数に依存するだけでなく、ワークロードにも依存する。

【0015】

図３は、相互接続境界によって接続された６つの「ダイレット」を有するサーバＳｏＣ３００の設計図を模式的に示しており、これは、イントラダイレット通信と同様のレイテンシでインターダイレット通信を可能にする。単一のダイレットは、複数のそれぞれのファブリックノードに設けられる１つ以上のコアを構成し、メモリ、ファブリックなどの「ＣＰＵシステム」の他のコンポーネントをさらに備えることができる。第１ダイレット３１０は二つのＩＯコア３１４，３１６と第１パワーマネジメントユニット３１２から構成される。第２ダイレット３２０は、ダイレット内のメッシュファブリックのそれぞれのノードにある５つのプロセッサコア（図示されていない）と、ダイレットに隣接して示されているメモリ３２８へのアクセスを提供するための、異なるノードにある少なくとも１つのメモリコントローラエージェントを備え、第２パワーマネジメントユニット３２２をさらに備える。代替的実施例では、任意の数のコアを、ファブリックのノードのさらなるエージェントとともに、第１ダイレット又は第２ダイレットなどのプロセッサ（又は演算）ダイレット上に設けることができる。第２ダイレットと同様に、この実施例では、第３ダイレット３３０、第４ダイレット３４０、第５ダイレット３５０はそれぞれ、５つのプロセッサコアとメモリコントローラエージェントを備え、各ダイレットはそれぞれ、ローカルパワーマネジメントユニット３２２，３３２，３４２，３５２を有する。４つのプロセッサダイレット３２０，３３０，３４０，３５０のそれぞれは、隣接するプロセッサダイレット又はＩＯダイレット３１０，３６０と相互接続しない、その４つの境界のいずれかにそれぞれのメモリダイレット３２８，３３８，３４８，３５８を有する。設計図の下部にある第６ダイレット３６０は、第１ダイレット３１０の鏡像であり、また、２つのＩＯコアと第６パワーマネジメントユニット３６２を備える。６つの各ダイレットには、それぞれのダイレットに設けられた関連するローカルパワーマネジメントユニット３６２を有する。

【0016】

６つのダイレットのそれぞれは、ＤＶＦＳを介して対応するダイレットのファブリックの動作周波数を動的に変更するために、１つ以上のパワーコントロールユニットによって制御され得る専用のＦＩＶＲ及びＰＬＬ（図１に示すダイと同様）を有することができる。各プロセッサダイレットは、メモリのダイレット３２８，３３８，３４８，３５８とインタフェースしないダイレットの四辺のうちの三辺にファブリック相互接続とバッファが設けられている。

【0017】

既知のサーバＳｏＣでは、個々のダイレット上でＰＬＬとＦＩＶＲが利用可能であるにもかかわらず、単一の通信ファブリックが複数の物理ダイレットにわたって分散した所与の動作周波数（ｆ）及び電圧（Ｖ）で動作する。複数の物理的ダイレットにまたがる単一の電圧と周波数（Ｖ－ｆ）ドメインが、ハードウェアアーキテクチャの依存性によって選択された。グローバルＶ－ｆは、ＳｏＣ全体にわたる複数の入力を監視するパワーマネジメントユニットに基づいて選択される。グローバル性能レベルを決定するために使用される入力の実施例は、１つ以上の性能カウンタ、ｐｅｒｆ－ｐ制限、モデル固有レジスタ（ＭＳＲ）カスタマーオーバーライド、ソケット温度制限、及びＲＡＰＬ（ＲＡＰＬ：Ｒｕｎｎｉｎｇ Ａｖｅｒａｇｅ Ｐｏｗｅｒ Ｌｉｍｉｔ）を含むことができる。目標周波数は、ＳｏＣ上の全てのプロセッサコアにわたる最大要求周波数に基づいて選択される得るが、温度やパワーなどの他の制約により、要求された目標周波数がパワーマネジメントユニットによって許可されない場合がある。ただし、ＳｏＣファブリック全体で単一のＶ－ｆで動作するということは、緊密に結合されたアーキテクチャフローを実装して、ＳｏＣの全てのダイレットにまたがってＶ－ｆを調整された方法で変更することを意味する。ファブリックパーティションにまたがって全てのＰＬＬとＦＩＶＲを緊密に調整すると、複雑なグローバルアーキテクチャフローが発生する。さらに、単一のＶ－ｆドメインは、それぞれのファブリック部分の優勢な（ｐｒｅｖａｉｌｉｎｇ）ワークロードに基づいて、ファブリックの大部分を必要以上に高いＶ－ｆで実行するように制約する可能性があり、パワー浪費と性能の低下を引き起こす。不均一なファブリックトラフィック分散で複数の異なるＶ－ｆドメインを使用することにより、ＳｏＣの最適化されたパワーと性能を得ることができる。例示的シナリオは以下を含む。

【0018】

ただし、単一の通信ファブリック上で異なる性能レベル（Ｖ－ｆ）ドメインを許すことに対する１つの阻害要因は、高い動作周波数のダイレットから低い動作周波数のダイレットにデータを通信するとき（すなわち、周波数の不一致がある場合）に発生する可能性のあるレイテンシを管理するという課題による。異なるダイレット間の動作周波数の不一致による不用意なデータ損失を防ぐというさらなる課題がある。異なるファブリックドメイン間の周波数不一致を補正する１つのオプションは、ダイレットインタフェースに非同期ＦＩＦＯ（先入れ先出し）バッファを実装することです。ただし、このような非同期ＦＩＦＯは２～３サイクルのレイテンシにつながる可能性があり、単一の共有ファブリックの性能低下の結果として許容できないほど高くなる可能性がある。非同期ＦＩＦＯとは、１つのクロックドメインからＦＩＦＯバッファにデータ値が書き込まれ、別のクロックドメインから同じＦＩＦＯバッファからデータ値が読み取られるＦＩＦＯ設計を指し、２つのクロックドメインは互いに非同期である。

【0019】

現在の技術では、単一のファブリックを２つ以上のファブリックドメインに分割でき、その性能レベル（例えば動作周波数）を独立して設定し、不一致の値に設定できる。例えば、第１ファブリックドメインは、データ処理機能ユニットの第１サブセット間のデータ通信チャネルを提供し、異なる第２ファブリックドメインは、データ処理装置のデータ処理機能ユニットの異なる第２セットを提供することができる。単一のファブリックドメインが、演算ダイ上の全てのデータ処理機能ユニットを備えることができ、別のファブリックドメインがＩＯダイ上の全てのデータ処理機能ユニットを備えることができる。或いは、異なる物理的ダイレットのデータ処理機能ユニットを同じファブリックドメインの一部としてグループ化することもできる。このマルチドメインファブリックは、レイテンシを低減しながら、ファブリックドメインの境界にわたる周波数の不一致によって発生する可能性のあるデータの不用意な損失を回避する方法で実装できる。図３のサーバＳｏＣの各ダイレット境界では、ファブリック相互接続とバッファユニット３２４に、より高い周波数で動作するダイレットからより低い周波数で動作するダイレットへの伝送のためのデータのバッファリングを可能にするバックフロー制御回路（図示されない）が提供されている。バックフロー制御回路の一例の実装を図５に模式的に示す。

【0020】

図３のＳｏＣでは、６つのダイレット３１０，３２０，３３０，３４０，３５０，３６０のそれぞれが、対応するファブリックドメインの適切な動作周波数（又は他の性能レベル）で動作するように独立して設定され得る。したがって、例えば、第５ダイレット３５０の現在のワークロードレベル（ｃｕｒｒｅｎｔ ｗｏｒｋｌｏａｄ ｌｅｖｅｌ）が第３ダイレット３３０のワークロードよりも低い場合、第５パワー制御ユニット３５２は、第５ダイレット３５０の動作周波数を第３ダイレット３３０の動作周波数よりも高く設定することができる。したがって、第５（より高い周波数の）ダイレットから第３（より低い周波数の）ダイレットまでファブリックを介してデータを伝送する場合、ファブリックＩ／Ｃ及びバッファユニット３５６のバックフロー制御回路は、伝送データフローレートを制御し、データ損失を防ぐために第５ダイレット３５０のファブリック内でデータを再循環させることによって、伝送保留中のデータ（ｄａｔａ ｐｅｎｄｉｎｇ ｔｒａｎｓｍｉｓｓｉｏｎ）をバッファする。

【0021】

図３は、６つのそれぞれのダイレット境界に一致する個別の性能レベル（Ｖｉ－ｆｉ）を有するファブリックの６つの異なる相互接続ドメインを示す。ただし、代替的配置では、ファブリックの相互接続ドメインは、単一のダイレット内に形成される場合もあれば、異なるドメインを画定するパーティションがダイレット境界と一致しない方法で２つ以上のダイレットにまたがる場合もある。異なる相互接続ドメインは、各相互接続ドメインの周波数と電圧を独立して設定するための回路が利用可能であれば、さまざまな異なる方法で形成され得る。異なるファブリックドメインは、単一のファブリックによって接続されたデータ処理機能ユニットのそれぞれの異なるサブセットにデータ通信チャネルを提供し得る。サブセットは、メッシュトポロジを有するファブリックなどのファブリックのコンポーネントノードにインストールされた１つ以上のデータ処理機能ユニットを備え得る。

【0022】

複数の異なるダイレット上に複数のコア、メモリ、ファブリック、及びＩ／Ｏを有するＳｏＣ３００は、「演算ソケット（ｃｏｍｐｕｔｅ ｓｏｃｋｅｔ）」と表記することができる。２つ以上の演算ソケットを銅線などの電気コネクタで接続して、データ処理装置を形成することができる。演算ソケット間の接続は、所与の演算ソケットの単一ファブリック内の通信チャネルと比較して、高いレイテンシが発生する可能性がある。

【0023】

図３のＳｏＣ３００の単一の通信ファブリックを流れるデータトラフィックは、６つの異なるファブリックドメインを認識しない場合がある。隣接する２つのファブリックドメインが異なる周波数で動作する場合、より高速なファブリックドメインからより低速なファブリックドメインにあまりにも高速にあまりにも多くのトラフィックを伝送することで、低速なファブリックドメインでトラフィックボトルネックが発生する可能性がある。このことは、伝送されても受信時に十分な速度で処理できないデータが失われる可能性がある。かかるデータ損失を改善するために、より高速なファブリックドメインからより低速なファブリックドメインに向かうトラフィックを制御するために、本技術（ｔｈｅ ｐｒｅｓｅｎｔ ｔｅｃｈｎｉｑｕｅ）に従って動的バックプレッシングスロットリング機構が実装されている。スロットリング機構の制御パラメータは、２つのファブリックドメイン間の周波数の差分の大きさに依存して決定される。

【0024】

２つの異なるファブリックドメインを考慮すると、１つは送信機（Ｔｘ）である「ローカルダイ」を表し、もう１つは受信機（Ｒｘ）である「リモートダイ」を表す。トラフィック損失の可能性がある興味深いケースとして、ＴｘファブリックがＲｘファブリックよりも高速に動作している場合があります。本技術によるバックフロー制御回路を使用して、伝送中のデータのスロットリング（ｔｈｒｏｔｔｌｉｎｇ）を実行し、トランザクションのＯＮ／ＯＦＦビッド（Ｎ／ＯＦＦ ｂｉｄｄｉｎｇ）を実装し、「デューティサイクル」波形に基づいてカウンタを設定する。これにより、データトランザクションはオンフェーズでビッド（ｂｉｄ）できるが、オフフェーズではビッドできない。換言すると、データパケットはＯＮフェーズではローカルダイからリモートダイに通信されるが、ＯＦＦフェーズではデータパケットの通信は許可されない。したがって：
デューティサイクル（ＤＣ）オン（ＤＣ ＯＮ）：これらのクロックサイクルでデータパケットを送信する。
デューティサイクル（ＤＣ）オフ（ＤＣ ＯＦＦ）：これらのクロックサイクルでデータパケットを送信しない。

【0025】

パケットが１サイクルでＴｘからＲｘに送信される場合（ＤＣ ＯＮ＝１）、ＤＣ ＯＦＦ、つまり、１サイクルのトラフィックを送信した後で、送信トラフィックが抑制されるサイクル数が決定される場合があります。ＤＣ ＯＮとＤＣ ＯＦＦのクロックサイクルは、ローカル（より高い周波数）ダイのクロックサイクルである。例えば、ＤＣ ＯＮが１でＤＣ ＯＦＦが２の場合、パケットを送信する時間の割合は１／３、パケットを送信しない時間の割合は２／３になる。Ｔｘ周波数とＲｘ周波数の新しい組み合わせごとに、新しいデューティサイクル値を計算することが適切であることに留意されたい。これにより、デューティサイクルの決定は非自明となる。本技術によれば、例示的な実装デューティサイクル値の決定が提供され、デューティサイクル決定の同じものの低オーバーヘッドハードウェア近似も提供される。ハードウェア近似は、図５に示すバックフロー制御回路によって実装される。

【0026】

デューティサイクル値を決定するには、ファブリックの周波数を「ｘ_{ｒａｔｉｏ}」で表すことを考慮する。一実施例では、比の単位は１００ＭＨｚの周波数を意味する。したがって、比が２０の場合、周波数は２０００ＭＨｚ、つまり等価で２ＧＨｚを意味する。

【0027】

図４の表は、「理想的な」スロットリング機構のＤＣ ＯＦＦサイクルの１０進数を示している。
ｘ_{ｒａｔｉｏＲｘ}≧ ｘ_{ｒａｔｉｏ＿Ｔｘ}の場合、パケットを不用意にドロップしないようにする必要がある（図４の表にデータクロスポイントとして示される）。これは、ＤＣ ＯＦＦを０にする必要があることを示してる。ただし、ｘ_{ｒａｔｉｏＲｘ}＜ｘ_{ｒａｔｉｏＴｘ}の場合、Ｔｘダイは、ＤＣ ＯＮ＝１サイクルごとにパケットを伝送し、その後、ＤＣ ＯＦＦサイクル数の間、伝送を停止するのが適切であり、次のように演算できる。

【数1】

【0028】

ただし、伝送のためのデータのスロットリングはクロックサイクルの全数のデータの塊でのみ実装できるため、ＤＣ ＯＦＦの小数は完全な整数に丸められる。図４は、４から３５までのｘ_{ｒａｔｉｏＴｘ}からのローカルダイのＴｘ周波数の範囲と、４から３５までのｘ_{ｒａｔｉｏＲｘ}からのリモートダイＲｘ周波数の範囲について、上記の式（１）に基づいて計算されたＤＣ ＯＦＦの値を模式的に示す表である。図４の下対角領域のテーブルエントリはすべて、Ｒｘ周波数を超えるＴｘ周波数に対応しており、左下対角の数値エントリは、最も近い整数に丸める前に式（１）から計算されたＤＣ ＯＦＦサイクルの数に対応している。Ｔｘ周波数とＲｘ周波数との間のずれが大きいほど、適切なＤＣ ＯＦＦサイクル数が多くなる。

【0029】

式（１）は、データの適切なスロットリングを実行するためにハードウェアで実装できるが、ハードウェアで除算を実装すると、演算コストが高くなる。さらに、式（１）に従ってＴｘをＲｘダイ周波数比にマッピングするために実装されるデコーダロジックは複雑になる可能性がある。さらに、式（１）をハードウェアで実装すると、ＲｘとＴｘが増加するにつれてスケーラビリティが低下する可能性がある。除算の代わりに右シフトを使用して式（１）のＤＣ ＯＦＦ計算を近似することで、より効率的でより複雑でない演算をハードウェアで実行できる。これは、シフト操作が適切な近似を提供し、除算よりも演算コストが低いため、理にかなっている。１つの実装によれば、式（１）は次の式に従って近似される。
ＤＣ ＯＦＦ＝（ｘ_{ｒａｔｉｏＴｘ}－ｘ_{ｒａｔｉｏＲｘ}）≫ｙ＋ｏｆｆｓｅｔ （２）
ここで、ｙ＝ ｆｌｏｏｒ（ｌｏｇ_２ｘ_{ｒａｔｉｏＲｘ}）である。

【0030】

図５は、式（２）のハードウェア実装を表すバックフロー制御回路を模式的に示す。図５の回路は、減算器５１０、優先エンコーダ５２０、シフタ回路ユニット５３０、加算器５４０、調停回路５５０から構成される。優先エンコーダは、２進数で「１」となる最上位ビットのインデックスを選択するデジタル回路である。たとえば、２進数の０１００１では、プライオリティエンコーダは３を出力する。したがって、ｙ＝３の場合、式（２）のＴｘ比とＲｘ比の差を右シフトして２^３による除算を行う。減算器５１０は、第１入力として６ビットのＴｘ比（ｘ_{ｒａｔｉｏＴｘ}）を受信し、その値から６ビットのＲｘ比（ｘ_{ｒａｔｉｏＲｘ}）を減算し、減算結果をシフタ回路５３０への入力として出力する。シフタ回路５３０は、ビット位置の整数ｙだけ減算結果に右シフトを実行し、シフトした差分値を加算器５４０に供給する。右シフトの大きさに対応する整数ｙは、優先エンコーダへの入力として供給される６ビットＲｘ比（ｘ_{ｒａｔｉｏＲｘ}）に依存して、優先エンコーダ５２０によって計算される。加算器５４０は、シフタ回路５３０によって出力された右シフトされた差分値に対応する第１入力を受信し、加算器への第２入力は１つ以上の値を有する８ビットオフセットである。オフセット値は、所与のソースからのクロック信号が異なる時間に異なる回路コンポーネントに到着し得る現象であるクロックスキューの補償を可能にするために提供される。クロックスキューは、ＤＣ ＯＦＦ値に１サイクルの一部を追加する可能性があり、計算されたＤＣ ＯＦＦ時間を最大１クロックサイクル増加させる可能性がある。チューニングフェーズでは、ｏｆｆｓｅｔ＝２の値を初期設定して、ＳｏＣの異なる機能ユニット（Ｓｔｏｃｋ Ｋｅｅｐｉｎｇ Ｕｎｉｔ、ＳＫＵなど）の最悪の場合のクロックスキューを考慮することができる。クロックスキューを補償するためにチューニングした後、近似が機能的に正しいようにオフセットを１に設定することができる。調停回路への２つの入力のうちの１つとして供給されるイネーブルビットは、スロットリングを無効にするのに役立ち、これは、ｘ_{ｒａｔｉｏＲｘ}≧ｘ_{ｒａｔｉｏＴｘ}の場合に適切である可能性がある。調停回路５５０への他の入力は、計算されたＤＵＴＹ ＣＹＣＬＥ ＯＦＦ値に対応する加算器５４０の出力である。イネーブルビットと同様に、一連の「チキンビットロジック（ｃｈｉｃｋｅｎ ｂｉｔ ｌｏｇｉｃ）」回路を使用して調停回路に入力を提供することができ、所与のスロットリングの実装が他の理由で、集積回路で使用されない場合に、スロットリングを無効にするために使用できる。

【0031】

バックフロー制御回路５００は、異なるファブリックドメイン間の境界で相互接続の一部として実装することができる。図３のサーバＳｏＣの例のように、ファブリックドメインがダイレット境界と一致する例では、バックフロー制御回路５００を１つ以上のファブリック相互接続及びバッファユニット３３６，３５６に設けることができる。あるいは、イントラメッシュドメイン境界に近接したファブリックのイントラメッシュ領域にバックフロー制御回路を設けることもできる。

【0032】

図 ５ のバックフロー制御回路によって提供されるファブリックバックプレッシャ機構（Ｔｈｅ ｆａｂｒｉｃ ｂａｃｋｐｒｅｓｓｕｒｅ ｍｅｃｈａｎｉｓｍ）は、式（２）及び（３）と共に、データパスでの余分なレイテンシを伴うことなくデータ損失を防止することによって、それぞれ異なる性能レベルを持つ２つ以上の異なるドメインを有する単一のファブリックの性能を強化する。さらに、提案されたバックプレッシャ機構は、最小のハードウェアロジックを使用して、隣接するドメイン間の広い範囲の周波数ミスマッチにわたって作用する。

【0033】

図６は、式（２）から導出される、図４の表に示されるローカルダイ周波数値及びリモートダイ周波数値の範囲の同じ所定の範囲についてのＤＣ ＯＦＦの値と、式（２）から導出される近似ＤＣ ＯＦＦ値との差を模式的に示す表である。図６のテーブルでは、テーブルエントリの０は完全な近似を示し（この場合、図４のテーブルＤＣ ＯＦＦ値と式３の近似が一致する）、理想的なケースである。図６の表では正の値は発生せず、良好であり、これはＤＣ ＯＦＦ値の過小評価につながり、パケットのドロップという潜在的な結果をもたらす可能性があるためである。図６のテーブルの負の値のエントリは、図５のバックフロー制御回路５００の近似ロジックが、図４に示すテーブルのより正確な計算によって厳密に必要とされるよりも高いスロットリングを予測することを示している。これにより、性能が若干低下する可能性があるが、少なくとも以下に列挙する理由により、これは許容される。

【0034】

ｉ． テーブルに負の値のエントリが表示されるほとんどの場合、リモートダイの動作が遅すぎる（図６の表を参照）。これは、実行時には可能性が低いシナリオである（例：３５のｘ_{ｒａｔｉｏＴｘ}と、９のｘ_{ｒａｔｉｏＲｘ}。可能性が高いのは、周波数の差分があまり大きくない場合である。

【0035】

ｉｉ． 差分が大きい場合でも、リモートダイの方がより遅いため、Ｔｘダイ（より速い）からＲｘダイ（より遅い）へのフローに必要なトラフィックは少なくて済むはずである。

【0036】

ｉｉｉ． 推定誤差は、小さい絶対時間値である（送信ダイの動作周波数に基づく）より高速な周波数サイクルに関するものである。たとえば、３．５ＧＨｚでの４サイクルペナルティは、０．８ＧＨｚでの１サイクルレイテンシよりも時間が短くなる。

【0037】

ｉｖ． ある程度の推定誤差があっても、すべてのＴｘ比とＲｘ比でＤＣ ＯＦＦ＝８という固定の最悪ケース値を選択するよりは優れており、性能のペナルティが比較的高くなる。

【0038】

ダイレット境界のファブリックＩ／Ｃ及びバッファユニットｓ３３６，３５６より前のデータパスは、ダイレット内のイントラメッシュパスであることが保証される。これは、２つのファブリックドメイン間の境界がダイレット境界と一致しない場合でも当てはまる。したがって、ＤＣ ＯＦＦ期間であってもデータが失われてはならない。相互接続領域のバッファがそれ以上のデータを受け入れられない場合、送信側ファブリックドメインのファブリック上のデータは単にバウンスされ、ローカルファブリックドメインに再循環される。このバウンスされたトラフィックは、ローカルファブリックドメインのファブリック使用率を高め、対応するローカルパワー制御ユニットに対して、バウンスされたデータトラフィックの再循環に対応するためにローカルファブリックドメインの周波数を増やす必要があることを、ハードウェアカウンタを通じて示す。要約すると、ファブリックドメインインタフェースのバッファがより多くのデータを受け入れることができない場合、トラフィックはバウンスされるが、本技術によれば、伝送を待機しているデータがドロップされることはない。対照的に、図５のバックフロー制御回路を使用して送信のデューティサイクルを決定する代わりに、ファブリックドメインの境界で非同期ＦＩＦＯを実装すると、ローカルファブリックドメインの動作周波数がリモートファブリックドメインの動作周波数を超える場合に許容できないレイテンシと潜在的なデータ損失につながる可能性が非常に高くなる。

【0039】

図７は、ドメイン境界の片側でファブリック動作周波数の周波数変更を実装するために、ダイ境界などのファブリックドメイン境界で実行されるシグナリングを概略的に示す信号図である。簡単にするため、図７では、低レベルの実装の詳細は２つの主要コンポーネント（パワーマネジメントユニットと相互接続インタフェース）に抽象化されている。周波数の変更は、周波数の増減である。図７の例では、第１ファブリックドメインに対応する第１パワーマネジメントユニット７１０及び第１相互接続７２０と、第２ファブリックドメインに対応する第２パワーマネジメントユニット７７０及び第２相互接続７６０と、のタイムラインの信号フローが示されている。この例では、ファブリックドメイン境界７５０は、同一のＳｏＣ上の隣接する２つのダイ間のダイ境界と一致しており、第１パワーマネジメントユニット７１０はＳｏＣのダイ０に対応し、第２パワーマネジメントユニットはＳｏＣのダイ１に対応する。ただし、他の例では、ファブリックのドメイン境界がダイ境界と一致しない場合もある。

【0040】

ボックス７１２で、第１パワーマネジメントユニット７１０は、ダイ０のファブリックドメインの動作周波数をｆ１からｆ１^＊に変更する周波数変更要求を生成し、ｆ１^＊への周波数変更を要求する信号７１３を第１相互接続７２０に送信する。周波数変更要求信号７１２に応答して、第１相互接続７２０は、（ｉ） 内部信号７２３を介してダイ１へのトラフィックを一時的にブロックし、かつ（ｉｉ） 第２相互接続７６０に信号７２５を送信して、ダイ１からの着信トラフィックを一時的にブロックする。第１相互接続７２０からの信号７２５に応答して、第２相互接続７６０は、内部信号７６３を介してダイ０への発信トラフィックのブロッキングを実装する。各方向のトラフィックがブロックされた後、２番目の相互接続７２０は、それぞれの相互接続がダイ０に実装される要求された周波数変更の準備ができていることを示す信号７１５を最初の電源管理ユニット７１０に送信する。

【0041】

次にボックス７１４で、第１パワーマネジメントユニット７１０は、ローカルＰＬＬを新しく要求された周波数ｆ１^＊に再ロックし、信号７１７を第１相互接続に送信します。周波数変更ｆ１→ｆ１^＊がダイ０に実装された後、第１相互接続７２０は図５の回路を使用してスロットリングを実装し、内部信号７２７を介して適切なデューティサイクルを決定する。スロットリングの設定がダイ０上の第１相互接続７２０でローカルに実装されると、第１相互接続７２０は第２相互接続に信号７２９を送信し、変更された周波数値ｆ１^＊をダイ１に通知する。その後、第２相互接続７６０は内部シグナリング７６５を使用して、ｆ１^＊とｆ２との間の周波数差分に基づいてスロットリングを実装する。ダイ０及びダイ１のうち送信ダイでのみスロットリングを設定する必要があると仮定できるかもしれないが、ｆ１^＊とｆ２との関係がわからない場合があるので、仮定はなされない。２つの方向のどちらかでトラフィックフローのスロットリングを設定する可能性がある場合、ダイ境界をわたる両方のダイがスロットリング用に構成され得る。相互接続の両側（すなわち、ファブリックドメイン境界）で周波数不一致（ｆ１^＊－ｆ２）に対する適切なスロットリングデューティサイクルが構成された後、第１相互接続７２０は信号７３３を第２相互接続７６０に送信し、ダイ０へのトラフィックのブロックを解除する。最終的に信号７１９でフローが完了し、ダイ０のファブリックドメインの周波数変更がファブリックドメイン境界に実装された。

【0042】

スロットリングデューティサイクルに対するこの変更のこの実装は、ダイ０のファブリック周波数の変更が影響する異なるファブリックドメイン境界の数に応じて、１つより多いファブリックドメイン境界で実行できる。図３の実施例では、Ｖ１－ｆ１への変更は、第２ダイレット３２０及び第３ダイレット３３０のそれぞれと同様の信号交換シーケンスをトリガーし得る。さらなる実施例として、Ｖ３－ｆ３への変更は、第１ダイレット３１０、第２ダイレット３２０及びダイ５ダイレット３５０のそれぞれでシグナルシーケンスをトリガーし得るが、第４ダイレット３４０はトリガーしない。
図７の信号フローによると、２つのインタフェースファブリックドメイン間のＤＶＦＳの単純化された非協調フロー（ｎｏｎ－ｃｏｏｒｄｉｎａｔｅｄ ｆｌｏｗｓ）が実現されている。つまり、一方のダイ上のファブリックが周波数を変更しても、もう一方のダイ上のファブリックも周波数を変更するようにトリガーされることはない。

【0043】

図８は、データ処理装置において、性能レベル設定に関連するデータのテレメトリが、本技術の一実施例に従って、個々のファブリックパーティション（ドメイン）単位でどのように行われるかを模式的に示している。図８は、ＩＯダイ（又はドメイン）８１０と演算ダイ（又はドメイン）８５０に細分化された（ｓｕｂ－ｄｉｖｉｄｅｄ）テレメトリシステム８００を示している。ＩＯダイ８１０は、ＩＯパワー制御ユニット８１２、ＩＯファブリックドメイン帯域幅モニタ８１４、ＩＯ帯域幅モニタ８１６を有する。演算ダイ８５０は、演算パワー制御ユニット８５２を有し、演算パワー制御ユニット８５２、演算ファブリックドメイン帯域幅モニタ８５４、ストールモニタ又は停止モニタ（ａ ｓｔａｌｌ ｍｏｎｉｔｏｒ）８５６、非アイドル状態常駐モニタ８５８を有する。

【0044】

単一のファブリック全体で単一の性能レベルを実装するシステムでは、単一のパワー制御ユニットが、ＳｏＣの少なくとも複数のダイレットからワークロード情報を受信し、その照合されたワークロード情報を使用して適切な性能レベルを決定する場合がある。この場合、１つのファブリックドメイン帯域幅モニタのみが設けられる可能性があります。対照的に、本技術によれば、異なるファブリックドメインごとに異なるファブリックドメイン帯域幅モニタを設けることができる。専用ＩＯパワー制御ユニット８１２は、ＩＯ帯域幅モニタ８１６からの情報に基づいて、ＩＯダイの性能レベルを要求する。

【0045】

演算パワー制御ユニット８５２は、ストールモニタ８５６と非アイドル状態常駐モニタ８５８を使用して優先的な（ｐｒｅｖａｉｌｉｎｇ）ワークロードを監視し、ＩＯワークロードを考慮せずに、その入力に基づいて演算ファブリックの性能レベルを要求する。非アイドル状態常駐モニタ８５８は、コアが実行中でアイドル状態でない期間をモニタリングすることができる。プロセッサの各コアは、コアまたはプロセッサの速度及び消費パワーを設定する多数の電圧－周波数ペア（Ｐステート）と、多数のアイドル状態（Ｃ ステート）のコアとを有する。プロセッサの動作電圧が低いと、パワー消費も低くなる。異なるＣステートは、ＳｏＣの、ますますより多くの（ｐｒｏｇｒｅｓｓｉｖｅｌｙ ｍｏｒｅ）コンポーネントのクロックゲーティングに対応する場合がある。周波数は電圧と連動して低下するため、周波数が低いと演算が遅くなる。パワー制御ユニット８５２は、プロセッサの使用率を定期的にモニタリングする。その使用率が特定のしきい値未満の場合、Ｐ状態が増加し得る。つまり、データ機能ユニットは次により高いパワー効率状態になり得る。理想的には、使用率は可能な限り１００％に近くする必要がある。

【0046】

図９Ａ及び９Ｂは、ファブリックＤＶＦＳのパワーマネジメントの実行方法を模式的に示す。要求される性能レベルは、それぞれのドメインの処理ワークロード及びメッシュ帯域幅のそれぞれを特定の考慮に入れるために、個別のファブリックドメインごとに独立して決定され得る。要求された性能レベルは、少なくとも１つの制約に依存してファブリックドメインの要求された性能レベルを許可するかどうかを決定するパワー制御マスターユニットによって照合され得る。制約の例には、最大総パワー制限、最小総パワー制限、最小性能レベル、熱的制約などが含まれる。代替的例では、単一のマスターパワー制御ユニットは、単一のファブリックによって接続された２つ以上のダイからテレメトリを受信し、そのテレメトリに基づいて異なる性能レベルを有するようにファブリックの異なるドメインを制御するし得る。いくつかのかかる例では、マスターパワー制御ユニットがパワー制御を行い、スレーブパワーユニットを設ける必要はない。

【0047】

本技術によれば、１つのファブリック内に２つ以上の異なるドメインを含み、異なるドメインが異なるファブリック動作周波数で同時に動作するファブリックＤＶＦＳに階層的パワーマネジメントアルゴリズムを実装することができる。階層型パワーマネジメントアルゴリズムの例を図９Ａに模式的に示す。プロセス要素９１０で、Ｐユニット（パワーマネジメントユニット）コントローラは、一連の発見的アルゴリズム（ｈｅｕｒｉｓｔｉｃ ａｌｇｏｒｉｔｈｍｓ）を適用して、ダイレットのテレメトリデータセットを処理した後に、ローカルダイレットファブリック部分（ドメイン）に必要な周波数を発見する。この周波数は、ファブリックドメインのトラフィックが大きい場合に増加し、小さい場合に減少し得る（ｖｉｃｅ ｖｅｒｓａ）。

【0048】

次に、プロセス要素９２０で、各Ｐユニットコントローラーは、ローカルテレメトリに基づいて計算された要求周波数をマスターＰユニット９５２に送信する（図９Ｂ参照）。マスターＰユニット９５２は、ｐｅｒｆ－ｐ制限、ＲＡＰＬ制限、システムのアーキテクチャなど、ユーザが適用した制限に基づいて周波数を解く又は解決する（ｒｅｓｏｌｖｅｓ）。

【0049】

プロセス要素９４０では、Ｐユニットマスター９５２によって決定された解周波数又は解決済み周波数（ｒｅｓｏｌｖｅｄ ｆｒｅｑｕｅｎｃｙ）がスレーブＰユニット９５４，９５６，９５８に通信して戻され、Ｐユニットマスター９５２から受信した解性能レベル又は解決済み性能レベル（ｒｅｓｏｌｖｅｄ ｐｅｒｆｏｒｍａｎｃｅ ｌｅｖｅｌ）に従って、決定を強制し、ローカルダイのＰＬＬが再設定される。

【0050】

一実施例の実装では、データ処理装置の独立したファブリック制御には２つのモードが使用可能である。これらのモードは、図１０に示すように、ユーザから視認可能なインタフェースから選択できる。

【0051】

モード１：レガシーモード（サーバファブリック全体が単一のドメインとして取り扱われ、同一周波数を有するようになる）

【数2】

ここで、ｆ_ｒ，ｉは、Ｎ個の異なるファブリックドメインごとに、マスターパワー制御ユニットによって解かれた又は解決された周波数である。本実施例では、グローバル周波数は、各ファブリックドメインから着信する性能レベル要求の最大周波数値として選択され得る。

【0052】

モード２：各ファブリックドメインが性能レベル設定の目的で個別のエンティティとして取り扱われる独立ファブリックＤＶＦＳモード。また、ＬＬＣがデータ処理装置に分散されている例では、同じ演算ダイ上にあるファブリックドメインについして異なる周波数を有することは不所望である可能性があることに留意されたい。ただし、ＳＮＣモードが有効でない限り。
ｆ_{ｒ，ｃｏｍｐｕｔｅ}＝ｍａｘ（ｆ_ｉ） ただし、ｉ∈演算ダイレット（Ｃｏｍｐｕｔｅ ｄｉｅｌｅｔ）
ｆ_{ｒ，ＨＳＩＯ}＝ｆ_ｊ ただし、ｊ∈ＨＳＩＯダイレット（ＨＳＩＯ ｄｉｅｌｅｔ）（両ＩＯは異なる周波数を有することができる。）

【0053】

図１０は、本技術によるマルチドメイン単一ファブリックデータ処理装置のユーザインタフェース例を模式的に図示する。ユーザインタフェースを提供して、ＳｏＣ上の異なるファブリックドメインごとに周波数（さらに電圧）をユーザが選択できるようにし得る。

【0054】

図１０に示すユーザインタフェースの例には、次４タイプの変数がある。

【0055】

ｉ． ファブリックドメイン比ステータスＮ －ファブリックドメインＮＦの現在の周波数を示す
ｉｉ． ファブリックドメイン比ＭＡＸ ＬＩＭＩＴ Ｎ －ファブリックドメインＮの周波数にこの制限を適用する
ｉｉｉ． ファブリックドメイン比ＭＩＮ ＬＩＭＩＴ Ｎ －ファブリックドメインＮの周波数にこの制限を適用する
ｉｖ． ファブリックＤＶＦＳモードの選択

【0056】

このユーザインタフェースを介して、ユーザは、たとえば、特定のファブリックドメインのＭＡＸ ＬＩＭＩＴとＭＩＮ ＬＩＭＩＴを同じに設定し、特定の要件に従ってファブリックドメインの周波数を強制的に設定できる。

【0057】

本技術によれば、不均一なファブリックのトラフィック分布下で複数のＶ－Ｆドメインを使用してより良いパワー及び性能の最適化を得ることが可能である。実装シナリオの例は次のようなものを含む：

【0058】

－ 高速ＩＯ（Ｈｉｇｈ Ｓｐｅｅｄ ＩＯ：ＨＳＩＯ）のＤＶＦＳでのタイルファブリックの分解
－ 複数ソケットレベルのクラスタ構成
－ メインコアダイファブリックと同じ周波数で動作できないコンパニオンダイファブリック
－ サブＮＵＭＡ（不均一メモリアクセス：Ｎｏｎ Ｕｎｉｆｏｒｍ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ） クラスタリングモード
－ ピアツーピア（Ｐｅｅｒ－ｐｅｅｒ）コンパニオンファブリックの最適化

【0059】

ただし、２つ（又は複数）の異なるファブリックが単一のパッケージ内のブリッジ（パス相互接続）を介して接続されているデュアル（又はマルチ）プロセッサシステムもある。例えば、図３に図示するタイプの２つの演算ソケットを接続して、データ処理装置を形成することができる。トポロジ的には、かかるデュアルプロセッサシステムは、表面的には２つのファブリックドメインに分割された１つのファブリックのように見えるかもしれない。しかしながら、ブリッジによって接続された２つの独立したファブリックは、単一の大きなファブリックと比較して性能が非常に低くなる。これは、ブリッジのレイテンシが固有の（ｎａｔｉｖｅ）ファブリックレイテンシと一致しないためです。単一のファブリックの性能に対する要求は、ファブリックのベースラインパフォーマンスに影響を与えることなく、ファブリックのＰｎＰ（パワー及び性能：Ｐｏｗｅｒ ａｎｄ Ｐｅｒｆｏｒｍａｎｃｅ）の最適化を可能にするメカニズムを必要する。本技術の例は、この分割を可能にする機構に起因する顕著なレイテンシを発生させることなく、単一の大きなファブリックを複数のＶ／Ｆドメインに分割することを含む。実装例では、単一のファブリック内の複数のＶ／Ｆドメインに対して、０又は少なくとも非常に低い追加レイテンシを実現できる。

【0060】

非同期ＦＩＦＯなどの単純なバックプレッシャ機構は原理的にはファブリックドメイン間で使用されることができ、２つのファブリックドメインが非対称周波数で動作している場合に損失のないデータ伝送を提供することができる。しかしながら、これによりデータパスに２～３サイクルのレイテンシが発生する可能性が高く、単一の共有ファブリック性能では許容されないことがよくある。対照的に、周波数ミスマッチ量に基づいてデューティサイクルを実装する本技術によるファブリックバックプレッシャ機構は、非現実的な余分なレイテンシを生じさせず、したがってファブリック分割の実行可能な実装を容易にする。さらに、このバックプレッシャ機構の近似が提供され、単一ファブリックの２つの異なるファブリックドメイン間の広範囲の周波数ミスマッチに対応しながら、最小限のハードウェアロジックを使用しする。

【0061】

この明細書において、「Ａ又はＢのうちの少なくとも１つ」及び「Ａ及びＢのうちの少なくとも１つ」 とは、Ａ、Ｂ等の記載項目のうち、任意の全ての順列において、複数の項目が、連帯して取り出されたいずれか１つ以上を意味するものと解釈されるべきである。

【0062】

機能ユニットが回路として記述されている場合、回路は、指定された処理機能を実行するためにプログラムコードによって構成された汎用プロセッサ回路であり得る。回路は、処理ハードウェアを変更して構成され得る。指定された機能を実行するための回路の構成は、完全にハードウェアで、完全にソフトウェアで、又はハードウェアの変更及びソフトウェアの実行の組み合わせを使用して行うことができる。プログラム命令を使用して、汎用又は特殊用途のプロセッサ回路の論理ゲートを構成し、処理機能を実行することができる。

【0063】

回路は、例えば、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、抵抗器、コンデンサ、インダクタなど）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどを含むハードウェア回路として実装することができる。

【0064】

プロセッサは、汎用プロセッサ、コンピュータネットワークを介して通信されるデータを処理するネットワークプロセッサ、又は縮小命令セットコンピュータＲＩＳＣ又は複合命令セットコンピュータＣＩＳＣを含む他のタイプのプロセッサを含むことができる。プロセッサは、シングルコア又はマルチコア設計を有し得る。複数のコアプロセッサは、同じ集積回路ダイ上に異なるプロセッサコアタイプを統合することができる。データ処理装置は、サーバＳｏＣのようなＳｏＣである場合もあれば、別の種類の集積回路で構成される場合もある。

【0065】

機械可読プログラム命令は、伝送媒体などの一時的な媒体で提供されることもあれば、記憶媒体などの一時的でない媒体で提供されることもある。かかる機械可読な命令（コンピュータプログラムコード）は、高レベル手続き型プログラミング言語やオブジェクト指向プログラミング言語で実装することができる。ただし、必要に応じて、（１つ以上の）プログラムをアセンブリ言語又は機械語で実装することができる。いずれの場合も、言語はコンパイル言語又はインタプリタ言語であり、ハードウェア実装と組み合わせることができる。

【0066】

本発明の実施形態は、あらゆるタイプの半導体集積回路（「ＩＣ」）チップでの使用に適用できる。これらのＩＣチップの例としては、プロセッサ、コントローラ、チップセットコンポーネント、プログラマブルロジックアレイ（ＰＬＡ）、メモリチップ、ネットワークチップなどがあるが、これらに限定されない。いくつかの実施形態では、ここに記載されているコンポーネントの１つ以上をシステムオンチップ（ＳＯＣ）デバイスとして具体化することができる。ＳＯＣには、たとえば、１つ以上の中央処理装置（ＣＰＵ）コア、１つ以上のグラフィックス処理装置（ＧＰＵ）コア、入出力インタフェース、及びメモリコントローラが含まれ得る。いくつかの実施形態では、ＳＯＣとそのコンポーネントは、例えば１つの半導体デバイスにパッケージされた１つ以上の集積回路ダイ上に提供される。

【0067】

実施例
以下の実施例は、さらなる実施形態に関係する。第１実施例は、データ処理装置のためのシングル通信ファブリックを提供し、シングル通信ファブリックは：
複数のデータ処理機能ユニット間のデータ通信チャネルのトポロジを提供する相互接続ネットワークであって、相互接続ネットワークは、データ処理機能ユニットの第１サブセット間のデータ通信を提供する第１相互接続ドメイン、及び、データ処理機能ユニットの第２サブセット間のデータ通信を提供する第２相互接続ドメインを有する、相互接続機能ネットワークと；
第２相互接続ドメインの第２性能レベルの制御とは独立して、第１相互接続ドメインの第１性能レベルを制御するパワーマネジメント回路と；
を備える。

【0068】

実施例２は、実施例１又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、所与の性能レベルは、少なくとも１つの動作周波数によって特徴づけられ、第１性能レベル及び第２性能レベルは、パワーマネジメント回路によって設定されて、それぞれの異なる動作周波数で動作する。

【0069】

実施例３は、実施例２又は本明細書の他の任意の実施例の集積回路であり得、第１相互接続ドメイン及び第２相互接続ドメインのうちで、異なる動作周波数のうちのより高い周波数に設定された一方から、第１相互接続ドメイン及び第２相互接続ドメインのうちで、異なる動作周波数のうちのより低い動作周波数に設定された他方へのデータの通信をスロットリングするバックフロー制御回路を備える。

【0070】

実施例４は、実施例３又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、バックフロー制御回路は、より高い動作周波数とより低い動作周波数との間の差、及び、第１相互接続ドメインと第２相互接続との間の伝送方向の両方に依存して、第１相互接続ドメインと第２相互接続ドメインとの間で通信されるべきデータの制御を実行する。

【0071】

実施例５は、実施例４又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、バックフロー制御回路は、第１相互接続ドメインと第２相互接続ドメインと間の伝送方向がより高い動作周波数ドメインからより低い動作周波数ドメインに向かう場合、通信されるべきデータの通信をスロットリングするものである。

【0072】

実施例６は、実施例５又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、バックフロー制御回路は、ＯＮサイクルで示されるデューティサイクル内のより高い動作周波数のクロックサイクルの所定の第１サブセットに対して、第１相互接続ドメインと第２相互接続ドメインとの間のデータ通信が許可され、かつ、ＯＦＦサイクルで示されるデューティサイクル内のより高い動作周波数のクロックサイクルの第１サブセット以外のクロックサイクルに対して、データ通信が停止する又はストールする（ｓｔａｌｌｅｄ）ように、デューティサイクルを実装することによって、通信されるべきデータの制御を実行する。

【0073】

実施例７は、実施例６又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、相互接続ネットワークは、デューティ期間の、停止した通信クロックサイクルに対応するデータ損失が防止されるように、そうでなければデータ通信が停止されたデューティサイクルのクロックサイクルで送信されるデータを送信側の相互接続ドメイン（ｔｈｅ ｔｒａｎｓｍｉｔｔｉｎｇ ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ ｄｏｍａｉｎ）内で再循環させる。

【0074】

実施例８は、実施例１又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、パワーマネジメント回路は、適切な（ｗｈｅｒｅ ａｐｐｒｏｐｒｉａｔｅ）送信側の相互接続ドメインの動作周波数を増加させて、送信のために停止したデータの再循環をサポートし、データ損失から保護する。

【0075】

実施例９は、実施例６若しくは７又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、バックフロー制御回路は、パワーマネジメント回路によって選択された、より高い動作周波数とより低い動作周波数との両方の値に依存して、デューティサイクルのＯＦＦサイクルに対するＯＡサイクルの相対比を決定する。

【0076】

実施例１０は、実施例８又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、バックフロー制御回路は、（ｆｔ－ｆｒ）／ｆｒの比に依存して、デューティサイクル毎のＯＦＦサイクル数を決定し、ここで、ｆｔは送信側の相互接続ドメインが動作するより高い動作周波数であり、ｆｒは受信側の相互接続ドメインが動作するより低い動作周波数である。

【0077】

実施例１１は、実施例９又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、バックフロー制御回路は、デューティサイクル比を決定するためのスロットリング回路ハードウェアを含み、スロットリング回路ハードウェアは、デューティサイクル比を近似する（ａｐｐｒｏｘｉｍａｔｅ）ためのシフタを含む。

【0078】

実施例１２は、実施例１０又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、スロットリング回路ハードウェアは、第１入力としてシフタの出力を受信し、第２入力として送信側の相互接続ドメインと受信側の相互接続ドメインとの間のクロックスキューのための補償を可能にするオフセット値を受信する加算器を備える。

【0079】

実施例１３は、実施例１１又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、オフセット値は、スロットリング回路ハードウェアをスロットリングしてクロックスキューを補償するための第１値に設定可能であり、オフセット値は、機能上の正確さのための、異なる第２値に設定可能である。

【0080】

実施例１４は、実施例１０乃至１２のいずれか又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、スロットリング回路ハードウェアは、受信側の相互接続ドメインが、パワーマネジメント回路によって送信側の相互接続ドメイン以上の周波数で動作するように設定されると、スロットリングを無効にするイネーブルビットを含む。

【0081】

実施例１５は、実施例１乃至１４のいずれか又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、パワーマネジメント回路は、相互接続ネットワークのパワーをグローバルに管理するマスタパワーマネジメントユニットを備える。

【0082】

実施例１６は、実施例１乃至１５のいずれか又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、データ処理機能ユニットの第１サブセット及び第１相互接続ドメインの両方を含む第１ダイレットを有し、複数のデータ処理機能ユニットの第２サブセット及び第２相互接続ドメインの両方を有する第２ダイレットを有する。

【0083】

実施例１７は、実施例１６又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、第１ダイレットは演算ダイレットであり、第１相互接続ドメインは演算相互接続ドメインであり、第２ダイレットは入力／出力、Ｉ／Ｏ、ダイレットであり、第２相互接続ドメインはＩ／Ｏ相互接続ドメインである。

【0084】

実施例１８は、実施例１７又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、演算相互接続ドメインは演算相互接続テレメトリ回路を有し、Ｉ／Ｏ相互接続ドメインは演算相互接続テレメトリ回路から独立したＩ／Ｏ相互接続テレメトリ回路を有する。

【0085】

実施例１９は、実施例１８又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、前記パワーマネジメント回路は、以下の少なくとも１つである：演算相互接続テレメトリ回路からの入力に依存して、演算相互接続ドメインに要求される性能レベルを決定するもの、及びＩ／Ｏ相互接続テレメトリ回路からの入力に依存して、Ｉ／Ｏ相互接続ドメインに要求されるパフォーマンスレベルを決定するもの。

【0086】

実施例２０は、実施例１９又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、パワーマネジメント回路は、少なくともそれぞれの要求された性能レベル及び１つ以上の制約に基づいて、異なる相互接続ドメインのそれぞれについて目標性能レベルを設定するものである。

【0087】

実施例２１は、実施例２０又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、１つ以上の制約は最小限界周波数及び最大限界周波数のうちの少なくとも１つを含む。

【0088】

実施例２２は、実施例２０又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、Ｉ／Ｏ相互接続ドメインは複数のサブドメインを有し、パワーマネジメント回路は複数のサブドメインのそれぞれの性能レベルを独立して制御する。

【0089】

実施例２３は、実施例２０乃至２２のいずれか又は本明細書の任意の他の実施例のシングル通信ファブリックであり得、演算ドメインは複数のサブドメインを有し、パワーマネジメント回路は各演算サブドメインの要求された性能レベルを決定する。

【0090】

実施例２４は、実施例２３又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、演算ダイレットは、分散最終レベルキャッシュを含み、パワーマネジメント回路は、全ての演算サブドメインの目標性能レベルを、要求された性能レベルのうちの最高のものに設定する、

【0091】

実施例２５は集積回路であり得、実施例１乃至１９のいずれかのシングル通信ファブリックと、複数のデータ処理機能ユニットと、を有する。

【0092】

実施例２６はデータ処理装置であり得、実施例１又は本明細書の他の任意の実施例のシングル通信ファブリックと、複数のデータ処理機能ユニットと、を備え、複数のデータ処理機能ユニットは少なくとも２つの異なる半導体ダイ上に設けられている。プロセッサパッケージは、サーバであり得る。

【0093】

実施例２７は、シングル通信ファブリックのパワーマネジメントを実行するためのハードウェア処理回路によって実行される機械可読命令を提供し、シングル通信ファブリックは、複数のデータ処理機能ユニット間の通信を可能にする相互接続ネットワークを有し、相互接続ネットワークは、データ処理機能ユニットの第１サブセット間のデータ通信を提供する第１相互接続ドメインと、データ処理機能ユニットの第２サブセット間のデータ通信を提供する第２相互接続ドメインとを有し、機械可読命令は：第２相互接続ドメインの第２性能レベルの制御とは独立して、第１相互接続ドメインの第１性能レベルを制御するためのコードであって、性能レベルは少なくとも動作周波数を含む、コードを含む。

【0094】

実施例２８は、実施例２７又は本明細書の他の任意の実施例の機械可読命令でもあり得、第１性能レベルと第２性能レベルとの間の任意の差に依存して、かつ、データの伝送方向に依存して、第１相互接続ドメインと第２相互接続ドメインとの間のデータの通信をスロットリングするコードを含む。

【0095】

実施例２９は、シングル通信ファブリックへのパワーを制御する方法であって、シングル通信ファブリックは、複数のデータ処理機能ユニット間の通信を可能にする相互接続ネットワークを有し、相互接続ネットワークは、データ処理機能ユニットの第１サブセット間のデータ通信を提供する第１相互接続ドメイン、及び、データ処理機能ユニットの第２サブセット間のデータ通信を提供する第２相互接続ドメインを有し、方法は：第１相互接続ドメインのための第１性能レベルを制御するステップと、第２相互接続ドメインのための第２性能レベルを制御するステップと、を含み、性能レベルは少なくとも動作周波数を含み、第１性能レベル及び第２性能レベルは、同時にそれぞれの異なる動作周波数にセットされることができる。

【0096】

実施例３０は、実施例２９又は本明細書の他の任意の実施例の方法であり得、第１性能レベルと第２性能レベルとの間の任意の差に依存して、かつ、データの伝送方向に依存して、第１相互接続ドメインと第２相互接続ドメインとの間のデータの通信をスロットリングするステップであって、スロットリングされたデータは再循環され伝送が保留される、ステップを含む。

【0097】

実施例３１は、データ処理装置のためのシングル通信ファブリックであって、シングル通信ファブリックは：複数のデータ処理機能ユニット間のデータ通信チャネルのトポロジを提供する手段であって、相互接続ネットワークは、データ処理機能ユニットの第１サブセット間のデータ通信を提供する第１相互接続ドメイン、及び、データ処理機能ユニットの第２サブセット間のデータ通信を提供する第２相互接続ドメインを有する、手段と；前記第２相互接続ドメインの第２性能レベルの制御とは独立して、前記第１相互接続ドメインの第１性能レベルを制御するパワーマネジメントする手段と；を備える。

【0098】

実施例３２は、実施例３１又は本明細書の他の任意の実施例のシングル通信ファブリックであり得、第１性能レベルと前記第２性能レベルとの間の任意の差に依存して、かつ、データの伝送方向に依存して、第１相互接続ドメインと第２相互接続ドメインとの間のデータの通信をスロットリングする手段であって、スロットリングされたデータは再循環され伝送が保留される、手段を備える。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【国際調査報告】