特許 7523464 割り当て可能なＩ／Ｏドメインおよびコヒーレントドメインを有する周辺Ｉ／Ｏデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-18

(45)【発行日】2024-07-26

(54)【発明の名称】割り当て可能なＩ／Ｏドメインおよびコヒーレントドメインを有する周辺Ｉ／Ｏデバイス

(51)【国際特許分類】

   G06F 13/12 20060101AFI20240719BHJP

   G06F 13/10 20060101ALI20240719BHJP

【ＦＩ】

G06F13/12 340D

G06F13/10 310B

G06F13/10 330C

【請求項の数】 15

(21)【出願番号】P 2021559882

(86)(22)【出願日】2020-04-08

(65)【公表番号】

(43)【公表日】2022-05-30

(86)【国際出願番号】 US2020027229

(87)【国際公開番号】W WO2020210330

(87)【国際公開日】2020-10-15

【審査請求日】2023-03-08

(31)【優先権主張番号】16/380,860

(32)【優先日】2019-04-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】591025439

【氏名又は名称】ザイリンクス インコーポレイテッド

【氏名又は名称原語表記】ＸＩＬＩＮＸ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ダスティダール，ジャディブ

(72)【発明者】

【氏名】アーマド，サグヒーア

(72)【発明者】

【氏名】スウォーブリック，イアン・エイ

【審査官】田中 啓介

(56)【参考文献】

【文献】米国特許出願公開第２０１０／０２２８９４３（ＵＳ，Ａ１）

【文献】国際公開第２００９／０２５３８１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ９／３８

Ｇ０６Ｆ９／４５５－９／５４

Ｇ０６Ｆ１２／０８－１２／１２８

Ｇ０６Ｆ１３／１０－１３／１４

Ｇ０６Ｆ１３／３８－１３／４２

(57)【特許請求の範囲】

【請求項1】

周辺Ｉ／Ｏデバイスであって、
複数の計算リソースと、
当該周辺Ｉ／Ｏデバイスをホストに通信可能に結合させるように構成されたハイブリッドゲートウェイと
を備えており、
前記ハイブリッドゲートウェイは、
前記ホストが前記複数の計算リソースのうちのＩ／Ｏドメインに割り当てられた第１のサブセットと通信することを可能にするように構成されたＩ／Ｏハードウェアと、
前記ホストが前記複数の計算リソースのうちのコヒーレントドメインに割り当てられた第２のサブセットと通信することを可能にするように構成されたコヒーレントハードウェアと
を備え、
前記第２のサブセットは、前記ホスト内の計算リソースと前記コヒーレントドメインを共有する、周辺Ｉ／Ｏデバイス。

【請求項2】

前記複数の計算リソースは、プログラマブル論理（ＰＬ）アレイを含み、前記ＰＬアレイ内の第１の複数のＰＬブロックが、前記Ｉ／Ｏドメインに割り当てられ、前記ＰＬアレイ内の第２の複数のＰＬブロックが、前記コヒーレントドメインに割り当てられる、請求項１に記載の周辺Ｉ／Ｏデバイス。

【請求項3】

前記複数の計算リソースは、複数のメモリブロックを含み、前記複数のメモリブロックのうちの第１のサブセットが、前記Ｉ／Ｏドメインに割り当てられ、前記複数のメモリブロックのうちの第２のサブセットが、前記コヒーレントドメインに割り当てられ、前記複数のメモリブロックのうちの前記第１のサブセットは、前記第１の複数のＰＬブロックと通信できるが、前記第２の複数のＰＬブロックとは通信できず、前記複数のメモリブロックのうちの前記第２のサブセットは、前記第２の複数のＰＬブロックと通信できるが、前記第１の複数のＰＬブロックとは通信できない、請求項２に記載の周辺Ｉ／Ｏデバイス。

【請求項4】

前記Ｉ／Ｏハードウェアは、前記ホストから受信したデータ内のＩ／Ｏデータトラフィックを識別するように構成されたＩ／Ｏ相互接続層を備え、
前記コヒーレントハードウェアは、
前記ホストから受信したデータ内のコヒーレントデータトラフィックを識別し、前記コヒーレントデータトラフィックをＰＣＩプロトコルからコヒーレント相互接続プロトコルに変換するように構成されたコヒーレント相互接続層と、
前記コヒーレント相互接続層に結合し、前記コヒーレントデータトラフィックを前記コヒーレント相互接続プロトコルから命令セットアーキテクチャ（ＩＳＡ）固有相互接続プロトコルへと変換するように構成されたコヒーレンシ処理エンジンと
を備える、請求項１に記載の周辺Ｉ／Ｏデバイス。

【請求項5】

前記コヒーレンシ処理エンジンは、
複数のコヒーレント相互接続層に結合し、前記コヒーレントデータトラフィックを前記コヒーレント相互接続プロトコルから前記ＩＳＡ固有相互接続プロトコルへと変換する複数のブリッジと、
前記複数のブリッジおよび前記複数の計算リソースのうちの前記第２のサブセットに結合したメッシュと
を備える、請求項４に記載の周辺Ｉ／Ｏデバイス。

【請求項6】

前記Ｉ／Ｏハードウェアは、前記Ｉ／Ｏ相互接続層に結合したダイレクトメモリアクセス（ＤＭＡ）エンジンを備える、請求項４に記載の周辺Ｉ／Ｏデバイス。

【請求項7】

前記ハイブリッドゲートウェイは、前記Ｉ／Ｏハードウェアおよび前記コヒーレントハードウェアに通信可能に結合したゲートウェイネットワークオンチップ（ＮｏＣ）を備える、請求項１に記載の周辺Ｉ／Ｏデバイス。

【請求項8】

前記複数の計算リソースのうちの前記第１および第２のサブセットに結合したＮｏＣ
をさらに備え、
前記ＮｏＣは、前記ＮｏＣを通って流れるＩ／Ｏデータトラフィックが前記ＮｏＣを通って流れるコヒーレントデータトラフィックとは異なって取り扱われるように構成可能である、請求項１に記載の周辺Ｉ／Ｏデバイス。

【請求項9】

前記ＮｏＣは、前記Ｉ／Ｏデータトラフィックについて前記コヒーレントデータトラフィックと比べて（ｉ）異なるサービス品質（ＱｏＳ）、（ｉｉ）レイテンシ、および（ｉｉｉ）帯域幅のうちの少なくとも１つを提供するように構成可能である、請求項８に記載の周辺Ｉ／Ｏデバイス。

【請求項10】

周辺Ｉ／Ｏデバイス内の第１の量の計算リソースをＩ／Ｏドメインに割り当てる指示を受信するステップと、
前記周辺Ｉ／Ｏデバイス内の第２の量の計算リソースをコヒーレントドメインに割り当てる指示を受信するステップと、
前記Ｉ／Ｏドメインおよび前記コヒーレントドメインを含むように前記周辺Ｉ／Ｏデバイスを構成するステップと、
前記Ｉ／Ｏドメインおよび前記コヒーレントドメインを並行して使用して前記周辺Ｉ／Ｏデバイスを動作させるステップと
を含んでおり、
前記周辺Ｉ／Ｏデバイスは、ホストが前記Ｉ／Ｏドメイン内および前記コヒーレントドメイン内の前記計算リソースと通信することを可能にするハイブリッドゲートウェイを含み、前記第２の量の計算リソースは、前記ホスト内の計算リソースと前記コヒーレントドメインを共有する、方法。

【請求項11】

前記周辺Ｉ／Ｏデバイスは、プログラマブル論理（ＰＬ）アレイおよび複数のメモリブロックを備え、
前記周辺Ｉ／Ｏデバイスを構成するステップは、
前記ＰＬアレイ内の第１の複数のＰＬブロックを前記Ｉ／Ｏドメインに割り当て、前記ＰＬアレイ内の第２の複数のＰＬブロックを前記コヒーレントドメインに割り当てるステップと、
前記複数のメモリブロックのうちの第１のサブセットを前記Ｉ／Ｏドメインに割り当て、前記複数のメモリブロックのうちの第２のサブセットを前記コヒーレントドメインに割り当てるステップと
を含み、
前記複数のメモリブロックのうちの前記第１のサブセットは、前記第１の複数のＰＬブロックと通信できるが、前記第２の複数のＰＬブロックとは通信できず、前記複数のメモリブロックのうちの前記第２のサブセットは、前記第２の複数のＰＬブロックと通信できるが、前記第１の複数のＰＬブロックとは通信できない、請求項１０に記載の方法。

【請求項12】

前記周辺Ｉ／Ｏデバイスを動作させるステップは、
Ｉ／Ｏデータトラフィックおよびコヒーレントデータトラフィックの両方を含むデータをホストから受信するステップと、
前記ハイブリッドゲートウェイを使用して、前記ホストから受信した前記データ内の前記コヒーレントデータトラフィックを識別するステップと、
前記コヒーレントデータトラフィックをＰＣＩプロトコルからコヒーレント相互接続プロトコルへと変換するステップと、
前記コヒーレントデータトラフィックを前記コヒーレント相互接続プロトコルから命令セットアーキテクチャ（ＩＳＡ）固有相互接続プロトコルへと変換するステップと、
前記コヒーレントデータトラフィックを前記第２の量の計算リソースに転送するステップと、
前記ハイブリッドゲートウェイを使用して、前記ホストから受信した前記データ内の前記Ｉ／Ｏデータトラフィックを識別するステップと、
前記Ｉ／ＯデータトラフィックをＤＭＡエンジンに転送するステップと
を含む、請求項１０に記載の方法。

【請求項13】

前記周辺Ｉ／Ｏデバイスを構成するステップは、
ＮｏＣに対応するパラメータを、前記ＮｏＣを横切るときにＩ／Ｏデータトラフィックがコヒーレントデータトラフィックとは異なって取り扱われるように設定するステップ
を含む、請求項１０に記載の方法。

【請求項14】

前記Ｉ／Ｏドメインおよび前記コヒーレントドメインを並行して使用して前記周辺Ｉ／Ｏデバイスを動作させるステップの後に、
前記周辺Ｉ／Ｏデバイス内の前記第１の量とは異なる第３の量の計算リソースを前記Ｉ／Ｏドメインに割り当てる指示を受信するステップと、
前記周辺Ｉ／Ｏデバイス内の前記第２の量とは異なる第４の量の計算リソースを前記コヒーレントドメインに割り当てる指示を受信するステップと、
前記Ｉ／Ｏドメインが前記第３の量を有し、前記コヒーレントドメインが前記第４の量を有するように、前記周辺Ｉ／Ｏデバイスを構成変更するステップと
をさらに含む、請求項１０に記載の方法。

【請求項15】

システムオンチップ（ＳｏＣ）であって、
複数のＰＬブロックを備えるＰＬアレイと、
当該ＳｏＣをホストに通信可能に結合させるように構成されたハイブリッドゲートウェイと
を備えており、
前記ハイブリッドゲートウェイは、
前記ホストが前記複数のＰＬブロックのうちのＩ／Ｏドメインに割り当てられた第１のサブセットへとＩ／Ｏデータトラフィックを送信することを可能にするように構成されたＩ／Ｏハードウェアと、
前記ホストが前記複数のＰＬブロックのうちのコヒーレントドメインに割り当てられた第２のサブセットへとコヒーレントデータトラフィックを送信することを可能にするように構成されたコヒーレントハードウェアと
を備え、
前記第１および第２のサブセットは、相互に排他的であり、
前記第２のサブセットは、前記ホスト内の計算リソースと前記コヒーレントドメインを共有する、システムオンチップ（ＳｏＣ）。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本開示の例は、一般に、Ｉ／Ｏドメインとコヒーレントドメインの両方をサポートするためのハイブリッドゲートウェイを有する周辺デバイスに関する。

【背景技術】

【0002】

背景技術
従来のＩ／Ｏモデルにおいて、ホストコンピューティングシステムは、周辺Ｉ／Ｏデバイスに固有のカスタムＩ／Ｏデバイスドライバを使用して、アクセラレータタスクまたは機能を実行するときに周辺Ｉ／Ｏデバイスとインターフェースする。複数のＩ／Ｏデバイスまたは同じＩ／Ｏデバイスの複数のインスタンスを有することは、ホストが複数のＩ／Ｏデバイスドライバまたは同じＩ／Ｏデバイスドライバの複数の実行コピーとインターフェースすることを意味する。これは、Ｉ／Ｏデバイスドライバが通常は周辺Ｉ／Ｏデバイスを供給するベンダによって開発されるが、ホストコンピューティングシステム内のすべてのソフトウェアおよびハードウェアと統合されなければならないがゆえに、セキュリティおよび信頼性の問題をもたらす可能性がある。

【0003】

一方で、ハードウェアキャッシュコヒーレント共有メモリマルチプロセッサパラダイムは、マルチプロセッサＣＰＵ上の実行タスクまたは機能におけるインターフェースの一般的な命令セットアーキテクチャ（ＩＳＡ）に依存しないモデルを活用する。インターフェースの一般的なＩＳＡ非依存（例えば、Ｃコード）モデルは、処理ユニットの数およびそれらの処理ユニットにとって利用可能な共有メモリの量の両方に関してスケーリングされる。従来において、周辺Ｉ／Ｏデバイスは、ホストコンピューティングシステム上で実行されるＣＰＵによって使用されるコヒーレントパラダイムの恩恵を受けることが不可能であった。

【発明の概要】

【課題を解決するための手段】

【0004】

発明の概要
周辺デバイスにおいてＩ／Ｏドメインおよびコヒーレントドメインを確立するための技術が説明される。一例は、複数の計算リソースを含んでいる周辺Ｉ／Ｏデバイスであって、周辺Ｉ／Ｏデバイスをホストに通信可能に結合させるように構成されたハイブリッドゲートウェイを含む周辺Ｉ／Ｏデバイスである。このゲートウェイは、ホストが複数の計算リソースのうちのＩ／Ｏドメインに割り当てられた第１のサブセットと通信することを可能にするように構成されたＩ／Ｏハードウェアと、ホストが複数の計算リソースのうちのコヒーレントドメインに割り当てられた第２のサブセットと通信することを可能にするように構成されたコヒーレントハードウェアとを含み、第２のサブセットは、ホスト内の計算リソースとコヒーレントドメインを共有する。

【0005】

いくつかの実施形態において、複数の計算リソースは、プログラマブル論理（ＰＬ）アレイを含み、ＰＬアレイ内の第１の複数のＰＬブロックが、Ｉ／Ｏドメインに割り当てられ、ＰＬアレイ内の第２の複数のＰＬブロックが、コヒーレントドメインに割り当てられる。

【0006】

いくつかの実施形態において、複数の計算リソースは、複数のメモリブロックを含み、複数のメモリブロックのうちの第１のサブセットが、Ｉ／Ｏドメインに割り当てられ、複数のメモリブロックのうちの第２のサブセットが、コヒーレントドメインに割り当てられ、複数のメモリブロックのうちの第１のサブセットは、第１の複数のＰＬブロックと通信できるが、第２の複数のＰＬブロックとは通信できず、複数のメモリブロックのうちの第２のサブセットは、第２の複数のＰＬブロックと通信できるが、第１の複数のＰＬブロックとは通信できない。

【0007】

いくつかの実施形態において、Ｉ／Ｏハードウェアは、ホストから受信したデータ内のＩ／Ｏデータトラフィックを識別するように構成されたＩ／Ｏ相互接続層を含む。さらに、コヒーレントハードウェアは、ホストから受信したデータ内のコヒーレントデータトラフィックを識別し、コヒーレントデータトラフィックをＰＣＩプロトコルからコヒーレント相互接続プロトコルに変換するように構成されたコヒーレント相互接続層と、コヒーレント相互接続層に結合し、コヒーレントデータトラフィックをコヒーレント相互接続プロトコルから命令セットアーキテクチャ（ＩＳＡ）固有相互接続プロトコルへと変換するように構成されたコヒーレンシ処理エンジンとを含む。

【0008】

いくつかの実施形態において、コヒーレンシ処理エンジンは、複数のコヒーレント相互接続層に結合し、コヒーレントデータトラフィックをコヒーレント相互接続プロトコルからＩＳＡ固有相互接続プロトコルへと変換する複数のブリッジと、複数のブリッジおよび複数の計算リソースのうちの第２のサブセットに結合したメッシュとを含む。

【0009】

いくつかの実施形態において、Ｉ／Ｏハードウェアは、Ｉ／Ｏ相互接続層に結合したダイレクトメモリアクセス（ＤＭＡ）エンジンを含む。

【0010】

いくつかの実施形態において、ハイブリッドゲートウェイは、Ｉ／Ｏハードウェアおよびコヒーレントハードウェアに通信可能に結合したゲートウェイネットワークオンチップ（ＮｏＣ）を備える。

【0011】

いくつかの実施形態において、周辺Ｉ／Ｏデバイスは、複数の計算リソースのうちの第１および第２のサブセットに結合したＮｏＣを含み、ＮｏＣは、ＮｏＣを通って流れるＩ／ＯデータトラフィックがＮｏＣを通って流れるコヒーレントデータトラフィックとは異なって取り扱われるように構成可能である。

【0012】

いくつかの実施形態において、ＮｏＣは、Ｉ／Ｏデータトラフィックについてコヒーレントデータトラフィックと比べて（ｉ）異なるサービス品質（ＱｏＳ）、（ｉｉ）レイテンシ、および（ｉｉｉ）帯域幅のうちの少なくとも１つを提供するように構成可能である。

【0013】

本明細書で説明される一例は、周辺Ｉ／Ｏデバイス内の第１の量の計算リソースをＩ／Ｏドメインに割り当てる指示を受信するステップと、周辺Ｉ／Ｏデバイス内の第２の量の計算リソースをコヒーレントドメインに割り当てる指示を受信するステップと、Ｉ／Ｏドメインおよびコヒーレントドメインを含むように周辺Ｉ／Ｏデバイスを構成するステップと、Ｉ／Ｏドメインおよびコヒーレントドメインを並行して使用して周辺Ｉ／Ｏデバイスを動作させるステップとを含む方法である。周辺Ｉ／Ｏデバイスは、ホストがＩ／Ｏドメイン内およびコヒーレントドメイン内の計算リソースと通信することを可能にするハイブリッドゲートウェイを含み、第２の量の計算リソースは、ホスト内の計算リソースとコヒーレントドメインを共有する。

【0014】

いくつかの実施形態において、周辺Ｉ／Ｏデバイスは、ＰＬアレイおよび複数のメモリブロックを含み、周辺Ｉ／Ｏデバイスを構成するステップは、ＰＬアレイ内の第１の複数のＰＬブロックをＩ／Ｏドメインに割り当て、ＰＬアレイ内の第２の複数のＰＬブロックをコヒーレントドメインに割り当てるステップと、複数のメモリブロックのうちの第１のサブセットをＩ／Ｏドメインに割り当て、複数のメモリブロックのうちの第２のサブセットをコヒーレントドメインに割り当てるステップとを含み、複数のメモリブロックのうちの第１のサブセットは、第１の複数のＰＬブロックと通信できるが、第２の複数のＰＬブロックとは通信できず、複数のメモリブロックのうちの第２のサブセットは、第２の複数のＰＬブロックと通信できるが、第１の複数のＰＬブロックとは通信できない。

【0015】

いくつかの実施形態において、周辺Ｉ／Ｏデバイスを動作させるステップは、Ｉ／Ｏデータトラフィックおよびコヒーレントデータトラフィックの両方を含むデータをホストから受信するステップと、ハイブリッドゲートウェイを使用して、ホストから受信したデータ内のコヒーレントデータトラフィックを識別するステップと、コヒーレントデータトラフィックをＰＣＩプロトコルからコヒーレント相互接続プロトコルへと変換するステップと、コヒーレントデータトラフィックをコヒーレント相互接続プロトコルからＩＳＡ固有相互接続プロトコルへと変換するステップと、コヒーレントデータトラフィックを第２の量の計算リソースに転送するステップと、ハイブリッドゲートウェイを使用して、ホストから受信したデータ内のＩ／Ｏデータトラフィックを識別するステップと、Ｉ／ＯデータトラフィックをＤＭＡエンジンに転送するステップとを含む。

【0016】

いくつかの実施形態において、周辺Ｉ／Ｏデバイスを構成するステップは、ＮｏＣに対応するパラメータを、ＮｏＣを横切るときにＩ／Ｏデータトラフィックがコヒーレントデータトラフィックとは異なって取り扱われるように設定するステップを含む。

【0017】

いくつかの実施形態において、本方法は、Ｉ／Ｏドメインおよびコヒーレントドメインを並行して使用して周辺Ｉ／Ｏデバイスを動作させるステップの後に、周辺Ｉ／Ｏデバイス内の第１の量とは異なる第３の量の計算リソースをＩ／Ｏドメインに割り当てる指示を受信するステップと、周辺Ｉ／Ｏデバイス内の第２の量とは異なる第４の量の計算リソースをコヒーレントドメインに割り当てる指示を受信するステップと、Ｉ／Ｏドメインが第３の量を有し、コヒーレントドメインが第４の量を有するように、周辺Ｉ／Ｏデバイスを構成変更するステップとを含む。

【0018】

本明細書で説明される１つの例は、複数のＰＬブロックを備えるＰＬアレイを含んでいるシステムオンチップ（ＳｏＣ）であり、このＳｏＣは、ＳｏＣをホストに通信可能に結合させるように構成されたハイブリッドゲートウェイを含む。このゲートウェイは、ホストが複数のＰＬブロックのうちのＩ／Ｏドメインに割り当てられた第１のサブセットへとＩ／Ｏデータトラフィックを送信することを可能にするように構成されたＩ／Ｏハードウェアと、ホストが複数のＰＬブロック計算リソースのうちのコヒーレントドメインに割り当てられた第２のサブセットへとコヒーレントデータトラフィックを送信することを可能にするように構成されたコヒーレントハードウェアとを含み、第１および第２のサブセットは、相互に排他的である。

【0019】

図面の簡単な説明
上記の特徴を詳細に理解することができるように、上記で簡単に要約したさらに具体的な説明を、一部が添付の図面に示されているいくつかの例示的な実装形態を参照することによって得ることができる。しかしながら、添付の図面は、典型的な例示の実装形態を示しているにすぎず、したがってその範囲を限定するものと見なされるべきではないことに留意されたい。

【図面の簡単な説明】

【0020】

【図1】一例によるＩ／Ｏドメインおよびコヒーレントドメインを有する周辺Ｉ／Ｏデバイスに結合したホストのブロック図である。

【図2】一例によるＩ／Ｏドメインおよびコヒーレントドメインに論理的に分割されたプログラマブル論理回路、メモリ、およびネットワークオンチップを有する周辺Ｉ／Ｏデバイスのブロック図である。

【図3】周辺デバイス内の計算リソースをＩ／Ｏドメインおよびコヒーレントドメインに論理的に分割するための一例によるフローチャートである。

【図4】周辺デバイスにおいてハイブリッドゲートウェイを使用してＩ／Ｏデータトラフィックおよびコヒーレントデータトラフィックを処理するための一例によるフローチャートである。

【図5】一例による周辺デバイスにおけるハイブリッドゲートウェイのブロック図である。

【図6】一例によるＩ／Ｏドメインおよびコヒーレントドメインに論理的に分割された計算リソースを有するコンピューティングシステムを示している。

【図7】一例によるプログラマブルＩＣのフィールドプログラマブルゲートアレイの実装形態を示している。

【発明を実施するための形態】

【0021】

発明を実施するための形態
さまざまな特徴が、図面を参照して以下に説明される。図面は、縮尺どおりに描かれていても、縮尺どおりに描かれていなくてもよく、同様の構造または機能の要素は、図面全体を通して同様の参照番号で表されていることに、留意されたい。図面は、特徴の説明を容易にすることのみを意図していることに留意されたい。それらは、本明細書の網羅的な説明として意図されているわけでも、特許請求の範囲の技術的範囲に対する限定として意図されているわけでもない。さらに、図示された例は、必ずしも示されたすべての態様または利点を有する必要はない。特定の例に関連して説明される態様または利点は、必ずしもその例に限定されず、任意の他の例において実施することが、たとえそのように示されていなくても、あるいはそのように明示的に説明されていなくても、可能である。

【0022】

本明細書における例は、デバイスがＩ／Ｏドメインおよびコヒーレントドメインの両方を有することを可能にするハイブリッドゲートウェイを備える周辺Ｉ／Ｏデバイスを説明する。すなわち、Ｉ／Ｏデバイスは、Ｉ／ＯデバイスドライバがＩ／Ｏデバイス内の計算リソースの一部を管理する従来のＩ／Ｏモデルの利点、ならびにＩ／Ｏデバイス内の他の計算リソースをホストコンピューティングシステム内のプロセッサ（例えば、中央演算処理装置（ＣＰＵ））によって使用されるコヒーレントドメインと同じコヒーレントドメインに追加する利点を、享受することができる。結果として、周辺Ｉ／Ｏデバイスのコヒーレントドメイン内の計算リソースは、ホスト内のＣＰＵ間通信と同様のやり方でホストと通信することができる。これは、計算リソースが、（アドレス変換のない）直接通信、より効率的なメモリ使用、非均一メモリアクセス（ＮＵＭＡ）認識、などのコヒーレンシ型機能を利用できることを意味する。同時に、Ｉ／Ｏドメイン内の計算リソースは、ホストとＩ／Ｏデバイスとの間で大規模なメモリ転送を行うときに効率を提供する従来のＩ／Ｏデバイスモデルの利点から利益を得ることができる（例えば、ダイレクトメモリアクセス（ＤＭＡ））。

【0023】

同じ周辺Ｉ／ＯデバイスにおいてＩ／Ｏドメインおよびコヒーレントドメインを同時にサポートするために、デバイスは、ホストとＩ／Ｏデバイスとの間の仲介者として機能するハイブリッドゲートウェイを含む。一実施形態において、ハイブリッドゲートウェイは、ホストからデータトラフィック（例えば、ＰＣＩｅデータトラフィック）を受信し、次いで、これをＩ／Ｏデータトラフィックおよびコヒーレントデータトラフィックに分離する。Ｉ／Ｏデータトラフィックが、Ｉ／Ｏドメイン内の計算リソースへと転送される一方で、コヒーレントデータトラフィックは、コヒーレントドメイン内の計算リソースへと転送される。例えば、周辺Ｉ／Ｏデバイスは、プログラマブル論理（ＰＬ）アレイを含むことができ、アレイ内のＰＬブロックのいくつかが、Ｉ／Ｏドメインに割り当てられる一方で、残りのＰＬブロックは、コヒーレントドメインに割り当てられる。

【0024】

さらに、Ｉ／Ｏドメインおよびコヒーレントドメインへの計算リソースの割り当ては、動的であってよい。例えば、システム管理者は、Ｉ／Ｏドメインに充分なリソースがないと判断して、それまではコヒーレントドメインに割り当てられていた計算リソースが今やＩ／Ｏドメインに割り当てられるように、周辺Ｉ／Ｏデバイスを再構成することができる。Ｉ／Ｏデバイスを新たな割り当てで再構成することができ、ハイブリッドゲートウェイは、Ｉ／Ｏドメインおよびコヒーレントドメインの動作を同時にサポートすることができる。

【0025】

図１は、一例によるＩ／Ｏドメインおよびコヒーレントドメインを有する周辺Ｉ／Ｏデバイス１３５に結合したホスト１０５のブロック図である。図１のコンピューティングシステム１００は、ＰＣＩｅ接続１３０を使用して周辺Ｉ／Ｏデバイス１３５に通信可能に結合したホスト１０５を含む。ホスト１０５は、単一のコンピュータ（例えば、サーバ）または相互接続された複数の物理的なコンピューティングシステムを表すことができる。いずれの場合も、ホスト１０５は、オペレーティングシステム１１０と、複数のＣＰＵ １１５と、メモリ１２０とを含む。ＯＳ １１０は、本明細書に記載の機能を実行することができる任意のＯＳであってよい。一実施形態において、ＯＳ １１０（あるいは、ハイパーバイザまたはカーネル）は、ＣＰＵ １１５およびメモリ１２０のためのキャッシュコヒーレント共有メモリマルチプロセッサパラダイムを確立する。一実施形態において、ＣＰＵ １１５およびメモリ１２０は、キャッシュコヒーレント共有メモリマルチプロセッサパラダイムに従うコヒーレントドメインを形成するようにＯＳによって管理される（または、カーネル／ハイパーバイザによって管理される）。しかしながら、上述したように、従来のＩ／Ｏモデルは、周辺Ｉ／Ｏデバイス１３５（および、そのすべての計算リソース１５０）が、ホスト１０５において確立されるコヒーレントドメインから除外されることを意味する。代わりに、ホスト１０５は、自身のメモリ１２０に格納されたＩ／Ｏデバイスドライバ１２５に頼り、Ｉ／Ｏデバイス１３５内の計算リソース１５０を管理する。すなわち、周辺Ｉ／Ｏデバイス１３５は、Ｉ／Ｏデバイスドライバ１２５によって制御され、Ｉ／Ｏデバイスドライバ１２５を介してアクセス可能である。

【0026】

本明細書の実施形態においては、共有メモリマルチプロセッサパラダイムが、このパラダイムのすべての性能上の利点、ソフトウェアの柔軟性、および少ないオーバーヘッドと共に、周辺Ｉ／Ｏデバイス１３５にとって利用可能である。さらに、Ｉ／Ｏデバイス１３５内の計算リソースをＣＰＵ １１５およびメモリ１２０と同じコヒーレントドメインに追加することにより、汎用のＩＳＡ非依存の開発環境が可能になる。図１に示されるように、周辺Ｉ／Ｏデバイス１３５内の計算リソース１５０の一部が、例えばＣＰＵ １１５およびメモリ１２０などのホスト１０５内の計算リソースによって使用されるコヒーレントドメインと同じコヒーレントドメイン１６０であるコヒーレントドメイン１６０に割り当てられる。

【0027】

計算リソース１５０Ｃおよび１５０Ｄがコヒーレントドメイン１６０に論理的に割り当てられる一方で、計算リソース１５０Ａおよび１５０ＢはＩ／Ｏドメイン１４５に割り当てられる。したがって、Ｉ／Ｏデバイス１３５は、両方のドメイン１４５、１６０に割り当てられた計算リソース１５０を有することによる利益を得る。Ｉ／Ｏドメイン１４５が、ホスト１０５とＩ／Ｏデバイス１３５との間で大規模なメモリ転送を行うときに効率を提供する一方で、コヒーレントドメイン１６０は、上述した性能上の利点、ソフトウェアの柔軟性、およびオーバーヘッドの低減を提供する。ハードウェア計算リソース１５０（例えば、プログラマブル論理回路、ネットワークオンチップ（ＮｏＣ）、データ処理エンジン、および／またはメモリ）をＩ／Ｏドメイン１４５およびコヒーレントドメイン１６０に論理的に分割することによって、Ｉ／Ｏデバイス１３５は、両方のタイプのパラダイムからの利益を得ることができる。

【0028】

ホスト１０５がＩ／Ｏデータトラフィックおよびコヒーレントデータトラフィックの両方を送信および受信できるように、周辺Ｉ／Ｏデバイス１３５は、ＰＣＩｅ接続１３０上で受信したデータをＩ／Ｏデータトラフィックおよびコヒーレントデータトラフィックに分離するハイブリッドゲートウェイ１４０を含む。Ｉ／Ｏデータトラフィックが、Ｉ／Ｏドメイン１４５内の計算リソース１５０Ａおよび１５０Ｂに転送される一方で、コヒーレントデータトラフィックは、コヒーレントドメイン１６０内の計算リソース１５０Ｃおよび１５０Ｄに転送される。一実施形態において、ハイブリッドゲートウェイ１４０は、Ｉ／Ｏドメイン１４５内の計算リソース１５０がコヒーレントドメイン１６０内の計算リソース１５０と並列に動作できるように、Ｉ／Ｏデータトラフィックおよびコヒーレントデータトラフィックを並列に処理することができる。すなわち、ホスト１０５は、Ｉ／Ｏドメイン１４５およびコヒーレントドメイン１６０の両方の計算リソース１５０にタスクを割り当てることができ、Ｉ／Ｏドメイン１４５およびコヒーレントドメイン１６０の両方の計算リソース１５０が、それらのタスクを並列に実行することができる。

【0029】

周辺Ｉ／Ｏデバイス１３５は、（ホスト１０５の拡張スロットに差し込まれる）差込式カード、システムオンチップ（ＳｏＣ）、グラフィックス処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、などの多数のさまざまなタイプのＩ／Ｏデバイスであってよい。したがって、残りの実施形態は、プログラマブル論理回路（例えば、プログラマブル論理アレイ）を含むＩ／Ｏデバイス１３５について論じるが、それらの実施形態は、プログラマブル論理回路を有さず、硬化回路（ソフトウェアプログラマブルであってよい）のみを含むＩ／Ｏデバイス１３５にも適用可能である。さらに、本明細書の実施形態は、計算リソース１５０を２つのドメインに分割することを論じるが、他の実施形態において、ハイブリッドゲートウェイ１４０を、さらなるドメインあるいはＩ／Ｏドメイン１４５およびコヒーレントドメイン１６０内の複数のサブドメインをサポートするように変更することが可能である。

【0030】

図２が、Ｉ／Ｏドメイン１４５およびコヒーレントドメイン１６０に論理的に分割されたプログラマブル論理（ＰＬ）アレイ２０５、メモリブロック２２０、およびＮｏＣ ２３０を有する一例による周辺Ｉ／Ｏデバイス１３５のブロック図である。この例において、ＰＬアレイ２０５は、複数のＰＬブロック２１０から形成されている。これらのブロックを、Ｉ／Ｏドメイン１４５またはコヒーレントドメイン１６０に個別に割り当てることができる。すなわち、ＰＬブロック２１０Ａおよび２１０ＢがＩ／Ｏドメイン１４５に割り当てられる一方で、ＰＬブロック２１０Ｃおよび２１０Ｄはコヒーレントドメイン１６０に割り当てられる。一実施形態においては、ブロック間に重複がない（例えば、いかなるＰＬブロック２１０も、Ｉ／Ｏドメインおよびコヒーレントドメインの両方に割り当てられることがない）ように、Ｉ／Ｏドメインに割り当てられたＰＬブロック２１０のセットは、コヒーレントドメインに割り当てられたＰＬブロック２１０のセットと相互に排他的である。

【0031】

一実施形態において、Ｉ／Ｏドメイン１４５またはコヒーレントドメイン１６０のいずれかへのハードウェアリソースの割り当ては、Ｉ／Ｏデバイス１３５内のハードウェアリソースの物理的な位置に影響を及ぼさない（または、Ｉ／Ｏデバイス１３５内のハードウェアリソースの物理的な位置を指示しない）。例えば、ＰＬブロック２１０Ａおよび２１０Ｃは、たとえこれらのブロックがＰＬアレイ２０５内で互いに隣接している場合でも、異なるドメインに割り当てられてよい。したがって、Ｉ／Ｏデバイス１３５内のハードウェアリソースの物理的な位置は、それらをＩ／Ｏドメイン１４５およびコヒーレントドメイン１６０に論理的に割り当てるときに考慮されてよいが、これは必ずしも必須ではない。

【0032】

さらに、Ｉ／Ｏデバイス１３５は、Ｉ／Ｏドメイン１４５およびコヒーレントドメイン１６０に割り当てられたメモリコントローラ２１５を含む。一実施形態においては、メモリコントローラ２１５と対応するメモリブロック２２０との間の物理的な相互接続ゆえに、メモリコントローラ２１５のうちの１つをＩ／Ｏドメイン１４５またはコヒーレントドメイン１６０のいずれかに割り当てることは、そのメモリコントローラ２１５に接続されたすべてのメモリブロック２２０も同じドメインに割り当てられることを意味する。例えば、メモリコントローラ２１５を、（他のいずれのメモリコントローラ２１５にも結合していない）メモリブロック２２０の固定のセットに結合させることができる。したがって、メモリブロック２２０を、それらの結合先のメモリコントローラ２１５と同じドメインに割り当てることができる。しかしながら、他の実施形態においては、同じメモリコントローラ２１５に結合したメモリブロック２２０を異なるドメインに割り当てることが可能であってよい。

【0033】

一実施形態において、ＮｏＣは、Ｉ／Ｏデバイス１３５内のハードウェア要素（例えば、構成可能データ処理エンジン、メモリブロック２２０、ＰＬブロック２１０、など）がＮｏＣ ２３０を使用してデータを送信および受信することを可能にするインターフェース要素を含む。一実施形態においては、ＮｏＣ ２３０を形成するためにプログラマブル論理回路を使用するのではなく、ＮｏＣを形成する構成要素の一部または全部が硬化される。いずれの場合も、ＮｏＣ ２３０を、Ｉ／Ｏドメイン１４５とコヒーレントドメイン１６０との間で論理的に分割することができる。一実施形態においては、ＮｏＣ ２３０の異なる部分を２つのドメインに割り当てる代わりに、ＮｏＣのパラメータが、Ｉ／Ｏドメイン１４５およびコヒーレントドメイン１６０に対応するデータトラフィックに異なるサービスレベルを提供するように構成される。すなわち、ＮｏＣ ２３０を流れる両方のドメインのデータトラフィックが、同じハードウェア要素（例えば、スイッチおよび通信リンク）を使用できるが、ハードウェア要素による取り扱いが異なってよい。例えば、ＮｏＣ ２３０は、２つの異なるドメインについて、異なるサービス品質（ＱｏＳ）、レイテンシ、帯域幅を提供することができる。さらに、ＮｏＣ ２３０は、セキュリティ上の理由で、Ｉ／Ｏドメイン１４５のトラフィックをコヒーレントドメイン１６０のトラフィックから分離することもできる。

【0034】

別の実施形態において、ＮｏＣ ２３０は、Ｉ／Ｏドメイン１４５内の計算リソースがコヒーレントドメイン１６０内の計算リソースと通信することを防ぐことができる。しかしながら、一実施形態においては、Ｉ／Ｏドメイン１４５に割り当てられた計算リソースがコヒーレントドメイン１６０に割り当てられた計算リソースと通信することを可能にすることが、有利であり得る。これまでは、この通信は、Ｉ／Ｏデバイスドライバ１２５とホスト１０５内のＯＳとの間で行われていた。代わりに、ＮｏＣ ２３０（計算リソースがデバイス１３５内で遠く離れている場合）またはＰＬアレイ２０５内のファブリックツーファブリック接続（２つの異なるドメインに割り当てられた２つのＰＬブロック２１０が互いに近く、かつ通信を必要とする場合）を使用して、Ｉ／Ｏデバイス１３５内でドメイン間通信を行うことができる。

【0035】

図３が、周辺デバイス内の計算リソースをＩ／Ｏドメインおよびコヒーレントドメインに論理的に分割するための一例による方法３００のフローチャートである。方法３００は、ホストがＩ／Ｏドメインのための周辺デバイス内の計算リソースの量の指示を受信するブロック３０５で開始する。一実施形態において、ホストは、Ｉ／Ｏドメインに割り当てられるべき周辺デバイス内の計算リソースの量を選択するユーザのためのグラフィカルユーザインターフェース（ＧＵＩ）を提供することができる。例えば、ＧＵＩは、ユーザがＩ／Ｏドメインに割り当てるＰＬブロックまたはメモリコントローラ／ブロックの割合を入力することができるテキストボックスを含むことができる。別の実施形態において、ＧＵＩは、ユーザがＩ／Ｏドメインに割り当てられるべき特定のリソース（例えば、２５６ ｋＢのメモリ）を挙げることを可能にする。

【0036】

ブロック３１０において、ホストは、コヒーレントドメインのための周辺デバイス内の計算リソースの量のインジケータを受信する。上述のように、ホストは、コヒーレントドメインに割り当てる計算リソースの割合または量をユーザが選択することを可能にする別個のＧＵＩを表示することができる。別の実施形態において、ホストは、ユーザがＩ／Ｏドメインとコヒーレントドメインとの間で計算リソースを分割することを可能にする単一のＧＵＩを表示するウィザードツールを含むことができる。例えば、ＧＵＩは、ユーザが２つのドメイン間でＰＬブロック、メモリコントローラ、およびメモリブロックなどの計算リソースを分割することを可能にするスライディングバーを含むことができる。ウィザードは、ユーザがＮｏＣのパラメータを選択すること（例えば、その帯域幅を２つのドメインに割り振り、ＱｏＳを確立し、セキュリティ／分離を確立する、など）を可能にする別のＧＵＩを含むことができる。

【0037】

ブロック３１５において、ホストは、Ｉ／Ｏデバイスがブロック３０５およびブロック３１０において行われた要求を満たすための充分なリソースを有するかどうかを判定する。例えば、ユーザが、５００ ＭＢのメモリをＩ／Ｏドメインに割り当て、６００ ＭＢのメモリをコヒーレントドメインに割り当てることを要求している可能性があるが、Ｉ／Ｏデバイスは、１ ＧＢのメモリしか有していない可能性がある。あるいは、ユーザが、Ｉ／Ｏドメインおよびコヒーレントドメインの両方にＰＬアレイ内のＰＬブロックの５０％超を割り当てることを要求している可能性がある。これらの状況において、方法３００はブロック３２０に進み、ホストがユーザにエラーを出力する。方法３００は、ユーザがＩ／Ｏデバイス内のハードウェアの制約を満たす計算リソースを選択できるように、ブロック３０５および３１０を繰り返すことができる。さらに、方法３００は、ブロック３０５およびブロック３１０の各々において割り当てられたリソースをさらに細分化することができる。例えば、ＰＬブロック２１０Ａおよび２１０Ｂがブロック３０５においてＩ／Ｏドメイン１４５に割り当てられる一方で、ＰＬブロック２１０Ｃおよび２１０Ｄがブロック３１０においてコヒーレントドメイン１６０に割り当てられる。

【0038】

他方で、ユーザによって提示された割り当てがＩ／Ｏデバイスのハードウェア制約を満たす場合、方法３００はブロック３２５に進み、ホストはＩ／Ｏドメインおよびコヒーレントドメインを有するように周辺デバイスを構成する。一実施形態において、コヒーレントドメインは、ホスト内の計算リソースとの共有ドメインである。例えば、ブロック３１０において選択された計算リソースは、ホスト内のＣＰＵ、メモリ、および他のハードウェア要素とキャッシュコヒーレント共有メモリマルチプロセッサパラダイムに従うコヒーレントドメインを形成する。同時に、ブロック３０５において指示された計算リソースは、Ｉ／Ｏドメインを形成する。一実施形態において、コヒーレントドメイン内の計算リソースとは異なり、ホスト内の計算リソースは、Ｉ／Ｏドメインとは別個のドメイン内にある。結果として、ホストは、Ｉ／Ｏドメイン内の計算リソースと通信するために、インストールされたデバイスドライバに依然として依存し得る（ただし、コヒーレントドメインとＩ／Ｏドメインとの間の通信を、上述したように、ＰＬアレイ内のＮｏＣまたはファブリックを使用して容易にすることもできる）。

【0039】

一実施形態において、ホストは、ビットストリームおよび／またはバイナリコードを使用して周辺デバイスを構成する。ビットストリームおよびバイナリコードが、周辺デバイス内の計算リソースを構成し、したがって、これらのリソースが２つの異なるドメインにおいて機能することができる。例えば、コヒーレントドメイン用に選択されたＰＬブロックを、ＰＬアレイ内のファブリックを使用して互いに相互接続できる一方で、Ｉ／Ｏドメインに割り当てられたＰＬブロックから分離することができる。さらに、メモリコントローラは、同じドメイン内の他のハードウェア要素から受信される読み出しおよび書き込み要求のみを実行することができる。また、ＮｏＣは、Ｉ／Ｏデータトラフィックがコヒーレンシデータトラフィックとは別に管理されることを保証するためにデータ分離技術を使用することができる。すなわち、ＮｏＣは、２つのドメインのデータトラフィックの間の差を識別することができる。結果として、ＮｏＣは、データトラフィックに異なる帯域幅およびＱｏＳレベルを提供することができる。

【0040】

ブロック３３０において、周辺デバイスは、Ｉ／Ｏドメインおよびコヒーレントドメインを並列に使用して動作する。周辺デバイスは、Ｉ／Ｏドメインおよびコヒーレントドメインの計算リソースを使用して並列にタスク（ホストによって割り当てられたタスクであってよい）を実行することができる。換言すると、周辺デバイスは、並列に動作する２つの異なるドメインをサポートすることができる。したがって、ホストは、ドメインに、それぞれの構成を活用する異なるタスクを割り当てることができる。例えば、大規模なデータ転送を必要とするタスクを、Ｉ／Ｏドメイン内の計算リソースに割り当てることができる一方で、ホスト内の計算リソースとの密接な統合または通信が有利となるタスクを、周辺デバイスのコヒーレントドメイン内の計算リソースに割り当てることができる。

【0041】

ブロック３３５において、ホストは、ドメインの構成変更の要求を受信したか否かを判定する。この例において、周辺デバイス内のドメインは、Ｉ／Ｏドメインに最初に割り当てられた計算リソースをコヒーレントドメインに割り当て直すこと、またはその逆が可能であるように、構成変更可能である。例えば、周辺デバイスを動作させた後に、ユーザ（または、ホスト上の監視ソフトウェア）は、一方のドメイン内の計算リソースが、他方のドメイン内の計算リソースよりもはるかに働いていないと判定することができる。例えば、ホストが、或るドメインに別のドメインよりもはるかに頻繁にタスクを割り当てる可能性がある。これに応答して、ユーザまたは監視ソフトウェアは、方法３００を繰り返すことによって、あまり利用されていないドメイン内の計算リソースの一部を、過度に利用されているドメインに割り当て直すように要求することができる。これにより、ホストによって割り当てられるタスクを実行するための周辺デバイスの全体としての能力を改善することができる。

【0042】

図４が、周辺デバイスにおいてハイブリッドゲートウェイを使用してＩ／Ｏデータトラフィックおよびコヒーレントデータトラフィックを処理するための一例による方法４００のフローチャートである。一実施形態において、方法４００は、例えば図３の方法３００を使用して確立された周辺デバイス内の複数のドメインをサポートするようにハイブリッドゲートウェイを動作させるための技術を記載する。明確にするために、方法４００の各ブロックを、一例による周辺デバイス内のハイブリッドゲートウェイのブロック図である図５と並行して説明する。

【0043】

ブロック４０５において、ハイブリッドゲートウェイ１４０は、Ｉ／Ｏデータトラフィックおよびコヒーレントデータトラフィックを含むデータトラフィックをホスト１０５から受信する。すなわち、ハイブリッドゲートウェイ１４０は、同じ接続を使用してＩ／Ｏドメインおよびコヒーレントドメインの両方を宛先とするデータトラフィックを受信することができる。例えば、ホスト１０５を、１つ以上のＰＣＩｅ接続１３０を使用して周辺Ｉ／Ｏデバイス１３５に結合させることができる。

【0044】

ブロック４１０において、ハイブリッドゲートウェイ１４０は、Ｉ／Ｏデータトラフィックとコヒーレントデータトラフィックとを分離する。例えば、コヒーレントデータトラフィックが、対応するデータがコヒーレントドメインの一部であることをハイブリッドゲートウェイ１４０に対して示す特別なヘッダまたはヘッダ値を有することができる一方で、これらのヘッダまたはヘッダ値を有さないトラフィックは、Ｉ／Ｏデータトラフィックとして識別される。この例において、Ｉ／Ｏデータトラフィックおよびコヒーレントデータトラフィックを、同じプロトコル（例えば、ＰＣＩｅ）を使用して送信し、その後にハイブリッドゲートウェイ１４０によって互いに分離することができる。

【0045】

そのようにするために、ハイブリッドゲートウェイ１４０は、ホスト１０５からのデータの受信およびホスト１０５へのデータの送信が可能な１つ以上のハイブリッドＰＣＩコントローラ５０５を含む。各々のハイブリッドＰＣＩコントローラ５０５は、物理層５１０、リンク層５１５、Ｉ／Ｏ相互接続層５２０、およびコヒーレント相互接続層５２５を含む。一実施形態において、ＰＣＩデータ（Ｉ／Ｏデータトラフィックを含むか、あるいはコヒーレントデータトラフィックを含むかにかかわらず）は、物理層５１０およびリンク層５１５によって処理される。しかしながら、その後に、ハイブリッドＰＣＩコントローラ５０５は、Ｉ／ＯデータトラフィックがＩ／Ｏ相互接続層５２０によって処理され、コヒーレントデータトラフィックがコヒーレント相互接続層５２５によって処理されるように、データを分離する。このように、ハイブリッドＰＣＩコントローラ５０５は、コントローラ５０５をＩ／Ｏドメインに適合させるＩ／Ｏハードウェア構成要素、およびコントローラ５０５をコヒーレントドメインに適合させるコヒーレンシハードウェア構成要素の両方を有する。

【0046】

ブロック４１５において、ハイブリッドゲートウェイ１４０は、コヒーレンシ処理エンジン５４０を使用してコヒーレントデータを処理する。図５に示されるように、コヒーレント相互接続層５２５は、ハイブリッドＰＣＩコントローラ５０５とコヒーレントドメインに割り当てられた周辺Ｉ／Ｏデバイス１３５内の計算リソースとの間の媒介者として機能するコヒーレンシ処理エンジン５４０に接続される。コヒーレンシ処理エンジン５４０を、周辺Ｉ／Ｏデバイス上の計算リソースを、ホスト上の計算リソースを含むコヒーレントドメインに追加することを可能にする種々の異なるプロトコルのいずれかを使用して実装することができる。例えば、コヒーレンシ処理エンジン５４０は、コヒーレントドメインを形成するために、アクセラレータ用キャッシュコヒーレント相互接続（ＣＣＩＸ）を使用することができる。ＣＣＩＸは、異種混合システムアーキテクチャのためのキャッシュコヒーレントフレームワークを提供する高性能チップ間相互接続アーキテクチャである。ＣＣＩＸは、カーネルによって管理されたセマンティクスを周辺機器にもたらす。キャッシュコヒーレンシが、ホスト１０５上のＣＰＵと、任意の数の周辺Ｉ／Ｏデバイス上に配置されてよいシステム内の他のさまざまなアクセラレータとの間で、常に自動的に維持される。

【0047】

しかしながら、ホスト１０５内のコヒーレントドメインを周辺Ｉ／Ｏデバイス１３５内の計算リソースを含むように拡張するために、ＱｕｉｃｋＰａｔｈ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＱＰＩ）またはＯｍｎｉ－ＰａｔｈなどのＣＣＩＸ以外のコヒーレント相互接続プロトコルが使用されてもよい。すなわち、コヒーレンシ処理エンジン５４０を、Ｉ／Ｏデバイス１３５内の計算リソースを含むコヒーレントドメインの形成を容易にする任意のタイプのコヒーレント相互接続プロトコルをサポートするようにカスタマイズすることができる。

【0048】

一実施形態において、コヒーレンシ処理エンジン５４０内の構成要素は硬化（例えば、プログラマブル論理回路を使用して形成されるのではない）であり、これは、エンジン５４０が、そのドメインに関するコヒーレンシ動作を担当できるだけでなく、マルチプロセッサシステムにおいてコヒーレンシが維持されることを確実にするための要求にも対処することができるため、性能向上を可能にする。図５に示される実施形態において、コヒーレンシ処理エンジン５４０は、ハイブリッドＰＣＩコントローラ５０５のうちの１つにそれぞれ結合したブリッジ５４５と、メッシュ５５０と、キャッシュ５５５とを含む。ブリッジは、コヒーレント相互接続プロトコル（例えば、ＣＣＩＸ、ＱＰＩ、Ｏｍｎｉ－Ｐａｔｈ、など）からＩＳＡ固有相互接続プロトコル（例えば、ｘ８６、ＡＲＭ、ＰｏｗｅｒＰＣ（登録商標））へとデータを変換することができる。換言すると、ブリッジ５４５は、インターフェース上のプロトコルセマンティクスを管理し、コヒーレント動作に関連するメモリ動作を管理する。

【0049】

メッシュ５５０は、データを適切なキャッシュ５５５（または、Ｉ／Ｏデバイス１３５内の計算リソースからホスト１０５にコヒーレントデータを送信する場合には、ブリッジ５４５）へとルーティングするマルチプロセッサ相互接続である。

【0050】

ブロック４２０において、コヒーレンシ処理エンジン５４０は、ＩＳＡ固有相互接続プロトコルを使用して、Ｉ／Ｏデバイス内のコヒーレントドメイン内の計算リソースへとコヒーレントデータトラフィックを送信する。上述したように、ブリッジ５４５が、コヒーレントデータトラフィックをコヒーレント相互接続プロトコルからＩＳＡ固有相互接続プロトコルに変換し、次いでこれが、コヒーレンシ処理エンジン５４０から図５のＰＬアレイ２０５に転送される。すなわち、キャッシュ５５５が、ＰＬアレイ２０５内のローカルキャッシュ５６０に結合し、ローカルキャッシュ５６０は、メモリアドレスをローカルメモリアドレスに変換するためのアドレス変換キャッシュ（ＡＴＣ）５６５に結合する。次いで、コヒーレントデータトラフィックを、コヒーレントドメインに割り当てられたアレイ２０５内のＰＬブロックによって処理することができる。

【0051】

ブロック４２５において、ハイブリッドゲートウェイ１４０は、非コヒーレント相互接続プロトコル（例えば、Ａｄｖａｎｃｅｄ ｅＸｔｅｎｓｉｂｌｅ Ｉｎｔｅｒｆａｃｅ（ＡＸＩ）プロトコル）を使用してデータトラフィックを送信する。そのようにするために、ゲートウェイ１４０内のハイブリッドＰＣＩコントローラ５０５は、Ｉ／Ｏ相互接続層５２０を使用して、受信したＩ／ＯデータトラフィックをＰＣＩプロトコルから非コヒーレント相互接続プロトコルに変換する。次いで、このデータを、Ｉ／Ｏドメインに割り当てられたＰＬブロックによる処理のためにＤＭＡエンジン５３０に転送することができる。データがＤＭＡエンジン５３０に転送される場合、エンジン５３０は、ゲートウェイＮｏＣ ５３５（ハイブリッドゲートウェイ１４０内にあり、ＮｏＣ ２３０とは別個であってよい）を使用して、データをメモリコントローラ２１５のうちの１つに転送することができる。すなわち、ゲートウェイＮｏＣ ５３５は、メモリコントローラ２１５および対応するメモリブロック（図５には図示せず）を使用してＤＭＡ読み出しおよび書き込み要求を実行することができるように、ＮｏＣ ２３０に通信可能に結合する。

【0052】

したがって、方法４００を使用して、ハイブリッドゲートウェイ１４０は、ホスト１０５からＩ／Ｏデータトラフィックおよびコヒーレントデータトラフィックを受信し、異なるハードウェア構成要素を使用してデータトラフィックを分離および処理し、処理のために適切な計算要素にデータを転送することができる。さらに、このプロセスは逆にも機能し、その場合、ＰＬ、メモリ、などにおける計算リソースによって処理されたデータが、ハイブリッドゲートウェイ１４０へと送信され、次いでＰＣＩｅ接続１３０を使用してホスト１０５に送信される。

【0053】

一実施形態において、データは、ホスト１０５からハイブリッドゲートウェイ１４０へと流れ、相互接続層（Ｉ／Ｏ相互接続層５２０およびコヒーレント相互接続層５２５の両方）へと流れ、ＰＬアレイ２０５（Ｉ／Ｏドメインに割り当てられたＰＬブロックおよびコヒーレントドメインに割り当てられたＰＬブロックの両方）へと流れ、次いでメモリブロック（Ｉ／Ｏドメインに割り当てられたメモリブロックおよびコヒーレントドメインに割り当てられたメモリブロックの両方）へと流れる。しかしながら、別の実施形態において、データは、ホスト１０５からハイブリッドゲートウェイ１４０へと流れ、相互接続層（Ｉ／Ｏおよびコヒーレントの両方）へと流れ、メモリブロック（Ｉ／Ｏメモリブロックおよびコヒーレントメモリブロックの両方）へと流れ、次いでＰＬアレイ２０５（Ｉ／Ｏ ＰＬブロックおよびコヒーレントＰＬブロックの両方）へと流れる。一実施形態において、ＰＬアレイ２０５からメモリブロック、またはメモリブロックからＰＬアレイ２０５へのデータの転送は、メモリコントローラ２１５、ＮｏＣ ２３０、およびＰＬアレイ２０５の間の接続によって可能にされる。

【0054】

図６が、一例によるＩ／Ｏドメインおよびコヒーレントドメインに論理的に分割された計算リソースを有するコンピューティングシステム６００を示している。システム６００は、プロトコル、ディスカバリ、および構成に関して周辺デバイスとして関与するＳｏＣ ６２０を含む。一方で、コヒーレントドメイン６７０の一部であるハードウェア要素は、ホスト１３５のプロセッサ－メモリ複合体に対するプロセッサ－メモリピアとして、ホスト１３５内のＯＳ／カーネル（図示せず）によって管理される。ＳｏＣ ６２０内のプログラマブル論理回路およびＮｏＣは、Ｉ／Ｏ ＰＬ ６４０、コヒーレントＰＬ ６４５、論理回路６５５、およびアクセラレータ論理回路６５０を使用する異種アクセラレーション機能の実行において、Ｉ／Ｏドメイン６７５とコヒーレントドメイン６７０との間のデバイス上通信、トラフィックフロー、およびインターフェースを提供する。

【0055】

さらに、システム６００は、Ｉ／Ｏドメイン６７５またはコヒーレントドメイン６７０のいずれかにおいて、計算データセット、計算結果、または制御プロセッサと異種デバイスとの間の任意の通信ハンドシェイク（ドアベル、Ｉ／Ｏ割り込み、ＤＭＡディスクリプタ、セマフォ、など）を見つける柔軟性を提供する。

【0056】

ＣＰＵ、Ｉ／Ｏデバイス、アクセラレータ、ＰＬ要素、およびメモリなどのシステム構成要素は、本明細書に記載の実施形態を使用して、いずれかのドメインで機能を実行することができる。システム６００においても、ＰＬ要素、ＮｏＣ構成および帯域幅、ならびにオンダイメモリ（例えば、Ｉ／Ｏ管理メモリ６６０およびコヒーレントメモリ６６５）およびホスト付属メモリ６０５などの構成要素を、両方のドメインのためのサーバ／ホストに対する共通ゲートウェイとして機能するハイブリッドゲートウェイ１４０によって、特定のシステムおよび／または用途の要件に対応するために、Ｉ／Ｏドメイン６７５とコヒーレントドメイン６７０との間で論理的に分割することができる。

【0057】

ハイブリッドゲートウェイ１４０内のハードウェアリソースを、Ｉ／Ｏハードウェア６３０（例えば、図５のＩ／Ｏ相互接続層５２０およびＤＭＡエンジン５３０）およびコヒーレントハードウェア６３５（例えば、コヒーレント相互接続層５２５およびコヒーレンシ処理エンジン５４０）に分割することができる。さらに、Ｉ／Ｏ管理メモリ６６０およびＩ／Ｏデバイスドライバ管理メモリ６１０が、Ｉ／Ｏドメイン６７５に割り当てられる一方で、コヒーレントメモリ６１５およびホスト付属メモリ６０５ならびにＳｏＣ ６２０内のコヒーレントメモリ６６５は、コヒーレントドメイン６７０に割り当てられる。

【0058】

本明細書における実施形態の１つの利点は、周辺デバイスの制御および通信を実行するようにカスタマイズされ、ホストＣＰＵ－メモリ複合体上で動作するＩ／ＯデバイスドライバをオフロードするＰＬ（ホストＣＰＵ－メモリ複合体上で動作するＩ／Ｏデバイスドライバではなく）によって、周辺Ｉ／Ｏデバイスを制御および通信できることである。次いで、ＰＬは、コヒーレントドメインを介してピアとしてホストＣＰＵ－メモリ複合体と通信／協調する。

【0059】

本明細書における実施形態の別の利点は、コプロセッサ／アクセラレータモデルならびにそのモデルによって提供されるすべてのソフトウェアおよび性能効率を、異機種デバイスがＣＰＵ－メモリ複合体との同一ＩＳＡ同一メモリピアを含むことを必要とせずに、活用できることである。代わりに、周辺付属コヒーレントアクセラレーションおよび通信を有することにより、マルチプロセッサシステムが使用される同じプロセッサ間共有メモリモデルを、ＣＰＵ－デバイスアクセラレータ通信にも使用することが可能になる。

【0060】

本明細書における実施形態の別の利点は、Ｉ／Ｏ周辺デバイス機能およびコヒーレントアクセラレータ／メモリ機能の各々の部分へとユーザのニーズによって分割することができるＱｏＳ属性を有する共有ＮｏＣ、ＱＯＳ制御共有リソース／バッファ、およびメモリを有する統合ソリューションを提供することである。

【0061】

図７が、Ｉ／Ｏ周辺デバイス１３５、より具体的には図２のＰＬアレイ２０５を有するＩ／Ｏ周辺デバイスについて、多数の異なるプログラマブルタイルを含むＦＰＧＡ ７００による実装形態を示しており、これらのプログラマブルタイルは、トランシーバ３７、ＣＬＢ ３３、ＢＲＡＭ ３４、入力／出力ブロック（「ＩＯＢ」）３６、構成およびクロッキング論理回路（「ＣＯＮＦＩＧ／ＣＬＯＣＫＳ」）４２、ＤＳＰブロック３５、専用入力／出力ブロック（「ＩＯ」）４１（例えば、構成ポートおよびクロックポート）、ならびにデジタルクロックマネージャ、アナログデジタル変換器、システム監視論理回路、などのその他のプログラマブル論理回路３９を含む。ＦＰＧＡは、ＰＣＩｅインターフェース４０、アナログ－デジタル変換器（ＡＤＣ）３８、などをさらに含むことができる。

【0062】

いくつかのＦＰＧＡにおいて、各々のプログラマブルタイルは、図７の上部に含まれる例によって示されるように、同じタイル内のプログラマブル論理要素の入力および出力端子４８への接続を有する少なくとも１つのプログラマブル相互接続要素（「ＩＮＴ」）４３を含むことができる。各々のプログラマブル相互接続要素４３は、同じタイルまたは他のタイル内の隣接するプログラマブル相互接続要素の相互接続セグメント４９への接続をさらに含むことができる。各々のプログラマブル相互接続要素４３は、論理ブロック（図示せず）間の汎用ルーティングリソースの相互接続セグメント５０への接続をさらに含むことができる。汎用ルーティングリソースは、相互接続セグメント（例えば、相互接続セグメント５０）のトラックを含む論理ブロック（図示せず）と、相互接続セグメントを接続するためのスイッチブロック（図示せず）との間のルーティングチャネルを含むことができる。汎用ルーティングリソースの相互接続セグメント（例えば、相互接続セグメント５０）は、１つ以上の論理ブロックにまたがることができる。プログラマブル相互接続要素４３は、汎用ルーティングリソースと共に、図示のＦＰＧＡのためのプログラマブル相互接続構造（「プログラマブル相互接続」）を実装する。

【0063】

例示的な実装形態において、ＣＬＢ ３３は、ユーザ論理回路を実装するようにプログラムすることができる構成可能論理要素（「ＣＬＥ」）４４と、単一のプログラマブル相互接続要素（「ＩＮＴ」）４３とを含むことができる。ＢＲＡＭ ３４は、１つ以上のプログラマブル相互接続要素に加えて、ＢＲＡＭ論理要素（「ＢＲＬ」）４５を含むことができる。一実施形態において、ＢＲＡＭ ３４は、上述のように再構成の際に格納済みのデータを保持することができるメモリ１４０の一部である。典型的には、タイルに含まれる相互接続要素の数は、タイルの高さに依存する。図示の例において、ＢＲＡＭタイルは、５つのＣＬＢと同じ高さを有するが、他の数（例えば、４）を使用することも可能である。ＤＳＰブロック３５は、適切な数のプログラマブル相互接続要素に加えて、ＤＳＰ論理要素（「ＤＳＰＬ」）４６を含むことができる。ＩＯＢ ３６は、例えば、プログラマブル相互接続要素４３の１つのインスタンスに加えて、入力／出力論理要素（「ＩＯＬ」）４７の２つのインスタンスを含むことができる。当業者にとって明らかであるとおり、例えばＩＯ論理要素４７に接続される実際のＩＯパッドは、通常は、入力／出力論理要素４７の領域に限定されない。

【0064】

図示の例では、（図７に示される）ダイの中心付近の水平領域は、構成、クロック、および他の制御論理回路に使用される。この水平領域または列から延びる垂直列５１は、ＦＰＧＡの広がりを横切ってクロックおよび構成信号を分配するために使用される。

【0065】

図７に示されるアーキテクチャを利用するいくつかのＦＰＧＡは、ＦＰＧＡの大部分を構成する規則的な列構造を乱す追加の論理ブロックを含む。追加の論理ブロックは、プログラマブルブロックおよび／または専用論理回路であってよい。

【0066】

図７が、例示的なＦＰＧＡアーキテクチャのみを示すことを意図していることに、留意されたい。例えば、行における論理ブロックの数、行の相対幅、行の数および順序、行に含まれる論理ブロックの種類、論理ブロックの相対サイズ、ならびに図７の上部に含まれる相互接続／論理回路の実装形態は、例示にすぎない。例えば、実際のＦＰＧＡにおいては、ユーザ論理の効率的な実装形態を容易にするために、通常は、ＣＬＢが現れるあらゆる場所に２つ以上の隣接するＣＬＢ行が含まれるが、隣接するＣＬＢ行の数は、ＦＰＧＡの全体サイズにつれて変化する。

【0067】

上記では、本開示に提示された実施形態が参照されている。しかしながら、本開示の範囲は、特定の記載された実施形態に限定されない。代わりに、記載された特徴および要素の任意の組み合わせが、異なる実施形態に関係していても、あるいはそのようでなくても、想定される実施形態を実装および実施するために想定される。さらに、本明細書に開示された実施形態は、他の可能な解決策または先行技術を超える利点を達成することができるが、所与の実施形態によって特定の利点が達成されるか否かは、本開示の範囲を限定するものではない。したがって、前述の態様、特徴、実施形態および利点は、あくまでも例示であり、特許請求の範囲に明示的に記載されている場合を除いて、添付の特許請求の範囲の要素または限定とは見なされない。

【0068】

当業者であれば理解できるとおり、本明細書に開示される実施形態は、システム、方法、またはコンピュータプログラム製品として具現化可能である。したがって、いくつかの態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む）、あるいはソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとることができ、これらはすべて、本明細書において「回路」、「モジュール」、または「システム」と一般的に呼ばれ得る。さらに、いくつかの態様は、コンピュータ可読プログラムコードが具現化された１つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとることができる。

【0069】

１つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、あるいはこれらの任意の適切な組み合わせであってよいが、これらに限られるわけではない。コンピュータ可読記憶媒体のより具体的な例（これですべてではないリスト）は、下記、すなわち１つ以上の配線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせを含むと考えられる。本明細書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって使用され、あるいはこれらに関連して使用されるプログラムを含み、あるいは格納することができる任意の有形の媒体である。

【0070】

コンピュータ可読信号媒体は、例えばベースバンドにおいて、または搬送波の一部として、コンピュータ可読プログラムコードが具現化された伝搬データ信号を含むことができる。そのような伝搬信号は、これらに限られるわけではないが電磁気、光学、またはそれらの任意の適切な組み合わせを含むさまざまな形態のいずれかをとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって使用され、あるいはこれらに関連して使用されるプログラムを伝達し、伝播させ、あるいは運ぶことができる任意のコンピュータ可読媒体であってよい。

【0071】

コンピュータ可読媒体上に具現化されたプログラムコードを、これらに限られるわけではないが無線、有線、光ファイバケーブル、ＲＦなど、またはこれらの任意の適切な組み合わせを含む任意の適切な媒体を使用して伝送することができる。

【0072】

本開示の態様のための動作を実行するためのコンピュータプログラムコードを、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、などのオブジェクト指向プログラミング言語、ならびに「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせで記述することができる。プログラムコードを、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行することができる。後者の状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、あるいは接続は外部コンピュータへと（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行われてもよい。

【0073】

本開示の態様は、本開示に提示された実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して以下で説明される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組み合わせを、コンピュータプログラム命令によって実現できることを、理解できるであろう。これらのコンピュータプログラム命令を、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供して、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されることで、フローチャートおよび／またはブロック図の１つ以上のブロックに指定された機能／動作を実現するための手段が生み出されるように、マシンを生成することができる。

【0074】

さらに、これらのコンピュータプログラム命令は、これらの命令がコンピュータ可読媒体に格納されることで、フローチャートおよび／またはブロック図の１つ以上のブロックに指定された機能／動作を実現する命令を含む製造物が生み出されるように、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに特定のやり方で機能するように指示することができるコンピュータ可読媒体に格納されてよい。

【0075】

さらに、コンピュータプログラム命令を、これらの命令がコンピュータまたは他のプログラマブル装置上で実行されることで、フローチャートおよび／またはブロック図の１つ以上のブロックに指定された機能／動作を実現するためのプロセスがもたらされるように、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードして、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させ、コンピュータによって実現されるプロセスを生み出すことができる。

【0076】

図面におけるフローチャートおよびブロック図は、本発明のさまざまな例によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実現するための１つ以上の実行可能命令を含むモジュール、セグメント、または命令の一部を表すことができる。いくつかの代替の実装形態において、ブロックに記載された機能は、図面に記載された順序以外の順序で行われてもよい。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよく、あるいはブロックは、場合によっては、関連する機能に応じて、逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせを、指定された機能または動作を実行し、あるいは専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアに基づくシステムによって実装できることに留意されたい。

【0077】

上記は特定の例を対象としているが、その基本的な範囲から逸脱することなく、他のさらなる例を考案することができ、その範囲は、以下の特許請求の範囲によって決定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】