特許 7404390 コヒーレントアクセラレーションのためのドメイン支援プロセッサピア

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-15

(45)【発行日】2023-12-25

(54)【発明の名称】コヒーレントアクセラレーションのためのドメイン支援プロセッサピア

(51)【国際特許分類】

   G06F 9/50 20060101AFI20231218BHJP

   G06F 13/10 20060101ALI20231218BHJP

   G06F 12/0815 20160101ALI20231218BHJP

   G06F 12/0868 20160101ALI20231218BHJP

   G06F 3/06 20060101ALI20231218BHJP

【ＦＩ】

G06F9/50 150Z

G06F13/10 310B

G06F13/10 330B

G06F12/0815

G06F12/0868

G06F3/06 301A

【請求項の数】 15

(21)【出願番号】P 2021559910

(86)(22)【出願日】2020-04-08

(65)【公表番号】

(43)【公表日】2022-05-25

(86)【国際出願番号】 US2020027228

(87)【国際公開番号】W WO2020210329

(87)【国際公開日】2020-10-15

【審査請求日】2023-03-15

(31)【優先権主張番号】16/380,856

(32)【優先日】2019-04-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】591025439

【氏名又は名称】ザイリンクス インコーポレイテッド

【氏名又は名称原語表記】ＸＩＬＩＮＸ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ダスティダール，ジャディブ

(72)【発明者】

【氏名】アーマド，サグヒーア

【審査官】漆原 孝治

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０３４４６２９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０３０１１２０（ＵＳ，Ａ１）

【文献】特開２０１７－０２１８３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／５０

Ｇ０６Ｆ １３／１０

Ｇ０６Ｆ １２／０８１５

Ｇ０６Ｆ １２／０８６８

Ｇ０６Ｆ ３／０６

(57)【特許請求の範囲】

【請求項1】

ドメイン支援プロセッサ（ＤＡＰ）と、
ドメインアクセラレータと、
ゲートウェイと
を備える周辺Ｉ／Ｏデバイスであって、
前記ゲートウェイは、当該周辺Ｉ／Ｏデバイスをコヒーレント相互接続プロトコルを使用してホストに通信可能に結合させるように構成され、前記コヒーレント相互接続プロトコルは、前記ＤＡＰが前記ホスト内のプロセッサのピアプロセッサであるように、前記ホスト内のコヒーレントドメインを当該周辺Ｉ／Ｏデバイスへと拡張し、
前記ゲートウェイは、
プロセッサ機能を実行するように前記ＤＡＰに命令する第１の要求を、前記コヒーレント相互接続プロトコルを使用して前記ホストから受信し、
アクセラレータタスクを実行するように前記ドメインアクセラレータに命令する第２の要求を、前記コヒーレント相互接続プロトコルを使用して前記ホストから受信する
ように構成されている、周辺Ｉ／Ｏデバイス。

【請求項2】

前記ＤＡＰは、少なくとも１つの処理コアと、オペレーティングシステムとを備え、前記オペレーティングシステムは、組み込みの独立したオペレーティングシステムおよび前記ホスト内のオペレーティングシステムの拡張の少なくとも一方である、請求項１に記載の周辺Ｉ／Ｏデバイス。

【請求項3】

前記処理コアによって使用される命令セットアーキテクチャ（ＩＳＡ）は、前記ホスト内の前記プロセッサによって使用されるＩＳＡとは異なる、請求項２に記載の周辺Ｉ／Ｏデバイス。

【請求項4】

プログラマブル論理アレイ
をさらに備え、
前記ドメインアクセラレータの少なくとも一部分は、前記プログラマブル論理アレイによって実行される、請求項１に記載の周辺Ｉ／Ｏデバイス。

【請求項5】

前記ドメインアクセラレータの少なくとも一部分は、硬化回路上で実行される、請求項４に記載の周辺Ｉ／Ｏデバイス。

【請求項6】

前記ゲートウェイと前記ドメインアクセラレータとを通信可能に結合するネットワークオンチップ（ＮｏＣ）
をさらに備える、請求項１に記載の周辺Ｉ／Ｏデバイス。

【請求項7】

前記ゲートウェイは、前記周辺Ｉ／Ｏデバイス内にＩ／Ｏドメインおよび前記コヒーレントドメインを確立するように構成されたハイブリッドゲートウェイである、請求項１に記載の周辺Ｉ／Ｏデバイス。

【請求項8】

前記ゲートウェイは、前記ＤＡＰおよび前記ドメインアクセラレータの両方に通信可能に結合したエンドポイントコヒーレント相互接続を備える、請求項１に記載の周辺Ｉ／Ｏデバイス。

【請求項9】

前記ゲートウェイは、前記エンドポイントコヒーレント相互接続と前記ＤＡＰおよび前記ドメインアクセラレータとの間に通信可能に結合したキャッシュを備える、請求項８に記載の周辺Ｉ／Ｏデバイス。

【請求項10】

ホスト内のＣＰＵ－メモリ複合体を含むコヒーレントドメインが、周辺Ｉ／Ｏデバイス内のＤＡＰまで広がる場合において、前記ホストの前記ＣＰＵ－メモリ複合体から前記周辺Ｉ／Ｏデバイス内の前記ＤＡＰへとオフロードされるプロセッサ機能を特定するステップと、
コヒーレント相互接続プロトコルを使用して、前記ＤＡＰに、前記プロセッサ機能を実行し、得られたデータを前記コヒーレントドメイン内のメモリ要素に格納するように命令するステップと、
前記コヒーレント相互接続プロトコルを使用して、前記周辺Ｉ／Ｏデバイス内のドメインアクセラレータに、前記ホストのためのアクセラレータタスクを実行するときに前記得られたデータを処理するように命令するステップと、
前記ドメインアクセラレータにおける前記アクセラレータタスクの実行から得られたデータを受信するステップと
を含む方法。

【請求項11】

前記ＤＡＰは、少なくとも１つの処理コアと、オペレーティングシステムとを備え、前記オペレーティングシステムは、組み込みの独立したオペレーティングシステムおよび前記ホスト内のオペレーティングシステムの拡張の少なくとも一方である、請求項１０に記載の方法。

【請求項12】

前記ドメインアクセラレータの少なくとも一部分は、プログラマブル論理アレイによって実行される、請求項１０に記載の方法。

【請求項13】

前記ＤＡＰと前記ホスト内のＣＰＵとが、同じキャッシュコヒーレント共有メモリマルチプロセッサパラダイムの一部である、請求項１０に記載の方法。

【請求項14】

前記ホスト内のＩ／Ｏデバイスドライバを使用して、前記周辺Ｉ／Ｏデバイス内のＩ／Ｏドメインに割り当てられた計算リソースに、Ｉ／Ｏタスクを実行するように命令するステップ
をさらに含む、請求項１０に記載の方法。

【請求項15】

コヒーレントドメイン内のＣＰＵ－メモリ複合体を備えているホストと、
周辺Ｉ／Ｏデバイスと
を備えており、
前記周辺Ｉ／Ｏデバイスは、
ＤＡＰと、
ドメインアクセラレータと、
ゲートウェイと
を備え、
前記ゲートウェイは、前記周辺Ｉ／Ｏデバイスをコヒーレント相互接続プロトコルを使用して前記ホストに通信可能に結合させるように構成され、前記コヒーレント相互接続プロトコルは、前記ＤＡＰを含むように前記ホスト内の前記コヒーレントドメインを拡張し、
前記ゲートウェイは、
プロセッサ機能を実行するように前記ＤＡＰに命令する前記ホストからの第１の要求を受信し、
アクセラレータタスクを実行するように前記ドメインアクセラレータに命令する前記ホストからの第２の要求を受信する
ように構成されている、コンピューティングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本開示の例は、一般に、ドメイン支援プロセッサとドメイン特化アクセラレータとを有する周辺デバイスに関する。

【背景技術】

【0002】

背景技術
従来のＩ／Ｏモデルにおいて、ホストコンピューティングシステムは、周辺Ｉ／Ｏデバイスに固有のカスタムＩ／Ｏデバイスドライバを使用して、アクセラレータタスクまたは機能を実行するときに周辺Ｉ／Ｏデバイスとインターフェースする。複数のＩ／Ｏデバイスまたは同じＩ／Ｏデバイスの複数のインスタンスを有することは、ホストが複数のＩ／Ｏデバイスドライバまたは同じＩ／Ｏデバイスドライバの複数の実行コピーとインターフェースすることを意味する。これは、Ｉ／Ｏデバイスドライバが通常は周辺Ｉ／Ｏデバイスを供給するベンダによって開発されるが、ホストコンピューティングシステム内のすべてのソフトウェアおよびハードウェアと統合されなければならないがゆえに、セキュリティおよび信頼性の問題をもたらす可能性がある。

【0003】

一方で、ハードウェアキャッシュコヒーレント共有メモリマルチプロセッサパラダイムは、マルチプロセッサＣＰＵ上の実行タスクまたは機能におけるインターフェースの一般的な命令セットアーキテクチャ（ＩＳＡ）に依存しないモデルを活用する。インターフェースの一般的なＩＳＡ非依存（例えば、Ｃコード）モデルは、処理ユニットの数およびそれらの処理ユニットにとって利用可能な共有メモリの量の両方に関してスケーリングされる。従来において、周辺Ｉ／Ｏデバイスは、ホストコンピューティングシステム上で実行されるＣＰＵによって使用されるコヒーレントパラダイムの恩恵を受けることが不可能であった。

【発明の概要】

【課題を解決するための手段】

【0004】

発明の概要
周辺デバイスにおいてドメイン支援プロセッサを動作させるための技術が説明される。一例は、ドメイン支援プロセッサ（ＤＡＰ）と、ドメインアクセラレータと、ゲートウェイとを含む周辺Ｉ／Ｏデバイスであり、ゲートウェイは、コヒーレント相互接続プロトコルを使用して周辺Ｉ／Ｏデバイスをホストに通信可能に結合させるように構成され、コヒーレント相互接続プロトコルは、ＤＡＰがホスト内のプロセッサに対するピアプロセッサであるように、ホスト内のコヒーレントドメインを周辺Ｉ／Ｏデバイスへと拡張する。ゲートウェイは、プロセッサ機能を実行するようにＤＡＰに命令する第１の要求を、コヒーレント相互接続プロトコルを使用してホストから受信し、アクセラレータタスクを実行するようにドメインアクセラレータに命令する第２の要求を、コヒーレント相互接続プロトコルを使用してホストから受信するように構成される。

【0005】

いくつかの実施形態において、ＤＡＰは、少なくとも１つの処理コアと、オペレーティングシステムとを備え、オペレーティングシステムは、組み込みの独立したオペレーティングシステムおよびホスト内のオペレーティングシステムの拡張の少なくとも一方である。

【0006】

いくつかの実施形態において、処理コアによって使用される命令セットアーキテクチャ（ＩＳＡ）は、ホスト内のプロセッサによって使用されるＩＳＡとは異なる。

【0007】

いくつかの実施形態において、周辺Ｉ／Ｏデバイスは、プログラマブル論理アレイを含み、ドメインアクセラレータの少なくとも一部分は、プログラマブル論理アレイによって実行される。

【0008】

いくつかの実施形態において、ドメインアクセラレータの少なくとも一部分は、硬化回路上で実行される。

【0009】

いくつかの実施形態において、周辺Ｉ／Ｏデバイスは、ゲートウェイとドメインアクセラレータとを通信可能に結合するネットワークオンチップ（ＮｏＣ）を含む。

【0010】

いくつかの実施形態において、ゲートウェイは、周辺Ｉ／Ｏデバイス内にＩ／Ｏドメインおよびコヒーレントドメインを確立するように構成されたハイブリッドゲートウェイである。

【0011】

いくつかの実施形態において、ゲートウェイは、ＤＡＰおよびドメインアクセラレータの両方に通信可能に結合したエンドポイントコヒーレント相互接続を備える。

【0012】

いくつかの実施形態において、ゲートウェイは、エンドポイントコヒーレント相互接続とＤＡＰおよびドメインアクセラレータとの間に通信可能に結合したキャッシュを含む。

【0013】

別の例は、ホスト内のＣＰＵ－メモリ複合体を含むコヒーレントドメインが、周辺Ｉ／Ｏデバイス内のＤＡＰまで広がる場合において、ホストのＣＰＵ－メモリ複合体から周辺Ｉ／Ｏデバイス内のＤＡＰへとオフロードされるプロセッサ機能を特定するステップと、コヒーレント相互接続プロトコルを使用して、ＤＡＰに、プロセッサ機能を実行し、得られたデータをコヒーレントドメイン内のメモリ要素に格納するように命令するステップと、コヒーレント相互接続プロトコルを使用して、周辺Ｉ／Ｏデバイス内のドメインアクセラレータに、ホストのためのアクセラレータタスクを実行するときに、得られたデータを処理するように命令するステップと、ドメインアクセラレータにおけるアクセラレータタスクの実行から得られたデータを受信するステップとを含む方法である。

【0014】

いくつかの実施形態において、ＤＡＰは、少なくとも１つの処理コアと、オペレーティングシステムとを備え、オペレーティングシステムは、組み込みの独立したオペレーティングシステムおよびホスト内のオペレーティングシステムの拡張の少なくとも一方である。

【0015】

いくつかの実施形態において、ドメインアクセラレータの少なくとも一部分は、プログラマブル論理アレイによって実行される。

【0016】

いくつかの実施形態においては、ＤＡＰとホスト内のＣＰＵとが、同じキャッシュコヒーレント共有メモリマルチプロセッサパラダイムの一部である。

【0017】

いくつかの実施形態において、本方法は、ホスト内のＩ／Ｏデバイスドライバを使用して、周辺Ｉ／Ｏデバイス内のＩ／Ｏドメインに割り当てられた計算リソースに、Ｉ／Ｏタスクを実行するように命令するステップを含む。

【0018】

別の例は、コヒーレントドメイン内のＣＰＵ－メモリ複合体を備えているホストと、周辺Ｉ／Ｏデバイスとを含むコンピューティングシステムであり、周辺Ｉ／Ｏデバイスは、ドメイン支援プロセッサと、ドメインアクセラレータと、ゲートウェイとを含み、ゲートウェイは、周辺Ｉ／Ｏデバイスをコヒーレント相互接続プロトコルを使用してホストに通信可能に結合させるように構成され、コヒーレント相互接続プロトコルは、ホスト内のコヒーレントドメインをＤＡＰを含むように拡張する。ゲートウェイは、周辺Ｉ／Ｏデバイスをコヒーレント相互接続プロトコルを使用してホストに通信可能に結合させるように構成され、コヒーレント相互接続プロトコルは、ホスト内のコヒーレントドメインをＤＡＰを含むように拡張する。ゲートウェイは、プロセッサ機能を実行するようにＤＡＰに命令するホストからの第１の要求を受信し、アクセラレータタスクを実行するようにドメインアクセラレータに命令するホストからの第２の要求を受信するように構成される。

【0019】

図面の簡単な説明
上記の特徴を詳細に理解することができるように、上記で簡単に要約したさらに具体的な説明を、一部が添付の図面に示されているいくつかの例示的な実装形態を参照することによって得ることができる。しかしながら、添付の図面は、典型的な例示の実装形態を示しているにすぎず、したがってその範囲を限定するものと見なされるべきではないことに留意されたい。

【図面の簡単な説明】

【0020】

【図1】一例によるドメイン支援プロセッサとドメイン特化アクセラレータとを含む周辺Ｉ／Ｏデバイスに結合したホストのブロック図である。

【図2】一例によるハイブリッドゲートウェイを有する周辺Ｉ／Ｏデバイスのブロック図である。

【図3】一例によるドメイン支援プロセッサおよびドメイン特化アクセラレータにタスクを割り当てるためのフローチャートである。

【図4A】一例によるドメイン支援プロセッサおよびドメイン特化アクセラレータに接続されたエンドポイントコヒーレント相互接続を有するゲートウェイのブロック図である。

【図4B】一例によるドメイン支援プロセッサおよびドメイン特化アクセラレータに接続されたキャッシュを有するゲートウェイのブロック図である。

【図5】一例によるＩ／Ｏドメインおよびコヒーレントドメインを有する周辺Ｉ／Ｏデバイスに結合したホストのブロック図である。

【図6】一例によるＩ／Ｏドメインおよびコヒーレントドメインに論理的に分割されたプログラマブル論理回路、メモリ、およびネットワークオンチップを有する周辺Ｉ／Ｏデバイスのブロック図である。

【図7】一例によるプログラマブルＩＣのフィールドプログラマブルゲートアレイの実装形態を示している。

【発明を実施するための形態】

【0021】

発明を実施するための形態
さまざまな特徴が、図面を参照して以下に説明される。図面は、縮尺どおりに描かれていても、縮尺どおりに描かれていなくてもよく、同様の構造または機能の要素は、図面全体を通して同様の参照番号で表されていることに、留意されたい。図面は、特徴の説明を容易にすることのみを意図していることに留意されたい。それらは、本明細書の網羅的な説明として意図されているわけでも、特許請求の範囲の技術的範囲に対する限定として意図されているわけでもない。さらに、図示された例は、必ずしも示されたすべての態様または利点を有する必要はない。特定の例に関連して説明される態様または利点は、必ずしもその例に限定されず、任意の他の例において実施することが、たとえそのように示されていなくても、あるいはそのように明示的に説明されていなくても、可能である。

【0022】

本明細書における例は、ホストコンピューティングシステム内のＣＰＵおよびメモリと同じコヒーレントドメインにあるドメイン支援プロセッサ（ＤＡＰ）およびドメイン固有アクセラレータ（ＤＳＡ）を有する周辺Ｉ／Ｏデバイスを説明する。上述したように、周辺Ｉ／Ｏデバイスは、これまでは、ホストコンピューティングシステム内のハードウェアリソースを有するキャッシュコヒーレント共有メモリマルチプロセッサパラダイムに参加することが不可能であった。結果として、軽量で一般的なプロセッサ機能（例えば、ｇｚｉｐ、オープンソース暗号ライブラリ、オープンソースネットワークスイッチ、などのオープンソース機能）のためのドメイン支援処理が、ホスト内のＣＰＵリソースを使用して実行されるか、あるいは（例えば、ＦＰＧＡ内のプログラマブル論理回路を使用して）周辺Ｉ／Ｏデバイス内に特別な処理システムを用意することによって実行されている。しかしながら、軽量なプロセッサ機能を実行するためにホスト内のＣＰＵを使用することは、これらのＣＰＵを重量機能を実行するために利用することができないことを意味し、電力も浪費する。さらに、ＦＰＧＡに特別な処理システムを設けることは、（軽量なプロセッサ機能とは異なるタスクである）アクセラレータタスクを実行するためにＦＰＧＡにおいて利用可能なプログラマブル論理回路が少なくなることを意味する。

【0023】

本明細書における実施形態は、本来であればホスト内のハードウェアリソースによって実行され、あるいは周辺Ｉ／Ｏデバイス内の特別な処理システムによって実行される軽量なプロセッサ機能を実行するために、周辺Ｉ／Ｏデバイス内のＤＡＰを使用する。一実施形態において、ＤＡＰは、オペレーティングシステムを実行するプロセッサを含むプロセッササブシステムである。周辺コヒーレント相互接続を使用することにより、周辺Ｉ／Ｏデバイス内のＤＡＰが、ホストコンピューティングシステム内のハードウェアリソースと同じコヒーレントドメインを共有することが可能になる。周辺コヒーレント相互接続がない場合、ＤＡＰは、ホスト内の計算リソースにとって眺めることができない埋め込みシステムになる。その場合、ホストは、Ｉ／Ｏデバイスドライバを介さなければＤＡＰと通信することができない。ＤＡＰをホストコンピューティングシステム内のハードウェアリソースと同じコヒーレントドメインに追加することによって、ＤＡＰは、ホストコンピューティングシステム内のＣＰＵのピアになる。換言すると、ＤＡＰおよびホストＣＰＵは両方とも、ホストコンピューティングシステム内の同じオペレーティングシステム（ＯＳ）またはカーネルによって管理される。結果として、ホスト内のＯＳまたはカーネルは、どの軽量なプロセッサ機能を周辺Ｉ／Ｏデバイス内のＤＡＰへとオフロードすることができるのか、およびどの機能をホストコンピューティングシステム内のＣＰＵによって実行すべきかを、インテリジェントに決定することができる。

【0024】

一実施形態において、ＯＳは、周辺Ｉ／Ｏデバイス内のＤＳＡに割り当てられたアクセラレータタスクの一部であるプロセッサ機能をオフロードする。一例として、ＯＳは、圧縮データファイルを解凍するためにｇｚｉｐ機能を実行するように、ＤＡＰに命令することができる。次いで、ＯＳは、解凍されたデータにおいて単語または句の検索を実行するように、ＤＳＡに命令することができる。この例において、ホスト内のＣＰＵが最初にｇｚｉｐ機能を実行する必要がなく、むしろＯＳは、ｇｚｉｐ機能およびアクセラレータタスク（例えば、単語の検索）の両方の実行を周辺Ｉ／Ｏデバイスにオフロードすることができる。

【0025】

図１が、一例によるドメイン支援プロセッサとドメイン特化アクセラレータとを含む周辺Ｉ／Ｏデバイスに結合したホストのブロック図である。図１のコンピューティングシステム１００は、ＰＣＩｅ接続１３０を使用して周辺Ｉ／Ｏデバイス１３５に通信可能に結合したホスト１０５を含む。ホスト１０５は、単一のコンピュータ（例えば、サーバ）または相互接続された複数の物理的なコンピューティングシステムを表すことができる。いずれの場合も、ホスト１０５は、オペレーティングシステム（ＯＳ）１１０と、複数のＣＰＵ １１５と、メモリ１２０とを含む。ＯＳ １１０は、本明細書に記載の機能を実行することができる任意のＯＳであってよい。一実施形態において、ＯＳ １１０（あるいは、ハイパーバイザまたはカーネル）は、ＣＰＵ １１５およびメモリ１２０（ＣＰＵ－メモリ複合体と呼ばれる）のためのキャッシュコヒーレント共有メモリマルチプロセッサパラダイムを確立する。換言すると、ＣＰＵ １１５およびメモリ１２０は、キャッシュコヒーレント共有メモリマルチプロセッサパラダイムに従うコヒーレントドメインを形成するようにＯＳによって管理される（または、カーネル／ハイパーバイザによって管理される）。しかしながら、上述したように、従来のＩ／Ｏモデルは、周辺Ｉ／Ｏデバイス１３５（および、そのすべての計算リソース）が、ホスト１０５において確立されるコヒーレントドメインから除外されることを意味する。従来のモデルにおいて、ホスト１０５は、Ｉ／Ｏデバイス１３５内の計算リソースの管理およびＩ／Ｏデバイス１３５内の計算リソースとの通信のために、自身のメモリ１２０に格納されたＩ／Ｏデバイスドライバ１２５のみに依存する。すなわち、周辺Ｉ／Ｏデバイス１３５は、Ｉ／Ｏデバイスドライバ１２５によって制御され、Ｉ／Ｏデバイスドライバ１２５を介してアクセス可能である。

【0026】

本明細書の実施形態において、コヒーレント共有メモリマルチプロセッサパラダイムは、このパラダイムのすべての性能上の利点、ソフトウェアの柔軟性、および少ないオーバーヘッドと共に、周辺Ｉ／Ｏデバイス１３５に拡張される。さらに、Ｉ／Ｏデバイス１３５内の計算リソースをＣＰＵ １１５およびメモリ１２０と同じコヒーレントドメインに追加することにより、ホスト１０５内のハードウェアリソースが周辺Ｉ／Ｏデバイス１３５内のハードウェアリソースとは異なるＩＳＡを使用することができる汎用のＩＳＡ非依存の開発環境が可能になる。すなわち、計算システムはＩＳＡに依存しない。しかしながら、他の実施形態において、コヒーレント共有メモリマルチプロセッサパラダイムは、ホスト１０５およびＩ／Ｏデバイス１３５の両方のハードウェアリソースが、異なるＩＳＡではなく同じＩＳＡを使用することを必要とする場合がある。

【0027】

図１に示されるように、周辺Ｉ／Ｏデバイス１３５は、コヒーレント相互接続プロトコルを使用してホスト１０５のＣＰＵ １１５およびメモリ１２０を含むコヒーレントドメインを周辺Ｉ／Ｏデバイス１３５へと拡張するコヒーレントゲートウェイ１４０を含む。すなわち、Ｉ／Ｏデバイス１３５内のＤＡＰ １４５およびＤＳＡ １５０が、ＣＰＵ １１５およびメモリ１２０と同じコヒーレントドメインを共有する。結果として、ＤＡＰ １４５は、ホスト１０５内のＣＰＵ １１５とのピアプロセッサである。一実施形態において、ＣＰＵ １１５およびＤＡＰ １４５は両方とも、ホスト１０５上で実行されるＯＳ １１０あるいはカーネルまたはハイパーバイザによって管理される。さらに、キャッシュコヒーレント共有メモリマルチプロセッサパラダイムは、ＯＳ １１０が近接度に基づいてタスクの割り当てに関するインテリジェントな決定を行うことができる非均一メモリアクセス（ＮＵＭＡ）属性の使用を可能にすることができる。すなわち、ＮＵＭＡ属性を使用して、ＯＳ １１０は、ＣＰＵ １１５がホストコンピューティングシステム１０５上にメモリ１２０と一緒に位置する一方で、ＤＡＰ １４５（および、周辺Ｉ／Ｏデバイス１３５内の任意の関連のメモリ）がＩ／Ｏデバイス１３５内に位置していることを、知ることができる。すなわち、ＣＰＵ １１５およびＤＡＰ １４５は、ピアであるが、システム内のメモリへの近接度が異なっており、したがってレイテンシが異なる可能性がある。このように、ＯＳ １１０は、ＣＰＵ １１５およびＤＡＰ １４５の位置および近接度に基づいて、タスクをシステム内のさまざまなメモリ要素にインテリジェントに割り当てることができる。

【0028】

ＤＡＰ １４５は、自身のＯＳ １５５を備える。一実施形態において、ＯＳ １５５は、独立した組み込みＯＳである。しかしながら、別の実施形態において、共有メモリマルチプロセッサパラダイムは、ＯＳ １５５がホスト１０５内のＯＳ １１０と同じであること、またはＯＳ １１０のサブセットであることのいずれかを可能にする。例えば、ＯＳ １５５は、周辺デバイス１３５上のメモリおよび計算リソースを管理するＯＳ １１０の拡張であってよい。

【0029】

ＯＳ １５５が独立したＯＳであるか、ＯＳ １１０の一部または拡張であるかにかかわらず、ＤＡＰ １４５がホスト１０５内のＯＳ １１０によって管理されるがゆえに、ＯＳ １１０がＯＳ １５５にタスクを提出することができ、次いでＯＳ １５５がＤＡＰ １４５内のハードウェア要素を制御してタスクを完了させる。例えば、ＤＡＰ １４５は、ＡＲＭプロセッサであってよいが、ｘ ８６またはＰｏｗｅｒＰＣ（登録商標）などの別のタイプのＩＳＡを使用するプロセッサであってもよい。いずれの場合も、ＤＡＰ １４５およびＯＳ １５５は、本来であればＣＰＵ １１５または周辺Ｉ／Ｏデバイス１３５内の特別な処理システム（例えば、Ｉ／Ｏデバイス１３５がＦＰＧＡである場合には、プログラマブル論理（ＰＬ）を使用する）によって実行される必要がある一般的な機能を実行することができる。一実施形態において、ＤＡＰ １４５はＣＰＵであるが、その計算能力はホスト１０５内のＣＰＵ １１５よりはるかに低くてもよい。さらに、ＤＡＰ １４５は、単一または複数の処理コア（例えば、複数のＡＲＭコア）を含むことができ、ＯＳ １５５を格納するローカルＤＤＲメモリなどのローカルメモリを含むことができる。従来のモデルにおいて、ＯＳ １５５は、ホスト１０５上のＯＳ １１０にとって不透明または不可視である。すなわち、ＯＳ １１０は、Ｉ／Ｏデバイス１３５の全体を全体として眺めるにすぎず、Ｉ／Ｏデバイス１３５にさまざまなタイプのハードウェア要素のどれが存在するかを知ることがない。コヒーレントゲートウェイ１４０およびコヒーレント相互接続プロトコルを追加することにより、ＯＳ １１０は、ＤＡＰ １４５をＣＰＵ １１５のピアプロセッサとして眺めることができる。ＯＳ １１０は、ＤＡＰ １４５における利用可能な計算リソース（または、利用可能な計算時間）および利用可能なローカルメモリの有無、Ｉ／Ｏデバイス１３５内およびホスト１０５内のメモリ要素に対するＤＡＰ １４５の近接度、ならびにＤＡＰ １４５をホスト１０５と同じコヒーレントドメインに追加することによって可能になる他の利点を判断することができる。

【0030】

ＤＳＡ １５０は、ホスト１０５に関するアクセラレーションタスクを実行するアクセラレータである。一実施形態において、ＤＳＡ １５０は、ホスト１０５およびＤＡＰ １４５と同じコヒーレントドメインの一部であるが、これは要件ではない。例えば、ＤＳＡ １５０は、ＯＳ １１０によって管理されるのではなく、Ｉ／Ｏデバイスドライバ１２５によって管理されるＩ／Ｏドメインに割り当てられてもよい。さらに別の実施形態においては、ＤＳＡ １５０内のハードウェア要素の一部が、コヒーレントドメインに割り当てられ（ＯＳ／カーネルによって管理され）る一方で、ＤＳＡ １５０内のハードウェア要素の残りの部分は、Ｉ／Ｏドメインに割り当てられ（Ｉ／Ｏデバイスドライバ１２５によって管理され）てもよい。

【0031】

ＤＳＡ １５０は、硬化回路、プログラマブル回路（例えば、ＰＬ）、またはそれらの組み合わせを含むことができる。例えば、ＤＳＡ １５０は、専用処理要素（例えば、積和演算器またはデータ処理エンジンのアレイ）またはグラフィックス処理装置（ＧＰＵ）を含むことができる。ＤＳＡ １５０は、複数の構成可能ブロックを有するＰＬアレイを含むことができる。さらに、ＤＳＡ １５０は、専用処理要素（例えば、データ処理エンジンのアレイ）とＰＬとの混合を含むことができる。

【0032】

図２が、一例によるハイブリッドゲートウェイを有する周辺Ｉ／Ｏデバイスのブロック図である。簡略化のために、ホスト１０５内のさまざまなハードウェアおよびソフトウェア要素は図示されていない。周辺Ｉ／Ｏデバイス１３５は、デバイス１３５内のハードウェア要素をコヒーレントドメインおよびＩ／Ｏドメインに論理的に分割することを可能にするハイブリッドゲートウェイ２０５を含む。ハードウェア要素をこれらのドメインに分割するさまざまなやり方は、後述される。

【0033】

ホスト１０５のコヒーレントドメインを周辺Ｉ／Ｏデバイス１３５に拡張するために、ハイブリッドゲートウェイは、コヒーレンシ相互接続プロトコルを使用する。例えば、ハイブリッドゲートウェイ２０５は、コヒーレントドメインを形成するために、アクセラレータ用キャッシュコヒーレント相互接続（ＣＣＩＸ）を使用することができる。ＣＣＩＸは、異種混合システムアーキテクチャのためのキャッシュコヒーレントフレームワークを提供する高性能チップ間相互接続アーキテクチャである。ＣＣＩＸは、カーネルによって管理されたセマンティクスを周辺機器にもたらす。キャッシュコヒーレンシが、ホスト１０５上のＣＰＵと、任意の数の周辺Ｉ／Ｏデバイス上に配置されてよいシステム内の他のさまざまなアクセラレータとの間で、常に自動的に維持される。しかしながら、ホスト１０５内のコヒーレントドメインを周辺Ｉ／Ｏデバイス１３５内の計算リソースを含むように拡張するために、ＱｕｉｃｋＰａｔｈ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＱＰＩ）またはＯｍｎｉ－ＰａｔｈなどのＣＣＩＸ以外のコヒーレント相互接続プロトコルが使用されてもよい。

【0034】

ハイブリッドゲートウェイ２０５は、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）エンドポイント２１０と、ＤＡＰ １４５とを含む。ＰＣＩｅエンドポイント２１０は、ハイブリッドゲートウェイ２０５がＰＣＩｅ通信技術を使用してホスト１０５との間でデータを転送することを可能にする。例えば、Ｉ／Ｏドメインのトラフィックおよびコヒーレントドメインのトラフィックを、同じＰＣＩｅ接続（１つ以上）を使用して転送することができる。一実施形態において、どのデータパケットがＩ／Ｏドメインのトラフィックであり、どのデータパケットがコヒーレントドメインのトラフィックであるかを示すために、特別なヘッダまたはヘッダ値を使用することができる。

【0035】

図２において、ハイブリッドゲートウェイ２０５は、ＰＬアレイ２１５およびネットワークオンチップ（ＮｏＣ）２２０に通信可能に結合している。ＰＬアレイ２１５は、ホスト１０５によって提供されるアクセラレータタスクを実行するＤＳＡ １５０を含む。例えば、ＤＳＡ １５０を、機械学習タスク、暗号化アクセラレーション、圧縮／解凍タスク、デジタルまたはアナログ処理タスク、グラフィックアクセラレーション、シミュレーション、などを実行するように（ＰＬを使用して）構成することができる。さらに、上述したように、ＤＳＡ １５０は、ＰＬのみ、硬化回路のみ、または硬化回路とＰＬとの混合を使用して実装されてよい。

【0036】

一実施形態において、ＮｏＣ ２２０は、Ｉ／Ｏデバイス１３５内のハードウェア要素（例えば、ＤＳＡ １５０、メモリ要素、ハイブリッドゲートウェイ２０５、など）がデータを送信および受信することを可能にするインターフェース要素を含む。一実施形態においては、ＮｏＣ ２２０を形成するためにＰＬを使用するのではなく、ＮｏＣ ２２０を形成する構成要素の一部または全部が硬化される。いずれの場合も、後でさらに詳しく説明されるように、ＮｏＣ ２２０をＩ／Ｏドメインとコヒーレントドメインとの間で論理的に分割することができる。

【0037】

図２において、周辺Ｉ／Ｏデバイス１３５は、付属メモリ２３０に結合している。付属メモリ２３０は、周辺デバイス１３５を形成する集積回路（例えば、システムオンチップ（ＳｏＣ））とは別個の集積回路であってよい。Ｉ／Ｏデバイス１３５は、高速バスを使用して付属メモリ２３０に通信可能に結合することができる。しかしながら、付属メモリ２３０の使用は任意である。さらに、周辺Ｉ／Ｏデバイス１３５は、内部メモリ要素（および、内部メモリコントローラ）を含んでもよい。

【0038】

付属メモリ２３０は、デバイスドライバ管理メモリ２３５およびコヒーレントメモリ２４０を含む。デバイスドライバ管理メモリ２３５が、ホスト１０５内のＩ／Ｏデバイスドライバ（図示せず）によって管理される一方で、コヒーレントメモリ２４０は、ホスト１０５内のＯＳ／カーネル／ハイパーバイザ（やはり図２には図示せず）によって管理される。したがって、デバイスドライバ管理メモリ２３５がＩ／Ｏドメインの一部である一方で、コヒーレントメモリ２４０はコヒーレントドメインの一部である。結果として、Ｉ／Ｏドメインに割り当てられた周辺Ｉ／Ｏデバイス１３５内のハードウェア要素は、デバイスドライバ管理メモリ２３５と通信することができるが、コヒーレントメモリ２４０と通信することはできず、一方で、コヒーレントドメインに割り当てられたハードウェア要素は、コヒーレントメモリ２４０と通信することができるが、デバイスドライバ管理メモリ２３５と通信することはできない。

【0039】

図３が、ＤＡＰおよびＤＳＡにタスクを割り当てるための一例による方法３００のフローチャートである。ブロック３０５において、ホスト内のＯＳ（あるいは、ホスト内のカーネルまたはハイパーバイザ）は、周辺Ｉ／Ｏデバイス内のＤＡＰへとオフロードされ得る軽量で汎用のプロセッサ機能を特定する。一実施形態において、ＤＡＰは、ヘビーな機能の実行（例えば、サーバデータベースアプリケーションまたはイーサネット（登録商標）ＴＣＰ／ＩＰソフトウェアスタックの実行）には適さないが、軽量なプロセッサ機能を実行することができる。一実施形態において、これらの軽量なプロセッサ機能は、オープンソースライブラリまたは業界標準ソフトウェアアプリケーションである。ＤＡＰに適した軽量なプロセッサ機能の例として、圧縮／解凍アルゴリズム（例えば、ｇｚｉｐ）またはデータプレーンネットワークルーティングを実行するときの二次処理が挙げられる。これらの機能は、ホスト内のＣＰＵ－メモリ複合体よりもむしろＤＡＰに適しているかもしれない。

【0040】

一実施形態において、ＤＡＰへとオフロードされるプロセッサ機能は、ＤＳＡに割り当てられるアクセラレータタスクに関する。一実施形態において、軽量なプロセッサ機能の実行時にＤＡＰによって生成されたデータは、次いでＤＳＡへと送信され、アクセラレータタスクを実行するときに処理される。例えば、ＯＳ内のスケジューラが、１００ ＭＢの非圧縮データファイルをもたらす２ ＭＢのファイルを解凍するように、ＤＡＰに命令することができる。次いで、ＤＡＳは、非圧縮データについてアクセラレータタスク（例えば、検索）を実行することができる。この場合、アクセラレータタスクは、ＤＡＰによって実行される軽量な機能に対するデータ依存性を有する。

【0041】

一実施形態において、ＤＡＰへとオフロードされるプロセッサ機能は、ＤＡＰおよびＤＳＡ上のタスクのスケジューリングを担当するＯＳ １１０のサブセットである軽量なＯＳスケジューラモジュールである。一実施形態において、軽量なＯＳスケジューラは、ＤＡＰにオフロードされた利用可能な機能のうちのどれが、ＤＡＰによって実行されるべき次のプロセッサ機能としてディスパッチされるかを決定する。別の実施形態において、軽量なＯＳスケジューラは、ＤＡＰによって完了された利用可能なデータ依存機能のうちのどれが、ＤＳＡによって実行されるべき次のタスクとしてディスパッチされるかを決定する。

【0042】

ブロック３１０において、ホスト内のＯＳは、コヒーレント相互接続プロトコルを使用して、機能を実行し、得られたデータをコヒーレントメモリに格納するように、ＤＡＰに命令する。ホストおよびＩ／Ｏデバイスの少なくとも一部が、同じコヒーレントドメイン内にあるため、ホスト内のＯＳは、コヒーレント相互接続プロトコル（例えば、ＣＣＩＸ、ＱＰＩ、またはＯｍｎｉ－Ｐａｔｈ）を使用して、軽量な機能を実行するようにＤＡＰに対して命令することにより、Ｉ／Ｏデバイスドライバをバイパスすることができる。すべてのハードウェア要素がホストと同じコヒーレントドメインに割り当てられている場合、ホストは、インストールされたＩ／Ｏデバイスドライバを有さない（例えば、Ｉ／Ｏデバイス内にＩ／Ｏドメインが存在しないため、Ｉ／Ｏデバイスドライバは必要とされない）可能性がある。

【0043】

ＯＳは、キャッシュコヒーレント共有メモリマルチプロセッサパラダイム内の既知のツールのいずれかを使用して、ＤＡＰに命令をもたらすことができる。例えば、ＤＡＰはホスト内のＣＰＵに対するピアプロセッサであるため、ＯＳは、ホスト内のＣＰＵで使用するものと同じセマンティクスを使用してＤＡＰを通信および管理することができる。これらのセマンティクスは、セマフォ、ドアベル、暗黙的更新、などを含むことができる。

【0044】

ＯＳは、軽量な機能の実行の結果を特定のメモリに格納するようにＤＡＰに命令することができる。ＮＵＭＡ属性を使用して、ＯＳは、システム内のメモリ要素（ホスト内、周辺Ｉ／Ｏデバイス内、および付属メモリ内のメモリ要素を含むことができる）に対するＤＡＰの近接度を知ることができる。データがアクセラレータタスクを実行するためにＤＳＡによって使用されるように意図されている場合、ＯＳは、データをＩ／Ｏデバイス内または付属メモリ内のいずれかのメモリ要素に格納するようにＤＡＰに命令することができ、これは、ホストにデータを格納するよりも低いレイテンシを提供することができるためである。しかしながら、ＤＡＰによって実行される軽量な機能が、ＤＳＡに割り当てられたアクセラレータタスクに関係しない場合、ＯＳは、得られたデータをホストに格納するようにＤＡＰに命令することができる（例えば、ホスト内のＣＰＵがデータを必要とする場合）。

【0045】

ブロック３１５において、ＯＳは、コヒーレント相互接続プロトコルを使用して、ＤＡＰによって格納されたデータを処理するようにＤＳＡに命令する。この例においては、ＤＡＰによって生成されたデータとＤＡＳによって実行されるアクセラレータタスクとの間に、データ依存性が存在する。一実施形態において、ＯＳは、ＤＳＡによる処理のための準備が整ったデータを有する旨のＤＡＰからの準備完了信号を待つように、ＤＳＡに命令する。上記の例を使用すると、ひとたびＤＡＰが圧縮データの解凍を完了したならば、ＤＡＰは、解凍データの格納場所をＤＳＡに通知することができ、したがってＤＳＡがデータを（例えば、ＮｏＣを使用して）を取り出し、アクセラレータタスクを実行することができる。

【0046】

ブロック３２０において、ホストは、ＤＳＡ上のアクセラレータタスクの実行からの結果を受信する。ＤＳＡはコヒーレントドメインの一部であってよいため、Ｉ／Ｏデバイスは、ゲートウェイおよびコヒーレント相互接続プロトコルを使用して、アクセラレータ機能の実行の一部としてＤＳＡによって生成されたデータを、ホストに転送することができる。次いで、ＯＳは、アクセラレータタスクが完了し、得られたデータをメモリ内で見つけることができることを、ホスト内のＣＰＵに通知することができる。

【0047】

図４Ａは、一例によるＤＡＰ １４５およびＤＳＡ １５０に接続されたエンドポイントコヒーレント相互接続４０５を有するハイブリッドゲートウェイ２０５のブロック図である。ＤＡＰ １４５は、ホスト１０５内のＣＰＵ－メモリ複合体と同じコヒーレントドメインの一部である。したがって、すべてのリソースをＯＳまたはカーネルで管理することができ、共有メモリマルチプロセッサパラダイムは、例えばＩ／Ｏデバイス１３５などのアクセラレータへと拡張される。しかしながら、コヒーレント相互接続プロトコルの使用は、ホスト１０５およびＤＡＰ １４５が異なるＩＳＡを有することができるように、共有メモリマルチプロセッサモデルも可能にする。さらに、ＤＳＡ １５０は、ＰＬドメイン特化アダプティブコンピュータ４１５に接続され、例えばホスト１０５のＩＳＡまたはＤＡＰ １５０のＩＳＡの特定のサブセットを実行するカスタムプロセッサ、あるいはＰＬアレイ２１５内のＰＬを使用して実装されてもよいカスタムプロセッサに接続される。一実施形態において、ＰＬドメイン特化アダプティブコンピュータ４１５は、ＰＬ ＤＡＰであり、計算効率を向上させるためにプログラマブル論理回路において特定のサブセットＩＳＡまたはカスタムＩＳＡを実行する柔軟性を提供する。

【0048】

図４Ａは、ＤＳＡ １５０（やはりコヒーレントドメインに割り当てられる）が同じエンドポイントコヒーレント相互接続４０５を介して接続されたＤＡＰ １４５を有する第１のＤＳＡ／ＤＡＰ接続形態を示している。図４Ｂは、図４Ｂが第２の異なるＤＳＡ／ＤＡＰ接続形態を示していることを除いて、図４Ａに示したＩ／Ｏデバイス１３５と同様である。図４Ｂにおいては、ＤＳＡ １５０およびＤＡＰ １４５の両方が、ＤＳＡ処理前およびＤＳＡ処理後の低レイテンシのデータアクセスのために、共有キャッシュ４２０に接続されている。

【0049】

一実施形態においては、ホスト１０５内のＣＰＵ－メモリ複合体と同じコヒーレントドメインの共有に加えて、図４Ａおよび図４Ｂに示されるＩ／Ｏデバイス１３５は、例えば、ホストメモリから／ホストメモリへの前処理されたアクセラレータデータフットプリントまたは後処理されたフットプリントのいずれかのデータ移動など、従来のＩ／Ｏデバイスドライバ管理モデルを介したデータ移動も可能にする。さらに、ハイブリッドゲートウェイ２０５は、ゲートウェイ２０５内のハードウェア要素（例えば、ＰＣＩｅエンドポイント２１０およびエンドポイントコヒーレント相互接続４０５）とＮｏＣ ２２０との間の通信を容易にするゲートウェイＮｏＣ ４１０を含む。

【0050】

図５は、一例によるＩ／Ｏドメインおよびコヒーレントドメインを有する周辺Ｉ／Ｏデバイス１３５に結合したホスト１０５のブロック図である。図５のコンピューティングシステム５００は、ＰＣＩｅ接続５３０を使用して周辺Ｉ／Ｏデバイス１３５に通信可能に結合したホスト１０５（例えば、図１のホスト１０５）を含む。上述のように、ＣＰＵ １１５およびメモリ１２０は、キャッシュコヒーレント共有メモリマルチプロセッサパラダイムに従うコヒーレントドメインを形成するようにＯＳによって管理される（または、カーネル／ハイパーバイザによって管理される）。従来のＩ／Ｏモデルでは、周辺Ｉ／Ｏデバイス１３５（および、そのすべての計算リソース５５０）は、ホスト１０５において確立されるコヒーレントドメインから除外される。従来のモデルにおいて、ホスト１０５は、Ｉ／Ｏデバイス１３５内の計算リソース５５０の管理について、自身のメモリ１２０に格納されたＩ／Ｏデバイスドライバ１２５に依存する。すなわち、周辺Ｉ／Ｏデバイス１３５は、Ｉ／Ｏデバイスドライバ１２５によって制御され、Ｉ／Ｏデバイスドライバ１２５を介してアクセス可能である。

【0051】

計算リソース５５０Ｃおよび５５０Ｄがコヒーレントドメイン５６０に論理的に割り当てられる一方で、計算リソース５５０Ａおよび５５０ＢはＩ／Ｏドメイン５４５に割り当てられる。したがって、Ｉ／Ｏデバイス１３５は、両方のドメイン５４５、５６０に割り当てられた計算リソース５５０を有することから利益を得る。Ｉ／Ｏドメイン５４５が、ホスト１０５とＩ／Ｏデバイス１３５との間で大規模なメモリ転送を行うときに効率を提供する一方で、コヒーレントドメイン５６０は、上述した性能上の利点、ソフトウェアの柔軟性、およびオーバーヘッドの低減を提供する。ハードウェア計算リソース５５０（例えば、プログラマブル論理回路、ネットワークオンチップ（ＮｏＣ）、データ処理エンジン、および／またはメモリ）をＩ／Ｏドメイン５４５およびコヒーレントドメイン５６０に論理的に分割することによって、Ｉ／Ｏデバイス１３５は、両方のタイプのパラダイムからの利益を得ることができる。

【0052】

ホスト１０５がＩ／Ｏデータトラフィックおよびコヒーレントデータトラフィックの両方を送信および受信できるように、周辺Ｉ／Ｏデバイス１３５は、ＰＣＩｅ接続５３０上で受信したデータをＩ／Ｏデータトラフィックおよびコヒーレントデータトラフィックに分離するハイブリッドゲートウェイ２０５を含む。Ｉ／Ｏデータトラフィックが、Ｉ／Ｏドメイン５４５内の計算リソース５５０Ａおよび５５０Ｂに転送される一方で、コヒーレントデータトラフィックは、コヒーレントドメイン５６０内の計算リソース５５０Ｃおよび５５０Ｄに転送される。一実施形態において、ハイブリッドゲートウェイ２０５は、Ｉ／Ｏドメイン５４５内の計算リソース５５０がコヒーレントドメイン５６０内の計算リソース５５０と並列に動作できるように、Ｉ／Ｏデータトラフィックおよびコヒーレントデータトラフィックを並列に処理することができる。すなわち、ホスト１０５は、Ｉ／Ｏドメイン５４５およびコヒーレントドメイン５６０の両方の計算リソース５５０にタスクを割り当てることができ、Ｉ／Ｏドメイン５４５およびコヒーレントドメイン５６０の両方の計算リソース５５０が、それらのタスクを並列に実行することができる。

【0053】

周辺Ｉ／Ｏデバイス１３５は、（ホスト１０５の拡張スロットに差し込まれる）差込式カード、ＳｏＣ、ＧＰＵ、ＦＰＧＡ、などの多数のさまざまなタイプのＩ／Ｏデバイスであってよい。本明細書の実施形態は、計算リソース５５０を２つのドメインに分割することを論じているが、他の実施形態においては、ハイブリッドゲートウェイ２０５を、さらなるドメインあるいはＩ／Ｏドメイン５４５およびコヒーレントドメイン５６０内の複数のサブドメインをサポートするように変更することができる。

【0054】

図６が、Ｉ／Ｏドメイン５４５およびコヒーレントドメイン５６０に論理的に分割されたＰＬアレイ２１５、メモリブロック６２０、およびＮｏＣ ２２０を有する一例による周辺Ｉ／Ｏデバイス１３５のブロック図である。この例において、ＰＬアレイ２１５は、複数のＰＬブロック６１０から形成されている。これらのブロックを、Ｉ／Ｏドメイン５４５またはコヒーレントドメイン５６０に個別に割り当てることができる。すなわち、ＰＬブロック６１０Ａ、６１０ＢがＩ／Ｏドメイン５４５に割り当てられる一方で、ＰＬブロック６１０Ｃ、６１０Ｄはコヒーレントドメイン５６０に割り当てられる。一実施形態においては、ブロック間に重複がない（例えば、いかなるＰＬブロック６１０も、Ｉ／Ｏドメインおよびコヒーレントドメインの両方に割り当てられることがない）ように、Ｉ／Ｏドメインに割り当てられたＰＬブロック６１０のセットは、コヒーレントドメインに割り当てられたＰＬブロック６１０のセットと相互に排他的である。一実施形態においては、ＰＬブロック６１０Ａおよび６１０Ｂを、Ｉ／Ｏドメイン５４５内にＤＳＡを形成するために使用することができる一方で、ＰＬブロック６１０Ｃおよび６１０Ｄは、コヒーレントドメイン５６０内にＤＳＡを形成するために使用される。

【0055】

一実施形態において、Ｉ／Ｏドメイン５４５またはコヒーレントドメイン５６０のいずれかへのハードウェアリソースの割り当ては、Ｉ／Ｏデバイス１３５内のハードウェアリソースの物理的な位置に影響を及ぼさない（または、Ｉ／Ｏデバイス１３５内のハードウェアリソースの物理的な位置を指示しない）。例えば、ＰＬブロック６１０Ａおよび６１０Ｃは、たとえこれらのブロックがＰＬアレイ２１５内で互いに隣接している場合でも、異なるドメインに割り当てられてよい。したがって、Ｉ／Ｏデバイス１３５内のハードウェアリソースの物理的な位置は、それらをＩ／Ｏドメイン５４５およびコヒーレントドメイン５６０に論理的に割り当てるときに考慮されてよいが、これは必ずしも必須ではない。

【0056】

さらに、Ｉ／Ｏデバイス１３５は、Ｉ／Ｏドメイン６４５およびコヒーレントドメイン６６０に割り当てられたメモリコントローラ６１５を含む。一実施形態においては、メモリコントローラ６１５と対応するメモリブロック６２０との間の物理的な相互接続ゆえに、メモリコントローラ６１５のうちの１つをＩ／Ｏドメイン５４５またはコヒーレントドメイン５６０のいずれかに割り当てることは、そのメモリコントローラ６１５に接続されたすべてのメモリブロック６２０も同じドメインに割り当てられることを意味する。例えば、メモリコントローラ６１５を、（他のいずれのメモリコントローラ６１５にも結合していない）メモリブロック６２０の固定のセットに結合させることができる。したがって、メモリブロック６２０を、それらの結合先のメモリコントローラ６１５と同じドメインに割り当てることができる。しかしながら、他の実施形態においては、同じメモリコントローラ６１５に結合したメモリブロック６２０を異なるドメインに割り当てることが可能であってよい。

【0057】

一実施形態において、ＮｏＣ ２２０は、Ｉ／Ｏデバイス１３５内のハードウェア要素（例えば、構成可能データ処理エンジン、メモリブロック６２０、ＰＬブロック６１０、など）がＮｏＣ ２２０を使用してデータを送信および受信することを可能にするインターフェース要素を含む。一実施形態においては、ＮｏＣ ２２０を形成するためにプログラマブル論理回路を使用するのではなく、ＮｏＣを形成する構成要素の一部または全部が硬化される。いずれの場合も、ＮｏＣ ２２０を、Ｉ／Ｏドメイン５４５とコヒーレントドメイン５６０との間で論理的に分割することができる。一実施形態においては、ＮｏＣ ２２０の異なる部分を２つのドメインに割り当てる代わりに、ＮｏＣのパラメータが、Ｉ／Ｏドメイン５４５およびコヒーレントドメイン５６０に対応するデータトラフィックに異なるサービスレベルを提供するように構成される。すなわち、ＮｏＣ ２２０を流れる両方のドメインのデータトラフィックが、同じハードウェア要素（例えば、スイッチおよび通信リンク）を使用できるが、ハードウェア要素による取り扱いが異なってよい。例えば、ＮｏＣ ２２０は、２つの異なるドメインに対して、異なるサービス品質（ＱｏＳ）、レイテンシ、帯域幅を提供することができる。さらに、ＮｏＣ ２２０は、セキュリティ上の理由で、Ｉ／Ｏドメイン５４５のトラフィックをコヒーレントドメイン５６０のトラフィックから分離することもできる。

【0058】

別の実施形態において、ＮｏＣ ２２０は、Ｉ／Ｏドメイン５４５内の計算リソースがコヒーレントドメイン５６０内の計算リソースと通信することを防ぐことができる。しかしながら、一実施形態においては、Ｉ／Ｏドメイン５４５に割り当てられた計算リソースがコヒーレントドメイン５６０に割り当てられた計算リソースと通信することを可能にすることが、有利であり得る。これまでは、この通信は、Ｉ／Ｏデバイスドライバ１２５とホスト１０５内のＯＳとの間で行われていた。代わりに、ＮｏＣ ２２０（計算リソースがデバイス１３５内で遠く離れている場合）またはＰＬアレイ２１５内のファブリックツーファブリック接続（２つの異なるドメインに割り当てられた２つのＰＬブロック６１０が互いに近く、かつ通信を必要とする場合）を使用して、Ｉ／Ｏデバイス１３５内でドメイン間通信を行うことができる。

【0059】

図７が、Ｉ／Ｏ周辺デバイス１３５、より具体的には図２のＰＬアレイ２１５を有するＩ／Ｏ周辺デバイスについて、多数の異なるプログラマブルタイルを含むＦＰＧＡ ７００による実装形態を示しており、これらのプログラマブルタイルは、トランシーバ３７、ＣＬＢ ３３、ＢＲＡＭ ３４、入力／出力ブロック（「ＩＯＢ」）３６、構成およびクロッキング論理回路（「ＣＯＮＦＩＧ／ＣＬＯＣＫＳ」）４２、ＤＳＰブロック３５、専用入力／出力ブロック（「ＩＯ」）４１（例えば、構成ポートおよびクロックポート）、ならびにデジタルクロックマネージャ、アナログデジタル変換器、システム監視論理回路、などのその他のプログラマブル論理回路３９を含む。ＦＰＧＡは、ＰＣＩｅインターフェース４０、アナログ－デジタル変換器（ＡＤＣ）３８、などをさらに含むことができる。

【0060】

いくつかのＦＰＧＡにおいて、各々のプログラマブルタイルは、図７の上部に含まれる例によって示されるように、同じタイル内のプログラマブル論理要素の入力および出力端子４８への接続を有する少なくとも１つのプログラマブル相互接続要素（「ＩＮＴ」）４３を含むことができる。各々のプログラマブル相互接続要素４３は、同じタイルまたは他のタイル内の隣接するプログラマブル相互接続要素の相互接続セグメント４９への接続をさらに含むことができる。各々のプログラマブル相互接続要素４３は、論理ブロック（図示せず）間の汎用ルーティングリソースの相互接続セグメント５０への接続をさらに含むことができる。汎用ルーティングリソースは、相互接続セグメント（例えば、相互接続セグメント５０）のトラックを含む論理ブロック（図示せず）と、相互接続セグメントを接続するためのスイッチブロック（図示せず）との間のルーティングチャネルを含むことができる。汎用ルーティングリソースの相互接続セグメント（例えば、相互接続セグメント５０）は、１つ以上の論理ブロックにまたがることができる。プログラマブル相互接続要素４３は、汎用ルーティングリソースと共に、図示のＦＰＧＡのためのプログラマブル相互接続構造（「プログラマブル相互接続」）を実装する。

【0061】

例示的な実装形態において、ＣＬＢ ３３は、ユーザ論理回路を実装するようにプログラムすることができる構成可能論理要素（「ＣＬＥ」）４４と、単一のプログラマブル相互接続要素（「ＩＮＴ」）４３とを含むことができる。ＢＲＡＭ ３４は、１つ以上のプログラマブル相互接続要素に加えて、ＢＲＡＭ論理要素（「ＢＲＬ」）４５を含むことができる。一実施形態において、ＢＲＡＭ ３４は、再構成の際に格納済みのデータを保持することができるメモリの一部である。典型的には、タイルに含まれる相互接続要素の数は、タイルの高さに依存する。図示の例において、ＢＲＡＭタイルは、５つのＣＬＢと同じ高さを有するが、他の数（例えば、４）を使用することも可能である。ＤＳＰブロック３５は、適切な数のプログラマブル相互接続要素に加えて、ＤＳＰ論理要素（「ＤＳＰＬ」）４６を含むことができる。ＩＯＢ ３６は、例えば、プログラマブル相互接続要素４３の１つのインスタンスに加えて、入力／出力論理要素（「ＩＯＬ」）４７の２つのインスタンスを含むことができる。当業者にとって明らかであるとおり、例えばＩＯ論理要素４７に接続される実際のＩＯパッドは、通常は、入力／出力論理要素４７の領域に限定されない。

【0062】

図示の例では、（図７に示される）ダイの中心付近の水平領域は、構成、クロック、および他の制御論理回路に使用される。この水平領域または列から延びる垂直列５１は、ＦＰＧＡの広がりを横切ってクロックおよび構成信号を分配するために使用される。

【0063】

図７に示されるアーキテクチャを利用するいくつかのＦＰＧＡは、ＦＰＧＡの大部分を構成する規則的な列構造を乱す追加の論理ブロックを含む。追加の論理ブロックは、プログラマブルブロックおよび／または専用論理回路であってよい。

【0064】

図７が、例示的なＦＰＧＡアーキテクチャのみを示すことを意図していることに、留意されたい。例えば、行における論理ブロックの数、行の相対幅、行の数および順序、行に含まれる論理ブロックの種類、論理ブロックの相対サイズ、ならびに図７の上部に含まれる相互接続／論理回路の実装形態は、例示にすぎない。例えば、実際のＦＰＧＡにおいては、ユーザ論理の効率的な実装形態を容易にするために、通常は、ＣＬＢが現れるあらゆる場所に２つ以上の隣接するＣＬＢ行が含まれるが、隣接するＣＬＢ行の数は、ＦＰＧＡの全体サイズにつれて変化する。

【0065】

上記では、本開示に提示された実施形態が参照されている。しかしながら、本開示の範囲は、特定の記載された実施形態に限定されない。代わりに、記載された特徴および要素の任意の組み合わせが、異なる実施形態に関係していても、あるいはそのようでなくても、想定される実施形態を実装および実施するために想定される。さらに、本明細書に開示された実施形態は、他の可能な解決策または先行技術を超える利点を達成することができるが、所与の実施形態によって特定の利点が達成されるか否かは、本開示の範囲を限定するものではない。したがって、前述の態様、特徴、実施形態および利点は、あくまでも例示であり、特許請求の範囲に明示的に記載されている場合を除いて、添付の特許請求の範囲の要素または限定とは見なされない。

【0066】

当業者であれば理解できるとおり、本明細書に開示される実施形態は、システム、方法、またはコンピュータプログラム製品として具現化可能である。したがって、いくつかの態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む）、あるいはソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとることができ、これらはすべて、本明細書において「回路」、「モジュール」、または「システム」と一般的に呼ばれ得る。さらに、いくつかの態様は、コンピュータ可読プログラムコードが具現化された１つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとることができる。

【0067】

１つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、あるいはこれらの任意の適切な組み合わせであってよいが、これらに限られるわけではない。コンピュータ可読記憶媒体のより具体的な例（これですべてではないリスト）は、下記、すなわち１つ以上の配線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせを含むと考えられる。本明細書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって使用され、あるいはこれらに関連して使用されるプログラムを含み、あるいは格納することができる任意の有形の媒体である。

【0068】

コンピュータ可読信号媒体は、例えばベースバンドにおいて、または搬送波の一部として、コンピュータ可読プログラムコードが具現化された伝搬データ信号を含むことができる。そのような伝搬信号は、これらに限られるわけではないが電磁気、光学、またはそれらの任意の適切な組み合わせを含むさまざまな形態のいずれかをとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって使用され、あるいはこれらに関連して使用されるプログラムを伝達し、伝播させ、あるいは運ぶことができる任意のコンピュータ可読媒体であってよい。

【0069】

コンピュータ可読媒体上に具現化されたプログラムコードを、これらに限られるわけではないが無線、有線、光ファイバケーブル、ＲＦなど、またはこれらの任意の適切な組み合わせを含む任意の適切な媒体を使用して伝送することができる。

【0070】

本開示の態様のための動作を実行するためのコンピュータプログラムコードを、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、などのオブジェクト指向プログラミング言語、ならびに「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせで記述することができる。プログラムコードを、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行することができる。後者の状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、あるいは接続は外部コンピュータへと（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行われてもよい。

【0071】

本開示の態様は、本開示に提示された実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して以下で説明される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組み合わせを、コンピュータプログラム命令によって実現できることを、理解できるであろう。これらのコンピュータプログラム命令を、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供して、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されることで、フローチャートおよび／またはブロック図の１つ以上のブロックに指定された機能／動作を実現するための手段が生み出されるように、マシンを生成することができる。

【0072】

さらに、これらのコンピュータプログラム命令は、これらの命令がコンピュータ可読媒体に格納されることで、フローチャートおよび／またはブロック図の１つ以上のブロックに指定された機能／動作を実現する命令を含む製造物が生み出されるように、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに特定のやり方で機能するように指示することができるコンピュータ可読媒体に格納されてよい。

【0073】

さらに、コンピュータプログラム命令を、これらの命令がコンピュータまたは他のプログラマブル装置上で実行されることで、フローチャートおよび／またはブロック図の１つ以上のブロックに指定された機能／動作を実現するためのプロセスがもたらされるように、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードして、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させ、コンピュータによって実現されるプロセスを生み出すことができる。

【0074】

図面におけるフローチャートおよびブロック図は、本発明のさまざまな例によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実現するための１つ以上の実行可能命令を含むモジュール、セグメント、または命令の一部を表すことができる。いくつかの代替の実装形態において、ブロックに記載された機能は、図面に記載された順序以外の順序で行われてもよい。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよく、あるいはブロックは、場合によっては、関連する機能に応じて、逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせを、指定された機能または動作を実行し、あるいは専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアに基づくシステムによって実装できることに留意されたい。

【0075】

上記は特定の例を対象としているが、その基本的な範囲から逸脱することなく、他のさらなる例を考案することができ、その範囲は、以下の特許請求の範囲によって決定される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】