特許 7570997 ＳＯＣアーキテクチャの分解

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】ＳＯＣアーキテクチャの分解

(51)【国際特許分類】

   H01L 25/04 20230101AFI20241015BHJP

   H01L 25/18 20230101ALI20241015BHJP

   G06F 15/78 20060101ALI20241015BHJP

【ＦＩ】

H01L25/04 Z

G06F15/78 570

G06F15/78 520

【請求項の数】 19

【外国語出願】

(21)【出願番号】P 2021173122

(22)【出願日】2021-10-22

(62)【分割の表示】P 2021546776の分割

【原出願日】2020-01-23

(65)【公開番号】P2022070229

(43)【公開日】2022-05-12

【審査請求日】2023-01-17

(31)【優先権主張番号】16/355,377

(32)【優先日】2019-03-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】593096712

【氏名又は名称】インテル コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】マタム，ナヴィーン

(72)【発明者】

【氏名】チェニー，ランス

(72)【発明者】

【氏名】フィンリー，エリック

(72)【発明者】

【氏名】ジョージ，ヴァーギーズ

(72)【発明者】

【氏名】ジャハジルダール，サンジーヴ

(72)【発明者】

【氏名】コケル，アルトゥーグ

(72)【発明者】

【氏名】マストロナルデ，ジョシュ

(72)【発明者】

【氏名】ラージワニ，イクバル

(72)【発明者】

【氏名】ストリラマッサルマ，ラクシュミナラヤナン

(72)【発明者】

【氏名】テショミ，メラク

(72)【発明者】

【氏名】ヴェムラパッリ，ヴィクラント

(72)【発明者】

【氏名】ザビエル，ビノージ

【審査官】坂東 博司

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０３０７８６３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２００６７２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２８１３７８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０１０２２５１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１４７２９１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０１Ｌ ２５／０４

Ｇ０６Ｆ １５／７８

(57)【特許請求の範囲】

【請求項1】

複数のチップレット及び複数のインターコネクト構造を有するパッケージアセンブリを有し、
前記複数のチップレットは、
ブリッジインターコネクト及びインターコネクト構造へ結合された第１ベースチップレットに配置される第１チップレットであり、前記第１ベースチップレットが、インターコネクトファブリックと、メモリから出し入れされるデータをキャッシュする第１の複数のレベル３（Ｌ３）キャッシュバンクとを含む、前記第１チップレットと、
前記ブリッジインターコネクトを介して前記第１ベースチップレットに結合されている第２ベースチップレットに配置される第２チップレットと、
第２の複数のＬ３キャッシュバンクを含む第３チップレットであり、３Ｄ配置で前記第１ベースチップレット上にスタックされて、前記インターコネクト構造を介して前記第１ベースチップレットに結合されている前記第３チップレットと
を含む、
装置。

【請求項2】

前記第２の複数のＬ３キャッシュバンクは、ＳＲＡＭキャッシュバンクである、
請求項１に記載の装置。

【請求項3】

命令を実行する１つ以上の実行ユニットが前記第１チップレット又は前記第１ベースチップレットに含まれ、
前記１つ以上の実行ユニットは、前記ブリッジインターコネクトを介して前記第２チップレットへ結合される、
請求項１に記載の装置。

【請求項4】

前記第２チップレットは、１つ以上の追加チップレットへ結合するよう入出力（Ｉ／Ｏ）チップレットを有する、
請求項１に記載の装置。

【請求項5】

前記第２チップレットは、前記ブリッジインターコネクトを介して前記第３チップレットへ結合される、
請求項４に記載の装置。

【請求項6】

前記複数のチップレットのうちの１つ以上は、当該チップレットのための動的な電圧及び周波数スケーリングを設定する電力制御ロジックを更に有する、
請求項１に記載の装置。

【請求項7】

前記複数のチップレットの各チップレットは、独立したクロックドメイン及び独立した電力ドメインを有する、
請求項６に記載の装置。

【請求項8】

前記複数のチップレットのうちの少なくとも１つは、複数の処理コアを有する、
請求項１乃至７のうちいずれか一項に記載の装置。

【請求項9】

前記第３チップレットは、前記第１ベースチップレットに接着される、
請求項８に記載の装置。

【請求項10】

前記第３チップレットは、メモリチップレットである、
請求項８に記載の装置。

【請求項11】

メモリチップレットと、
複数のチップレット及び複数のインターコネクト構造を有するパッケージアセンブリを含むプロセッサと
を有し、
前記複数のチップレットは、
ブリッジインターコネクト及びインターコネクト構造へ結合された第１ベースチップレットに配置される第１チップレットであり、前記第１ベースチップレットが、インターコネクトファブリックと、メモリから出し入れされるデータをキャッシュする第１の複数のレベル３（Ｌ３）キャッシュバンクとを含む、前記第１チップレットと、
前記ブリッジインターコネクトを介して前記第１ベースチップレットへ結合されている第２ベースチップレットに配置される第２チップレットと、を含み、
前記メモリチップレットは、第２の複数のＬ３キャッシュバンクを含む第３チップレットを有し、前記第３チップレットは、３Ｄ配置で前記第１ベースチップレット上にスタックされて、前記インターコネクト構造を介して前記第１ベースチップレットに結合されている、
システム。

【請求項12】

前記第２の複数のＬ３キャッシュバンクは、ＳＲＡＭキャッシュバンクである、
請求項１１に記載のシステム。

【請求項13】

命令を実行する１つ以上の実行ユニットが前記第１チップレット又は前記第１ベースチップレットに含まれ、
前記１つ以上の実行ユニットは、前記ブリッジインターコネクトを介して前記第２チップレットへ結合される、
請求項１１に記載のシステム。

【請求項14】

前記第２チップレットは、１つ以上の追加チップレットへ結合するよう入出力（Ｉ／Ｏ）チップレットを有する、
請求項１１に記載のシステム。

【請求項15】

前記第２チップレットは、前記ブリッジインターコネクトを介して前記第３チップレットへ結合される、
請求項１４に記載のシステム。

【請求項16】

前記複数のチップレットのうちの１つ以上は、当該チップレットのための動的な電圧及び周波数スケーリングを設定する電力制御ロジックを更に有する、
請求項１１に記載のシステム。

【請求項17】

前記複数のチップレットの各チップレットは、独立したクロックドメイン及び独立した電力ドメインを有する、
請求項１６に記載のシステム。

【請求項18】

前記複数のチップレットのうちの少なくとも１つは、複数の処理コアを有する、
請求項１１乃至１７のうちいずれか一項に記載のシステム。

【請求項19】

前記第３チップレットは、前記第１ベースチップレットに接着される、
請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
本願は、２０１９年３月１５日付けで出願された米国特許出願第１６／３５５３７７号に基づく優先権の利益を主張する。先の米国特許出願は、その全文を参照により本願に援用される。

【0002】

［分野］
実施形態は、概して、汎用グラフィクス及び並列処理ユニットの設計及び製造に関係がある。

【背景技術】

【0003】

現在の並列グラフィクスデータ処理は、例えば、線形補間、テッセレーション、ラスタライズ、テクスチャマッピング、デプステスト、などのような特定の動作をグラフィクスデータに対して実行するために開発されたシステム及び方法を含む。従来、グラフィクスプロセッサは、グラフィクスデータを処理するために固定機能計算ユニットを使用したが、より最近では、グラフィクスプロセッサの部分がプログラム可能になっており、頂点及びフラグメントデータを処理するためのより様々な動作をサポートすることをそのようなプロセッサに可能にする。

【0004】

性能を更に向上させるために、グラフィクスプロセッサは、通常は、グラフィクスパイプラインの異なる部分にわたって可能な限り多くのグラフィクスデータを並列に処理しようと試みるパイプライン化などの処理技術を実装する。ＳＩＭＴ（single instruction, multiple thread）アーキテクチャを備えた並列グラフィクスプロセッサは、グラフィクスパイプラインにおける並列処理の量を最大限にするよう設計される。ＳＩＭＴアーキテクチャにおいて、並列スレッドのグループは、処理効率を高めるよう可能な限り頻繁にプログラム命令を同時に一緒に実行しようと試みる。ＳＩＭＴアーキテクチャのためのソフトウェア及びハードウェアの概要は、Shane Cook, CUDA Programming Chapter 3, pages 37-51 (2013)で見つけられ得る。

【図面の簡単な説明】

【0005】

本実施形態の上記の特徴が詳細に理解され得るように、先に簡潔に要約された実施形態は、実施形態を参照して、より具体的に説明され、実施形態のいくつは、添付の図面に表される。

【0006】

【図1】本願で記載される実施形態の１つ以上の態様を実装するよう構成されたコンピュータシステムを表すブロック図である。

【図2A】実施形態に従う並列プロセッサコンポーネントを表す。

【図2B】実施形態に従う並列プロセッサコンポーネントを表す。

【図2C】実施形態に従う並列プロセッサコンポーネントを表す。

【図2D】実施形態に従う並列プロセッサコンポーネントを表す。

【図3A】実施形態に従うグラフィクスマルチプロセッサ及びマルチブロックベースＧＰＵのブロック図である。

【図3B】実施形態に従うグラフィクスマルチプロセッサ及びマルチブロックベースＧＰＵのブロック図である。

【図3C】実施形態に従うグラフィクスマルチプロセッサ及びマルチブロックベースＧＰＵのブロック図である。

【図4A】複数のＧＰＵが複数のマルチコアプロセッサへ通信可能に結合されている例示的なアーキテクチャを表す。

【図4B】複数のＧＰＵが複数のマルチコアプロセッサへ通信可能に結合されている例示的なアーキテクチャを表す。

【図4C】複数のＧＰＵが複数のマルチコアプロセッサへ通信可能に結合されている例示的なアーキテクチャを表す。

【図4D】複数のＧＰＵが複数のマルチコアプロセッサへ通信可能に結合されている例示的なアーキテクチャを表す。

【図4E】複数のＧＰＵが複数のマルチコアプロセッサへ通信可能に結合されている例示的なアーキテクチャを表す。

【図4F】複数のＧＰＵが複数のマルチコアプロセッサへ通信可能に結合されている例示的なアーキテクチャを表す。

【図5】実施形態に従うグラフィクス処理パイプラインを表す。

【図6】実施形態に従う機械学習ソフトウェアスタックを表す。

【図7】実施形態に従う汎用グラフィクス処理ユニットを表す。

【図8】実施形態に従うマルチＧＰＵコンピューティングシステムを表す。

【図9A】例示的なディープニューラルネットワークのレイヤを表す。

【図9B】例示的なディープニューラルネットワークのレイヤを表す。

【図10】例示的な回帰型ニューラルネットワークを表す。

【図11】ディープニューラルネットワークの訓練及びデプロイを表す。

【図12】分散学習を表すブロック図である。

【図13】訓練されたモデルを用いて推定を行うのに適した例示的な推定ＳＯＣ（system on chip）を表す。

【図14】実施形態に従う処理システムのブロック図である。

【図15】実施形態に従うプロセッサのブロック図である。

【図16】実施形態に従うグラフィクスプロセッサのブロック図である。

【図17】いくつかの実施形態に従うグラフィクスプロセッサのグラフィクス処理エンジンのブロック図である。

【図18】本願で記載されるいくつかの実施形態に従うグラフィクスプロセッサコアのハードウェアロジックのブロック図である。

【図19A】本願で記載される実施形態に従うグラフィクスプロセッサで用いられる処理要素のアレイを含むスレッド実行ロジックを表す。

【図19B】本願で記載される実施形態に従うグラフィクスプロセッサで用いられる処理要素のアレイを含むスレッド実行ロジックを表す。

【図20】いくつかの実施形態に従うグラフィクスプロセッサ命令フォーマットを表すブロック図である。

【図21】他の実施形態に従うグラフィクスプロセッサのブロック図である。

【図22A】いくつかの実施形態に従うグラフィクスプロセッサコマンドフォーマット及びフォーマットシーケンスを表す。

【図22B】いくつかの実施形態に従うグラフィクスプロセッサコマンドフォーマット及びフォーマットシーケンスを表す。

【図23】いくつかの実施形態に従うデータ処理システムのための例示的なグラフィクスソフトウェアアーキテクチャを表す。

【図24A】実施形態に従うＩＰコア開発システムを表すブロック図である。

【図24B】本願で記載されるいくつかの実施形態に従う集積回路パッケージアセンブリの断面側面図を表す。

【図25】実施形態に従うチップ集積回路上の例示的なシステムを表すブロック図である。

【図26A】本願で記載される実施形態に従う、ＳｏＣ内で使用される例示的なグラフィクスプロセッサを表すブロック図である。

【図26B】本願で記載される実施形態に従う、ＳｏＣ内で使用される例示的なグラフィクスプロセッサを表すブロック図である。

【図27】実施形態に従う並列計算システムを示す。

【図28A】本願で記載される実施形態に従う非凝集並列プロセッサのハイブリッド論理／物理ビューを表す。

【図28B】本願で記載される実施形態に従う非凝集並列プロセッサのハイブリッド論理／物理ビューを表す。

【図29A】実施形態に従う非凝集並列プロセッサのパッケージ図を表す。

【図29B】実施形態に従う非凝集並列プロセッサのパッケージ図を表す。

【図30】実施形態に従うインターコネクトファブリックのためのメッセージ輸送システムを表す。

【図31】インターコネクトファブリックの複数の物理リンクにわたる機能ユニット間のメッセージ又は信号の伝送を表す。

【図32】インターコネクトファブリックの単一の物理リンクにわたる複数の機能ユニットのメッセージ又は信号の伝送を表す。

【図33】非凝集並列プロセッサ内の機能ユニットのためのファブリック接続を構成する方法を表す。

【図34】非凝集並列プロセッサ内のインターコネクトファブリックにわたってメッセージ及び／又は信号を中継する方法を表す。

【図35】ワークロードごとにチップレットをパワーゲーティングする方法を表す。

【図36】交換可能なチップレットを含む並列プロセッサアセンブリを表す。

【図37】実施形態に従う交換可能チップレットシステムを表す。

【図38】実施形態に従う、仮想チャネル上で運ばれる複数のトラフィッククラスの実例である。

【図39】実施形態に従う、交換可能なチップレットのためのスロット間のアグノスティックデータ伝送の方法を表す。

【図40】実施形態に従う交換可能チップレットシステムなチップレットのためのモジュールアーキテクチャを表す。

【図41】チップレットの試験、検証、及び統合を可能にする際に使用される標準化されたシャーシインターフェースの使用を表す。

【図42】様々な製品階層を生み出すための個別的にビニングされたチップレットの使用を表す。

【図43】チップレット構成に基づいて種々の製品階層を可能にする方法を表す。

【発明を実施するための形態】

【0007】

いくつかの実施形態において、グラフィクス処理ユニット（ＧＰＵ）は、グラフィクス操作、機械学習動作、パターン解析動作、及び様々な汎用ＧＰＵ（ＧＰＧＰＵ）機能を加速させるようホスト／プロセッサコアへ通信可能に結合されている。ＧＰＵは、バス又は他のインターコネクト（例えば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速インターコネクト）を介してホストプロセッサ／コアへ通信可能に結合されてよい。他の実施形態では、ＧＰＵは、コアと同じパッケージ又はチップに集積され、内部プロセッサバス／インターコネクト（すなわち、パッケージ又はチップ内にある）を介してコアへ通信可能に結合されてもよい。ＧＰＵが接続されている様態にかかわらず、プロセッサコアは、作業記述子に含まれているコマンド／命令のシーケンスの形で作業をＧＰＵに割り当ててよい。次いで、ＧＰＵは、これらのコマンド／命令を効率的に処理するための専用の回路構成／ロジックを使用する。

【0008】

以下の記載では、多数の具体的な詳細が、より完全な理解をもたらすよう示されている。しかし、当業者に明らかなように、ここで記載される実施形態は、これらの具体的な詳細の１つ以上によらずとも実施されてよい。他の事例では、よく知られている特徴は、本実施形態の詳細を不明りょうにしないように記載されていない。

【0009】

［システム概要］
図１は、本願で記載される実施形態の１つ以上の態様を実装するよう構成されたコンピューティングシステム１００を表すブロック図である。コンピューティングシステム１００は、インターコネクションパスを介して通信する１つ以上のプロセッサ１０２及びシステムメモリ１０４を備えている処理サブシステム１０１を含む。インターコネクションパスは、メモリハブ１０５を含んでよい。メモリハブ１０５は、チップセットコンポーネント内の別個のコンポーネントであってよく、あるいは、１つ以上のプロセッサ１０２内に組み込まれてもよい。メモリハブ１０５は、通信リンク１０６を介してＩ／Ｏサブシステム１１１と結合する。Ｉ／Ｏサブシステム１１１は、１つ以上の入力デバイス１０８から入力を受けることをコンピューティングシステム１００に可能にすることができるＩ／Ｏハブ１０７を含む。更には、Ｉ／Ｏハブ１０７は、１つ以上のプロセッサ１０２に含まれ得るディスプレイコントローラが１つ以上の表示デバイス１１０Ａへ出力を供給することを可能にすることができる。一実施形態で、Ｉ／Ｏハブ１０７と結合されている１つ以上の表示デバイス１１０Ａは、ローカル、内蔵、又は埋め込み表示デバイスを含むことができる。

【0010】

一実施形態で、処理サブシステム１０１は、バス又は他の通信リンク１１３を介してメモリハブ１０５へ結合されている１つ以上の並列プロセッサ１１２を含む。通信リンク１１３は、例えば、ＰＣＩ Ｅｘｐｒｅｓｓなどの、しかしこれに限られない任意の数の規格に基づいた通信リンク技術又はプロトコルの１つであってよく、あるいは、ベンダー固有の通信インターフェース又は通信ファブリックであってもよい。一実施形態で、１つ以上の並列プロセッサ１１２は、ＭＩＣ（many integrated core）プロセッサなどの多数の処理コア及び／又は処理クラスタを含むことができる計算的に集束した並列又はベクトル処理システムを形成する。一実施形態で、１つ以上の並列プロセッサ１１２は、Ｉ／Ｏハブ１０７を介して結合されている１つ以上の表示デバイス１１０Ａの中の１つへピクセルを出力することができるグラフィクス処理システムを形成する。１つ以上の並列プロセッサ１１２はまた、１つ以上の表示デバイス１１０Ｂへの直接接続を可能にするディスプレイコントローラ及びディスプレイインターフェース（図示せず。）も含むことができる。

【0011】

Ｉ／Ｏサブシステム１１１内で、システム記憶ユニット１１４は、コンピューティングシステム１００のための記憶メカニズムを提供するようＩ／Ｏサブシステム１１１へ接続可能である。Ｉ／Ｏスイッチ１１６は、Ｉ／Ｏハブ１０７と、プラットフォームに集積され得るネットワークアダプタ１１８及び／又は無線ネットワークアダプタ１１９などの他のコンポーネント、及び１つ以上のアドインデバイス１２０を介して追加可能な様々な他のデバイスとの間の接続を可能にするインターフェースメカニズムを提供するために使用され得る。ネットワークアダプタ１１８は、Ｅｈｔｅｒｎｅｔ（登録商標）アダプタ又は他の有線ネットワークアダプタであることができる。無線ネットワークアダプタ１１９は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（ＮＦＣ）、又は１つ以上の無線ラジオを含む他のネットワークデバイスのうちの１つ以上を含むことができる。

【0012】

コンピューティングシステム１００は、ＵＳＢ又は他のポート接続を含む、明示されていない他のコンポーネントを含むことができ、光学記憶ドライバ、ビデオ捕捉デバイス、なども、Ｉ／Ｏハブ１０７へ接続されてよい。図１で様々なコンポーネントを相互接続する通信パスは、ＰＣＩ（Peripheral Component Interconnect）に基づくプロトコル（例えば、ＰＣＩ－Ｅｘｐｒｅｓｓ）などの任意の適切なプロトコル、あるいは、ＮＶ－Ｌｉｎｋ高速インターコネクト又は当該技術で知られているインターコネクトプロトコルなどの任意の他のバス又はポイント・ツー・ポイント通信インターフェース及び／又はプロトコルを用いて実装されてもよい。

【0013】

一実施形態で、１つ以上の並列プロセッサ１１２は、例えば、ビデオ出力回路構成を含む、グラフィクス及びビデオ処理のために最適化された回路構成を組み込み、グラフィクス処理ユニット（ＧＰＵ）を構成する。他の実施形態では、１つ以上の並列プロセッサ１１２は、本願で更に詳細に記載されるように、基礎を成す計算アーキテクチャを保持しながら、汎用処理のために最適化された回路構成を組み込む。更なる他の実施形態では、コンピューティングシステム１００のコンポーネントは、単一の集積回路上で１つ以上の他のシステム要素と集積されてよい。例えば、１つ以上の並列プロセッサ１１２、メモリハブ１０５、プロセッサ１０２、及びＩ／Ｏハブ１０７は、システム・オン・チップ（ＳｏＣ）集積回路に組み込まれ得る。代替的に、コンピューティングシステム１００のコンポーネントは、システム・イン・パッケージ（ＳＩＰ）構成を形成するよう単一のパッケージに組み込まれ得る。一実施形態で、コンピューティングシステム１００のコンポーネントの少なくとも一部は、モジュールコンピューティングシステム内に他のマルチチップモジュールと相互接続され得るマルチ・チップ・モジュール（ＭＣＭ）に組み込まれ得る。

【0014】

本願で示されているコンピューティングシステム１００は実例であり、変形及び変更が可能であることが理解されるだろう。ブリッジの数及び配置、プロセッサ１０２の数、並びに並列プロセッサ１１２の数を含む接続トポロジは、望まれるように変更されてよい。例えば、いくつかの実施形態で、システムメモリ１０４は、ブリッジを通じてよりもむしろ直接にプロセッサ１０２へ接続され、一方、他のデバイスは、メモリハブ１０５及びプロセッサ１０２を介してシステムメモリ１０４と通信する。他の代替のトポロジでは、並列プロセッサ１１２は、メモリハブ１０５へよりもむしろ、Ｉ／Ｏハブ１０７へ、又は１つ以上のプロセッサ１０２の中の１つへ直接に接続される。他の実施形態では、Ｉ／Ｏハブ１０７及びメモリハブ１０５は、単一のチップに組み込まれてもよい。いくつかの実施形態は、並列プロセッサ１１２の２つ以上のインスタンスと結合することができる複数のソケットを介して取り付けられた２組以上のプロセッサ１０２を含んでもよい。

【0015】

ここで示されている特定のコンポーネントのいくつかは任意であり、コンピューティングシステム１００の全ての実施に含まれなくてもよい。例えば、任意の数のアドインカード又はペリフェラルがサポートされてよく、あるいは、いくつかのコンポーネントは削除されてもよい。更には、いくつかのアーキテクチャは、図１に表されているものと類似したコンポーネントに対して異なった用語を使用してもよい。例えば、メモリハブ１０５は、いくつかのアーキテクチャではノースブリッジと呼ばれることがあり、一方、Ｉ／Ｏハブ１０７は、サウスブリッジと呼ばれることがある。

【0016】

図２Ａは、実施形態に従う並列プロセッサ２００を表す。並列プロセッサ２００の様々なコンポーネントは、プログラム可能なプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの１つ以上の集積回路デバイスを用いて実装されてよい。表されている並列プロセッサ２００は、実施形態に従って、図１に示されている１つ以上の並列プロセッサ１１２の変形である。

【0017】

一実施形態で、並列プロセッサ２００は、並列処理ユニット２０２を含む。並列処理ユニット２０２は、並列処理ユニット２０２の他のインスタンスを含む他のデバイスとの通信を可能にするＩ／Ｏユニット２０４を含む。Ｉ／Ｏユニット２０４は、他のデバイスへ直接に接続されてよい。一実施形態で、Ｉ／Ｏユニット２０４は、メモリハブ１０５などのハブ又はスイッチインターフェースの使用により他のデバイスと接続する。メモリハブ１０５とＩ／Ｏユニット２０４との間の接続は、通信リンク１１３を形成する。並列処理ユニット２０２内で、Ｉ／Ｏユニット２０４は、ホストインターフェース２０６及びメモリクロスバー２１６と接続し、ホストインターフェース２０６は、処理動作を実行することに向けられたコマンドを受け取り、メモリクロスバー２１６は、メモリ動作を実行することに向けられたコマンドを受け取る。

【0018】

ホストインターフェース２０６がＩ／Ｏユニット２０４を介してコマンドバッファを受け取るとき、ホストインターフェース２０６は、それらのコマンドを実行するための作業操作をフロントエンド２０８へ向けることができる。一実施形態で、フロントエンド２０８はスケジューラ２１０と結合し、スケジューラ２１０は、コマンド又は他の作業項目を処理クラスタアレイ２１２へ分配するよう構成される。一実施形態で、スケジューラ２１０は、処理クラスタアレイ２１２が適切に構成され、処理クラスタアレイ２１２の処理クラスタへタスクが分配される前に有効な状態にあることを確かにする。一実施形態で、スケジューラ２１０は、マイクロコントローラで実行されるファームウェアロジックにより実装される。マイクロコントローラにより実装されたスケジューラ２１０は、処理アレイ２１２で実行されるスレッドの迅速なプリエンプション及びコンテキストスイッチングを可能にしながら、複雑なスケジューリング及び作業分配操作を粗い及び細かい粒度で実行するよう構成される。一実施形態で、ホストソフトウェアは、複数のグラフィクス処理ドアベルの中の１つにより、処理アレイ２１２に対するスケジューリングのためのワークロードを証明することができる。次いで、ワークロードは、スケジューラマイクロコントローラ内のスケジューラ２１０のロジックによって、処理アレイ２１２にわたって自動的に分配され得る。

【0019】

処理クラスタアレイ２１２は、最大“Ｎ”個までの処理クラスタ（例えば、クラスタ２１４Ａ、クラスタ２１４Ｂ、乃至クラスタ２１４Ｎ）を含むことができる。処理クラスタアレイ２１２の各クラスタ２１４Ａ～２１４Ｎは、多数の同時のスレッドを実行することができる。スケジューラ２１０は、各タイプのプログラム又は計算について生じるワークロードに応じて様々であり得る様々なスケジューリング及び／又は作業分配アルゴリズムを用いて、処理クラスタアレイ２１２のクラスタ２１４Ａ～２１４Ｎへ作業を割り当てることができる。スケジューリングは、スケジューラ２１０によって動的に処理され得るか、あるいは、処理クラスタアレイ２１２による実行のために構成されたプログラムロジックのコンパイル中にコンパイラロジックによって部分的に支援され得る。一実施形態で、処理クラスタアレイ２１２の異なるクラスタ２１４Ａ～２１４Ｎは、異なるタイプのプログラムを処理するために、及び異なるタイプの計算を実行するために、割り当てられ得る。

【0020】

処理クラスタアレイ２１２は、様々なタイプの並列処理動作を実行するよう構成され得る。一実施形態で、処理クラスタアレイ２１２は、汎用の並列計算動作を実行するよう構成される。例えば、処理クラスタアレイ２１２は、ビデオ及び／又はオーディオデータのフィルタリング、物理演算を含むモデリング動作の実行、及びデータ変形の実行を含む処理タスクを実行するためのロジックを含むことができる。

【0021】

一実施形態で、処理クラスタアレイ２１２は、並列なグラフィクス処理動作を実行するよう構成される。並列プロセッサ２００がグラフィクス処理動作を実行するよう構成されている実施形態で、処理クラスタアレイ２１２は、テッセレーションロジック及び他の頂点処理ロジックとともにテクスチャ動作を実行するテクスチャサンプリングロジックを含むがこれに限られないそのようなグラフィクス処理動作の実行をサポートする追加のロジックを含むことができる。更には、処理クラスタアレイ２１２は、頂点シェーダ、テッセレーションシェーダ、ジオメトリシェーダ、及びピクセルシェーダなどの、しかしこれらに限られないグラフィクス処理関連シェーダプログラムを実行するよう構成され得る。並列処理ユニット２０２は、データを処理のためにシステムメモリからＩ／Ｏユニット２０４を介して転送することができる。処理中、転送されたデータは、処理中にオンチップメモリ（例えば、並列プロセッサメモリ２２２）に記憶され、次いで、システムメモリへ書き込まれ得る。

【0022】

一実施形態で、並列処理ユニット２０２がグラフィクス処理を実行するために使用される場合に、スケジューラ２１０は、処理クラスタアレイ２１２の複数のクラスタ２１４Ａ～２１４Ｎへのグラフィクス処理動作の分配をより良く可能にするために、処理ワークロードをおおよそ等しいサイズのタスクに分けるよう構成され得る。いくつかの実施形態において、処理クラスタアレイ２１２の部分は、異なるタイプの処理を実行するよう構成され得る。例えば、表示のためのレンダリングされた画像を生成するために、第１部分は、頂点シェーディング及びトポロジ生成を実行するよう構成されてよく、第２部分は、テッセレーション及びジオメトリシェーディングを実行するよう構成されてよく、第３部分は、ピクセルシェーディング又は他のスクリーン空間動作を実行するよう構成されてよい。クラスタ２１４Ａ～２１４Ｎのうちの１つ以上によって生成された中間データは、中間データが更なる処理のためにクラスタ２１４Ａ～２１４Ｎの間で伝送されることを可能にするようバッファに格納されてよい。

【0023】

動作中、処理クラスタアレイ２１２は、スケジューラ２１０を介して、実行されるべき処理タスクを受け取ることができ、スケジューラ２１０は、フロントエンド２０８から、処理タスクを定義するコマンドを受け取る。グラフィクス処理動作のために、処理タスクは、処理されるべきデータのインデックス、例えば、サーフェス（パッチ）データ、プリミティブデータ、頂点データ、及びピクセルデータを、どのようにしてデータが処理されるべきか（例えば、どのようなプログラムが実行されるべきか）を定義する状態パラメータ及びコマンドとともに含むことができる。スケジューラ２１０は、タスクに対応するインデックスをフェッチするよう構成されてよく、あるいは、フロントエンド２０８からインデックスを受け取ってもよい。フロントエンド２０８は、処理クラスタアレイ２１２が、入来するコマンドバッファ（例えば、バッチバッファ、プッシュバッファ、など）によって指定されたワークロードが開始される前に有効な状態に設定されることを確かにするよう構成され得る。

【0024】

並列処理ユニット２０２の１つ以上のインスタンスの夫々は、並列プロセッサメモリ２２２と結合することができる。並列プロセッサメモリ２２２は、メモリクロスバー２１６を介してアクセスされ得る。メモリクロスバー２１６は、処理クラスタアレイ２１２及びＩ／Ｏユニット２０４からメモリリクエストを受け取ることができる。メモリクロスバー２１６は、メモリインターフェース２１８を介して並列プロセッサメモリ２２２にアクセスすることができる。メモリインターフェース２１８は、並列プロセッサメモリ２２２の部分（例えば、メモリユニット）へ夫々が結合することができる複数のパーティションユニット（例えば、パーティションユニット２２０Ａ、パーティションユニット２２０Ｂ、乃至パーティションユニット２２０Ｎ）を含むことができる。一実施において、パーティションユニット２２０Ａ～２２０Ｎの数は、メモリユニットの数に等しいよう構成され、それにより、第１パーティションユニット２２０Ａは、対応する第１メモリユニット２２４Ａを有し、第２パーティションユニット２２０Ｂは、対応するメモリユニット２２４Ｂを有し、Ｎ番目のパーティションユニット２２０Ｎは、対応するＮ番目のメモリユニット２２４Ｎを有する。他の実施形態では、パーティションユニット２２０Ａ～２２０Ｎの数は、メモリデバイスの数に等しくなくてもよい。

【0025】

様々な実施形態において、メモリユニット２２４Ａ～２２４Ｎは、グラフィクス・ダブル・データ・レート（ＧＤＤＲ）メモリを含む動的ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィクス・ランダム・アクセス・メモリ、例えば、同期グラフィクス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）を含む様々なタイプのメモリデバイスを含むことができる。一実施形態で、メモリユニット２２４Ａ～２２４Ｎは、高帯域幅メモリ（ＨＢＭ）を含むがこれに限られない３Ｄ積層メモリも含んでよい。当業者に明らかなように、メモリユニット２２４Ａ～２２４Ｎは様々であることができ、様々な従来設計のうちの１つから選択可能である。フレームバッファ又はテクスチャマップなどのレンダーターゲットは、メモリユニット２２４Ａ～２２４Ｎにわたって記憶されてよく、パーティションユニット２２０Ａ～２２０Ｎが、並列プロセッサメモリ２２２の利用可能な帯域幅を効率よく使用するよう各レンダーターゲットの部分を書き込むことを可能にする。いくつかの実施形態において、並列プロセッサメモリ２２２のローカルインスタンスは、ローカルキャッシュメモリとともにシステムメモリを利用する統合されたメモリ設計を支持して、除かれてもよい。

【0026】

一実施形態で、処理クラスタアレイ２１２のクラスタ２１４Ａ～２１４Ｎのうちのいずれか１つは、並列プロセッサメモリ２２２内のメモリユニット２２４Ａ～２２４Ｎのうちのいずれかに書き込まれることになるデータを処理することができる。メモリクロスバー２１６は、各クラスタ２１４Ａ～２１４Ｎの出力を、いずれかのパーティションユニット２２０Ａ～２２０Ｎへ、又は出力に対して追加の処理動作を実行することができる他のクラスタ２１４Ａ～２１４Ｎへ転送するよう構成され得る。各クラスタ２１４Ａ～２１４Ｎは、様々な外部メモリデバイスから読み出すために又はそれらに書き込むために、メモリクロスバー２１６を通じてメモリインターフェース２１８と通信することができる。一実施形態で、メモリクロスバー２１６は、Ｉ／Ｏユニット２０４と通信するためのメモリインターフェース２１８への接続と、並列プロセッサメモリ２２２のローカルインスタンスへの接続とを有し、異なる処理クラスタ２１４Ａ～２１４Ｎ内の処理ユニットが、並列処理ユニット２０２にとってローカルでないシステムメモリ又は他のメモリと通信することを可能にする。一実施形態で、メモリクロスバー２１６は、クラスタ２１４Ａ～２１４Ｎとパーティションユニット２２０Ａ～２２０Ｎとの間でトラフィックストリームを分離するために仮想チャネルを使用することができる。

【0027】

並列処理ユニット２０２の単一のインスタンスが並列プロセッサ２００内に表されているが、並列処理ユニット２０２の任意の数のインスタンスが含まれ得る。例えば、並列処理ユニット２０２の複数のインスタンスが、単一のアドインカードで設けられ得るか、あるいは、複数のアドインカードが相互接続され得る。並列処理ユニット２０２の異なるインスタンスは、たとえ異なるインスタンスが異なる数の処理コア、異なる量のローカル並列プロセッサメモリ、及び／又は他の構成相違点を有しているとしても、相互動作するよう構成され得る。例えば、一実施形態で、並列処理ユニット２０２のいくつかのインスタンスは、他のインスタンスよりも高い精度の浮動小数点ユニットを含むことができる。並列処理ユニット２０２又は並列プロセッサ２００の１つ以上のインスタンスを組み込むシステムは、デスクトップ、ラップトップ、若しくは携帯型パーソナルコンピュータ、サーバ、ワークステーション、ゲーム機、及び／又は埋め込み型システムを含むがこれらに限られない様々な構成及び形状因子で実装され得る。

【0028】

図２Ｂは、実施形態に従うパーティションユニット２２０のブロック図である。一実施形態で、パーティションユニット２２０は、図２Ａのパーティションユニット２２０Ａ～２２０Ｎのうちの１つのインスタンスである。表されているように、パーティションユニット２２０は、Ｌ２キャッシュ２２１、フレームバッファインターフェース２２５、及びＲＯＰ２２６（raster operations unit）を含む。Ｌ２キャッシュ２２１は、メモリクロスバー２１６及びＲＯＰ２２６から受け取られたロード及びストア動作を実行するよう構成される読み出し／書き込みキャッシュである。読み出しミス及び緊急の書き戻しサーフェスは、Ｌ２キャッシュ２２１によってフレームバッファインターフェース２２５へ処理のために出力される。アップデートも、処理のためにフレームバッファインターフェース２２５を介してフレームバッファへ送信され得る。一実施形態で、フレームバッファインターフェース２２５は、図２Ａのメモリユニット２２４Ａ～２２４Ｎ（例えば、並列プロセッサメモリ２２２内）などの並列プロセッサメモリ内のメモリユニットの中の１つとインターフェース接続する。

【0029】

グラフィクスアプリケーションでは、ＲＯＰ２２６は、ステンシル、ｚテスト、ブレンディングなどのようなラスタ動作を実行する処理ユニットである。ＲＯＰ２２６は、次いで、処理されたグラフィクスデータを出力し、処理されたグラフィクスデータは、グラフィクスメモリに記憶される。いくつかの実施形態において、ＲＯＰ２２６は、メモリに書き込まれるデプス又はカラーデータを圧縮し、メモリから読み出されるデプス又はカラーデータを圧縮解除する圧縮ロジックを含む。圧縮ロジックは、複数の圧縮アルゴリズムのうちの１つ以上を使用するロスレス圧縮ロジックであることができる。ＲＯＰ２２６によって実行される圧縮のタイプは、圧縮されるべきデータの統計特性に基づいて様々であることができる。例えば、一実施形態で、デルタカラー圧縮は、タイルごとにデプス及びカラーデータに対して実行される。

【0030】

いくつかの実施形態において、ＲＯＰ２２６は、パーティションユニット２２０内ではなく、各処理クラスタ（例えば、図２Ａのクラスタ２１４Ａ～２１４Ｎ）内に含まれる。そのような実施形態では、ピクセルデータの読み出し及び書き込みリクエストは、ピクセルフラグメントデータの代わりにメモリクロスバー２１６を介して伝送される。処理されたグラフィクスデータは、図１の１つ以上の表示デバイス１１０のうちの１つなどの表示デバイスで表示されるか、プロセッサ１０２による更なる処理のためにルーティングされるか、あるいは、図２Ａの並列プロセッサメモリ２２２内の処理エンティティのうちの１つによる更なる処理のためにルーティングされてよい。

【0031】

図２Ｃは、実施形態に従う、並列処理ユニット内の処理クラスタ２１４のブロック図である。一実施形態で、処理クラスタは、図２Ａの処理クラスタ２１４Ａ～２１４Ｎのうちの１つのインスタンスである。処理クラスタ２１４は、多くのスレッドを同時に実行するよう構成され得る。ここで、「スレッド」という用語は、特定の組の入力データに対して実行する特定のプログラムのインスタンスを指す。いくつかの実施形態において、ＳＩＭＤ（single-instruction, multiple-data）命令発行技術が、多数の独立した命令ユニットを設けずに、多数のスレッドの並列実行をサポートするために使用される。他の実施形態では、ＳＩＭＴ（single-instruction, multiple-thread）技術が、処理クラスタの各１つの中の処理エンジンの組へ命令を発行するよう構成された共通命令ユニットを使用して、多数の概ね同期されたスレッドの並列実行をサポートするために使用される。全ての処理エンジンが通常は同じ命令を実行するＳＩＭＤ実行レジームとは異なり、ＳＩＭＴ実行は、異なるスレッドが、所与のスレッドプログラムを通じて、異なる実行パスをより簡単に辿ることを可能にする。当業者であれば、ＳＩＭＤ処理レジームはＳＩＭＴ処理レジームの機能サブセットを表している、と理解するだろう。

【0032】

処理クラスタ２１４の動作は、処理タスクをＳＩＭＴ並列プロセッサに分配するパイプラインマネージャ２３２を介して制御され得る。パイプラインマネージャ２３２は、図２のスケジューラ２１０から命令を受け取り、グラフィクスマルチプロセッサ２３４及び／又はテクスチャユニット２３６によるこれらの命令の実行を管理する。表されているグラフィクスマルチプロセッサ２３４は、ＳＩＭＴ並列プロセッサの例示的なインスタンスである。しかし、異なるアーキテクチャの様々なタイプのＳＩＭＴ並列プロセッサが処理クラスタ２１４内に含まれてよい。グラフィクスマルチプロセッサ２３４の１つ以上のインスタンスが処理クラスタ２１４内に含まれ得る。グラフィクスマルチプロセッサ２３４は、データを処理することができ、データクロスバー２４０は、処理されたデータを、他のシェーダユニットを含む複数の可能なあて先のうちの１つへ分配するために使用され得る。パイプラインマネージャ２３２は、処理されたデータがデータクロスバー２４０を介して分配されるためのあて先を指定することによって、処理されたデータの分配を促すことができる。

【0033】

処理クラスタ２１４内の各グラフィクスマルチプロセッサ２３４は、同じ組の機能実行ロジック（例えば、算術ロジックユニット、ロード－ストアユニット、など）を含むことができる。機能実行ロジックは、前の命令が完了する前に新しい命令が発行され得るパイプライン化された様態で構成され得る。機能実行ロジックは、整数及び浮動小数点演算、比較演算、ブール演算、ビットシフト、及び様々な代数関数の計算を含む様々な演算をサポートする。一実施形態で、同じ機能ユニットハードウェアは、種々の演算を実行するために利用可能であり、機能ユニットの如何なる組み合わせも存在してよい。

【0034】

処理クラスタ２１４へ伝送された命令は、スレッドを構成する。並列処理エンジンにわたって実行されるスレッドの組は、スレッドグループである。スレッドグループは、異なる入力データに対して同じプログラムを実行する。スレッドグループ内の各スレッドは、グラフィクスマルチプロセッサ２３４内の異なる処理エンジンへ割り当てられ得る。スレッドグループに含まれているスレッドは、グラフィクスマルチプロセッサ２３４内の処理エンジンの数よりも少なくてよい。スレッドグループに含まれているスレッドが処理エンジンの数よりも少ない場合に、処理エンジンのうちの１つ以上は、スレッドグループが処理中であるサイクル中にアイドル状態であってよい。スレッドグループに含まれているスレッドはまた、グラフィクスマルチプロセッサ２３４内の処理エンジンの数よりも多くてもよい。スレッドグループに含まれているスレッドがグラフィクスマルチプロセッサ２３４内の処理エンジンの数よりも多い場合に、処理は、連続したクロックサイクルにわたって実行され得る。一実施形態で、複数のスレッドグループがグラフィクスマルチプロセッサ２３４で同時に実行され得る。

【0035】

一実施形態で、グラフィクスマルチプロセッサ２３４は、ロード及びストア動作を実行するよう内部キャッシュメモリを含む。一実施形態で、グラフィクスマルチプロセッサ２３４は、内部キャッシュを先送りし、処理クラスタ２１４内のキャッシュメモリ（例えば、Ｌ１キャッシュ２４８）を使用することができる。各グラフィクスマルチプロセッサ２３４はまた、全ての処理クラスタ２１４にわたって共有されてスレッド間でデータを転送するために使用され得るパーティションユニット（例えば、図２Ａのパーティションユニット２２０Ａ～２２０Ｎ）内のＬ２キャッシュへのアクセスも有する。グラフィクスマルチプロセッサ２３４はまた、オフチップグローバルメモリにアクセスしてもよい。オフチップグローバルメモリは、ローカル並列プロセッサメモリ及び／又はシステムメモリのうちの１つ以上を含むことができる。並列処理ユニット２０２の外にある如何なるメモリも、グローバルメモリとして使用されてよい、処理クラスタ２１４がグラフィクスマルチプロセッサ２３４の複数のインスタンスを含む実施形態は、Ｌ１キャッシュ２４８に記憶され得る共通命令及びデータを共有することができる。

【0036】

各処理クラスタ２１４は、仮想アドレスを物理アドレスにマッピングするよう構成されるＭＭＵ２４５（memory management unit）を含んでよい。他の実施形態では、ＭＭＵ２４５の１つ以上のインスタンスは、図２Ａのメモリインターフェース２１８内に存在してよい。ＭＭＵ２４５は、仮想アドレスをタイルの物理アドレスと、任意にキャッシュラインインデックスとにマッピングするために使用されるページテーブルエントリ（ＰＴＥ）の組を含む。ＭＭＵ２４５は、グラフィクスマルチプロセッサ２３４若しくはＬ１キャッシュ２４８又は処理クラスタ２１４内に存在し得るアドレストランスレーション・ルックアサイド・バッファ（ＴＬＢ）又はキャッシュを含んでもよい。物理アドレスは、パーティションユニットの間で効率的なリクエストインターリービングを可能にするためにサーフェスデータアクセスの局所性を分散するよう処理される。キャッシュラインインデックスは、キャッシュラインに対するリクエストがヒットかミスかを決定するために使用されてよい。

【0037】

グラフィクス及びコンピューティングアプリケーションでは、処理クラスタ２１４は、各グラフィクスマルチプロセッサ２３４が、テクスチャマッピング動作、例えば、テクスチャサンプル位置を決定すること、テクスチャデータを読み出すこと、及びテクスチャデータにフィルタをかけること、を実行するために、テクスチャユニット２３６へ結合されるように構成されてよい。テクスチャデータは、内部テクスチャＬ１キャッシュ（図示せず）から、又はいくつかの実施形態では、グラフィクスマルチプロセッサ２３４内のＬ１キャッシュから読み出され、必要に応じて、Ｌ２キャッシュ、ローカル並列プロセッサメモリ、又はシステムメモリからフェッチされる。各グラフィクスマルチプロセッサ２３４は、処理されたタスクを、更なる処理のために、他の処理クラスタ２１４へ供給するよう、あるいは、処理されたタスクをＬ２キャッシュ、ローカル並列プロセッサメモリ、又はシステムメモリにメモリクロスバー２１６を介して格納するよう、処理されたタスクをデータクロスバー２４０へ出力する。ｐｒｅＲＯＰ２４２（pre-raster operations unit）は、グラフィクスマルチプロセッサ２３４からデータを受け取り、データを、本願で記載されるパーティションユニット（例えば、図２Ａのパーティションユニット２２０Ａ～２２０Ｎ）により位置を定められ得るＲＯＰユニットへ向けるよう構成される。ｐｒｅＲＯＰ２４２ユニットは、色混合のための最適化を実行し、ピクセル色データを編成し、アドレス変換を実行することができる。

【0038】

本願で記載されるコアアーキテクチャは実例であり、変更及び変形が可能であることが理解されるだろう。任意の数の処理ユニット、例えば、グラフィクスマルチプロセッサ２３４、テクスチャユニット２３６、ｐｒｅＲＯＰ２４２などが処理クラスタ２１４に含まれてよい。更に、ただ１つの処理ユニット２１４しか示されていないが、本願で記載される並列処理ユニットは、処理クラスタ２１４の任意の数のインスタンスを含んでよい。一実施形態において、各処理クラスタ２１４は、別々の相異なる処理ユニット、Ｌ１キャッシュ、などを用いて他の処理クラスタ２１４から独立して動作するよう構成され得る。

【0039】

図２Ｄは、一実施形態に従って、グラフィクスマルチプロセッサ２３４を示す。そのような実施形態では、グラフィクスマルチプロセッサ２３４は、処理クラスタ２１４のパイプラインマネージャ２３２と結合する。グラフィクスマルチプロセッサ２３４は、命令キャッシュ２５２、命令ユニット２５４、アドレスマッピングユニット２５６、レジスタファイル２５８、１つ以上の汎用グラフィクス処理ユニット（ＧＰＧＰＵ）コア２６２、及び１つ以上のロード／ストアユニット２６６を含むがこれらに限られない実行パイプラインを備える。ＧＰＧＰＵコア２６２及びロード／ストアユニット２６６は、メモリ及びキャッシュインターコネクト２６８を介してキャッシュメモリ２７２及び共有メモリ２７０と結合される。一実施形態において、グラフィクスマルチプロセッサ２３４は、行列及び／又はレイトレーシング演算を加速させるハードウェアロジックを含むテンソル及び／又はレイトレーシングコア２６３を更に含む。

【0040】

一実施形態において、命令キャッシュ２５２は、パイプラインマネージャ２３２から、実行すべき命令のストリームを受け取る。命令は、命令キャッシュ２５２にキャッシュされ、命令ユニット２５４による実行のためにディスパッチされる。命令ユニット２５４は、スレッドグループ（例えば、ワープ）として命令をディスパッチすることができ、スレッドグループの各スレッドは、ＧＰＧＰＵコア２６２内の異なる実行ユニットに割り当てられる。命令は、統合アドレス空間内でアドレスを指定することによって、ローカル、共有、又はグローバルアドレス空間のいずれかにアクセスすることができる。アドレスマッピングユニット２５６は、統合アドレス空間内のアドレスを、ロード／ストアユニット２６６によってアクセスされ得る相異なるメモリアドレスに変換するために使用され得る。

【0041】

レジスタファイル２５８は、グラフィクスマルチプロセッサ２３４の機能ユニットのためのレジスタの組を提供する。レジスタファイル２５８は、グラフィクスマルチプロセッサ２３４の機能ユニット（例えば、ＧＰＧＰＵコア２６２、ロード／ストアユニット２６６）のデータパスへ接続されたオペランドの一時記憶を提供する。一実施形態において、レジスタファイル２５８は、各機能ユニットがレジスタファイル２５８の専用の部分を割り当てられるように、機能ユニットの夫々の間で分割される。一実施形態において、レジスタファイル２５８は、グラフィクスマルチプロセッサ２３４によって実行される異なるワープ間で分割される。

【0042】

ＧＰＧＰＵコア２６２は、グラフィクスマルチプロセッサ２３４の命令を実行するために使用される浮動小数点ユニット（ＦＰＵ）及び／又は整数算術ロジックユニット（ＡＬＵ）を夫々含むことができる。ＧＰＧＰＵコア２６２は、実施形態に従って、アーキテクチャが類似していることができ、あるいは、アーキテクチャが異なることができる。例えば、一実施形態において、ＧＰＧＰＵコア２６２の第１部分は、単精度ＦＰＵ及び整数ＡＬＵを含み、一方、ＧＰＧＰＵコア２６２の第２部分は、倍精度ＦＰＵを含む。一実施形態において、ＦＰＵは、浮動小数点算術のためのＩＥＥＥ７５４－２００８を実装するか、あるいは、変数精度浮動小数点算術を有効にすることができる。グラフィクスマルチプロセッサ２３４は、コピー長方形又はピクセル混合動作などの特定の機能を実行するよう１つ以上の固定機能又は特別の機能を更に含むことができる。一実施形態において、ＧＰＧＰＵコアの１つ以上はまた、固定又は特別の機能ロジックも含むことができる。

【0043】

一実施形態において、ＧＰＧＰＵコア２６２は、複数組のデータに対して単一の命令を実行することができるＳＩＭＤロジックを含む。一実施形態において、ＧＰＧＰＵコア２６２は、ＳＩＭＤ４、ＳＩＭＤ８、及びＳＩＭＤ１６命令を物理的に実行し、ＳＩＭＤ１、ＳＩＭＤ２、及びＳＩＭＤ３２命令を論理的に実行することができる。ＧＰＧＰＵコアのためのＳＩＭＤ命令は、シェーダコンパイラによってコンパイル時に生成されるか、あるいは、ＳＰＭＤ（single program multiple data，ＳＰＭＤ）又はＳＩＭＴアーキテクチャのために記述及びコンパイルされたプログラムを実行するときに自動的に生成され得る。ＳＩＭＴ実行モデルのために構成されたプログラムの複数のスレッドは、単一のＳＩＭＤ命令により実行可能である。例えば、一実施形態において、同じ又は類似した動作を実行する８つのＳＩＭＴスレッドが、単一のＳＩＭＤ８ロジックユニットにより並列に実行され得る。

【0044】

メモリ及びキャッシュインターコネクト２６８は、グラフィクスマルチプロセッサ２３４の機能ユニットの夫々をレジスタファイル２５８へ及び共有メモリ２７０へ接続するインターコネクトネットワークである。一実施形態において、メモリ及びキャッシュインターコネクト２６８は、ロード／ストアユニット２６６が共有メモリ２７０とレジスタファイル２５８との間でロード及びストア動作を実装することを可能にするクロスバーインターコネクトである。レジスタファイル２５８は、ＧＰＧＰＵコア２６２と同じ周波数で動作することができるので、ＧＰＧＰＵコア２６２とレジスタファイル２５８との間のデータ転送は、レイテンシが非常に小さい。共有メモリ２７０は、グラフィクスマルチプロセッサ２３４内の機能ユニットで実行されるスレッド間の通信を可能にするために使用され得る。キャッシュメモリ２７２は、例えば、機能ユニットとテクスチャユニット２３６との間で通信されたテクスチャデータをキャッシュするために、データキャッシュとして使用され得る。共有メモリ２７０はまた、キャッシュされて管理されるプログラムとしても使用され得る。ＧＰＧＰＵコア２６２で実行されるスレッドは、キャッシュメモリ２７２内に格納されている自動的にキャッシュされたデータに加えて、共有メモリ内にデータをプログラム可能に格納することができる。

【0045】

図３Ａ～３Ｃは、実施形態に従って、更なるグラフィクスマルチプロセッサを表す。図３Ａ～３Ｂは、図２Ｃのグラフィクスマルチプロセッサ２３４の変形であるグラフィクスマルチプロセッサ３２５、３５０を表す。図３Ｃは、マルチコアグループ３６５Ａ～３６５Ｎに配置されたグラフィクス処理リソースの専用の組を含むグラフィクス処理ユニット（ＧＰＵ）３８０を表す。表されているグラフィクスマルチプロセッサ３２５、３５０及びマルチコアグループ３６５Ａ～３６５Ｎは、多数の実行スレッドの同時の実行が可能なストリーミング・マルチプロセッサ（streaming multiprocessor，ＳＭ）であることができる。

【0046】

図３Ａは、更なる実施形態に従うグラフィクスマルチプロセッサ３２５を示す。グラフィクスマルチプロセッサ３２５は、図２Ｄのグラフィクスマルチプロセッサ２３４に対して、実行リソースユニットの複数の追加インスタンスを含む。例えば、グラフィクスマルチプロセッサ３２５は、命令ユニット３３２Ａ～３３２Ｂ、レジスタファイル３３４Ａ～３３４Ｂ、及びテクスチャユニット３４４Ａ～３４４Ｂの複数のインスタンスを含むことができる。グラフィクスマルチプロセッサ３２５はまた、複数組のグラフィクス又は計算実行ユニット（例えば、ＧＰＧＰＵコア３３６Ａ～３３６Ｂ、テンソルコア３３７Ａ～３３７Ｂ、レイトレーシングコア３３８Ａ～３３８Ｂ）と、複数組のロード／ストアユニット３４０Ａ～３４０Ｂとを含む。一実施形態において、実行リソースユニットは、共通命令キャッシュ３３０、テクスチャ及び／又はデータキャッシュメモリ３４２、及び共有メモリ３４６を備える。

【0047】

様々なコンポーネントは、インターコネクトファブリック３２７を介して通信することができる。一実施形態において、インターコネクトファブリック３２７は、グラフィクスマルチプロセッサ３２５の様々なコンポーネント間の通信を可能にするよう１つ以上のクロスバースイッチを含む。一実施形態において、インターコネクトファブリック３２７は、グラフィクスマルチプロセッサ３２５の各コンポーネントがスタックされる別個の高速ネットワークファブリックレイヤである。グラフィクスマルチプロセッサ３２５のコンポーネントは、インターコネクトファブリック３２７を介して遠隔のコンポーネントと通信する。例えば、ＧＰＧＰＵコア３３６Ａ～３３６Ｂ、３３７Ａ～３３７Ｂ、及び３３８Ａ～３３８Ｂは夫々、インターコネクトファブリック３２７を介して共有メモリ３４６と通信することができる。インターコネクトファブリック３２７は、コンポーネント間の公平な帯域幅割り当てを確かにするために、グラフィクスマルチプロセッサ３２５内の通信を調停することができる。

【0048】

図３Ｂは、更なる実施形態に従うグラフィクスマルチプロセッサ３５０を示す。グラフィクスマルチプロセッサ３５０は、複数組の実行リソース３５６Ａ～３５６Ｄを含み、実行リソースの各組は、図２Ｄ及び図３Ａに表されているような複数の命令ユニット、レジスタファイル、ＧＰＧＰＵコア、及びロード／ストアユニットを含む。実行リソース３５６Ａ～３５６Ｄは、命令キャッシュ３５４及び共有メモリ３５３を共有しながら、テクスチャ動作のためのテクスチャユニット３６０～３６０Ｄに呼応して動作することができる。一実施形態において、実行リソース３５６Ａ～３５６Ｄは、テクスチャ及び／又はデータキャッシュメモリ３５８Ａ～３５８Ｂの複数のインスタンスとともに、命令キャッシュ３５４及び共有メモリ３５３を共有することができる。様々なコンポーネントは、図３Ａのインターコネクトファブリック３２７に類似したインターコネクトファブリック３５２を介して通信することができる。

【0049】

当業者であれば、図１、２Ａ～２Ｄ、及び３Ａ～３Ｂに示されているアーキテクチャは説明であり、本実施形態の範囲に関する限定ではない、と理解するだろう。よって、本願で説明される技術は、本願で記載される実施形態の範囲から逸脱せずに、制限なしに、１つ以上のモバイルアプリケーションプロセッサ、マルチコアＣＰＵを含む１つ以上のデスクトップ又はサーバ中央演算処理ユニット、図２Ａの並列処理ユニット２０２のような１つ以上の並列処理ユニット、及び１つ以上のグラフィクスプロセッサ又は特別目的の処理ユニットを含む如何なる適切に構成された処理ユニットでも実装されてよい。

【0050】

いくつかの実施形態において、本願で記載される並列プロセッサ又はＧＰＧＰＵは、グラフィクス操作、機械学習動作、パターン解析動作、及び様々な汎用ＧＰＵ（ＧＰＧＰＵ）機能を加速させるようホスト／プロセッサコアへ通信可能に結合される。ＧＰＵは、バス又は他のインターコネクト（例えば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速インターコネクト）を介してホストプロセッサ／コアへ通信可能に結合されてよい。他の実施形態では、ＧＰＵは、コアと同じパッケージ又はチップに集積され、内部プロセッサバス／インターコネクト（すなわち、パケット又はチップ内にある）を介してコアへ通信可能に結合されてよい。ＧＰＵが接続されている様態にかかわらず、プロセッサコアは、作業記述に含まれているコマンド／命令のシーケンスの形でＧＰＵに作業を割り当ててよい。ＧＰＵは、次いで、それらのコマンド／命令を有効に処理するための専用の回路構成／ロジックを使用する。

【0051】

図３Ｃは、マルチコアグループ３６５Ａ～Ｎに割り当てられたグラフィクス処理リソースの専用の組を含むグラフィクス処理ユニット（ＧＰＵ）３８０を表す。ただ１つのマルチコアグループ３６５Ａの詳細しか与えられていないが、他のマルチコアグループ３６５Ａ～３６５Ｎは、グラフィクス処理リソースの同じ又は類似した組を備えられてよいことが理解されるだろう。

【0052】

表されているように、マルチコアグループ３６５Ａは、グラフィクスコアの組３７０、テンソルコアの組３７１、及びレイトレーシングコアの組３７２を含んでよい。スケジューラ／ディスパッチャ３６８は、様々なコア３７０、３７１及び３７２で実行されるグラフィクススレッドをスケジューリング及びディスパッチする。レジスタファイルの組３６９は、グラフィクススレッドを実行するときにコア３７０、３７１及び３７２によって使用されるオペランド値を格納する。これらは、例えば、整数値を格納する整数レジスタ、浮動小数点値を格納する浮動小数点レジスタ、パックされたデータ要素（整数及び／又は浮動小数点データ要素）を格納するベクトルレジスタ、及びテンソル／行列値を格納するタイルレジスタを含んでよい。一実施形態において、タイルレジスタは、ベクトルレジスタの組み合わされた組として実装される。

【0053】

１つ以上の組み合わされたレベル１（Ｌ１）キャッシュ及び共有メモリユニット３７３は、各マルチコアグループ３６５Ａ内に局所的にテクスチャデータ、頂点データ、ピクセルデータ、レイデータ、境界ボリュームデータ、などのグラフィクスデータを格納する。１つ以上のテクスチャユニット３７４はまた、テクスチャマッピング及びサンプリングなどのテクスチャリング動作を実行するためにも使用され得る。マルチコアグループ３６５Ａ～３６５Ｎの全て又はサブセットによって共有されているレベル２（Ｌ２）キャッシュ３７５は、複数の同時のグラフィクススレッドのためのグラフィクスデータ及び／又は命令を格納する。表されているように、Ｌ２キャッシュ３７５は、複数のマルチコアグループ３６５Ａ～３６５Ｎにわたって共有されてよい。１つ以上のメモリコントローラ３６７は、ＧＰＵ３８０をメモリ３６６へ結合する。メモリ３６６は、システムメモリ（例えば、ＤＲＡＭ）及び／又は専用のグラフィクスメモリ（例えば、ＧＤＤＲ６メモリ）であってよい。

【0054】

入出力（Ｉ／Ｏ）回路構成３６３は、ＧＰＵ３８０を、デジタル信号プロセッサ（ＤＳＰ）、ネットワークコントローラ、又はユーザ入力デバイスなどの１つ以上のＩ／Ｏデバイス３６２へ結合する。オンチップインターコネクトが、Ｉ／Ｏデバイス３６２をＧＰＵ３８０及びメモリ３６６へ結合するために使用されてよい。Ｉ／Ｏ回路構成３６３の１つ以上のＩ／Ｏメモリ管理ユニット（ＩＯＭＭＵ）３６４は、システムメモリ３６６へ直接にＩ／Ｏデバイス３６２を結合する。一実施形態において、ＩＯＭＭＵ３６４は、システムメモリ３６６内の物理アドレスへ仮想アドレスをマッピングするよう複数組のページテーブルを管理する。この実施形態で、Ｉ／Ｏデバイス３６２、ＣＰＵ３６１、及びＧＰＵ３８０は、同じ仮想アドレス空間を共有してもよい。

【0055】

１つの実施において、ＩＯＭＭＵ３６４は仮想化をサポートする。この場合に、それは、ゲスト／グラフィクス仮想アドレスをゲスト／グラフィクス物理アドレスにマッピングするページテーブルの第１の組と、ゲスト／グラフィクス物理アドレスをシステム／ホスト物理アドレス（例えば、システムメモリ３６６内）にマッピングするページテーブルの第２の組とを管理してよい。ページテーブルの第１及び第２の組の夫々のベースアドレスは、制御レジスタに格納され、コンテキストスイッチでスワップアプトされてよい（例えば、それにより、新しいコンテキストは、ページテーブルの関連する組へのアクセスを与えられる）。図３Ｃに表されていないが、コア３７０、３７１、３７２及び／又はマルチコアグループ３６５Ａ～３６５Ｎの夫々は、ゲスト仮想からのゲスト物理への変換、ゲスト物理からホスト物理への変換、及びゲスト仮想からホスト物理への変換をキャッシュするようトランスレーション・ルックアサイド・バッファ（ＴＬＢ）を含んでもよい。

【0056】

一実施形態において、ＣＰＵ３６１、ＧＰＵ３８０、及びＩ／Ｏデバイス３６２は、単一の半導体チップ及び／又はチップパッケージで集積される。表されているメモリ３６６は、同じチップに集積されてよく、あるいは、オフチップインターフェースを介してメモリコントローラ３６７へ結合されてよい。１つの実施において、メモリ３６６は、他の物理システムレベルメモリと同じ仮想アドレス空間を共有するＧＤＤＲ６メモリを有するが、本発明の基礎原理は、この具体的な実施に限定されない。

【0057】

一実施形態において、テンソルコア３７１は、ディープラーニング動作を実行するために使用される基本計算動作である行列演算を実行するよう特に設計された複数の実行ユニットを含む。例えば、同時の行列乗算演算は、ニューラルネットワークの訓練及び推論のために使用されてよい。テンソルコア３７１は、単精度浮動小数点（例えば、３２ビット）、半精度浮動小数点（例えば、１６ビット）、整数ワード（１６ビット）、バイト（８ビット）及び半バイト（４ビット）を含む様々なオペランド精度を用いて行列処理を実行してよい。一実施形態において、ニューラルネットワーク実施は、高品質の最終画像を構成するために、複数のフレームからの詳細を潜在的に組み合わせる各レンダリングされたシーンの特徴を抽出する。

【0058】

ディープラーニング実施では、並列な行列乗算作業が、テンソルコア３７１での実行のためにスケジューリングされてよい。ニューラルネットワークの訓練は、特に、有意な数の行列内積演算を必要とする。Ｎ×Ｎ×Ｎ行列かけ算の内積定式化を処理するために、テンソルコア３７１は、少なくともＮ個の内積処理要素を含んでよい。行列かけ算が始まる前に、１つの行列全体がタイルレジスタにロードされ、第２行列の少なくとも１つの列がＮ回のサイクルの各サイクルでロードされる。サイクルごとに、処理されるＮ個の内積がある。

【0059】

行列要素は、１６ビットワード、８ビットバイト（例えば、ＩＮＴ８）及び４ビット半バイト（例えば、ＩＮＴ４）を含む、特定の実施に応じた異なる精度で記憶されてよい。異なる精度モードは、最も有効な精度が異なるワークロード（例えば、バイト及び半バイトへの量子化を許すことができるワークロードを推論すること、など）のために使用されることを確かにするよう、テンソルコアの組３７１に対して指定されてよい。

【0060】

一実施形態において、レイトレーシングコア３７２は、実時間のレイトレーシング又は非実時間のレイトレーシングの両方の実施のためにレイトレーシング演算を加速させる。特に、レイトレーシングコア３７２は、境界ボリュームヒエラルキ（ＢＶＨ）を用いてレイトラバースを実行し、レイとＢＶＨボリューム内に含まれるプリミティブとの間の交差を識別するレイトラバース／交差回路を含む。レイトレーシングコア３７２はまた、デプス試験及び選択を実行するための回路構成（例えば、Ｚバッファ又は同様の配置を使用する）も含んでよい。１つの実施において、レイトレーシングコア３７２は、本願で記載される画像ノイズ除去技術に呼応してトラバース及び交差動作を実行する。それらの技術のうちの少なくとも一部は、テンソルコア３７１で実行されてよい。例えば、一実施形態において、テンソルコア３７１は、レイトレーシングコア３７２によって生成されたフレームのノイズ除去を実行するようディープラーニングニューラルネットワークを実装する。しかし、ＣＰＵ３６１、グラフィクスコア３７０、及び／又はレイトレーシングコア３７２も、ノイズ除去及び／又はディープラーニングアルゴリズムの全て又は一部を実装してよい。

【0061】

更には、上述されたように、ノイズ除去に対する分散型アプローチが用いられてもよく、ＧＰＵ３８０は、ネットワーク又は高速インターコネクトを介して他のコンピューティングデバイスへ結合されたコンピューティングデバイス内にある。この実施形態では、相互接続されたコンピューティングデバイスは、異なるタイプの画像フレーム及び／又は異なるグラフィクスアプリケーションについてノイズ除去を実行するために、システム全体が学習する速度を改善するようニューラルネットワーク学習／訓練データを共有する。

【0062】

一実施形態において、レイトレーシングコア３７２は、グラフィクスコア３７０がレイごとの数千の命令で過負荷になることを防ぐように、全てのＢＶＨトラバース及びレイプリミティブ交差を処理する。一実施形態において、各レイトレーシングコア３７２は、境界ボックステスト（例えば、トラバース動作のため）を実行する専用回路の第１の組と、レイ－三角形交差テスト（例えば、トラバースされている交差レイ）を実行する専用回路の第２の組とを含む。よって、一実施形態において、マルチコアグループ３６５Ａは簡単にレイプローブを起動することができ、レイトレーシングコア３７２は、レイトラバース及び交差を独立して実行し、ヒットデータ（例えば、ヒット、ノーヒット、多ヒットなど）をスレッドコンテキストへ返す。レイトレーシングコア３７２がトラバース及び交差演算を実行する間、他のコア３７０、３７１は、自由に他のグラフィクス及び計算作業を実行することができる。

【0063】

一実施形態において、各レイトレーシングコア３７２は、ＢＶＨ試験動作を実行するトラバースユニットと、レイ－プリミティブ交差テストを実行する交差ユニットとを含む。交差ユニットは、「ヒット」、「ノーヒット」又は「多ヒット」応答を生成し、それを適切なスレッドへ供給する。トラバース及び交差演算中に、他のコア（例えば、グラフィクスコア３７０及びテンソルコア３７１）の実行リソースは、自由に他の形式のグラフィクス作業を実行することができる。

【0064】

後述される１つの具体的な実施形態では、ハイブリッドラスタライゼーション／レイトレーシングアプローチが使用され、作業が、グラフィクスコア３７０とレイトレーシングコア３７２との間で分配される。

【0065】

一実施形態において、レイトレーシングコア３７２（及び／又は他のコア３７０、３７１）は、ＤｉｓｐａｔｃｈＲａｙｓコマンドを含むＭｉｃｒｏｓｏｆｔのＤｉｒｅｃｔＸ Ｒａｙ Ｔｒａｃｉｎｇ（ＤＸＲ）などのレイトレーシング命令と、オブジェクトごとにシェーダ及びテクスチャの一意の組の割り当てを可能にするレイ生成、最接近ヒット、任意のヒット、及びミスシェーダとのためのハードウェアサポートを含む。レイトレーシングコア３７２、グラフィクスコア３７０、及びテンソルコア３７１によってサポートされ得る他のレイトレーシングプラットフォームは、Ｖｕｌｋａｂ１．１．８５である。しかし、本発明の基礎原理は、如何なる特定のレイトレーシングＩＳＡにも限定されないことに留意されたい。

【0066】

一般に、様々なコア３７２、３７１、３７０は、レイ生成、最接近ヒット、レイ－プリミティブ交差、プリミティブごとの階層的な境界ボックス構成、ミス（miss）、ビジット（visit）、及び例外（exceptions）のための命令／機能を含むレイトレーシング命令セットをサポートしてよい。より具体的には、一実施形態は、次の機能を実行するためのレイトレーシング命令を含む。

【0067】

レイ生成（Ray Generation）－レイ生成命令は、夫々のピクセル、サンプル、又は他のユーザ定義された作業割り当てについて実行されてよい。

【0068】

最接近ヒット（Closest Hit）－最接近ヒット命令は、シーン内でレイとプリミティブとの最も近い交差を見つけるために実行されてよい。

【0069】

任意のヒット（Any Hit）－任意ヒット命令は、潜在的に、新しい最接近交点を識別するために、シーン内でレイとプリミティブとの間の複数の交差を識別する。

【0070】

交差（Intersection）－交差命令は、レイ－プリミティブ交差試験を実行し、結果を出力する。

【0071】

プリミティブごとの境界ボックス構成（Per-primitive Bounding box Construction）－この命令は、所与のプリミティブ又はプリミティブのグループの周りに境界ボックスを形成する（例えば、新しいＢＶＨ又は他のアクセラレーションデータ構造を形成する場合）。

【0072】

ミス（Miss）－レイがシーン内の全てのジオメトリ、又はシーンの指定された領域を外すことを示す。

【0073】

ビジット（Visit）－レイがトラバースすることにある子ボリューム（children volumes）を示す。

【0074】

例外（Exceptions）－様々なタイプの例外ハンドラ（例えば、様々なエラー条件について呼び出される）を含む。

【0075】

［ＧＰＵがプロセッサインターコネクトをホストする技術］
図４Ａは、複数のＧＰＵ４１０～４１３が高速リンク４４０Ａ～４４０Ｄ（例えば、バス、ポイント・ツー・ポイントインターコネクト、など）を介して複数のマルチコアプロセッサ４０５～４０６へ通信可能に結合される例示的なアーキテクチャを表す。一実施形態において、高速リンク４４０Ａ～４４０Ｄは、実施に応じて、４ＧＢ／ｓ、３０ＧＢ／ｓ、８０ＧＢ／ｓ又はそれ以上の通信スループットをサポートする。ＰＣＩｅ４．０又は５．０及びＮＶＬｉｎｋ２．０を含むがこれらに限られない様々なインターコネクトプロトコルが使用されてよい。しかし、本発明の基礎原理は、如何なる特定の通信プロトコル又はスループットにも限定されない。

【0076】

更には、一実施形態において、ＧＰＵ４１０～４１３のうちの２つ以上は、高速リンク４４０Ａ～４４０Ｄのために使用されるものと同じ又は異なるプロトコル／リンクを用いて実装され得る高速リンク４４２Ａ～４４２Ｂを介して相互接続される。同様に、マルチコアプロセッサ４０５～４０６のうちの２つ以上は、高速リンク４４３を介して接続されてよい。高速リンク４４３は、２０ＧＢ／ｓ、３０ＧＢ／ｓ、１２０ＧＢ／ｓ又はそれ以上で動作する対称マルチプロセッサ（symmetric multi-processor，ＳＭＰ）バスであってよい。代替的に、図４Ａに示されている様々なシステムコンポーネント間の全ての通信は、同じプロトコル／リンクを用いて（例えば、通信インターコネクションファブリックを介して）実現されてよい。述べられているように、しかしながら、本発明の基礎原理は、如何なる特定のタイプのインターコネクト技術にも限定されない。

【0077】

一実施形態において、各マルチコアプロセッサ４０５～４０６は、夫々メモリインターコネクト４３０Ａ～４３０Ｂを介してプロセッサメモリ４０１～４０２へ通信可能に結合され、各ＧＰＵ４１０～４１３は、夫々ＧＰＵメモリインターコネクト４５０Ａ～４５０Ｄを介してＧＰＵメモリ４２０～４２３へ通信可能に結合される。メモリインターコネクト４３０Ａ～４３０Ｂ及び４５０Ａ～４５０Ｄは、同じ又は異なったメモリアクセス技術を利用してよい。例として、限定としてではなく、プロセッサメモリ４０１～４０２及びＧＰＵメモリ４２０～４２３は、動的ランダム・アクセス・メモリ（ＤＲＡＭ）（スタックドＤＲＡＭを含む）、グラフィクスＤＤＲ ＳＤＲＡＭ（ＧＤＤＲ）（例えば、ＧＤＤＲ５、ＧＤＤＲ６）、高バンド幅メモリ（ＨＢＭ）などの揮発性メモリであってよく、かつ／あるは、３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってもよい。一実施形態において、メモリのいくつかの部分は、揮発性メモリであってよく、他の部分は、不揮発性メモリであってもよい（例えば、２レベルメモリ（２ＬＭ）ヒエラルキーを使用する）。

【0078】

後述されるように、様々なプロセッサ４０５～４０６及びＧＰＵ４１０～４１３は夫々特定のメモリ４０１～４０２、４２０～４２３へ物理的に結合されてよいが、統合されたメモリアーキテクチャが実装されてもよく、そのようなアーキテクチャでは、同じ仮想システムアドレス空間（「実効アドレス」空間とも呼ばれる）が様々な物理メモリの全ての間で分配される。例えば、プロセッサメモリ４０１～４０２は、夫々が６４ＧＢのシステムメモリアドレス空間を有してよく、ＧＰＵメモリ４２０～４２３は、夫々３２ＧＢのシステムメモリアドレス空間を有してよい（結果として、この例では、アドレス可能なメモリは全部で２５４ＧＢになる）。

【0079】

図４Ｂは、一実施形態に従って、マルチコアプロセッサ４０７とグラフィクスアクセラレーションモジュール４４６との間の相互接続についての更なる詳細を表す。グラフィクスアクセラレーションモジュール４４６は、高速リンク４４０を介してプロセッサ４０７へ結合されているラインカード上に集積された１つ以上のＧＰＵチップを含んでよい。代替的に、グラフィクスアクセラレーションモジュール４４６は、プロセッサ４０７と同じパッケージ又はチップ上に集積されてもよい。

【0080】

表されているプロセッサ４０７は、複数のコア４６０Ａ～４６０Ｄを含み、各コアは、トランスレーション・ルックアサイド・バッファ４６１Ａ～４６１Ｄと、１つ以上のキャッシュ４６２Ａ～４６２Ｄとを有する。コアは、命令を実行し、データを処理するための様々な他のコンポーネントを含んでよいが、これらのコンポーネントは、本発明の基礎原理を不明りょうしないよう表されていない（例えば、命令フェッチユニット、分岐予測ユニット、デコーダ、実行ユニット、再順序付けバッファ、など）。キャッシュ４６２Ａ～４６２Ｄは、レベル１（Ｌ１）及びレベル２（Ｌ２）を有してよい。更には、１つ以上の共有キャッシュ４５６がキャッシュヒエラルキに含まれ、コア４６０Ａ～４６０Ｄの組によって共有されてもよい。例えば、プロセッサ４０７の一実施形態は２４個のコアを含み、各コアは、それ自体のＬ１キャッシュ、１２個の共有Ｌ２キャッシュ、及び１２個の共有Ｌ３キャッシュを有する。この実施形態では、Ｌ２及びＬ３キャッシュのうちの１つが、２つの隣接したコアによって共有される。プロセッサ４０７及びグラフィクスアクセラレーションモジュール４４６は、システムメモリ４４１と接続し、システムメモリ４４１は、プロセッサメモリ４０１～４０２を含んでよい。

【0081】

様々なキャッシュ４６２Ａ～４６２Ｄ、４５６、及びシステムメモリ４４１に記憶されているデータ及び命令については、コヒーレンスバス４６４上のインターコア通信を介して、コヒーレンシが保たれている。例えば、各キャッシュは、それらに関連したキャッシュコヒーレンシロジック／回路を有してよく、特定のキャッシュラインへの読み出し又は書き込みの検出に応答してコヒーレンスバス４６４上で通信する。１つの実施では、キャッシュスヌーピングプロトコルが、キャッシュアクセスをスヌープするようコヒーレンスバス４６４上で実装される。キャッシュスヌーピング／コヒーレンシ技術は、当業者によく理解されており、本発明の基礎原理を不明りょうしないようここでは詳細に記載されない。

【0082】

一実施形態において、プロキシ回路４２５は、グラフィクスアクセラレーションモジュール４４６がコアのピアとしてキャッシュコヒーレンスプロトコルに関与することを可能にするよう、グラフィクスアクセラレーションモジュール４４６をコヒーレンスバス４６４へ通信可能に結合する。特に、インターフェース４３５は、高速リンク４４０（例えば、ＰＣＩｅバス、ＮＶＬｉｎｋなど）を介したプロキシ回路４２５への接続をもたらし、インターフェース４３７は、グラフィクスアクセラレーションモジュール４４６を高速リンク４４０へ接続する。

【0083】

１つの実施では、アクセラレータ集積化回路４３６は、グラフィクスアクセラレーションモジュール４４６の複数のグラフィクス処理エンジン４３１、４３２、Ｎに成り代わって、キャッシュ管理、メモリアクセス、コンテキスト管理、及び割り込み管理サービスを提供する。グラフィクス処理エンジン４３１、４３２、Ｎは、夫々が別個のグラフィクス処理ユニット（ＧＰＵ）を有してよい。代替的に、グラフィクス処理エンジン４３１、４３２、Ｎは、グラフィクス実行ユニット、メディア処理エンジン（例えば、ビデオエンコーダ／デコーダ）、サンプラ、及びビットエンジンなどのようなＧＰＵ内の異なったタイプのグラフィクス処理エンジンを有してもよい。言い換えれば、グラフィクスアクセラレーションモジュールは、複数のグラフィクス処理エンジン４３１～４３２、Ｎを備えたＧＰＵであってよく、あるいは、グラフィクス処理エンジン４３１～４３２、Ｎは、共通のパッケージ、ラインカード、又はチップ上に集積された個別的なＧＰＵであってよい。

【0084】

一実施形態において、アクセラレータ集積化回路４３６は、仮想－物理メモリ変換（実効－実質メモリ変換とも呼ばれる）などの様々なメモリ管理機能と、システムメモリ４４１にアクセスするためのメモリアクセスプロトコルとを実行するメモリ管理ユニット（ＭＭＵ）４３９を含む。ＭＭＵ４３９は、仮想／実効－物理／実質アドレス変換をキャッシュするためのトランスレーション・ルックアサイド・バッファ（ＴＬＢ）（図示せず）も含んでよい。１つの実施において、キャッシュ４３８は、グラフィクス処理エンジン４３１、４３２、Ｎによる有効なアクセスのためにコマンド及びデータを記憶する。一実施形態において、キャッシュ４３８及びグラフィクスメモリ４３３～４３４、Ｍに記憶されているデータは、コアキャッシュ４６２Ａ～４６２Ｄ、４５６及びシステムメモリ４４１とコヒーレントを保たれる。述べられているように、これは、キャッシュ４３８及びメモリ４３３～４３４、Ｍに成り代わってキャッシュコヒーレンシメカニズムに関与するプロキシ回路４２５を介して達成され得る（例えば、プロセッサキャッシュ４６２Ａ～４６２Ｄ、４５６上のキャッシュラインの変更／アクセスに関連したキャッシュ４３８へアップデートを送信し、キャッシュ４３８からアップデートを受信する）。

【0085】

レジスタ４４５の組は、グラフィクス処理エンジン４３１～４３２、Ｎによって実行されるスレッドのコンテキストデータを記憶し、コンテキスト管理回路４４８は、スレッドコンテキストを管理する。例えば、コンテキスト管理回路４４８は、コンテキストスイッチ中に様々なスレッドのコンテキストをセーブ及びリストアするようセーブ及びリストア動作を実行してよい（例えば、第１スレッドはセーブされ、第２スレッドはストアされ、それにより、第２スレッドはグラフィクス処理エンジンによって実行可能である）。例えば、コンテキストスイッチで、コンテキスト管理回路４４８は、メモリ内の指定領域（例えば、コンテキストポインタによって識別される）に現在のレジスタ値を格納してよい。それは次いで、コンテキストに戻る時にレジスタ値をリストアしてよい。一実施形態において、割り込み管理回路４４７は、システムデバイスから受け取られた割り込みを受け取って処理する。

【0086】

１つの実施では、グラフィクス処理エンジン４３１からの仮想／実効アドレスは、ＭＭＵ４３９によってシステムメモリ４４１内の実質／物理アドレスに変換される。アクセラレータ集積化回路４３６の一実施形態は、複数（例えば、４個、８個、１６個）のグラフィクスアクセラレータモジュール４４６及び／又は他のアクセラレータデバイスをサポートする。グラフィクスアクセラレータモジュール４４６は、プロセッサ４０７で実行される単一アプリケーションに専用であってよく、あるいは、複数のアプリケーション間で共有されてもよい。一実施形態において、仮想化されたグラフィクス実行環境が与えられ、そのような環境では、グラフィクス処理エンジン４３１～４３２、Ｎのリソースは、複数のアプリケーション又は仮想マシン（ＶＭ）と共有される。リソースは、「スライス」に細分されてもよく、「スライス」は、ＶＭ及び／又はアプリケーションに関連した処理要件及び優先順位に基づいて異なるＶＭ及び／又はアプリケーションに割り当てられる。

【0087】

よって、アクセラレータ集積化回路は、グラフィクスアクセラレーションモジュール４４６のためのシステムへのブリッジとして動作し、アドレス変換及びシステムメモリキャッシュサービスを提供する。更には、アクセラレータ集積化回路４３６は、ホストプロセッサがグラフィクス処理エンジンの仮想化、割り込み、及びメモリ管理を管理するための仮想化ファシリティを提供し得る。

【0088】

グラフィクス処理エンジン４３１～４３２、Ｎのハードウェアリソースは、ホストプロセッサ４０７によってみられる実質アドレス空間へ明示的にマッピングされるので、如何なるホストプロセッサも、それらのリソースを直接に、実効アドレス値を用いてアドレッシング可能である。アクセラレータ集積化回路４３６の１つの機能は、一実施形態において、グラフィクスエンジン４３１～４３２、Ｎの物理的分離であり、それにより、それらは独立したユニットしてシステムには見える。

【0089】

述べられているように、表されている実施形態では、１つ以上のグラフィクスメモリ４３３～４３４、Ｍは、夫々、グラフィクス処理エンジン４３１～４３２、Ｎの夫々へ結合されている。グラフィクスメモリ４３３～４３４、Ｍは、グラフィクス処理エンジン４３１～４３２、Ｎの夫々によって処理される命令及びデータを記憶する。グラフィクスメモリ４３３～４３４、Ｍは、ＤＲＡＭ（スタックドＤＲＡＭを含む）、ＧＤＤＲメモリ（例えば、ＧＤＤＲ５、ＧＤＤＲ６）、又はＨＢＭなどの揮発性メモリであってよく、かつ／あるは、３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってもよい。

【0090】

一実施形態において、高速リンク４４０上のデータトラフィックを低減するために、バイアシング技術が、グラフィクスメモリ４３３～４３４、Ｍに記憶されているデータが、グラフィクス処理エンジン４３１～４３２、Ｎによって最も頻繁に使用され、望ましくは、コア４６０Ａ～４６０Ｄによって使用されない（少なくとも頻繁にではない）データであることを確かにするよう使用される。同様に、バイアシングメカニズムは、コアのキャッシュ４６２Ａ～４６２Ｄ、４５６及びシステムメモリ４４１内にコアによって必要とされる（望ましくは、グラフィクス処理エンジン４３１～４３２、Ｎには必要とされない）データを保持使用と試みる。

【0091】

図４Ｃは、アクセラレータ集積化回路４３６がプロセッサ４０７内に集積されている他の実施形態を表す。この実施形態では、グラフィクス処理エンジン４３１～４３２、Ｎは、インターフェース４３７及びインターフェース４３５（先と同じく、任意の形式のバス又はインターフェースプロトコルを利用してよい）を介してアクセラレータ集積化回路４３６と高速リンク４４０上で直接に通信する。アクセラレータ集積化回路４３６は、図４Ｂに関して説明されたのと同じ動作を実行し得るが、コヒーレンシバス４６４及びキャッシュ４６２Ａ～４６２Ｄ、４５６とのその近接近を考えると、潜在的に、より高いスループットで実行し得る。

【0092】

一実施形態は、専用プロセスプログラミングモデル（非グラフィクスアクセラレーションモジュール仮想化）及び共有プログラミングモデル（仮想化による）を含む異なったプログラミングモデルをサポートする。後者は、アクセラレータ集積化回路４３６によって制御されるプログラミングモデルと、グラフィクスアクセラレーションモジュール４４６によって制御されるプログラミングモデルとを含んでよい。

【0093】

専用プロセスモデルの一実施形態において、グラフィクス処理エンジン４３１～４３２、Ｎは、単一のオペレーティングシステムの下で単一のアプリケーション又はプロセスに専用である。単一のアプリケーションは、ＶＭ／パーティション内で仮想化を提供するよう、他のアプリケーションリクエストをグラフィクスエンジン４３１～４３２、Ｎへ向かわせることができる。

【0094】

専用プロセスプログラミングモデルでは、グラフィクス処理エンジン４３１～４３２、Ｎは、複数のＶＭ／アプリケーションパーティションによって共有されてよい。共有されたモデルは、各オペレーティングシステムによるアクセスを可能にするようにグラフィクス処理エンジン４３１～４３２、Ｎを仮想化することをシステムハイパーバイザに要求する。ハイパーバイザなしの単一パーティションシステムについては、グラフィクス処理エンジン４３１～４３２、Ｎは、オペレーティングシステムによって所有される。いずれの場合にも、オペレーティングシステムは、各プロセス又はアプリケーションへのアクセスを提供するようグラフィクス処理エンジン４３１～４３２、Ｎを仮想化することができる。

【0095】

共有プログラミングモデルについては、グラフィクスアクセラレーションモジュール４４６又は個別的なグラフィクス処理エンジン４３１～４３２、Ｎが、プロセスハンドルを用いてプロセス要素を選択する。一実施形態において、プロセス要素は、システムメモリ４４１に記憶され、本願で記載されている実効アドレスから実質アドレスへの変換技術を用いてアドレス可能である。プロセスハンドルは、そのコンテキストをグラフィクス処理エンジン４３１～４３２、Ｎに登録する（すなわち、プロセス要素をそのプロセス要素にリンクされたリストに加えるシステムソフトウェアを呼び出す）ときにホストプロセスへ供給される実施に固有の値であってよい。プロセスハンドルの下位１６ビットは、プロセス要素にリンクされたリスト内のプロセス要素のオフセットであってよい。

【0096】

図４Ｄは、例となるアクセラレータ集積化スライス４９０を表す。本願で使用されているように、「スライス」は、アクセラレータ集積化回路４３６の処理リソースの指定された部分を有する。システムメモリ４４１内のアプリケーション実効アドレス空間４８２は、プロセス要素４８３を記憶する。一実施形態において、プロセス要素４８３は、プロセッサ４０７で実行されているアプリケーション４８０からのＧＰＵ起動４８１に応答して記憶される。プロセス要素４８３は、対応するアプリケーション４８０のプロセス状態を含む。プロセス要素４８３に含まれる作業記述子（work descriptor，ＷＤ）４８４は、アプリケーションによって要求される単一のジョブであることができ、あるいは、ジョブのキューへのポインタを含んでもよい。後者の場合に、ＷＤ４８４は、アプリケーションのアドレス空間４８２内のジョブリクエストキューへのポインタである。

【0097】

グラフィクスアクセラレーションモジュール４４６及び／又は個別的なグラフィクス処理エンジン４３１～４３２、Ｎは、システム内のプロセスの全て又はサブセットによって共有され得る。本発明の実施形態は、プロセス状態をセットアップし、ＷＤ４８４をグラフィクスアクセラレーションモジュール４４６へ送って、仮想化された環境でジョブを開始するインフラストラクチャを含む。

【0098】

１つの実施において、専用プロセスプログラミングモデルは、実施に固有である。このモデルでは、単一のプロセスがグラフィクスアクセラレーションモジュール４４６又は個別的なグラフィクス処理エンジン４３１を所有する。グラフィクスアクセラレーションモジュール４４６が単一のプロセスによって所有されるので、ハイパーバイザは、所有パーティションのためにアクセラレータ集積化回路４３６を初期化し、オペレーティングシステムは、グラフィクスアクセラレーションモジュール４４６が割り当てられる時点で、所有パーティションのためにアクセラレータ集積化回路４３６を初期化する。

【0099】

動作中に、アクセラレータ集積化回路４３６内のＷＤフェッチユニット４９１は、グラフィクスアクセラレーションモジュール４４６のグラフィクス処理エンジンの１つによって行われるべき作業の指示を含む次のＷＤ４８４をフェッチする。ＷＤ４８４からのデータは、レジスタ４４５に格納され、表されているようにＭＭＵ４３９、割り込み管理回路４４７及び／又はコンテキスト管理回路４４８によって使用されてよい。例えば、ＭＭＵ４３９の一実施形態は、ＯＳ仮想アドレス空間４８５内のセグメント／ページテーブル４８６にアクセスするためのセグメント／ページウォーク回路を含む。割り込み管理回路４４７は、グラフィクスアクセラレーションモジュール４４６から受け取られた割り込みイベント４９２を処理してよい。グラフィクス操作を実行するときに、グラフィクス処理エンジン４３１～４３２、Ｎによって生成された実効アドレス４９３は、ＭＭＵ４３９によって実質アドレスに変換される。

【0100】

一実施形態において、レジスタ４４５の同じ組が、各グラフィクス処理エンジン４３１～４３２、Ｎ及び／又はグラフィクスアクセラレーションモジュール４４６について複製され、ハイパーバイザ又はオペレーティングシステムによって初期化されてよい。それらの複製されたレジスタの夫々は、アクセラレータ集積化スライス４９０に含まれてよい。ハイパーバイザによって初期化され得る例示的なレジスタは、表１に示される。

【表1】

【0101】

オペレーティングシステムによって初期化され得る例示的なレジスタは、表２に示される。

【表2】

【0102】

一実施形態において、各ＷＤ４８４は、特定のグラフィクスアクセラレーションモジュール４４６及び／又はグラフィクス処理エンジン４３１～４３２、Ｎに特有である。それは、グラフィクス処理エンジン４３１～４３２、Ｎがその作業を行うために必要とする全ての情報を含むか、あるいは、それは、アプリケーションが完了されるべき作業のコマンドキューをセットアップしているメモリ位置へのポインタであることができる。

【0103】

図４Ｅは、共有モデルの一実施形態の更なる詳細を表す。この実施形態は、プロセス要素リスト４９９が記憶されているハイパーバイザ実質アドレス空間４９８を含む。ハイパーバイザ実質アドレス空間４９８は、オペレーティングシステム４９５のためのグラフィクスアクセラレーションモジュールエンジンを仮想化するハイパーバイザ４９６を介してアクセス可能である。

【0104】

共有プログラミングモデルは、システム内のパーティションの全て又はサブセットからのプロセスの全て又はサブセットがグラフィクスアクセラレーションモジュール４４６を使用することを可能にする。
グラフィクスアクセラレーションモジュール４４６が複数のプロセス及びパーティションによって共有される２つのプログラミングモデル、つまり、時間スライス共有及びグラフィクス指向共有がある。

【0105】

このモデルでは、システムハイパーバイザ４９６がグラフィクスアクセラレーションモジュール４４６を所有し、その機能を全てのオペレーティングシステム４９５に利用可能にする。グラフィクスアクセラレーションモジュール４４６がシステムハイパーバイザ４９６による仮想化をサポートするために、グラフィクスアクセラレーションモジュール４４６は、次の要件に従ってよい：１）アプリケーションのジョブリクエストは、自律的でなければならず（すなわち、状態がジョブ間で維持される必要はない）、あるいは、グラフィクスアクセラレーションモジュール４４６は、コンテキストセーブ及びリストアメカニズムを提供しなければならい。２）アプリケーションのジョブリクエストは、グラフィクスアクセラレーションモジュール４４６によって、如何なる変換不良も含めて指定された時間量で完了することが保証され、あるいは、グラフィクスアクセラレーションモジュール４４６は、ジョブの処理をプリエンプトする能力を提供する。３）グラフィクスアクセラレーションモジュール４４６は、指向的な共有プログラミングモデルで動作するときにプロセス間の公平性を保証されなければならない。

【0106】

一実施形態において、共有モデルについては、アプリケーション４８０が、グラフィクスアクセラレーションモジュール４４６のタイプ、作業記述子（ＷＤ）、権限マスクレジスタ（authority mask register，ＡＭＲ）値、及びコンテキストセーブ／リストアエリアポインタ（contest save/restore area pointer，ＣＳＲＰ）を用いてオペレーティングシステム４９５のシステム呼び出しを行うために必要とされる。グラフィクスアクセラレーションモジュール４４６のタイプは、システム呼び出しの対象となるアクセラレーション機能を記述する。グラフィクスアクセラレーションモジュール４４６のタイプは、システム固有の値であってよい。ＷＤは、グラフィクスアクセラレーションモジュール４４６のために特にフォーマット化され、グラフィクスアクセラレーションモジュール４４６のコマンド、ユーザにより定義された構造への実効アドレスポインタ、コマンドのキューへの実効アドレスポインタ、又はグラフィクスアクセラレーションモジュール４４６によって行われるべき作業を記述する何らかの他のデータ構造の形を取ることができる。一実施形態において、ＡＭＲ値は、現在のプロセスのために使用すべきＡＭＲ状態である。オペレーティングシステムへ渡される値は、ＡＭＲを設定するアプリケーションと同様である。アクセラレータ集積化回路４３６及びグラフィクスアクセラレーションモジュール４４６の実装がユーザ権限マスクオーバーライドレジスタ（User Authority Mask Override Register，ＵＡＭＯＲ）をサポートしない場合には、オペレーティングシステムは、ハイパーバイザ呼び出しにおいてＡＭＲを渡す前に現在のＵＡＭＯＲ値をＡＭＲ値に適用してもよい。ハイパーバイザ４９６は、任意に、ＡＭＲをプロセス要素４８３に置く前に現在のＡＭＯＲ（Authority Mask Override Register）値を適用してもよい。一実施形態において、ＣＳＲＰは、グラフィクスアクセラレーションモジュール４４６がコンテキスト状態をセーブ及びリストアするためにアプリケーションのアドレス空間４８２内のエリアの実効アドレスを含むレジスタ４４５の１つである。このポインタは、ジョブ間で状態がセーブされる必要がない場合に、あるいは、ジョブがプリエンプトされる場合に、任意である。コンテキストセーブ／リストアエリアは、ピン留めされたシステムメモリであってよい。

【0107】

システム呼び出しを受け取ると、オペレーティングシステム４９５は、アプリケーション４８０が登録されており、グラフィクスアクセラレーションモジュール４４６を使用する権限を与えられていることを確かめてよい。次いで、オペレーティングシステム４９５は、表３に示される情報を用いてハイパーバイザ４９６を呼び出す。

【表3】

【0108】

ハイパーバイザ呼び出しを受け取ると、ハイパーバイザ４９６は、オペレーティングシステム４９５が登録されており、グラフィクスアクセラレーションモジュール４４６を使用する権限を与えられていることを確かめる。次いで、ハイパーバイザ４９６は、対応するグラフィクスアクセラレーションモジュール４４６のタイプについてプロセス要素４８３をプロセス要素にリンクされたリスト内に置く。プロセス要素は、表４に示される情報を含んでよい。

【表4】

【0109】

一実施形態において、ハイパーバイザは、複数のアクセラレータ集積化スライス４９０のスライス４４５を初期化する。

【0110】

図４Ｆに表されているように、本発明の一実施形態は、物理プロセッサメモリ４０１～４０２及びＧＰＵメモリ４２０～４２３にアクセスするために使用される共通仮想メモリアドレス空間を介してアドレス可能な統合メモリを用いる。この実施では、ＧＰＵ４１０～４１３で実行される動作は、プロセッサメモリ４０１～４０２にアクセスするために同じ仮想／実効メモリアドレス空間を利用し、逆もまた同様であり、それによって、プログラム可能性を簡素化する。一実施形態において、仮想／実効アドレス空間の第１部分は、プロセッサメモリ４０１に割り当てられ、第２部分は、第２プロセッサメモリ４０２に割り当てられ、第３部分は、ＧＰＵメモリ４２０に割り当てられる、など。全体の仮想／実効メモリ空間（時々、実効アドレス空間と呼ばれる）は、それによって、プロセッサメモリ４０１～４０２及びＧＰＵメモリ４２０～４２３の夫々にわたって分配され、いずれかのプロセッサ又はＧＰＵが、いずれかの物理メモリに、そのメモリにマッピングされている仮想アドレスを用いてアクセスすることを可能にする。

【0111】

一実施形態において、ＭＭＵ４３９Ａ～４３９Ｅのうちの１つ以上の中にあるバイアス／コヒーレンス管理回路４９４Ａ～４９４Ｅは、ホストプロセッサ（例えば、４０５）のキャッシュとＧＰＵ４１０～４１３との間のキャッシュコヒーレンスを確かにし、特定のタイプのデータが記憶されるべきである物理メモリを示すバイアシング技術を実装する。バイアス／コヒーレンス管理回路４９４Ａ～４９４Ｅの複数のインスタンスが図４Ｆに表されている一方で、バイアス／コヒーレンス回路は、１つ以上のホストプロセッサ４０５のＭＭＵ内に、及び／又はアクセラレータ集積化回路４３６内に実装されてもよい。

【0112】

一実施形態は、ＧＰＵ付属メモリ４２０～４２３がシステムメモリの部分としてマッピングされ、共有仮想メモリ（ＳＶＭ）技術を用いて、しかし、完全システムキャッシュコヒーレンスに関連した典型的な性能欠点に苦しまずにアクセスされることを可能にする。ＧＰＵ付属メモリ４２０～４２３が面倒なキャッシュコヒーレンスオーバーヘッドなしでシステムメモリとしてアクセスされる能力は、ＧＰＵオフロードのための有利な動作環境をもたらす。この配置は、ホストプロセッサ４０５のソフトウェアが、従来のＩ／Ｏ ＤＭＡデータコピーのオーバーヘッドなしで、オペランドをセットアップし、計算結果にアクセスすることを可能にする。そのような従来のコピーは、ドライバ呼び出し、割り込み及びメモリマッピングＩ／Ｏ（memory mapped I/O，ＭＭＩＯ）アクセスを必要とし、これらは全て、簡単なメモリアクセスに対して非効率的である。同時に、キャッシュコヒーレンスオーバーヘッドなしでＧＰＵ付属メモリ４２０～４２３にアクセスする能力は、オフロードされた計算の実行時間にとって重要であり得る。ストリーミング書き込みメモリトラフィックが相当量である場合に、例えば、キャッシュコヒーレンスオーバーヘッドは、ＧＰＵ４１０～４１３によって見られる実効書き込みバンド幅を大幅に減らすことができる。オペランドセットアップの効率、結果アクセスの効率、及びＧＰＵ計算の効率は全て、ＧＰＵオフロードの有効性を決定することにおいて役割を果たす。

【0113】

１つの実施において、ＧＰＵバイアスとホストプロセッサバイアスとの間の選択は、バイアストラッカデータ構造によって駆動される。例えば、バイアステーブルが使用されてよい。バイアステーブルは、ＧＰＵ付属メモリページごとに１又は２ビットを含むページ粒度構造であってよい（すなわち、メモリページの粒度で制御される）。バイアステーブルは、（例えば、バイアステーブルの頻繁に／最近使用されたエントリをキャッシュするための）ＧＰＵ４１０～４１３内のバイアスキャッシュの有無によらず、１つ以上のＧＰＵ付属メモリ４２０～４２３のスチールされたメモリ範囲で実装されてよい。代替的に、エントリバイアステーブルはＧＰＵ内で保持されてもよい。

【0114】

１つの実施において、ＧＰＵ付属メモリ４２０～４２３への各アクセスに関連したバイアステーブルエントリは、ＧＰＵメモリへの実際のアクセスの前にアクセスされ、次の動作を引き起こす。最初に、ＧＰＵ４１０～４１３からの、ＧＰＵバイアスにおいてそれらのページを見つけるローカルリクエストが、対応するＧＰＵメモリ４２０～４２３へ直接に転送される。ＧＰＵからの、ホストバイアスにおいてそれらのページを見つけるローカルリクエストは、プロセッサ４０５へ（例えば、上述された高速リンク上で）転送される。一実施形態において、プロセッサ４０５からの、要求されたページをホストプロセッサバイアスにおいて見つけるリクエストは、通常のメモリ読み出しのようなリクエストを完了する。代替的に、ＧＰＵバイアスページに向けられたリクエストは、ＧＰＵ４１０～４１３へ転送されてもよい。ＧＰＵは、次いで、ホストプロセッサがページを現在使用中でない場合に、そのページをホストプロセッサへ移してよい。

【0115】

ページのバイアス状態は、ソフトウェアベースメカニズム若しくはハードウェア支援型ソフトウェアベースメカニズムによって、又は限られた場合の組については、単にハードウェアベースのメカニズムによって、変更され得る。

【0116】

バイアス状態を変更するための１つのメカニズムは、ＡＰＩコール（例えば、ＯｐｅｎＣＬ）を用いる。これは、次に、ＧＰＵのデバイスドライバを呼び出し、これは、次に、バイアス状態を変更するようそれに指示するＧＰＵへメッセージを送信し（又はコマンド記述子をエンキューし）、いくつかの遷移については、ホストにおいてキャッシュフラッシュ動作を実行する。キャッシュフラッシュ動作は、ホストプロセッサ４０５のバイアスからＧＰＵのバイアスへの遷移のために必要とされるが、逆の遷移のためには必要とされない。

【0117】

一実施形態において、キャッシュコヒーレンシは、ＧＰＵバイアスページをホストプロセッサ４０５によって一時的にキャッシュ不能にすることによって維持される。それらのページにアクセスするために、プロセッサ４０５は、実装に応じて、直ぐにアクセスを許可する場合も許可しない場合もあるＧＰＵ４１０からのアクセスを要求してよい。よって、ホストプロセッサ４０５とＧＰＵ４１０との間の通信を減らすために、ＧＰＵバイアスページが、ＧＰＵによって必要とされるがホストプロセッサ４０５によっては必要とされないページであり、その逆も同様であることを確かにすることは有益である。

【0118】

［グラフィクス処理パイプライン］
図５は、実施形態に従って、グラフィクス処理パイプライン５００を表す。一実施形態において、グラフィクスプロセッサは、表されているグラフィクス処理パイプライン５００を実装することができる。グラフィクスプロセッサは、一実施形態において、図１の並列プロセッサ１１２の変形である図２Ａの並列プロセッサ２００などの、本願で記載されている並列処理サブシステム内に含まれ得る。様々な並列処理システムは、ここで記載されるような並列処理ユニット（例えば、図２Ａの並列処理ユニット２０２）の１つ以上のインスタンスを介してグラフィクス処理パイプライン５００を実装することができる。例えば、シェーダユニット（例えば、図２Ｃのグラフィクスマルチプロセッサ２３４）は、頂点処理ユニット５０４、テッセレーション制御処理ユニット５０８、テッセレーション評価処理ユニット５１２、ジオメトリ処理ユニット５１６、及びフラグメント／ピクセル処理ユニット５２４のうちの１つ以上の機能を実行するよう構成されてよい。データアセンブラ５０２、プリミティブアセンブラ５０６、５１４、５１８、テッセレーションユニット５１０、ラスタライザ５２２、及びラスタ動作ユニット５２６の機能はまた、処理クラスタ（例えば、図２Ａの処理クラスタ２１４）及び対応するパーティションユニット（例えば、図２Ａのパーティションユニット２２０Ａ～２２０Ｎ）内の他の処理エンジンによって実行されてもよい。グラフィクス処理パイプライン５００はまた、１つ以上の機能のための専用の処理ユニットを用いて実装されてもよい。一実施形態において、グラフィクス処理パイプライン５００の１つ以上の部分は、汎用プロセッサ（例えば、ＣＰＵ）内の並列処理ロジックによって実行され得る。一実施形態において、グラフィクス処理パイプライン５００の１つ以上の部分は、図２Ａのメモリインターフェース２１８のインスタンスであってよいメモリインターフェース５２８を介してオンチップメモリ（例えば、図２Ａで見られるような並列プロセッサメモリ）にアクセスすることができる。

【0119】

一実施形態において、データアセンブラ５０２は、表面の頂点データ及びプリミティブを集める処理ユニットである。データアセンブラ５０２は、次いで、頂点属性を含む頂点データを頂点処理ユニット５０４へ出力する。頂点処理ユニット５０４は、頂点シェーダプログラムを実行するプログラム可能な実行ユニットであり、頂点シェーダプログラムによって指定された頂点データをライティング及び変換する。頂点処理ユニット５０４は、頂点データを処理する際の使用のために、キャッシュ、ローカル又はシステムメモリに記憶されているデータを読み出し、オブジェクトベースの座標表現から世界空間座標空間又は正規化されたデバイス座標空間へ頂点データを変換するようプログラムされてよい。

【0120】

プリミティブアセンブラ５０６の第１インスタンスは、頂点処理ユニット５０４から頂点属性を受け取る。プリミティブアセンブラ５０６は、必要に応じて、記憶されている頂点属性を読み出し、テッセレーション制御処理ユニット５０８による処理のためにグラフィクスプリミティブを構成する。グラフィクスプリミティブは、様々なグラフィクス処理アプリケーションプログラミングインターフェース（ＡＰＩ）によってサポートされているトライアングル、ラインセグメント、ポイント、パッチ、などを含む。

【0121】

テッセレーション制御処理ユニット５０８は、入力された頂点を幾何学的パッチのための制御ポイントとして扱う。制御ポイントは、パッチ（例えば、パッチベース）からの入力表現から、テッセレーション評価処理ユニット５１２による適切な評価での使用に適している表現へ変換される。テッセレーション制御処理ユニット５０８はまた、幾何学的パッチのエッジのテッセレーション係数を計算することもできる。テッセレーション係数は、単一のエッジに適用され、エッジに関連したディテールのビュー依存レベルを定量化する。テッセレーションユニット５１０は、パッチのエッジのテッセレーション係数を受け取り、直線、三角形、又は四辺形プリミティブなどの複数の幾何学的プリミティブにパッチをモザイク化するよう構成される。複数の幾何学的プリミティブは、テッセレーション評価処理ユニット５１２へ送られる。テッセレーション評価処理ユニット５１２は、幾何学的プリミティブに関連した各頂点の曲面表現及び頂点属性を生成するよう、細分されたパッチのパラメータ化された座標に作用する。

【0122】

プリミティブアセンブラ５１４の第２インスタンスは、記憶されている頂点属性を必要に応じて読み出すテッセレーション評価処理ユニット５１２から頂点属性を受け取り、ジオメトリ処理ユニット５１６による処理のためのグラフィクスプリミティブを構成する。ジオメトリ処理ユニット５１６は、ジオメトリシェーダプログラムによって指定されているようにプリミティブアセンブラ５１４から受け取られたグラフィクスプリミティブを変換するようジオメトリシェーダプログラムを実行するプログラム可能な実行ユニットである。一実施形態において、ジオメトリ処理ユニット５１６は、グラフィクスプリミティブを１つ以上の新しいグラフィクスプリミティブに細分し、新しいグラフィクスプリミティブをラスタライズするために使用されるパラメータを計算するようプログラムされる。

【0123】

いくつかの実施形態において、ジオメトリ処理ユニット５１６は、ジオメトリストリーム内の要素を追加又は削除することができる。ジオメトリ処理ユニット５１６は、新しいグラフィクスプリミティブを特定するパラメータ及び頂点をプリミティブアセンブラ５１８へ出力する。プリミティブアセンブラ５１８は、ジオメトリ処理ユニット５１６からパラメータ及び頂点を受け取り、ビューポートスケール、カル（cull）、及びクリップ（clip）ユニット５２０による処理のためにグラフィクスプリミティブを構成する。ジオメトリ処理ユニット５１６は、ジオメトリデータを処理する際の使用のために並列プロセッサメモリ又はシステムメモリに記憶されているデータを読み出す。ビューポートスケール、カル、及びクリップユニット５２０は、クリッピング、カリング、及びビューポートスケーリングを実行し、処理されたグラフィクスプリミティブをラスタライザ５２２へ出力する。

【0124】

ラスタライザ５２２は、デプスカリング及び他のデプスベースの最適化を実行することができる。ラスタライザ５２２はまた、フラグメントを生成し、これらのフラグメント及び関連するカバレッジデータをフラグメント／ピクセル処理ユニット５２４へ出力するよう、新しいグラフィクスプリミティブに対してスキャン変換を実行する。フラグメント／ピクセル処理ユニット５２４は、フラグメントシェーダプログラム又はピクセルシェーダプログラムを実行するよう構成されるプログラム可能な実行ユニットである。フラグメント／ピクセル処理ユニット５２４は、フラグメント又はピクセルシェーダプログラムによって指定されているように、ラスタライザ５２２から受け取られたフラグメント又はピクセルを変換する。例えば、フラグメント／ピクセル処理ユニット５２４は、ラスタ動作ユニット５２６へ出力される陰影付けされたフラグメント又はピクセルを生成するよう、テクスチャマッピング、シェーディング、ブレンディング、テクスチャ補正及びパースペクティブ補正（perspective correction）を含むがこれらに限られない動作を実行するようプログラムされてよい。フラグメント／ピクセル処理ユニット５２４は、フラグメントデータを処理するときの使用のために、並列プロセッサメモリ又はシステムメモリのどちらかに記憶されているデータを読み出すことができる。フラグメント又はピクセルシェーダプログラムは、処理ユニットのために設定されたサンプリングレートに応じたサンプル、ピクセル、タイル、又は他の粒度でシェーディングを行うよう構成されてよい。

【0125】

ラスタ動作ユニット５２６は、ステンシル、ｚテスト、ブレンディング、などを含むがこれらに限られないラスタ動作を実行し、ピクセルデータを、グラフィクスメモリ（例えば、図２Ａの並列プロセッサメモリ２２２、及び／又は図１のシステムメモリ１０４）に記憶されるように、１つ以上の表示デバイス１１０で表示されるように、又は１つ以上のプロセッサ１０２若しくは並列プロセッサ１１２のうちの１つによる更なる処理のために、処理されたグラフィクスデータとして出力する処理ユニットである。いくつかの実施形態において、ラスタ動作ユニット５２６は、メモリに書き込まれるｚ又はカラーデータを圧縮し、メモリから読み出されるｚ又はカラーデータを圧縮解除するよう構成される。

【0126】

［機械学習概要］
上記のアーキテクチャは、機械学習モデルを使用して訓練及び推論動作を実行するよう適用され得る。機械学習は、多くの種類のタスクの解決に成功している。機械学習アルゴリズム（例えば、ニューラルネットワーク）を訓練及び使用するときに生じる計算は、効率的な並列実装に必然的に役に立つ。従って、汎用グラフィック処理ユニット（ＧＰＧＰＵ）などの並列プロセッサは、ディープニューラルネットワークの実際の実装において重要な役割を果たしている。ＳＩＭＴ（single instruction, multiple thread）アーキテクチャを備えた並列グラフィクスプロセッサは、グラフィクスパイプラインでの並列処理の量を最大にするよう設計される。ＳＩＭＴアーキテクチャでは、並列スレッドのグループは、処理効率を高めるよう可能な限り頻繁に一緒に同期してプログラム命令を実行しようと試みる。並列な機械学習アルゴリズム実装によってもたらされる効率は、高容量ネットワークの使用を可能にし、それらのネットワークがより大きいデータセットに対して訓練されることを可能にする。

【0127】

機械学習アルゴリズムは、データの組に基づいて学習することができる。機械学習アルゴリズムの実施形態は、データセット内のハイレベル抽象化をモデル化するよう設計され得る。例えば、画像認識アルゴリズムは、所与の入力がいくつかのカテゴリのうちのどれに属しているかを決定するために使用可能であり、回帰アルゴリズムは、入力が与えられると数値を出力することができ、パターン認識アルゴリズムは、変換されたテキストを生成したり、あるいは、テキストからの発話認識及び／又は発話認識を実行したりするために使用可能である。

【0128】

機械学習アルゴリズムの例となるタイプは、ニューラルネットワークである。多くの種類のニューラルネットワークがあり、ニューラルネットワークの簡単なタイプはフィードフォワードネットワークである。フィードフォワードネットワークは、ノードがレイヤに配置されている非周期グラフとして実装されてよい。典型的に、フィードフォワードネットワークトポロジは、少なくとも１つの隠れレイヤによって分離されている入力レイヤ及び出力レイヤを含む。隠れレイヤは、入力レイヤによって受け取られた入力を、出力レイヤで出力を生成するために有用である表現に変換する。ネットワークノードは、隣接レイヤ内のノードへエッジを介して完全に接続されるが、各レイヤ内のノード間にエッジは存在しない。フィードフォワードネットワークの入力レイヤのノードで受け取られたデータは、レイヤを接続するエッジの夫々に各々関連付けられた係数（「重み」）に基づいてネットワーク内の各連続レイヤのノードの状態を計算する活性化関数により出力レイヤのノードへ伝搬される（すなわち、前方に送られる）。実行されているアルゴリズムによって表現される具体的なモデルに応じて、ニューラルネットワークアルゴリズムからの出力は、様々な形を取ることができる。

【0129】

機械学習アルゴリズムが特定の問題をモデル化するために使用され得る前に、アルゴリズムは、訓練データセットを用いて訓練される。ニューラルネットワークの訓練は、ネットワークトロポジを選択すること、ネットワークによってモデル化される問題を表す訓練データの組を使用すること、及びネットワークモデルが訓練データセットの全てのインスタンスについて最小限のエラーで実行するまで重みを調整することを必要とする。例えば、ニューラルネットワークのための教師あり学習訓練プロセス中に、訓練データセット内のインスタンスを表す入力に応答してネットワークによって生成された出力は、そのインスタンスについての「正しい」とラベル付けされた出力と比較され、出力とラベル付き出力との間の差を表すエラー信号が計算され、接続に関連した重みは、エラー信号がネットワークレイヤを通って後方伝搬されるということで、そのエラーを最小限にすべく調整される。ネットワークは、訓練データセットのインスタンスから生成された出力の夫々についてのエラーが最小限にされる場合に、「訓練済み」と見なされる。

【0130】

機械学習アルゴリズムの精度は、アルゴリズムを訓練するために使用されるデータセットの品質によって大いに影響を及ぼされ得る。訓練プロセスは、計算量が多く、従来の汎用プロセッサでは相当量の時間を必要とする可能性がある。従って、並列処理ハードウェアが、多くのタイプの機械学習アルゴリズムを訓練するために使用される。これは、ニューラルネットワークで係数を調整する際に実行される計算が並列実装に必然的に役に立つということで、ニューラルネットワークの訓練を最適化することにとって特に有用である。具体的に、多くの機械学習アルゴリズム及びソフトウェアアプリケーションは、汎用のグラフィクス処理デバイス内の並列処理ハードウェアを使用するよう適応されている。

【0131】

図６は、機械学習ソフトウェアスタック６００の一般化された図である。機械学習アプリケーション６０２は、訓練データセットを使用してニューラルネットワークを訓練するよう、あるいは、訓練されたディープニューラルネットワークを使用して機械学習インテリジェンスを実装するよう構成され得る。機械学習アプリケーション６０２は、ニューラルネットワークのための訓練及び推論機能、及び／又はデプロイ前にニューラルネットワークを訓練するために使用され得る特殊化したソフトウェアを含むことができる。機械学習アプリケーション６０２は、画像認識、マッピング及びローカライゼーション、自律ナビゲーション、発話合成、医療撮像、又は言語変換を含むがこれらに限られない如何なるタイプのマシンインテリジェンスも実装することができる。

【0132】

機械学習アプリケーション６０２のためのハードウェアアクセラレーションは、機械学習フレームワーク６０４を介して有効にされ得る。機械学習フレームワーク６０４は、機械学習プリミティブのライブラリを提供することができる。機械学習プリミティブは、機械学習アルゴリズムによって一般に実行される基本操作である。機械学習フレームワーク６０４によらないと、機械学習アルゴリズムの開発者は、機械学習アルゴリズムに関連した主な計算ロジックを作成し最適化し、次いで、新しい並列プロセッサ開発される場合には計算ロジックを最適化し直すよう求められることになる。代わりに、機械学習アプリケーションは、機械学習フレームワーク６０４によって提供されたプリミティブを用いて、必要な計算を実行するよう構成され得る。例となるプリミティブは、テンソル畳み込み、活性化関数、及びプーリングを含み、これらは、畳み込みニューラルネットワーク（convolutional neural network，ＣＮＮ）を訓練している間に実行される計算操作である。機械学習フレームワーク６０４はまた、行列及びベクトル演算などの、多くの機械学習アルゴリズムによって実行される基本線形代数サブプログラムを実装するために、プリミティブを供給することができる。

【0133】

機械学習フレームワーク６０４は、機械学習アプリケーション６０２から受け取られた入力データを処理し、計算フレームワーク６０６への適切な入力を生成することができる。計算フレームワーク６０６は、ＧＰＧＰＵハードウェア６１０のアーキテクチャに関する徹底的な知識を有することを機械学習フレームワーク６０４に求めずに、ＧＰＧＰＵハードウェア６１０を介してハードウェアアクセラレーションを利用することを機械学習フレームワーク６０４に可能にするよう、ＧＰＧＰＵドライバ６０８へ供給される基礎となる命令を抽象化することができる。更には、計算フレームワーク６０６は、ＧＰＧＰＵハードウェア６１０の様々なタイプ及び生成にわたって機械学習フレームワーク６０４のためにハードウェアアクセラレーションを可能にすることができる。

【0134】

［ＧＰＧＰＵ機械学習アクセラレーション］
図７は、実施形態に従って、汎用グラフィクス処理ユニット７００を表す。一実施形態において、汎用処理ユニット（ＧＰＧＰＵ）７００は、ディープニューラルネットワークの訓練に関連したタイプの計算ワークロードを処理することにおいて特に効率的であるよう構成され得る。更には、ＧＰＧＰＵ７００は、特にディープニューラルネットワークのために訓練速度を改善するためにマルチＧＰＵクラスタを生成するようＧＰＧＰＵの他のインスタンスへ直接にリンクされ得る。

【0135】

ＧＰＧＰＵ７００は、ホストプロセッサとの接続を可能にするホストインターフェース７０２を含む。一実施形態において、ホストインターフェース７０２は、ＰＣＩ Ｅｘｐｒｅｓｓインターフェースである。しかし、ホストインターフェースはまた、ベンダー特有の通信インターフェース又は通信ファブリックであることもできる。ＧＰＧＰＵ７００は、ホストプロセッサからコマンドを受け取り、グローバルスケジューラ７０４を使用して、それらのコマンドに関連した実行スレッドを計算クラスタ７０６Ａ～７０６Ｈの組へ分配する。計算クラスタ７０６Ａ～７０６Ｈは、キャッシュメモリ７０８を共有する。キャッシュメモリ７０８は、計算クラスタ７０６Ａ～７０６Ｈ内のキャッシュメモリのためのより上位のキャッシュとして働くことができる。

【0136】

ＧＰＧＰＵ７００は、メモリコントローラ７１２Ａ～７１２Ｂの組を介して計算クラスタ７０６Ａ～Ｈと結合されたメモリ７１４Ａ～Ｂを含む。様々な実施形態において、メモリ７１４Ａ～Ｂは、グラフィクスダブルデータレート（ＧＤＤＲ）メモリを含む同期グラフィクス・ランダム・アクセス・メモリ（ＳＧＲＡＭ）などの動的ランダム・アクセス・メモリ（ＤＲＡＭ）又はグラフィクス・ランダム・アクセス・メモリを含む様々なタイプのメモリデバイスを含むことができる。一実施形態において、メモリ７１４Ａ～７１４Ｂはまた、高バンド幅メモリ（ＨＢＭ）を含むがこれに限られない３Ｄスタックドメモリも含んでよい。

【0137】

一実施形態において、計算クラスタ７０６Ａ～７０６Ｈの夫々は、図４Ａのグラフィクスマルチプロセッサ４００などのグラフィクスマルチプロセッサの組を含む。計算クラスタのグラフィクスマルチプロセッサは、機械学習計算に適したものを含む精度の範囲で計算動作を実行することができる複数のタイプの整数及び浮動小数点ロジックユニットを含む。例えば、一実施形態において、計算クラスタ７０６Ａ～Ｈの夫々における浮動小数点ユニットの少なくともサブセットは、１６ビット又は３２ビットの浮動小数点演算を実行するよう構成され得る一方で、浮動小数点ユニットの別のサブセットは、６４ビット浮動小数点演算を実行するよう構成され得る。

【0138】

ＧＰＧＰＵ７００の複数のインスタンスは、計算クラスタとして動作するよう構成され得る。同期化及びデータ交換のために計算クラスタによって使用される通信メカニズムは、実施形態ごとに様々である。一実施形態において、ＧＰＧＰＵ７００の複数のインスタンスは、ホストインターフェース７０２を介して通信する。一実施形態において、ＧＰＧＰＵ７００は、ＧＰＧＰＵの他のインスタンスへの直接接続を可能にするＧＰＵリンク７１０とＧＰＧＰＵ７００を結合するＩ／Ｏハブ７０９を含む。一実施形態において、ＧＰＵリンク７１０は、ＧＰＧＰＵ７００の複数のインスタンスの間の通信及び同期化を可能にする専用のＧＰＵ間ブリッジへ結合される。一実施形態において、ＧＰＵリンク７１０は、データを他のＧＰＧＰＵ又は並列プロセッサへ送信及び受信するよう高速インターコネクトと結合する。一実施形態において、ＧＰＧＰＵ７００の複数のインスタンスは、別のデータ処理システムに位置し、ホストインターフェース７０２によりアクセス可能なネットワークデバイスを介して通信する。一実施形態において、ＧＰＵリンク７１０は、ホストインターフェース７０２に加えて又はその代わりとしてホストプロセッサへの接続を可能にするよう構成され得る。

【0139】

ＧＰＧＰＵ７００の表されている構成は、ニューラルネットワークを訓練するよう構成され得る一方で、一実施形態は、高性能又は低電力の推論プラットフォーム内のデプロイのために構成され得るＧＰＧＰＵ７００の代替の構成を提供する。推論構成では、ＧＰＧＰＵ７００は、訓練構成と比べて、それに含まれている計算クラスタ７０６Ａ～７０６Ｈが少ない。更には、メモリ７１４Ａ～７１４Ｂに関連したメモリ技術は、推論構成と訓練構成との間とは異なってもよい。一実施形態において、ＧＰＧＰＵ７００の推論構成は、特定の命令を推論することをサポートすることができる。例えば、推論構成は、デプロイされたニューラルネットワークのために推論動作中に一般的に使用される１つ以上の８ビット整数内積命令をサポートすることができる。

【0140】

図８は、実施形態に従って、マルチＧＰＵコンピューティングシステム８００を表す。マルチＧＰＵコンピューティングシステム８００は、ホストインターフェーススイッチ８０４を介して複数のＧＰＧＰＵ８０６Ａ～８０６Ｂへ結合されているプロセッサ８０２を含むことができる。ホストインターフェーススイッチ８０４は、一実施形態において、プロセッサ８０２をＰＣＩエクスプレスバスへ結合するＰＣＩエクスプレススイッチデバイスである。ＰＣＩエクスプレスバスを介して、プロセッサ８０２は、ＧＰＧＰＵ８０６Ａ～８０６Ｄの組と通信することができる。複数のＧＰＧＰＵ８０６Ａ～８０６Ｄの夫々は、図７のＧＰＧＰＵ７００のインスタンスであることができる。ＧＰＧＰＵ８０６Ａ～８０６Ｄは、高速ポイント・ツー・ポイントＧＰＵ間リンク８１６の組を介して相互接続することができる。高速ＧＰＵ間リンクは、図７のＧＰＵリンク７１０などの専用のＧＰＵリンクを介してＧＰＧＰＵ８０６Ａ～８０６Ｄの夫々へ接続することができる。Ｐ２Ｐ ＧＰＵリンク８１６は、プロセッサ８０２が接続されるホストインターフェースバス上での通信を必要とせずに、ＧＰＧＰＵ８０６Ａ～８０６Ｄの夫々の間の直接通信を可能にする。Ｐ２Ｐ ＧＰＵリンクへ向けられたＧＰＵ間トラフィックによれば、ホストインターフェースバスは、例えば、１つ以上のネットワークデバイスを介して、システムメモリアクセスのために、又はマルチＧＰＵコンピューティングシステム８００の他のインスタンスと通信するために、利用可能なままである。ＧＰＧＰＵ８０６Ａ～Ｄの表されている実施形態は、ホストインターフェーススイッチ８０４を介してプロセッサ８０２へ接続する一方で、一実施形態において、プロセッサ８０２は、Ｐ２Ｐ ＧＰＵリンク８１６の直接サポートを含み、ＧＰＧＰＵ８０６～８０６Ｄへ直接接続することができる。

【0141】

［機械学習ニューラルネットワーク実装］
本願で記載されている実施形態によって提供されるコンピューティングアーキテクチャは、機械学習のためにニューラルネットワークを訓練及びデプロイするのに特に適しているタイプの並列処理を実行するよう構成され得る。ニューラルネットワークは、グラフ関係を有する機能のネットワークとして一般化され得る。当該技術でよく知られているように、機械学習で使用される様々なタイプのニューラルネットワーク実装が存在する。ニューラルネットワークの１つの例示的なタイプは、上述されたように、フィードフォワードネットワークである。

【0142】

ニューラルネットワークの第２の例示的なタイプは、畳み込みニューラルネットワーク（ＣＮＮ）である。ＣＮＮは、画像データなどの既知のグリッド様トポロジを有するデータを処理するための特殊化したフィードフォワードニューラルネットワークである。従って、ＣＮＮは、コンピュータビジョン及び画像認識アプリケーションのために広く使用されているが、それらは、発話及び言語処理などの他のタイプのパターン認識のためにも使用されてよい。ＣＮＮ入力レイヤ内のノードは、「フィルタ」（網膜にある受容野によって呼び起こされた特徴検出部）の組に編成され、フィルタの各組の出力は、ネットワークの連続したレイヤ内のノードへ伝搬される。ＣＮＮの計算は、各フィルタに畳み込み数学演算を適用してそのフィルタの出力を生成することを含む。畳み込みは、２つの関数によって実行される特殊化した種類の数学演算であって、２つの元の関数のうちの一方の変更されたバージョンである第３の関数を生成する。畳み込みネットワークの用語では、畳み込みの最初の関数は入力と呼ばれ、一方、第２の関数は、畳み込みカーネルと呼ばれ得る。出力は、特徴マップと呼ばれ得る。例えば、畳み込みレイヤへの入力は、入力画像の様々な色成分を定義するデータの多次元配列であることができる。畳み込みカーネルは、パラメータの多次元配列であることができ、パラメータは、ニューラルネットワークのための訓練プロセスによって適応される。

【0143】

回帰型ニューラルネットワーク（ＲＮＮ）は、レイヤ間のフィードバック接続を含むフィードフォワードニューラルネットワークの仲間である。ＲＮＮは、ニューラルネットワークの異なった部分にわたってパラメータデータを共有することによって、シーケンシャルデータのモデリングを可能にする。ＲＮＮのアーキテクチャはサイクルを含む。サイクルは、ＲＮＮからの出力データの少なくとも一部がその後の入力を順序通りに処理するためにフィードバックとして使用されるということで、変数の現在の値が将来の時点でのそれ自体の値に与える影響を表す。この特徴は、ＲＮＮを、言語データが構成され得る可変な性質により、言語処理に特に有用なものとする。

【0144】

後述される図は、例示的なフィードフォワード、ＣＮＮ、及びＲＮＮネットワークを提示するとともに、これらのタイプのネットワークの夫々を各々訓練及びデプロイするための一般的なプロセスについて記載する。これらの記載は例であって、本願で記載されている如何なる具体的に実施形態に関しても非限定的であり、表されている概念は、ディープニューラルネットワーク及び機械学習技術全般に概して適用され得る。

【0145】

上記の例示的なニューラルネットワークは、ディープラーニングを実行するために使用され得る。ディープラーニングは、ディープニューラルネットワークを使用する機械学習である。ディープラーニングで使用されるディープニューラルネットワークは、単一の隠れレイヤしか含まない浅いニューラルネットワークとは対照的に、複数の隠れレイヤから成る人工ニューラルネットワークである。より深いニューラルネットワークは、一般的に、訓練するのにより多くの計算負荷を要する。しかし、ネットワークの追加の隠れレイヤは、浅い機械学習技術に対して出力エラーが低減されることになるマルチステップパターン認識を可能にする。

【0146】

ディープラーニングで使用されるディープニューラルネットワークは、通常は、モデルに与えられた特徴表現に基づいて演算（例えば、オブジェクト分類、発話認識、など）を実行することができる数学モデルを表すバックエンドネットワークへ結合された特徴認識を実行するためのフロントエンドネットワークを含む。ディープラーニングは、Ｈａｎｄ－ｃｒａｆｔｅｄ特徴エンジニアリングがモデルに対して実行されることを必要とせずに機械学習が実行されることを可能にする。代わりに、ディープニューラルネットワークは、入力データ内の統計的構造又は相関に基づいて特徴を学習することができる。学習された特徴は、検出された特徴を出力にマッピングすることができる数学モデルへ供給され得る。ネットワークによって使用される数学モデルは、一般的に、特定のタスクが実行されるために特殊化され、異なるモデルが、異なるタスクを実行するために使用されることになる。

【0147】

ニューラルネットワークが構造化されると、学習モデルが、特定のタスクを実行するようネットワークを訓練するためにネットワークに適用され得る。学習モデルは、ネットワークの出力エラーを減らすようモデル内の重みをどのように調整すべきかについて記載する。エラーの後方伝搬は、ニューラルネットワークを訓練するために使用される一般的なモデルである。入力ベルは、処理のためにネットワークに与えられる。ネットワークの出力は、損失関数を用いて所望の出力と比較され、エラー値が、出力レイヤ内のニューロンの夫々について計算される。エラー値は、次いで、各ニューロンが、元の出力へのその寄与を大まかにあらわる関連したエラー値を有するまで、後方に伝搬される。次いで、ネットワークは、ニューラルネットワークの重みを更新するために、確率的勾配降下アルゴリズム（stochastic gradient descent algorithm）などのアルゴリズムを用いてそれらのエラーから学習することができる。

【0148】

図９Ａ～９Ｂは、例示的な畳み込みニューラルネットワークを表す。図９Ａは、ＣＮＮ内の様々なレイヤを表す。図９Ａに示されているように、画像処理をモデル化するために使用される例示的なＣＮＮは、入力画像の赤、緑、及び青（ＲＧＢ）成分を記述する入力９０２を受け取ることができる。入力９０２は、複数の畳み込みレイヤ（例えば、畳み込みレイヤ９０４、畳み込みレイヤ９０６）によって処理され得る。複数の畳み込みレイヤからの出力は、全結合レイヤ９０８の組によって任意に処理されてもよい。全結合レイヤ内のニューロンは、フィードフォワードネットワークについて上述されたように、前のレイヤ内の全ての活性化（activations）への完全接続を有する。全結合レイヤ９０８からの出力は、ネットワークからの出力結果を生成するために使用され得る。全結合レイヤ９０８内の活性化は、畳み込みの代わりに行列乗算を用いて計算され得る。全てのＣＮＮ実装が、全結合レイヤ９０８を利用するわけではない。例えば、いくつかの実施では、畳み込みレイヤ９０６がＣＮＮの出力を生成することができる。

【0149】

畳み込みレイヤは疎結合され、これは、全結合レイヤ９０８で見られる従来のニューラルネットワーク構成とは異なる。従来のニューラルネットワークレイヤは完全接続され、それにより、あらゆる出力ユニットはあらゆる入力ユニットと相互作用する。しかし、畳み込みレイヤは、表されているように、フィールドの畳み込みの出力が後続のレイヤのノードへ（フィールド内のノードの夫々の各々の状態値の代わりに）入力されるので、疎結合される。畳み込みレイヤに関連したカーネルが畳み込み演算を実行し、その出力が次のレイヤへ送られる。畳み込みレイヤで実行される次元削減（dimensionality reduction）は、ＣＮＮが大きい画像を処理するようスケーリングすることを可能にする１つの態様である。

【0150】

図９Ｂは、ＣＮＮの畳み込みレイヤ内の例示的な計算段を表す。ＣＮＮの畳み込みレイヤへの入力９１２は、畳み込みレイヤ９１４の３つ段で処理され得る。３つの段は、畳み込み段９１６、検出器段９１８、及びプーリング段９２０を含むことができる。畳み込みレイヤ９１４は、連続する畳み込みレイヤへデータを出力することができる。ネットワークの最終の畳み込みレイヤは、出力される特徴マップデータを生成するか、あるいは、全結合レイヤへ入力を供給して、例えば、ＣＮＮへの入力に対して分類値を生成することができる。

【0151】

畳み込み段９１６は、線形活性化の組を生成するよういくつかの畳み込みを並行して実行する。畳み込み段９１６はアフィン変換を含むことができる。アフィン変換は、線形変換プラス平行移動（a linear transformation plus a translation）として特定され得る任意の変換である。アフィン変換は、回転、平行移動、スケーリング、及びこれらの変換の組み合わせを含む。畳み込み段は、ニューロンに関連した局所領域と決定され得る入力内の特定の領域に接続されている関数（例えば、ニューロン）の出力を計算する。ニューロンは、ニューロンの重みと、ニューロンが接続される局所入力内の領域との間の内積を計算する。畳み込み段９１６からの出力は、畳み込みレイヤ９１４の続く段によって処理される線形活性化の組を定義する。

【0152】

線形活性化は、検出器段９１８によって処理され得る。検出器段９１８では、非線形活性化は、非線形活性化関数によって処理される。非線形活性化関数は、畳み込みレイヤの各々のフィールドに影響を及ぼさずにネットワーク全体の非線形特性を高める。いくつかのタイプの非線形活性化関数が使用されてよい。１つの特定のタイプは、正規化線形関数（rectified linear unit，ＲｅＬＵ）であり、これは、活性がゼロで閾値化されるように、ｆ（ｘ）＝ｍａｘ（０，ｘ）と定義された活性化関数を使用する。

【0153】

プーリング段９２０は、畳み込みレイヤ９０６の出力を近くの出力の要約統計量で置き換えるプーリング関数を使用する。プーリング関数は、入力への小さい並進がプールされた出力を変更しないように、ニューラルネットワークに並進不変性を導入するために使用され得る。局所並進に対する不変性は、入力データでの特徴の存在が特徴の正確な位置よりも重要であるシナリオで有用であることができる。最大プーリング（max pooling）、平均プーリング（average pooling）、及び１２ノルムプーリング（12-norm pooling）を含む様々なタイプのプーリング関数が、プーリング段９２０の間に使用され得る。更には、いくつかのＣＮＮ実装はプーリング段を含まない。代わりに、そのような実装は、前の畳み込みレイヤに対してストライドが増大している追加の畳み込み段を代用する。

【0154】

畳み込みレイヤ９１４からの出力は、次いで、次のレイヤ９２２によって処理され得る。次のレイヤ９２２は、追加の畳み込みレイヤ、又は全結合レイヤ９０８の１つであることができる。例えば、図９Ａの第１畳み込みレイヤ９０４は、第２畳み込みレイヤ９０６へ出力することができ、一方、第２畳み込みレイヤは、全結合レイヤ９０８の第１レイヤへ出力することができる。

【0155】

図１０は、例となる回帰型ニューラルネットワーク１００を表す。回帰型ニューラルネットワーク（ＲＮＮ）では、ネットワークの前の状態がネットワークの現在の状態の出力に影響を及ぼす。ＲＮＮは、様々な機能を用いて様々な方法で構築可能である。ＲＮＮの使用は、一般に、前の入力シーケンスに基づいて将来を予測するよう数学モデルを使用することを中心に展開する。例えば、ＲＮＮは、前のワードシーケンスを前提として、来たるべきワードを予測するよう統計的言語モデリングを実行するために使用されてよい。表されているＲＮＮ１０００は、入力ベクトルを受け取る入力レイヤ１００２と、回帰関数を実装する隠れレイヤ１００４と、前の状態の‘メモリ’を可能にするフィードバックメカニズム１００５と、結果を出力する出力レイヤ１００６とを有しているものとして記載され得る。ＲＮＮ１０００は、時間ステップに基づいて動作する。所与の時間ステップでのＲＮＮの状態は、フィードバックメカニズム１００５を介して前の時間ステップに基づいて影響を及ぼされる。所与の時間ステップについては、隠れレイヤ１００４の状態は、前の状態と、現在の時間ステップでの入力とによって定義される。第１時間ステップでの最初の入力（ｘ_１）が隠れレイヤ１００４によって処理され得る。第２の入力（ｘ_２）は、最初の入力（ｘ_１）の処理中に決定される状態情報を用いて隠れレイヤ１００４によって処理され得る。所与の状態はｓ_ｔ＝ｆ（Ｕｘ_ｔ＋Ｗｓ_ｔ－１）と計算され得る。このとき、Ｕ及びＷはパラメータ行列である。関数ｆは、一般的に、双曲線正接関数（hyperbolic tangent function）（Ｔａｎｈ）又は正規化線形関数ｆ（ｘ）＝ｍａｘ（０，ｘ）などの非線形性である。しかし、隠れレイヤ１００４で使用される具体的な数学関数は、ＲＮＮ１０００の具体的な実装詳細に応じて様々であることができる。

【0156】

記載されている基本的なＣＮＮ及びＲＮＮネットワークに加えて、それらのネットワークに対する変形が可能であり得る。ＲＮＮの変形の一例は、長・短期記憶（long short term memory，ＬＳＴＭ）ＲＮＮである。ＬＳＴＭ ＲＮＮは、より長い言語シーケンスを処理するために必要であり得る長期依存を学習することが可能である。ＣＮＮの変形例は、ＣＮＮと類似した構造を有し、ディープ・ビリーフ・ネットワーク（deep belief network）と類似した方法で訓練される畳み込みディープ・ビリーフ・ネットワークである。ディープ・ビリーフ・ネットワーク（ＤＢＮ）は、確率論的な（ランダムな）変数の複数のレイヤからなる生成ニューラルネットワークである。ＤＢＮは、教師なしグリーディ学習を用いてレイヤごとに訓練され得る。ＤＢＮの学習された重みが、次いで、ニューラルネットワークのための重みの最適な初期セットを決定することによって、予め訓練されたニューラルネットワークを提供するために使用され得る。

【0157】

図１１は、ディープニューラルネットワークの訓練及びデプロイを表す。所与のネットワークがタスクに対して構造化されると、ニューラルネットワークは、訓練データセット１１０２を用いて訓練される。様々な訓練フレームワーク１１０４が、訓練プロセスのハードウェアアクセラレーションを可能にするよう開発されている。例えば、図６の機械学習フレームワーク６０４が訓練フレームワーク１１０４として構成されてよい。訓練フレームワーク１１０４は、訓練されていないニューラルネットワーク１１０６につながり、訓練されていないニューラルネットワーク１１０６が、訓練されたニューラルネットワーク１１０８を生成するよう、本願で記載されている並列処理リソースを用いて訓練されることを可能にすることができる。

【0158】

訓練プロセスを開始するために、初期重みが、ランダムに、又はディープ・ビリーフ・ネットワークを用いて予め訓練することによって、選択されてよい。次いで、訓練サイクルは、教師あり又は教師なしのいずれかの方法で実行される。

【0159】

教師あり学習は、例えば、訓練データセット１１１２が、入力に対する所望の出力と対にされた入力を含む場合、又は訓練データセットが、既知の出力を有する入力を含み、ニューラルネットワークの出力が手動で格付けされる場合など、仲介された動作（mediated operation）として訓練が実行される学習方法である。ネットワークは、入力を処理し、得られた出力を、期待されている又は望まれている出力の組と比較する。次いで、エラーがシステムを通って後方伝搬される。訓練フレームワーク１１０４は、訓練されていないニューラルネットワーク１１０６を制御する重みを調整することができる。訓練フレームワーク１１０４は、訓練されていないニューラルネットワーク１１０６が、既知の入力データに基づいて正しい答えを生成することに適したモデルに向かってどれくらい上手く収束しているかをモニタするツールを提供することができる。訓練プロセスは、ネットワークの重みが、ニューラルネットワークによって生成される出力を精緻化するよう調整されるように、繰り返し行われる。訓練プロセスは、ニューラルネットワークが、訓練されたニューラルネットワーク１１０８に関連した統計的に望ましい制度に達するまで、続くことができる。訓練されたニューラルネットワーク１１０８は、次いで、新しいデータ１１０２の入力に基づいて推論結果１１１４を生成するために任意の数の機械学習動作を実装するようデプロイされ得る。

【0160】

教師なし学習は、ネットワークがラベルなしデータを用いて自身を訓練しようと試みる学習モデルである。よって、教師なし学習については、訓練データセット１１１２は、如何なる関連付けられた出力データも伴わない入力を含むことになる。訓練されていないニューラルネットワーク１１０６は、ラベルなし入力内のグルーピングを学習することができ、個々の入力が全体のデータセットにどのように関係しているかを決定することができる。教師なし訓練は、データの次元を削減するのに有用な動作を実行することが可能な訓練されたニューラルネットワーク１１０８の一種である自己組織化マップ（self-organizing map）を生成するために使用され得る。教師なし訓練はまた、異常検出を実行するために使用され得る。これは、データの正常パターンから外れている入力データセット内のデータポイントの識別を可能にする。

【0161】

教師あり及び教師なし訓練の変形も用いられてよい。半教師あり学習は、訓練データセット１１１２が同じ分布のラベルあり及びラベルなしデータの混合を含む技術である。増分学習は、入力データがモデルを更に訓練するために連続して使用され得る教師あり学習の変形である。増分学習は、訓練されたニューラルネットワーク１１０８が、最初の訓練中にネットワーク内に植え付けられた知識を忘れずに新しいデータ１１１２に適応することを可能にする。

【0162】

教師ありか教師なしかに関わらず、特にディープニューラルネットワークのための訓練プロセスは、単一の計算ノードにとっては計算負荷が高すぎることがある。単一の計算ノードを使用する代わりに、計算ノードの分散ネットワークが、訓練プロセスを加速させるために使用され得る。

【0163】

図１２は、分散学習（distributed learning）を表すブロック図である。分散学習は、ニューラルネットワークの教師あり又は教師なし訓練を実行するために複数の分散した計算ノードを使用する訓練モデルである。分散した計算ノードは夫々、１つ以上のホストプロセッサと、図７で見られたような高並列汎用グラフィクス処理ユニット７００などの汎用処理ノードの１つ以上とを含むことができる。表されているように、分散学習は、モデル並列処理（parallelism）１２０２、データ並列処理１２０４、又はモデル及びデータ並列処理の組み合わせ１２０６を実行することができる。

【0164】

モデル並列処理１２０２では、分散システム内の異なる計算ノードは、単一のネットワークの異なる部分の訓練計算を実行することができる。例えば、ニューラルネットワークの各レイヤは、分散システムの異なる処理ノードによって訓練され得る。モデル並列処理の利点には、特に大きいモデルにスケーリングする能力がある。ニューラルネットワークの異なるレイヤに関連した計算を分けることは、全てのレイヤの重みが単一の計算ノードのメモリに収まるわけでない非常に大きいニューラルネットワークの訓練を可能にする。いくつかの場合に、モデル並列処理は、大きいニューラルネットワークの教師なし訓練を実行するのに特に有用であることができる。

【0165】

データ並列処理１２０４では、分散ネットワークの異なるノードは、モデルの完全なインスタンスを有し、各ノードは、データの異なる部分を受け取る。異なるノードからの結果は、次いで、結合される。データ並列処理に対する異なるアプローチが可能である一方で、データ並列訓練アプローチは全て、結果を結合し、各ノード間でモデルパラメータを同期させる技術を必要とする。データの結合に対するアプローチの例には、パラメータ平均化及び更新に基づくデータ並列処理がある。パラメータ平均化は、訓練データのサブセットに関して各ノードを訓練し、大域パラメータ（例えば、重み、バイアス）を各ノードからのパラメータの平均にセットする。パラメータ平均化は、パラメータデータを保持する中央パラメータサーバを使用する。更新に基づくデータ並列処理は、ノードからパラメータサーバへパラメータを転送する代わりに、モデルに対する更新が転送されることを除いて、パラメータ平均化と類似している。更には、更新に基づくデータ並列処理は、非中央集権的な方法で実行可能であり、更新は圧縮され、ノード間で転送される。

【0166】

複合的なモデル及びデータ並列処理１２０６は、例えば、各計算ノードが複数のＧＰＵを含む分散システムで、実装され得る。各ノードは、モデルの完全なインスタンスを有し、各ノード内の別々のＧＰＵは、モデルの異なる部分を訓練するために使用される。

【0167】

分散学習は、単一のマシンでの訓練と比較して、オーバーヘッドが増大する。しかし、本願で記載されている並列プロセッサ及びＧＰＧＰＵは夫々、高バンド幅ＧＰＵ間データ転送及び加速されたリモードデータ同期化を可能にする技術を含め、分散訓練のオーバーヘッドを低減するよう様々な技術を実装することができる。

【0168】

［例となる機械学習応用］
機械学習は、コンピュータビジョン、自動運転及び航法、発話認識、並びに言語処理を含むがこれらに限られない様々な技術的課題を解決するために適用され得る。コンピュータビジョンは、従来から、機械学習応用の最も活発な研究分野の１つである。コンピュータビジョンの応用は、顔認識などのヒトの視覚能力を再現することから、視覚能力の新たなカテゴリを作り出すことまで多岐にわたる。例えば、コンピュータビジョンアプリケーションは、映像内で見ることができる対象に引き起こされた振動から音波を認識するよう構成され得る。並列プロセッサにより加速された機械学習は、コンピュータビジョンアプリケーションが、以前に実現可能であったよりも相当に大きい訓練データセットを用いて訓練されることを可能にし、かつ、推論システムが、より低電力の並列プロセッサを用いてデプロイされることを可能にする。

【0169】

並列プロセッサにより加速された機械学習は、レーン及び道路標識認識、障害物回避、ナビゲーション、並びに運転制御を含む自動運転用途がある。加速された機械学習技術は、特定の訓練入力に対する適切な応答を定義するデータセットに基づいて運転モデルを訓練するために使用され得る。本願で記載されている並列プロセッサは、自動運転ソリューションのために使用されるますます複雑なニューラルネットワークの急速訓練を可能にすることができ、自律走行車への組み込みに適したモバイルプラットフォームにおける低電力推論プロセッサのデプロイを可能にする。

【0170】

並列プロセッサにより加速されたディープニューラルネットワークは、自動発話認識（automatic speech recognition，ＡＳＲ）に対する機械学習アプローチを可能にしてきた。ＡＳＲは、入力された音響シーケンスを前提として最も確からしい言語シーケンスを計算する関数の生成を含む。ディープニューラルネットワークを使用する加速された機械学習は、ＡＳＲのために従前使用されていた隠れマルコフモデル（hidden Markov model，ＨＭＭ）及びガウス混合モデル（Gaussian mixture models，ＧＭＭ）の置換を可能にしている。

【0171】

並列プロセッサにより加速された機械学習はまた、自然言語処理を加速させるためにも使用され得る。自動学習プロシージャは、誤りのある又は聞き慣れない入力に対してロバストであるモデルを生成するために統計的推論アルゴリズムを利用することができる。例となる自然言語プロセッサアプリケーションには、ヒトの言語間の自動機械翻訳がある。

【0172】

機械学習のために使用される並列処理プラットフォームは、訓練プラットフォーム及びデプロイプラットフォームに分けられ得る。訓練プラットフォームは、一般的に高並列であり、マルチＧＰＵ単一ノード訓練及びマルチノードマルチＧＰＵ訓練を加速させる最適化を含む。訓練に適した並列プロセッサの例には、図７の汎用グラフィクス処理ユニット７００及び図８のマルチＧＰＵコンピューティングシステム８００がある。対照的に、デプロイされた機械学習プラットフォームは、一般的に、カメラ、自律ロボット、及び自律走行車などの製品での使用に適した、より低電力の並列プロセッサを含む。

【0173】

図１３は、訓練されたモデルを用いて推論を行うのに適した例示的な推論システム・オン・ア・チップ（ＳＯＣ）１３００を表す。ＳＯＣ１３００は、メディアプロセッサ１３０２、ビジョンプロセッサ１３０４、ＧＰＧＰＵ１３０６、及びマルチコアプロセッサ１３０８を含む処理コンポーネントを組み込むことができる。ＳＯＣ１３００は、処理コンポーネントの夫々によってアクセス可能である共有されたオンチップデータプールを可能にすることができるオンチップメモリ１３０５を更に含むことができる。処理コンポーネントは、自律走行車及び自律ロボットを含む様々な機械学習プラットフォームへのデプロイを可能にするよう低電力動作のために最適化され得る。例えば、ＳＯＣ１３００の１つの実施は、自律走行車のための主制御システムの部分として使用され得る。ＳＯＣ１３００が自律走行車での使用のために構成される場合に、ＳＯＣは、デプロイ権限の関連した機能安全標準に従うよう設計及び構成される。

【0174】

動作中、メディアプロセッサ１３０２及びビジョンプロセッサ１３０４は、コンピュータビジョン動作を加速させるよう協働することができる。メディアプロセッサ１３０２は、複数の高解像度（例えば、４Ｋ，８Ｋ）ビデオストリームの低遅延復号化を可能にすることができる。復号されたビデオストリームは、オンチップメモリ１３０５内のバッファに書き込まれ得る。ビジョンプロセッサ１３０４は、次いで、訓練された画像認識モデルを用いてフレームを処理することに備えて、復号されたビデオをパースし、復号されたビデオのフレームに対して予備処理動作を実行することができる。例えば、ビジョンプロセッサ１３０４は、高解像度ビデオデータに対して画像認識を実行するために使用されるＣＮＮの畳み込み演算を加速させることができ、一方、バックエンドモデル計算は、ＧＰＧＰＵ１３０６によって実行される。

【0175】

マルチコアプロセッサ１３０８は、メディアプロセッサ１３０２及びビジョンプロセッサ１３０４によって実行されるデータ転送及び共有メモリ動作の順序付け及び同期化を支援する制御ロジックを含むことができる。マルチコアプロセッサ１３０８はまた、ＧＰＧＰＵ１３０６の推論計算能力を利用することができるソフトウェアアプリケーションを実行するようアプリケーションプロセッサとして動作することもできる。例えば、ナビゲーション及び駆動ロジックの少なくとも一部は、マルチコアプロセッサ１３０８で実行されるソフトウェアで実装され得る。そのようなソフトウェアは、ＧＰＧＰＵ１３０６に対して直接に計算ワークロードを発行することができ、あるいは、計算ワークロードは、これらの動作の少なくとも一部をＧＰＧＰＵ１３０６にオフロードすることができるマルチコアプロセッサ１３０８に対して発行され得る。

【0176】

ＧＰＧＰＵ１３０６は、汎用グラフィクス処理ユニット７００内の計算クラスタ７０６Ａ～７０６Ｈの低電力構成などの計算クラスタを含むことができる。ＧＰＧＰＵ１３０６内の計算クラスタは、訓練されたニューラルネットワークに対して推論計算を実行するよう特に最適化される命令をサポートすることができる。例えば、ＧＰＧＰＵ１３０６は、８ビット及び４ビット整数ベクトル演算などの低精度計算を実行するための命令をサポートすることができる。

【0177】

［更なる例となるグラフィクス処理システム］
上述された実施形態の詳細は、以下で説明されるグラフィクス処理システム及びデバイス内に組み込まれ得る。図１４乃至図２６のグラフィクス処理システム及びデバイスは、ありとあらゆる上記の技術を実装することができる代替のシステム及びグラフィクス処理ハードウェアを表す。

【0178】

図１４は、実施形態に従う処理システム１４００のブロック図である。システム１４００は、シングルプロセッサデスクトップシステム、マルチプロセッサワークステーションシステム、又は多数のプロセッサ１４０２又はプロセッサコア１４０７を備えたサーバシステムで使用されてよい。一実施形態において、システム１４００は、ローカル又はワイドエリアネットワークへの有線又は無線接続を備えたインターネット・オブ・シングス（ＩｏＴ）デバイス内など携帯型、手持ち式、埋め込み型デバイスで使用されるシステム・オン・ア・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。

【0179】

一実施形態において、システム１４００は、サーバベースのゲームプラットフォーム；ゲーム及びメディアコンソールを含むゲームコンソール；携帯型ゲームコンソール、手持ち式ゲーム機、又はオンラインゲーム機を含むか、それと結合するか、又はその中に組み込まれることが可能である。いくつかの実施形態において、システム１４００は、携帯電話機、スマートフォン、タブレットコンピュータデバイス、又はモバイルインターネット接続デバイス、例えば、低内部記憶容量のラップトップ、の部分である。処理システム１４００はまた、スマートウォッチウェラブルデバイスなどのウェアラブルデバイス；現実世界の視覚、音声又は触覚経験を補完するよう視覚、音声又は触覚出力を供給するか、あるいは、テキスト、音声、映像、ホログラフィック画像若しくは映像、又は触覚フィードバックを供給する拡張現実（ＡＲ）又は仮想現実（ＶＲ）機能により強化されたスマートアイウェア又は衣服；あるいは、他の仮想現実（ＶＲ）デバイスを含むか、それと結合するか、又はその中に組み込まれることも可能である。いくつかの実施形態において、処理システム１４００は、テレビ受像機又はセットトップボックスデバイスを含むか、あるいは、その部分である。

【0180】

いくつかの実施形態において、システム１４００は、バス、トレーラトラック、自動車、原動機付き又は電動自転車、飛行機又はグライダー（あるいは、それらの任意の組み合わせ）などの自動運転式輸送手段を含むか、それと結合するか、又はその中に組み込まれることが可能である。自動運転式輸送手段は、輸送手段の周りで検知された環境を処理するためにシステム１４００を用いてよい。

【0181】

いくつかの実施形態において、１つ以上のプロセッサ１４０２は夫々、実行時に、システム又はユーザソフトウェアのための動作を実行する命令を処理する１つ以上のプロセッサコア１４０７を含む。いくつかの実施形態において、１つ以上のプロセッサコア１４０７のうちの少なくとも１つは、特定の命令セット１４０９を処理するよう構成される。いくつかの実施形態において、命令セット１４０９は、複数命令セットコンピューティング（Complex Instruction Set Computing，ＣＩＳＣ）、縮小命令セットコンピューティング（Reduced Instruction Set Computing，ＲＩＳＣ）、又は超長命令語（Very Long Instruction Word，ＶＬＩＷ）によるコンピューティングを促進してよい。１つ以上のプロセッサコア１４０７は、異なる命令セット１４０９を処理してもよい。異なる命令セット１４０９は、他の命令セットのエミュレーションを促進する命令を含んでよい。プロセッサコア１４０７はまた、デジタル信号プロセッサ（Digital Signal Processor，ＤＳＰ）などの他の処理デバイスを含んでもよい。

【0182】

いくつかの実施形態において、プロセッサ１４０２は、キャッシュメモリ１４０４を含む。アーキテクチャに応じて、プロセッサ１４０２は、単一内部キャッシュ、又は複数レベルの内部キャッシュを有することができる。いくつかの実施形態において、キャッシュメモリは、プロセッサ１４０２の様々なコンポーネントの間で共有される。いくつかの実施形態において、プロセッサ１４０２はまた、外部キャッシュ（例えば、レベル－３（Ｌ３）キャッシュ又はラストレベルキャッシュ（ＬＬＣ））（図示せず）も使用する。外部キャッシュは、既知のキャッシュコヒーレンス技術を用いてプロセッサコア１４０７の間で共有されてよい。プロセッサ１４０２には、レジスタファイル１４０６が更に含まれ得る。レジスタファイル１４０６は、異なるタイプのデータを記憶する異なるタイプのレジスタ（例えば、整数レジスタ、浮動小数点レジスタ、ステータスレジスタ、及び命令ポインタレジスタ）を含んでよい。いくつかのレジスタは、汎用のレジスタであってよく、一方、他のレジスタは、プロセッサ１４０２の設計に特有であってよい。

【0183】

いくつかの実施形態において、１つ以上のプロセッサ１４０２は、アドレス、データ、又は制御信号などの通信信号をプロセッサ１４０２とシステム１４００内の他のコンポーネントとの間で伝送するよう１つ以上のインターフェースバス１４１０と結合される。インターフェースバス１４１０は、一実施形態において、ダイレクト・メディア・インターフェース（Direct Media Interface，ＤＭＩ）バスの変形などのプロセッサバスであることができる。しかし、プロセッサバスは、ＤＭＩバスに限定されず、１つ以上のペリフェラル・コンポーネント・インターコネクト（例えば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）バス、メモリバス、又は他のタイプのインターフェースバスを含んでもよい。一実施形態において、プロセッサ１４０２は、集積メモリコントローラ１４１６及びプラットフォームコントローラハブ１４３０を含む。メモリコントローラ１４１６は、メモリデバイスとシステム１４００の他のコンポーネントとの間の通信を助け、一方、プラットフォームコントローラハブ（ＰＣＨ）１４３０は、ローカルＩ／Ｏバスを介したＩ／Ｏデバイスへの接続を提供する。

【0184】

メモリデバイス１４２０は、動的ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、静的ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュメモリデバイス、相変化メモリデバイス、又はプロセスメモリとして機能するよう適切な性能を備えたその他メモリデバイスであることができる。一実施形態において、メモリデバイス１４２０は、１つ以上のプロセッサ１４０２がアプリケーション又はプロセスを実行するときに使用されるデータ１４２２及び命令１４２１を記憶するために、システム１４００のためのシステムメモリとして動作することができる。メモリコントローラ１４１６はまた、任意の外部グラフィクスプロセッサ１４１８とも結合する。外部グラフィクスプロセッサ１４１８は、グラフィクス及びメディア操作を実行するようプロセッサ１４０２内の１つ以上のグラフィクスプロセッサ１４０８と通信してよい。いくつかの実施形態において、グラフィクス、メディア、及び／又は計算操作は、グラフィクス、メディア、又は計算操作の特殊化した組を実行するよう構成され得るコプロセッサであるアクセラレータ１４１２によって支援されてよい。例えば、一実施形態において、アクセラレータ１４１２は、機械学習又は計算操作を最適化するために使用される行列乗算アクセラレータである。一実施形態において、アクセラレータ１４１２は、グラフィクスプロセッサ１４０８と協力してレイトレーシング動作を実行するために使用され得るレイトレーシングアクセラレータである。いくつかの実施形態において、表示デバイス１４１１は、プロセッサ１４０２へ接続することができる。表示デバイス１４１１は、モバイル電子機器若しくはラップトップデバイスで見られるような内蔵表示デバイス、又は表示インターフェース（例えば、ＤｉｓｐｌａｙＰｏｒｔなど）を介して取り付けられた外部表示デバイス、の１つ以上であることができる。一実施形態において、表示デバイス１４１１は、仮想現実（ＶＲ）アプリケーション又は拡張現実（ＡＲ）アプリケーションで使用される立体視表示デバイスなどのヘッドマウント型ディスプレイ（ＨＭＤ）であることができる。

【0185】

いくつかの実施形態において、プラットフォームコントローラハブ１４３０は、周辺機器が高速Ｉ／Ｏバスを介してメモリデバイス１４２０及びプロセッサ１４０２へ接続することを可能にする。Ｉ／Ｏペリフェラルは、オーディオコントローラ１４４６、ネットワークデバイス１４３４、ファームウェアインターフェース１４２８、無線トランシーバ１４２６、タッチセンサ１４２５、データ記憶デバイス１４２４（例えば、不揮発性メモリ、揮発性メモリ、ハードディスクドライブ、フラッシュメモリ、ＮＡＮＤ、３Ｄ ＮＡＮＤ、３Ｄ ＸＰｏｉｎｔ、など）を含むが、これらに限られない。データ記憶デバイス１４２４は、ペリフェラル・コンポーネント・インターコネクト（例えば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）バスなどのペリフェラルバスを介して又はストレージインターフェース（例えば、ＳＡＴＡ）を介して接続することができる。タッチセンサ１４２５は、タッチスクリーンセンサ、圧力センサ、又は指紋センサを含むことができる。無線トランシーバ１４２６は、Ｗｉ－Ｆｉトランシーバ、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、又はモバイルネットワークトランシーバ、例えば、３Ｇ、４Ｇ、５Ｇ、又はロング・ターム・エボリューション（ＬＴＥ）トランシーバであることができる。ファームウェアインターフェース１４２８は、システムファームウェアとの通信を可能にし、例えば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（unified extensible firmware interface，ＵＥＦＩ）であることができる。ネットワークコントローラ１４３４は、有線ネットワークへのネットワーク接続を可能にすることができる。いくつかの実施形態において、高性能ネットワークコントローラ（図示せず）がインターフェースバス１４１０と結合する。オーディオコントローラ１４４６は、一実施形態において、マルチチャネル・ハイディフィニション・オーディオコントローラである。一実施形態において、システム１４００は、レガシー（例えば、Personal System 2（ＰＳ／２））デバイスをシステムへ結合する任意のレガシーＩ／Ｏコントローラ１４４０を含む。プラットフォームコントローラハブ１４３０はまた、キーボード及びマウス１４４３の組み合わせ、カメラ１４４４、又は他のＵＳＢ入力デバイスなどの入力デバイスを接続する１つ以上のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ１４４２へ接続することもできる。

【0186】

明らかなように、示されているシステム１４００は、例であって限定ではなく、別なふうに構成される他のタイプのデータ処理システムも使用されてよい。例えば、メモリコントローラ１４１６及びプラットフォームコントローラハブ１４３０のインスタンスは、外部グラフィクスプロセッサ１４１８などの分離した外部グラフィクスプロセッサに組み込まれてもよい。一実施形態において、プラットフォームコントローラハブ１４３０及び／又はメモリコントローラ１４１６は、１つ以上のプロセッサ１４０２の外であってよい。例えば、システム１４００は、外付けのメモリコントローラ１４１６及びプラットフォームコントローラハブ１４３０を含むことができ、これらは、プロセッサ１４０２と通信するシステムチップセット内のメモリコントローラハブ及びペリフェラルコントローラハブとして構成されてよい。

【0187】

例えば、回路基板（「スレッド（sleds）」）が使用可能であり、その上には、ＣＰＵ、メモリ、及び他のコンポーネントなどのコンポーネントが載置され、熱性能を向上させるよう設計される。いくつかの例では、プロセッサなどの処理コンポーネントは、スレッドの上面に置かれ、一方、ＤＩＭＭなどの近くのメモリは、スレッドの底面に置かれる。この設計によってもたらされる強化された気流の結果として、コンポーネントは、通常のシステムよりも高い周波数及び電力レベルで動作して、性能を向上させ得る。更に、スレッドは、ラック内の電源及びデータ通信ケーブルと盲目的に結合するよう構成され、それによって、迅速な取り外し、アップグレード、再インストール、及び／又は交換が可能である。同様に、プロセッサ、アクセラレータ、メモリ、及びデータ記憶ドライブなどの、スレッドに載置されている個々のコンポーネントは、相互の間隔を広げられることで容易にアップグレードされるよう構成される。実例となる実施形態では、コンポーネントは、それらの真正性を証明するためのハードウェア認証機能を更に含む。

【0188】

データセンターは、Ｅｔｈｅｒｎｅｔ（登録商標）及びＯｍｎｉ－Ｐａｔｈを含む複数の他のネットワークアーキテクチャをサポートする単一のネットワークアーキテクチャ（「ファブリック」）を利用することができる。スレッドは、光ファイバを介してスイッチへ結合可能であり、これは、典型的なツイステッド・ペア・ケーブル（カテゴリ５、カテゴリ５ｅ、カテゴリ６、など）よりも高いバンド幅及び低いレイテンシをもたらす。高バンド幅、低レイテンシの相互接続及びネットワークアーキテクチャにより、データセンターは、使用中に、物理的に構成要素に分けられているメモリ、アクセラレータ（例えば、ＧＰＵ、グラフィクスアクセラレータ、ＦＰＧＡ、ＡＳＩＣ、ニューラルネットワーク及び／又は人工知能アクセラレータ、など）及びデータ記憶ドライブなどのリソースをプールし、それらを、必要に応じて計算リソース（例えば、プロセッサ）に提供して、計算リソースが、プールされたリソースに、それらがあたかもローカルであるかのようにアクセスすることを可能にする。

【0189】

電力供給又は電源は、電圧及び／又は電流をシステム１４００又は本願で記載されているいずれかのコンポーネント若しくはシステムに供給することができる。一例では、電力供給は、壁コンセントにプラグを差し込むようＡＣ－ＤＣ（交流から直流）アダプタを含む。そのようなＡＣ電力は、再生可能エネルギ（例えば、太陽エネルギ）電源であることができる。一例では、電源は、外部ＡＣ－ＤＣコンバータなどのＤＣ電源を含む。一例では、電源又は電力供給は、充電野への近接により充電する無線充電ハードウェアを含む。一例では、電源は、内蔵バッテリ、交流電源、運動に基づいた電源、太陽電源、又は燃料電池を含むことができる。

【0190】

図１５は、１つ以上のプロセッサコア１５０２Ａ～１５０２Ｎ、集積メモリコントローラ１５１４、及び集積グラフィクスプロセッサ１５０８を備えたプロセッサ１５００の実施形態のブロック図である。本願のいずれかの他の図の要素と同じ参照番号（又は名称）を持っている図１５のこれらの要素は、本願のどこかで記載されているのと同じように動作又は機能することができるが、そのように限定されない。プロセッサ１５００は、破線ボックスで表されている追加コア１５０２Ｎまでの追加コアを含むことができる。プロセッサコア１５０２Ａ～１５０２Ｎの夫々は、１つ以上の内部キャッシュユニット１５０４Ａ～１５０４Ｎを含む。いくつかの実施形態において、各プロセッサコアはまた、１つ以上の共有キャッシュユニット１５０６へのアクセスも有する。

【0191】

内部キャッシュユニット１５０４Ａ～１５０４Ｎ及び共有キャッシュユニット１５０６は、プロセッサ１５００内のキャッシュメモリヒエラルキを表す。キャッシュメモリヒエラルキは、各プロセッサコア内の少なくとも１つのレベルの命令及びデータキャッシュと、レベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）、又は他のレベルのキャッシュなどの１つ以上のレベルの共有ミッドレベルキャッシュとを含んでよく、外部メモリの前の最も高いレベルのキャッシュは、ＬＬＣと分類される。いくつかの実施形態において、キャッシュコヒーレンシロジックは、様々なキャッシュユニット１５０６及び１５０４Ａ～１５０４Ｎの間でコヒーレンシを保つ。

【0192】

いくつかの実施形態において、プロセッサ１５００はまた、１つ以上のバスコントローラユニット１５１６の組と、システムエージェントコア１５１０とを含んでもよい。１つ以上のバスコントローラユニット１５１６は、１つ以上のＰＣＩ又はＰＣＩエクスプレスバスなどのペリフェラルバスの組を管理する。システムエージェントコア１５１０は、様々なプロセッサコンポーネントのための管理機能性を提供する。いくつかの実施形態において、システムエージェントコア１５１０は、様々な外部メモリデバイス（図示せず）へのアクセスを管理する１つ以上の集積メモリコントローラ１５１４を含む。

【0193】

いくつかの実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎのうちの１つ以上は、同時のマルチスレッディングのサポートを含む。そのような実施形態では、システムエージェントコア１５１０は、マルチスレッド処理中にコア１５０２Ａ～１５０２Ｎを協調及び作動させるためのコンポーネントを含む。システムエージェントコア１５１０は、プロセッサコア１５０２Ａ～１５０２Ｎ及びグラフィクスプロセッサ１５０８の電力状態を調整するロジック及びコンポーネントを含む電力制御ユニット（ＰＣＵ）を更に含んでもよい。

【0194】

いくつかの実施形態において、プロセッサ１５００は、グラフィクス処理動作を実行するグラフィクスプロセッサ１５０８を更に含む。いくつかの実施形態において、グラフィクスプロセッサ１５０８は、共有キャッシュユニット１５０６の組、及び１つ以上の集積メモリコントローラ１５１４を含むシステムエージェントコア１５１０と結合する。いくつかの実施形態において、システムエージェントコア１５１０はまた、結合された１つ以上のディスプレイへのグラフィクスプロセッサ出力を駆動するディスプレイコントローラ１５１１も含む。いくつかの実施形態において、ディスプレイコントローラ１５１１はまた、少なくとも１つのインターコネクトを介してグラフィクスプロセッサと結合された別個のモジュールであってもよく、あるいは、グラフィクスプロセッサ１５０８内に組み込まれてもよい。

【0195】

いくつかの実施形態において、リングベースのインターコネクトユニット１５１２が、プロセッサ１５００の内部コンポーネントを結合するために使用される。しかし、代替のインターコネクトユニットが使用されてもよく、例えば、ポイント・ツー・ポイントインターコネクト、スイッチドインターコネクト、又は当該技術でよく知られている技術を含む他の技術がある。いくつかの実施形態において、グラフィクスプロセッサ１５０８は、Ｉ／Ｏリンク１５１３を介してリングインターコネクト１５１２と結合する。

【0196】

例となるＩ／Ｏリンク１５１３は、ｅＤＲＡＭモジュールなどの高性能埋め込みメモリモジュール１５１８と様々なプロセッサコンポーネントとの間の通信を助けるパッケージＩ／Ｏインターコネクトを含む多種多様なＩ／Ｏインターコネクトのうちの少なくとも１つを表す。いくつかの実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎ及びグラフィクスプロセッサ１５０８の夫々は、埋め込みメモリモジュール１５１８を共有ラストレベルキャッシュとして使用することができる。

【0197】

いくつかの実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎは、同じ命令セットアーキテクチャを実行する同種のコアである。他の実施形態では、プロセッサコア１５０２Ａ～１５０２Ｎは、命令セットアーキテクチャ（ＩＳＡ）に関して異種であり、プロセッサコア１５０２Ａ～１５０２Ｎのうちの１つ以上は、第１命令セットを実行し、一方、残りのコアのうちの少なくとも１つは、第１命令セットのサブセット又は異なる命令セットを実行する。一実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎは、マイクロアーキテクチャに関して異種であり、相対的により高い電力消費を有する１つ以上のコアは、より低い電力消費を有する１つ以上の電力コアと結合する。一実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎは、計算能力に関して異種である。更には、プロセッサ１５００は、１つ以上のチップ上で、あるいは、他のコンポーネントに加えて、表されているコンポーネントを備えたＳｏＣ集積回路として、実装され得る。

【0198】

図１６は、グラフィクスプロセッサ１６００のブロック図であり、グラフィクスプロセッサ１６００は、別個のグラフィクス処理ユニットであってよく、あるいは、複数の処理コア、又はメモリデバイス若しくはネットワークインターフェースを含むがこれに限られない他の半導体デバイスと一体化されたグラフィクスプロセッサであってもよい。いくつかの実施形態において、グラフィクスプロセッサは、メモリマップドＩ／Ｏインターフェースを介してグラフィクスプロセッサ上のレジスタと、及びプロセッサメモリ内に置かれたコマンドと通信する。いくつかの実施形態において、グラフィクスプロセッサ１６００は、メモリにアクセスするためのメモリインターフェース１６１４を含む。メモリインターフェース１６１４は、ローカルメモリ、ひとついじょうの内部キャッシュ、１つ以上の共有外部キャッシュ、及び／又はシステムメモリへのインターフェースであることができる。

【0199】

いくつかの実施形態において、グラフィクスプロセッサ１６００はまた、表示デバイス１６１８への表示出力データを駆動するディスプレイコントローラ１６０２も含む。ディスプレイコントローラ１６０２は、ビデオの複数のレイヤ又はユーザインターフェース要素の表示及び合成のための１つ以上のオーバーレイプレーン用のハードウェアを含む。表示デバイス１６１８は、内蔵又は外付け表示デバイスであることができる。一実施形態において、表示デバイス１６１８は、仮想現実（ＶＲ）表示デバイス又は拡張現実（ＡＲ）表示デバイスなどのヘッドマウント型表示デバイスである。いくつかの実施形態において、グラフィクスプロセッサ１６００は、ＭＰＥＧ－２などのＭＰＥＧ（Moving Picture Experts Group）フォーマット、Ｈ．２６５／ＭＰＥＧ－４ ＡＶＣなどのＡＶＣ（Advanced Video Coding）フォーマット、Ｈ．２６５／ＨＥＶＣ、ＡＯＭｅｄｉａ（Alliance for Open Media）ＶＰ８、ＶＰ９、及びＳＭＰＴＥ（Society of Motion Picture & Television Engineers）４２１Ｍ／ＶＣ－１、並びにＪＰＥＧなどのＪＰＥＧ（Joint Photographic Experts Group）フォーマット及びＭＪＰＥＧ（Motion JPEG）フォーマットを含むがこれらに限られない１つ以上のメディア符号化フォーマットへ、又はそのようなフォーマットから、又はそれらのフォーマットの間でメディアを符号化、復号化、又はトランスコードするビデオコーデックエンジン１６０６を含む。

【0200】

いくつかの実施形態において、グラフィクスプロセッサ１６００は、例えば、ビット境界ブロック転送（bit-boundary block transfer）を含む２次元（２Ｄ）のラスタライザ動作を実行するブロック画像転送（ＢＬＩＴ）エンジン１６０４を含む。しかし、一実施形態では、２Ｄグラフィクス操作は、グラフィクス処理エンジン（ＧＰＥ）１６１０の１つ以上のコンポーネントを用いて実行される。いくつかの実施形態において、ＧＰＥ１６１０は、３次元（３Ｄ）グラフィクス操作及びメディア操作を含むグラフィクス操作を実行する計算エンジンである。

【0201】

いくつかの実施形態において、ＧＰＥ１６１０は、３Ｄプリミティブ形状（例えば、長方形、三角形、など）に従って動作する処理機能を使用した３次元画像及びシーンのレンダリングなどの３Ｄ操作を実行する３Ｄパイプライン１６１２を含む。３Ｄパイプライン１６１２は、要素内で様々なタスクを実行しかつ／あるいは実行スレッドを３Ｄ／メディアサブシステム１６１５に対して生成するプログラム可能な固定された機能を含む。３Ｄパイプライン１６１２が、メディア操作を実行するために使用され得る一方で、ＧＰＥ１６１０の実施形態は、ビデオ後処理及び画像エンハンスメントなどのメディア操作を実行するために特に使用されるメディアパイプライン１６１６も含む。

【0202】

いくつかの実施形態において、メディアパイプライン１６１６は、ビデオコーデックエンジン１６０６の代わりに、又はその代理として、ビデオ復号化アクセラレーション、ビデオインターレース解除、及びビデオ符号化アクセラレーションなどの１つ以上の特殊化したメディア操作を実行する固定された機能又はプログラム可能なロジックユニットを含む。いくつかの実施形態において、メディアパイプライン１６１６は、３Ｄ／メディアサブシステム１６１５で実行されるスレッドを生成するスレッド生成ユニットを更に含む。生成されたスレッドは、３Ｄ／メディアサブシステム１６１５に含まれる１つ以上のグラフィクス実行ユニットでのメディア操作のための計算を実行する。

【0203】

いくつかの実施形態において、３Ｄ／メディアサブシステム１６１５は、３Ｄパイプライン１６１２及びメディアパイプライン１６１６によって生成されたスレッドを実行するためのロジックを含む。一実施形態において、これらのパイプラインは、スレッド実行要求を３Ｄ／メディアサブシステム１６１５へ送る。３Ｄ／メディアサブシステム１６１５は、様々な要求を調停して、利用可能なスレッド実行リソースにディスパッチするスレッドディスパッチロジックを含む。実行リソースは、３Ｄ及びメディアスレッドを処理するグラフィクス実行ユニットのアレイを含む。いくつかの実施形態において、３Ｄ／メディアサブシステム１６１５は、スレッド命令及びデータのための１つ以上の内部キャッシュを含む。いくつかの実施形態において、サブシステムはまた、スレッド間でデータを共有しかつ出力データを記憶するために、レジスタ及びアドレス可能メモリを含む共有メモリを含む。

【0204】

［グラフィクス処理エンジン］
図１７は、いくつかの実施形態に従うグラフィクスプロセッサのグラフィクス処理エンジン１７１０のブロック図である。一実施形態において、グラフィクス処理エンジン（ＧＰＥ）１７１０は、図１６に示されたＧＰＥ１６１０の変形である。本願のどこかの図の要素と同じ参照番号（又は名称）を持っている図１７の要素は、本願のどこかで記載されているのと同じように動作又は機能することができるが、そのように限定されない。例えば、図１６の３Ｄパイプライン１６１２及びメディアパイプライン１６１６が表されている。メディアパイプライン１６１６は、ＧＰＥ１７１０のいくつかの実施形態では任意であり、ＧＰＥ１７１０内に明示的に含まれてなくてもよい。例えば、少なくとも１つの実施形態では、別個のメディア及び／又は画像プロセッサがＧＰＥ１７１０へ結合される。

【0205】

いくつかの実施形態において、ＧＰＥ１７１０は、コマンドストリームを３Ｄパイプライン１６１２及び／又はメディアパイプライン１６１６へ供給するコマンドストリーマ１７０３と結合するか、又はそれを含む。いくつかの実施形態において、コマンドストリーマ１７０３は、システムメモリ、又は内部キャッシュメモリ及び共有キャッシュメモリのうちの１つ以上であることができるメモリと結合される。いくつかの実施形態において、コマンドストリーマ１７０３は、メモリからコマンドを受け取り、コマンドを３Ｄパイプライン１６１２及び／又はメディアパイプライン１６１６へ送る。コマンドは、３Ｄパイプライン１６１２及びメディアパイプライン１６１６に対するコマンドを記憶するリングバッファからフェッチされた指令である。一実施形態において、リングバッファは、複数のコマンドのバッチを記憶しているバッチコマンドバッファを更に含むことができる。３Ｄパイプライン１６１２に対するコマンドはまた、例えば、３Ｄパイプライン１６１２に対する頂点及びジオメトリデータ、及び／又はメディアパイプライン１６１６のための画像データ及びメモリオブジェクトなどの、しかしこれらに限られない、メモリに記憶されているデータへの参照を含むこともできる。３Ｄパイプライン１６１２及びメディアパイプライン１６１６は、各々のパイプライン内のロジックにより動作を実行することによって、あるいは、１つ以上の実行スレッドをグラフィクスコアアレイ１７１４にディスパッチすることによって、コマンド及びデータを処理する。一実施形態において、グラフィクスコアアレイ１７１４は、グラフィクスコア（例えば、グラフィクスコア１７１５Ａ、グラフィクスコア１７１５Ｂ）の１つ以上のブロックを含み、各ブロックは、１つ以上のグラフィクスコアを含む。各グラフィクスコアは、グラフィクス及び計算操作を実行する汎用及びグラフィクス特有実行ロジックと、固定機能テクスチャ処理及び／又は機械学習及び人工知能アクセラレーションロジックとを含むグラフィクス実行リソースの組を含む。

【0206】

様々な実施形態において、３Ｄパイプライン１６１２は、命令を処理しかつ実行スレッドをグラフィクスコアアレイ１７１４にディスパッチすることによって、頂点シェーダ、ジオメトリシェーダ、ピクセルシェーダ、フラグメントシェーダ、計算シェーダ、又は他のシェーダプログラムなどの１つ以上のシェーダプログラムを処理する固定機能及びプログラム可能ロジックを含むことができる。グラフィクスコアアレイ１７１４は、これらのシェーダプログラムを処理する際に使用される実行リソースの統合されたブロックを提供する。グラフィクスコアアレイ１７１４のグラフィクスコア１７１５Ａ～１７１５Ｂ内の多目的実行ロジック（例えば、実行ユニット）は、様々な３Ｄ ＡＰＩシェーダ言語のサポートを含み、複数のシェーダに関連した複数の同時実行スレッドを実行することができる。

【0207】

いくつかの実施形態において、グラフィクスコアアレイ１７１４は、ビデオ及び／又は画像処理などのメディア機能を実行する実行ロジックを含む。一実施形態において、実行ユニットは、グラフィクス処理動作に加えて、並列な汎用計算動作を実行するようプログラム可能である汎用ロジックを含む。汎用ロジックは、図１４のプロセッサコア１４０７又は図１５のコア１５０２Ａ～１５０２Ｎ内の汎用ロジックと並行して又はそれと連動して処理動作を実行することができる。

【0208】

グラフィクスコアアレイ１７１４でのスレッド実行によって生成された出力データは、統合リターンバッファ（unified return buffer，ＵＲＢ）１７１８内のメモリへデータを出力することができる。ＵＲＢ１７１８は、複数のスレッドのデータを記憶することができる。いくつかの実施形態において、ＵＲＢ１７１８は、グラフィクスコアアレイ１７１４で実行される異なるスレッド間データを送るために使用されてよい。いくつかの実施形態において、ＵＲＢ１７１８は、グラフィクスコアアレイ及び共有機能ロジック１７２０内の固定機能ロジックでのスレッド間の同期化のために更に使用されてよい。

【0209】

いくつかの実施形態において、グラフィクスコアアレイ１７１４は、アレイが、ＧＰＥ１７１０の目標電力及び性能レベルに基づいて可変な数の実行ユニットを夫々が有する可変な数のグラフィクスコアを含むように、スケーリング可能である。一実施形態において、実行リソースは、実行リソースが必要に応じて有効又は無効にされ得るように、動的にスケーリング可能である。

【0210】

グラフィクスコアアレイ１７１４は、グラフィクスコアアレイ内のグラフィクスコア間で共有される複数のリソースを含む共有機能ロジック１７２０と結合する。共有機能ロジック１７２０内の共有機能は、特殊化した補助機能をグラフィクスコアアレイ１７１４にもたらすハードウェアロジックユニットである。様々な実施形態において、共有機能ロジック１７２０は、サンプラ１７２１、マス（math）１７２２、及びインタースレッド通信（ＩＴＣ）１７２３ロジックを含むが、これらに限られない。更に、いくつかの実施形態は、共有機能ロジック１７２０内の１つ以上のキャッシュ１７２５を実装する。

【0211】

共有機能は、少なくとも、所与の特殊化した機能に対する需要がグラフィクスコアアレイ１７１４内に含めるには不十分である場合に、実装される。代わりに、この特殊化した機能の単一のインスタンス化が、共有機能ロジック１７２０でスタンドアロンのエンティティとして実装され、グラフィクスコアアレイ１７１４内の実行リソース間で共有される。グラフィクスコアアレイ１７１４の間で共有され、グラフィクスコアアレイ１７１４内に含まれる機能の正確な組は、実施形態ごとに様々である。いくつかの実施形態において、グラフィクスコアアレイ１７１４によって広範に使用される共有機能ロジック１７２０内の特定の共有機能は、グラフィクスコアアレイ１７１４内の共有機能ロジック１７１６内に含まれてもよい。様々な実施形態において、グラフィクスコアアレイ１７１４内の共有機能ロジック１７１６は、共有機能ロジック１７２０内のいくつか又は全てのロジックを含むことができる。一実施形態において、共有機能ロジック１７２０内の全てのロジック要素は、グラフィクスコアアレイ１７１４の共有機能ロジック１７１６内に複製されてよい。一実施形態において、共有機能ロジック１７２０は、グラフィクスコアアレイ１７１４内の共有機能ロジック１７１６を支持して除外される。

【0212】

図１８は、本願で記載されているいくつかの実施形態に従うグラフィクスプロセッサコア１８００のハードウェアロジックのブロック図である。本願のいずれかの他の図の要素と同じ参照番号（又は名称）を有している図１８の要素は、本願のどこかで記載されているのと同じように動作又は機能することができるが、そのように限定されない。表されているグラフィクスプロセッサコア１８００は、いくつかの実施形態において、図１７のグラフィクスコアアレイ１７１４内に含まれる。グラフィクスプロセッサコア１８００は、コアスライスと時々呼ばれ、モジュールグラフィクスプロセッサ内の１つ又は複数のグラフィクスコアであることができる。グラフィクスプロセッサコア１８００は、１つのグラフィクスコアスライスの例であり、本願で記載されているグラフィクスプロセッサは、目標電力及び性能エンベロープに基づいて複数のグラフィクスコアスライスを含んでよい。各グラフィクスプロセッサコア１８００は、汎用及び固定機能ロジックのモジュールブロックを含む、サブスライスとも呼ばれる複数のサブコア１８０１Ａ～１８０１Ｆと結合されている固定機能ブロック１８３０を含むことができる。

【0213】

いくつかの実施形態において、固定機能ブロック１８３０は、例えば、より低い性能及び／又はより低い電力のグラフィクスプロセッサ実装で、グラフィクスプロセッサコア１８００内の全てのサブコアによって共有され得るジオメトリ／固定機能パイプライン１８３６を含む。様々な実施形態において、ジオメトリ／固定機能パイプライン１８３６は、３Ｄ固定機能パイプライン（例えば、図１６及び図１７で見られた３Ｄパイプライン１６１２）、ビデオフロントエンドユニット、スレッドスポナー（spawner）及びスレッドディスパッチャ、並びに図１７の統合リターンバッファ１７１８などの統合リターンバッファを管理する統合リターンバッファマネージャを含む。

【0214】

一実施形態において、固定機能ブロック１８３０はまた、グラフィクスＳｏＣインターフェース１８３７、グラフィクスマイクロコントローラ１８３８、及びメディアパイプライン１８３９を含む。グラフィクスＳｏＣインターフェース１８３７は、グラフィクスプロセッサコア１８００とＳｏＣ集積回路内の他のプロセッサとの間のインターフェースを提供する。グラフィクスマイクロコントローラ１８３８は、スレッドディスパッチ、スケジューリング、及びプリエンプションを含むグラフィクスプロセッサコア１８００の様々な機能を管理するよう構成可能であるプログラム可能なサブプロセッサである。メディアパイプライン１８３９（例えば、図１６及び図１７のメディアパイプライン１６１６）は、画像及びビデオデータを含むマルチメディアデータの復号化、符号化、前処理、及び／又は後処理を助けるロジックを含む。メディアパイプライン１８３９は、サブコア１８０１Ａ～１８０１Ｆ内の計算又はサンプリングロジックへのリクエストによりメディア操作を実装する。

【0215】

一実施形態において、ＳｏＣインターフェース１８３７は、汎用アプリケーションプロセッサコア（例えば、ＣＰＵ）、かつ／あるいは、共有ラストレベルキャッシュメモリなどのメモリヒエラルキ要素、システムＲＡＭ、及び／又は埋め込みオンチップ若しくはオンパッケージＤＲＡＭを含むＳｏＣ内の他のコンポーネントと通信することをグラフィクスプロセッサコア１８００に可能にする。ＳｏＣインターフェース１８３７はまた、カメライメージングパイプラインなどのＳｏＣ内の固定機能デバイスとの通信も可能にすることができ、グラフィクスプロセッサコア１８００とＳｏＣ内のＣＰＵとの間で共有され得るグローバルメモリアトミックの使用を可能にしかつ／あるいはそれを実装する。ＳｏＣインターフェース１８３７はまた、グラフィクスプロセッサコア１８００のための電力管理制御を実装し、グラフィクスプロセッサコア１８００のクロックドメインとＳｏＣ内の他のクロックドメインとの間のインターフェースを可能にすることもできる。一実施形態において、ＳｏＣインターフェース１８３７は、グラフィクスプロセッサ内の１つ以上のグラフィクスコアの夫々へコマンド及び命令を供給するよう構成されるコマンドストリーマ及びグローバルスレッドディスパッチャからのコマンドバッファの受信を可能にする。コマンド及び命令は、メディア操作が実行されるべき場合にメディアパイプライン１８３９に、あるいは、グラフィクス処理動作が実行されるべきである場合にジオメトリ及び固定機能パイプライン（例えば、ジオメトリ及び固定機能パイプライン１８３６、ジオメトリ及び固定機能パイプライン１８１４）にディスパッチされ得る。

【0216】

グラフィクスマイクロコントローラ１８３８は、グラフィクスプロセッサコア１８００のための様々なスケジューリング及び管理タスクを実行するよう構成され得る。一実施形態において、グラフィクスマイクロコントローラ１８３８は、サブコア１８０１Ａ～１８０１Ｆ内の実行ユニット（execution unit，ＥＵ）アレイ１８０２Ａ～１８０２Ｆ、１８０４Ａ～１８０４Ｆ内の様々なグラフィクス並列エンジンに対してグラフィクス及び／又は計算ワークロードスケーリングを実行することができる。このスケジューリングモデルでは、グラフィクスプロセッサコア１８００を含むＳｏＣのＣＰＵコアで実行されるホストソフトウェアは、適切なグラフィクスエンジンでスケーリング動作を呼び出す複数のグラフィックプロセッサドアベルのうちの１つにワークロードを発行することができる。スケジューリング動作は、次にどのワークロードを実行すべきかを決定すること、コマンドストリーマにワークロードを発行すること、エンジンで実行されている既存のワークロードをプリエンプトとすること、ワークロードの進捗を管理すること、及びワークロードが完了する場合にホストソフトウェアに通知することを含む。一実施形態において、グラフィクスマイクロコントローラ１８３８はまた、グラフィクスプロセッサコア１８００の低電力又はアイドル状態を促進することができ、グラフィクスプロセッサコア１８００に、システム上のオペレーティングシステム及び／又はグラフィクスドライバソフトウェアから独立して低電力状態遷移にわたってグラフィクスプロセッサコア１８００内のレジスタにセーブ及びリストアする能力をもたらす。

【0217】

グラフィクスプロセッサコア１８００は、表されているサブコア１８０１Ａ～１８０１Ｆよりも多い又は少ない、最大Ｎ個までモジュールサブコアを有してよい。Ｎ個のサブコアの各組について、グラフィクスプロセッサコア１８００はまた、様々なグラフィクス及び計算処理動作を加速させるよう、共有機能ロジック１８１０、共有及び／又はキャッシュメモリ１８１２、ジオメトリ／固定機能パイプライン１８１４、並びに追加の固定機能ロジック１８１６を含むこともできる。共有機能ロジック１８１０は、グラフィクスプロセッサコア１８００内の各Ｎ個のサブコアによって共有され得る図１７の共有機能ロジック１７２０に関連したロジックユニット（例えば、サンプラ、マス、及び／又はインタースレッド通信ロジック）を含むことができる。共有及び／又はキャッシュメモリ１８１２は、グラフィクスプロセッサコア１８００内のＮ個のサブコア１８０１Ａ～１８０１Ｆの組のためのラストレベルキャッシュであることができ、複数のサブコアによってアクセス可能である共有メモリとしても働くことができる。ジオメトリ／固定機能パイプライン１８１４は、固定機能ブロック１８３０内のジオメトリ／固定機能パイプライン１８３６の代わりに含まれ得、同じ又は類似したロジックユニットを含むことができる。

【0218】

一実施形態において、グラフィクスプロセッサコア１８００は、グラフィクスプロセッサコア１８００によって使用される様々な固定機能アクセラレーションロジックを含むことができる追加の固定機能ロジック１８１６を含む。一実施形態において、追加の固定機能ロジック１８１６は、ポジション・オンリー・シェーディング（position only shading）で使用される追加のジオメトリパイプラインを含む。ポジション・オンリー・シェーディングでは、２つのジオメトリパイプラインが存在し、ジオメトリ／固定機能パイプライン１８１４、１８３６内のフルジオメトリパイプラインと、追加の固定機能ロジック１８１６内に含まれ得る追加のジオメトリパイプラインであるカルパイプラインとである。一実施形態において、カルパイプラインは、フルジオメトリパイプラインの縮小版である。フルパイプライン及びカルパイプラインは、同じアプリケーションの異なるインスタンスを実行することができ、各インスタンスは、別個のコンテキストを有する。ポジション・オンリー・シェーディングは、破棄された三角形（discarded triangles）の長いカル実行（long cull run）を隠すことができ、いくつかのインスタンスにおいては、シェーディングがより早く完了されるのを可能にしている。例えば、１つの実施形態において、追加的な固定機能ロジック１８１６内のカルパイプラインロジックは、主アプリケーションと並列にポジションシェーダを実行することができ、そして、一般的に、フルパイプラインよりも速く、決定的な結果（critical result）を生成する。ピクセルのフレームバッファへのラスタライゼーション及びレンダリングを実行することなく、カルパイプラインは、頂点の位置属性だけをフェッチし、そして、シェーディングするからである。カルパイプラインは、生成された決定的な結果を使用して、それらの三角形がカリングされるかどうかに関係なく、全ての三角形についての可視性（visibility）情報を計算することができる。フルパイプライン（このインスタンスにおいては、リプレイ（replay）パイプラインと呼ばれ得る）は、最終的にラスタライゼーションフェーズへ渡される可視的な三角形だけをシェーディングするために、カリングされた三角形をスキップように可視性情報を消費することができる。

【0219】

いくつかの実施形態において、追加の固定機能ロジック１８１６はまた、機械学習訓練又は推論のための最適化を含む実装のために、固定機能行列乗算などの機械学習アクセラレーションロジックも含むことができる。

【0220】

各グラフィクスサブコア１８０１Ａ～１８０１Ｆ内には、グラフィクスパイプライン、メディアパイプライン、又はシェーダプログラムによるリクエストに応答してグラフィクス、メディア、及び計算操作を実行するために使用され得る実行リソースの組が含まれる。グラフィクスサブコア１８０１Ａ～１８０１Ｆは、複数のＥＵアレイ１８０２Ａ～１８０２Ｆ、１８０４Ａ～１８０４Ｆ、スレッドディスパッチ及びインタースレッド通信（ＴＤ／ＩＣ）ロジック１８０３Ａ～１８０３Ｆ、３Ｄ（例えば、テクスチャ）サンプラ１８０５Ａ～１８０５Ｆ、メディアサンプラ１８０６Ａ～１８０６Ｆ、シェーダプロセッサ１８０７Ａ～１８０７Ｆ、及び共有ローカルメモリ（ＳＬＭ）１８０８Ａ～１８０８Ｆを含む。ＥＵアレイ１８０２Ａ～１８０２Ｆ、１８０４Ａ～１８０４Ｆは夫々、グラフィクス、メディア、計算シェーダプログラムを含むグラフィクス、メディア、又は計算操作のサービスにおいて、浮動小数点及び整数／固定小数点ロジック演算を実行可能な汎用グラフィクス処理ユニットである複数の実行ユニットを含む。ＴＤ／ＩＣロジック１８０３Ａ～１８０３Ｆは、サブコア内の実行ユニットについてローカルスレッドディスパッチ及びスレッド制御動作を実行し、サブコアの実行ユニットで実行されるスレッド間の通信を促進する。３Ｄサンプラ１８０５Ａ～１８０５Ｆは、テクスチャ又は他の３Ｄグラフィクス関連データをメモリ内に読み込むことができる。３Ｄサンプラは、所与のテクスチャに関連したテクスチャフォーマット及び構成されたサンプル状態に基づいて異なるようにテクスチャデータを読み込むことができる。メディアサンプラ１８０６Ａ～１８０６Ｆは、メディアデータに関連したタイプ及びフォーマットに基づいて同様の読み込み動作を実行することができる。一実施形態において、各グラフィクスサブコア１８０１Ａ～１８０１Ｆは、代替的に、統合された３Ｄ及びメディアサンプラを含むことができる。サブコア１８０１Ａ～１８０１Ｆの夫々の中の実行ユニットで実行されるスレッドは、スレッドグループ内で実行されているスレッドがオンチップメモリの共通プールを用いて実行されることを可能にするよう、各サブコア内の共有ローカルメモリ１８０８Ａ～１８０８Ｆを利用することができる。

【0221】

［実行ユニット］
図１９Ａ～１９Ｂは、本願で記載されている実施形態に従って、グラフィクスプロセッサコアで用いられる処理要素のアレイを含むスレッド実行ロジック１９００を表す。本願のいずれかの他の図の要素と同じ参照番号（又は名称）を有している図１９Ａ～１９Ｂの要素は、本願のどこかで記載されているのと同じように動作又は機能することができるが、そのように限定されない。図１９Ａは、図１８の各サブコア１８０１Ａ～１８０１Ｆにより表されたハードウェアロジックの変形を含むことができるスレッド実行ロジック１９００の概要を表す。図１９Ｂは、実行ユニットの内部詳細の例を表す。

【0222】

図１９Ａに表されているように、いくつかの実施形態において、スレッド実行ロジック１９００は、シェーダプロセッサ１９０２、スレッドディスパッチャ１９０４、命令キャッシュ１９０６、複数の実行ユニット１９０８Ａ～１９０８Ｎを含むスケーラブル実行ユニットアレイ、サンプラ１９１０、データキャッシュ１９１２、及びデータポート１９１４を含む。一実施形態において、スケーラブル実行ユニットアレイは、ワークロードの計算要件に基づいて１つ以上の実行ユニット（例えば、実行ユニット１９０８Ａ、１９０８Ｂ、１９０８Ｃ、１９０８Ｄ、乃至１９０８Ｎ－１及び１９０８Ｎのいずれか）を有効又は無効にすることによって、動的にスケーリング可能である。一実施形態において、含まれているコンポーネントは、コンポーネントの夫々へリンクするインターコネクトファブリックを介して相互接続される。いくつかの実施形態において、スレッド実行ロジック１９００は、命令キャッシュ１９０６、データポート１９１４、サンプラ１９１０、及び実行ユニット１９０８Ａ～１９０８Ｎのうちの１つ以上を通じて、システムメモリ又はキャッシュメモリなどのメモリへの１つ以上の接続を含む。いくつかの実施形態において、各実行ユニット（例えば、１９０８Ａ）は、各スレッドについて並行して複数のデータ要素を処理しながら、複数の同時ハードウェアスレッドを実行することができるスタンドアロンのプログラム可能な汎用計算ユニットである。様々な実施形態において、実行ユニット１９０８Ａ～１９０８Ｎのアレイは、任意の数の個別的な実行ユニットを含むようスケーリング可能である。

【0223】

いくつかの実施形態において、実行ユニット１９０８Ａ～１９０８Ｎは、シェーダプログラムを実行するために主として使用される。シェーダプロセッサ１９０２は、様々なシェーダプログラムを処理し、シェーダプログラムに関連した実行スレッドをスレッドディスパッチャ１９０４によりディスパッチすることができる。一実施形態において、スレッドディスパッチャは、グラフィクス及びメディアパイプラインからのスレッド開始リクエストを調停し、要求されたスレッドを実行ユニット１９０８Ａ～１９０８Ｎの中の１つ以上の実行ユニットでインスタンス化するロジックを含む。例えば、ジオメトリパイプラインは、頂点、テッセレーション、又はジオメトリシェーダを処理のためにスレッド実行ロジックにディスパッチすることができる。いくつかの実施形態において、スレッドディスパッチャ１９０４はまた、実行中のシェーダプログラムからのランタイムスレッド生成リクエストを処理することもできる。

【0224】

いくつかの実施形態において、実行ユニット１９０８Ａ～１９０８Ｎは、グラフィクスライブラリ（例えば、Ｄｉｒｅｃｔ ３Ｄ及びＯｐｅｎＧＬ）からのシェーダプログラムが最小限の変換で実行されるように、多くの標準３Ｄグラフィクスシェーダ命令のネイティブサポートを含む命令セットをサポートする。実行ユニットは、頂点及びジオメトリ処理（例えば、頂点プログラム、ジオメトリプログラム、頂点シェーダ）、ピクセル処理（例えば、ピクセルシェーダ、フラグメントシェーダ）、並びに汎用処理（例えば、計算及びメディアシェーダ）をサポートする。実行ユニット１９０８Ａ～１９０８Ｎの夫々は、多重発行（multi-issue）のＳＩＭＤ（single instruction multiple data）実行が可能であり、マルチスレッド操作は、より高いレイテンシのメモリアクセスに直面して効率的な実行環境を可能にする。各実行ユニット内の各ハードウェアスレッドは、専用の高バンド幅レジスタファイル及び関連する独立したスレッド状態を有する。実行は、整数、単精度及び倍精度浮動小数点演算、ＳＩＭＤ分岐機能、論理演算、超越演算（transcendental operations）、及び他の種々雑多な演算が可能なパイプラインにクロックごとに多重発行する。メモリ又は共有機能の１つからのデータを待つ間、実行ユニット１９０８Ａ～１９０８Ｎ内の依存関係ロジック（dependency logic）は、要求されているデータが返されるまで、待機中のスレッドをスリープさせる。待機中のスレッドがスリープしている間、ハードウェアリソースは、他のスレッドを処理することにあてられてよい。例えば、頂点シェーダ演算に関連した遅延中に、実行ユニットは、ピクセルシェーダ、フラグメントシェーダ、又は別の頂点シェーダを含む他のタイプのシェーダプログラムの演算を実行することができる。様々な実施形態は、ＳＩＭＤの使用の代わりとして、又はＳＩＭＤの使用に加えて、ＳＩＭＴ（single instruction multiple thread）の使用による実行を使用するよう適用可能である。ＳＩＭＤコア又は動作への言及は、ＳＩＭＴにも適用することができ、あるいは、ＳＩＭＴと組み合わされたＳＩＭＤにも適用することができる。

【0225】

実行ユニット１９０８Ａ～１９０８Ｎの中の各実行ユニットは、データ要素のアレイに作用する。データ要素の数は、命令のための「実行サイズ」又はチャネル数である実行チャネルは、命令内のデータ要素アクセス、マスキング、及びフロー制御のための実行のロジックユニットである。チャネルの数は、特定のグラフィクスプロセッサのための物理的な算術論理ユニット（ＡＬＵ）又は浮動小数点ユニット（ＦＰＵ）の数とは無関係であり得る。いくつかの実施形態において、実行ユニット１９０８Ａ～１９０８Ｎは、整数及び浮動小数点データタイプをサポートする。

【0226】

実行ユニット命令セットは、ＳＩＭＤ命令を含む。様々なデータ要素が、パックされたデータイプとしてレジスタに記憶可能であり、実行ユニットは、要素のデータサイズに基づいて様々な要素を処理することになる。例えば、２５６ビットワイドのベクトルに作用する場合に、ベクトルの２５６ビットがレジスタに記憶され、実行ユニットは、４つの別個の６４ビットのパックされたデータ要素（クワッドワード（Quad-Word，ＱＷ）サイズデータ要素）、８つの別個の３２ビットのパックされたデータ要素（ダブルワード（Double Word，ＤＷ）サイズデータ要素）、１６個の別個の１６ビットのパックされたデータ要素（ワード（Ｗ）サイズデータ要素）、又は３２個の別個の８ビットデータ要素（バイト（Ｂ）サイズデータ要素）としてベクトルに作用する。しかし、異なるベクトル幅及びレジスタサイズが可能である。

【0227】

一実施形態において、１つ以上の実行ユニットは、融合したＥＵに共通するスレッド制御ロジック（１９０７Ａ～１９０７Ｎ）を有する融合した実行ユニット１９０９Ａ～１９０９Ｎにまとめられ得る。複数のＥＵは、ＥＵグループに融合され得る。融合されたＥＵグループ内の各ＥＵは、別々のＳＩＭＤハードウェアスレッドを実行するよう構成され得る。融合されたＥＵグループ内のＥＵの数は、実施形態により様々であることができる。更には、様々なＳＩＭＤ幅がＥＵごとに実行可能であり、ＳＩＭＤ８、ＳＩＭＤ１６、及びＳＩＭＤ３２があるが、これらに限られない。融合されたグラフィクス実行ユニット１９０９Ａ～１９０９Ｎの夫々は、少なくとも２つの実行ユニットを含む。例えば、融合された実行ユニット１９０９Ａは、第１ＥＵ１９０８Ａと、第２ＥＵ１９０８Ｂと、第１ＥＵ１９０８Ａ及び第２ＥＵ１９０８Ｂに共通する第３制御ロジック１９０７Ａとを含む。スレッド制御ロジック１９０７Ａは、融合されたグラフィクス実行ユニット１９０９Ａで実行されるスレッドを制御して、融合された実行ユニット１９０９Ａ～１９０９Ｎ内の各ＥＵが共通命令ポインタレジスタを用いて実行することを可能にする。

【0228】

１つ以上の内部命令キャッシュ（例えば、１９０６）は、実行ユニットのためのスレッド命令をキャッシュするようスレッド実行ロジック１９００に含まれる。いくつかの実施形態において、１つ以上のデータキャッシュ（例えば、１９１２）は、スレッド実行中にスレッドデータをキャッシュするよう含まれている。いくつかの実施形態において、サンプラ１９１０は、３Ｄ操作のためのテクスチャサンプリングと、メディア操作のためのメディアサンプラとを提供するよう含まれている。いくつかの実施形態において、サンプラ１９１０は、サンプリングされたデータを実行ユニットへ供給する前にサンプリングプロセス中にテクスチャ又はメディアデータを処理する特殊化したテクスチャ又はメディアサンプリング機能を含む。

【0229】

実行中、グラフィクス及びメディアパイプラインは、スレッド生成及びディスパッチロジックを介してスレッド実行ロジック１９００へスレッド開始リクエストを送る。幾何学オブジェクトのグループが処理されピクセルデータにラスタライズされると、シェーダプロセッサ１９０２内のピクセルプロセッサロジック（例えば、ピクセルシェーダロジック、フラグメントシェーダロジック、など）が、出力情報を更に計算して、結果を出力表面（例えば、カラーバッファ、デプスバッファ、ステンシルバッファ、など）に書き込せるために呼び出される。いくつかの実施形態において、ピクセルシェーダ又はフラグメントシェーダは、ラスタライズされたオブジェクトにわたって補間されるべきである様々な頂点属性の値を計算する。いくつかの実施形態において、シェーダプロセッサ１９０２内のピクセルプロセッサロジックは、次いで、アプリケーションプログラミングインターフェース（ＡＰＩ）により供給されたピクセル又はフラグメントシェーダプログラムを実行する。シェーダプログラムを実行するために、シェーダプロセッサ１９０２は、スレッドディスパッチャ１９０４を介して実行ユニット（例えば、１９０８Ａ）にスレッドをディスパッチする。いくつかの実施形態において、シェーダプロセッサ１９０２は、サンプラ１９１０内のテクスチャサンプリングロジックを使用して、メモリに記憶されているテクスチャマップ内のテクスチャデータにアクセスする。テクスチャデータ及び入力ジオメトリデータに対する算術演算は、各幾何学フラグメントについてピクセル色データを計算するか、あるいは、更なる処理から１つ以上のピクセルを捨てる。

【0230】

いくつかの実施形態において、データポート１９１４は、スレッド実行ロジック１９００が処理されたデータをグラフィクスプロセッサ出力パイプラインで更なる処理のためにメモリへ出力するためのメモリアクセスメカニズムを提供する。いくつかの実施形態において、データポート１９１４は、データポートによるメモリアクセスのためにデータをキャッシュする１つ以上のキャッシュメモリ（例えば、データキャッシュ１９１２）を含むか又はそれへ結合する。

【0231】

図１９Ｂに表されているように、グラフィクス実行ユニット１９０８は、命令フェッチユニット１９３７、汎用レジスタファイルアレイ（ＧＦＲ）１９２４、アーキテクチャレジスタファイルアレイ（ＡＲＦ）１９２６、スレッドアービタ１９２２、送信ユニット１９３０、分岐ユニット１９３２、ＳＩＭＤ浮動小数点ユニット（ＦＰＵ）１９３４、及び一実施形態では、専用の整数ＳＩＭＤ ＡＬＵ１９３５の組を含むことができる。ＧＲＦ１９２４及びＡＲＦ１９２６は、グラフィクス実行ユニット１９０８でアクティブであり得る各同時ハードウェアスレッドに関連した汎用レジスタファイル及びアーキテクチャレジスタファイルの組を含む。一実施形態において、スレッドごとのアーキテクチャ状態は、ＡＲＦ１９２６で保持され、一方、スレッド実行中に使用されるデータは、ＧＲＦ１９２４に格納される。各スレッドの命令ポインタを含む各スレッドの実行状態は、ＡＲＦ１９２６内のスレッド固有レジスタに保持され得る。

【0232】

一実施形態において、グラフィクス実行ユニット１９０８は、同時マルチスレッディング（simultaneous multi-threading，ＳＭＴ）及び微細（fine-grained）インターリーブマルチスレッディング（interleaved multi-threading，ＩＭＴ）の組み合わせであるアーキテクチャを有する。アーキテクチャは、同時スレッドの目標数及び実行ユニットごとのレジスタの数に基づいて設計時に微調整され得るモジュール構成を有し、実行ユニットリソースは、複数の同時スレッドを実行するために使用されるロジックにわたって分割される。

【0233】

一実施形態において、グラフィクス実行ユニット１９０８は、夫々が異なった命令であってよい複数の命令を同時発行（co-issue）することができる。グラフィクス実行ユニット１９０８のスレッドアービタ１９２２は、命令を送信ユニット１９３０、分岐ユニット１９３２、又はＳＩＭＤ ＦＰＵ１９３４の１つへ実行のためにディスパッチすることができる。各実行スレッドは、ＧＲＦ１９２４内の１２８個の汎用レジスタにアクセスすることができ、各レジスタは、３２ビットデータ要素の８要素ベクトルとしてアクセス可能な３２バイトを記憶することができる。一実施形態において、各実行ユニットスレッドは、ＧＲＦ１９２４内の４Ｋバイトへのアクセスを有するが、実施形態はそのように限定されず、より多い又はより少ないレジスタリソースが他の実施形態では設けられてもよい。一実施形態において、最大７個のスレッドが同時に実行可能であるが、実行ユニットごとのスレッドの数も、実施形態により様々であることができる。７つのスレッドが４Ｋバイトにアクセスし得る実施形態では、ＧＲＦ１９２４は、全部２８Ｋバイトを記憶することができる。フレキシブルアドレッシングモードは、有効により幅広のレジスタを構成するために、又はストライド型長方形ブロックデータ構造を表すために、レジスタが一緒にアドレッシングされることを可能にすることができる。

【0234】

一実施形態において、メモリ動作、サンプラ動作、及び他のより長いレイテンシのシステム通信は、メッセージパッシング送信ユニット１９３０によって実行される「送信」命令によりディスパッチされる。一実施形態において、分岐命令は、ＳＩＭＤダイバージェンス及び結果として起こるコンバージェンスを促進するよう専用の分岐ユニット１９３２にディスパッチされる。

【0235】

一実施形態において、グラフィクス実行ユニット１９０８は、浮動小数点演算を実行するよう１つ以上のＳＩＭＤ浮動小数点ユニット（ＦＰＵ）１９３４を含む。一実施形態において、ＦＰＵ１９３４はまた、整数計算をサポートする。一実施形態において、ＦＰＵ１９３４は、最大Ｍ個の３２ビット浮動小数点（若しくは整数）演算をＳＩＭＤ実行するか、あるいは、最大２Ｍ個の１６ビット整数又は１６ビット浮動小数点演算をＳＩＭＤ実行することができる。一実施形態において、ＦＰＵの少なくとも１つは、高スループット超越数学関数及び倍精度６４ビット浮動小数点をサポートするよう、拡張された数学能力を提供する。いくつかの実施形態において、８ビット整数ＳＩＭＤ ＡＬＵ１９３５の組も存在し、機械学習計算に関連した動作を実行するよう特に最適化されてよい。

【0236】

一実施形態において、グラフィクス実行ユニット１９０８の複数のインスタンスのアレイは、グラフィクスサブコアグルーピング（例えば、サブスライス）でインスタンス化され得る。スケーラビリティについては、製品創案者が、サブコアグルーピングごとに実行ユニットの正確な数を選択することができる。一実施形態において、実行ユニット１９０８は、複数の実行チャネルにわたって命令を実行することができる。更なる実施形態では、グラフィクス実行ユニット１９０８で実行される各スレッドが、異なるチャネルで実行される。

【0237】

図２０は、いくつかの実施形態に従うグラフィクスプロセッサ命令フォーマット２０００を表すブロック図である。１つ以上の実施形態で、グラフィクスプロセッサ実行ユニットは、複数のフォーマットで命令を有する命令セットをサポートする。実線ボックスは、一般的に実行ユニット命令に含まれているコンポーネントを表し、一方、破線は、任意であるか、あるいは、命令のサブセットにしか含まれないコンポーネントを含む。いくつかの実施形態において、記載及び例示されている命令フォーマット２０００は、それらが、命令が処理されると命令復号化から生じるマイクロオペレーションとは対照的に、実行ユニットへ供給される命令であるという点で、マクロ命令である。

【0238】

いくつかの実施形態において、グラフィクスプロセッサ実行ユニットは、元々、１２８ビット命令フォーマット２０１０で命令をサポートする。６４ビットコンパクト命令フォーマット２０３０は、選択された命令、命令オプション、及びオペランドの数に基づいて、いくつかの命令について利用可能である。元々の１２８ビット命令フォーマット２０１０は、全ての命令オプションへのアクセスを提供し、一方、６４ビットフォーマット２０３０では、いくつかのオプション及び動作が制限される。６４ビットフォーマット２０３０で利用可能な元々の命令は、実施形態により異なる。いくつかの実施形態において、命令は、インデックスフィールド２０１３内のインデックス値の組を用いて部分的に圧縮される。実行ユニットハードウェアは、インデックス値に基づいて圧縮テーブルの組を参照し、そして、圧縮テーブル出力を使用して、１２８ビット命令フォーマット２０１０内の元々の命令を再構成する。他のサイズ及びフォーマットの命令が使用可能である。

【0239】

各フォーマットについて、命令オペコード２０１２は、実行ユニットが実行すべきである動作を定義する。実行ユニットは、各オペランドの複数のデータ要素にわたって並行して各命令を実行する。例えば、加算命令に応答して、実行ユニットは、テクスチャ要素又はピクチャ要素を表す各色チャネルにわたって同時の加算演算を実行する。デフォルトで、実行ユニットは、オペランドの全データチャネルにわたって各命令を実行する。いくつかの実施形態において、命令制御フィールド２０１４は、チャネル選択（例えば、プレディケーション（predication））及びデータチャネル順序（スウィズル（swizzle））などの特定の実行オプションに対する制御を可能にする。１２８ビット命令フォーマット２０１０での命令について、実行サイズフィールド２０１６は、並行して実行されるデータチャネルの数を制限する。いくつかの実施形態において、実行サイズフィールド２０１６は、６４ビットコンパクト命令フォーマット２０３０では使用不可能である。

【0240】

いくつかの実行ユニット命令は、２つのソースオペランドｓｒｃ０ ２０２０及びｓｒｃ１ ２０２２と、１つのあて先２０１８とを含む最大３つのオペランドを有する。いくつかの実施形態において、実行ユニットは、あて先の１つが暗示される二重あて先命令をサポートする。データ操作命令は、第３ソースオペランド（例えば、ＳＲＣ２ ２０２４）を有することができ、命令オペコード２０１２は、ソースオペランドの数を決定する。命令の最後のソースオペランドは、命令とともに渡される即時（例えば、ハードコードされた）値であることができる。

【0241】

いくつかの実施形態において、１２８ビット命令フォーマット２０１０は、例えば、直接レジスタアドレッシングモード又は間接レジスタアドレッシングモードが使用されるかどうかを指定するアクセス／アドレスモードフィールド２０２６を含む。直接レジスタアドレッシングモードが使用される場合に、１つ以上のオペランドのレジスタアドレスは、命令内のビットによって直接に供給される。

【0242】

いくつかの実施形態において、１２８ビット命令フォーマット２０１０は、命令のアドレスモード及び／又はアクセスモードを指定するアクセス／アドレスモードフィールド２０２６を含む。一実施形態において、アクセスモードは、命令についてデータアクセスアライメントを定義するために使用される。いくつかの実施形態は、１６バイトアライメントアクセスモード及び１バイトアライメントアクセスモードを含むアクセスモードをサポートし、アクセスモードのバイトアライメントは、命令オペランドのアクセスアライメントを決定する。例えば、第１モードにある場合に、命令は、ソース及びあて先オペランドのために、バイトアライメントされたアドレッシングを使用してよく、第２モードにある場合に、命令は、全てのソース及びあて先オペランドのために、１６バイトアライメントされたアドレッシングを使用してよい。

【0243】

一実施形態において、アクセス／アドレスモードフィールド２０２６のアドレスモード部分は、命令が直接又は間接アドレッシングを使用すべきかどうかを決定する。直接レジスタアドレッシングモードが使用される場合に、命令内のビットは、１つ以上のオペランドのレジスタアドレスを直接に供給する。間接レジスタアドレッシングモードが使用される場合に、１つ以上のオペランドのレジスタアドレスは、命令内のアドレス中間フィールド及びアドレスレジスタ値に基づいて計算されてよい。

【0244】

いくつかの実施形態において、命令は、オペコードでコード２０４０を簡単にするようオペコード２０１２のビットフィールドに基づいてグループ化される。８ビットオペコードについては、ビット４、５及び６は、実行ユニットがオペコードのタイプを決定することを可能にする。示されている正確なオペコードグルーピングは、例にすぎない。いくつかの実施形態において、移動及び論理オペコードグループ２０４２は、データ移動及び論理命令（例えば、移動（ｍｏｖ）、比較（ｃｍｐ））を含む。いくつかの実施形態において、移動及び論理グループ２０４２は、５つの最上位ビット（ＭＳＢ）を共有し、移動（ｍｏｖ）命令は、００００ｘｘｘｘｂの形を取り、論理命令は、０００１ｘｘｘｘｂの形を取る。フロー制御命令２０４４（例えば、コール、ジャンプ（ｊｍｐ））は、００１０ｘｘｘｘｂ（例えば、０ｘ２０）の形を取る命令を含む。その他の命令グループ２０４６は、００１１ｘｘｘｘｂ（例えば、０ｘ３０）の形を取る同期化命令（例えば、待機、送信）を含む命令の混合を含む。並列演算命令グループ２０４８は、０１００ｘｘｘｘｂ（例えば、０ｘ４０）の形を取るコンポーネントごとの算術命令（例えば、加算、乗算（ｍｕｌ））を含む。並列演算グループ２０４８は、データチャネルにわたって並行して算術演算を実行する。ベクトル演算グループ２０５０は、０１０１ｘｘｘｘｂ（例えば、０ｘ５０）の形を取る算術命令（例えば、ｄｐ４）を含む。ベクトル演算グループは、ベクトルオペランドに対する内積計算などの算術演算を実行する。

【0245】

［グラフィクスパイプライン］
図２１は、グラフィクスプロセッサ２１００の他の実施形態のブロック図である。本願のいずれかの他の図の要素と同じ参照番号（又は名称）を有する図２１の要素は、本願のどこかで記載されているのと同じように動作又は機能することができるが、そのように限定されない。

【0246】

いくつかの実施形態において、グラフィクスプロセッサ２１００は、ジオメトリパイプライン２１２０、メディアパイプライン２１３０、ディスプレイエンジン２１４０、スレッド実行ロジック２１５０、及びレンダー出力パイプライン２１７０を含む。いくつかの実施形態において、グラフィクスプロセッサ２１００は、１つ以上の汎用処理コアを含むマルチコア処理システム内のグラフィクスプロセッサである。グラフィクスプロセッサは、リングインターコネクト２１０２を介してグラフィクスプロセッサ２１００へ発行されたコマンドにより、あるいは、１つ以上の制御レジスタ（図示せず）へのレジスタ書き込みによって、制御される。いくつかの実施形態において、リングインターコネクト２１０２は、グラフィクスプロセッサ２１００を、他のグラフィクスプロセッサ又は汎用プロセッサなどの他の処理コンポーネントへ結合する。リングインターコネクト２１０２からのコマンドは、ジオメトリパイプライン２１２０又はメディアパイプライン２１３０の個々のコンポーネントへ命令を供給するコマンドストリーマ２１０３によって解釈される。

【0247】

いくつかの実施形態において、コマンドストリーマ２１０３は、メモリから頂点データを読み出し、コマンドストリーマ２１０３によって供給された頂点処理コマンドを実行する頂点フェッチャ２１０５の動作を指示する。いくつかの実施形態において、頂点フェッチャ２１０５は、頂点データを頂点シェーダ２１０７へ供給し、頂点シェーダ２１０７は、各頂点に対して座標空間変換及び明暗操作を実行する。いくつかの実施形態において、頂点フェッチャ２１０５及び頂点シェーダ２１０７は、スレッドディスパッチャ２１３１を介して実行ユニット２１５２Ａ～２１５２Ｂへ実行スレッドをディスパッチすることによって、頂点処理命令を実行する。

【0248】

いくつかの実施形態において、実行ユニット２１５２Ａ～２１５２Ｂは、グラフィクス及びメディア操作を実行するための命令セットを有するベクトルプロセッサのアレイである。いくつかの実施形態において、実行ユニット２１５２Ａ～２１５２Ｂは、各アレイについて特有であるか又はアレイ間で共有される付属のＬ１キャッシュ２１５１を有する。キャッシュは、異なるパーティションでデータ及び命令を含むようパーティション化されているデータキャッシュ、命令キャッシュ、単一キャッシュとして構成され得る。

【0249】

いくつかの実施形態において、ジオメトリパイプライン２１２０は、３Ｄオブジェクトのハードウェアで加速されたテッセレーションを実行するテッセレーションコンポーネントを含む。いくつかの実施形態において、プログラム可能なハルシェーダ２１１１は、テッセレーション演算を構成する。プログラム可能なドメインシェーダ２１１７は、テッセレーション出力のバックエンド評価を提供する。テッセレータ２１１３は、ハルシェーダ２１１１の指示で動作し、そして、ジオメトリパイプライン２１２０への入力として供給される粗幾何学モデルに基づいて詳細な幾何学オブジェクトの組を生成する専用ロジックを含む。いくつかの実施形態において、テッセレーションが使用されない場合には、テッセレーションコンポーネント（例えば、ハルシェーダ２１１１、テッセレータ２１１３、及びドメインシェーダ２１１７）はバイパスされ得る。

【0250】

いくつかの実施形態において、完全な幾何学オブジェクトは、実行ユニット２１５２Ａ～２１５２Ｂにディスパッチされた１つ以上のスレッドを介してジオメトリシェーダ２１１９によって処理され得るか、あるいは、クリッパ２１２９へ直接に進むことができる。いくつかの実施形態において、ジオメトリシェーダ２１１９は、グラフィクスパイプラインの前の段で見られたように頂点又は頂点のパッチよりもむしろ、幾何学オブジェクト全体に作用する。テッセレーションが無効にされる場合には、ジオメトリシェーダ２１１９は頂点シェーダ２１０７から入力を受け取る。いくつかの実施形態において、ジオメトリシェーダ２１１９は、テッセレーションユニットが無効にされる場合にジオメトリテッセレーションを実行するようジオメトリシェーダプログラムによってプログラム可能である。

【0251】

ラスタライゼーションの前に、クリッパ２１２９は頂点データを処理する。クリッパ２１２９は、クリッピング及びジオメトリシェーダ機能を備えた固定機能クリッパ又はプログラム可能なクリッパであってよい。いくつかの実施形態において、レンダー出力パイプライン２１７０内のラスタイラザ及びデプステストコンポーネント２１７３は、幾何学オブジェクトをピクセルごとの表現に変換するようピクセルシェーダをディスパッチする。いくつかの実施形態において、ピクセルシェーダロジックはスレッド実行ロジック２１５０に含まれている。いくつかの実施形態において、アプリケーションは、ラスタライザ及びデプステストコンポーネント２１７３をバイパスし、ラスタライズされていない頂点データにストリーム出力ユニット２１２３を介してアクセスすることができる。

【0252】

グラフィクスプロセッサ２１００は、インターコネクトバス、インターコネクトファブリック、又はプロセッサの主なコンポーネントの間のデータ及びメッセージ受け渡しを可能にするその他のインターコネクトメカニズムを有する。いくつかの実施形態において、実行ユニット２１５２Ａ～２１５２Ｂ及び関連するロジックユニット（例えば、Ｌ１キャッシュ２１５１、サンプラ２１５４、テクスチャキャッシュ２１５８、など）は、メモリアクセスを実行しかつプロセッサのレンダー出力パイプラインコンポーネントと通信するようデータポート２１５６を介して相互接続する。いくつかの実施形態において、サンプラ２１５４、Ｌ１キャッシュ２１５１、テクスチャキャッシュ２１５８、及び実行ユニット２１５２Ａ～２１５２Ｂは夫々、別々のメモリアクセスパスを有する。一実施形態において、テクスチャキャッシュ２１５８はまた、サンプラキャッシュとして構成され得る。

【0253】

いくつかの実施形態において、レンダー出力パイプライン２１７０は、頂点に基づくオブジェクトを関連するピクセルに基づく表現に変換するラスタライザ及びデプステストコンポーネント２１７３を含む。いくつかの実施形態において、ラスタイラザロジックは、固定機能三角形及び直線ラスタライゼーションを実行するウィンドウア（windower）／マスカ（masker）ユニットを含む。関連するレンダーキャッシュ２１７８及びデプスキャッシュ２１７９も、いくつかの実施形態で利用可能である。ピクセル操作コンポーネント２１７７は、データに対してピクセルに基づいた操作を実行するが、いくつかのインスタンスでは、２Ｄ操作（例えば、混合（blending）を伴ったビットブロック画像転送）に関連したピクセル操作は、２Ｄエンジン２１４１によって実行されるか、あるいは、オーバーレイ表示面を用いてディスプレイコントローラ２１４３によって表示時点で置換される。いくつかの実施形態において、共有Ｌ３キャッシュ２１７５は、全てのグラフィクスコンポーネントに利用可能であり、主システムメモリの使用なしでデータの共有を可能にする。

【0254】

いくつかの実施形態において、グラフィクスプロセッサメディアパイプライン２１３０は、メディアエンジン２１３７及びビデオフロントエンド２１３４を含む。いくつかの実施形態において、ビデオフロントエンド２１３４は、コマンドストリーマ２１０３からパイプラインコマンドを受け取る。いくつかの実施形態において、メディアパイプライン２１３０は、別個のコマンドストリーマを含む。いくつかの実施形態において、ビデオフロントエンド２１３４は、コマンドをメディアエンジン２１３７へ送る前に、メディアコマンドを処理する。いくつかの実施形態において、メディアエンジン２１３７は、スレッドディスパッチャ２１３１によるスレッド実行ロジック２１５０へのディスパッチのためにスレッドを生成するようスレッド生成機能を含む。

【0255】

いくつかの実施形態において、グラフィクスプロセッサ２１００は、ディスプレイエンジン２１４０を含む。いくつかの実施形態において、ディスプレイエンジン２１４０は、プロセッサ２１００の外にあり、リングインターコネクト２１０２又はその他のインターコネクトバス若しくはファブリックを介してグラフィクスプロセッサと結合する。いくつかの実施形態において、ディスプレイエンジン２１４０は、２Ｄエンジン２１４１及びディスプレイコントローラ２１４３を含む。いくつかの実施形態において、ディスプレイエンジン２１４０は、３Ｄパイプラインから独立して動作することが可能な専用ロジックを含む。いくつかの実施形態において、ディスプレイコントローラ２１４３は、表示デバイス（図示せず）と結合し、表示デバイスは、ラップトップコンピュータで見られるように、システム内蔵型表示デバイス、又は表示デバイスコネクタを介して取り付けられた外付け表示デバイスであってよい。

【0256】

いくつかの実施形態において、ジオメトリパイプライン２１２０及びメディアパイプライン２１３０は、複数のグラフィクス及びメディアプログラミングインターフェースに基づいて動作を実行するよう構成可能であり、いずれか１つのアプリケーションプログラミングインターフェース（ＡＰＩ）に特有ではない。いくつかの実施形態において、グラフィクスプロセッサ用のドライバソフトウェアは、特定のグラフィクス又はメディアライブラリに特有であるＡＰＩコールを、グラフィクスプロセッサによって処理され得るコマンドに変換する。いくつかの実施形態において、全てクロノスグループからであるオープン・グラフィクス・ライブラリ（Open Graphics Library，ＯｐｅｎＧＬ）、オープン・コンピューティング・ランゲージ（Open Computing Language，ＯｐｅｎＣＬ）、及び／又はＶｕｌｋａｎグラフィクス及び計算ＡＰＩのために、サポートが提供される。いくつかの実施形態において、マイクロソフト・コーポレーションからのＤｉｒｅｃｔ３Ｄライブラリのためにも、サポートが提供されてよい。いくつかの実施形態において、これらのライブラリの組み合わせがサポートされてもよい。オープン・ソース・コンピュータ・ビジョン・ライブラリ（Open Source Computer Vision Library，ＯｐｅｎＣＶ）のためにも、サポートが提供されてよい。互換性のある３Ｄパイプラインを備えた将来のＡＰＩも、マッピングが将来のＡＰＩのパイプラインからグラフィクスプロセッサのパイプラインへ行われ得る場合は、サポートされることになる。

【0257】

［グラフィクスパイプラインプログラミング］
図２２Ａは、いくつかの実施形態に従うグラフィクスプロセッサコマンドフォーマット２２００を表すブロック図である。図２２Ｂは、実施形態に従うグラフィクスプロセッサコマンドシーケンス２２１０を表すブロック図である。図２２Ａの実線ボックスは、一般的にグラフィクスコマンドに含まれているコンポーネントを表し、破線は、任意であるか、あるいは、グラフィクスコマンドのサブセットにしか含まれないコンポーネントを含む。図２２Ａの例となるグラフィクスプロセッサコマンドフォーマット２２００は、クライアント２２０２、コマンド操作コード（オペコード）２２０４、及びコマンドのためのデータ２２０６を識別するデータフィールドを含む。サブオペコード２２０５及びコマンドサイズ２２０８も、いくつかのコマンドには含まれる。

【0258】

いくつかの実施形態において、クライアント２２０２は、コマンドデータを処理するグラフィクスデバイスのクライアントユニットを指定する。いくつかの実施形態において、グラフィクスプロセッサコマンドパーサは、コマンドの更なる処理を条件付け、コマンドデータを適切なクライアントユニットへ送るよう、各コマンドのクライアントフィールドを調べる。いくつかの実施形態において、グラフィクスプロセッサクライアントユニットは、メモリインターフェースユニット、レンダーユニット、２Ｄユニット、３Ｄユニット、及びメディアユニットを含む。各クライアントユニットは、コマンドを処理する対応する処理パイプラインを有する。コマンドがクライアントユニットによって受け取られると、クライアントユニットは、オペコード２２０４、及び存在する場合には、サブオペコード２２０５を読み出して、実行すべき動作を決定する。クライアントユニットは、データフィールド２２０６内の情報を用いてコマンドを実行する。いくつかのコマンドについては、明示的なコマンドサイズ２２０８が、コマンドのサイズを特定すると期待される。いくつかの実施形態において、コマンドパーサは、コマンドオペコードに基づいてコマンドの少なくとも一部のサイズを自動的に決定する。いくつかの実施形態において、コマンドは、ダブルワードの倍数によりアライメントされる。他のコマンドフォーマットが使用可能である。

【0259】

図２２Ｂのフロー図は、例となるグラフィクスプロセッサコマンドシーケンス２２１０を表す。いくつかの実施形態において、グラフィクスプロセッサの実施形態を特徴付けるデータ処理システムのソフトウェア又はファームウェアは、グラフィクス操作の組をセットアップ、実行、及び終了することが示されたコマンドシーケンスの変形を使用する。サンプルコマンドシーケンスは、実施形態がこれらの具体的なコマンドに又はこのコマンドシーケンスに限定されないということで、例示のみを目的として図示及び記載されている。更に、コマンドは、グラフィクスプロセッサが少なくとも部分的に同時にコマンドのシーケンスを処理するように、コマンドシーケンスの中のコマンドのバッチとして発行されてよい。

【0260】

いくつかの実施形態において、グラフィクスプロセッサコマンドシーケンス２２１０は、いずれかのアクティブなグラフィクスパイプラインにそのパイプラインの目下ペンディング中のコマンドを完了させるよう、パイプラインフラッシュコマンド２２１２から始まってよい。いくつかの実施形態において、３Ｄパイプライン２２２２及びメディアパイプライン２２２４は、同時に動作しない。パイプラインフラッシュは、アクティブなグラフィクスパイプラインに如何なるペンディング中のコマンドも完了させるよう実行される。パイプラインフラッシュに応答して、グラフィクスプロセッサのコマンドパーサは、アクティブな描画エンジンがペンディング中の動作を完了し、関連する読み取りキャッシュが無効にされるまで、コマンド処理を一時停止する。任意に、「ダーティ」（dirty）とマークされているレンダーキャッシュ内の如何なるデータも、メモリにフラッシュされ得る。いくつかの実施形態において、パイプラインフラッシュコマンド２２１２は、グラフィクスプロセッサを低電力状態に置く前に、又はパイプライン同期化のために、使用され得る。

【0261】

いくつかの実施形態において、パイプライン選択コマンド２２１３は、コマンドシーケンスがグラフィクスプロセッサにパイプライン間の明示的な切り替えを求める場合に、使用される。いくつかの実施形態において、パイプライン選択コマンド２２１３は、コンテキストが両方のパイプラインについてコマンドを発行すべきでない限り、パイプラインコマンドを発行する前に実行コンテキスト内で一度だけ必要とされる。いくつかの実施形態において、パイプラインフラッシュコマンド２２１２は、パイプライン選択コマンド２２１３によるパイプライン切り替えの直前に必要とされる。

【0262】

いくつかの実施形態において、パイプライン制御コマンド２２１４は、動作のためにグラフィクスパイプラインを設定し、そして、３Ｄパイプライン２２２２及びメディアパイプライン２２２４をプログラムするために使用される。いくつかの実施形態において、パイプライン制御コマンド２２１４は、アクティブなパイプラインについてパイプライン状態を設定する。一実施形態において、パイプライン制御コマンド２２１４は、パイプライン同期化のために、かつ、コマンドのバッチを処理する前にアクティブなパイプライン内の１つ以上のキャッシュメモリからデータをクリアするために、使用される。

【0263】

いくつかの実施形態において、リターンバッファ状態２２１６を設定するコマンドは、各々のパイプラインがデータを書き込むためにリターンバッファの組を設定するために使用される。いくつかのパイプライン動作は、動作が処理中に中間データを書き込む１つ以上のリターンバッファの割り当て、選択、又は設定を必要とする。いくつかの実施形態において、グラフィクスプロセッサはまた、出力データを記憶するために及びクロススレッド通信を実行するために１つ以上のリターンバッファを使用する。いくつかの実施形態において、リターンバッファ状態２２１６は、パイプライン動作の組に使用すべきリターンバッファのサイズ及び数を選択することを含む。

【0264】

コマンドシーケンス内の残りのコマンドは、動作のためのアクティブなパイプラインに基づいて異なる。パイプライン決定２２２０に基づいて、コマンドシーケンスは、３Ｄパイプライン状態２２３０から開始する３Ｄパイプライン２２２２、又はメディアパイプライン状態２２４０で始まるメディアパイプライン２２２４に合わせられる。

【0265】

３Ｄパイプライン状態２２３０を設定するコマンドは、３Ｄプリミティブコマンドが処理される前に設定されるべきである頂点バッファ状態、頂点要素状態、一定色状態、デプスバッファ状態、及び他の状態変数に対する３Ｄ状態設定コマンドを含む。これらのコマンドの値は、使用中の特定の３Ｄ ＡＰＩに少なくとも部分的に基づいて決定される。いくつかの実施形態において、３Ｄパイプライン状態２２３０コマンドはまた、特定のパイプライン要素を、それらの要素が使用されない場合に選択的に無効化又はバイパスすることもできる。

【0266】

いくつかの実施形態において、３Ｄプリミティブ２２３２コマンドは、３Ｄパイプラインによって処理されるべき３Ｄプリミティブをサブミットするために使用される。３Ｄプリミティブ２２３２コマンドによりグラフィクスプロセッサへ渡されるコマンド及び関連するパラメータは、グラフィクスパイプライン内の頂点フェッチ機能へ転送される。頂点フェッチ機能は、３Ｄプリミティブ２２３２コマンドデータを使用して、頂点データ構造を生成する。頂点データ構造は、１つ以上のリターンバッファに格納される。いくつかの実施形態において、３Ｄプリミティブ２２３２コマンドは、頂点シェーダにより３Ｄプリミティブに対して頂点操作を実行するために使用される。頂点シェーダを処理するために、３Ｄパイプライン２２２２は、グラフィクスプロセッサ実行ユニットへシェーダ実行スレッドをディスパッチする。

【0267】

いくつかの実施形態において、３Ｄパイプライン２２２２は、実行２２３４コマンド又はイベントによりトリガされる。いくつかの実施形態において、レジスタ書き込みは、コマンド実行をトリガする。いくつかの実施形態において、実行は、コマンドシーケンス内の「ゴー」（go）又は「キック」（kick）コマンドによりトリガされる。一実施形態において、コマンド実行は、グラフィクスパイプラインを通じてコマンドシーケンスをフラッシュするようパイプライン同期化コマンドを用いてトリガされる。３Ｄパイプラインは、３Ｄプリミティブに対するジオメトリ処理を実行する。動作が完了すると、結果として得られた幾何学オブジェクトはラスタライズされ、ピクセルエンジンは、結果として得られたピクセルを彩色する。ピクセルシェーディング及びピクセルバックエンド動作を制御するための追加コマンドも、これらの動作のために含まれてよい。

【0268】

いくつかの実施形態において、グラフィクスプロセッサコマンドシーケンス２２１０は、メディア操作を実行する場合にメディアパイプライン２２２４パスを辿る。一般に、メディアパイプライン２２２４のためのプログラミングの具体的な使用及び方法は、実行されるべきメディア又は計算操作に依存する。特定のメディア復号化動作が、メディア復号化中にメディアパイプラインにオフロードされてよい。いくつかの実施形態において、メディアパイプラインはまた、バイパスされてもよく、メディア復号化は、１つ以上の汎用処理コアによって供給されたリソースを用いて全体的に又は部分的に実行され得る。一実施形態において、メディアパイプラインはまた、汎用グラフィクスプロセッサユニット（ＧＰＧＰＵ）動作のための要素を含み、グラフィクスプロセッサは、グラフィクスプリミティブのレンダリングに明示的には関係がない計算シェーダプログラムを用いてＳＩＭＤベクトル演算を実行するために使用される。

【0269】

いくつかの実施形態において、メディアパイプライン２２２４は、３Ｄパイプライン２２２２と同じように構成される。メディアパイプライン状態２２４０を設定するためのコマンドの組は、メディアオブジェクトコマンド２２４２の前にコマンドキューにディスパッチ又は挿入される。いくつかの実施形態において、メディアパイプライン状態２２４０のためのコマンドは、メディアオブジェクトを処理するために使用されるメディアパイプライン要素を構成するデータを含む。これは、符号化又は復号化フォーマットなどの、メディアパイプライン内のビデオ復号化及びビデオ符号化ロジックを構成するデータを含む。いくつかの実施形態において、メディアパイプライン状態２２４０のためのコマンドはまた、状態設定のバッチを含む「間接的な」状態要素への１つ以上のポインタの使用もサポートする。

【0270】

いくつかの実施形態において、メディアオブジェクトコマンド２２４２は、メディアパイプラインによる処理のためにメディアオブジェクトへのポインタを供給する。メディアオブジェクトは、処理されるべきビデオデータを含むメモリバッファを含む。いくつかの実施形態において、全てのメディアパイプライン状態は、メディアオブジェクトコマンド２２４２を発行する前に有効でなければならない。パイプライン状態が設定され、メディアオブジェクトコマンド２２４２がキューされると、メディアパイプライン２２２４は、実行コマンド２２４４又は同等の実行イベント（例えば、レジスタ書き込み）によりトリガされる。メディアパイプライン２２２４からの出力は、次いで、３Ｄパイプライン２２２２又はメディアパイプライン２２２４によって供給された演算によって後処理されてよい。いくつかの実施形態において、ＧＰＧＰＵ動作は、メディア操作と同様に設定及び実行される。

【0271】

［グラフィクスソフトウェアアーキテクチャ］
図２３は、いくつかの実施形態に従うデータ処理システム２３００についての例示的なグラフィクスソフトウェアアーキテクチャを表す。いくつかの実施形態において、ソフトウェアアーキテクチャは、３Ｄグラフィクスアプリケーション２３１０、オペレーティングシステム２３２０、及び少なくとも１つのプロセッサ２３３０を含む。いくつかの実施形態において、プロセッサ２３３０は、グラフィクスプロセッサ２３３２及び１つ以上の汎用プロセッサコア２３３４を含む。グラフィクスアプリケーション２３１０及びオペレーティングシステム２３２０は夫々、データ処理システムのシステムメモリ２３５０で実行する。

【0272】

いくつかの実施形態において、３Ｄグラフィクスアプリケーション２３１０は、シェーダ命令２３１２を含む１つ以上のシェーダプログラムを含む。シェーダ言語命令は、Ｄｉｒｅｃｔ３Ｄの上位シェーダ言語（High-Level Shader Language，ＨＬＳＬ）、ＯｐｅｎＧＬシェーダ言語（ＧＬＳＬ）、などのような上位シェーダ言語にあってよい。アプリケーションはまた、汎用プロセッサコア２３３４による実行に適した機械言語で実行可能命令２３１４を含む。アプリケーションはまた、頂点データによって定義されたグラフィクスオブジェクト２３１６を含む。

【0273】

いくつかの実施形態において、オペレーティングシステム２３２０は、マイクロソフト・コーポレーションからのＭｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、独自仕様のＵｎｉｘ様のオペレーティングシステム、又はＬｉｎｕｘ（登録商標）カーネルの変形を使用するオープンソースのＵＮＩＸ（登録商標）様のオペレーティングシステムである。オペレーティングシステム２３２０は、Ｄｉｒｅｃｔ３Ｄ ＡＰＩ、ＯｐｅｎＧＬ ＡＰＩ、又はＶｕｌｋａｎ ＡＰＩなどのグラフィクスＡＰＩ２３２２をサポートすることができる。Ｄｉｒｅｃｔ３Ｄ ＡＰＩが使用中であるとき、オペレーティングシステム２３２０は、ＨＬＳＬでの如何なるシェーダ命令２３１２も下位シェーダ言語にコンパイルするためにフロントエンドシェーダコンパイラ２３２４を使用する。コンパイルは、ジャスト・イン・タイム（ＪＩＴ）コンパイルであってよく、あるいは、アプリケーションは、シェーダ・プリコンパイルを実行することができる。いくつかの実施形態において、上位シェーダは、３Ｄグラフィクスアプリケーション２３１０のコンパイル中に下位シェーダにコンパイルされる。いくつかの実施形態において、シェーダ命令２３１２は、Ｖｕｌｋａｎ ＡＰＩによって使用されるＳＰＩＲ（Standard Portable Intermediate Representation）の変形などの中間形で供給される。

【0274】

いくつかの実施形態において、ユーザモードグラフィクスドライバ２３２６は、シェーダ命令２３１２をハードウェア特有の表現に変換するようバックエンドシェーダコンパイラ２３２７を含む。ＯｐｅｎｇＧＬ ＡＰＩが使用中であるとき、ＧＬＳＬ上位言語でのシェーダ命令２３１２は、コンパイルのためにユーザモードグラフィクスドライバ２３２６へ渡される。いくつかの実施形態において、ユーザモードグラフィクスドライバ２３２６は、カーネルモードグラフィクスドライバ２３２９と通信するためにオペレーティングシステムカーネルモード機能２３２８を使用する。いくつかの実施形態において、カーネルモードグラフィクスドライバ２３２９は、コマンド及び命令をディスパッチするためにグラフィクスプロセッサ２３３２と通信する。

【0275】

［ＩＰコア実装］
少なくとも１つの実施形態の１つ以上の態様は、プロセッサなどの集積回路内のロジックを表現及び／又は定義する機械可読媒体に記憶された代表コードによって実装されてもよい。例えば、機械可読媒体は、プロセッサ内の様々なロジックを表す命令を含んでよい。機械によって読み出される場合に、命令は、機械に、本願で記載されている技術を実行するようロジックを組み立てさせ得る。「ＩＰコア」として知られているそのような表現は、集積回路の構造を記述するハードウェアモデルとして有形な機械可読媒体に記憶され得る集積回路用ロジックの再利用可能なユニットである。ハードウェアモデルは、集積回路を製造する組立機械にハードウェアモデルをロードする様々なカスタマ又は製造設備に供給されてよい。集積回路は、回路が、本願で記載されている実施形態のいずれかと関連して記載されている動作を実行するように、組み立てられてよい。

【0276】

図２４Ａは、実施形態に従う動作を実行するよう集積回路を製造するために使用され得るＩＰコア開発システム２４００を表すブロック図である。ＩＰコア開発システム２４００は、より大きい設計に組み込まれ得るモジュール式の再利用可能な設計を生成するために使用されるか、あるいは、集積回路（例えば、ＳＯＣ集積回路）全体を構成するために使用されてよい。設計機関２４３０は、上位プログラミング言語（例えば、Ｃ／Ｃ＋＋）でＩＰコア設計のソフトウェアシミュレーション２４１０を生成することができる。ソフトウェアシミュレーション２４１０は、シミュレーションモデル２４１２を用いてＩＰコアの挙動を設計、試験、及び検証するために使用され得る。シミュレーションモデル２４１２は、機能、挙動、及び／又はタイミングシミュレーションを含んでよい。レジスタ転送レベル（register transfer level，ＲＴＬ）設計２４１５は、モデル化されたデジタル信号を用いて実行される関連ロジックを含め、ハードウェアレジスタ間のデジタル信号のフローをモデル化する集積回路の挙動の抽象化である。ＲＴＬ設計２４１５に加えて、ロジックレベル又はトランジスタレベルでの下位設計も、生成、設計又は合成されてよい。よって、初期設計及びシミュレーションの具体的な詳細は様々であってよい。

【0277】

ＲＴＬ設計２４１５又は同等物は、設計機関によって、ハードウェア記述言語（ＨＤＬ）又は物理設計データのその他表現であってよいハードウェアモデルに更に合成されてもよい。ＨＤＬは、ＩＰコア設計を検証するよう更にシミュレーション又はテストされてもよい。ＩＰコア設計は、不揮発性メモリ２４４０（例えば、ハードディスク、フラッシュメモリ、又は任意の不揮発性記憶媒体）を用いて第三者の組立設備２４６５への配送のために記憶され得る。代替的に、ＩＰコア設計は、有線接続２４５０又は無線接続２４６０を介して（例えば、インターネット経由で）伝送されてもよい。組立設備２４６５は、次いで、少なくとも部分的にＩＰコア設計に基づく集積回路を組み立ててよい。組み立てられた集積回路は、本願で記載されている少なくとも１つの実施形態に従う動作を実行するよう構成され得る。

【0278】

図２４Ｂは、本願で記載されているいくつかの実施形態に従って、集積回路パッケージアセンブリ２４７０の側面断面図を表す。集積回路パッケージアセンブリ２４７０は、本願で記載されている１つ以上のプロセッサ又はアクセラレータデバイスの実装を表す。パッケージアセンブリ２４７０は、基板２４８０へ接続されたハードウェアロジックの複数のユニット２６７２、２６７４を含む。ロジック２６７２、２６７４は、設定可能なロジック又は固定機能ロジックハードウェアにおいて少なくとも部分的に実装されてよく、プロセッサコア、グラフィクスプロセッサ、又は本願で記載されている他のアクセラレータデバイスのいずれかの１つ以上の部分を含むことができる。ロジック２６７２、２６７４の各ユニットは、半導体ダイの中に実装され、インターコネクト構造２４７３を介して基板２４８０と結合され得る。インターコネクト構造２４７３は、ロジック２６７２、２６７４と基板２４８０との間で電気信号を伝えるよう構成されてよく、バンプ又はピラーなどの、しかしこれらに限られないインターコネクトを含むことができる。いくつかの実施形態において、インターコネクト構造２４７３は、例えば、ロジック２６７２、２６７４の動作に関連した入出力（Ｉ／Ｏ）信号及び／又は電力若しくは接地信号などの電気信号を伝えるよう構成されてよい。いくつかの実施形態において、基板２４８０は、エポキシベースの積層基板である。基板２４８０は、他の実施形態では他の適切なタイプの基板を含んでもよい。パッケージアセンブリ２４７０は、パッケージインターコネクト２４８３を介して他の電気デバイスへ接続され得る。パッケージインターコネクト２４８３は、マザーボード、他のチップセット、又はマルチチップモジュールなどの他の電気デバイスへ電気信号を伝えるよう基板２４８０の表面へ結合されてよい。

【0279】

いくつかの実施形態において、ロジック２６７２、２６７４のユニットは、ロジック２６７２、２６７４の間で電気信号を伝えるよう構成されるブリッジ２４８２と電気的に結合されている。ブリッジ２４８２は、電気信号のルートを提供する密なインターコネクト構造であってよい。ブリッジ２４８２は、ガラス又は適切な半導体材料から成るブリッジ基板を含んでよい。電気ルーティング構造が、ロジック２６７２、２６７４の間のチップ間接続を提供するようブリッジ基板上に形成され得る。

【0280】

ロジックの２つのユニット２６７２、２６７４及びブリッジ２４８２が表されているが、本願で記載されている実施形態は、１つ以上のダイ上でより多い又はより少ないロジックユニットを含んでよい。１つ以上のダイは、ロジックが単一のダイ上に含まれる場合にブリッジ２４８２は除かれてもよいということで、ゼロか又はより多いブリッジによって接続されてもよい。代替的に、複数のダイ又はロジックのユニットが１つ以上のブリッジによって接続され得る。更には、複数のロジックユニット、ダイ、及びブリッジは、３次元構成を含む他の可能な構成で連結され得る。

【0281】

［例となるシステム・オン・ア・チップ集積回路］
図２５～２６は、本願で記載されている様々な実施形態に従って、１つ以上のＩＰコアを使用して組み立てられ得る例示的な集積回路及び関連するグラフィクスプロセッサを表す。表されているものに加えて、追加のグラフィクスプロセッサ／コア、プロセッサ／コア、ペリフェラル・インターフェース・コントローラ、又は汎用プロセッサコアを含む他のロジック及び回路が含まれてもよい。

【0282】

図２５は、実施形態に従って、１つ以上のＩＰコアを使用して組み立てられ得る例示的なシステム・オン・ア・チップ集積回路２５００を表すブロック図である。例となる集積回路２５００は、１つ以上のアプリケーションプロセッサ２５０５（例えば、ＣＰＵ）及び少なくとも１つのグラフィクスプロセッサ２５１０を含み、更には、画像プロセッサ２５１５及び／又はビデオプロセッサ２５２０を含んでもよく、これらのいずれは、同じ又は複数の異なった設計設備からのモジュールＩＰコアであってよい。集積回路２５００は、ＵＳＢコントローラ２５２５、ＵＡＲＴコントローラ２５３０、ＳＰＩ／ＳＤＩＯコントローラ２５３５、及びＩ^２Ｓ／Ｉ^２Ｃコントローラ２５４０を含むペリフェラル又バスロジックを含む。更には、集積回路２５００は、ハイ・デフィニション・マルチメディア・インターフェース（ＨＤＭＩ（登録商標））コントローラ２５５０及びモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ）表示インターフェース２５５５の１つ以上へ結合される表示デバイス２５４５を含むことができる。ストレージは、フラッシュメモリ及びフラッシュメモリコントローラを含むフラッシュメモリサブシステム２５６０によって提供されてよい。メモリインターフェースは、ＳＣＲＡＭ又はＳＲＡＭメモリデバイスへのアクセスのためにメモリコントローラ２５６５を介して提供されてよい。いくつかの集積回路は、埋め込みセキュリティエンジン２５７０を更に含む。

【0283】

図２６Ａ～２６Ｂは、本願で記載されている実施形態に従って、ＳｏＣ内で使用される例示的なグラフィクスプロセッサを表すブロック図である。図２６Ａは、実施形態に従って、１つ以上のＩＰコアを使用して組み立てられ得るＳｏＣ集積回路の例示的なグラフィクスプロセッサ２６１０を表す。図２６Ｂは、実施形態に従って、１つ以上のＩＰコアを使用して組み立てられ得るＳｏＣ集積回路の更なる例示的なグラフィクスプロセッサ２６４０を表す。図２６Ａのグラフィクスプロセッサ２６１０は、低電力グラフィクスプロセッサコアの例である。図２６Ｂのグラフィクスプロセッサ２６４０は、より高性能のグラフィクスプロセッサコアの例である。グラフィクスプロセッサ２６１０、２６４０の夫々は、図２５のグラフィクスプロセッサ２５１０の変形であることができる。

【0284】

図２６Ａに示されるように、グラフィクスプロセッサ２６１０は、頂点プロセッサ２６０５及び１つ以上のフラグメントプロセッサ２６１５Ａ～２６１５Ｎ（例えば、２６１５Ａ、２６１５Ｂ、２６１５Ｃ、２６１５ｄ、乃至２６１５Ｎ－１、及び２６１５Ｎ）を含む。グラフィクスプロセッサ２６１０は、頂点プロセッサ２６０５が頂点シェーダプログラムの動作を実行するよう最適化されるように、別個のロジックを介して異なったシェーダプログラムを実行することができ、一方、１つ以上のフラグメントプロセッサ２６１５Ａ～２６１５Ｎは、フラグメント又はピクセルシェーダプログラムのフラグメント（例えば、ピクセル）シェーディング動作を実行する。頂点プロセッサ２６０５は、３Ｄグラフィクスパイプラインの頂点処理段を実行し、プリミティブ及び頂点データを生成する。フラグメントプロセッサ２６１５Ａ～２６１５Ｎは、表示デバイスで表示されるフレームバッファを生成するために、頂点プロセッサ２６０５によって生成されたプリミティブ及び頂点データを使用する。一実施形態において、フラグメントプロセッサ２６１５Ａ～２６１５Ｎは、Ｄｉｒｅｃｔ３Ｄ ＡＰＩで提供されるようなピクセルシェーダプログラムと同じような動作を実行するために使用され得るＯｐｅｎｇＧＬ ＡＰＩで提供されるようなフラグメントシェーダプログラムを実行するよう最適化される。

【0285】

グラフィクスプロセッサ２６１０は、１つ以上のメモリ管理ユニット（ＭＭＵ）２６２０Ａ～２６２０Ｂ、キャッシュ２６２５Ａ～２６２５Ｂ、及び回路インターコネクト２６３０Ａ～２６３０Ｂを更に含む。１つ以上のＭＭＵ２６２０Ａ～２６２０Ｂは、１つ以上のキャッシュ２６２５Ａ～２６２５Ｂに記憶されている頂点又は画像／テクスチャデータに加えて、メモリに記憶あれている頂点又は画像／テクスチャデータを参照し得る頂点プロセッサ２６０５及び／又はフラグメントプロセッサ２６１５Ａ～２６１５Ｎを含むグラフィクスプロセッサ２６１０のための仮想－物理アドレスマッピングを提供する。一実施形態において、１つ以上のＭＭＵ２６２０Ａ～２６２０Ｂは、図２５の１つ以上のアプリケーションプロセッサ２５０５、画像プロセッサ２５１５、及び／又はビデオプロセッサ２５２０に関連した１つ以上のＭＭＵを含む、システム内の他のＭＭＵと同期してよく、それにより、各プロセッサ２５０５～２５２０は、共有又は統合仮想メモリシステムに関与することができる。１つ以上の回路インターコネクト２６３０Ａ～２６３０Ｂは、実施形態に従って、グラフィクスプロセッサ２６１０が、ＳｏＣの内部バスを介して、又は直接接続を介して、ＳｏＣ内の他のＩＰコアとインターフェース接続することを可能にする。

【0286】

図２６Ｂに示されるように、グラフィクスプロセッサ２６４０は、図２６Ａのグラフィクスプロセッサ２６１０の１つ以上のＭＭＵ２６２０Ａ～２６２０Ｂ、キャッシュ２６２５Ａ～２６２５Ｂ、及び回路インターコネクト２６３０Ａ～２６３０Ｂを含む。グラフィクスプロセッサ２６４０は、単一のコア又はタイプ若しくはコアが頂点シェーダ、フラグメントシェーダ、及び／又は計算シェーダを実装するようシェーダプログラムコードを含む全てのタイプのプログラム可能なシェーダコードを実行することができる統合シェーダコアアーキテクチャを提供する１つ以上のシェーダコア２６５５Ａ～２６５５Ｎ（例えば、２６５５Ａ、２６５５Ｂ、２６５５Ｃ、２６５５Ｄ、２６５５Ｅ、２６５５Ｆ、乃至２６５５Ｎ－１、及び２６５５Ｎ）を含む。シェーダコアの正確な数は、実施形態及び実施により様々であることができる。更には、グラフィクスプロセッサ２６４０は、シーンに対するレンダリング動作が、例えば、シーン内の局所空間コヒーレンスを利用するために、又は内部キャッシュの使用を最適化するために、画像空間において細分されるタイルベースのレンダリングのためのタイリング動作を加速させるよう実行スレッドを１つ以上のシェーダコア２６５５Ａ～２６５５Ｎ及びタイリングユニット２６５８にディスパッチするスレッドディスパッチャとして動作するインターコアタスクマネージャ２６４５を含む。

【0287】

［ＳｏＣアーキテクチャの分解］
ますます大きいシリコンダイを構成することは、様々な理由により困難である。シリコンダイが大きくなるにつれて、製造収益は小さくなり、異なるコンポーネントのプロセス技術要件は発散する可能性がある。他方で、高性能システムを有するために、重要なコンポーネントは、高速、高バンド幅、低レイテンシのインターフェースによって相互接続されるべきである。これらの矛盾するニーズは、高性能チップの開発に難題をもたらす。

【0288】

本願で記載されている実施形態は、ＳｏＣ回路のアーキテクチャを、共通のシャーシ上にパッケージ化され得る複数の相異なるチップレットに分ける技術を提供する。一実施形態において、グラフィクス処理ユニット又は並列プロセッサは、別々に製造される様々なシリコンチップレットから成る。チップレットは、他のチップレットともにより大きいパッケージ内に集められ得る相異なるロジックユニットを含む少なくとも部分的にパッケージ化された集積回路である。異なるＩＰコアロジックを含むチップレットの様々な組が単一のデバイスに組み立てられ得る。更には、チップレットは、アクティブインターポーザ（active interposer）技術を用いてベースダイ又はベースチップレットに集積され得る。本願で記載されている概念は、ＧＰＵ内の異なる形のＩＰ間の相互接続又は通信を可能にする。異なるプロセスでのＩＰの開発は、混合されてよい。これは、特に、いくつかのフレーバーＩＰを備えた大規模ＳｏＣで、複数のＩＰを同じプロセスに収束させる複雑さを回避する。

【0289】

複数のプロセス技術の使用を可能にすることは、市場投入までの時間を改善し、かつ、複数の製品ＳＫＵを作成するためのコスト効果の高い方法をもたらす。顧客にとって、このことは、コスト効果が高くかつタイムリーな方法で彼らの要求により合っている製品を得ることを意味する。更には、分解されたＩＰは、より、独立してパワーゲーティングされやすくなり、所与のワークロードで使用されていないコンポーネントの電源をオフにして、全体の電力消費を削減することができる。

【0290】

図２７は、実施形態に従う並列計算システム２７００を示す。一実施形態において、並列計算システム２７００は、本願で記載されているグラフィクスプロセッサ又は計算アクセラレータであることができる並列プロセッサ２７２０を含む。並列プロセッサ２７２０は、グローバルロジック２７０１ユニット、インターフェース２７０２、スレッドディスパッチャ２７０３、メディアユニット２７０４、計算ユニット２７０５Ａ～２７０５Ｈの組、及びキャッシュ／メモリユニット２７０６を含む。グローバルロジックユニット２７０１は、一実施形態において、デバイス設定レジスタ、グローバルスケジューラ、電力管理ロジック、などを含む、並列プロセッサ２７２０のための大域的機能を含む。インターフェース２７０２は、並列プロセッサ２７２０のためのフロントエンドインターフェースを含むことができる。スレッドディスパッチャ２７０３は、インターフェース２７０２からワークロードを受け取り、ワークロードのスレッドを計算ユニット２７０５Ａ～２７０５Ｈにディスパッチすることができる。ワークロードが任意のメディア操作を含む場合には、それらの操作の少なくとも一部はメディアユニット２７０４によって実行され得る。メディアユニット２７０４はまた、計算ユニット２７０５Ａ～２７０５Ｈへいくつかの操作をオフロードする。キャッシュ／メモリユニット２７０６は、並列プロセッサ２７２０のためのキャッシュメモリ（例えば、Ｌ３キャッシュ）及びローカルメモリ（例えば、ＨＢＭ、ＧＤＤＲ）を含むことができる。

【0291】

図２８Ａ～２８Ｂは、本願で記載されている実施形態に従って、分解された並列プロセッサのハイブリッド論理／物理ビューを表す。図２８Ａは、分解された並列計算システム２８００を表す。図２８Ｂは、分解された並列計算システム２８００のチップレット２８３０を表す。

【0292】

図２８Ａに示されるように、分解された計算システム２８００は、並列プロセッサＳＯＣの様々なコンポーネントが複数のチップレットにわたって分布している並列プロセッサ２８２０を含むことができる。各チップレットは、１つ以上の共通インターフェースを介して他のチップレットと通信するよう独立して設計及び構成されている相異なるＩＰコアであることができる。チップレットは、計算チップレット２８０５、メディアチップレット２８０４、及びメモリチップレット２８０６を含むがこれらに限られない。各チップレットは、異なるプロセス技術を用いて別々に製造され得る。例えば、計算チップレット２８０５は、製造時点で利用可能な最小又は最新のプロセス技術を用いて製造されてよく、一方、メモリチップレット２８０６又は他のチップレット（例えば、Ｉ／Ｏ、ネットワーキング、など）は、より大きい又はより最新でないプロセス技術を用いて製造されてよい。

【0293】

様々なチップレットがベースダイ２８１０に接着され、インターコネクトレイヤ２８１２を介して互い及びベースダイ２８１０内のロジックと通信するよう構成され得る。一実施形態において、ベースダイ２８１０は、スケジューラ２８１１及び電力管理２８２１ロジックユニットを含むことができるグローバルロジック２８０１と、インターフェース２８０２と、ディスパッチユニット２８０３と、１つ以上のＬ３キャッシュバンク２８０９Ａ～２８０９Ｎと結合又は集積されたインターコネクトファブリックモジュール２８０８とを含むことができる。インターコネクトファブリックモジュール２８０８は、ベースダイ２８１０の中に組み込まれるインターチップレットファブリックであることができる。ロジックチップレットは、様々なチップレット間のメッセージを中継するためにファブリック２８０８を使用することができる。更には、ベースダイにあるＬ３キャッシュバンク２８０９Ａ～２８０９Ｎ及び／又はメモリチップレット２８０６内のＬ３キャッシュバンクは、メモリチップレット２８０６内のＤＲＡＭチップレットから読み出されたデータ及びＤＲＡＭチップレット及びホストシステムメモリに伝送されるデータをキャッシュすることができる。

【0294】

一実施形態において、グローバルロジック２８０１は、並列プロセッサ２８２０のためのスケジューラ２８１１及び電力管理２８２１の機能を実行するようファームウェアを実行することができるマイクロコントローラである。グローバルロジックを実行するマイクロコントローラは、並列プロセッサ２８２０の対象使用ケースに合わせられ得る。スケジューラ２８１１は、並列プロセッサ２８２０のための大域的スケジューリング動作を実行することができる。電力管理２８２１機能は、並列プロセッサ内の個々のチップレットを、それらのチップレットが使用されてないときに、有効又は無効にするために使用され得る。

【0295】

並列プロセッサ２８２０の様々なチップレットは、既存の設計では単一のダイに集積されることになる特定の機能を実行するよう設計され得る。計算チップレット２８０５の組は、計算又はグラフィクスシェーダ命令を実行するプログラム可能なロジックを含む計算ユニット（例えば、実行ユニット、ストリーミング・マルチプロセッサ、など）のクラスタを含むことができる。メディアチップレット２８０４は、メディア符号化及び復号化動作を加速させるハードウェアロジックを含むことができる。メモリチップレット２８０６は、揮発性メモリ（例えば、ＤＲＡＭ）及び１つ以上のＳＲＡＭキャッシュメモリバンク（例えば、Ｌ３バンク）を含むことができる。

【0296】

図２８Ｂに示されるように、各チップレット２８３０は、共通のコンポーネント及びアプリケーション固有コンポーネントを含むことができる。チップレット２８３０内のチップレットロジック２８３６は、本願で記載されているストリーミング・マルチプロセッサ、計算ユニット、又は実行ユニットのアレイなどの、チップレットの特定のコンポーネントを含むことができる。チップレットロジック２８３６は、任意のキャッシュ又は共有ローカルメモリ２８３８と結合することができ、あるいは、チップレットロジック２８３６内にキャッシュ又は共有ローカルメモリを含むことができる。チップレット２８３０は、インターチップレットファブリックを介してコマンドを受け取るファブリックインターコネクトノード２８４２を含むことができる。ファブリックインターコネクトノード２８４２を介して受け取られたコマンド及びデータは、インターコネクトバッファ２８３９内に一時的に記憶され得る。ファブリックインターコネクトノード２８４２へ伝送されるデータ及びそれから受け取られるデータは、インターコネクトキャッシュ２８４０に記憶され得る。電力制御２８３２及びクロック制御２８３４ロジックも、チップレット内に含まれ得る。電力制御２８３２及びクロック制御２８３４ロジックは、チップレット２８３０のための動的電圧及び周波数スケーリングを設定することができる設定コマンドをファブリックを介して受け取ることができる。一実施形態において、各チップレットは、独立したクロックドメイン及び電力ドメインを有することができ、他のチップレットから独立してクロックゲーティング及びパワーゲーティングされ得る。

【0297】

表されているチップレット２８３０内のコンポーネントの少なくとも一部はまた、図２８Ａのベースダイ２８１０の中に埋め込まれたロジック内に含まれ得る。例えば、ファブリックと通信するベースダイ内のロジックは、ファブリックインターコネクトノード２８４２の変形を含むことができる。独立してクロック又はパワーゲーティングされ得るベースダイロジックは、電力制御２８３２及び／又はクロック制御２８３４ロジックの変形を含むことができる。

【0298】

図２９Ａ～２９Ｂは、実施形態に従う分解された並列プロセッサのパッケージビューを表す。図２９Ａは、パッケージアセンブリ２９２０の物理レイアウトを表す。図２９Ｂは、複数のチップレット２９０４、２９０６とインターコネクトファブリック２９４０との間のインターコネクトを表す。

【0299】

図２９Ａに示されるように、パッケージアセンブリ２９２０は、基板２９１０（例えば、ベースダイ）へ接続されたハードウェアロジックチップレットの複数のユニットを含むことができる。ハードウェアロジックチップレットは、専用ハードウェアロジックチップレット２９０２、ロジック又はＩ／Ｏチップレット２９０４、及び／又はメモリチップレット２９０５を含むことができる。ハードウェアロジックチップレット２９０２及びロジック又はＩ／Ｏチップレット２９０４は、設定可能なロジック又は固定機能ロジックハードウェアにおいて少なくとも部分的に実装されてよく、本願で記載されているプロセッサコア、グラフィクスプロセッサ、並列プロセッサ、又は他のアクセラレータデバイスのいずれかの１つ以上の部分を含むことができる。メモリチップレット２９０５は、本願で記載及び例示されているようなＤＲＡＭ（例えば、ＧＤＤＲ、ＨＢＭ）メモリ又はキャッシュ（ＳＲＡＭ）メモリであることができる。

【0300】

各チップレットは、別個の半導体ダイとして製造され、インターコネクト構造２９０３を介して基板２９１０と結合され得る。インターコネクト構造２９０３は、基板２９１０内の様々なチップレット及びロジック間で電気信号を伝えるよう構成されてよい。インターコネクト構造２９０３は、例えば、バンプ又はピラーなどの、しかしこれらに限られないインターコネクトを含むことができる。いくつかの実施形態において、インターコネクト構造２９０３は、例えば、ロジック、Ｉ／Ｏ及びメモリチップレットの動作に関連した入出力（Ｉ／Ｏ）信号及び／又は電力若しくは接地信号などの電気信号を伝送するよう構成されてよい。

【0301】

いくつかの実施形態において、基板２９１０は、エポキシベースの積層基板である。基板２９１０は、他の実施形態では他の適切なタイプの基板を含んでもよい。パッケージアセンブリ２９２０は、パッケージインターコネクト２９１４を介して他の電気デバイスへ接続され得る。パッケージインターコネクト２９１４は、マザーボード、他のチップセット、又はマルチチップモジュールなどの他の電気デバイスへ電気信号を伝えるよう基板２９１０の表面へ結合されてよい。

【0302】

いくつかの実施形態において、ロジック又はＩ／Ｏチップレット２９０４及びメモリチップレット２９０５は、ロジック又はＩ／Ｏチップレット２９０４とメモリチップレット２９０５との間で電気信号を伝えるよう構成されるブリッジ２９１７を介して電気的に結合され得る。ブリッジ２９１７は、電気信号のためのルートを提供する密なインターコネクト構造であってよい。ブリッジ２９１７は、ガラス又は適切な半導体材料から成るブリッジ構造を含んでよい。電気ルーティング機能は、ロジック又はＩ／Ｏチップレット２９０４とメモリチップレット２９０５との間のチップ間接続をもたらすようブリッジ構造で形成され得る。ブリッジ２９１７はまた、シリコンブリッジ又はインターコネクトブリッジとも呼ばれ得る。例えば、ブリッジ２９１７は、いくつかの実施形態において、埋め込みマルチダイインターコネクトブリッジ（Embedded Multi-die Interconnect Bridge，ＥＭＩＢ）である。いくつかの実施形態において、ブリッジ２９１７は、単に、１つのチップレットから他のチップレットへの直接接続であってもよい。

【0303】

基板２９１０は、Ｉ／Ｏ２９１１、キャッシュメモリ２９１２、及び他のハードウェアロジック２９１３のためのハードウェアコンポーネントを含むことができる。ファブリック２９１５は、様々なロジックチップレットと基板２９１０内のロジック２９１１、２９１３との間の通信を可能にするよう基板２９１０に埋め込まれ得る。

【0304】

様々な実施形態において、パッケージアセンブリ２９２０は、ファブリック２９１５又は１つ以上のブリッジ２９１７によって相互接続されるより少ない又はより多いコンポーネント及びチップレットを含むことができる。パッケージアセンブリ２９２０内のチップレットは、３Ｄ又は２．５Ｄ配置で配置されてよい。一般に、ブリッジ構造２９１７は、例えば、ロジック又はＩ／Ｏチップレット２９０４とメモリチップレット２９０５との間のポイント・ツー・ポイントのインターコネクトを促進するために使用されてよい。ファブリック２９１５は、様々なロジック及び／又はＩ／Ｏチップレット（例えば、チップレット２９０２、２９０４、２９１１、２９１３）を他のロジック及び／又はＩ／Ｏチップレットと相互接続するために使用され得る。一実施形態において、基板２９１０内のキャッシュメモリ２９１２は、パッケージアセンブリ２９２０のためのグローバルキャッシュとして、又は分散グローバルキャッシュの部分として、又はファブリック２９１５の専用のキャッシュとして動作することができる。

【0305】

図２９Ｂに示されるように、メモリチップレット２９０６は、インターコネクトブリッジ２９４７を通じてルーティングされたチップレットインターコネクト２９３５を介してロジック又はＩ／Ｏチップレット２９０４と接続することができる。インターコネクトブリッジ２９４７は、図２９Ａに示されたパッケージアセンブリ２９２０の基板２９１０に埋め込まれたブリッジ２９１７の変形であることができる。ブリッジ又はＩ／Ｏチップレット２９０４は、図２９Ａのファブリック２９１５の変形であるインターコネクトファブリック２９４０を介して他のチップレットと通信することができる。

【0306】

一実施形態において、メモリチップレット２９０６は、チップレットによって提供されるメモリ技術と対応するメモリバンク２９３１の組を含む。メモリバンク２９３１は、ＤＲＡＭ、ＳＲＡＭ、若しくはフラッシュ、又は３Ｄ ＸＰｏｉｎｔメモリを含むがこれらに限られない、本願で記載されているメモリのタイプのいずれかを含むことができる。メモリ制御プロトコルレイヤ２９３２は、メモリバンク２９３１の制御を可能にすることができ、１つ以上のメモリコントローラのためのロジックを含むことができる。インターコネクトブリッジプロトコルレイヤ２９３３は、メモリ制御プロトコルレイヤ２９３２とインターコネクトブリッジＩ／Ｏレイヤ２９３４との間でメッセージを中継することができる。インターコネクトブリッジＩ／Ｏレイヤ２９３４は、チップレットインターコネクト２９３５を介してインターコネクトブリッジＩ／Ｏレイヤ２９３６と通信することができる。インターコネクトブリッジＩ／Ｏレイヤ２９３４、２９３６は、チップレットインターコネクト２９３５を介して対応するインターコネクトへ信号を伝送するか又はそれから信号を受信する物理レイヤを表すことができる。物理Ｉ／Ｏレイヤは、チップレットインターコネクト２９３５上で信号を駆動しかつ／あるいはチップレットインターコネクト２９３５～信号を受信する回路構成を含むことができる。ロジック又はＩ／Ｏチップレット２９０４内のインターコネクトブリッジプロトコルレイヤ２９３７は、インターコネクトブリッジＩ／Ｏレイヤ２９３６からの信号を、計算又はＩ／Ｏロジック２９３９へ通信され得るメッセージ又は信号に変換することができる。一実施形態において、デジタルアダプタレイヤ２９３８は、信号の計算又はＩ／Ｏロジック２９３９によって使用されるメッセージ又は信号への変換を促進するために使用され得る。

【0307】

計算又はＩ／Ｏロジック２９３９は、インターコネクトファブリック２９４０を介して他のロジック又はＩ／Ｏチップレットと通信することができる。計算又はＩ／Ｏロジック２９３９は、一実施形態において、図２８Ｂのファブリックインターコネクトノード２８４２などの、インターコネクトファブリック２９４０と通信することができる組み込まれたファブリックノードロジック２９３９を含む。

【0308】

一実施形態において、メモリチップレット２９０６内の制御レイヤ２９８６は、ロジック又はＩ／Ｏチップレット２９０４内の制御レイヤ２９７０と通信することができる。これらの制御レイヤ２９６８、２９７０は、例えば、ロジック又はＩ／Ｏチップレット２９０４のインターフェースバスプロトコルレイヤ２９３７と、メモリチップレット２９０６のインターフェースバスプロトコルレイヤ２９３３、メモリ制御プロトコルレイヤ２９３２及び／又はメモリバンク２９３１との間で電力及び設定メッセージを送るよう、アウト・オブ・バンド（out-of-band）方式で特定の制御信号を伝搬又は伝送するために使用され得る。

【0309】

図３０は、実施形態に従って、インターコネクトファブリックのためのメッセージ輸送システム３００を表す。メッセージ輸送システム３００は、利用可能なインターフェース幅に応じて異なったレートでトラフィックを扱うよう構成され得る。具体的なインターフェース幅は、チップレットごとに様々であることができ、あるいは、ファブリックの速度又は構成は、様々な機能ユニットが相互接続されるために適切であるレートでデータが伝送されることを可能にするよう調整され得る。トランスポートレイヤはまた、クロックドメイン間でデータが転送されることと可能にするようクロックドメイン間の境界でのクロックドメインクロッシングＦＩＦＯの使用により、１つ以上のクロックドメインを横断することができる。トランスポートレイヤはまた、１つ以上のサブレいやに分割可能であり、各サブレイヤは、１つ以上のクロックドメインを含む。トランスポートレイヤが記載及び例示されているが、いくつかの実施形態において，表されている動作は、インターコネクトファブリックのデータリンクレイヤで実行され得る。

【0310】

一実施形態において、元のレイヤ３０１０にある第１機能ユニット３００１Ａは、１つ以上のトランスポートレイヤ３０１１、３０１２を経由してあて先レイヤ３０１３内の第２機能ユニット３００１Ｂと通信することができる。元のレイヤ３０１０は、チップレット内、又は図２９Ａで見られたようなパッケージアセンブリ２９２０の基板２９１０などの、パッケージアセンブリの基板内のロジック又はＩ／Ｏであることができる。あて先レイヤ３０１３も、チップレット内又は基板内のロジック又はＩ／Ｏであることができる。一実施形態において、元のレイヤ３０１０及び／又はあて先レイヤ３０１３は、チップレット又は基板／ベースダイ内のキャッシュメモリに関連することができる。

【0311】

１つ以上のトランスポートレイヤ３０１１、３０１２は、別々のクロックドメイン内にあることができる。例えば、トランスポートレイヤ３０１１は、第１クロックドメイン内にあることができ、一方、トランスポートレイヤ３０１２は、第２クロックドメイン内にあることができる。別々のクロックドメインは、異なった周波数で動作することができる。データは、トランスポートレイヤ内のクロッククロッシングモジュール３００３を介してクロックドメイン間で伝送され得る。一実施形態において、クロッククロッシングモジュール３００３内の第１バッファ又は高速メモリモジュール３００４は、クロスクロッシングＦＩＦＯ３００５を介して第２バッファ又は高速メモリモジュール３００６へ中継されるデータをバッファリングすることができる。第１バッファ／高速メモリモジュール３００４は、第１クロックドメイン内にあることができ、一方、第２バッファ／高速メモリモジュール３００６は、第２クロックドメイン内にあることができる。

【0312】

機能ユニット３００１Ａ及び機能ユニット３００１Ｂは、各々のファブリックインターフェース３００２Ａ、３００２Ｂを介してメッセージをファブリックへ伝送しかつそれから受信することができる。ファブリックインターフェース３００２Ａ、３００２Ｂは、以下図３１～３２に示されるように、トランスポートレイヤにわたってメッセージ及び信号を中継するためにファブリック内で使用される接続の幅を動的に設定することができる。

【0313】

図３１は、インターコネクトファブリックの複数の物理リンクにわたる機能ユニット間のメッセージ又は信号の伝送を表す。一実施形態において、機能ユニットの組の間の通信チャネルが、単一の物理リンクを介して供給され得るものを超えるバンド幅要求を有している場合に、複数のリンクが、機能ユニット間の通信を即するために使用され得る。

【0314】

一実施形態において、第１機能ユニット３１０１Ａは、第１ファブリックインターフェース３１０２Ａへメッセージ又は信号を送ることができる。第１ファブリックインターフェース３１０２Ａは、メッセージ又は信号を分岐し、単一の仮想チャネルとして複数の物理リンクにわたってメッセージ又は信号を送ることができる。例えば、複数の物理リンクが同じ仮想チャネルに割り当てられ得、夫々が仮想チャネルのメッセージ又は信号を運ぶことができる。

【0315】

データは、１つ以上のトランスポートレイヤ３０１１、３０１２内のクロッククロッシングモジュール３１０３を介してクロックドメイン間で伝送され得る。クロッククロッシングモジュール３１０３は、図３０に示されたの同じようにして、複数のバッファ又は高速メモリ３１０４Ａ～３１０４Ｂ、３１０６Ａ～３１０６Ｂ（及びクロックドメインクロッシングＦＩＦＯ）を介して複数の物理リンクにわたってチャネルのメッセージ又は信号を伝送する。複数の物理リンクは、メッセージ又は信号が第２機能ユニット３１０１Ｂへ供給される前に、第２ファブリックインターフェース３１０２Ｂで集束され得る。

【0316】

図３２は、インターコネクトファブリックの単一チャネルにわたる複数の機能ユニットのメッセージ又は信号の伝送を表す。一実施形態において、機能ユニットの組の間の通信チャネルが、物理リンクの利用可能な全てのバンド幅を利用しないバンド幅要求を有している場合に、複数の仮想チャネルが物理リンクにわたって輸送され得る。仮想チャネルは、物理リンクに沿って時間により切り替えることができ、物理リンク内データラインの特定の組が特定の機能ユニットに割り当てられ得る。

【0317】

一実施形態において、第１の組の機能ユニット３２０１Ａ、３２１１Ａは、インターコネクトファブリックの単一の物理リンクを介して第２の組の機能ユニット３２０１Ｂ、３２１１Ｂと通信することができる。機能ユニット３２０１Ａ、３２０１Ｂは、第１仮想チャネルに関連することができ、一方、機能ユニット３２１１Ａ、３２１１Ｂは、第２仮想チャネルに関することができる。第１仮想チャネル及び第２仮想チャネルは、第１ファブリックインターフェース３２０２Ａで集束され得る。メッセージ又は信号は、１つ以上のトランスポートレイヤ３０１１、３０１２にわたって中継され得る。データは、図３０に示されたのと同じようにして、複数のバッファ又は高速メモリ３２０４、３２０６（及びクロックドメインクロッシングＦＩＦＯ）を経由して１つ以上のトランスポートレイヤ３０１１、３０１２内のクロッククロッシングモジュール３２０３を介してクロックドメイン間で伝送され得る。複数の仮想チャネルは、メッセージ又は信号が第２の組の機能ユニット３２０１Ｂ、３２１１Ｂへ供給される前に、第２ファブリックインターフェース３２０２Ｂで分岐され得る。

【0318】

図３３は、分解された並列プロセッサ内の機能ユニットのためのファブリック接続を設定する方法３３００を表す。本願で記載されている分解された並列プロセッサのインターコネクトファブリックは、異なった設計者及び／又は製造者を有するＩＰコアであり得る様々な多種多様なコンポーネントのためにメッセージ及び／又は信号を伝送するよう構成可能である。チップレット又はベースダイロジックコンポーネント内で各機能ユニットによって使用されるリンクの具体的なタイプは、構成可能である。一実施形態において、リンクは、機能ユニットによって使用されるファブリックインターコネクトノードで構成可能である。

【0319】

一実施形態において、ファブリックインターコネクトノードは、並列プロセッサパッケージ内のインターコネクトファブリックを介して通信するよう構成されるべきである機能ユニットのためのバンド幅設定データを受信することができる（ブロック３３０２）。設定データは、分解された並列プロセッサの最初の組み立て及びプロビジョニングの間に静的に供給され得るか、あるいは、分解された並列プロセッサの初期化の間に動的に設定され得る。動的な初期化については、ファブリックインターコネクトノードは、機能ユニットとファブリックインターコネクトノードとの間のインターコネクトの物理的な幅及び周波数並びに機能ユニットのバンド幅要件を指定する機能ユニットからのバンド幅設定リクエストを受け取ることができる。

【0320】

ファブリックインターコネクトノードは、次いで、機能ユニットのための設定されたインターコネクト幅及び周波数を解析することができる（ブロック３３０４）。次いで、ファブリックインターコネクトノードは、機能ユニットのための集束及び／又は分岐リンクを設定することができる（ブロック３３０６）。設定されると、ファブリックインターコネクトノードは、設定されたリンクにわたって機能ユニットのメッセージ及び／又は信号を中継することができる（ブロック３３０８）。

【0321】

図３４は、分解された並列プロセッサ内のインターコネクトファブリックにわたってメッセージ及び／又は信号を中継する方法３４００を表す。本願で記載されている分解された並列プロセッサのインターコネクトファブリックは、複数のクロックドメインを横断しながら、分解された並列プロセッサの１つ以上のレイヤにわたってメッセージ及び／又は信号を中継することができる。

【0322】

一実施形態において、プロセッサのチップレット又はベースダイの中の第１機能ユニットは、伝送されるべきメッセージ又は信号の形でデータを生成することができる（ブロック３４０２）。第１機能ユニットは、第１ファブリックインターフェースノードを介してメッセージ又は信号をインターコネクトファブリックへ送信することができる（ブロック３４０４）。ファブリックインターフェースノードは、図３１及び図３２に示されるように、仮想チャネルを物理トランポートリンクに集束又は分岐することができる（ブロック３４０６）。伝送されるべきメッセージ又は信号は、仮想チャネルと関連付けられ、関連する仮想チャネルを介して伝送され得る。ファブリックインターコネクトがメッセージ又は信号の転送及び／又は切り替え動作をどのように実行するかは、メッセージ又は信号に割り当てられている仮想チャネルによって影響を及ぼされ得る。更には、複数の仮想チャネルは、単一の物理リンクにまとめられ得るか、あるいは、仮想チャネルは、複数の物理インクによって運ばれ得る。

【0323】

一実施形態において、インターコネクトファブリックは、１つ以上のトランスポート及び／又はデータリンクレイヤ内で複数のクロックドメインにわたってメッセージ又は信号を運ぶことができる（ブロック３４０８）。高速メモリ及びドメインクロッシングＦＩＦＯを含む１つ以上のクロッククロッシングモジュールは、複数のクロックドメインを横断するために使用され得る。一実施形態において、各チップレットは、インターコネクトファブリックに対して別個のクロックドメインを有することができる。インターコネクトファブリックはまた、複数のクロックドメインを有することもできる。複数のクロックドメインにわたってメッセージ又は信号を伝送することは、インターコネクトファブリック内のスイッチングロジックを用いてメッセージ又は信号を切り替えることを含むことができる。

【0324】

第２ファブリックインターフェースノードは、メッセージ又は信号を受信することができる（ブロック３４１０）。第２ファブリックインターフェースノードは、次いで、第２ファブリックインターフェースノードで物理輸送リンクから仮想チャネルを分岐又は集束することができる（ブロック３４１２）。複数の仮想チャネルが、単一の物理リンクから分岐され得るか、あるいは、仮想チャネルは、複数の物理リンクから集束され得る。プロセッサのチップレット又はベースダイの中の第２機能ユニットは、次いで、第２ハードウェアロジックでメッセージ又は信号の形でデータを受信することができる（ブロック３４１４）。第２機能ユニットは、次いで、受信されたデータに基づいて動作を実行することができる。

【0325】

図３５は、ワークロードごとにチップレットをパワーゲーティングする方法３５００を表す。一実施形態において、分解された並列プロセッサ内の電力制御ロジックは、ワークロードの要件に基づいてワークロードを実行中にどのチップレット又はロジックユニットが給電されるべきであるかを決定することができる。一実施形態において、電力制御ロジックは、どのコンポーネントがワークロードを処理するために使用されることになるかを決定するために、グローバルスケジューラ又はフロントエンドインターフェースなどの他のグローバルロジックと協働することができる。

【0326】

方法３５００は、ワークロードが並列プロセッサで実行されるためのコマンドバッファを受け取ることを含む（ブロック３５０２）。コマンドバッファは、例えば、グローバルスケジューラ又はフロントエンドインターフェースで受け取られ得る。方法３５００は、ワークロードを実行するために使用されるべきチップレットの組を決定することを更に含む（ブロック３５０４）。この決定は、コマンドバッファ内のコマンドを実行するために使用される機能ユニットの大域的設定及び／又はタイプを決定することによって実行され得る。

【0327】

方法３５００は、ワークロードを処理するために使用されるべきいずれかの機能チップレットが、パワーゲーティングされるチップレットに存在するかどうかを決定すること、又は使用されるべきチップレットがまだ給電されていない場合にそれらのチップレットの電源を投入することを更に含む（ブロック３５０６）。更には、ワークロードを処理するために使用されない機能ユニットが決定され得る。チップレット内の全ての機能ユニットがワークロードを処理するために使用されるわけではない場合には、電力制御ロジックは、ワークロードを処理するために使用されないチップレットの電源を切る（パワーゲーティングする）ことができる（ブロック３５０８）。チップレットの電源を入れたり切ったりするために、大域的電力制御ロジックは、チップレット内の局所的電力制御ロジックに信号を送ることができる。次いで、チップレット内の局所電力制御ロジックは、チップレットの適切なパワーダウンシーケンスを実行することができる。次いで、分解された並列プロセッサは、電源を入れられた（例えば、アクティブな）チップレットを用いてワークロードを実行することができる（ブロック３５１０）。

【0328】

［チップレット設定に基づく製品ＳＫＵの有効化］
半導体ダイは、ダイ上に形成された集積回路を評価するよう製造中に試験される。全体的な機能のための標準試験は、ウェハでダイをプローブ試験することによって実行され得る。バーンイン試験は、ダイが分割及びパッケージ化された後に、又はベアダイのためのテストハーネスを用いて、実行され得る。欠陥があるダイは捨てられてよい。しかし、最初の試験を通過したが、最多頻度でその後の試験に失敗したダイは、正確に動作することができる頻度が少ない可能性がある。このビニングアウト（binning-out）プロセスは、性能が低い又は高いダイを選択し、それらのダイを、種々の在庫管理単位（stock keeping units，ＳＫＵ）で、より高い又はより低い性能の製品の対象とすることができる。モノリシックＳｏＣ集積回路については、ビニングアウトプロセスは、粗粒度のプロセスである。欠陥がある計算又はグラフィクスコアをいくつか含むプロセッサはダウンビニングされてもよいが、最低限の製品要件を満たすために、最低限の数の欠陥がないコンポーネントが存在すべきである。

【0329】

本願で記載されている分解されたＳｏＣアーキテクチャによれば、個々のチップレットは、チップレットレベルで試験及びビニングされ得、ＳＫＵレベルは、所与の製品ＳＫＵに対する需要に基づいて組み立て中に製品に対して決定され得る。組み立て中に、異なる設定を有する異なる製品ＳＫＵは、特定のチップレット又は同じチップレット設計の異なるビンを指定することによって、異なるメモリ量、異なる機能性、及び異なる性能で組み立てられ得る。

【0330】

分解されたプロセッサパッケージは、交換可能なチップレットを受け入れるよう構成され得る。交換可能性は、ファブリック又はブリッジインターコネクトとインターフェース接続することをチップレットに可能にすることができるチップレット用の標準の物理インターコネクトを指定することによって、可能にされる。異なるＩＰ設計者によるチップレットは、共通のインターコネクトに適合することができ、そのようなチップレットが組み立て中に交換可能であるようにする。チップレット上のファブリック及びブリッジインターコネクトロジックは、次いで、チップレットのオンボードロジックの実際のインターコネクトレイアウトと一致するよう構成され得る。更には、チップレットからのデータは、転送される実際のデータがファブリックに不透明であるようにカプセル化を用いてインターチップレットファブリックにわたって伝送され、個々のチップレットの交換可能性を更に可能にすることができる。そのような交換可能な設計によれば、より高い又はより低い密度のメモリが、メモリチップレットスロットに挿入可能であり、一方、より多い又はより少ないコア数の計算又はグラフィクスチップレットがロジックチップレットに挿入可能である。

【0331】

組み立て中に機能性も決定され得る。例えば、メディアチップレットは、製品使用及び需要に基づいて追加又は削除され得る。いくつかの製品では、オンパッケージネットワーキング又は他の通信チップレットが追加され得る。いくつかの製品では、異なるタイプのホスト接続が、異なるチップレットを用いて有効にされ得る。例えば、ホストインターコネクトのバージョン変化は、物理形状因子の変化を伴わないインターコネクトロジックに対する変更を含み、新しいインターコネクトバージョンへのアップグレードは、新しいインターコネクトロジックをモノリシックダイに挿入するためのＳｏＣの再設計を必要とせずに、組み立て中にホストインターコネクトチップレットを変更することによって実行されてよい。

【0332】

チップレットビニングは、標準化されたシャーシインターフェースに適合するチップレット試験ハーネスの準備によって更に可能にされ得る。このチップレット試験ハーネスは、異なるＳＫＵについてのチップレットの迅速な試験及びビニングを可能にすることができる。

【0333】

図３６は、交換可能なチップレット３６０２を含む並列プロセッサアセンブリ３６００を表す。交換可能なチップレット３６０２は、１つ以上のベースチップレット３６０４、３６０８上の標準化されたスロット内に組み立てられ得る。ベースチップレット３６０４、３６０８は、本願で記載されている他のブリッジインターコネクトと同様であることができるブリッジインターコネクト３６０６を介して結合され得る。メモリチップレットは、ブリッジインターコネクトを介してロジック又はＩ／Ｏチップレットへ接続され得る。Ｉ／Ｏ及びロジックチップレットは、インターコネクトファブリックを介して通信することができる。ベースチップレットは夫々、ロジック又はＩ／Ｏ又はメモリ／キャッシュの１つについての標準化されたフォーマットで１つ以上のスロットをサポートすることができる。異なるメモリ密度が、製品の目標ＳＫＵに基づいてチップレットスロットに組み込まれ得る。更には、機能ユニットのタイプの数が異なっているロジックチップレットが、組み立て時に、製品の目標ＳＫＵに基づいて選択され得る。更には、異なるタイプのＩＰロジックコアを含むチップレットが、交換可能なチップレットスロット内に挿入され得る。

【0334】

図３７は、実施形態に従って、交換可能チップレットシステム３７００を表す。一実施形態において、交換可能チップレットシステム３７００は、複数のメモリチップレットスロット３７０１Ａ～３７０１Ｆ及び複数のロジックチップレットスロット３７０２Ａ～３７０２Ｆを含む少なくとも１つのベースチップレット３７１０を含む。ロジックチップレットスロット（例えば、３７０２Ａ）及びメモリチップレットスロット（例えば、３７０１Ａ）は、本願で記載されている他のインターコネクトブリッジと同様であることができるインターコネクトブリッジ３７３５によって接続され得る。ロジックチップレットスロット３７０２Ａ～３７０２Ｆは、ファブリックインターコネクト３７０８を介して相互接続され得る。ファブリックインターコネクト３７０８は、データをファブリックパケットにカプセル化することによってデータに対してアグノスティックである様態でロジックチップレットスロット間のデータパケットの中継を可能にするよう構成され得るスイッチングロジック３７１８を含む。ファブリックパケットは、次いで、ファブリックインターコネクト３７０８内のあて先スロットへ切り替えられ得る。

【0335】

ファブリックインターコネクト３７０８は、１つ以上の物理データチャネルを含むことができる。１つ以上のプログラム可能な仮想チャネルが、各物理チャネルによって運ばれ得る。仮想チャネルは、仮想チャネルごとに別々にネゴシエーションされたチャネルアクセスにより、独立して調停されてよい。仮想チャネル上のトラフィックは、１つ以上のトラフィッククラスに分類されてよい。一実施形態において、優先順位付けシステムは、仮想チャネル及びトラフィッククラスが調停のための相対的優先順位を割り当てられることを可能にする。一実施形態において、トラフィック平衡アルゴリズムは、ファブリックに結合されている各ノードに対して略等しいバンド幅及びスループットを維持するよう動作する。一実施形態において、ファブリックインターコネクトロジックは、ファブリックに結合されているノードよりも高いクロックレートで動作して、ノード間のバンド幅要件を維持しながらインターコネクト幅の低減を可能にする。特定のノードがより高いバンド幅を必要とする場合に、複数の物理リンクは、先の図３１で見られたように、単一の仮想チャネルを運ぶよう結合され得る。一実施形態において、各物理リンクは、アイドル時に別々にクロックゲーティングされる。次の動作の早期指示は、データが伝送されるべきである前に物理リンクを起動させるトリガとして使用され得る。

【0336】

図３８は、実施形態に従う、仮想チャネル上で運ばれる複数のトラフィッククラスの例示である。第１ファブリックコネクタ３８０２及び第２ファブリックコネクタ３８０４は、最大‘Ｍ’個の仮想チャネル３８０６Ａ～３８０６Ｍを有するファブリックチャネル３８０６上の通信を促進する。仮想チャネルは、固定の組の物理チャネル上での可変長情報の転送を可能にする。仮想チャネルは、恒久的な仮想チャネルであってよく、あるいは、仮想チャネルは、システム設定に基づいて動的に有効か又は無効化されてもよい。恒久的な仮想チャネルを使用すると、固定チャネルＩＤが可能になり、仮想チャネル管理のオーバーヘッドを最小限に抑えることができる。チャネルを動的に設定すると、チャネル管理オーバーヘッドが増える代わりに、設計の柔軟性が高まる。

【0337】

各仮想チャネルは、複数のトラフィッククラスを割り当てられてよい。トラフィッククラスは、調停に関係があるトラフィックの区分である。各仮想チャネルは、最大‘Ｎ’個のトラフィッククラスを運んでよい。トラフィックの各クラスは、プログラミング（ヒューズ、設定レジスタ、など）を通じて特定の仮想チャネルに割り当てられる。トラフィッククラスの最大‘Ｌ’個のクラスが、所与の仮想チャネルに割り当てられてよい。

【表5】

【0338】

上の表５は、図３８で表されているような例示的なトラフィッククラスの仮想チャネル割り当てを示す。ファブリックインターコネクトは、入来するトラフィックの各ユニットを分類し、そして、入来ユニットがその割り当てられた仮想チャネル内を移動することを確かにするロジックを含んでよい。一実施形態において、チャネル上でのデータ伝送は、先入れ先出し（first-in-first-out，ＦＩＦＯ）順序で起こり、チャネル調停は、仮想チャネルに基づいて行われる。仮想チャネル内のトラフィックは、同じ仮想チャネル上の追加のトラフィックの伝送をブロックしてよい。しかし、所与の仮想チャネルは、異なる仮想チャネルをブロックしない。従って、異なる仮想チャネル上のトラフィックは、独立して調停される。

【0339】

コヒーレンシは、ファブリックインターコネクトノード間のデータ伝送中に維持される。一実施形態において、ＧＰＧＰＵ又は並列プロセッサ上の発信スレッドのデータは、同じトラフィッククラス内でルーティングされ、トラフィッククラスは、特定の仮想チャネルに割り当てられる。単一の仮想チャネル上の単一のトラフィッククラス内のデータは、ＦＩＦＯ順序で伝送される。よって、単一スレッドからのデータは、ファブリックを介して伝送されるときに厳密に順序づけられ、スレッドごとのコヒーレンシは、リード・アフター・ライト（read-after-write）又はライト・アフター・リード（write-after-read）データハザードを回避するよう維持される。一実施形態において、スレッドグループコヒーレンシは、リソースノード間の大域的同期化メカニズムにより維持される。

【表6】

【0340】

上の表６は、例となるトラフィッククラス優先順位付けを示す。優先順位アルゴリズムは、トラフィッククラスの夫々に割り当てるべき優先順位を決定するようプログラムされてよい。プログラム可能なトラフィッククラス優先順位は、トラフィッククラスが任意のトラフィックグルーピングメカニズムとして使用されることを可能にする。このとき、トラフィックは、コヒーレンシを維持するために単にクラス内でグループ化されてよく、あるいは、特定のトラフィックは、高い優先順位を割り当てられ、もっぱら高優先データに用いられ得る。例えば、仮想チャネル１ ３８０６Ｂに夫々割り当てられているクラス１及びクラス４は、２の優先順位を割り当てられてよい。仮想チャネル１ ３８０６Ａに夫々割り当てられているクラス２及びクラス５は、１の優先順位を割り当てられてよい。トラフィッククラス‘Ｎ’は、優先順位が３である仮想チャネル３ ３８０６Ｃに割り当てられてよい。クラス２のトラフィックは、可能な限り直ぐに伝送されるべきであるか、又は他のトラフィッククラスによってブロックされるべきでない遅延センシティブなデータであってよく、一方、クラス１のトラフィックは、コヒーレンシを維持するようグループ化されている単一スレッドからの適度に遅延センシティブなトラフィックであってよい。

【0341】

トラフィッククラスは、全てのトラフィッククラスに対して、又は同じ仮想チャネル上のトラフィッククラスの優先順位に対して、優先順位を割り当てられてよい。一実施形態において、優先順位スキームは、重みをトラフィッククラスに割り当てることによって設計される。このとき、より高い重みは、より高い優先順位を示す。公平な優先順位付けアルゴリズムが用いられてよく、このとき、各参加者は、飢餓を防ぐよう最小限の量のバンド幅を保証される。一実施形態において、絶対優先順位アルゴリズムは、特定の環境下で使用され、このとき、より高い優先度のトラフィックは、より低い優先度を常にブロックする。

【0342】

絶対優先度が使用されている場合に、通信デッドロックを防ぐよう、追加のアルゴリズムが実施される。仮想チャネル及びトラフィッククラスを組み合わせて使用することにより、デッドロックの可能性は減る。これは、所与の仮想チャネル上で絶対優先順位を有している単一のトラフィッククラスが、別の仮想チャネル上のトラフィックをブロックしないからである。一実施形態において、飢餓条件又は潜在的なデッドロックが１つの仮想チャネルで検出される場合に、ブロックされたトラフィッククラスは、別の仮想チャネルに再割り当てされてよい。

【表7】

【0343】

上の表７は、例となる仮想チャネル優先順位付けを示す。トラフィッククラスと同様に、各仮想チャネルも優先順位を受け取ってよく、チャネル調停は、仮想チャネルの相対優先順位を考慮に入れることができる。例えば、仮想チャネル２上のデータトラフィックは、他の仮想チャネル上のデータよりも高い相対優先順位を有してよい。重み付き優先順位システムが、仮想チャネル優先順位付けにより用いられてもよく、このとき、より高い重みは、より高い優先順位を示す。公平な優先順位システム又は絶対優先順位システムが使用されてもよい。

【0344】

図３９は、実施形態に従って、交換可能なチップレットのスロット間のアグノスティックなデータ伝送の方法３９００を表す。方法３９００は、本願で記載されているファブリックインターコネクト及びファブリックインターコネクトノード内のハードウェアロジックによって実行され得る。一実施形態において、方法３９００は、第１ファブリックインターフェースノードが第１チップレットロジックスロットからデータを受信することを含む（ブロック３９０２）。第１ファブリックインターフェースノードは、データをファブリックパケットにカプセル化することができる（ブロック３９０４）。第１ファブリックインターフェースノードは、パケットを、ファブリックインターコネクト内のスイッチングロジックを介して第２ファブリックインターフェースノードへ送信することができる（ブロック３９０６）。第２ファブリックインターフェースノードは、パケットを受信し（ブロック３９０８）、パケットからデータをパケット解除することができる（３９１０）。第２ファブリックインターフェースノードは、次いで、パケットからカプセル解除されたデータを第２チップレットロジックスロットへ送信することができる（ブロック３９１２）。

【0345】

図４０は、実施形態に従って、交換可能なチップレットのためのモジュールアーキテクチャを表す。一実施形態において、チップレット設計４０３０は、インターフェーステンプレート４００８との相互運用のためにチップレットロジック４００２を適応させることによって交換可能にされ得る。インターフェーステンプレート４００８は、図２８Ｂのチップレット２８３０で見られたような、電力制御２８３２及びクロック制御２８３４ロジックなどの標準化されたロジックと、インターコネクトバッファ２８３９と、インターコネクトキャッシュ２８４０と、ファブリックインターコネクトノード２８４２とを含むことができる。次いで、ＩＰ設計者は、インターフェーステンプレート４００８とインターフェース接続するよう設計されるチップレットロジック４００２を設けることができる。チップレットロジック４００２の仕様は、様々であることができ、本願で記載されている実行ユニット、計算ユニット、又はストリーミング・マルチプロセッサを含むことができる。チップレットロジック４００２はまた、メディア符号化及び／又は復号化ロジック、行列アクセラレーションロジック、又はレイトレーシングロジックを含むことができる。メモリチップレットについては、チップレットロジック４００２は、メモリセルにより置換可能であり、ファブリックインターコネクトノードは、例えば、図２９Ｂのメモリチップレット２９０６において表されているようなインターコネクトブリッジＩ／Ｏ回路により置換可能である。

【0346】

図４１は、チップレット試験、検証及び集積において使用される標準化されたシャーシインターフェースの使用を表す。チップレット４１３０は、図４０のチップレット４０３０と同様に、ロジックレイヤ４１１０及びインターフェースレイヤ４１１２を含むことができる。インターフェースレイヤ４１１２は、テストハーネス４１１６へ着脱可能に結合されることをチップレットに可能にする一時インターコネクト４１１４と通信することができる標準化されたインターフェースであることができる。テストハーネス４１１６は、テストホスト４１１８と通信することができる。テストハーネス４１１６は、テストホスト４１１８の通信下で、ロジックレイヤ４１１０内の不具合を確認しかつチップレット４１３０の性能又は機能性ビンを決定するために初期試験又はビニングアウトプロセス中に個々のチップレット４１３０に対する一連のテストを実行することができる。例えば、ロジックレイヤ４１１０は、欠陥がある機能ユニット及び欠陥がない機能ユニットの数と、特定の機能ユニット（例えば、行列アクセラレータ、レイトレーシングコア、など）の閾数が有効であるかどうかとを決定するよう試験され得る。ロジックレイヤ４１１０はまた、内部ロジックが目標周波数で動作することができるかどうかを決定するよう試験され得る。

【0347】

図４２は、様々な製品ティアを作成するための個々にビニングされたチップレットの使用を表す。試験されていないチップレット４２０２の組は試験され、個々のチップレットが特定の性能又は機能性ティアに適合するかどうかに応じて、性能ビン４２０４、メインストリームビン４２０６、及び経済ビン４２０８の組にビニングされ得る。性能ビン４２０４は、メインストリームビン４２０６の性能（例えば、安定した周波数）を超えるチップレットを含むことができ、一方、経済ビン４２０８は、役には立つが、メインストリームビン４２０６性能を下回るチップレットを含むことができる。

【0348】

チップレットは、組み立て中に交換可能に配置され得るので、異なる製品ティアは、チップレットの選択された組に基づいて集められ得る。ティア１製品４２１２は、性能ビン４２０４内のチップレットからのみ集められ、一方、ティア２製品４２１４は、性能ビン４２０４からのチップレットとメインストリームビン４２０６からの他のチップレットとの選択を含むことができる。例えば、高バンド幅、低レイテンシメモリを必要とするワークロードのために設計されるティア２製品４２１４は、メインストリームビン４２０６からの計算、グラフィクス、又はメディアチップレットを使用ながら、性能ビン４２０４からの高性能メモリチップレットを使用することができる。更には、ティア３製品４２１６は、そのような製品が高いメモリバンド幅要件を伴わないワークロードに合わせられる場合に、メインストリームビン４２０６からのメインストリーム計算チップレットと、経済ビン４２０８からのメモリとを使用して組み立てられ得る。ティア４製品４２１８は、経済ビン４２０８内の役には立つが性能が低いチップレットから組み立てられ得る。

【0349】

図４３は、チップレット構成に基づいて異なる製品ティアを有効にする方法４３００を表す。方法４３００は、チップレットダイを試験パッケージングにパッケージ化することを含む（ブロック４３０２）。次いで、チップレットは、機能ユニットの周波数及び／又は数に基づいてチップレットをビニングアウトするよう試験され得る（ブロック４３０４）。次いで、分解された並列プロセッサは、製品要件に基づいて、１つ以上のビンからのチップレットを用いて組み立てられ得る（ブロック４３０６）。追加のチップレット（例えば、メディア、レイトレーシング、など）も、機能要件に基づいて加えられ得る（ブロック４３０８）。

【0350】

次の付記及び／又は例は、具体的な実施形態又はその例に関係がある。例の中の特定は、１つ以上の実施形態においてどこでも使用されてよい。異なる実施形態又は例の様々な特徴は、様々な異なる用途に適するよういくつかの特徴は含まれ他は除外されて、様々に組み合わされてよい。例は、本願で記載されている実施形態及び例に従う方法、方法の動作を実行する手段、機械によって実行される場合にその機械に方法の動作を実行させる命令を含む少なくとも１つの機械読み出し可能な媒体、又は装置若しくはシステムなどの対象を含んでよい。様々なコンポーネントは、記載されている動作又は機能を実行する手段であることができる。

【0351】

本願で記載されている実施形態は、ＳｏＣ集積回路のアーキテクチャを、共通のシャーシ上にパッケージ化され得る複数の相異なるチップレットに分解する技術を提供する。一実施形態において、グラフィクス処理ユニット又は並列プロセッサは、別々に製造される多種多様なシリコンチップレットから成る。チップレットは、他のチップレットともにより大きいパッケージ内に組み立てられ得る相異なるロジックユニットを含む少なくとも部分的にパッケージ化された集積回路である。異なるＩＰコアロジックを備えたチップレットの多種多様な組が単一のデバイス内に組み立てられ得る。

【0352】

一実施形態は、インターコネクトファブリックを含むベースダイと、インターコネクト構造により前記ベースダイ及び前記インターコネクトファブリックと結合された１つ以上のチップレットとを有し、前記インターコネクト構造が、前記１つ以上のチップレットと前記インターコネクトファブリックとの間の電気通信を可能にする、汎用グラフィクスプロセッサを提供する。前記１つ以上のチップレットは、第１チップレット及び第２チップレットを含むことができ、前記第１チップレットは、前記ベースダイと結合され、かつ、第１インターコネクト構造により前記インターコネクトファブリックへ接続され、前記第２チップレットは、前記ベースダイと結合され、かつ、第２インターコネクト構造により前記インターコネクトファブリックへ接続される。チップレットは、汎用グラフィクス処理動作、メディア符号化又は復号化動作、行列演算アクセラレーション、及び／又はレイトレーシングを実行するよう構成された機能ユニットを含むことができる。一実施形態において、チップレットは、ネットワークプロセッサ及び物理ネットワークインターフェース（例えば、ネットワークポート、無線ラジオ、など）を含む。チップレットは、キャッシュメモリ又はＤＲＡＭであってよいメモリを更に含むことができる。各チップレットは、別々にかつ独立してパワーゲーティングされてよい。更には、ロジック又はメモリが前記ベースダイに含まれ得る。一実施形態において、前記ベースダイはキャッシュメモリを含む。ベースダイにおけるキャッシュメモリは、プロセッサワイドキャッシュであることができる。ベースダイキャッシュメモリは、チップレット内のキャッシュメモリと協働するよう構成され得る。

【0353】

一実施形態は、インターコネクトファブリックを含むベースダイと、複数のインターコネクト構造により前記ベースダイ及び前記インターコネクトファブリックと結合された複数のチップレットとを有し、前記複数のインターコネクト構造が、前記複数のチップレットと前記インターコネクトファブリックとの間の電気通信を可能にし、前記インターコネクトファブリックが、前記複数のチップレットの中の第１チップレットに関連した第１ファブリックインターフェースノードからメッセージ又は信号を受信し、該メッセージ又は信号を、前記複数のチップレットの中の第２チップレットに関連した第２ファブリックインターフェースノードへ中継する、汎用グラフィクスプロセッサを有するデータ処理システムを提供する。前記インターコネクトファブリックは、該インターコネクトファブリックの複数の物理リンク上で複数の仮想チャネルを介してメッセージ又は信号を伝送することができる。一実施形態において、複数の仮想チャネルは、単一の物理リンクにわたって伝送され得る。一実施形態において、単一の仮想チャネルは、複数の物理リンクにわたって伝送され得る。アイドル状態の物理リンクは、別々にパワーゲーティングされ得る。

【0354】

一実施形態は、プロセッサのチップレット又はベースダイ内の第１機能ユニットでデータを生成することと、第１ファブリックインターフェースノードを介してインターコネクトファブリックへ前記データを伝送することと、前記プロセッサ内の複数のクロックドメインにわたって前記データを運ぶことと、第２ファブリックインターフェースノードで前記データを受け取ることと、前記プロセッサの前記チップレット又はベースダイ内の第２機能ユニットへ前記データを伝送することと、前記第２機能ユニットで、受信されたデータに基づいて動作を実行することとを有する方法を提供する。方法は、前記インターコネクトファブリックの仮想チャネルと前記データを関連付け、前記仮想チャネルに基づいて前記データを転送又はスイッチングすることを更に有する。更なる実施形態では、方法は、前記第１ファブリックインターフェースノードで前記仮想チャネルを分岐することと、複数の物理リンクを用いて前記複数のクロックドメインにわたって前記仮想チャネルのデータを運ぶことと、前記第２ファブリックインターフェースノードで前記仮想チャネルを収束させることとを含む。更なる他の実施形態では、前記仮想チャネルは、第１仮想チャネルであり、方法は、前記第１仮想チャネルを前記第１ファブリックインターフェースノードで第２仮想チャネルと収束させることと、単一の物理リンクを用いて前記複数のクロックドメインにわたって前記第１仮想チャネル及び前記第２仮想チャネルを運ぶことと、前記第２ファブリックインターフェースノードで前記第１仮想チャネル及び前記第２仮想チャネルを分岐することとを更に有する。

【0355】

一実施形態は、分解されたアーキテクチャを有するプロセッサ内のマイクロコントローラのためのファームウェアを記憶している非一時的な機械読み出し可能な媒体であって、前記ファームウェアは、前記マイクロコントローラに、ワークロードが前記プロセッサで実行されるためのコマンドバッファを受け取ることと、前記ワークロードを実行するために使用されるべき機能ユニットを含むプロセッサ上のチップレットの組を決定することと、前記ワードを実行するために使用されるべき機能ユニットを含まない１つ以上のチップレットをパワーゲーティングすることと、給電されたチップレットを用いて前記ワークロードを実行することとを有する動作を実行させる命令を含む。動作は、前記ワークロードを実行するために使用されるべき機能ユニットを含むチップレットが給電されているかどうかを決定し、前記チップレットがパワーゲーティングされているときに前記チップレットの電源を投球することを更に有することができる。

【0356】

更なる実施形態は、交換可能なチップレットを受け入れるよう構成され得る分解されたプロセッサパッケージを提供する。交換可能性は、チップレットがファブリック又はブリッジインターコネクトとインターフェース接続することを可能にすることができるチップレット用の標準物理インターコネクトを指定することによって、有効にされる。異なるＩＰ設計者によるチップレットは、共通のインターコネクトに適合することができ、そのようなチップレットが組み立て中に交換可能であるようにする。チップレット上のファブリック及びブリッジインターコネクトロジックは、次いで、チップレットのオンボードロジックの実際のインターコネクトレイアウトと一致するよう構成され得る。更には、チップレットからのデータは、転送される実際のデータがファブリックに不透明であるようにカプセル化を用いてインターチップレットファブリックにわたって伝送され、個々のチップレットの交換可能性を更に可能にすることができる。そのような交換可能な設計によれば、より高い又はより低い密度のメモリが、メモリチップレットスロットに挿入可能であり、一方、より多い又はより少ないコア数の計算又はグラフィクスチップレットがロジックチップレットに挿入可能である。

【0357】

一実施形態は、インターコネクトファブリックを含むベースダイと、インターコネクト構造により前記ベースダイ及び前記インターコネクトファブリックと結合された１つ以上のチップレットとを有し、前記インターコネクト構造が、前記１つ以上のチップレットと前記インターコネクトファブリックとの間の電気通信を可能にし、前記１つ以上のチップレットが、汎用グラフィクスプロセッサの組み立て中に交換可能である、汎用グラフィクスプロセッサを提供する。前記１つ以上のチップレットは、メモリデバイスに関連したメモリセルを有するメモリチップレットを含む。前記メモリチップレットは、第１チップレットスロットへ結合される。前記１つ以上のチップレットは、第１ロジックチップレット及び第２ロジックチップレットを更に含むことができる。前記第１ロジックチップレットは、前記ベースダイと結合され、かつ、第１インターコネクト構造により前記インターコネクトファブリックへ接続される。前記第１インターコネクト構造は、第１ロジックチップレットスロットに固着される。前記第２ロジックチップレットは、前記ベースダイと結合され、かつ、第２インターコネクト構造により前記インターコネクトファブリックへ接続される。前記第２インターコネクト構造は、第２ロジックチップレットスロットに固着される。

【0358】

一実施形態において、前記第１ロジックチップレットスロットは、前記第１ロジックチップレット又は第３ロジックチップレットを受け入れるよう構成される。前記第１ロジックチップレットは、汎用グラフィクス処理動作を実行するよう構成された機能ユニット（例えば、実行ユニット、計算ユニット、ストリーミング・マルチプロセッサ、など）を含み、一方、第３ロジックチップレットは、テンソルコアなどの行列アクセラレーション動作を実行するよう構成された機能ユニットを含む。前記第２ロジックチップレットスロットは、前記第２ロジックチップレット又は第４ロジックチップレットを受け入れるよう構成され得る。前記第２ロジックチップレットは、メディアを、本願で記載されている１つ以上のメディア符号化フォーマットへ符号化し、そのようなフォーマットから復号し、又はそのようなフォーマットの間でトランスコードするメディア操作を実行するよう構成された機能ユニットを含む。前記第４ロジックチップレットは、代わりに、ネットワークプロセッサ及び物理ネットワークインターフェースを含むことができる。

【0359】

一実施形態において、本願で記載されているロジックチップレットは、機能ユニットを含む第１レイヤと、ファブリックインターコネクトノードを含む第２レイヤとを含む。本願で記載されているメモリチップレットは、メモリセルのバンクを含む第１レイヤと、メモリチップレットとロジックチップレットとの間のインターコネクトブリッジに関連したＩ／Ｏ回路を含む第２レイヤとを含むことができる。更なる実施形態では、前記ベースダイは、第１ベースダイであり、該第１ベースダイは、インターコネクトブリッジを介して第２ベースダイと結合する。

【0360】

一実施形態は、インターコネクトファブリックを含むベースダイと、複数のインターコネクト構造により前記ベースダイ及び前記インターコネクトファブリックと結合された複数のチップレットとを有する汎用グラフィクスプロセッサを有するデータ処理システムを提供する。前記複数のインターコネクト構造は、前記複数のチップレットと前記インターコネクトファブリックとの間の電気通信を可能にする。前記インターコネクトファブリックは、前記複数のチップレットの中の第１ロジックチップレットに関連した第１ファブリックインターフェースノードからファブリックパケットを受信し、該ファブリックパケットを、前記複数のチップレットの中の第２ロジックチップレットに関連した第２ファブリックインターフェースノードへ中継することができる。前記インターコネクトファブリックは、該インターコネクトファブリックの複数の物理リンク上で複数の仮想チャネルを介して前記ファブリックパケットを伝送することができる。前記インターコネクトファブリックは、該インターコネクトファブリックの複数の物理リンクにわたって単一の仮想チャネルに関連したファブリックパケットを伝送することができる。前記インターコネクトファブリックはまた、該インターコネクトファブリックの単一の物理リンクにわたって複数の仮想チャネルのファブリックパケットを伝送することができる。前記複数の物理リンクの物理リンクは、該物理リンクがアイドル状態であるときにパワーゲーティングされ得る。一実施形態において、仮想チャネルのファブリックパケットは、１つ以上のトラフィッククラスに関連することができる。仮想チャネル及びトラフィッククラスは夫々、関連する優先順位を有することができる。

【0361】

一実施形態は、第１ファブリックインターフェースノードで第１ロジックチップレットスロットからデータを受信することと、前記第１ファブリックインターフェースノードで前記データをファブリックパケットにカプセル化することと、該ファブリックパケットを第２ファブリックインターフェースノードへスイッチングロジックを介して伝送することと、前記第２ファブリックインターフェースノードで前記パケットを受信することと、前記第２ファブリックインターフェースノードで前記ファブリックパケットからデータをカプセル解除することと、前記ファブリックパケットからの前記データを前記第２ファブリックインターフェースノードから第２ロジックチップレットスロットへ伝送することとを有する方法を提供する。前記ファブリックパケットは、前記第１ファブリックインターフェースノードと前記第２ファブリックインターフェースノードとの間で複数のクロックドメインを通過することができる。

【0362】

当然ながら、実施形態の１つ以上の部分は、ソフトウェア、ファームウェア、及び／又はハードウェアの異なる組み合わせを用いて実装されてよい。この詳細な説明の全体を通して、説明のために、多数の具体的な詳細が、本発明の完全な理解をもたらすために示されている。なお、当業者に明らかなように、実施形態は、これらの具体的な詳細のいくつかによらずとも実施されてよい。特定の場合に、よく知られている構造及び機能は、実施形態の発明対象を不明りょうにしないよう詳述されていない。従って、本発明の範囲及び精神は、続く特許請求の範囲に関して判断されるべきである。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19A】

【図19B】

【図20】

【図21】

【図22A】

【図22B】

【図23】

【図24A】

【図24B】

【図25】

【図26A】

【図26B】

【図27】

【図28A】

【図28B】

【図29A】

【図29B】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】