特許 7574523 メモリ効率を改善するための起動及びカーネルの動的な分割

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】メモリ効率を改善するための起動及びカーネルの動的な分割

(51)【国際特許分類】

   G06F 17/16 20060101AFI20241022BHJP

   G06F 17/10 20060101ALI20241022BHJP

   G06N 3/0464 20230101ALI20241022BHJP

【ＦＩ】

G06F17/16 C

G06F17/16 P

G06F17/10 A

G06N3/0464

【請求項の数】 19

【外国語出願】

(21)【出願番号】P 2020150177

(22)【出願日】2020-09-07

(65)【公開番号】P2021077342

(43)【公開日】2021-05-20

【審査請求日】2023-09-04

(31)【優先権主張番号】201911082113.X

(32)【優先日】2019-11-07

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】チェン、 シャオミン

(72)【発明者】

【氏名】ヤオ、アンバン

(72)【発明者】

【氏名】ホァン、 ジュンジエ

(72)【発明者】

【氏名】エルブイ、タオ

(72)【発明者】

【氏名】ルオ、ユアンケ

【審査官】坂庭 剛史

(56)【参考文献】

【文献】特開２０１９－０８２９９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１４７３１９（ＵＳ，Ａ１）

【文献】特開２０１９－００８４２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １７／１６

Ｇ０６Ｆ １７／１０

Ｇ０６Ｎ ３／０４６４

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

機械学習を実行する計算エンジンにおける方法であって、
前記計算エンジン上に実装された畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層によって、入力データに含まれる複数の起動グループを受信する段階であって、前記畳み込み層は１又は複数のカーネルグループを有し、前記１又は複数のカーネルグループは各々、複数のカーネルを含む、段階と、
前記複数の起動グループの起動グループの数及び前記複数のカーネルのカーネルの数に基づいて複数のメモリ効率測定基準を決定する段階と、
前記複数のメモリ効率測定基準の中の最適なメモリ効率測定基準に関連付けられている第１最適数の起動グループ及び第２最適数のカーネルを選択する段階と、
前記第１最適数と前記第２最適数とに基づいて、前記入力データに対して畳み込み演算を実行する段階と、
を備える、方法。

【請求項2】

起動スパース性及びカーネルスパース性を受信する段階を更に備え、前記複数のメモリ効率測定基準を決定する前記段階は、前記起動スパース性及び前記カーネルスパース性に更に基づく、請求項１に記載の方法。

【請求項3】

前記複数のメモリ効率測定基準は、次の式
（ｎ×ｋ×Ｓａ×Ｓｋ）／（ｋ×Ｓａ＋ｎ×Ｓｋ）
の計算によって導出され、
ｎは、前記複数のカーネルのカーネルの数であり、
ｋは、前記複数の起動グループの起動グループの数であり、
Ｓａは前記起動スパース性であり、
Ｓｋは前記カーネルスパース性である、
請求項２に記載の方法。

【請求項4】

前記第１最適数及び前記第２最適数を選択する前記段階は、前記ＣＮＮの異なる畳み込み層について独立して実行される、
請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記複数の起動グループの起動グループの数の下限値が、前記計算エンジンに連結されたレジスタ又はバッファに関連付けられる、
請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記複数のカーネルのカーネルの数の上限値が、前記計算エンジン上の算術論理ユニット（ＡＬＵ）に関連付けられる、
請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記複数のメモリ効率測定基準は、メモリ負荷効率を示す、
請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記方法は、前記ＣＮＮの訓練又は推論の間に実施される、
請求項１から７のいずれか一項に記載の方法。

【請求項9】

機械学習のための装置であって、
入力データに含まれる複数の起動グループと、各々が畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層に複数のカーネルを含む１又は複数のカーネルグループとを格納するデータストレージデバイスと、
前記データストレージデバイスに連結された１又は複数のプロセッサであって、前記ＣＮＮは前記１又は複数のプロセッサ上に実装される、１又は複数のプロセッサとを備え、
前記１又は複数のプロセッサは、
前記畳み込み層により、前記複数の起動グループを受信することであって、前記畳み込み層は、前記１又は複数のカーネルグループを含む、受信することと、
前記複数の起動グループの起動グループの数及び前記複数のカーネルのカーネルの数に基づいて複数のメモリ効率測定基準を決定することと、 前記複数のメモリ効率測定基準の中の最適なメモリ効率測定基準に関連付けられている第１最適数の起動グループ及び第２最適数のカーネルを選択することと、
前記第１最適数及び前記第２最適数に基づいて、前記入力データに対して畳み込み演算を実行することと、
を行う、装置。

【請求項10】

前記１又は複数のプロセッサは更に、
起動スパース性及びカーネルスパース性を受信し、前記１又は複数のプロセッサは、前記起動スパース性及び前記カーネルスパース性に更に基づいて、前記複数のメモリ効率測定基準を決定する、
請求項９に記載の装置。

【請求項11】

前記複数のメモリ効率測定基準は、次の式
（ｎ×ｋ×Ｓａ×Ｓｋ）／（ｋ×Ｓａ＋ｎ×Ｓｋ）
の計算によって導出され、
ｎは、前記複数のカーネルのカーネルの数であり、
ｋは、前記複数の起動グループの起動グループの数であり、
Ｓａは前記起動スパース性であり、
Ｓｋは前記カーネルスパース性である、
請求項１０に記載の装置。

【請求項12】

前記１又は複数のプロセッサは、前記ＣＮＮの異なる畳み込み層について独立して前記第１最適数及び前記第２最適数を選択する、
請求項９から１１のいずれか一項に記載の装置。

【請求項13】

前記複数の起動グループの起動グループの数の下限値が、前記１又は複数のプロセッサに連結されたレジスタ又はバッファに関連付けられる、
請求項９から１２のいずれか一項に記載の装置。

【請求項14】

前記複数のカーネルのカーネルの数の上限値が、前記１又は複数のプロセッサ上の算術論理ユニット（ＡＬＵ）に関連付けられる、
請求項９から１３のいずれか一項に記載の装置。

【請求項15】

前記複数のメモリ効率測定基準は、メモリ負荷効率を示す、
請求項９から１４のいずれか一項に記載の装置。

【請求項16】

前記１又は複数のプロセッサは、グラフィックプロセッサを有する、
請求項９から１５のいずれか一項に記載の装置。

【請求項17】

請求項１～８のいずれか一項に記載の方法を実行するための手段を備える、機械学習のためのシステム。

【請求項18】

請求項１から８のいずれか一項に記載の方法をコンピュータに実行させる、プログラム。

【請求項19】

請求項１８に記載のプログラムを格納する、少なくとも１つのコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、一般にデータ処理に関し、より詳細には、汎用グラフィック処理ユニットを介したデータ処理に関する。

【背景技術】

【0002】

現在の並列グラフィックデータ処理は、例えば、線形補間、テセレーション、ラスタライズ、テクスチャマッピング、デプステストなど、グラフィックデータに対して特定の動作を実行するために開発されたシステム及び方法を含む。従来、グラフィックプロセッサは、固定機能の計算ユニットを使用してグラフィックデータを処理していた。しかし、最近では、グラフィックプロセッサの一部がプログラマブルになり、そのようなプロセッサが頂点データ及びフラグメントデータを処理するための様々な動作をサポートすることが可能になった。

【0003】

性能を更に高めるために、グラフィックプロセッサは通常、例えば、グラフィックパイプラインの異なる部分全体で可能な限り多くのグラフィックデータを並列処理を試みるパイプライン処理などの処理技術を実装している。単一命令、複数のスレッド（ＳＩＭＴ）アーキテクチャを備える並列グラフィックプロセッサは、グラフィックパイプラインでの並列処理の量を最大化するように設計されている。ＳＩＭＴアーキテクチャでは、並列スレッドのグループがプログラムの命令をできるだけ同時に同期的に一緒に実行して、処理効率を高めようと試みる。ＳＩＭＴアーキテクチャのソフトウェア及びハードウェアの一般的な概要は、シェーンクック、ＣＵＤＡプログラミングの第３章、３７～５１ページ（２０１３）に見られることができる。

【図面の簡単な説明】

【0004】

これにより本実施形態の上に記載の特徴の方法を詳細に理解されることができ、上に簡潔に要約した実施形態のより具体的な説明は、そのいくつかが添付図面に示されている実施形態を参照することによって行われ得る。しかし、添付図面は典型的な実施形態のみを示しており、従って、その範囲を限定するものと考慮されるべきではないことに留意されたい。

【0005】

【図1】本明細書で説明される実施形態の１又は複数の態様を実装するように構成されたコンピュータシステムを示すブロック図である。

【0006】

【図2A】一実施形態による、並列プロセッサコンポーネントを示す。

【図2B】一実施形態による、並列プロセッサコンポーネントを示す。

【図2C】一実施形態による、並列プロセッサコンポーネントを示す。

【図2D】一実施形態による、並列プロセッサコンポーネントを示す。

【0007】

【図3A】実施形態による、グラフィックマルチプロセッサ及びマルチプロセッサベースのＧＰＵのブロック図である。

【図3B】実施形態による、グラフィックマルチプロセッサ及びマルチプロセッサベースのＧＰＵのブロック図である。

【図3C】実施形態による、グラフィックマルチプロセッサ及びマルチプロセッサベースのＧＰＵのブロック図である。

【0008】

【図4A】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結されている例示的なアーキテクチャを示す。

【図4B】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結されている例示的なアーキテクチャを示す。

【図4C】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結されている例示的なアーキテクチャを示す。

【図4D】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結されている例示的なアーキテクチャを示す。

【図4E】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結されている例示的なアーキテクチャを示す。

【図4F】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結されている例示的なアーキテクチャを示す。

【0009】

【図5】一実施形態による、グラフィック処理パイプラインを示す。

【0010】

【図6】一実施形態による、機械学習ソフトウェアスタックを示す。

【0011】

【図7】一実施形態による、汎用グラフィック処理ユニットを示す。

【0012】

【図8】一実施形態による、マルチＧＰＵコンピューティングシステムを示す。

【0013】

【図9A】例示的なディープニューラルネットワークの層を示す。

【図9B】例示的なディープニューラルネットワークの層を示す。

【0014】

【図10】例示的な再帰型ニューラルネットワークを示す。

【0015】

【図11】ディープニューラルネットワークの訓練及び展開を示す。

【0016】

【図12】分散型学習を示すブロック図である。

【0017】

【図13】訓練されたモデルを使用して推論を実行するのに好適な例示的な推論システムオンチップ（ＳＯＣ）を示す。

【0018】

【図14】一実施形態による、処理システムのブロック図である。

【0019】

【図15A】本明細書で説明される実施形態によって提供されるコンピューティングシステム及びグラフィックプロセッサを示す。

【図15B】本明細書で説明される実施形態によって提供されるコンピューティングシステム及びグラフィックプロセッサを示す。

【図15C】本明細書で説明される実施形態によって提供されるコンピューティングシステム及びグラフィックプロセッサを示す。

【0020】

【図16A】本明細書で説明される実施形態によって提供される追加のグラフィックプロセッサ及び計算アクセラレータアーキテクチャのブロック図を示す。

【図16B】本明細書で説明される実施形態によって提供される追加のグラフィックプロセッサ及び計算アクセラレータアーキテクチャのブロック図を示す。

【図16C】本明細書で説明される実施形態によって提供される追加のグラフィックプロセッサ及び計算アクセラレータアーキテクチャのブロック図を示す。

【0021】

【図17】いくつかの実施形態によるグラフィックプロセッサのグラフィック処理エンジンのブロック図である。

【0022】

【図18A】本明細書で説明される実施形態による、グラフィックプロセッサコアで使用される処理要素の配列を含むスレッド実行ロジックを示す。

【図18B】本明細書で説明される実施形態による、グラフィックプロセッサコアで使用される処理要素の配列を含むスレッド実行ロジックを示す。

【0023】

【図19】一実施形態による、追加の実行ユニットを示す。

【0024】

【図20】いくつかの実施形態によるグラフィックプロセッサ命令フォーマットを示すブロック図である。

【0025】

【図21】別の実施形態によるグラフィックプロセッサのブロック図である。

【0026】

【図22A】いくつかの実施形態による、グラフィックプロセッサコマンドフォーマット及びコマンドシーケンスを示す。

【図22B】いくつかの実施形態による、グラフィックプロセッサコマンドフォーマット及びコマンドシーケンスを示す。

【0027】

【図23】いくつかの実施形態によるデータ処理システムのための例示的なグラフィックソフトウェアアーキテクチャを示す。

【0028】

【図24A】一実施形態による、ＩＰコア開発システムを示すブロック図である。

【0029】

【図24B】本明細書で説明されるいくつかの実施形態による、集積回路パッケージアセンブリの垂直断面図を示す。

【0030】

【図24C】基板（例えば、ベースダイ）に接続されたハードウェアロジックチップレットの複数のユニットを含むパッケージアセンブリを示す。

【0031】

【図24D】一実施形態による、交換可能なチップレットを含むパッケージアセンブリを示す。

【0032】

【図25】一実施形態による、チップ集積回路上の例示的なシステムを示すブロック図である。

【0033】

【図26A】本明細書で説明される実施形態による、ＳｏＣ内で使用するための例示的なグラフィックプロセッサを示すブロック図である。

【図26B】本明細書で説明される実施形態による、ＳｏＣ内で使用するための例示的なグラフィックプロセッサを示すブロック図である。

【0034】

【図27A】一実施形態による、畳み込み層を示す。

【0035】

【図27B】一実施形態による、入力データ及びカーネルに対する畳み込み演算の実行を示す。

【0036】

【図28】一実施形態による、機械学習のための方法を示す。そして

【0037】

【図29】一実施形態による、機械学習のための方法を示す。

【発明を実施するための形態】

【0038】

いくつかの実施形態において、グラフィック処理ユニット（ＧＰＵ）は、グラフィックオペレーション、機械学習オペレーション、パターン分析オペレーション、及び様々な汎用ＧＰＵ（ＧＰＧＰＵ）機能を加速するために、ホスト／プロセッサコアに通信可能に連結される。ＧＰＵは、バス又は別の相互接続（例えば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速相互接続）を介してホストプロセッサ／コアに通信可能に連結され得る。他の実施形態において、ＧＰＵは、コアと同じパッケージ又はチップに統合され、内部プロセッサバス／相互接続（つまり、パッケージ又はチップの内部）を介してコアに通信可能に連結され得る。ＧＰＵの接続方法にかかわらず、プロセッサコアは、作業記述子に含まれるコマンド／命令のシーケンスの形式でＧＰＵに作業を割り当てることが可能になり得る。次に、ＧＰＵは専用の回路／ロジックを使用して、これらのコマンド／命令を効果的に処理する。

【0039】

以下の説明では、より完全な理解を提供するために、多数の具体的な詳細が記載されている。しかし、本明細書に説明された実施形態は、これらの具体的な詳細のうちの１又は複数がなくても実施され得ることが当業者には明らかであろう。他の例において、本実施形態の詳細が曖昧になることを回避ために、既知の特徴は説明されていない。
［システム概要］

【0040】

図１は、本明細書で説明される実施形態の１又は複数の態様を実装するように構成されたコンピューティングシステム１００を示すブロック図である。コンピューティングシステム１００は、１又は複数のプロセッサ１０２を有する処理サブシステム１０１と、メモリハブ１０５を含み得る、相互接続経路を介して通信するシステムメモリ１０４とを含む。メモリハブ１０５は、チップセットコンポーネント内の別個のコンポーネントであり得、又は１又は複数のプロセッサ１０２内に統合され得る。メモリハブ１０５は、通信リンク１０６を介してＩ／Ｏサブシステム１１１と連結する。Ｉ／Ｏサブシステム１１１は、コンピューティングシステム１００が１又は複数の入力デバイス１０８から入力を受信することを可能にすることができるＩ／Ｏハブ１０７を含む。更に、Ｉ／Ｏハブ１０７は、１又は複数のプロセッサ１０２に含まれ得るディスプレイコントローラが１又は複数のディスプレイデバイス１１０Ａに出力を提供することを可能にすることができる。一実施形態において、Ｉ／Ｏハブ１０７に連結された１又は複数のディスプレイデバイス１１０Ａは、ローカル、内蔵型、又は埋め込み型のディスプレイデバイスを含むことができる。

【0041】

一実施形態において、処理サブシステム１０１は、バス又は他の通信リンク１１３を介してメモリハブ１０５に連結された１又は複数の並列プロセッサ１１２を含む。通信リンク１１３は、例えば、限定されることはないがＰＣＩ Ｅｘｐｒｅｓｓなどである任意の数の標準ベースの通信リンク技術又はプロトコルの１つであり得、又はベンダー固有の通信インタフェース又は通信ファブリックであり得る。一実施形態において、１又は複数の並列プロセッサ１１２は、例えば、多くの統合コア（ＭＩＣ）プロセッサなどの多数の処理コア及び／又は処理クラスタを含むことができる計算に焦点を合わせた並列又はベクトル処理システムを形成する。一実施形態において、１又は複数の並列プロセッサ１１２は、Ｉ／Ｏハブ１０７を介して連結された１又は複数のディスプレイデバイス１１０Ａの１つに画素を出力できるグラフィック処理サブシステムを形成する。１又は複数の並列プロセッサ１１２はまた、１又は複数のディスプレイデバイス１１０Ｂへの直接接続を可能にするために、ディスプレイコントローラ及びディスプレイインタフェース（図示せず）を含むことができる。

【0042】

Ｉ／Ｏサブシステム１１１内で、システムストレージユニット１１４は、Ｉ／Ｏハブ１０７に接続して、コンピューティングシステム１００にストレージメカニズムを提供することができる。Ｉ／Ｏスイッチ１１６が、Ｉ／Ｏハブ１０７と、プラットフォーム統合され得るネットワークアダプタ１１８及び／又は無線ネットワークアダプタ１１９、並びに１又は複数のアドインデバイス１２０を介して追加できる様々な他のデバイスなどの他のコンポーネントとの間の接続を可能にするインタフェースメカニズムを提供するのに使用され得る。ネットワークアダプタ１１８は、イーサネット（登録商標）アダプタ又は別の有線ネットワークアダプタとすることができる。無線ネットワークアダプタ１１９は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）、又は１若しくは複数の無線電信機を含む他のネットワークデバイスのうちの１又は複数を含むことができる。

【0043】

コンピューティングシステム１００は、明示的に示されていない他のコンポーネントを含むことができ、ＵＳＢ又は他のポート接続、光ストレージドライブ、ビデオキャプチャデバイスなどを含み、またＩ／Ｏハブ１０７に接続され得る。図１の様々なコンポーネントを相互接続する通信経路は、ＰＣＩ（ペリフェラルコンポーネントインターコネクト）ベースのプロトコル（例えば、ＰＣＩ－Ｅｘｐｒｅｓｓ）などの任意の適切なプロトコル、又はＮＶ－Ｌｉｎｋ高速相互接続などの任意の他のバス若しくはポイントツーポイント通信インタフェース及び／若しくはプロトコル、又は当技術分野で既知の相互接続プロトコル使用して実装されてよい。

【0044】

一実施形態において、１又は複数の並列プロセッサ１１２は、例えば、映像出力回路を含む、グラフィック処理及び映像処理用に最適化された回路を組み込み、グラフィック処理ユニット（ＧＰＵ）を構成する。別の実施形態において、１又は複数の並列プロセッサ１１２は、本明細書でより詳細に説明される、基礎となる計算アーキテクチャを維持しながら、汎用処理用に最適化された回路を組み込む。更に別の実施形態において、コンピューティングシステム１００のコンポーネントは、単一集積回路上に１又は複数の他のシステム要素と統合され得る。例えば、１又は複数の並列プロセッサ１１２、メモリハブ１０５、プロセッサ１０２、及びＩ／Ｏハブ１０７は、システムオンチップ（ＳｏＣ）集積回路に統合されることができる。あるいは、コンピューティングシステム１００のコンポーネントが単一パッケージに統合され、システムインパッケージ（ＳＩＰ）構成を形成することができる。一実施形態において、コンピューティングシステム１００のコンポーネントの少なくとも一部はマルチチップモジュール（ＭＣＭ）に統合されることができ、ＭＣＭは、他のマルチチップモジュールと相互接続されてモジュール式コンピューティングシステムになり得る。

【0045】

本明細書に示されるコンピューティングシステム１００は例示であり、変更及び修正が可能であることが理解されるであろう。ブリッジの数及び配置、プロセッサ１０２の数、及び並列プロセッサ１１２の数を含む接続トポロジは、所望に応じて修正され得る。例えば、いくつかの実施形態において、システムメモリ１０４は、ブリッジを介するのではなく直接プロセッサ１０２に接続され、一方、他のデバイスは、メモリハブ１０５及びプロセッサ１０２を介してシステムメモリ１０４と通信する。他の代替トポロジでは、並列プロセッサ１１２は、メモリハブ１０５ではなく、Ｉ／Ｏハブ１０７に、又は１又は複数のプロセッサ１０２の１つに直接接続される。他の実施形態において、Ｉ／Ｏハブ１０７及びメモリハブ１０５は、単一チップに統合され得る。いくつかの実施形態は、並列プロセッサ１１２の２又はそれより多くのインスタンスと連結することができる複数のソケットを介して取り付けられたプロセッサ１０２の２又はそれより多くのセットを含み得る。

【0046】

本明細書に示される特定のコンポーネントのいくつかは任意選択であり、コンピューティングシステム１００の全ての実装態様に含まれなくてもよい。例えば、任意の数のアドインカード又は周辺機器がサポートされ得るか、又はいくつかのコンポーネントが除去され得る。更に、いくつかのアーキテクチャは、図１に示されているものと類似のコンポーネントに対して異なる用語を使用し得る。例えば、メモリハブ１０５は、いくつかのアーキテクチャではノースブリッジと称される場合があり、一方、Ｉ／Ｏハブ１０７はサウスブリッジと称される場合がある。

【0047】

図２Ａは、一実施形態による、並列プロセッサ２００を示す。並列プロセッサ２００の様々なコンポーネントは、例えば、プログラマブルプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１又は複数の集積回路デバイスを使用して実装され得る。図示の並列プロセッサ２００は、一実施形態による図１に示される１又は複数の並列プロセッサ１１２の変形である。

【0048】

一実施形態において、並列プロセッサ２００は、並列処理ユニット２０２を含む。並列処理ユニットは、並列処理ユニット２０２の他のインスタンスを含む他のデバイスとの通信を可能にするＩ／Ｏユニット２０４を含む。Ｉ／Ｏユニット２０４は、他のデバイスに直接接続され得る。一実施形態において、Ｉ／Ｏユニット２０４は、例えば、メモリハブ１０５などのハブ又はスイッチインタフェースの使用を介して他のデバイスと接続する。メモリハブ１０５とＩ／Ｏユニット２０４との間の接続は、通信リンク１１３を形成する。並列処理ユニット２０２内で、Ｉ／Ｏユニット２０４は、ホストインタフェース２０６及びメモリクロスバー２１６と接続し、ホストインタフェース２０６は、処理オペレーションの実行に関するコマンドを受信し、メモリクロスバー２１６は、メモリ動作の実行に関するコマンドを受信する。

【0049】

ホストインタフェース２０６がＩ／Ｏユニット２０４を介してコマンドバッファを受信する場合、ホストインタフェース２０６は、それらのコマンドを実行するように作業動作をフロントエンド２０８に指示することができる。一実施形態において、フロントエンド２０８は、コマンド又は他の作業項目を処理クラスタ配列２１２に配分するように構成されたスケジューラ２１０と連結する。一実施形態において、スケジューラ２１０は、タスクが処理クラスタ配列２１２の処理クラスタに配分される前に、処理クラスタ配列２１２が適切に構成され、有効な状態であることを保証する。一実施形態において、スケジューラ２１０は、マイクロコントローラ上で実行されるファームウェアロジックを介して実装される。マイクロコントローラに実装されたスケジューラ２１０は、複雑なスケジューリング及び作業配分オペレーションを粗い粒度及び細かい粒度で実行するように構成可能であり、処理配列２１２上で実行されるスレッドの迅速な先取り及びコンテキスト切り替えを可能にする。一実施形態において、ホストソフトウェアは、複数のグラフィック処理ドアベルのうちの１つを介して、処理配列２１２でスケジューリングするためのワークロードを明らかにすることができる。次に、ワークロードは、スケジューラーマイクロコントローラ内のスケジューラ２１０ロジックにより、処理配列２１２全体に自動的に分散され得る。

【0050】

処理クラスタ配列２１２は、「Ｎ」までの処理クラスタ（例えば、クラスタ２１４Ａ、クラスタ２１４Ｂからクラスタ２１４Ｎまで）を含むことができる。処理クラスタ配列２１２の各クラスタ２１４Ａ～２１４Ｎは、多数の同時スレッドを実行することができる。スケジューラ２１０は、様々なスケジューリング及び／又は作業配分アルゴリズムを使用して、処理クラスタ配列２１２のクラスタ２１４Ａ～２１４Ｎに作業を割り当てることができ、これは、プログラム又は演算のタイプ毎に生じるワークロードに応じて変わり得る。スケジューリングは、スケジューラ２１０によって動的に処理されることができ、又は処理クラスタ配列２１２による実行のために構成されたプログラムロジックのコンパイル中にコンパイラロジックによって部分的に支援されることができる。一実施形態において、異なるタイプのプログラムを処理するため、又は異なるタイプの演算を実行するために、処理クラスタ配列２１２の異なるクラスタ２１４Ａ～２１４Ｎは割り当てられることができる。

【0051】

処理クラスタ配列２１２は、様々なタイプの並列処理オペレーションを実行するように構成されることができる。一実施形態において、処理クラスタ配列２１２は、汎用並列計算演算を実行するように構成される。例えば、処理クラスタ配列２１２は、映像データ及び／又は音声データのフィルタリング、物理演算を含むモデル化演算の実行、及びデータ変換の実行を含む処理タスクを実行するロジックを含むことができる。

【0052】

一実施形態において、処理クラスタ配列２１２は、並列グラフィック処理オペレーションを実行するように構成される。並列プロセッサ２００がグラフィック処理オペレーションを実行するように構成されている実施形態において、処理クラスタ配列２１２は、そのようなグラフィック処理オペレーションの実行をサポートする追加のロジックを含むことができ、限定されることはないが、テクスチャオペレーションを実行するためのテクスチャサンプリングロジック、並びにテセレーションロジック及び他の頂点処理ロジックを含む。更に、処理クラスタ配列２１２は、例えば、限定されることはないが頂点シェーダ、テセレーションシェーダ、ジオメトリシェーダ、及び画素シェーダなどのグラフィック処理関連のシェーダプログラムを実行するように構成されることができる。並列処理ユニット２０２は、処理のためにＩ／Ｏユニット２０４を介してシステムメモリからデータを転送することができる。処理の間、転送されたデータは、処理の間にオンチップメモリ（例えば、並列プロセッサメモリ２２２）に格納され、次にシステムメモリに戻って書き込まれることができる。

【0053】

一実施形態において、並列処理ユニット２０２が、グラフィック処理を実行するために使用される場合、スケジューラ２１０は、処理ワークロードをほぼ等しいサイズのタスクに分割するように構成されることができ、処理クラスタ配列２１２の複数のクラスタ２１４Ａ～２１４Ｎへのグラフィック処理オペレーションの配分をより巧みに有効にする。いくつかの実施形態において、処理クラスタ配列２１２の一部は、異なるタイプの処理を実行するように構成されることができる。例えば、第１部分は、頂点シェーディング及びトポロジ生成を実行するように構成され得、第２部分は、テセレーション及びジオメトリシェーディングを実行するように構成され得、第３部分は、画素シェーディング又は他のスクリーン空間動作を実行して、ディスプレイ用にレンダリングされた画像を生成するように構成され得る。クラスタ２１４Ａ～２１４Ｎのうちの１又は複数によって生成された中間データは、バッファに格納されて、中間データが更なる処理のためにクラスタ２１４Ａ～２１４Ｎの間で送信されることを可能にし得る。

【0054】

動作中、処理クラスタ配列２１２は、フロントエンド２０８から処理タスクを規定するコマンドを受信するスケジューラ２１０を介して、実行される処理タスクを受信することができる。グラフィック処理オペレーションの場合、処理タスクは、処理されるデータ、例えば、表面（パッチ）データ、プリミティブデータ、頂点データ、及び／又は画素データのインデックス、並びにどのようにデータが処理されるか（例えば、どのプログラム実行されるか）を規定する状態パラメータ及びコマンドを含み得る。スケジューラ２１０は、タスクに対応するインデックスをフェッチするように構成され得、又はフロントエンド２０８からインデックスを受信し得る。フロントエンド２０８は、受信コマンドバッファ（例えば、バッチバッファ、プッシュバッファなど）によって指定されたワークロードが開始される前に、処理クラスタ配列２１２が有効な状態に構成されることを保証するように構成されることができる。

【0055】

並列処理ユニット２０２の１又は複数のインスタンスの各々は、並列プロセッサメモリ２２２と連結することができる。並列プロセッサメモリ２２２は、処理クラスタ配列２１２及びＩ／Ｏユニット２０４からメモリ要求を受信することができるメモリクロスバー２１６を介してアクセスされることができる。メモリクロスバー２１６は、メモリインタフェース２１８を介して並列プロセッサメモリ２２２にアクセスすることができる。メモリインタフェース２１８は、各々が並列プロセッサメモリ２２２の一部（例えば、メモリユニット）に連結することができる複数のパーティションユニット（例えば、パーティションユニット２２０Ａ、パーティションユニット２２０Ｂからパーティションユニット２２０Ｎまで）を含むことができる。一実装態様では、パーティションユニット２２０Ａ～２２０Ｎの数は、第１パーティションユニット２２０Ａが対応する第１メモリユニット２２４Ａを有し、第２パーティションユニット２２０Ｂが対応するメモリユニット２２４Ｂを有し、第Ｎのパーティションユニット２２０Ｎが、対応する第Ｎのメモリユニット２２４Ｎを有するように、メモリユニットの数と等しくなるように構成される。他の実施形態において、パーティションユニット２２０Ａ～２２０Ｎの数は、メモリデバイスの数と等しくなくてもよい。

【0056】

様々な実施形態において、メモリユニット２２４Ａ～２２４Ｎは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）又は、例えば、グラフィックダブルデータレート（ＧＤＤＲ）メモリを含む同期グラフィックランダムアクセスメモリ（ＳＧＲＡＭ）などグラフィックランダムアクセスメモリを含む様々なタイプのメモリデバイスを含むことができる。一実施形態において、メモリユニット２２４Ａ～２２４Ｎはまた、限定されることはないが、高帯域幅メモリ（ＨＢＭ）を含む３Ｄスタックメモリを含み得る。当業者は、メモリユニット２２４Ａ～２２４Ｎの特定の実装態様が変わることができ、様々な従来の設計のうちの１つから選択されることができることを理解するであろう。例えば、フレームバッファ又はテクスチャマップなどのレンダーターゲットは、メモリユニット２２４Ａ～２２４Ｎにわたって格納され得、パーティションユニット２２０Ａ～２２０Ｎが各レンダーターゲットの一部を並列に書き込み、並列プロセッサメモリ２２２の利用可能な帯域幅を効果的に使用することが可能になる。いくつかの実施形態において、並列プロセッサメモリ２２２のローカルインスタンスは、ローカルキャッシュメモリと併せてシステムメモリを利用する統合メモリ設計を優先して除外され得る。

【0057】

一実施形態において、処理クラスタ配列２１２のクラスタ２１４Ａ～２１４Ｎのいずれか１つは、並列プロセッサメモリ２２２内のメモリユニット２２４Ａ～２２４Ｎのいずれかに書き込まれるであろうデータを処理することができる。メモリクロスバー２１６は、各クラスタ２１４Ａ～２１４Ｎの出力を、任意のパーティションユニット２２０Ａ～２２０Ｎ又は別のクラスタ２１４Ａ～２１４Ｎに転送するように構成されることができ、それは、出力に対して追加の処理オペレーションを実行することができる。各クラスタ２１４Ａ～２１４Ｎは、メモリクロスバー２１６を介してメモリインタフェース２１８と通信して、様々な外部メモリデバイスとの間で読み出し又は書き込みを行うことができる。一実施形態において、メモリクロスバー２１６は、Ｉ／Ｏユニット２０４と通信するためのメモリインタフェース２１８への接続、及び並列プロセッサメモリ２２２のローカルインスタンスへの接続を有し、異なる処理クラスタ２１４Ａ～２１４Ｎ内の処理ユニットが、並列処理ユニット２０２に対してローカルではないシステムメモリ又は他のメモリと通信することが可能になる。一実施形態において、メモリクロスバー２１６は、仮想チャネルを使用して、クラスタ２１４Ａ～２１４Ｎとパーティションユニット２２０Ａ～２２０Ｎとの間のトラフィックストリームを分離することができる。

【0058】

並列処理ユニット２０２の単一インスタンスが並列プロセッサ２００内に示されているが、並列処理ユニット２０２の任意の数のインスタンスが、含まれることができる。例えば、並列処理ユニット２０２の複数のインスタンスが、単一アドインカード上に提供されることができ、又は複数のアドインカードが相互接続されることができる。並列処理ユニット２０２の異なるインスタンスは、異なるインスタンスが異なる数の処理コア、異なる量のローカル並列プロセッサメモリ、及び／又は他の構成の差を有する場合でも相互動作するように構成されることができる。例えば、一実施形態において、並列処理ユニット２０２のいくつかのインスタンスは、他のインスタンスに対してより高い精度の浮動小数点ユニットを含むことができる。並列処理ユニット２０２又は並列プロセッサ２００の１又は複数のインスタンスを組み込んだシステムは、様々な構成及びフォームファクタで実装されることができ、限定されることはないが、デスクトップ、ラップトップ、又はハンドヘルドパーソナルコンピュータ、サーバ、ワークステーション、ゲームコンソール、及び／又は埋め込システムを含む。

【0059】

図２Ｂは、一実施形態による、パーティションユニット２２０のブロック図である。一実施形態において、パーティションユニット２２０は、図２Ａのパーティションユニット２２０Ａ～２２０Ｎのうちの１つのインスタンスである。図示のように、パーティションユニット２２０は、Ｌ２キャッシュ２２１、フレームバッファインタフェース２２５、及びＲＯＰ２２６（ラスタオペレーションユニット）を含む。Ｌ２キャッシュ２２１は、メモリクロスバー２１６及びＲＯＰ２２６から受信したロードオペレーション及びストアオペレーションを実行するように構成された読み出し／書き込みキャッシュである。読み出しミス及び緊急のライトバック要求が、処理のためにＬ２キャッシュ２２１によってフレームバッファインタフェース２２５に出力される。更新も、処理のためにフレームバッファインタフェース２２５を介してフレームバッファに送信されることができる。一実施形態において、フレームバッファインタフェース２２５は、例えば、図２Ａのメモリユニット２２４Ａ～２２４Ｎなどの並列プロセッサメモリ内（例えば、並列プロセッサメモリ２２２内）のメモリユニットの１つとインタフェースする。

【0060】

グラフィックアプリケーションでは、ＲＯＰ ２２６は、例えば、ステンシル、ｚテスト、ブレンドなどのラスタオペレーションを実行する処理ユニットである。次に、ＲＯＰ２２６は、グラフィックメモリに格納されている処理されたグラフィックデータを出力する。いくつかの実施形態において、ＲＯＰ２２６は、メモリに書き込まれるデプス又はカラーデータを圧縮し、メモリから読み出されるデプス又はカラーデータを伸張するための圧縮ロジックを含む。圧縮ロジックは、複数の圧縮アルゴリズムの１又は複数を利用する可逆圧縮ロジックにすることができる。ＲＯＰ２２６によって実行される圧縮のタイプは、圧縮されるデータの統計的特性に基づいて変わることができる。例えば、一実施形態において、差分色圧縮が、タイル毎にデプス及びカラーデータに対して実行される。

【0061】

いくつかの実施形態において、ＲＯＰ２２６は、パーティションユニット２２０内の代わりに、各処理クラスタ（例えば、図２Ａのクラスタ２１４Ａ～２１４Ｎ）内に含まれる。そのような実施形態において、画素データの読み出し及び書き込み要求が、画素フラグメントデータの代わりにメモリクロスバー２１６を介して送信される。処理されたグラフィックデータは、例えば、図１の１又は複数のディスプレイデバイス１１０のうちの１つなどのディスプレイデバイス上に表示され得、プロセッサ１０２による更なる処理のためにルーティングされるか、又は図２Ａの並列プロセッサ２００内の処理エンティティのうちの１つによる更なる処理のためにルーティングされ得る。

【0062】

図２Ｃは、一実施形態による、並列処理ユニット内の処理クラスタ２１４のブロック図である。一実施形態において、処理クラスタは、図２Ａの処理クラスタ２１４Ａ～２１４Ｎのうちの１つのインスタンスである。処理クラスタ２１４は、多くのスレッドを並列に実行するように構成されることができ、「スレッド」という用語は、特定の入力データのセット上で実行される特定のプログラムのインスタンスを指す。いくつかの実施形態において、単一命令複数データ（ＳＩＭＤ）命令発行技術が、複数の独立した命令ユニットを提供することなく、多数のスレッドの並列実行をサポートするのに使用される。他の実施形態において、単一命令複数スレッド（ＳＩＭＴ）技術が、多数の一般に同期されたスレッドの並列実行をサポートするのに使用され、処理クラスタの各々の１つの内部にある処理エンジンのセットに命令を発行するように構成された共通命令ユニットを使用する。通常、全ての処理エンジンが同一の命令を実行するＳＩＭＤ実行方式とは異なり、ＳＩＭＴ実行により、異なるスレッドが所与のスレッドプログラムを介して分岐実行経路をより容易にたどることが可能になる。当業者は、ＳＩＭＤ処理方式がＳＩＭＴ処理方式の機能的サブセットを表すことを理解するであろう。

【0063】

処理クラスタ２１４の動作は、処理タスクをＳＩＭＴ並列プロセッサに配分するパイプラインマネージャ２３２を介して制御されることができる。パイプラインマネージャ２３２は、図２Ａのスケジューラ２１０から命令を受信し、これらの命令の実行をグラフィックマルチプロセッサ２３４及び／又はテクスチャユニット２３６を介して管理する。図示されたグラフィックマルチプロセッサ２３４は、ＳＩＭＴ並列プロセッサの例示的なインスタンスである。しかし、異なるアーキテクチャの様々なタイプのＳＩＭＴ並列プロセッサが、処理クラスタ２１４内に含まれ得る。グラフィックマルチプロセッサ２３４の１又は複数のインスタンスが、処理クラスタ２１４内に含まれることができる。グラフィックマルチプロセッサ２３４はデータを処理することができ、データクロスバー２４０が、処理されたデータを、他のシェーダユニットを含む複数の可能なデスティネーションのうちの１つに配分するのに使用され得る。パイプラインマネージャ２３２は、データクロスバー２４０を介して配分される処理されたデータのデスティネーションを指定することにより、処理されたデータの配分を容易にすることができる。

【0064】

処理クラスタ２１４内の各グラフィックマルチプロセッサ２３４は、機能実行ロジックの同一のセット（例えば、算術論理ユニット、ロードストアユニットなど）を含むことができる。機能実行ロジックは、前の命令が完了する前に新たな命令が、発行されることができるパイプライン方式で構成されることができる。機能実行ロジックは、整数及び浮動小数点演算、比較演算、ブーリアン演算、ビットシフト、様々な代数関数の計算を含む様々な演算をサポートしている。一実施形態において、同じ機能ユニットハードウェアは活用され異なる動作を実行することができ、機能ユニットの任意の組み合わせが存在し得る。

【0065】

処理クラスタ２１４に送信された命令は、スレッドを構成する。並列処理エンジンのセット全体で実行されるスレッドのセットは、スレッドグループである。スレッドグループは、異なる入力データに対して同じプログラムを実行する。スレッドグループ内の各スレッドは、グラフィックマルチプロセッサ２３４内の異なる処理エンジンに割り当てられることができる。スレッドグループは、グラフィックマルチプロセッサ２３４内の処理エンジンの数よりも少ないスレッドを含み得る。スレッドグループが、処理エンジンの数よりも少ないスレッドを含む場合、そのスレッドグループが処理されているサイクル中に、これらの処理エンジンのうちの１又は複数がアイドル状態になり得る。スレッドグループはまた、グラフィックマルチプロセッサ２３４内の処理エンジンの数よりも多くのスレッドを含み得る。スレッドグループがグラフィックマルチプロセッサ２３４内の処理エンジンの数よりも多くのスレッドを含む場合、処理は連続したクロックサイクルにわたって実行されることができる。一実施形態において、複数のスレッドグループが、グラフィックマルチプロセッサ２３４上で同時に実行されることができる。

【0066】

一実施形態において、グラフィックマルチプロセッサ２３４は、ロード及びストアオペレーションを実行するための内部キャッシュメモリを含む。一実施形態において、グラフィックマルチプロセッサ２３４は、内部キャッシュなしで済ませ、処理クラスタ２１４内のキャッシュメモリ（例えば、Ｌ１キャッシュ２４８）を使用することができる。各グラフィックマルチプロセッサ２３４はまた、全ての処理クラスタ２１４間で共有され、スレッド間でデータを転送するために使用され得る、パーティションユニット（例えば、図２Ａのパーティションユニット２２０Ａ～２２０Ｎ）内のＬ２キャッシュへのアクセスを有する。グラフィックマルチプロセッサ２３４はまた、ローカル並列プロセッサメモリ及び／又はシステムメモリのうちの１又は複数を含むことができるオフチップグローバルメモリにアクセスし得る。並列処理ユニット２０２の外部の任意のメモリが、グローバルメモリとして使用され得る。処理クラスタ２１４がグラフィックマルチプロセッサ２３４の複数のインスタンスを含む実施形態は、Ｌ１キャッシュ２４８に格納され得る共通命令及びデータを共有することができる。

【0067】

各処理クラスタ２１４は、仮想アドレスを物理アドレスにマッピングするように構成されたＭＭＵ２４５（メモリ管理ユニット）を含み得る。他の実施形態において、ＭＭＵ２４５の１又は複数のインスタンスが、図２Ａのメモリインタフェース２１８内に存在し得る。ＭＭＵ２４５は、仮想アドレスをタイルの物理アドレス及び任意選択でキャッシュラインインデックスにマッピングするために使用されるページテーブルエントリ（ＰＴＥ）のセットを含む。ＭＭＵ２４５は、グラフィックマルチプロセッサ２３４又はＬ１キャッシュ又は処理クラスタ２１４内に存在し得るアドレス変換ルックアサイドバッファ（ＴＬＢ）又はキャッシュを含み得る。物理アドレスが処理されて、表面データアクセスの局所性が配分され、パーティションユニット間で効率的なリクエストインタリーブを可能にする。キャッシュラインインデックスは、キャッシュラインの要求がヒットか、又はミスかを判断するために使用され得る。

【0068】

グラフィック及びコンピューティングアプリケーションにおいて、処理クラスタ２１４は、テクスチャマッピング動作、例えば、テクスチャサンプル位置の決定、テクスチャデータの読み出し、及びテクスチャデータのフィルタリングを実行するテクスチャユニット２３６に各グラフィックマルチプロセッサ２３４が連結されるように構成され得る。テクスチャデータは、内部テクスチャＬ１キャッシュ（図示せず）から、又はいくつかの実施形態において、グラフィックマルチプロセッサ２３４内のＬ１キャッシュから読み出され、必要に応じて、Ｌ２キャッシュ、ローカル並列プロセッサメモリ、又はシステムメモリからフェッチされる。各グラフィックマルチプロセッサ２３４は、処理されたタスクをデータクロスバー２４０に出力し、処理されたタスクを別の処理クラスタ２１４に提供して更に処理するか、又は処理されたタスクをメモリクロスバー２１６を介してＬ２キャッシュ、ローカル並列プロセッサメモリ、又はシステムメモリに格納する。プリＲＯＰ２４２（プレラスタオペレーションユニット）は、データをグラフィックマルチプロセッサ２３４から受信し、ＲＯＰユニットにデータを向けるように構成され、ＲＯＰユニットは、本明細書で説明されるパーティションユニット（例えば、図２Ａのパーティションユニット２２０Ａ～２２０Ｎ）と共に配置され得る。プリＲＯＰ２４２ユニットは、カラーブレンドの最適化を実行し、画素カラーデータを編成し、アドレス変換を実行できる。

【0069】

本明細書で説明されるコアアーキテクチャは例示であり、変更及び修正が可能であることが理解されるであろう。任意の数の処理ユニット、例えば、グラフィックマルチプロセッサ２３４、テクスチャユニット２３６、プリＲＯＰ２４２などが、処理クラスタ２１４内に含まれ得る。更に、１つの処理クラスタ２１４のみが示されているが、本明細書で説明される並列処理ユニットは、処理クラスタ２１４の任意の数のインスタンスを含み得る。一実施形態において、各処理クラスタ２１４は、別個の異なる処理ユニット、Ｌ１キャッシュなどを使用して、他の処理クラスタ２１４から独立して動作するように構成されることができる。

【0070】

図２Ｄは、一実施形態による、グラフィックマルチプロセッサ２３４を示す。そのような実施形態において、グラフィックマルチプロセッサ２３４は、処理クラスタ２１４のパイプラインマネージャ２３２と連結する。グラフィックマルチプロセッサ２３４は、実行パイプラインを有し、限定されることはないが、命令キャッシュ２５２、命令ユニット２５４、アドレスマッピングユニット２５６、レジスタファイル２５８、１又は複数の汎用グラフィック処理ユニット（ＧＰＧＰＵ）コア２６２、及び１又は複数のロード／ストアユニット２６６を含む。ＧＰＧＰＵコア２６２及びロード／ストアユニット２６６は、メモリ及びキャッシュ相互接続２６８を介して、キャッシュメモリ２７２及び共有メモリ２７０と連結される。一実施形態において、グラフィックマルチプロセッサ２３４は、行列及び／又はレイトレーシングオペレーションを加速するためのハードウェアロジックを含むテンソル及び／又はレイトレーシングコア２６３を更に含む。

【0071】

一実施形態において、命令キャッシュ２５２は、パイプラインマネージャ２３２から実行する命令のストリームを受信する。命令は、命令キャッシュ２５２にキャッシュされ、命令ユニット２５４による実行のためにディスパッチされる。命令ユニット２５４は、スレッドグループ（例えば、ワープ）として命令をディスパッチすることができ、スレッドグループの各スレッドは、ＧＰＧＰＵコア２６２内の異なる実行ユニットに割り当てられる。命令は、統合アドレス空間内のアドレスを指定することにより、ローカル、共有、又はグローバルアドレス空間のいずれかにアクセスできる。アドレスマッピングユニット２５６は、統合アドレス空間内のアドレスを、ロード／ストアユニット２６６がアクセスできる別個のメモリアドレスに変換するのに使用され得る。

【0072】

レジスタファイル２５８は、グラフィックマルチプロセッサ２３４の機能ユニットにレジスタのセットを提供する。レジスタファイル２５８は、オペランドのための一時的なストレージを提供し、グラフィックマルチプロセッサ２３４の機能ユニット（例えば、ＧＰＧＰＵコア２６２、ロード／ストアユニット２６６）のデータ経路に接続される。一実施形態において、レジスタファイル２５８は、各機能ユニットがレジスタファイル２５８の専用部分に割り当てられるように、機能ユニットの各々の間で分割される。一実施形態において、レジスタファイル２５８は、グラフィックマルチプロセッサ２３４によって実行されている異なるワープ間で分割される。

【0073】

ＧＰＧＰＵコア２６２は各々、グラフィックマルチプロセッサ２３４の命令を実行するために使用される浮動小数点ユニット（ＦＰＵ）及び／又は整数算術論理ユニット（ＡＬＵ）を含むことができる。実施形態に従って、ＧＰＧＰＵコア２６２は、アーキテクチャが類似していることができ、又はアーキテクチャが異なることができる。例えば、一実施形態において、ＧＰＧＰＵコア２６２の第１部分は単精度ＦＰＵ及び整数ＡＬＵを含み、一方、ＧＰＧＰＵコアの第２部分は倍精度ＦＰＵを含む。一実施形態において、ＦＰＵは、浮動小数点演算のためのＩＥＥＥ７５４－２００８規格を実装するか、又は可変精度浮動小数点演算を可能にすることができる。グラフィックマルチプロセッサ２３４は更に、例えば、矩形領域コピーオペレーション又は画素ブレンドオペレーションなどの固有の機能を実行するために、１又は複数の固定機能ユニット又は特殊機能ユニットを含むことができる。一実施形態において、ＧＰＧＰＵコアのうちの１又は複数はまた、固定又は特殊機能ロジックを含むことができる。

【0074】

一実施形態において、ＧＰＧＰＵコア２６２は、複数のデータセットに対して単一命令を実行することができるＳＩＭＤロジックを含む。一実施形態において、ＧＰＧＰＵコア２６２は、ＳＩＭＤ４、ＳＩＭＤ８、及びＳＩＭＤ１６命令を物理的に実行し、ＳＩＭＤ１、ＳＩＭＤ２、及びＳＩＭＤ３２命令を論理的に実行することができる。ＧＰＧＰＵコアのＳＩＭＤ命令は、シェーダコンパイラによってコンパイル時に生成されることができるか、又は単一プログラム複数データ（ＳＰＭＤ）又はＳＩＭＴアーキテクチャ用に書き込み及びコンパイルされたプログラムを実行する場合に自動的に生成されることができる。ＳＩＭＴ実行モデル用に構成されたプログラムの複数のスレッドは、単一ＳＩＭＤ命令を介して実行されることができる。例えば、一実施形態において、同じ又は類似のオペレーションを実行する８つのＳＩＭＴスレッドが、単一ＳＩＭＤ８論理ユニットを介して並列に実行されることができる。

【0075】

メモリ及びキャッシュ相互接続２６８は、グラフィックマルチプロセッサ２３４の各機能ユニットをレジスタファイル２５８及び共有メモリ２７０に接続する相互接続ネットワークである。一実施形態において、メモリ及びキャッシュ相互接続２６８は、ロード／ストアユニット２６６が共有メモリ２７０とレジスタファイル２５８との間でロードオペレーション及びストアオペレーションを実施することを可能にするクロスバー相互接続である。レジスタファイル２５８は、ＧＰＧＰＵコア２６２と同じ周波数で動作することができ、従って、ＧＰＧＰＵコア２６２とレジスタファイル２５８との間のデータ転送は、非常に低いレイテンシである。共有メモリ２７０は、グラフィックマルチプロセッサ２３４内の機能ユニット上で実行されるスレッド間の通信を可能にするのに使用され得る。キャッシュメモリ２７２は、データキャッシュとして、例えば、機能ユニットとテクスチャユニット２３６との間で通信されるテクスチャデータをキャッシュするために使用されることができる。共有メモリ２７０はまた、プログラム管理キャッシュとして使用することができる。ＧＰＧＰＵコア２６２上で実行されるスレッドは、キャッシュメモリ２７２内に格納される自動的にキャッシュされたデータに加えて、共有メモリ内にデータをプログラムで格納することができる。

【0076】

図３Ａ～３Ｃは、実施形態による、追加のグラフィックマルチプロセッサを示す。図３Ａ～３Ｂは、図２Ｃのグラフィックマルチプロセッサ２３４の変形であるグラフィックマルチプロセッサ３２５、３５０を示す。図３Ｃは、マルチコアグループ３６５Ａ～３６５Ｎに配置されたグラフィック処理リソースの専用セットを含むグラフィック処理ユニット（ＧＰＵ）３８０を示す。図示されたグラフィックマルチプロセッサ３２５、３５０及びマルチコアグループ３６５Ａ～３６５Ｎは、多数の実行スレッドを同時実行できるストリーミングマルチプロセッサ（ＳＭ）とすることができる。

【0077】

図３Ａは、追加の実施形態によるグラフィックマルチプロセッサ３２５を示す。グラフィックマルチプロセッサ３２５は、図２Ｄのグラフィックマルチプロセッサ２３４に対して実行リソースユニットの複数の追加インスタンスを含む。例えば、グラフィックマルチプロセッサ３２５は、命令ユニット３３２Ａ～３３２Ｂ、レジスタファイル３３４Ａ～３３４Ｂ、及びテクスチャユニット３４４Ａ～３４４Ｂの複数のインスタンスを含むことができる。グラフィックマルチプロセッサ３２５はまた、グラフィック又は計算実行ユニットの複数のセット（例えば、ＧＰＧＰＵコア３３６Ａ～３３６Ｂ、テンソルコア３３７Ａ～３３７Ｂ、レイトレーシングコア３３８Ａ～３３８Ｂ）及びロード／ストアユニット３４０Ａ～３４０Ｂの複数のセットを含む。一実施形態において、実行リソースユニットは、共通命令キャッシュ３３０、テクスチャ及び／又はデータキャッシュメモリ３４２、及び共有メモリ３４６を有する。

【0078】

様々なコンポーネントは、相互接続ファブリック３２７を介して通信することができる。一実施形態において、相互接続ファブリック３２７は、グラフィックマルチプロセッサ３２５の様々なコンポーネント間の通信を可能にする１又は複数のクロスバースイッチを含む。一実施形態において、相互接続ファブリック３２７は、グラフィックマルチプロセッサ３２５の各コンポーネントがスタックされる別個の高速ネットワークファブリック層である。グラフィックマルチプロセッサ３２５のコンポーネントは、相互接続ファブリック３２７を介してリモートコンポーネントと通信する。例えば、ＧＰＧＰＵコア３３６Ａ～３３６Ｂ、３３７Ａ～３３７Ｂ、及び３３８Ａ～３３８Ｂは各々、相互接続ファブリック３２７を介して共有メモリ３４６と通信することができる。相互接続ファブリック３２７は、グラフィックマルチプロセッサ３２５内の通信を調停して、コンポーネント間の公平な帯域幅割り当てを保証することができる。

【0079】

図３Ｂは、追加の実施形態によるグラフィックマルチプロセッサ３５０を示す。グラフィックプロセッサは、複数の実行リソースのセット３５６Ａ～３５６Ｄを含み、実行リソースの各セットは、図２Ｄ及び図３Ａに示されるように、複数の命令ユニット、レジスタファイル、ＧＰＧＰＵコア、及びロードストアユニットを含む。実行リソース３５６Ａ～３５６Ｄは、命令キャッシュ３５４及び共有メモリ３５３を共有しながら、テクスチャユニット３６０Ａ～３６０Ｄと連携してテクスチャオペレーションを行うことができる。一実施形態において、実行リソース３５６Ａ～３５６Ｄは、命令キャッシュ３５４及び共有メモリ３５３、並びにテクスチャ及び／又はデータキャッシュメモリ３５８Ａ～３５８Ｂの複数のインスタンスを共有することができる。様々なコンポーネントは、図３Ａの相互接続ファブリック３２７と類似の相互接続ファブリック３５２を介して通信することができる。

【0080】

当業者は、図１、２Ａ～２Ｄ、及び３Ａ～３Ｂに説明されたアーキテクチャは説明的なものであり、本実施形態の範囲について限定するものではないことを理解するであろう。従って、本明細書で説明される技術は、本明細書に説明される実施形態の範囲から逸脱することなく、限定されることはないが、１又は複数のモバイルアプリケーションプロセッサ、マルチコアＣＰＵを含む１又は複数のデスクトップ又はサーバの中央処理ユニット（ＣＰＵ）、図２Ａの並列処理ユニット２０２などの１又は複数の並列処理ユニット、及び１又は複数のグラフィックプロセッサ若しくは専用処理ユニットを含む、任意の適切に構成された処理ユニット上で実装され得る。

【0081】

いくつかの実施形態において、本明細書に説明される並列プロセッサ又はＧＰＧＰＵは、グラフィックオペレーション、機械学習オペレーション、パターン分析オペレーション、及び様々な汎用ＧＰＵ（ＧＰＧＰＵ）機能を加速するためにホスト／プロセッサコアに通信可能に連結される。ＧＰＵは、バス又は他の相互接続（例えば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速相互接続）を介してホストプロセッサ／コアに通信可能に連結され得る。他の実施形態において、ＧＰＵは、コアと同じパッケージ又はチップに統合され、内部プロセッサバス／相互接続（つまり、パッケージ又はチップの内部）を介してコアに通信可能に連結され得る。ＧＰＵの接続方法にかかわらず、プロセッサコアは、作業記述子に含まれるコマンド／命令のシーケンスの形式でＧＰＵに作業を割り当て得る。次に、ＧＰＵは専用の回路／ロジックを使用して、これらのコマンド／命令を効果的に処理する。

【0082】

図３Ｃは、マルチコアグループ３６５Ａ～Ｎに配置されたグラフィック処理リソースの専用セットを含むグラフィック処理ユニット（ＧＰＵ）３８０を示す。単一マルチコアグループ３６５Ａのみの詳細が提供されているが、その他のマルチコアグループ３６５Ｂ～３６５Ｎは、グラフィック処理リソースの同じ又は類似のセットを備え得ることが理解されるであろう。

【0083】

図示されるように、マルチコアグループ３６５Ａは、グラフィックコア３７０のセット、テンソルコア３７１のセット、及びレイトレーシングコア３７２のセットを含み得る。スケジューラ／ディスパッチャ３６８は、様々なコア３７０、３７１、３７２上で実行するためにグラフィックスレッドをスケジュールしてディスパッチする。レジスタファイル３６９のセットは、グラフィックスレッドを実行する場合にコア３７０、３７１、３７２によって使用されるオペランド値を格納する。これらは、例えば、整数値を格納するための整数レジスタ、浮動小数点値を格納するための浮動小数点レジスタ、パックドデータ要素（整数及び／又は浮動小数点データ要素）を格納するためのベクトルレジスタ、テンソル／行列値を格納するためのタイルレジスタを含み得る。一実施形態において、タイルレジスタは、ベクトルレジスタの複合セットとして実装される。

【0084】

１又は複数の複合レベル１（Ｌ１）キャッシュ及び共有メモリユニット３７３は、例えば、各マルチコアグループ３６５Ａ内にローカル的に、テクスチャデータ、頂点データ、画素データ、レイデータ、境界ボリュームデータなどのグラフィックデータを格納する。１又は複数のテクスチャユニット３７４も、テクスチャマッピング及びサンプリングなどのテクスチャリングオペレーションを実行するために使用され得る。マルチコアグループ３６５Ａ～３６５Ｎの全て又はサブセットによって共有されるレベル２（Ｌ２）キャッシュ３７５は、複数の同時グラフィックスレッドのためのグラフィックデータ及び／又は命令を格納する。図示されるように、Ｌ２キャッシュ３７５は、複数のマルチコアグループ３６５Ａ～３６５Ｎにわたって共有され得る。１又は複数のメモリコントローラ３６７は、ＧＰＵ３８０を、システムメモリ（例えば、ＤＲＡＭ）及び／又は専用グラフィックメモリ（例えば、ＧＤＤＲ６メモリ）であり得るメモリ３６６に連結する。

【0085】

入力／出力（Ｉ／Ｏ）回路３６３は、ＧＰＵ３８０を、例えば、デジタル信号プロセッサ（ＤＳＰ）、ネットワークコントローラ、又はユーザ入力デバイスなどの１又は複数のＩ／Ｏデバイス３６２に連結する。オンチップ相互接続が、Ｉ／Ｏデバイス３６２をＧＰＵ３８０及びメモリ３６６に連結するために使用され得る。Ｉ／Ｏ回路３６３の１又は複数のＩ／Ｏメモリ管理ユニット（ＩＯＭＭＵ）３６４が、Ｉ／Ｏデバイス３６２をシステムメモリ３６６に直接連結する。一実施形態において、ＩＯＭＭＵ３６４は、仮想アドレスをシステムメモリ３６６内の物理アドレスにマッピングするために、ページテーブルの複数のセットを管理する。本実施形態において、Ｉ／Ｏデバイス３６２、ＣＰＵ３６１、及びＧＰＵ３８０は、同じ仮想アドレス空間を共有し得る。

【0086】

一実装態様では、ＩＯＭＭＵ３６４は仮想化をサポートする。この場合、ＩＯＭＭＵ３６４は、ゲスト／グラフィック仮想アドレスをゲスト／グラフィック物理アドレスにマッピングするために、ページテーブルの第１セットを管理し得、ゲスト／グラフィック物理アドレスをシステム／ホスト物理アドレス（例えば、システムメモリ３６６内）にマッピングするために、第２ページテーブルのセットを管理し得る。ページテーブルの第１及び第２セットの各々のベースアドレスは、制御レジスタに格納され、コンテキストスイッチでスワップアウトされ得る（例えば、これにより新たなコンテキストに、関連するページテーブルのセットへのアクセスが提供される）。図３Ｃに図示されていないが、コア３７０、３７１、３７２及び／又はマルチコアグループ３６５Ａ～３６５Ｎの各々は、変換ルックアサイドバッファ（ＴＬＢ）を含み得、ゲスト仮想からゲスト物理への変換、ゲスト物理からホスト物理への変換、ゲスト仮想からホスト物理への変換をキャッシュする。

【0087】

一実施形態において、ＣＰＵ３６１、ＧＰＵ３８０、及びＩ／Ｏデバイス３６２は、単一半導体チップ及び／又はチップパッケージに統合される。図示されたメモリ３６６は、同じチップ上に統合され得、又はオフチップインタフェースを介してメモリコントローラ３６７に連結され得る。一実装態様では、メモリ３６６は、他の物理システムレベルのメモリと同じ仮想アドレス空間を共有するＧＤＤＲ６メモリを含むが、本発明の基礎となる原理は、この特定の実装態様に限定されることはない。

【0088】

一実施形態において、テンソルコア３７１は、深層学習オペレーションを実行するために使用される基本的な計算演算である行列演算を実行するように特に設計された複数の実行ユニットを含む。例えば、同時行列乗算演算は、ニューラルネットワークの訓練及び推論に使用され得る。テンソルコア３７１は、単精度浮動小数点（例えば、３２ビット）、半精度浮動小数点（例えば、１６ビット）、整数ワード（１６ビット）、バイト（８ビット）、及びハーフバイト（４ビット）を含む様々なオペランド精度を使用して行列処理を実行し得る。一実施形態において、ニューラルネットワークの実装態様が、レンダリングされた各シーンの特徴を抽出し、場合によっては複数のフレームからの詳細を組み合わせて、高品質の最終的な画像を構築する。

【0089】

深層学習の実装態様では、テンソルコア３７１での実行のために並列行列乗算作業がスケジューリングされ得る。特に、ニューラルネットワークの訓練には、かなりの数の行列ドット積演算が必要である。Ｎ×Ｎ×Ｎ行列乗算の内積定式化を処理するために、テンソルコア３７１は、少なくともＮ個のドット積処理要素を含み得る。行列乗算が始まる前に、１つの行列全体がタイルレジスタにロードされ、第２行列の少なくとも１つの列がＮサイクルのサイクル毎にロードされる。各サイクルには、処理されたＮ個のドット積がある。

【0090】

行列要素は、１６ビットワード、８ビットバイト（例えば、ＩＮＴ８）及び４ビットハーフバイト（例えば、ＩＮＴ４）を含む特定の実装態様に応じて異なる精度で格納され得る。テンソルコア３７１に異なる精度モードが指定され得、異なるワークロード（例えば、バイト及びハーフバイトへの量子化を許容できるワークロードの推論など）に最も効率的な精度が使用されるように保証する。

【0091】

一実施形態において、レイトレーシングコア３７２は、リアルタイムレイトレーシング及び非リアルタイムレイトレーシングの実装態様の両方についてレイトレーシングオペレーションを加速する。特に、レイトレーシングコア３７２は、境界ボリューム階層（ＢＶＨ）を使用してレイトラバーサルを実行し、レイとＢＶＨボリューム内に囲まれたプリミティブとの間の交差を識別するためのレイトラバーサル／交差回路を含む。レイトレーシングコア３７２はまた、デプステスト及びカリングを実行するための回路を含み得る（例えば、Ｚバッファ又は類似の配置を使用して）。一実装態様では、レイトレーシングコア３７２は、本明細書で説明される画像ノイズ除去技術と連携してトラバーサル及び交差オペレーションを実行し、その少なくとも一部がテンソルコア３７１上で実行され得る。例えば、一実施形態において、テンソルコア３７１は、レイトレーシングコア３７２によって生成されたフレームのノイズ除去を実行するために、深層学習ニューラルネットワークを実装する。しかし、ＣＰＵ３６１、グラフィックコア３７０、及び／又はレイトレーシングコア３７２はまた、ノイズ除去及び／又は深層学習アルゴリズムの全て又は一部を実装し得る。

【0092】

更に、上記のように、ノイズ除去への分散型アプローチが使用され得、そのアプローチでは、ＧＰＵ３８０がネットワーク又は高速相互接続を介して他のコンピューティングデバイスに連結されたコンピューティングデバイス内にある。本実施形態において、相互接続されたコンピューティングデバイスは、ニューラルネットワーク学習／訓練データを共有して、システム全体が学習する速度を改善し、異なるタイプの画像フレーム及び／又は異なるグラフィックアプリケーションのノイズ除去を実行する。

【0093】

一実施形態において、レイトレーシングコア３７２は、全てのＢＶＨトラバーサル及びレイ－プリミティブ間交差を処理し、グラフィックコア３７０がレイ毎に数千の命令で過負荷になるのを防ぐ。一実施形態において、各レイトレーシングコア３７２は、境界ボックステスト（例えば、トラバーサルオペレーションの場合）を実行するための専用回路の第１セットと、レイ－三角形間交差テスト（例えば、トラバースされた交差レイ）を実行するための専用回路の第２セットとを含む。従って、一実施形態において、マルチコアグループ３６５Ａは、レイプローブを単に起動することができ、レイトレーシングコア３７２は、独立してレイトラバーサル及び交差を実行し、ヒットデータ（例えば、ヒット、ヒットなし、複数のヒットなど）をスレッドコンテキストに戻す。他のコア３７０、３７１は、レイトレーシングコア３７２がトラバーサルオペレーション及び交差オペレーションを実行する間、他のグラフィック作業又は計算作業を実行するために解放される。

【0094】

一実施形態において、各レイトレーシングコア３７２は、ＢＶＨテストオペレーションを実行するトラバーサルユニットと、レイ－プリミティブ間交差テストを実行する交差ユニットとを含む。交差ユニットは、「ヒット」、「ヒットなし」、又は「複数ヒット」応答を生成し、適切なスレッドに提供する。トラバーサルオペレーション及び交差オペレーション中に、他のコア（例えば、グラフィックコア３７０及びテンソルコア３７１）の実行リソースは、他の形式のグラフィックワークを実行するために解放される。

【0095】

以下に説明される１つの特定の実施形態において、グラフィックコア３７０とレイトレーシングコア３７２との間で作業が配分されるハイブリッドラスタライズ／レイトレーシングアプローチが使用される。

【0096】

一実施形態において、レイトレーシングコア３７２（及び／又は他のコア３７０、３７１）は、例えば、ＤｉｓｐａｔｃｈＲａｙｓコマンド、並びにｒａｙ－ｇｅｎｅｒａｔｉｏｎシェーダ、ｃｌｏｓｅｓｔ－ｈｉｔシェーダ、ａｎｙ－ｈｉｔシェーダ、及びｍｉｓｓシェーダを含むＭｉｃｒｏｓｏｆｔのＤｉｒｅｃｔＸ Ｒａｙ Ｔｒａｃｉｎｇ（ＤＸＲ）などのレイトレーシング命令セットのハードウェアサポートを含み、これにより、オブジェクト毎にシェーダ及びテクスチャの一意のセットの割り当てを有効にする。レイトレーシングコア３７２、グラフィックコア３７０及びテンソルコア３７１でサポートされ得る別のレイトレーシングプラットフォームは、Ｖｕｌｋａｎ１．１．８５である。しかし、本発明の基礎となる原理は、任意の特定のレイトレーシングＩＳＡに限定されることはないことに留意されたい。

【0097】

一般に、様々なコア３７２、３７１、３７０は、レイトレーシング命令セットをサポートし得、これには、ｒａｙ ｇｅｎｅｒａｔｉｏｎ、ｃｌｏｓｅｓｔ ｈｉｔ、ａｎｙ ｈｉｔ、ｒａｙ－ｐｒｉｍｉｔｉｖｅ ｉｎｔｅｒｓｅｃｔｉｏｎ、ｐｅｒ－ｐｒｉｍｉｔｉｖｅ ａｎｄ ｈｉｅｒａｒｃｈｉｃａｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｃｏｎｓｔｒｕｃｔｉｏｎ、ｍｉｓｓ、ｖｉｓｉｔ、及びｅｘｃｅｐｔｉｏｎｓに関する命令／関数が含まれる。より具体的には、一実施形態は、以下の機能を実行するためのレイトレーシング命令を含む。

【0098】

Ｒａｙ Ｇｅｎｅｒａｔｉｏｎ：Ｒａｙ Ｇｅｎｅｒａｔｉｏｎ命令は、画素、サンプル、又は他のユーザ定義型作業割り当て毎に実行され得る。

【0099】

Ｃｌｏｓｅｓｔ Ｈｉｔ：Ｃｌｏｓｅｓｔ Ｈｉｔ命令は、シーン内のプリミティブとレイの最も近い交点を見つけるために実行され得る。

【0100】

Ａｎｙ Ｈｉｔ：Ａｎｙ Ｈｉｔ命令は、レイとシーン内のプリミティブとの間の複数の交差を識別し、新たな最も近い交点を識別する可能性がある。

【0101】

Ｉｎｔｅｒｓｅｃｔｉｏｎ：Ｉｎｔｅｒｓｅｃｔｉｏｎ命令は、レイ－プリミティブ間交差テストを実行し、結果を出力する。

【0102】

Ｐｅｒ－ｐｒｉｍｉｔｉｖｅ Ｂｏｕｎｄｉｎｇ ｂｏｘ Ｃｏｎｓｔｒｕｃｔｉｏｎ：この命令は、所与のプリミティブ又はプリミティブのグループの周囲に境界ボックスを構築する（例えば、新たなＢＶＨ又は他のアクセラレーションデータ構造を構築する場合）。

【0103】

Ｍｉｓｓ：レイがシーン内又はシーンの指定された領域内の全てのジオメトリ、を欠落していることを示す。

【0104】

Ｖｉｓｉｔ：レイがトラバースするであろう子ボリュームを示す。

【0105】

Ｅｘｃｅｐｔｉｏｎｓ：様々なタイプの例外ハンドラが含まれる（例えば、様々なエラー条件に対して呼び出される）。
ＧＰＵからホストプロセッサへの相互接続の技術

【0106】

図４Ａは、複数のＧＰＵ４１０～４１３が高速リンク４４０Ａ～４４０Ｄ（例えば、バス、ポイントツーポイント相互接続など）を介して複数のマルチコアプロセッサ４０５～４０６に通信可能に連結される例示的なアーキテクチャを示す。一実施形態において、高速リンク４４０Ａ～４４０Ｄは、実装態様に応じて、４ＧＢ／秒、３０ＧＢ／秒、８０ＧＢ／秒又はより高い通信スループットをサポートする。限定されることはないがＰＣＩｅ４．０又は５．０、及びＮＶＬｉｎｋ２．０を含む様々な相互接続プロトコルが使用され得る。しかし、本発明の基礎となる原理は、任意の特定の通信プロトコル又はスループットに限定されることはない。

【0107】

更に、一実施形態において、ＧＰＵ４１０～４１３のうちの２又はそれより多くが、高速リンク４４０Ａ～４４０Ｄに使用されるものと同一又は異なるプロトコル／リンクを使用して実装され得る高速リンク４４２Ａ～４４２Ｂを介して相互接続される。同様に、マルチコアプロセッサ４０５～４０６のうちの２又はそれより多くが、２０ＧＢ／秒、３０ＧＢ／秒、１２０ＧＢ／秒又はより高速で動作する対称マルチプロセッサ（ＳＭＰ）バスであり得る高速リンク４４３を介して接続され得る。あるいは、図４Ａに示される様々なシステムコンポーネント間の全ての通信は、同じプロトコル／リンクを使用して（例えば、共通の相互接続ファブリックを介して）実現され得る。しかし、すでに述べたように、本発明の基礎となる原理は、任意の特定のタイプの相互接続技術に限定されることはない。

【0108】

一実施形態において、各マルチコアプロセッサ４０５～４０６は、それぞれメモリ相互接続４３０Ａ～４３０Ｂを介して、プロセッサメモリ４０１～４０２に通信可能に連結され、各ＧＰＵ４１０～４１３は、それぞれＧＰＵメモリ相互接続４５０Ａ～４５０Ｄを介してＧＰＵメモリ４２０～４２３に通信可能に連結される。メモリ相互接続４３０Ａ～４３０Ｂ及び４５０Ａ～４５０Ｄは、同一又は異なるメモリアクセス技術を利用し得る。限定ではなく例として、プロセッサメモリ４０１～４０２及びＧＰＵメモリ４２０～４２３は、例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（スタックドＤＲＡＭを含む）、グラフィックＤＤＲ ＳＤＲＡＭ（ＧＤＤＲ）（例えば、ＧＤＤＲ５、ＧＤＤＲ６）、又は高帯域幅メモリ（ＨＢＭ）などの揮発性メモリであり得、及び／又は例えば、３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであり得る。一実施形態において、メモリのある部分が揮発性メモリであり得、別の部分が不揮発性メモリであり得る（例えば、２レベルメモリ（２ＬＭ）階層を使用する）。

【0109】

以下に説明されるように、様々なプロセッサ４０５～４０６及びＧＰＵ４１０～４１３が、特定のメモリ４０１～４０２、４２０～４２３にそれぞれ物理的に連結され得るが、同じ仮想システムアドレス空間（また「実効アドレス」空間と称される）が様々な物理メモリ全てに配分される統合メモリアーキテクチャが実装され得る。例えば、プロセッサメモリ４０１～４０２は各々６４ＧＢのシステムメモリアドレス空間を含み得、ＧＰＵメモリ４２０～４２３は各々３２ＧＢのシステムメモリアドレス空間を含み得る（この例において合計２５６ＧＢのアドレス指定可能メモリをもたらす）。

【0110】

図４Ｂは、一実施形態による、マルチコアプロセッサ４０７とグラフィックアクセラレーションモジュール４４６との間の相互接続のさらなる詳細を示す。グラフィックアクセラレーションモジュール４４６は、高速リンク４４０を介してプロセッサ４０７に連結されたラインカードに統合された１又は複数のＧＰＵチップを含み得る。あるいは、グラフィックアクセラレーションモジュール４４６は、プロセッサ４０７と同じパッケージ又はチップ上に統合され得る。

【0111】

図示されたプロセッサ４０７は複数のコア４６０Ａ～４６０Ｄを含み、各々が変換ルックアサイドバッファ４６１Ａ～４６１Ｄ及び１又は複数のキャッシュ４６２Ａ～４６２Ｄを有する。コアは、命令を実行してデータを処理するための様々な他のコンポーネント（例えば、命令フェッチユニット、分岐予測ユニット、デコーダ、実行ユニット、リオーダバッファなど）を含んでよく、これらのコンポーネントは、本発明の基礎となる原理を曖昧になることを回避するために図示されていない。キャッシュ４６２Ａ～４６２Ｄは、レベル１（Ｌ１）及びレベル２（Ｌ２）キャッシュを含み得る。更に、１又は複数の共有キャッシュ４５６がキャッシング階層に含まれ、コア４６０Ａ～４６０Ｄのセットによって共有され得る。例えば、プロセッサ４０７の一実施形態は２４個のコアを含み、各々が独自のＬ１キャッシュ、１２個の共有Ｌ２キャッシュ、及び１２個の共有Ｌ３キャッシュを有する。本実施形態において、Ｌ２及びＬ３キャッシュのうちの１つは、２つの隣接するコアによって共有される。プロセッサ４０７及びグラフィックアクセラレータ集積モジュール４４６は、プロセッサメモリ４０１～４０２を含み得るシステムメモリ４４１と接続する。

【0112】

コヒーレンシが、コヒーレンスバス４６４を通じたコア間通信を介して、様々なキャッシュ４６２Ａ～４６２Ｄ、４５６及びシステムメモリ４４１に格納されたデータ及び命令に対して維持される。例えば、特定のキャッシュラインに対して検出された読み出し又は書き込みに応答して、コヒーレンスバス４６４を介して通信するために、各キャッシュは、各キャッシュに関連付けられたキャッシュコヒーレンシロジック／回路を有し得る。一実装態様では、キャッシュアクセスをスヌープするために、コヒーレンスバス４６４を介してキャッシュスヌーピングプロトコルが実装される。キャッシュスヌーピング／コヒーレンシ技術は当業者にはよく理解されており、本発明の基礎となる原理が曖昧になることを回避するためにここでは詳細に説明されないであろう。

【0113】

一実施形態において、プロキシ回路４２５が、グラフィックアクセラレーションモジュール４４６をコヒーレンスバス４６４に通信可能に連結し、グラフィックアクセラレーションモジュール４４６がコアのピアとしてキャッシュコヒーレンスプロトコルに加わることを可能にする。特に、インタフェース４３５が、高速リンク４４０（例えば、ＰＣＩｅバス、ＮＶＬｉｎｋなど）を介してプロキシ回路４２５に接続性を提供し、インタフェース４３７は、グラフィックアクセラレーションモジュール４４６を高速リンク４４０に接続する。

【0114】

一実装態様では、アクセラレータ集積回路４３６が、グラフィックアクセラレーションモジュール４４６の複数のグラフィック処理エンジン４３１、４３２、Ｎの代わりに、キャッシュ管理、メモリアクセス、コンテキスト管理、及び割り込み管理サービスを提供する。グラフィック処理エンジン４３１、４３２、Ｎは各々、別個のグラフィック処理ユニット（ＧＰＵ）を含み得る。あるいは、グラフィック処理エンジン４３１、４３２、Ｎは、例えば、グラフィック実行ユニット、メディア処理エンジン（例えば、ビデオエンコーダ／デコーダ）、サンプラ、及びブリットエンジンなどのＧＰＵ内の異なるタイプのグラフィック処理エンジンを含み得る。言い換えれば、グラフィックアクセラレーションモジュールは、複数のグラフィック処理エンジン４３１～４３２、Ｎを備えたＧＰＵであり得、又はグラフィック処理エンジン４３１～４３２、Ｎは、共通のパッケージ、ラインカード、又はチップ上に統合された個別のＧＰＵであり得る。

【0115】

一実施形態において、アクセラレータ集積回路４３６は、仮想メモリから物理メモリへの変換（また実効メモリから実メモリへの変換と称される）などの様々なメモリ管理機能を実行するためのメモリ管理ユニット（ＭＭＵ）４３９、及びシステムメモリ４４１にアクセスするためのメモリアクセスプロトコルを含む。ＭＭＵ４３９はまた、仮想／実効アドレスから物理アドレス／実アドレスへの変換をキャッシュするための変換ルックアサイドバッファ（ＴＬＢ）（図示せず）を含み得る。一実装態様では、キャッシュ４３８が、グラフィック処理エンジン４３１～４３２、Ｎによる効率的なアクセスのためのコマンド及びデータを格納する。一実施形態において、キャッシュ４３８及びグラフィックメモリ４３３～４３４、Ｍに格納されたデータは、コアキャッシュ４６２Ａ～４６２Ｄ、４５６及びシステムメモリ４１１とコヒーレントに維持される。すでに述べたように、これは、キャッシュ４３８及びメモリ４３３～４３４、Ｍの代わりにキャッシュコヒーレンシメカニズムに加わるプロキシ回路４２５を介して実現され得る（例えば、プロセッサキャッシュ４６２Ａ～４６２Ｄ、４５６上のキャッシュラインの修正／アクセスに関連するキャッシュ４３８に更新を送信し、キャッシュ４３８から更新を受信する）。

【0116】

レジスタのセット４４５が、グラフィック処理エンジン４３１～４３２、Ｎによって実行されるスレッド用のコンテキストデータを格納し、コンテキスト管理回路４４８が、スレッドコンテキストを管理する。例えば、コンテキスト管理回路４４８は、コンテキストの切り替え中に様々なスレッドのコンテキストを保存及び復元するために、保存及び復元オペレーションを実行し得る（例えば、第１スレッドが保存され、第２スレッドが格納され、これにより第２スレッドはグラフィック処理エンジンにより実行されることができる）。例えば、コンテキストスイッチでは、コンテキスト管理回路４４８は、現在のレジスタ値を（例えば、コンテキストポインタによって識別される）メモリ内の指定された領域に格納し得る。次に、コンテキストに戻る場合にレジスタ値を復元し得る。一実施形態において、割り込み管理回路４４７が、システムデバイスから受信された割り込みを受信して処理する。

【0117】

一実装態様では、グラフィック処理エンジン４３１からの仮想／実効アドレスは、ＭＭＵ４３９によってシステムメモリ４１１内の実／物理アドレスに変換される。アクセラレータ集積回路４３６の一実施形態は、複数（例えば、４個、８個、１６個）のグラフィックアクセラレータモジュール４４６及び／又はその他のアクセラレータデバイスをサポートする。グラフィックアクセラレータモジュール４４６は、プロセッサ４０７上で実行される単一アプリケーションに専用であり得、又は複数のアプリケーション間で共有され得る。一実施形態において、グラフィック処理エンジン４３１～４３２、Ｎのリソースが複数のアプリケーション又は仮想マシン（ＶＭ）と共有される仮想化グラフィック実行環境が提示される。リソースは「スライス」に細分化されてよく、これらのスライスは、ＶＭ及び／又はアプリケーションに関連付けられた処理要件及び優先順位に基づいて、異なるＶＭ及び／又はアプリケーションに割り当てられる。

【0118】

従って、アクセラレータ集積回路は、グラフィックアクセラレーションモジュール４４６のシステムへのブリッジとしての機能を果たし、アドレス変換及びシステムメモリキャッシュサービスを提供する。更に、アクセラレータ集積回路４３６は、グラフィック処理エンジン、割り込み、及びメモリ管理の仮想化を管理するためにホストプロセッサに仮想化機能を提供し得る。

【0119】

グラフィック処理エンジン４３１～４３２、Ｎのハードウェアリソースが、ホストプロセッサ４０７によって見られる実アドレス空間に明示的にマッピングされるため、任意のホストプロセッサは、実効アドレス値を使用してこれらのリソースを直接アドレス指定できる。一実施形態において、アクセラレータ集積回路４３６の１つの機能が、グラフィック処理エンジン４３１～４３２、Ｎの物理的分離であり、これにより、それらのグラフィック処理エンジンは、独立したユニットとしてシステムに現れる。

【0120】

すでに述べたように、図示された実施形態において、１又は複数のグラフィックメモリ４３３～４３４、Ｍが、それぞれグラフィック処理エンジン４３１～４３２、Ｎの各々に連結される。グラフィックメモリ４３３～４３４、Ｍは、グラフィック処理エンジン４３１～４３２、Ｎの各々によって処理されている命令及びデータを格納する。グラフィックメモリ４３３～４３４、Ｍは、例えば、ＤＲＡＭ（スタックドＤＲＡＭを含む）、ＧＤＤＲメモリ（例えば、ＧＤＤＲ５、ＧＤＤＲ６）、又はＨＢＭなどの揮発性メモリであり得、及び／又は例えば、３Ｄ ＸＰｏｉｎｔ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであり得る。

【0121】

一実施形態において、高速リンク４４０を介したデータトラフィックを低減するために、バイアス技術が、グラフィックメモリ４３３～４３４、Ｍに格納されるデータが、グラフィック処理エンジン４３１～４３２、Ｎによって最も頻繁に使用され、且つ好ましくはコア４６０Ａ～４６０Ｄによって使用されない（少なくとも頻繁に使用されない）であろうデータであることを保証するのに使用される。同様に、バイアスメカニズムは、コアのキャッシュ４６２Ａ～４６２Ｄ、４５６及びシステムメモリ４１１内のコア（好ましくはグラフィック処理エンジン４３１～４３２、Ｎではない）が必要とするデータを保持しようと試みる。

【0122】

図４Ｃは、アクセラレータ集積回路４３６がプロセッサ４０７内に統合される別の実施形態を示す。本実施形態において、グラフィック処理エンジン４３１～４３２、Ｎは、インタフェース４３７及びインタフェース４３５を介して高速リンク４４０を通じてアクセラレータ集積回路４３６に直接通信する（これらのインタフェースは、ここでも、任意の形式のバス又はインタフェースプロトコルを利用し得る）。アクセラレータ集積回路４３６は、図４Ｂに対して説明されたものと同じオペレーションを実行し得る。しかし、コヒーレンシバス４６４及びキャッシュ４６２Ａ～４６２Ｄ、４５６に近接しているため、スループットがより高くなる可能性がある。

【0123】

一実施形態は、専用プロセスプログラミングモデル（グラフィックアクセラレーションモジュール仮想化なし）及び共有プログラミングモデル（仮想化あり）を含む異なるプログラミングモデルをサポートする。後者は、アクセラレータ集積回路４３６によって制御されるプログラミングモデルと、グラフィックアクセラレーションモジュール４４６によって制御されるプログラミングモデルとを含み得る。

【0124】

専用プロセスモデルの一実施形態において、グラフィック処理エンジン４３１～４３２、Ｎは、単一オペレーティングシステムの下での単一アプリケーション又はプロセス専用である。単一アプリケーションは、他のアプリケーション要求をグラフィックエンジン４３１～４３２、Ｎに送信し、ＶＭ／パーティション内で仮想化を提供できる。

【0125】

専用プロセスプログラミングモデルでは、グラフィック処理エンジン４３１～４３２、Ｎは複数のＶＭ／アプリケーションパーティションで共有され得る。共有モデルでは、グラフィック処理エンジン４３１～４３２、Ｎを仮想化して各オペレーティングシステムによるアクセスを可能にするシステムハイパーバイザが必要である。ハイパーバイザのない単一パーティションシステムの場合、グラフィック処理エンジン４３１～４３２、Ｎはオペレーティングシステムに所有される。両方の場合、オペレーティングシステムはグラフィック処理エンジン４３１～４３２、Ｎを仮想化して、各プロセス又はアプリケーションへのアクセスを提供できる。

【0126】

共有プログラミングモデルの場合、グラフィックアクセラレーションモジュール４４６又は個別のグラフィック処理エンジン４３１～４３２は、プロセスハンドルを使用してプロセス要素を選択する。一実施形態において、プロセス要素は、システムメモリ４１１に格納され、本明細書で説明される実効アドレスから実アドレスへの変換技術を使用してアドレス指定可能である。プロセスハンドルは、そのコンテキストをグラフィック処理エンジン４３１～４３２、Ｎに登録する場合に（つまり、プロセス要素のリンクリストにプロセス要素を追加するためにシステムソフトウェアを呼び出す場合に）、ホストプロセスに提供される実装態様に固有の値であり得る。プロセスハンドルの下位１６ビットは、プロセス要素のリンクリスト内のプロセス要素のオフセットであり得る。

【0127】

図４Ｄは、例示的なアクセラレータ集積スライス４９０を示す。本明細書で使用される場合、「スライス」は、アクセラレータ集積回路４３６の処理リソースの指定された部分を含む。システムメモリ４１１内のアプリケーション実効アドレス空間４８２は、プロセス要素４８３を格納する。一実施形態において、プロセス要素４８３は、プロセッサ４０７上で実行されるアプリケーション４８０からのＧＰＵ呼び出し４８１に応答して格納される。プロセス要素４８３は、対応するアプリケーション４８０の処理状態を含む。プロセス要素４８３に含まれる作業記述子（ＷＤ）４８４は、アプリケーションによって要求された単一ジョブとすることができるか、又はジョブのキューへのポインタを含み得る。後者の場合、ＷＤ４８４は、アプリケーションのアドレス空間４８２内のジョブ要求キューへのポインタである。

【0128】

グラフィックアクセラレーションモジュール４４６及び／又は個別のグラフィック処理エンジン４３１～４３２、Ｎは、システム内のプロセスの全て又はサブセットによって共有されることができる。本発明の実施形態は、処理状態を設定し、仮想化環境でジョブを開始するためにグラフィックアクセラレーションモジュール４４６にＷＤ４８４を送信するためのインフラストラクチャを含む。

【0129】

一実装態様では、専用プロセスプログラミングモデルは実装態様に固有である。このモデルでは、単一プロセスがグラフィックアクセラレーションモジュール４４６又は個別のグラフィック処理エンジン４３１を所有している。グラフィックアクセラレーションモジュール４４６は単一プロセスによって所有されるため、ハイパーバイザは所有パーティションのアクセラレータ集積回路４３６を初期化し、オペレーティングシステムはグラフィックアクセラレーションモジュール４４６が割り当てられたときに所有プロセスのアクセラレータ集積回路４３６を初期化する。

【0130】

動作中、アクセラレータ集積スライス４９０内のＷＤフェッチユニット４９１が、グラフィックアクセラレーションモジュール４４６のグラフィック処理エンジンの１つによって行われるべき作業の指標を含む次のＷＤ４８４をフェッチする。ＷＤ４８４からのデータは、レジスタ４４５に格納され、図示されているように、ＭＭＵ４３９、割り込み管理回路４４７及び／又はコンテキスト管理回路４４８によって使用され得る。例えば、ＭＭＵ４３９の一実施形態は、ＯＳ仮想アドレス空間４８５内のセグメント／ページテーブル４８６にアクセスするためのセグメント／ページウォーク回路を含む。割り込み管理回路４４７は、グラフィックアクセラレーションモジュール４４６から受信した割り込みイベント４９２を処理し得る。グラフィックオペレーションを実行する場合、グラフィック処理エンジン４３１～４３２、Ｎによって生成される実効アドレス４９３が、ＭＭＵ４３９によって実アドレスに変換される。

【0131】

一実施形態において、同じレジスタのセット４４５は、各グラフィック処理エンジン４３１～４３２、Ｎ及び／又はグラフィックアクセラレーションモジュール４４６毎に複製され、ハイパーバイザ又はオペレーティングシステムによって初期化され得る。これらの複製されたレジスタの各々は、アクセラレータ集積スライス４９０に含まれ得る。ハイパーバイザによって初期化され得る例示的なレジスタが表１に示される。

【表1】

【0132】

オペレーティングシステムによって初期化され得る例示的なレジスタが表２に示される。

【表2】

【0133】

一実施形態において、各ＷＤ４８４は、特定のグラフィックアクセラレーションモジュール４４６及び／又はグラフィック処理エンジン４３１～４３２、Ｎに固有である。各ＷＤ４８４には、その作業を行うのに必要な、グラフィック処理エンジン４３１～４３２、Ｎごとの全ての情報が含まれる、又は、アプリケーションが完了する作業のコマンドキューを設定したメモリ位置へのポインタにすることができる。

【0134】

図４Ｅは、共有モデルの一実施形態のさらなる詳細を示す。本実施形態は、プロセス要素リスト４９９が格納されるハイパーバイザの実アドレス空間４９８を含む。ハイパーバイザの実アドレス空間４９８は、オペレーティングシステム４９５のグラフィックアクセラレーションモジュールエンジンを仮想化するハイパーバイザ４９６を介してアクセス可能である。

【0135】

共有プログラミングモデルは、システム内のパーティションの全て又はサブセットからのプロセスの全て又はサブセットがグラフィックアクセラレーションモジュール４４６を使用するのを可能にする。グラフィックアクセラレーションモジュール４４６が複数のプロセス及びパーティションによって共有される２つのプログラミングモデルがあり、時間スライス共有及びグラフィック指向共有である。

【0136】

このモデルでは、システムハイパーバイザ４９６がグラフィックアクセラレーションモジュール４４６を所有し、その機能を全てのオペレーティングシステム４９５で利用可能にする。グラフィックアクセラレーションモジュール４４６がシステムハイパーバイザ４９６による仮想化をサポートするために、グラフィックアクセラレーションモジュール４４６は以下の要件に準拠し得る。１）アプリケーションのジョブ要求は自律的でなければならない（つまり、ジョブ間で状態を維持する必要はない）、又は、グラフィックアクセラレーションモジュール４４６は、コンテキストの保存及び復元メカニズムを提供しなければならない。２）アプリケーションのジョブ要求は、グラフィックアクセラレーションモジュール４４６によって、任意の変換障害を含め、指定された時間内に完了することが保証されている。又は、グラフィックアクセラレーションモジュール４４６がジョブの処理を先取りする能力を提供する。３）グラフィックアクセラレーションモジュール４４６は、指向共有プログラミングモデルで動作する場合、プロセス間の公平性が保証されなければならない。

【0137】

一実施形態において、共有モデルの場合、アプリケーション４８０は、グラフィックアクセラレーションモジュール４４６のタイプ、作業記述子（ＷＤ）、権限マスクレジスタ（ＡＭＲ）値、及びコンテキストの保存／復元エリアポインタ（ＣＳＲＰ）を使用してオペレーティングシステム４９５をシステムコールさせるのに必要とされる。グラフィックアクセラレーションモジュール４４６のタイプは、システムコールの対象アクセラレーション機能を示す。グラフィックアクセラレーションモジュール４４６のタイプは、システム固有の値であり得る。ＷＤは、グラフィックアクセラレーションモジュール４４６用に特にフォーマットされており、グラフィックアクセラレーションモジュール４４６コマンド、ユーザ定義型構造への実効アドレスポインタ、コマンドのキューへの実効アドレスポインタ、又はグラフィックアクセラレーションモジュール４４６によって成される作業を説明するための任意の他のデータ構造の形式にすることができる。一実施形態において、ＡＭＲ値は、現在のプロセスに使用するＡＭＲ状態である。オペレーティングシステムに渡される値は、ＡＭＲを設定するアプリケーションに類似している。アクセラレータ集積回路４３６及びグラフィックアクセラレーションモジュール４４６の実装態様がユーザオーソリティマスクオーバーライドレジスタＵＡＭＯＲ）をサポートしていない場合、オペレーティングシステムは、ハイパーバイザコールでＡＭＲを渡す前に、現在のＵＡＭＯＲ値をＡＭＲ値に適用し得る。ハイパーバイザ４９６は、ＡＭＲをプロセス要素４８３に配置する前に、現在のオーソリティマスクオーバーライドレジスタ（ＡＭＯＲ）値を任意選択で適用し得る。一実施形態において、ＣＳＲＰは、グラフィックアクセラレーションモジュール４４６がコンテキスト状態を保存及び復元するための、アプリケーションのアドレス空間４８２内の領域の実効アドレスを含むレジスタ４４５の１つである。ジョブ間で状態を保存する必要がない場合、又はジョブがプリエンプトされた場合、このポインタは任意選択である。コンテキストの保存／復元領域は、システムメモリに固定され得る。

【0138】

システムコールを受信すると、オペレーティングシステム４９５は、アプリケーション４８０がグラフィックアクセラレーションモジュール４４６を登録して、その使用権限が与えられたことを確認し得る。次に、オペレーティングシステム４９５は、表３に示される情報を使用してハイパーバイザ４９６を呼び出す。

【表3】

【0139】

ハイパーバイザコールを受信すると、ハイパーバイザ４９６は、オペレーティングシステム４９５がグラフィックアクセラレーションモジュール４４６を登録して、その使用権限が与えられたことを確認する。次に、ハイパーバイザ４９６は、プロセス要素４８３を、対応するグラフィックアクセラレーションモジュール４４６タイプのプロセス要素のリンクリストに入れる。プロセス要素は、表４に示される情報を含み得る。

【表4】

【0140】

一実施形態において、ハイパーバイザは、複数のアクセラレータ集積スライス４９０のレジスタ４４５を初期化する。

【0141】

図４Ｆに図示されるように、本発明の一実施形態は、物理プロセッサメモリ４０１～４０２及びＧＰＵメモリ４２０～４２３にアクセスするために使用される共通仮想メモリアドレス空間を介してアドレス指定可能な統合メモリを使用する。この実装態様では、ＧＰＵ４１０～４１３上で実行されるオペレーションが、同じ仮想／実効メモリアドレス空間を利用してプロセッサメモリ４０１～４０２にアクセスし、その逆も同様であり、これによりプログラミング性が簡略化される。一実施形態において、仮想／実効アドレス空間の第１部分はプロセッサメモリ４０１に、第２部分は第２プロセッサメモリ４０２に、第３部分はＧＰＵメモリ４２０になどと割り当てられる。これにより、仮想／実効メモリ空間全体（実効アドレス空間と称されることがある）が、プロセッサメモリ４０１～４０２及びＧＰＵメモリ４２０～４２３の各々にわたり配分され、任意のプロセッサ又はＧＰＵを任意の物理メモリに、当該メモリに仮想アドレスがマッピングされた状態で、アクセス可能にする。

【0142】

一実施形態において、ＭＭＵ４３９Ａ～４３９Ｅのうちの１又は複数内のバイアス／コヒーレンス管理回路４９４Ａ～４９４Ｅは、ホストプロセッサ（例えば、４０５）のキャッシュとＧＰＵ４１０～４１３との間のキャッシュコヒーレンスを保証し、また、特定のタイプのデータを格納する必要がある物理メモリを示すバイアス技術を実装する。バイアス／コヒーレンス管理回路４９４Ａ～４９４Ｅの複数のインスタンスが図４Ｆに示されているが、バイアス／コヒーレンス回路は、１又は複数のホストプロセッサ４０５のＭＭＵ内及び／又はアクセラレータ集積回路４３６内に実装され得る。

【0143】

一実施形態は、ＧＰＵ付属メモリ４２０～４２３がシステムメモリの一部としてマッピングされ、共有仮想メモリ（ＳＶＭ）技術を使用してアクセスされることを可能にするが、完全なシステムキャッシュコヒーレンスに関連する典型的な性能上の難点を経験することはない。煩わしいキャッシュコヒーレンスオーバヘッドなしでシステムメモリとしてアクセスされるＧＰＵ付属メモリ４２０～４２３の能力は、ＧＰＵオフロードに有益な動作環境を提供する。この配置により、ホストプロセッサ４０５ソフトウェアは、従来のＩ／Ｏ ＤＭＡデータコピーのオーバヘッドなしに、オペランドを設定し、演算結果にアクセスが可能になる。このような従来のコピーには、ドライバのコール、割り込み及びメモリマッピングされたＩ／Ｏ（ＭＭＩＯ）アクセスが含まれており、単純なメモリアクセスに対して全て非効率的である。同時に、キャッシュコヒーレンスオーバヘッドなしでＧＰＵ付属メモリ４２０～４２３にアクセスする能力は、オフロードされた演算の実行時間にとって非常に重要になり得る。例えば、大量のストリーミング書き込みメモリトラフィックがある場合、キャッシュコヒーレンスオーバヘッドにより、ＧＰＵ４１０～４１３で見られる実効書き込み帯域幅が大幅に減少する可能性がある。オペランド設定の効率、結果アクセスの効率、及びＧＰＵ演算の効率は全て、ＧＰＵオフロードの有効性を決定する上で重要な役割を果たす。

【0144】

一実装態様では、ＧＰＵバイアスとホストプロセッサバイアスのと間の選択は、バイアストラッカーデータ構造によって駆動される。例えば、ＧＰＵ付属メモリメモリページ毎に１ビット又は２ビットを含むページ粒状構造（つまり、メモリページの粒度で制御される）であり得るバイアステーブルが使用され得る。バイアステーブルは、ＧＰＵ４１０～４１３のバイアスキャッシュの有無で（例えば、バイアステーブルの頻繁に／最近使用されたエントリをキャッシュするため）、１又は複数のＧＰＵ付属メモリ４２０～４２３の盗まれたメモリ範囲に実装され得る。あるいは、バイアステーブル全体がＧＰＵ内で維持され得る。

【0145】

一実装態様では、ＧＰＵ付属メモリ４２０～４２３への各アクセスに関連付けられるバイアステーブルエントリは、ＧＰＵメモリへの実際のアクセスの前にアクセスされ、以下の動作をさせる。第１に、ＧＰＵバイアスでこれらのページを見つけるＧＰＵ４１０～４１３からのローカル要求は、対応するＧＰＵメモリ４２０～４２３に直接転送される。ホストバイアスでこれらのページを見つけるＧＰＵからのローカル要求は、プロセッサ４０５に転送される（例えば、上で検討された高速リンクを介して）。一実施形態において、ホストプロセッサバイアスで要求されたページを見つけるプロセッサ４０５からの要求が、通常のメモリ読み出しと同様の要求を完了する。あるいは、ＧＰＵバイアスページに関する要求が、ＧＰＵ４１０～４１３に転送され得る。ＧＰＵは、現在ページを使用していない場合、次に、そのページをホストプロセッサバイアスに移行し得る。

【0146】

ページのバイアス状態は、ソフトウェアベースのメカニズム、ハードウェア支援のソフトウェアベースのメカニズム、又は限定されたセットの場合では、純粋にハードウェアベースのメカニズムのいずれかによって変更されることができる。

【0147】

バイアス状態を変更するための１つのメカニズムは、ＡＰＩコール（例えば、ＯｐｅｎＣＬなど）を使用する。ＡＰＩコールは、次にＧＰＵのデバイスドライバをコールし、次に、バイアス状態を変更し、いくつかの移行ではホストでキャッシュフラッシュオペレーションを実行するように指示するＧＰＵにメッセージを送信（又はコマンド記述子をエンキュー）する。キャッシュフラッシュオペレーションは、ホストプロセッサ４０５バイアスからＧＰＵバイアスへの移行に必要とされるが、反対の移行には必要とされない。

【0148】

一実施形態において、キャッシュコヒーレンシが、ホストプロセッサ４０５によってＧＰＵバイアスページを一時的にキャッシュ不能にすることによって維持される。これらのページにアクセスするために、プロセッサ４０５は、実装態様に応じて、アクセスをすぐに許可してもしなくてもよいＧＰＵ４１０にアクセスを要求し得る。従って、ホストプロセッサ４０５とＧＰＵ４１０との間の通信を減らすために、ＧＰＵバイアスページが、ＧＰＵによって必要とされるがホストプロセッサ４０５では必要とされないものであることを保証することは有益であり、逆もまた同様である。グラフィック処理パイプライン

【0149】

図５は、一実施形態による、グラフィック処理パイプライン５００を示す。一実施形態において、グラフィックプロセッサが、図示されたグラフィック処理パイプライン５００を実装することができる。グラフィックプロセッサは、例えば、図２Ａの並列プロセッサ２００など、本明細書で説明されるような並列処理サブシステム内に含まれることができる。これは、一実施形態において、図１の並列プロセッサ１１２の変形である。様々な並列処理システムは、本明細書で説明されるように、並列処理ユニット（例えば、図２Ａの並列処理ユニット２０２）の１又は複数のインスタンスを介してグラフィック処理パイプライン５００を実装することができる。例えば、シェーダユニット（例えば、図２Ｃのグラフィックマルチプロセッサ２３４）が、頂点処理ユニット５０４、テセレーション制御処理ユニット５０８、テセレーション評価処理ユニット５１２、ジオメトリ処理ユニット５１６、及びフラグメント／画素処理ユニット５２４のうちの１又は複数の機能を実行するように構成され得る。データアセンブラ５０２、プリミティブアセンブラ５０６、５１４、５１８、テセレーションユニット５１０、ラスタライザ５２２、及びラスタオペレーションユニット５２６の機能はまた、処理クラスタ（例えば、図２Ａの処理クラスタ２１４）及び対応するパーティションユニット（例えば、図２Ａのパーティションユニット２２０Ａ～２２０Ｎ）内の他の処理エンジンによって実行され得る。グラフィック処理パイプライン５００はまた、１又は複数の機能のための専用処理ユニットを使用して実装され得る。一実施形態において、グラフィック処理パイプライン５００の１又は複数の部分が、汎用プロセッサ（例えば、ＣＰＵ）内の並列処理ロジックによって実行されることができる。一実施形態において、グラフィック処理パイプライン５００の１又は複数の部分が、メモリインタフェース５２８を介してオンチップメモリ（例えば、図２Ａにあるような並列プロセッサメモリ２２２）にアクセスすることができ、これは、図２Ａのメモリインタフェース２１８のインスタンスであり得る。

【0150】

一実施形態において、データアセンブラ５０２は、表面及びプリミティブの頂点データを収集する処理ユニットである。次に、データアセンブラ５０２は、頂点属性を含む頂点データを頂点処理ユニット５０４に出力する。頂点処理ユニット５０４は、頂点シェーダプログラムを実行するプログラマブル実行ユニットであり、頂点シェーダプログラムによって指定された頂点データをライティングし且つ変換する。頂点処理ユニット５０４は、頂点データの処理に使用するために、キャッシュ、ローカル又はシステムメモリに格納されているデータを読み出し、オブジェクトベースの座標表現からワールド空間座標空間又は標準化デバイス座標空間に頂点データを変換するようにプログラミングされ得る。

【0151】

プリミティブアセンブラ５０６の第１インスタンスは、頂点処理ユニット５０４から頂点属性を受信する。プリミティブアセンブラ５０６は、必要に応じて格納された頂点属性を読み出し、テセレーション制御処理ユニット５０８による処理のためにグラフィックプリミティブを構築する。グラフィックプリミティブには、三角形、ライン、点、パッチなどが含まれ、様々なグラフィック処理アプリケーションプログラミングインタフェース（ＡＰＩ）でサポートされている。

【0152】

テセレーション制御処理ユニット５０８は、入力頂点をジオメトリックパッチの制御点として扱う。制御点は、パッチからの入力表現（例えば、パッチのベース）から、テセレーション評価処理ユニット５１２による表面評価に使用するために好適な表現に変換される。テセレーション制御処理ユニット５０８はまた、ジオメトリックパッチのエッジのテセレーション係数を計算することができる。テセレーション係数は単一エッジに適用され、エッジに関連付けられた表示に依存する詳細レベルを定量化する。テセレーションユニット５１０は、パッチのエッジのテセレーション係数を受信し、パッチを、例えば、テセレーション評価処理ユニット５１２に送信される線、三角形、又は四辺形プリミティブなどの複数のジオメトリックプリミティブにテセレーションするように構成される。テセレーション評価処理ユニット５１２は、細分化されたパッチのパラメータ化された座標上に動作して、ジオメトリックプリミティブに関連付けられた頂点毎に表面表現及び頂点属性を生成する。

【0153】

プリミティブアセンブラ５１４の第２インスタンスは、テセレーション評価処理ユニット５１２から頂点属性を受信し、必要に応じて格納されている頂点属性を読み出し、ジオメトリ処理ユニット５１６による処理のためにグラフィックプリミティブを構築する。ジオメトリ処理ユニット５１６は、ジオメトリシェーダプログラムを実行し、ジオメトリシェーダプログラムによって指定されたプリミティブアセンブラ５１４から受信したグラフィックプリミティブを変換するプログラマブル実行ユニットである。一実施形態において、ジオメトリ処理ユニット５１６は、グラフィックプリミティブを１又は複数の新たなグラフィックプリミティブに細分し、新たなグラフィックプリミティブをラスタライズするために使用されるパラメータを算出するようにプログラミングされている。

【0154】

いくつかの実施形態において、ジオメトリ処理ユニット５１６は、ジオメトリストリーム内の要素を追加又は削除することができる。ジオメトリ処理ユニット５１６は、新たなグラフィックプリミティブを指定するパラメータ及び頂点をプリミティブアセンブラ５１８に出力する。プリミティブアセンブラ５１８は、ジオメトリ処理ユニット５１６からパラメータ及び頂点を受信し、ビューポートスケール、カル、及びクリップユニット５２０による処理のためのグラフィックプリミティブを構築する。ジオメトリ処理ユニット５１６は、ジオメトリデータを処理する際に使用するために、並列プロセッサメモリ又はシステムメモリに格納されているデータを読み出す。ビューポートスケール、カル、及びクリップユニット５２０は、クリッピング、カリング、及びビューポートスケーリングを実行し、処理されたグラフィックプリミティブをラスタライザ５２２に出力する。

【0155】

ラスタライザ５２２は、デプスカリング及び他のデプスベースの最適化を実行することができる。ラスタライザ５２２はまた、新たなグラフィックプリミティブに対してスキャン変換を実行して、フラグメントを生成し、それらのフラグメント及び関連付けられるカバレッジデータをフラグメント／画素処理ユニット５２４に出力する。フラグメント／画素処理ユニット５２４は、フラグメントシェーダプログラム又は画素シェーダプログラムを実行するように構成されたプログラマブル実行ユニットである。フラグメント／画素処理ユニット５２４は、フラグメント又は画素シェーダプログラムによって指定されたように、ラスタライザ５２２から受信したフラグメント又は画素を変換する。例えば、フラグメント／画素処理ユニット５２４は、ラスタオペレーションユニット５２６に出力されるシェーディングされたフラグメント又は画素を生成するために、限定されることはないが、テクスチャマッピング、シェーディング、ブレンド、テクスチャ補正及び遠近補正を含む演算を実行するようにプログラミングされ得る。フラグメント／画素処理ユニット５２４は、フラグメントデータを処理する場合に使用するために、並列プロセッサメモリ又はシステムメモリのいずれかに格納されているデータを読み出すことができる。フラグメント又は画素シェーダプログラムは、処理ユニットに構成されたサンプリングレートに応じて、サンプル、画素、タイル、又はその他の粒度でシェーディングするように構成され得る。

【0156】

ラスタオペレーションユニット５２６は、限定されることはないが、ステンシル、ｚテスト、ブレンドなどを含むラスタオペレーションを実行し、画素データを処理されたグラフィックデータとして出力し、グラフィックメモリ（例えば、図２Ａにあるような並列プロセッサメモリ２２２、及び／又は図１にあるようなシステムメモリ１０４）に格納される、１又は複数のディスプレイデバイス１１０上に表示される、又は１又は複数のプロセッサ１０２又は並列プロセッサ１１２のうちの１つによって更に処理される処理ユニットである。いくつかの実施形態において、ラスタオペレーションユニット５２６は、メモリに書き込まれるｚ又はカラーデータを圧縮し、メモリから読み出されるｚ又はカラーデータを伸張するように構成される。
［機械学習の概要］

【0157】

上記のアーキテクチャは、機械学習モデルを使用して訓練及び推論演算を実行するために適用されることができる。機械学習は、多くの種類のタスクの解決に成功している。機械学習アルゴリズム（例えば、ニューラルネットワーク）を訓練及び使用する場合に発生する演算は、効率的な並列実装態様にもともと役立つ。従って、例えば、汎用グラフィック処理ユニット（ＧＰＧＰＵ）などの並列プロセッサは、ディープニューラルネットワークの実用的な実装態様に重要な役割を果たしてきた。単一命令、複数のスレッド（ＳＩＭＴ）アーキテクチャを備える並列グラフィックプロセッサは、グラフィックパイプラインでの並列処理の量を最大化するように設計されている。ＳＩＭＴアーキテクチャでは、並列スレッドのグループがプログラムの命令をできるだけ同時に一緒に同期的に実行して、処理効率を高めようと試みる。並列機械学習アルゴリズムの実装態様によって提供される効率により、高容量ネットワークの使用が可能になり、それらのネットワークが、より大きなデータセットで訓練されることが有効になる。

【0158】

機械学習アルゴリズムは、データのセットに基づいて学習できるアルゴリズムである。機械学習アルゴリズムの複数の実施形態は、データセット内の高レベルの抽出をモデル化するように設計されることができる。例えば、画像認識アルゴリズムが、所与の入力が属するいくつかのカテゴリのうちのどれかを決定するのに使用され得る。回帰アルゴリズムが、所与の入力の数値を出力できる。パターン認識アルゴリズムが、変換されたテキストを生成する、又はテキストから音声への変換及び／又は音声認識を実行するのに使用され得る。

【0159】

例示的なタイプの機械学習アルゴリズムは、ニューラルネットワークである。ニューラルネットワークには多くのタイプがある。単純なタイプのニューラルネットワークはフィードフォワードネットワークである。フィードフォワードネットワークは、ノードが層に配置された非巡回グラフとして実装され得る。通常、フィードフォワードネットワークトポロジには、少なくとも１つの隠れ層で分離された入力層と出力層が含まれる。隠れ層は、入力層が受信した入力を、出力層で出力を生成するのに有用な表現に変換する。ネットワークノードは隣接する層のノードにエッジを介して完全に接続されているが、各層内のノード間にエッジはない。フィードフォワードネットワークの入力層のノードで受信されたデータは、起動関数を介して出力層のノードに伝搬され（つまり、「フィードフォワード」）、これは、層を接続する各エッジにそれぞれに関連付けられている係数（「重み」）に基づいて、ネットワーク内の各連続層のノードの状態を算出する。実行中のアルゴリズムによって表される特定のモデルに応じて、ニューラルネットワークアルゴリズムからの出力は様々な形式を取ることができる。

【0160】

機械学習アルゴリズムが、特定の問題をモデル化するのに使用され得る前に、アルゴリズムは訓練データセットを使用して訓練される。ニューラルネットワークの訓練は、ネットワークによってモデル化されている問題を表す訓練データのセットを使用してネットワークトポロジを選択する段階と、訓練データセットの全てのインスタンスについてネットワークモデルが最小のエラーで実行されるまで重みを調整する段階と、を含む。例えば、ニューラルネットワークの教師あり学習訓練プロセス中に、訓練データセット内のインスタンスを表す入力に応答してネットワークによって生成された出力は、そのインスタンスの「正確」と分類された出力と比較され、出力と分類された出力との間の差を表すエラー信号が算出され、接続に関連付けられた重みが調整されて、エラー信号がネットワークの層を介して後方に伝搬されるため、そのエラーが最小限に抑えられる。訓練データセットのインスタンスから生成された出力毎にエラーが最小限に抑えられる場合、ネットワークは「訓練された」と見なされる。

【0161】

機械学習アルゴリズムの精度は、アルゴリズムの訓練に使用されるデータセットの品質に大きく影響されることができる。訓練プロセスは演算集約的とすることができ、従来の汎用プロセッサでは膨大な時間を必要とし得る。従って、並列処理ハードウェアを使用され、多くのタイプの機械学習アルゴリズムを訓練する。これは、ニューラルネットワークの係数の調整で実行される演算がもともと並列実装態様に有用であるため、ニューラルネットワークの訓練を最適化するのに特に役立つ。具体的には、多くの機械学習アルゴリズム及びソフトウェアアプリケーションが、汎用グラフィック処理デバイス内の並列処理ハードウェアを利用するように適合されている。

【0162】

図６は、機械学習ソフトウェアスタック６００の一般化された図である。機械学習アプリケーション６０２は、訓練データセットを使用してニューラルネットワークを訓練するように、又は訓練されたディープニューラルネットワークを使用してマシンインテリジェンスを実装するように構成されることができる。機械学習アプリケーション６０２は、ニューラルネットワークのための訓練及び推論機能、及び／又は展開前にニューラルネットワークを訓練するために使用されることができる専用のソフトウェアを含むことができる。機械学習アプリケーション６０２は、限定されることはないが、画像認識、マッピング及び位置特定、自律ナビゲーション、音声合成、医用イメージング、又は言語変換を含む任意のタイプのマシンインテリジェンスを実装することができる。

【0163】

機械学習アプリケーション６０２のハードウェアアクセラレーションは、機械学習フレームワーク６０４を介して有効にされることができる。機械学習フレームワーク６０４は、機械学習プリミティブのライブラリを提供することができる。機械学習プリミティブは、機械学習アルゴリズムによって一般的に実行される基本的な動作である。機械学習フレームワーク６０４がない場合、機械学習アルゴリズムの開発者は、機械学習アルゴリズムに関連付けられた主な計算ロジックを作成及び最適化し、次に、新たな並列プロセッサが開発されるときに計算ロジックを再最適化するのに必要とされるであろう。代わりに、機械学習アプリケーションは、機械学習フレームワーク６０４によって提供されるプリミティブを使用して必要な演算を実行するように構成されることができる。例示的なプリミティブには、テンソル畳み込み、起動関数、及びプーリングが含まれる。これらは、畳み込みニューラルネットワーク（ＣＮＮ）の訓練中に実行される計算演算である。機械学習フレームワーク６０４はまた、例えば、行列及びベクトル演算などの多くの機械学習アルゴリズムによって実行される基本的な線形代数サブプログラムを実装するためのプリミティブを提供することができる。

【0164】

機械学習フレームワーク６０４は、機械学習アプリケーション６０２から受信した入力データを処理し、計算フレームワーク６０６への適切な入力を生成することができる。計算フレームワーク６０６は、ＧＰＧＰＵドライバ６０８に提供される基礎となる命令を要約して、機械学習フレームワーク６０４を有効にすることができ、機械学習フレームワーク６０４がＧＰＧＰＵハードウェア６１０のアーキテクチャの詳しい知識を持つことを要求することなく、ＧＰＧＰＵハードウェア６１０を介してハードウェアアクセラレーションを活用する。更に、計算フレームワーク６０６は、ＧＰＧＰＵハードウェア６１０の様々なタイプ及び世代にわたる機械学習フレームワーク６０４のハードウェアアクセラレーションを有効にすることができる。
［ＧＰＧＰＵ機械学習アクセラレーション］

【0165】

図７は、一実施形態による、汎用グラフィック処理ユニット７００を示す。一実施形態において、汎用処理ユニット（ＧＰＧＰＵ）７００は、ディープニューラルネットワークの訓練に関連付けられるタイプの計算ワークロードの処理において特に効率的であるように構成されることができる。更に、ＧＰＧＰＵ７００はＧＰＧＰＵの他のインスタンスに直接リンクされ、マルチＧＰＵクラスタを作成し、特にディープニューラルネットワークの訓練速度を改善することができる。

【0166】

ＧＰＧＰＵ７００は、ホストプロセッサとの接続を可能にするためのホストインタフェース７０２を含む。一実施形態において、ホストインタフェース７０２は、ＰＣＩ Ｅｘｐｒｅｓｓインタフェースである。しかし、ホストインタフェースはまた、ベンダー固有の通信インタフェース又は通信ファブリックにすることができる。ＧＰＧＰＵ７００は、ホストプロセッサからコマンドを受信し、グローバルスケジューラ７０４を使用して、それらのコマンドに関連付けられる実行スレッドを計算クラスタ７０６Ａ～７０６Ｈのセットに分散する。計算クラスタ７０６Ａ～７０６Ｈは、キャッシュメモリ７０８を共有する。キャッシュメモリ７０８は、計算クラスタ７０６Ａ～７０６Ｈ内のキャッシュメモリのためのより高レベルキャッシュとして機能することができる。

【0167】

ＧＰＧＰＵ７００は、メモリコントローラ７１２Ａ～７１２Ｂのセットを介して計算クラスタ７０６Ａ～Ｈと連結されたメモリ７１４Ａ～Ｂを含む。様々な実施形態において、メモリ７１４Ａ～７１４Ｂは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）又は、例えば、グラフィックダブルデータレート（ＧＤＤＲ）メモリを含む同期グラフィックランダムアクセスメモリ（ＳＧＲＡＭ）などのグラフィックランダムアクセスメモリを含む様々なタイプのメモリデバイスを含むことができる。一実施形態において、メモリ７１４Ａ～７１４Ｎはまた、限定されることはないが高帯域幅メモリ（ＨＢＭ）を含む３Ｄスタックメモリを含み得る。

【0168】

一実施形態において、計算クラスタ７０６Ａ～７０６Ｈの各々は、例えば、図４Ａのグラフィックマルチプロセッサ４００などのグラフィックマルチプロセッサのセットを含む。計算クラスタのグラフィックマルチプロセッサは、機械学習計算に適したものを含む、精度の範囲で計算演算を実行できる複数タイプの整数及び浮動小数点論理ユニットを含む。例えば、一実施形態において、計算クラスタ７０６Ａ～Ｈの各々における少なくとも浮動小数点ユニットのサブセットは、１６ビット又は３２ビットの浮動小数点演算を実行するように構成されることができ、一方、浮動小数点ユニットの異なるサブセットは、６４ビット浮動小数点演算を実行するように構成されることができる。

【0169】

ＧＰＧＰＵ７００の複数のインスタンスは、計算クラスタとして動作するように構成されることができる。同期及びデータ交換のために計算クラスタによって使用される通信メカニズムは、実施形態わたり変わる。一実施形態において、ＧＰＧＰＵ７００の複数のインスタンスは、ホストインタフェース７０２を介して通信する。一実施形態において、ＧＰＧＰＵ７００は、ＧＰＧＰＵ７００を、ＧＰＧＰＵの他のインスタンスへの直接接続を可能にするＧＰＵリンク７１０と連結するＩ／Ｏハブ７０９を含む。一実施形態において、ＧＰＵリンク７１０は、ＧＰＧＰＵ７００の複数のインスタンス間の通信及び同期を有効にする専用のＧＰＵ間ブリッジに連結される。一実施形態において、ＧＰＵリンク７１０は、高速相互接続と連結して、他のＧＰＧＰＵ又は並列プロセッサにデータを送受信する。一実施形態において、ＧＰＧＰＵ７００の複数のインスタンスは、別個のデータ処理システムに位置され、ホストインタフェース７０２を介してアクセス可能なネットワークデバイスを介して通信する。一実施形態において、ＧＰＵリンク７１０は、ホストインタフェース７０２に加えて、又は代替的にホストプロセッサへの接続を可能にするように構成されることができる。

【0170】

図示されたＧＰＧＰＵ７００の構成は、ニューラルネットワークを訓練するように構成されることができるが、一実施形態は、高性能又は低電力推論プラットフォーム内に展開するように構成されることができるＧＰＧＰＵ７００の代替構成を提供する。推論構成では、ＧＰＧＰＵ ７００は、訓練構成に対して、より少ない計算クラスタ７０６Ａ～７０６Ｈを含む。更に、メモリ７１４Ａ～７１４Ｂに関連付けられメモリ技術は、推論構成と訓練構成との間で異なり得る。一実施形態において、ＧＰＧＰＵ７００の推論構成は、推論固有の命令をサポートすることができる。例えば、推論構成は、展開されたニューラルネットワークの推論演算中に一般的に使用される、１又は複数の８ビット整数ドット積命令のサポートを提供できる。

【0171】

図８は、一実施形態による、マルチＧＰＵコンピューティングシステム８００を示す。マルチＧＰＵコンピューティングシステム８００は、ホストインタフェーススイッチ８０４を介して複数のＧＰＧＰＵ８０６Ａ～８０６Ｄに連結されたプロセッサ８０２を含むことができる。一実施形態において、ホストインタフェーススイッチ８０４は、プロセッサ８０２が、ＧＰＧＰＵ８０６Ａ～８０６Ｄのセットと通信することができるＰＣＩ Ｅｘｐｒｅｓｓバスにプロセッサ８０２を連結するＰＣＩ Ｅｘｐｒｅｓｓスイッチデバイスである。複数のＧＰＧＰＵ８０６Ａ～８０６Ｄの各々は、図７のＧＰＧＰＵ７００のインスタンスとすることができる。ＧＰＧＰＵ８０６Ａ～８０６Ｄは、セットの高速ポイントツーポイントＧＰＵからＧＰＵリンク８１６を介して相互接続することができる。高速ＧＰＵ間リンクは、例えば、図７にあるようなＧＰＵリンク７１０などの専用ＧＰＵリンクを介して、ＧＰＧＰＵ８０６Ａ～８０６Ｄの各々に接続することができる。Ｐ２ＰのＧＰＵリンク８１６は、プロセッサ８０２が接続されるホストインタフェースバスを介した通信を要求することなく、ＧＰＧＰＵ８０６Ａ～８０６Ｄの各々の間の直接通信を可能にする。Ｐ２ＰのＧＰＵリンクに関するＧＰＵ間トラフィックにより、ホストインタフェースバスは、システムメモリアクセスのために、又は例えば１又は複数のネットワークデバイスを介してマルチＧＰＵコンピューティングシステム８００の他のインスタンスと通信するために利用可能のままである。図示された実施形態において、ＧＰＧＰＵ８０６Ａ～Ｄは、ホストインタフェーススイッチ８０４を介してプロセッサ８０２に接続するが、一実施形態において、プロセッサ８０２は、Ｐ２ＰのＧＰＵリンク８１６の直接サポートを含み、ＧＰＧＰＵ８０６Ａ～８０６Ｄに直接接続できる。
［機械学習ニューラルネットワークの実装態様］

【0172】

本明細書で説明される実施形態によって提供されるコンピューティングアーキテクチャは、機械学習のためのニューラルネットワークの訓練及び展開に特に適したタイプの並列処理を実行するように構成されることができる。ニューラルネットワークは、グラフの関係を有する関数のネットワークとして一般化されることができる。当技術分野で既知されているように、機械学習で使用される様々なタイプのニューラルネットワークの実装態様がある。ニューラルネットワークの１つの例示的なタイプは、前に説明されたようにフィードフォワードネットワークである。

【0173】

ニューラルネットワークの第２例示的なタイプは、畳み込みニューラルネットワーク（ＣＮＮ）である。ＣＮＮは、例えば、画像データなど、既知のグリッド式のトポロジを有するデータを処理するための専用のフィードフォワードニューラルネットワークである。従って、ＣＮＮはビジョン計算又は画像認識のアプリケーションに一般的に使用されるが、例えば、それらは音声及び言語処理などの他のタイプのパターン認識にも使用され得る。ＣＮＮ入力層のノードは、「フィルター」のセット（網膜に見つけられる受容野から発想を得た特徴検出器）に編成され、各フィルターセットの出力は、ネットワークの連続層のノードに伝搬される。ＣＮＮの演算には、畳み込み数学演算を各フィルターに適用して、そのフィルターの出力を生成することが含まれる。畳み込みは、２つの関数によって実行される専用の種類の数学演算であり、第３関数を生成する。これは、２つの元の関数のうちの一方の修正版である。畳み込みネットワークの用語では、畳み込みへの第１関数は入力と称されることができる一方、第２関数は畳み込みカーネルと称されることができる。出力は、特徴マップと称され得る。例えば、畳み込み層への入力は、入力画像の様々な色成分を規定するデータの多次元配列にすることができる。畳み込みカーネルは、パラメータの多次元配列にすることができる。パラメータは、ニューラルネットワークの訓練プロセスによって適合される。

【0174】

再帰型ニューラルネットワーク（ＲＮＮ）は、層間のフィードバック接続を含むフィードフォワードニューラルネットワークのファミリである。ＲＮＮは、ニューラルネットワークの異なる部分にわたりパラメータデータを共有することにより、順次データのモデル化を有効にする。ＲＮＮのアーキテクチャにはサイクルが含まれる。サイクルは、ＲＮＮからの出力データの少なくとも一部が順番に後続の入力を処理するためのフィードバックとして使用されるため、将来の時点での変数の現在の値がそれ自体の値に及ぼす影響を表す。この機能により、言語データは構成されることができる可変性により、ＲＮＮは言語処理に特に有用である。

【0175】

現在以下に説明される図は、例示的なフィードフォワード、ＣＮＮ、及びＲＮＮネットワークを提示し、及びこれらのタイプのネットワークの各々をそれぞれ訓練及び展開するための一般的なプロセスを説明している。これらの説明は、本明細書で説明される任意の特定の実施形態に関して例示的及び限定されず、図示される概念は、概してディープニューラルネットワーク及び機械学習技術に一般に適用されることができることが理解されるであろう。

【0176】

上記の例示的なニューラルネットワークは、深層学習を実行するために使用されることができる。深層学習は、ディープニューラルネットワークを使用した機械学習である。深層学習で使用されるディープニューラルネットワークは、単一隠れ層のみを含む浅いニューラルネットワークとは異なり、複数の隠れ層から構成される人工ニューラルネットワークである。より深いニューラルネットワークは、一般に、訓練するためにより演算集約的である。しかし、ネットワークの追加の隠れ層により、浅い機械学習技術に対して出力エラーが減少するマルチステップパターン認識が可能になる。

【0177】

深層学習で使用されるディープニューラルネットワークには、通常、モデルに提供された特徴表現に基づいて演算（例えば、オブジェクト分類、音声認識など）を実行できる数学的モデルを表すバックエンドネットワークに連結された特徴認識を実行するフロントエンドネットワークが含まれる。深層学習は、モデルに対して手作りされた機能エンジニアリングが実行されることを要求することなく、機械学習が実行されることが可能になる。代わりに、ディープニューラルネットワークは、入力データ内の統計的構造又は相関関係に基づいて機能を学習できる。学習された特徴は、検出された特徴を出力にマッピングできる数学的モデルに提供されることができる。ネットワークにより使用される数学的モデルは、一般に、実行される特定のタスクに特化しており、異なるモデルが異なるタスクを実行するのに使用されることになる。

【0178】

ニューラルネットワークが構築されると、学習モデルはネットワークに適用され、特定のタスクを実行するようにネットワークを訓練できる。学習モデルは、どのようにモデル内の重みを調整してネットワークの出力エラーを減らすかを説明する。エラーの逆伝搬は、ニューラルネットワークの訓練に使用される一般的な方法である。入力ベクトルは、処理のためにネットワークに提示される。ネットワークの出力は、損失関数を使用して所望の出力と比較され、出力層のニューロン毎にエラー値が算出される。エラー値は、次に、各ニューロンが元の出力への寄与を大ざっぱに表す関連付けられたエラー値を有するまで、後方に伝搬される。ネットワークは、次に、例えば、確率的勾配降下アルゴリズムなどのアルゴリズムを使用してこれらのエラーから学習し、ニューラルネットワークの重みを更新できる。

【0179】

図９Ａ～９Ｂは、例示的な畳み込みニューラルネットワークを示す。図９Ａは、ＣＮＮ内の様々な層を示す。図９Ａに示されるように、画像処理をモデル化するために使用される例示的なＣＮＮは、入力画像の赤、緑、及び青（ＲＧＢ）成分を記載する入力９０２を受信することができる。入力９０２は、複数の畳み込み層（例えば、畳み込み層９０４、畳み込み層９０６）によって処理されることができる。複数の畳み込み層からの出力は、任意選択で、完全に接続された層９０８のセットによって処理され得る。完全に接続された層のニューロンは、フィードフォワードネットワークで前に説明されたように、前の層の全ての起動に完全に接続する。完全に接続された層９０８からの出力は、ネットワークから出力結果を生成するのに使用され得る。完全に接続された層９０８内の起動は、畳み込みの代わりに行列乗算を使用して計算されることができる。全てのＣＮＮ実装が完全に接続された層９０８を利用するわけではない。例えば、いくつかの実装態様では、畳み込み層９０６はＣＮＮの出力を生成することができる。

【0180】

畳み込み層は疎に接続されており、完全に接続された層９０８に見られる従来のニューラルネットワーク構成とは異なる。従来のニューラルネットワーク層は完全に接続されているため、全ての出力ユニットはあらゆる入力ユニットとインタラクトする。しかし、図示のように、フィールドの畳み込みの出力が（フィールド内の各々のノードのそれぞれの状態値の代わりに）後続の層のノードに入力されるため、畳み込み層は疎に接続されている。畳み込み層に関連付けられたカーネルは、畳み込み演算を実行し、その出力は次の層に送信される。畳み込み層内で実行される次元削減は、ＣＮＮがスケーリングして大きな画像の処理を可能にする一態様である。

【0181】

図９Ｂは、ＣＮＮの畳み込み層内の例示的な演算段階を示す。ＣＮＮの畳み込み層９１２への入力は、畳み込み層９１４の３つの段階で処理されることができる。３つの段階は、畳み込み段階９１６、検出段階９１８、及びプーリング段階９２０を含むことができる。次に、畳み込み層９１４は、連続的畳み込み層にデータを出力することができる。ネットワークの最終の畳み込み層は、出力特徴マップデータを生成し、又は完全に接続された層に入力を提供し、例えばＣＮＮへの入力の分類値を生成できる。

【0182】

畳み込み段階９１６では、いくつかの畳み込みを並列で実行して、線形起動のセットを生成する。畳み込み段階９１６は、線形変換プラス移動として指定されることができる任意の変換であるアフィン変換を含むことができる。アフィン変換には、回転、移動、スケーリング、及びこれらの変換の組み合わせが含まれる。畳み込み段階は、入力内の固有の領域に接続されている関数（例えば、ニューロン）の出力を計算する。これは、ニューロンに関連付けられたローカル領域として決定されることができる。ニューロンは、ニューロンの重みと、ニューロンが接続されているローカル入力の領域との間のドット積を計算する。畳み込み段階９１６からの出力は、畳み込み層９１４の連続的段階によって処理される線形起動のセットを規定する。

【0183】

線形起動は、検出段階９１８によって処理されることができる。検出段階９１８では、各線形起動は非線形起動関数によって処理される。非線形起動関数は、畳み込み層の受容野に影響を与えることなく、ネットワーク全体の非線形的性質を高める。いくつかのタイプの非線形起動関数は、使用され得る。１つの特定のタイプが、ｆ（ｘ）＝ｍａｘ（０，ｘ）として規定される起動関数を使用する正規化線形ユニット（ＲｅＬＵ）であるため、起動はゼロで閾値設定される。

【0184】

プーリング段階９２０は、畳み込み層９０６の出力を近くの出力の要約統計量で置き換えるプーリング関数を使用する。プーリング関数は、ニューラルネットワークに移動不変性を導入するのに使用され得る。その結果、入力への小さな移動は、プールされた出力を変更しない。ローカル移動に対する不変性は、入力データ内の機能の存在が機能の正確な位置よりも重要であるシナリオで有用とすることができる。最大プーリング、平均プーリング、及びｌ２－ノルムプーリングを含む、様々なタイプのプーリング関数は、プーリング段階９２０の間に使用されることができる。更に、いくつかのＣＮＮ実装態様はプーリング段階を含まない。代わりに、そのような実装態様は、先行畳み込み段階に対して増加したストライドを有する追加の畳み込み段階に代わる。

【0185】

次に、畳み込み層９１４からの出力は、次の層９２２によって処理することができる。次の層９２２は、追加の畳み込み層又は完全に接続された層９０８のうちの１つとすることができる。例えば、図９Ａの第１畳み込み層９０４は、第２畳み込み層９０６に出力することができ、一方、第２畳み込み層は、完全に接続された層９０８の第１層に出力することができる。

【0186】

図１０は、例示的な再帰型ニューラルネットワーク１０００を示す。再帰型ニューラルネットワーク（ＲＮＮ）では、ネットワークの前の状態がネットワークの現在の状態の出力に影響する。ＲＮＮは、様々な機能を使用して様々な方法で構築されることができる。ＲＮＮの使用は、一般に、数学的モデルを使用して、以前の一連の入力に基づいて将来を予測することを中心に展開する。例えば、ＲＮＮが、統計的言語モデル化を実行し、前の一連のワードが与えられると、次の単語を予測するのに使用され得る。図示のＲＮＮ１０００は、入力ベクトルを受信する入力層１００２、反復機能を実装するための隠れ層１００４、フィードバックメカニズム１００５を有すると説明されることができ、以前の状態の「メモリ」と、結果を出力するための出力層１００６を有効にする。ＲＮＮ１０００は時間段階に基づいて動作する。所与の時間ステップでのＲＮＮの状態は、フィードバックメカニズム１００５を介して先行時間ステップに基づいて影響を受ける。所与の時間ステップについて、隠れ層１００４の状態は、前の状態及び現在の時間ステップでの入力によって規定される。第１時間ステップでの初期入力（ｘ_１）は、隠れ層１００４で処理されることができる。第２入力（ｘ_２）は、初期入力（ｘ_１）の処理の間に判断される状態情報を使用して、隠れ層１００４によって処理されることができる。所与の状態は、ｓ_ｔ＝ｆ（Ｕｘ_ｔ＋Ｗｓ_ｔ－１）として計算されることができる。Ｕ及びＷはパラメータ行列である。関数ｆは一般に、例えば、双曲線正接関数（Ｔａｎｈ）などの非線形性、又は整流器関数ｆ（ｘ）＝ｍａｘ（０，ｘ）の変形である。しかし、隠れ層１００４で使用される特定の数学的な関数は、ＲＮＮ１０００の特定の実装態様の詳細に応じて変わることができる。

【0187】

説明されている基本的なＣＮＮ及びＲＮＮネットワークに加えて、これらのネットワークの変更を有効にし得る。ある例示的なＲＮＮの変型は、長・短期メモリ（ＬＳＴＭ）ＲＮＮである。ＬＳＴＭ ＲＮＮは、より長い並びの言語を処理するために必要となり得る長期依存を学習できる。ＣＮＮの変形は、ＣＮＮに類似した構造を有し、ディープビリーフネットワークと類似の方式で訓練される畳み込みディープビリーフネットワークである。ディープビリーフネットワーク（ＤＢＮ）は、確率（ランダム）変数の複数の層から構成される生成系ニューラルネットワークである。ＤＢＮは、貪欲な教師なし学習を使用して、層毎に訓練されることができる。次に、ＤＢＮの学習された重みは、ニューラルネットワークの重みの最適な初期セットを決定することにより、事前訓練ニューラルネットワークを提供するのに使用され得る。

【0188】

図１１は、ディープニューラルネットワークの訓練及び展開を示す。所与のネットワークがタスク用に構築されると、ニューラルネットワークは訓練データセット１１０２を使用して訓練される。訓練プロセスのハードウェアアクセラレーションを有効にするために、様々な訓練フレームワーク１１０４が開発されている。例えば、図６の機械学習フレームワーク６０４は、訓練フレームワーク６０４として構成され得る。訓練フレームワーク６０４は、訓練されていないニューラルネットワーク１１０６に接続でき、訓練されていないニューラルネットが本明細書で説明される並列処理リソースを使用して訓練され、訓練されたニューラルネット１１０８を生成可能にする。

【0189】

訓練プロセスを開始するには、初期重みをランダムに又はディープビリーフネットワークを使用して事前訓練することにより選択され得る。訓練サイクルは、次に、教師あり又は教師なしのいずれかの方法で実行される。

【0190】

教師あり学習とは、例えば、訓練データセット１１０２に、入力に所望の出力と組み合わされている入力が含まれる場合、又は訓練データセットに既知の出力を有する入力とニューラルネットワークの出力が含まれ、ネットワークの出力は手動で格付けされる場合など、介入動作として訓練が実行される学習方法である。ネットワークは入力を処理し、結果の出力を予期される出力又は所望の出力のセットに対して比較する。次に、エラーはシステムを通じ戻り伝搬される。訓練フレームワーク１１０４は、訓練されていないニューラルネットワーク１１０６を制御する重みを調整するように調整することができる。訓練フレームワーク１１０４は、どのように上手く訓練されていないニューラルネットワーク１１０６が既知の入力データに基づいて正解を生成するのに好適なモデルに対して収束しているかを監視するツールを提供することができる。ニューラルネットワークによって生成された出力を改善するためにネットワークの重みが調整されると、訓練プロセスを繰り返し行う。ニューラルネットワークが、訓練されたニューラルネット１１０８に関連付けられる統計的に所望の精度に達するまで、訓練プロセスを継続することができる。次に、訓練されたニューラルネットワーク１１０８が展開され、任意の数の機械学習オペレーションを実装して、新たなデータ１１１２の入力に基づいて推論結果１１１４を生成することができる。

【0191】

教師なし学習は、ネットワークが分類されていないデータを使用して自身を訓練しようと試みる学習方法である。従って、教師なし学習の場合、訓練データセット１１０２には、任意の関連付けられる出力データのない入力データが含まれるであろう。訓練されていないニューラルネットワーク１１０６は、分類されていない入力内のグループ化を学習でき、個別の入力がデータセット全体にどのように関連付けられているかを判断できる。教師なし訓練は、自己組織化マップを生成するのに使用され得る。自己組織化マップは、データの次元を削減するのに有用である動作を実行できるタイプの訓練されたニューラルネットワーク１１０８である。教師なし訓練は、異常検出を実行することも使用され得る。これにより、データの通常のパターンから逸脱した入力データセット内のデータポイントを識別することが可能になる。

【0192】

教師あり訓練及び教師なし訓練の変更はまた使用され得る。半教師あり学習は、訓練データセット１１０２に、同じ分散の分類されたデータと分類されていないデータの混合が含まれる技術である。インクリメンタル学習は、教師あり学習の変形であり、入力データが連続して使用され、モデルを更に訓練する。インクリメンタル学習は、訓練されたニューラルネットワーク１１０８が、初期訓練中にネットワーク内に注ぎ込まれた知識を忘れることなく、新たなデータ１１１２に適合することを可能にする。

【0193】

教師あり又は教師なしであるかに関わらず、特にディープニューラルネットワークの訓練プロセスは、単一計算ノードにとって非常に演算集約的であり得る。単一計算ノードを使用する代わりに、計算ノードの分散型ネットワークが、訓練プロセスを加速するのに使用され得る。

【0194】

図１２は、分散型学習を示すブロック図である。分散型学習は、複数の分散型コンピューティングノードを使用して、ニューラルネットワークの教師あり又は教師なし訓練を実行する訓練モデルである。分散型計算ノードは各々、例えば、図７にあるような高並列汎用グラフィック処理ユニット７００などの１又は複数のホストプロセッサ及び１又は複数の汎用処理ノードを含むことができる。図示されているように、分散型学習は、モデル並列処理１２０２、データ並列処理１２０４、又はモデル及びデータ並列処理１２０４の組み合わせで実行されることができる。

【0195】

モデル並列処理１２０２では、分散型システムの異なる計算ノードが、単一ネットワークの異なる部分の訓練演算を実行できる。例えば、ニューラルネットワークの各層は、分散型システムの異なる処理ノードによって訓練されることができる。モデル並列処理の利点には、特に大きなモデルにスケーリングする能力が含まれる。ニューラルネットワークの異なる層に関連付けられた演算を分割すると、全ての層の重みが単一計算ノードのメモリに適合しないであろう非常に大規模なニューラルネットワークの訓練が可能になる。いくつかの例において、モデル並列処理は、大規模なニューラルネットワークの教師なし訓練を実行する際に特に有用とすることができる。

【0196】

データ並列処理１２０４では、分散型ネットワークの異なるノードがモデルの完全なインスタンスを有し、各ノードがデータの異なる部分を受信する。次に、異なるノードからの結果が組み合わされる。データ並列処理には異なるアプローチが可能であるが、データの並列訓練アプローチでは全て、結果を組み合わせて各ノード間でモデルパラメータを同期させる技術が必要である。データを組み合わせるための例示的なアプローチには、パラメータの平均化と更新ベースのデータ並列処理が含まれる。パラメータの平均化は、訓練データのサブセットで各ノードを訓練し、グローバルパラメータ（例えば、重み、バイアス）を各ノードのパラメータの平均に設定する。パラメータの平均化では、パラメータデータを維持する中央パラメータサーバを使用する。更新ベースのデータ並列処理は、ノードからパラメータサーバにパラメータを転送する代わりに、モデルへの更新が転送されることを除いて、パラメータの平均化に類似している。更に、更新ベースのデータ並列処理は、更新がノード間で圧縮及び転送される分散方式で実行されることができる。

【0197】

組み合わせモデル及びデータ並列処理１２０６は、例えば、各計算ノードが複数のＧＰＵを含む分散型システムで実装されることができる。各ノードはモデルの完全なインスタンスを有することができ、各ノード内の別個のＧＰＵはモデルの異なる部分を訓練するために使用される。

【0198】

分散型訓練では、単一マシンでの訓練に対してオーバヘッドが増加している。しかし、本明細書で説明された並列プロセッサ及びＧＰＧＰＵは各々、高帯域幅ＧＰＵ間データ転送および加速されたリモートデータ同期を有効にする技術を含む、分散型訓練のオーバヘッドを削減する様々な技術を実装できる。
［例示的な機械学習アプリケーション］

【0199】

機械学習は、限定されることはないが、コンピュータビジョン、自動運転及びナビゲーション、音声認識、言語処理を含む様々な技術的問題を解決するために適用されることができる。コンピュータビジョンは、従来、機械学習アプリケーションの最もアクティブなリサーチエリアのうちの１つであった。コンピュータビジョンのアプリケーションは、例えば、顔の認識などの人の視覚能力の再生から、視覚能力の新たなカテゴリの作成までの範囲にわたる。例えば、コンピュータビジョンアプリケーションは、映像に可視のオブジェクトで引き起こされる振動からの音波を認識するように構成されることができる。並列プロセッサ加速機械学習により、コンピュータビジョンアプリケーションが、既に実現可能であったものよりも膨大な訓練データセットを使用して訓練されることが可能になり、また推論システムが低電力並列プロセッサを使用して展開されることが可能になる。

【0200】

並列プロセッサ加速機械学習は、レーン及び道路標識認識、障害物回避、ナビゲーション、及び運転制御を含む自動運転アプリケーションを有する。加速機械学習技術が、固有の訓練入力に対する適切な応答を規定するデータセットに基づいて駆動モデルを訓練するのに使用され得る。本明細書で説明される並列プロセッサは、自動運転ソリューションに使用されるますます複雑化するニューラルネットワークの迅速な訓練を可能にすることができ、自律走行車への統合に好適なモバイルプラットフォームでの低電力推論プロセッサの展開を可能にする。

【0201】

並列プロセッサ加速ディープニューラルネットワークにより、自動音声認識（ＡＳＲ）への機械学習アプローチが可能になった。ＡＳＲには、入力アコースティックシーケンスが与えられたときに最も可能性の高い言語シーケンスを計算する関数の作成が含まれる。ディープニューラルネットワークを使用した加速機械学習により、既にＡＳＲに使用されていた隠れＭａｒｋｏｖモデル（ＨＭＭ）とＧａｕｓｓｉａｎ混合モデル（ＧＭＭ）の置き換えが可能になった。

【0202】

並列プロセッサ加速機械学習はまた、自然言語処理を加速するために使用されることができる。自動学習手順では、統計的推論アルゴリズムを利用して、誤った又は見知らぬ入力に対してロバストなモデルを生成できる。例示的な自然言語プロセッサアプリケーションには、人間の言語間の自動機械翻訳が含まれる。

【0203】

機械学習に使用される並列処理プラットフォームは、訓練プラットフォームと展開プラットフォームに分割されることができる。訓練プラットフォームは一般に非常に並列であり、マルチＧＰＵ単一ノード訓練及びマルチノード、マルチＧＰＵ訓練を加速するための最適化が含まれている。訓練に適した例示的な並列プロセッサは、図７の汎用グラフィック処理ユニット７００及び図８マルチＧＰＵコンピューティングシステム８００を含む。それどころか、展開された機械学習プラットフォームには、一般に、例えば、カメラ、自律ロボット、自律走行車などの製品に使用するために好適な低電力の並列プロセッサが含まれている。

【0204】

図１３は、訓練されたモデルを使用して推論を実行するのに好適な例示的な推論システムオンチップ（ＳＯＣ）１３００を示す。ＳＯＣ １３００は、メディアプロセッサ１３０２、ビジョンプロセッサ１３０４、ＧＰＧＰＵ １３０６、及びマルチコアプロセッサ１３０８を含む処理コンポーネントを統合できる。ＳＯＣ１３００は、処理コンポーネントの各々によってアクセス可能な共有オンチップデータプールを有効にすることができるオンチップメモリ１３０５を更に含むことができる。処理コンポーネントは低電力動作用に最適化され、自律走行車及び自律ロボットを含む様々な機械学習プラットフォームへの展開を可能にすることができる。例えば、ＳＯＣ１３００の一実装態様は、自律走行車の主制御システムの一部として使用されることができる。ＳＯＣ１３００が自律走行車に使用するために構成されている場合、ＳＯＣは、展開管轄区域の関連機能安全性規格に準拠するように設計及び構成されている。

【0205】

動作中、メディアプロセッサ１３０２及びビジョンプロセッサ１３０４は、同時に動作して、コンピュータビジョン演算を加速することができる。メディアプロセッサ１３０２は、複数の高解像度（例えば、４Ｋ、８Ｋ）ビデオストリームの低レイテンシなデコードを有効にすることができる。デコードされたビデオストリームは、オンチップメモリ１３０５のバッファに書き込まれることができる。次に、ビジョンプロセッサ１３０４は、訓練された画像認識モデルを使用してフレームを処理する準備として、デコードされた映像を解析し、デコードされた映像のフレームに対して予備処理オペレーションを実行することができる。例えば、ビジョンプロセッサ１３０４は、高解像度映像データに対して画像認識を実行するために使用されるＣＮＮのための畳み込み演算を加速することができ、一方、バックエンドモデル演算は、ＧＰＧＰＵ１３０６によって実行される。

【0206】

マルチコアプロセッサ１３０８は、メディアプロセッサ１３０２及びビジョンプロセッサ１３０４によって実行されるデータ転送及び共有メモリ動作のシーケンシング及び同期を支援する制御ロジックを含むことができる。マルチコアプロセッサ１３０８はまた、ＧＰＧＰＵ１３０６の推論計算機能を利用することができるソフトウェアアプリケーションを実行するためのアプリケーションプロセッサとして機能することができる。例えば、ナビゲーション及びドライブロジックの少なくとも一部は、マルチコアプロセッサ１３０８上で実行されるソフトウェアで実装されることができる。そのようなソフトウェアは、計算ワークロードを直接ＧＰＧＰＵ１３０６に発行することができる、又は計算ワークロードはマルチコアプロセッサ１３０８に発行されることができ、これらの動作の少なくとも一部をＧＰＧＰＵ１３０６にオフロードできる。

【0207】

ＧＰＧＰＵ１３０６は、例えば、汎用グラフィック処理ユニット７００内の計算クラスタ７０６Ａ～７０６Ｈの低電力構成などの計算クラスタを含むことができる。ＧＰＧＰＵ１３０６内の計算クラスタは、訓練されたニューラルネットワーク上で推論演算を実行するように特に最適化された命令をサポートできる。例えば、ＧＰＧＰＵ１３０６は、例えば、８ビット及び４ビット整数ベクトル演算などの低精度演算を実行するための命令をサポートすることができる。
［システム概要］

【0208】

図１４は、一実施形態による、処理システム１４００のブロック図である。システム１４００は、単一プロセッサデスクトップシステム、マルチプロセッサワークステーションシステム、又は多数のプロセッサ１４０２又はプロセッサコア１４０７を有するサーバシステムで使用され得る。一実施形態において、システム１４００は、モバイル、ハンドヘルド、又は、例えば、ローカル又はワイドエリアネットワークへの有線又は無線接続性を備えたモノのインターネット（ＩｏＴ）デバイス内など埋め込みデバイスに使用するためのシステムオンチップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。

【0209】

一実施形態において、システム１４００は、サーバベースのゲームプラットフォーム、ゲーム及びメディアコンソールを含むゲームコンソール、モバイルゲームコンソール、ハンドヘルドゲームコンソール、又はオンラインゲームコンソールを含む、連結する、又はに統合されることができる。いくつかの実施形態において、システム１４００は、携帯電話、スマートフォン、タブレットコンピューティングデバイス、又は例えば、内部記憶容量が低いラップトップなどのモバイルインターネット接続デバイスの一部である。処理システム１４００はまた、例えば、スマートウォッチウェアラブルデバイス、拡張現実（ＡＲ）又は仮想現実（ＶＲ）機能で強化された、視覚、音声、又は触覚出力を提供して、実際の世界の視覚、音声、又は触覚体験を補足するか、又はテキスト、音声、グラフィック、映像、ホログラフィック画像又は映像、又は別の場合、触覚フィードバックを提供するスマートなアイウェア又は衣類、他の拡張現実（ＡＲ）デバイス、又は他の仮想現実（ＶＲ）デバイスなどのウェアラブルデバイスを含む、連結する、又はに統合されることができる。いくつかの実施形態において、処理システム１４００は、テレビ又はセットトップボックスデバイスを含むか、又はその一部である。一実施形態において、システム１４００は、例えば、バス、トラクタートレーラー、自動車、モーター又は電力サイクル、飛行機又はグライダー（又はそれらの任意の組み合わせ）などの自動運転車両を含むか、それに連結するか、又はその中に統合されることができる。自動運転車両は、システム１４００を使用して、車両の周囲で感知された環境を処理し得る。

【0210】

いくつかの実施形態において、１又は複数のプロセッサ１４０２は各々、実行される場合、システム又はユーザソフトウェアの動作を実行する命令を処理するために１又は複数のプロセッサコア１４０７を含む。いくつかの実施形態において、１又は複数のプロセッサコア１４０７のうちの少なくとも１つは、特定の命令セット１４０９を処理するように構成される。いくつかの実施形態において、命令セット１４０９は、複合命令セットコンピューティング（ＣＩＳＣ）、縮小命令セットコンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを介したコンピューティングを容易にし得る。１又は複数のプロセッサコア１４０７は、他の命令セットのエミュレーションを容易にするための命令を含み得る、異なる命令セット１４０９を処理し得る。プロセッサコア１４０７はまた、例えば、デジタル信号プロセッサ（（ＤＳＰ）などの他の処理デバイスを含み得る。

【0211】

いくつかの実施形態において、プロセッサ１４０２は、キャッシュメモリ１４０４を含む。アーキテクチャに応じて、プロセッサ１４０２は、単一内部キャッシュ又は複数のレベルの内部キャッシュを有することができる。いくつかの実施形態において、キャッシュメモリは、プロセッサ１４０２の様々なコンポーネント間で共有される。いくつかの実施形態において、プロセッサ１４０２はまた、外部キャッシュ（例えば、レベル３（Ｌ３）キャッシュ又はラストレベルキャッシュ（ＬＬＣ））（図示せず）を使用し、これは、既知のキャッシュコヒーレンシ技術を使用してプロセッサコア１４０７間で共有され得る。レジスタファイル１４０６は、プロセッサ１４０２に更に含まれることができ、異なるタイプのデータ（例えば、整数レジスタ、浮動小数点レジスタ、状態スレジスタ、及び命令ポインタレジスタ）を格納するための異なるタイプのレジスタを含み得る。いくつかのレジスタは、汎用レジスタであり得る一方、他のレジスタは、プロセッサ１４０２の設計に固有であり得る。

【0212】

いくつかの実施形態において、１又は複数のプロセッサ１４０２は、１又は複数のインタフェースバス１４１０と連結され、例えば、アドレス、データ、又は制御信号などの通信信号を、プロセッサ１４０２とシステム１４００の他のコンポーネントとの間で送信する。一実施形態において、インタフェースバス１４１０は、例えば、ダイレクトメディアインタフェース（ＤＭＩ）バスのバージョンなどのプロセッサバスとすることができる。しかし、プロセッサバスはＤＭＩバスに限定されることはなく、１又は複数のペリフェラルコンポーネントインターコネクトバス（例えば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）、メモリバス、又は他のタイプのインタフェースバスを含み得る。一実施形態において、プロセッサ１４０２は、集積メモリコントローラ１４１６及びプラットフォームコントローラハブ１４３０を含む。メモリコントローラ１４１６は、メモリデバイスとシステム１４００の他のコンポーネントとの間の通信を容易にする一方、プラットフォームコントローラハブ（ＰＣＨ）１４３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。

【0213】

メモリデバイス１４２０は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、静的ランダムアクセスメモリ（ＳＲＡＭ）デバイス、フラッシュメモリデバイス、相変化メモリデバイス、又はプロセスメモリとして機能するのに好適な性能を有するいくつかの他のメモリデバイスとすることができる。一実施形態において、メモリデバイス１４２０は、システム１４００のシステムメモリとして動作して、１又は複数のプロセッサ１４０２がアプリケーション又はプロセスを実行する場合に使用するデータ１４２２及び命令１４２１を格納することができる。メモリコントローラ１４１６はまた、任意選択の外部グラフィックプロセッサ１４１８と連結し、プロセッサ１４０２内の１又は複数のグラフィックプロセッサ１４０８と通信して、グラフィック及びメディアオペレーションを実行し得る。いくつかの実施形態において、グラフィック、メディア、又は計算演算は、グラフィック、メディア、及び／又は計算演算の専用のセットを実行するように構成されることができるコプロセッサであるアクセラレータ１４１２によって支援され得る。例えば、一実施形態において、アクセラレータ１４１２は、機械学習又は計算演算を最適化するために使用される行列乗算アクセラレータである。一実施形態において、アクセラレータ１４１２は、グラフィックプロセッサ１４０８と連携してレイトレーシングオペレーションを実行するために使用されることができるレイトレーシングアクセラレータである。一実施形態において、外部アクセラレータ１４１９は、アクセラレータ１４１２の代わりに、又はアクセラレータ１４１２と連携して使用され得る。

【0214】

いくつかの実施形態において、ディスプレイデバイス１４１１は、プロセッサ１４０２に接続することができる。ディスプレイデバイス１４１１は、モバイル電子デバイス又はラップトップデバイス、又はディスプレイインタフェース（例えば、ＤｉｓｐｌａｙＰｏｒｔなど）を介して取り付けられた外部ディスプレイデバイスにあるような、１又は複数の内部ディスプレイデバイスとすることができる。一実施形態において、ディスプレイデバイス１４１１は、例えば、仮想現実（ＶＲ）アプリケーション又は拡張現実（ＡＲ）アプリケーションに使用するための立体ディスプレイデバイスなどのヘッドマウントディスプレイ（ＨＭＤ）とすることができる。

【0215】

いくつかの実施形態において、プラットフォームコントローラハブ１４３０は、周辺機器が高速Ｉ／Ｏバスを介してメモリデバイス１４２０及びプロセッサ１４０２に接続することを可能にする。Ｉ／Ｏ周辺機器には、限定されることはないが、音声コントローラ１４４６、ネットワークコントローラ１４３４、ファームウェアインタフェース１４２８、無線トランシーバ１４２６、タッチセンサ１４２５、データストレージデバイス１４２４（例えば、不揮発性メモリ、揮発性メモリ、ハードディスクドライブ、フラッシュメモリ、ＮＡＮＤ、３Ｄ ＮＡＮＤ、３Ｄ ＸＰｏｉｎｔなど）が含まれる。データストレージデバイス１４２４は、ストレージインタフェース（例えば、ＳＡＴＡ）を介して、又は、例えば、周辺機器コンポーネントインターコネクトバス（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）（例えば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）などの周辺機器バスを介して接続することができる。タッチセンサ１４２５は、タッチスクリーンセンサ、圧力センサ、又は指紋センサを含むことができる。無線トランシーバ１４２６は、Ｗｉ－Ｆｉトランシーバ、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、又は、例えば、３Ｇ、４Ｇ、５Ｇ、又はロングタームエボリューション（ＬＴＥ）トランシーバなどのモバイルネットワークトランシーバとすることができる。ファームウェアインタフェース１４２８は、システムファームウェアとの通信を可能にし、例えば、統合拡張可能なファームウェアインタフェース（ＵＥＦＩ）とすることができる。ネットワークコントローラ１４３４は、有線ネットワークへのネットワーク接続を可能にすることができる。いくつかの実施形態において、高性能ネットワークコントローラ（図示せず）は、インタフェースバス１４１０と連結する。音声コントローラ１４４６は、一実施形態において、マルチチャネル高解像度音声コントローラである。一実施形態において、システム１４００は、レガシ（例えば、Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ２（ＰＳ／２））デバイスをシステムに連結するための任意選択的なレガシＩ／Ｏコントローラ１４４０を含む。プラットフォームコントローラハブ１４３０はまた、例えば、キーボードとマウス１４４３の組み合わせ、カメラ１４４４、又は他のＵＳＢ入力デバイスなどの入力デバイスを接続する１又は複数のユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）（ＵＳＢ）コントローラ１４４２に接続できる。

【0216】

示されているシステム１４００は、別々に構成された他のタイプのデータ処理システムはまた使用され得るため、例示的であり、限定ではないことが理解されるであろう。例えば、メモリコントローラ１４１６及びプラットフォームコントローラハブ１４３０のインスタンスは、例えば、外部グラフィックプロセッサ１４１８などの別個の外部グラフィックプロセッサに統合され得る。一実施形態において、プラットフォームコントローラハブ１４３０及び／又はメモリコントローラ１４１６は、１又は複数のプロセッサ１４０２の外部にあり得る。例えば、システム１４００は、外部メモリコントローラ１４１６及びプロセッサ１４０２と通信するシステムチップセット内のメモリコントローラハブ及び周辺機器コントローラハブとして構成され得る、プラットフォームコントローラハブ１４３０を含むことができる。

【0217】

例えば、ＣＰＵ、メモリ、及びその他のコンポーネントなどのコンポーネントが配置されている回路基板（「スレッド」）は使用されることができ、熱性能を高めるために設計される。いくつかの例において、例えば、プロセッサなどの処理コンポーネントはスレッドの上側に位置され一方、例えば、ＤＩＭＭなどの近くのメモリはスレッドの下側に位置される。この設計によって提供された強化された気流の結果として、コンポーネントは典型的なシステムよりも高い周波数及び電力レベルで動作し得、これにより性能が高まる。更に、スレッドはラック内の電源及びデータ通信ケーブルと盲目的にかみ合うように構成されているため、迅速に除去され、アップグレード、及び／又は再インストール、又は置き換えられるそれらの能力を拡張する。同様に、例えば、プロセッサ、アクセラレータ、メモリ、及びデータストレージドライブなどのスレッドに位置されたプロセッサ個別のコンポーネントは、これらの互いの空間が増すことにより、容易にアップグレードされるように構成されている。例示的な実施形態において、コンポーネントは、それらの真正性を証明するためにハードウェア証明機能を更に含む。

【0218】

データセンターは、イーサネット（登録商標）及びオムニ経路を含む他の複数のネットワークアーキテクチャをサポートする単一ネットワークアーキテクチャ（「ファブリック」）を利用できる。スレッドは、光ファイバーを介してスイッチに連結されることができる。これにより、典型的なツイストペアケーブル配線（例えば、カテゴリ５、カテゴリ５ｅ、カテゴリ６など）よりも高い帯域幅と低いレイテンシを提供する。高帯域幅、低レイテンシの相互接続及びネットワークアーキテクチャにより、データセンターは、使用中、例えば、メモリ、アクセラレータ（例えば、ＧＰＵ、グラフィックアクセラレータ、ＦＰＧＡ、ＡＳＩＣ、ニューラルネットワーク及び／又は人工知能アクセラレータなど）、及びデータストレージドライブなどのリソースをプールし得、それらは物理的に分解され、必要に応じてこれらを計算リソース（例えば、プロセッサ）に提供し、計算リソースがローカルであるかのようにプールされたリソースにアクセスが可能になる。

【0219】

電力供給又は電源は、システム１４００又は本明細書で説明される任意のコンポーネント又はシステムに電圧及び／又は電流を提供することができる。一例において、電力供給は、壁のコンセントに差し込むためのＡＣ－ＤＣ（交流電流から直流電流へ）アダプタを含む。そのようなＡＣ電力は、再生可能エネルギー（例えば、太陽光発電）電源とすることができる。一例において、電源は、例えば、外部ＡＣ－ＤＣコンバータなどのＤＣ電源を含む。一例において、電源又は電力供給は、充電野の近接を介して充電する無線充電ハードウェアを含む。一例において、電源は、内部バッテリ、交流電流供給、動きベースの電力供給、太陽光電力供給、又は燃料電池電源を含むことができる。

【0220】

図１５Ａ～１５Ｃは、本明細書で説明される実施形態によって提供されるコンピューティングシステム及びグラフィックプロセッサを示す。本明細書における任意の他の図面の要素と同じ参照番号（又は名称）を有する図１５Ａ～１５Ｃの要素は、本明細書の他の箇所で説明されているのと類似の任意の方法で動作又は機能できるが、そのようなものに限定されることはない。

【0221】

図１５Ａは、１又は複数のプロセッサコア１５０２Ａ～１５０２Ｎ、集積メモリコントローラ１５１４、及び統合グラフィックプロセッサ１５０８を有するプロセッサ１５００の一実施形態のブロック図である。プロセッサ１５００は、破線の枠で表される追加のコア１５０２Ｎまで含む追加のコアを含むことができる。プロセッサコア１５０２Ａ～１５０２Ｎの各々は、１又は複数の内部キャッシュユニット１５０４Ａ～１５０４Ｎを含む。いくつかの実施形態において、各プロセッサコアはまた、１又は複数の共有キャッシュユニット１５０６へのアクセスを有する。内部キャッシュユニット１５０４Ａ～１５０４Ｎ及び共有キャッシュユニット１５０６は、プロセッサ１５００内のキャッシュメモリ階層を表す。キャッシュメモリ階層は、各プロセッサコア内の少なくとも１つのレベルの命令及びデータキャッシュと、例えば、レベル１５（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）、又は他のレベルのキャッシュなどの１又は複数のレベルの共有中間レベルキャッシュを含み得る。外部メモリの前のキャッシュの最高レベルがＬＬＣとして分類される。いくつかの実施形態において、キャッシュコヒーレンシロジックは、様々なキャッシュユニット１５０６と１５０４Ａ～１５０４Ｎとの間のコヒーレンシを維持する。

【0222】

いくつかの実施形態において、プロセッサ１５００はまた、１又は複数のバスコントローラユニット１６１６のセット及びシステムエージェントコア１５１０を含み得る。１又は複数のバスコントローラユニット１６１６は、例えば、１又は複数のＰＣＩ又はＰＣＩ Ｅｘｐｒｅｓｓバスなどの周辺機器バスのセットを管理する。システムエージェントコア１５１０は、様々なプロセッサコンポーネントに管理機能を提供する。いくつかの実施形態において、システムエージェントコア１５１０は、様々な外部メモリデバイス（図示せず）へのアクセスを管理するための１又は複数の集積メモリコントローラ１５１４を含む。

【0223】

いくつかの実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎの１又は複数は、同時マルチスレッディングのサポートを含む。そのような実施形態において、システムエージェントコア１５１０は、複数のスレッド処理の間にコア１５０２Ａ～１５０２Ｎを調整及び動作するためのコンポーネントを含む。システムエージェントコア１５１０は、プロセッサコア１５０２Ａ～１５０２Ｎ及びグラフィックプロセッサ１５０８の電力状態を規制するためのロジック及びコンポーネントを含む電力制御ユニット（ＰＣＵ）を更に含み得る。

【0224】

いくつかの実施形態において、プロセッサ１５００は、グラフィック処理オペレーションを実行するためのグラフィックプロセッサ１５０８を更に含む。いくつかの実施形態において、グラフィックプロセッサ１５０８は、共有キャッシュユニット１５０６のセット、及び１又は複数の集積メモリコントローラ１５１４を含むシステムエージェントコア１５１０と連結する。いくつかの実施形態において、システムエージェントコア１５１０は、グラフィックプロセッサ出力を１又は複数の連結されたディスプレイに駆動するディスプレイコントローラ１５１１も含む。いくつかの実施形態において、ディスプレイコントローラ１５１１はまた、少なくとも１つの相互接続を介してグラフィックプロセッサと連結された別個のモジュールであり得るか、又はグラフィックプロセッサ１５０８内に統合され得る。

【0225】

いくつかの実施形態において、リングベースの相互接続ユニット１５１２は、プロセッサ１５００の内部コンポーネントを連結するために使用される。しかし、例えば、ポイントツーポイント相互接続、スイッチ型相互接続、又は当技術分野で既知の技術を含む他の技術など、代替の相互接続ユニットは使用され得る。いくつかの実施形態において、グラフィックプロセッサ１５０８は、Ｉ／Ｏリンク１５１３を介してリング相互接続１５１２と連結する。

【0226】

例示的なＩ／Ｏリンク１５１３は、様々なプロセッサコンポーネントと、例えば、ｅＤＲＡＭモジュールなどの高性能埋め込みメモリモジュール１５１８との間の通信を容易にするオンパッケージＩ／Ｏ相互接続を含む、複数の様々なＩ／Ｏ相互接続のうちの少なくとも１つを表す。いくつかの実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎ及びグラフィックプロセッサ１５０８の各々は、埋め込みメモリモジュール１５１８を共有ラストレベルキャッシュとして使用することができる。

【0227】

いくつかの実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎは、同じ命令セットアーキテクチャを実行する同種のコアである。別の実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎは、命令セットアーキテクチャ（ＩＳＡ）に関して異種であり、プロセッサコア１５０２Ａ～１５０２Ｎの１又は複数が第１命令セットを実行し、一方、他のコアのうちの少なくとも１つが第１命令セットのサブセット又は異なる命令セットを実行する。一実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎは、マイクロアーキテクチャに関して異種であり、相対的に消費電力が高い１又は複数のコアが、消費電力が少ない１又は複数の電力コアと連結する。一実施形態において、プロセッサコア１５０２Ａ～１５０２Ｎは、演算機能に関して異種である。更に、プロセッサ１５００は、１又は複数のチップ上で、又は他のコンポーネントに加えて、図示されたコンポーネントを有するＳｏＣ集積回路として実装されることができる。

【0228】

図１５Ｂは、本明細書で説明されるいくつかの実施形態による、グラフィックプロセッサコア１５１９のハードウェアロジックのブロック図である。本明細書における任意の他の図面の要素と同じ参照番号（又は名称）を有する図１５Ｂの要素は、本明細書の他の箇所で説明されているのと類似の任意の方法で動作又は機能できるが、そのようなものに限定されることはない。時折コアスライスと称されることがあるグラフィックプロセッサコア１５１９は、モジュールグラフィックプロセッサ内の１又は複数のグラフィックコアにすることができる。グラフィックプロセッサコア１５１９は、１つのグラフィックコアスライスの例であり、本明細書で説明されるグラフィックプロセッサは、目標電力及び性能エンベロープに基づく複数のグラフィックコアスライスを含み得る。各グラフィックプロセッサコア１５１９は、汎用及び固定機能ロジックのモジュールブロックを含む、またサブスライスと称される複数のサブコア１５２１Ａ～１５２１Ｆと連結された固定機能ブロック１５３０を含むことができる。

【0229】

いくつかの実施形態において、固定機能ブロック１５３０は、例えば、より低い性能及び／又はより低電力のグラフィックプロセッサの実装態様において、グラフィックプロセッサコア１５１９の全てのサブコアによって共有されることができるジオメトリ／固定機能パイプライン１５３１を含む。様々な実施形態において、ジオメトリ／固定機能パイプライン１５３１は、３Ｄ固定機能パイプライン（例えば、以下に説明される図１６Ａにあるような３Ｄパイプライン１６１２）、ビデオフロントエンドユニット、スレッドスポーナ及びスレッドディスパッチャ、及び統合戻りバッファマネージャーを含み、これは、統合戻りバッファを管理する（例えば、以下に説明されるように、図１７の統合戻りバッファ１７１８）。

【0230】

一実施形態において、固定機能ブロック１５３０はまた、グラフィックＳｏＣインタフェース１５３２、グラフィックマイクロコントローラ１５３３、及びメディアパイプライン１５３４を含む。グラフィックＳｏＣインタフェース１５３２は、チップ集積回路上のシステム内のグラフィックプロセッサコア１５１９と他のプロセッサコアとの間のインタフェースを提供する。グラフィックマイクロコントローラ１５３３は、スレッドディスパッチ、スケジューリング、先取りを含む、グラフィックプロセッサコア１５１９の様々な機能を管理するように構成可能なプログラマブルサブプロセッサである。メディアパイプライン１５３４（例えば、図１６Ａ及び図１７のメディアパイプライン１６１６）は、画像及び映像データを含むマルチメディアデータのデコード、エンコーディング、前処理、及び／又は後処理を容易にするロジックを含む。メディアパイプライン１５３４は、サブコア１５２１～１５２１Ｆ内の計算又はサンプリングロジックへの要求を介してメディアオペレーションを実装する。

【0231】

一実施形態において、ＳｏＣインタフェース１５３２は、グラフィックプロセッサコア１５１９が、ＳｏＣ内の汎用アプリケーションプロセッサコア（例えば、ＣＰＵ）及び／又は他のコンポーネントと通信することを可能にし、例えば、共有ラストレベルキャッシュメモリ、システムＲＡＭ、及び／又は埋め込み型オンチップ又はオンパッケージＤＲＡＭなどのメモリ階層要素を含む。ＳｏＣインタフェース１５３２はまた、例えば、カメライメージングパイプラインなどのＳｏＣ内の固定機能デバイスとの通信を可能にすることができ、グラフィックプロセッサコア１５１９とＳｏＣ内のＣＰＵとの間で共有され得るグローバルメモリアトミックの使用及び／又は実装を可能にする。ＳｏＣインタフェース１５３２はまた、グラフィックプロセッサコア１５１９のための電力管理制御を実装し、グラフィックコア１５１９のクロックドメインとＳｏＣ内の他のクロックドメインとの間のインタフェースを可能にすることができる。一実施形態において、ＳｏＣインタフェース１５３２は、グラフィックプロセッサ内の１又は複数のグラフィックコアの各々にコマンド及び命令を提供するように構成されたコマンドストリーマ及びグローバルスレッドディスパッチャからのコマンドバッファの受信を可能にする。コマンド及び命令は、メディアオペレーションが実行される場合はメディアパイプライン１５３４に、又はグラフィック処理オペレーションが実行される場合は、ジオメトリ及び固定機能パイプライン（例えば、ジオメトリ及び固定機能パイプライン１５３１、ジオメトリ及び固定機能パイプライン１５３７）にディスパッチされることができる。

【0232】

グラフィックマイクロコントローラ１５３３は、グラフィックプロセッサコア１５１９のための様々なスケジューリング及び管理タスクを実行するように構成されることができる。一実施形態において、グラフィックマイクロコントローラ１５３３は、サブコア１５２１Ａ～１５２１Ｆ内の実行ユニット（ＥＵ）配列１５２２Ａ～１５２２Ｆ、１５２４Ａ～１５２４Ｆ内の様々なグラフィック並列エンジン上でグラフィックを実行し、及び／又はワークロードスケジューリングを計算することができる。このスケジューリングモデルでは、グラフィックプロセッサコア１５１９を含むＳｏＣのＣＰＵコア上で実行されるホストソフトウェアが、適切なグラフィックエンジンでスケジューリング演算を呼び出す複数のグラフィックプロセッサドアベルの１つにワークロードを提示できる。スケジューリング演算には、次に実行するワークロードの決定、コマンドストリーマへのワークロードの提示、エンジン上で実行されている既存のワークロードのプリエンプト、ワークロードの経過の監視、ワークロードが完了した場合のホストソフトウェアへの通知が含まれる。一実施形態において、グラフィックマイクロコントローラ１５３３はまた、グラフィックプロセッサコア１５１９の低電力又はアイドル状態を容易にすることができ、グラフィックプロセッサコア１５１９に、オペレーティングシステム及び／又はシステム上のグラフィックドライバソフトウェアから独立して低電力状態移行全体でグラフィックプロセッサコア１５１９内のレジスタを保存及び復元する能力を提供する。

【0233】

グラフィックプロセッサコア１５１９は、図示されているサブコア１５２１Ａ～１５２１Ｆよりも大きい又はより少ない最大Ｎ個のモジュールサブコアを有し得る。Ｎ個のサブコアのセット毎に、グラフィックプロセッサコア１５１９は、共有機能ロジック１５３５、共有及び／又はキャッシュメモリ１５３６、ジオメトリ／固定機能パイプライン１５３７、及び追加の固定機能ロジック１５３８も含むことができ、様々なグラフィック及び計算処理オペレーションを加速する。共有機能ロジック１５３５は、図１７の共有機能ロジック１７２０（例えば、サンプラ、数学、及び／又はスレッド間通信ロジック）に関連付けられる論理ユニットを含むことができる。これは、グラフィックプロセッサコア１５１９内の各Ｎ個のサブコアにより共有されることができる。共有及び／又はキャッシュメモリ１５３６は、グラフィックプロセッサコア１５１９内のＮ個のサブコア１５２１Ａ～１５２１Ｆのセットのラストレベルキャッシュとすることができ、また複数のサブコアによってアクセス可能な共有メモリとして機能できる。ジオメトリ／固定機能パイプライン１５３７は、固定機能ブロック１５３０内のジオメトリ／固定機能パイプライン１５３１の代わりに含まれることができ、同じ又は類似の論理ユニットを含むことができる。

【0234】

一実施形態において、グラフィックプロセッサコア１５１９は、グラフィックプロセッサコア１５１９によって使用される様々な固定機能アクセラレーションロジックを含むことができる追加の固定機能ロジック１５３８を含む。一実施形態において、追加の固定機能ロジック１５３８は、位置のみのシェーディングに使用するための追加のジオメトリパイプラインを含む。位置のみのシェーディングでは、２つのジオメトリパイプラインが存在し、ジオメトリ／固定機能パイプライン１５３８、１５３１内の完全なジオメトリパイプラインと、追加の固定機能ロジック１５３８に含まれ得る追加のジオメトリパイプラインであるカルパイプラインである。一実施形態において、カルパイプラインは、完全なジオメトリパイプラインの縮小バージョンである。完全なパイプライン及びカルパイプラインは、同じアプリケーションの異なるインスタンスを実行できる。各インスタンスは別個のコンテキストを有する。位置のみのシェーディングでは、破棄された三角形の長いカル実行を隠すことができるため、いくつかのインスタンスではシェーディングをより早く終了されることが可能である。例えば、一実施形態において、追加の固定機能ロジック１５３８内のカルパイプラインロジックは、メインアプリケーションと並列して位置シェーダを実行でき、一般に、カルパイプラインが、フレームバッファへの画素のラスタライズ及びレンダリングは実行せずに頂点の位置属性のみをフェッチ及びシェーディングするため、完全なパイプラインよりも速く重要な結果を生成する。カルパイプラインは、生成された重要な結果を使用して、これらの三角形がカリングされているかどうかに関係なく、全ての三角形の可視性情報を計算できる。完全なパイプライン（このインスタンスにおいてリプレイパイプラインと称される場合がある）は、可視情報を消費して、カリングされた三角形をスキップして、最終的にラスタライズフェーズに渡される可視の三角形のみをシェーディングできる。

【0235】

一実施形態において、追加の固定機能ロジック１５３８はまた、機械学習訓練又は推論の最適化を含む実装態様のために、例えば、固定機能行列乗算ロジックなどの機械学習アクセラレーションロジックを含むことができる。

【0236】

各グラフィックサブコア１５２１Ａ～１５２１Ｆ内には、グラフィックパイプライン、メディアパイプライン、又はシェーダプログラムによる要求に応答してグラフィック、メディア、及び計算演算を実行するために使用され得る実行リソースのセットが含まれている。グラフィックサブコア１５２１Ａ～１５２１Ｆは、複数のＥＵ配列１５２２Ａ～１５２２Ｆ、１５２４Ａ～１５２４Ｆ、スレッドディスパッチ及びスレッド間通信（ＴＤ／ＩＣ）ロジック１５２３Ａ～１５２３Ｆ、３Ｄ（例えば、テクスチャ）サンプラ１５２５Ａ～１５２５Ｆ、メディアサンプラ１５０６Ａ～１５０６Ｆ、シェーダプロセッサ１５２７Ａ～１５２７Ｆ、及び共有ローカルメモリ（ＳＬＭ）１５２８Ａ～１５２８Ｆを含む。ＥＵ配列１５２２Ａ～１５２２Ｆ、１５２４Ａ～１５２４Ｆは各々複数の実行ユニットを含み、これらは、グラフィック、メディア、又は計算シェーダプログラムを含む、グラフィック、メディア、又は計算演算の稼働中、浮動小数点及び整数／固定小数点の論理演算を実行できる汎用グラフィック処理ユニットである。ＴＤ／ＩＣロジック１５２３Ａ～１５２３Ｆは、サブコア内の実行ユニットに対してローカルスレッドディスパッチ及びスレッド制御動作を実行し、サブコアの実行ユニット上で実行されているスレッド間の通信を容易にする。３Ｄサンプラ１５２５Ａ～１５２５Ｆは、テクスチャ又はその他の３Ｄグラフィック関連データをメモリに読み出すことができる。３Ｄサンプラは、構成されたサンプル状態と所与のテクスチャに関連付けられたテクスチャフォーマットに基づいて、テクスチャデータを別々に読み出すことができる。メディアサンプラ１５０６Ａ～１５０６Ｆは、メディアデータに関連付けられるタイプ及びフォーマットに基づいて、類似の読み出しオペレーションを実行することができる。一実施形態において、各グラフィックサブコア１５２１Ａ～１５２１Ｆは、統合３Ｄ及びメディアサンプラを交互に含むことができる。サブコア１５２１Ａ～１５２１Ｆの各々内の実行ユニット上で実行されるスレッドは、各サブコア内の共有ローカルメモリ１５２８Ａ～１５２８Ｆを利用することができ、スレッドグループ内で実行されるスレッドがオンチップメモリの共通のプールを使用して実行することを可能にする。

【0237】

図１５Ｃは、本明細書で説明される実施形態による、グラフィックプロセッサ及び／又は計算アクセラレータとして構成されることができる汎用グラフィック処理ユニット（ＧＰＧＰＵ）１５７０のブロック図である。ＧＰＧＰＵ １５７０は、１又は複数のシステム及び／又はメモリバスを介して、ホストプロセッサ（例えば、１又は複数のＣＰＵ１５４６）及びメモリ１５７１、１５７２と相互接続することができる。一実施形態において、メモリ１５７１は、１又は複数のＣＰＵ１５４６と共有され得るシステムメモリであり、一方、メモリ１５７２は、ＧＰＧＰＵ１５７０専用のデバイスメモリである。一実施形態において、ＧＰＧＰＵ１５７０及びデバイスメモリ１５７２内のコンポーネントは、１又は複数のＣＰＵ１５４６にアクセス可能なメモリアドレスにマッピングされ得る。メモリ１５７１及び１５７２へのアクセスは、メモリコントローラ１５６８を介して容易にされ得る。一実施形態において、メモリコントローラ１５６８は、内部直接メモリアクセス（ＤＭＡ）コントローラ１５６９を含む、又は別の場合ＤＭＡコントローラによって実行されるであろう動作を実行するロジックを含むことができる。

【0238】

ＧＰＧＰＵ１５７０は、Ｌ２キャッシュ１５５３、Ｌ１キャッシュ１５５４、命令キャッシュ１５５５、及び共有メモリ１５５６を含む複数のキャッシュメモリを含み、それらの少なくとも一部はまた、キャッシュメモリとしてパーティション化され得る。ＧＰＧＰＵ１５７０はまた、複数の計算ユニット１５６０Ａ～１５６０Ｎを含む。各計算ユニット１５６０Ａ～１５６０Ｎは、ベクトルレジスタ１５６１、スカラレジスタ１５６２、ベクトル論理ユニット１５６３、及びスカラ論理ユニット１５６４のセットを含む。計算ユニット１５６０Ａ～１５６０Ｎはまた、ローカル共有メモリ１５６５及びプログラムカウンタ１５６６を含むことができる。計算ユニット１５６０Ａ～１５６０Ｎは、定数キャッシュ１５６７と連結できる。これは、ＧＰＧＰＵ １５７０上で実行されるカーネル又はシェーダプログラムの実行中に変更されないであろうデータである定数データを格納するために使用されることができる。一実施形態において、定数キャッシュ１５６７はスカラデータキャッシュであり、キャッシュされたデータはスカラレジスタ１５６２に直接フェッチされることができる。

【0239】

動作中、１又は複数のＣＰＵ１５４６は、アクセス可能なアドレス空間にマッピングされたＧＰＧＰＵ１５７０内のレジスタ又はメモリにコマンドを書き込むことができる。コマンドプロセッサ１５５７は、レジスタ又はメモリからコマンドを読み出し、それらのコマンドがＧＰＧＰＵ１５７０内でどのように処理されるであろうかを決定することができる。次に、スレッドディスパッチャ１５５８が、計算ユニット１５６０Ａ～１５６０Ｎにスレッドをディスパッチして、それらのコマンドを実行するのに使用され得る。各計算ユニット１５６０Ａ～１５６０Ｎは、他の計算ユニットとは独立してスレッドを実行できる。更に、各計算ユニット１５６０Ａ～１５６０Ｎは、条件的な演算用に独立して構成されることができ、演算結果を条件的にメモリに出力できる。コマンドプロセッサ１５５７は、提示されたコマンドが完了された場合、１又は複数のＣＰＵ１５４６に割り込むことができる。

【0240】

図１６Ａ～１６Ｃは、本明細書で説明される実施形態によって提供される追加のグラフィックプロセッサ及び計算アクセラレータアーキテクチャのブロック図を示す。本明細書における任意の他の図面の要素と同じ参照番号（又は名称）を有する図１６Ａ～１６Ｃの要素は、本明細書の他の箇所で説明されているのと類似の任意の方法で動作又は機能することができるが、そのようなものに限定されることはない。

【0241】

図１６Ａは、グラフィックプロセッサ１６００のブロック図であり、これは、ディスクリートグラフィック処理ユニットであり得、又は複数の処理コアと統合されたグラフィックプロセッサ、又は例えば、限定されることはないが、メモリデバイス又はネットワークインタフェースなどの他の半導体デバイスであり得る。いくつかの実施形態において、グラフィックプロセッサは、メモリマッピングされたＩ／Ｏインタフェースを介して、グラフィックプロセッサ上のレジスタと通信し、プロセッサメモリに配置されたコマンドと通信する。いくつかの実施形態において、グラフィックプロセッサ１６００は、メモリにアクセスするためのメモリインタフェース１６１４を含む。メモリインタフェース１６１４は、ローカルメモリ、１又は複数の内部キャッシュ、１又は複数の共有外部キャッシュ、及び／又はシステムメモリへのインタフェースとすることができる。

【0242】

いくつかの実施形態において、グラフィックプロセッサ１６００はまた、ディスプレイ出力データをディスプレイデバイス１６１８に駆動するためのディスプレイコントローラ１６０２を含む。ディスプレイコントローラ１６０２は、映像又はユーザインタフェース要素の複数の層のディスプレイ及び組成のための１又は複数のオーバーレイ平面のためのハードウェアを含む。ディスプレイデバイス１６１８は、内部又は外部ディスプレイデバイスとすることができる。一実施形態において、ディスプレイデバイス１６１８は、例えば、仮想現実（ＶＲ）ディスプレイデバイス又は拡張現実（ＡＲ）ディスプレイデバイスなどのヘッドマウントディスプレイデバイスである。いくつかの実施形態において、グラフィックプロセッサ１６００は、１又は複数のメディアエンコーディングフォーマットに、それから、又はそれらの間でメディアをエンコード、デコード、又はトランスコードするビデオコーデックエンジン１６０６を含み、限定されることはないが、例えば、ＭＰＥＧ－２などのＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）フォーマット、例えば、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどのＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）フォーマット、Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭｅｄｉａ）ＶＰ８、ＶＰ９、及びＳｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ＆Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ（ＳＭＰＴＥ）４２１Ｍ／ＶＣ－１、及び例えば、ＪＰＥＧなどのＪｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）フォーマット、及びＭｏｔｉｏｎ ＪＰＥＧ（ＭＪＰＥＧ）フォーマットを含む。

【0243】

いくつかの実施形態において、グラフィックプロセッサ１６００は、例えば、ビット境界ブロック転送を含む２次元（２Ｄ）ラスタライザ演算を実行するためのブロック画像転送（ＢＬＩＴ）エンジン１６０４を含む。しかし、一実施形態において、２Ｄグラフィックオペレーションは、グラフィック処理エンジン（ＧＰＥ）１６１０の１又は複数のコンポーネントを使用して実行される。いくつかの実施形態において、ＧＰＥ １６１０は、３次元（３Ｄ）グラフィックオペレーション及びメディアオペレーションを含むグラフィックオペレーションを実行するための計算エンジンである。

【0244】

いくつかの実施形態において、ＧＰＥ１６１０は、例えば、１６Ｄプリミティブ形状（例えば、矩形、三角形など）に作用する処理機能を使用して３次元画像及びシーンをレンダリングするなど、１６Ｄ動作を実行するための１６Ｄパイプライン１６１２を含む。１６Ｄパイプライン１６１２は、要素内で様々なタスクを実行する、及び／又は３Ｄ／メディアサブシステム１６１５への実行スレッドを生成する、プログラマブル及び固定機能要素を含む。３Ｄパイプライン１６１２はメディアオペレーションを実行するのに使用され得るが、ＧＰＥ １６１０の一実施形態はまた、例えば、映像後処理及び画像強調などのメディアオペレーションを実行するために特に使用されるメディアパイプライン１６１６を含む。

【0245】

いくつかの実施形態において、メディアパイプライン１６１６は、例えば、ビデオコーデックエンジン１６０６の代わりに、又はその代わりに、ビデオデコードアクセラレーション、ビデオデインターレース、及びビデオエンコードアクセラレーションなどの１又は複数の特殊メディアオペレーションを実行する固定機能又はプログラマブル論理ユニットを含む。いくつかの実施形態において、メディアパイプライン１６１６は、３Ｄ／メディアサブシステム１６１５上で実行するためにスレッドを生成するスレッド生成ユニットを更に含む。生成されたスレッドは、３Ｄ／メディアサブシステム１６１５に含まれる１又は複数のグラフィック実行ユニットでメディアオペレーションの演算を実行する。

【0246】

いくつかの実施形態において、３Ｄ／メディアサブシステム１６１５は、３Ｄパイプライン１６１２及びメディアパイプライン１６１６によって生成されたスレッドを実行するためのロジックを含む。一実施形態において、パイプラインは、スレッド実行要求を３Ｄ／メディアサブシステム１６１５に送信し、これは、様々な要求を調停し、利用可能なスレッド実行リソースにディスパッチするスレッドディスパッチロジックを含む。実行リソースには、３Ｄ及びメディアスレッドを処理するグラフィック実行ユニットの配列が含まれている。いくつかの実施形態において、３Ｄ／メディアサブシステム１６１５は、スレッド命令及びデータのための１又は複数の内部キャッシュを含む。いくつかの実施形態において、サブシステムはまた、スレッド間でデータを共有し、出力データを格納するために、レジスタ及びアドレス指定可能メモリを含む共有メモリを含む。

【0247】

図１６Ｂは、本明細書で説明される実施形態による、タイル型アーキテクチャを有するグラフィックプロセッサ１６２０を示す。一実施形態において、グラフィックプロセッサ１６２０は、グラフィックエンジンタイル１６１０Ａ～１６１０Ｄ内に図１６Ａのグラフィック処理エンジン１６１０の複数のインスタンスを有するグラフィック処理エンジンクラスタ１６２２を含む。各グラフィックエンジンタイル１６１０Ａ～１６１０Ｄは、タイル相互接続１６２３Ａ～１６２３Ｆのセットを介して相互接続されることができる。各グラフィックエンジンタイル１６１０Ａ～１６１０Ｄはまた、メモリ相互接続１６２５Ａ～１６２５Ｄを介してメモリモジュール又はメモリデバイス１６２６Ａ～１６２６Ｄに接続されるとができる。メモリデバイス１６２６Ａ～１６２６Ｄは、任意のグラフィックメモリ技術を使用することができる。例えば、メモリデバイス１６２６Ａ～１６２６Ｄは、グラフィックダブルデータレート（ＧＤＤＲ）メモリであり得る。メモリデバイス１６２６Ａ～１６２６Ｄは、一実施形態において、これらのそれぞれのグラフィックエンジンタイル１６１０Ａ～１６１０Ｄを備えたオンダイとすることができる高帯域幅メモリ（ＨＢＭ）モジュールである。一実施形態において、メモリデバイス１６２６Ａ～１６２６Ｄは、これらのそれぞれのグラフィックエンジンタイル１６１０Ａ～１６１０Ｄの上にスタックされることができるスタックメモリデバイスである。一実施形態において、各グラフィックエンジンタイル１６１０Ａ～１６１０Ｄ及び関連付けられるメモリ１６２６Ａ～１６２６Ｄは、図２４Ｂ～図２４Ｄで更に詳細に説明されるように、ベースダイ又はベース基板に結合された別個のチップレット上に存在する。

【0248】

グラフィック処理エンジンクラスタ１６２２は、オンチップ又はオンパッケージのファブリック相互接続１６２４と接続することができる。ファブリック相互接続１６２４は、グラフィックエンジンタイル１６１０Ａ～１６１０Ｄと、例えば、ビデオコーデック１６０６及び１又は複数のコピーエンジン１６０４などのコンポーネントとの間の通信を可能にすることができる。コピーエンジン１６０４は、メモリデバイス１６２６Ａ～１６２６Ｄとグラフィックプロセッサ１６２０の外部にあるメモリ（例えば、システムメモリ）の外、その中、及びその間でデータを移動するのに使用され得る。ファブリック相互接続１６２４はまた、グラフィックエンジンタイル１６１０Ａ～１６１０Ｄを相互接続するために使用されることができる。グラフィックプロセッサ１６２０は、外部ディスプレイデバイス１６１８との接続を可能にするディスプレイコントローラ１６０２を任意選択で含み得る。グラフィックプロセッサはまた、グラフィック又は計算アクセラレータとして構成され得る。アクセラレータ構成では、ディスプレイコントローラ１６０２及びディスプレイデバイス１６１８は省略され得る。

【0249】

グラフィックプロセッサ１６２０は、ホストインタフェース１６２８を介してホストシステムに接続することができる。ホストインタフェース１６２８は、グラフィックプロセッサ１６２０、システムメモリ、及び／又は他のシステムコンポーネント間の通信を可能にすることができる。ホストインタフェース１６２８は、例えば、ＰＣＩ Ｅｘｐｒｅｓｓバス又は別のタイプのホストシステムインタフェースとすることができる。

【0250】

図１６Ｃは、本明細書で説明される実施形態による、計算アクセラレータ１６３０を示す。計算アクセラレータ１６３０は、図１６Ｂのグラフィックプロセッサ１６２０とのアーキテクチャ上の類似点を含むことができ、計算アクセラレーションのために最適化される。計算エンジンクラスタ１６３２は、並列又はベクトルベースの汎用計算演算のために最適化された実行ロジックを含む計算エンジンタイル１６４０Ａ～１６４０Ｄのセットを含むことができる。いくつかの実施形態において、計算エンジンタイル１６４０Ａ～１６４０Ｄは、固定機能グラフィック処理ロジックを含まないが、一実施形態において、１又は複数の計算エンジンタイル１６４０Ａ～１６４０Ｄは、メディアアクセラレーションを実行するロジックを含むことができる。計算エンジンタイル１６４０Ａ～１６４０Ｄは、メモリ相互接続１６２５Ａ～１６２５Ｄを介してメモリ１６２６Ａ～１６２６Ｄに接続できる。メモリ１６２６Ａ～１６２６Ｄ及びメモリ相互接続１６２５Ａ～１６２５Ｄは、グラフィックプロセッサ１６２０にあるような類似の技術であり得るか、又は異なることができる。グラフィック計算エンジンタイル１６４０Ａ～１６４０Ｄはまた、タイル相互接続１６２３Ａ～１６２３Ｆのセットを介して相互接続されることもでき、ファブリック相互接続１６２４と接続及び／又は相互接続され得る。一実施形態において、計算アクセラレータ１６３０は、デバイスワイドキャッシュとして構成されることができる大きなＬ３キャッシュ１６３６を含む。計算アクセラレータ１６３０はまた、図１６Ｂのグラフィックプロセッサ１６２０と類似の方法で、ホストインタフェース１６２８を介してホストプロセッサ及びメモリに接続することができる。
［グラフィック処理エンジン］

【0251】

図１７は、いくつかの実施形態によるグラフィックプロセッサのグラフィック処理エンジン１７１０のブロック図である。一実施形態において、グラフィック処理エンジン（ＧＰＥ）１７１０は、図１５Ａに示されるＧＰＥ１５１０のバージョンであり、また、図１５Ｂのグラフィックエンジンタイル１５１０Ａ～１５１０Ｄを表し得る。本明細書における任意の他の図面の要素と同じ参照番号（又は名称）を有する図１７の要素は、本明細書の他の箇所で説明されているのと類似の任意の方法で動作又は機能できるが、そのようなものに限定されることはない。例えば、図１５Ａの３Ｄパイプライン１６１２及びメディアパイプライン１６１６が示されている。メディアパイプライン１６１６は、ＧＰＥ１７１０のいくつかの実施形態において、任意選択であり、ＧＰＥ１７１０内に明示的に含まれ得ない。例えば、少なくとも１つの実施形態において、別個の媒体及び／又はイメージプロセッサがＧＰＥ１７１０に連結される。

【0252】

いくつかの実施形態において、ＧＰＥ １７１０は、３Ｄパイプライン１６１２及び／又はメディアパイプライン１６１６にコマンドストリームを提供するコマンドストリーマ１７０３と連結するか、又はそれを含む。いくつかの実施形態において、コマンドストリーマ１７０３は、システムメモリ、又は内部キャッシュメモリ及び共有キャッシュメモリのうちの１又は複数とすることができるメモリと連結される。いくつかの実施形態において、コマンドストリーマ１７０３は、メモリからコマンドを受信し、そのコマンドを３Ｄパイプライン１６１２及び／又はメディアパイプライン１６１６に送信する。コマンドは、３Ｄパイプライン１６１２及びメディアパイプライン１６１６のコマンドを格納するリングバッファからフェッチされたディレクティブである。一実施形態において、リングバッファは、複数のコマンドのバッチを格納するバッチコマンドバッファを更に含むことができる。３Ｄパイプライン１６１２のコマンドはまた、例えば、限定されることはないが、３Ｄパイプライン１６１２の頂点及びジオメトリデータ及び／又はメディアパイプライン３１６の画像データ及びメモリオブジェクトなど、メモリに格納されたデータへの参照を含むことができる。３Ｄパイプライン１６１２及びメディアパイプライン１６１６は、それぞれのパイプライン内のロジックを介して動作を実行することにより、又は１又は複数の実行スレッドをグラフィックコア配列１７１４にディスパッチすることにより、コマンド及びデータを処理する。一実施形態において、グラフィックコア配列１７１４は、グラフィックコアの１又は複数のブロック（例えば、グラフィックコア１７１５Ａ、グラフィックコア１７１５Ｂ）を含み、各ブロックは、１又は複数のグラフィックコアを含む。各グラフィックコアには、グラフィック及び計算演算を実行するための汎用及びグラフィック固有の実行ロジック、及び固定機能のテクスチャ処理及び／又は機械学習及び人工知能アクセラレーションロジックを含むグラフィック実行リソースのセットが含まれている。

【0253】

様々な実施形態において、３Ｄパイプライン１６１２は、例えば、命令を処理し、実行スレッドをグラフィックコア配列１７１４にディスパッチすることによって、頂点シェーダ、ジオメトリシェーダ、画素シェーダ、フラグメントシェーダ、計算シェーダ、又は他のシェーダプログラムなどの１又は複数のシェーダプログラムを処理するための固定機能及びプログラマブルロジックを含むことができる。グラフィックコア配列１７１４は、これらのシェーダプログラムの処理に使用するために実行リソースの統合ブロックを提供する。グラフィックコア配列１７１４のグラフィックコア１７１５Ａ～１７１４Ｂ内の多目的実行ロジック（例えば、実行ユニット）は、様々な３Ｄ ＡＰＩシェーダ言語のサポートを含み、複数のシェーダに関連付けられる複数の同時実行スレッドを実行することができる。

【0254】

いくつかの実施形態において、グラフィックコア配列１７１４は、例えば、映像及び／又は画像処理などのメディア機能を実行するための実行ロジックを含む。一実施形態において、実行ユニットは、グラフィック処理オペレーションに加えて、並列汎用計算演算を実行するようにプログラマブルである汎用ロジックを含む。汎用ロジックは、図１４のプロセッサコア１４０７又は図１５Ａにあるようなコア１５０２Ａ～１５０２Ｎ内の汎用ロジックに並列又はそれと併せて処理オペレーションを実行できる。

【0255】

グラフィックコア配列１７１４上で実行されているスレッドによって生成された出力データは、統合戻りバッファ（ＵＲＢ）１７１８のメモリにデータを出力できる。ＵＲＢ １７１８は、複数のスレッドのデータを格納できる。いくつかの実施形態において、ＵＲＢ１７１８は、グラフィックコア配列１７１４上で実行される異なるスレッド間でデータを送信するのに使用されてよい。いくつかの実施形態において、ＵＲＢ１７１８は、グラフィックコア配列上のスレッドと共有機能ロジック１７２０内の固定機能ロジックとの間の同期のために更に使用され得る。

【0256】

いくつかの実施形態において、グラフィックコア配列１７１４は、配列が可変数のグラフィックコアを含み、各々がＧＰＥ１７１０の目標電力及び性能レベルに基づいて可変数の実行ユニットを有するように、スケーラブルである。一実施形態において、実行リソースは、必要に応じて実行リソースは有効化又は無効化され得るように、動的にスケーラブルである。

【0257】

グラフィックコア配列１７１４は、グラフィックコア配列内のグラフィックコア間で共有される複数のリソースを含む共有機能ロジック１７２０と連結する。共有機能ロジック１７２０内の共有機能は、グラフィックコア配列１７１４に専用の補足的な機能を提供するハードウェア論理ユニットである。様々な実施形態において、共有機能ロジック１７２０は、限定されることはないが、サンプラ１７２１、数学１７２２、及びスレッド間通信（ＩＴＣ）１７２３ロジックを含む。更に、いくつかの実施形態は、共有機能ロジック１７２０内に１又は複数のキャッシュ１７２５を実装する。

【0258】

共有機能は、少なくとも、所与の専用の関数の需要がグラフィックコア配列１７１４に含めるには不十分な場合に実装される。代わりに、その専用の機能の単一インスタンス化は、共有機能ロジック１７２０のスタンドアロンエンティティとして実装され、グラフィックコア配列１７１４内の実行リソース間で共有される。グラフィックコア配列１７１４間で共有され、グラフィックコア配列１７１４内に含まれる関数の正確なセットは、実施形態にわたり変わる。いくつかの実施形態において、グラフィックコア配列１７１４によって広範に使用される共有機能ロジック１７２０内の固有の共有機能は、グラフィックコア配列１７１４内の共有機能ロジック１７１６内に含まれ得る。様々な実施形態において、グラフィックコア配列１７１４内の共有機能ロジック１７１６は、共有機能ロジック１７２０内のいくつか又は全てのロジックを含むことができる。一実施形態において、共有機能ロジック１７２０内の全ての論理要素は、グラフィックコア配列１７１４の共有機能ロジック１７１６内で複製され得る。一実施形態において、共有機能ロジック１７２０は、グラフィックコア配列１７１４内の共有機能ロジック１７１６を優先して除外される。
［実行ユニット］

【0259】

図１８Ａ～１８Ｂは、本明細書で説明される実施形態による、グラフィックプロセッサコアで使用される処理要素の配列を含むスレッド実行ロジック１８００を示す。本明細書における任意の他の図面の要素と同じ参照番号（又は名称）を有する図１８Ａ～１８Ｂの要素は、本明細書の他の箇所で説明されているのと類似の任意の方法で動作又は機能できるが、そのようなものに限定されることはない。図１８Ａ～１８Ｂは、図２Ｂの各サブコア２２１Ａ～２２１Ｆで示されるハードウェアロジックを表し得るスレッド実行ロジック１８００の概要を示す。図１８Ａは、汎用グラフィックプロセッサ内の実行ユニットを表し、一方、図１８Ｂは、計算アクセラレータ内で使用され得る実行ユニットを表す。

【0260】

図１８Ａに示すように、いくつかの実施形態において、スレッド実行ロジック１８００は、シェーダプロセッサ１８０２、スレッドディスパッチャ１８０４、命令キャッシュ１８０６、複数の実行ユニット１８０８Ａ～１８０８Ｎを含むスケーラブルな実行ユニット配列、サンプラ１８１０、共有ローカルメモリ１８１１、データキャッシュ１８１２、及びデータポート１８１４を含む。一実施形態において、スケーラブルな実行ユニット配列は、ワークロードの演算要件に基づいて、１又は複数の実行ユニット（例えば、実行ユニット１８０８Ａ、１８０８Ｂ、１８０８Ｃ、１８０８Ｄから１８０８Ｎ～１及び１８０８Ｎまでのいずれか）を有効又は無効にすることによって動的にスケーリングできる。一実施形態において、含まれるコンポーネントは、コンポーネントの各々にリンクする相互接続ファブリックを介して相互接続される。いくつかの実施形態において、スレッド実行ロジック１８００は、例えば、命令キャッシュ１８０６、データポート１８１４、サンプラ１８１０、及び実行ユニット１８０８Ａ～１８０８Ｎの１又は複数を介した、システムメモリ又はキャッシュメモリなどのメモリへの１又は複数の接続を含む。いくつかの実施形態において、各実行ユニット（例えば、１８０８Ａ）は、複数のデータ要素をスレッド毎に並列に処理しながら、複数の同時ハードウェアスレッドを実行することができるスタンドアロンのプログラマブル汎用計算ユニットである。様々な実施形態において、実行ユニット１８０８Ａ～１８０８Ｎの配列は、任意の数の個別の実行ユニットを含むようにスケーラブルである。

【0261】

いくつかの実施形態において、実行ユニット１８０８Ａ～１８０８Ｎは、主にシェーダプログラムを実行するために使用される。シェーダプロセッサ１８０２は、様々なシェーダプログラムを処理し、スレッドディスパッチャ１８０４を介してシェーダプログラムに関連付けられる実行スレッドをディスパッチすることができる。一実施形態において、スレッドディスパッチャは、グラフィック及びメディアパイプラインからのスレッド開始要求を調停し、要求されたスレッドを実行ユニット１８０８Ａ～１８０８Ｎの１又は複数の実行ユニットでインスタンス化するロジックを含む。例えば、ジオメトリパイプラインは、処理のために、頂点、テセレーション、又はジオメトリシェーダをスレッド実行ロジックにディスパッチできる。いくつかの実施形態において、スレッドディスパッチャ１８０４はまた、実行中のシェーダプログラムからのランタイムスレッド生成要求を処理することができる。

【0262】

いくつかの実施形態において、実行ユニット１８０８Ａ～１８０８Ｎは、グラフィックライブラリ（例えば、Ｄｉｒｅｃｔ ３Ｄ及びＯｐｅｎＧＬ）からのシェーダプログラムが最小限の移動で実行されるように、多くの標準３Ｄグラフィックシェーダ命令のネイティブサポートを含む命令セットをサポートする。実行ユニットは、頂点及びジオメトリ処理（例えば、頂点プログラム、ジオメトリプログラム、頂点シェーダ）、画素処理（例えば、画素シェーダ、フラグメントシェーダ）、及び汎用処理（例えば、計算及びメディアシェーダ）をサポートする。実行ユニット１８０８Ａ～１８０８Ｎの各々は、マルチ発行単一命令多重データ（ＳＩＭＤ）を実行することができ、複数のスレッド動作は、より高いレイテンシメモリアクセスに直面して効率的な実行環境を有効にする。各実行ユニット内の各ハードウェアスレッドは、専用の高帯域幅レジスタファイルと関連付けられる独立したスレッド状態を有する。実行は、整数、単精度及び倍精度の浮動小数点演算、ＳＩＭＤ分岐機能、論理演算、超越演算、及び他の寄せ集め演算をできるパイプラインへのクロック毎のマルチ発行である。メモリ又は共有機能の１つからのデータを待機している間、実行ユニット１８０８Ａ～１８０８Ｎ内の依存ロジックは、要求されたデータが戻ってくるまで待機中のスレッドをスリープさせる。待機中のスレッドがスリープしている間、ハードウェアリソースは他のスレッドの処理に専念され得る。例えば、頂点シェーダ演算に関連付けられる遅延の間、実行ユニットは、画素シェーダ、フラグメントシェーダ、又は異なる頂点シェーダを含む別のタイプのシェーダプログラムの動作を実行できる。様々な実施形態は、ＳＩＭＤの使用の代替として、又はＳＩＭＤの使用に加えて、単一命令複数のスレッド（ＳＩＭＴ）を使用することによる使用実行に適用することができる。ＳＩＭＤコア又は動作の参照はまた、ＳＩＭＴに適用でき、又はＳＩＭＴと組み合わせてＳＩＭＤに適用できる。

【0263】

実行ユニット１８０８Ａ～１８０８Ｎ内の各実行ユニットは、データ要素の配列上で動作する。データ要素の数は、「実行サイズ」又は命令のチャネルの数である。実行チャネルは、データ要素へのアクセス、マスキング、及び命令内のフロー制御のための実行の論理ユニットである。チャネルの数は、特定のグラフィックプロセッサの物理算術論理ユニット（Ａｒｉｔｈｍｅｔｉｃ Ｌｏｇｉｃ Ｕｎｉｔｓ）（ＡＬＵ）又は浮動小数点ユニット（Ｆｌｏａｔｉｎｇ Ｐｏｉｎｔ Ｕｎｉｔｓ）（ＦＰＵ）の数とは無関係であり得る。いくつかの実施形態において、実行ユニット１８０８Ａ～１８０８Ｎは、整数及び浮動小数点データタイプをサポートする。

【0264】

実行ユニット命令セットは、ＳＩＭＤ命令を含む。様々なデータ要素は、パックドデータのタイプとしてレジスタに格納されることができ、実行ユニットは、要素のデータサイズに基づいて様々な要素を処理するであろう。例えば、２５６ビット幅のベクトルを演算する場合、ベクトルの２５６ビットはレジスタに格納され、実行ユニットは４つの別個の１８４ビットパックドデータ要素（クアッドワード（ＱＷ）サイズのデータ要素）、８つの別個の３２ビットパックドデータ要素（ダブルワード（ＤＷ）サイズのデータ要素）、１６の別個の１６ビットパックドデータ要素（ワード（Ｗ）サイズのデータ要素）、又は３２個の別個の８ビットデータ要素（バイト（Ｂ）サイズのデータ要素）としてベクトルを演算する。しかし、異なるベクトル幅及びレジスタサイズが可能である。

【0265】

一実施形態において、１又は複数の実行ユニットは、融合ＥＵに共通のスレッド制御ロジック（１８０７Ａ～１８０７Ｎ）を有する融合実行ユニット１８０９Ａ～１８０９Ｎに組み合わせられることができる。複数のＥＵは１つのＥＵグループに融合されることができる。融合ＥＵグループの各ＥＵは、別個のＳＩＭＤハードウェアスレッドを実行するように構成されることができる。融合ＥＵグループ内のＥＵの数は、実施形態により、変わることができる。更に、限定されることはないがＳＩＭＤ８、ＳＩＭＤ１６、及びＳＩＭＤ３２を含む様々なＳＩＭＤ幅はＥＵ毎に実行されることができる。各融合グラフィック実行ユニット１８０９Ａ～１８０９Ｎは、少なくとも２つの実行ユニットを含む。例えば、融合実行ユニット１８０９Ａは、第１ＥＵ１８０８Ａ、第２ＥＵ１８０８Ｂ、ならびに第１ＥＵ１８０８Ａ及び第２ＥＵ１８０８Ｂに共通のスレッド制御ロジック１８０７Ａを含む。スレッド制御ロジック１８０７Ａは、融合グラフィック実行ユニット１８０９Ａ上で実行されるスレッドを制御し、融合実行ユニット１８０９Ａ～１８０９Ｎ内の各ＥＵが共通命令ポインタレジスタを使用して実行可能になる。

【0266】

１又は複数の内部命令キャッシュ（例えば、１８０６）は、実行ユニットのためのスレッド命令をキャッシュするためにスレッド実行ロジック１８００に含まれる。いくつかの実施形態において、スレッド実行の間にスレッドデータをキャッシュするために、１又は複数のデータキャッシュ（例えば、１８１２）が含まれる。実行ロジック１８００上で実行されるスレッドはまた、明示的に管理されたデータを共有ローカルメモリ１８１１に格納することができる。いくつかの実施形態において、サンプラ１８１０は、３Ｄ動作のためのテクスチャサンプリング及びメディアオペレーションのためのメディアサンプリングを提供するために含まれる。いくつかの実施形態において、サンプラ１８１０は、サンプリングされたデータを実行ユニットに提供する前に、サンプリング処理の間にテクスチャ又はメディアデータを処理するための専用のテクスチャ又はメディアサンプリング機能を含む。

【0267】

実行中、グラフィック及びメディアパイプラインは、スレッド生成及びディスパッチロジックを介して、スレッド開始要求をスレッド実行ロジック１８００に送信する。ジオメトリックオブジェクトのグループが処理され、画素データにラスタライズされると、シェーダプロセッサ１８０２内の画素プロセッサロジック（例えば、画素シェーダロジック、フラグメントシェーダロジックなど）が呼び出され、出力情報が更に計算され、結果が出力面（例えば、カラーバッファ、デプスバッファ、ステンシルバッファなど）に書き込まれる。いくつかの実施形態において、画素シェーダ又はフラグメントシェーダが、ラスタライズされたオブジェクトにわたって補間される様々な頂点属性の値を算出する。いくつかの実施形態において、次に、シェーダプロセッサ１８０２内の画素プロセッサロジックは、アプリケーションプログラミングインタフェース（ＡＰＩ）が提供する画素又はフラグメントシェーダプログラムを実行する。シェーダプログラムを実行するために、シェーダプロセッサ１８０２は、スレッドディスパッチャ１８０４を介して実行ユニット（例えば、１８０８Ａ）にスレッドをディスパッチする。いくつかの実施形態において、シェーダプロセッサ１８０２は、サンプラ１８１０のテクスチャサンプリングロジックを使用して、メモリに格納されているテクスチャマップのテクスチャデータにアクセスする。テクスチャデータ及び入力ジオメトリデータの算術演算は、ジオメトリックフラグメント毎に画素カラーデータを計算し、又は１又は複数の画素を更なる処理から破棄する。

【0268】

いくつかの実施形態において、データポート１８１４は、スレッド実行ロジック１８００がグラフィックプロセッサ出力パイプラインで更に処理するために処理されたデータをメモリに出力するためのメモリアクセスメカニズムを提供する。いくつかの実施形態において、データポート１８１４は、データポートを介したメモリアクセスのためにデータをキャッシュするために、１又は複数のキャッシュメモリ（例えば、データキャッシュ１８１２）を含む又はそれに連結する。

【0269】

一実施形態において、実行ロジック１８００はまた、レイトレーシングアクセラレーション機能を提供することができるレイトレーサ１８０５を含むことができる。レイトレーサ１８０５は、レイ生成のための命令／関数を含むレイトレーシング命令セットをサポートすることができる。レイトレーシング命令セットは、図２Ｃのレイトレーシングコア２４５によってサポートされるレイトレーシング命令セットと類似とする、又は異なるとすることができる。

【0270】

図１８Ｂは、実施形態による、実行ユニット１８０８の例示的な内部の詳細を示す。グラフィック実行ユニット１８０８は、命令フェッチユニット１８３７、汎用レジスタファイル配列（ＧＲＦ）１８２４、アーキテクチャレジスタファイル配列（ＡＲＦ）１８２６、スレッドアービタ１８２２、送信ユニット１８３０、分岐ユニット１８３２、ＳＩＭＤ浮動小数点ユニット（ＦＰＵ）１８３４のセット、及び一実施形態において、専用整数ＳＩＭＤ ＡＬＵ１８３５のセットを含むことができる。ＧＲＦ１８２４及びＡＲＦ１８２６は、グラフィック実行ユニット１８０８においてアクティブであり得る各々の同時ハードウェアスレッドに関連付けられる汎用レジスタファイル及びアーキテクチャレジスタファイルのセットを含む。一実施形態において、スレッド実行の間に使用されるデータがＧＲＦ１８２４に格納される一方で、スレッド毎のアーキテクチャ状態がＡＲＦ１８２６で維持される。スレッド毎に命令ポインタを含む各スレッドの実行状態は、ＡＲＦ １８２６のスレッド固有のレジスタに保持されることができる。

【0271】

一実施形態において、グラフィック実行ユニット１８０８は、同時マルチスレッディング（ＳＭＴ）と細粒度のインタリーブ型マルチスレッディング（Ｍｕｌｔｉ－Ｔｈｒｅａｄｉｎｇ）（ＩＭＴ）との組み合わせであるアーキテクチャを有する。アーキテクチャは、同時スレッドの目標数及び実行ユニット毎のレジスタ数に基づいて設計時に微調整されることができるモジュール構成を有し、実行ユニットのリソースは、複数の同時スレッドの実行に使用されるロジック全体に分割される。グラフィック実行ユニット１８０８によって実行され得る論理スレッドの数は、ハードウェアスレッドの数に限定されることはなく、複数の論理スレッドを各ハードウェアスレッドに割り当てられることができる。

【0272】

一実施形態において、グラフィック実行ユニット１８０８は、各々が異なる命令であり得る複数の命令を同時に発行することができる。グラフィック実行ユニットスレッド１８０８のスレッドアービタ１８２２は、実行のために、送信ユニット１８３０、分岐ユニット１８３２、又はＳＩＭＤ ＦＰＵ１８３４のうちの１つに命令をディスパッチすることができる。各実行スレッドは、ＧＲＦ１８２４内の１２８個の汎用レジスタにアクセスできる。各レジスタは３２バイトを格納でき、３２ビットデータ要素のＳＩＭＤ８－要素ベクトルとしてアクセス可能である。一実施形態において、各実行ユニットスレッドは、ＧＲＦ１８２４内の４Ｋバイトへのアクセスを有するが、実施形態はそのように限定されず、他の実施形態において、より大きい又はより少ないレジスタリソースが提供され得る。一実施形態において、グラフィック実行ユニット１８０８はまた、計算演算を独立して実行できる７つのハードウェアスレッドにパーティション化されるが、実行ユニット毎のスレッドの数はまた、実施形態により変わることができる。例えば、一実施形態において、最大１６のハードウェアスレッドがサポートされる。７つのスレッドが４Ｋバイトにアクセスし得る一実施形態において、ＧＲＦ１８２４は合計２８キロバイトを格納することができる。１６のスレッドが４Ｋバイトにアクセスし得る場合、ＧＲＦ１８２４は合計６４Ｋバイトを格納することができる。柔軟なアドレス指定モードにより、レジスタを一緒にアドレス指定されることを可能にし、より広いレジスタを効果的に構築し、又はストライドされた矩形のブロックデータ構造を表すことができる。

【0273】

一実施形態において、メモリ動作、サンプラ動作、及び他のより長いレイテンシのシステム通信は、メッセージ受け渡し送信ユニット１８３０によって実行される「送信」命令を介してディスパッチされる。一実施形態において、分岐命令は、専用分岐ユニット１８３２にディスパッチされて、ＳＩＭＤ分岐及び最終的な収束を容易にする。

【0274】

一実施形態において、グラフィック実行ユニット１８０８は、浮動小数点演算を実行するための１又は複数のＳＩＭＤ浮動小数点ユニット（ＦＰＵ）１８３４を含む。一実施形態において、ＦＰＵ１８３４はまた、整数演算をサポートする。一実施形態において、ＦＰＵ（複数可）１８３４は、最大Ｍ個の３２ビット浮動小数点（又は整数）演算をＳＩＭＤ実行することができ、又はＳＩＭＤは、最大２Ｍ個の１６ビット整数又は１６ビット浮動小数点演算を実行することができる。一実施形態において、ＦＰＵのうちの少なくとも１つは、高スループット超越数学関数及び倍精度１８４ビット浮動小数点をサポートする拡張数学機能を提供する。いくつかの実施形態において、８ビット整数ＳＩＭＤ ＡＬＵ１８３５のセットはまた存在し、機械学習計算に関連付けられる演算を実行するように特に最適化され得る。

【0275】

一実施形態において、グラフィック実行ユニット１８０８の複数のインスタンスの配列は、グラフィックサブコアグループ化（例えば、サブスライス）でインスタンス化されることができる。スケーラビリティのために、製品アーキテクトはサブコアグループ化毎に実行ユニットの正確な数を選択できる。一実施形態において、実行ユニット１８０８は、複数の実行チャネルにわたって命令を実行することができる。更なる実施形態において、グラフィック実行ユニット１８０８上で実行される各スレッドは、異なるチャネル上で実行される。

【0276】

図１９は、一実施形態による、追加の実行ユニット１９００を示す。実行ユニット１９００は、例えば、そのように限定されることはないが、図１５Ｃにあるような計算エンジンタイル１５４０Ａ～１５４０Ｄに使用するための計算最適化実行ユニットであり得る。実行ユニット１９００の変形はまた、図１５Ｂにあるようにグラフィックエンジンタイル１５１０Ａ～１５１０Ｄで使用され得る。一実施形態において、実行ユニット１９００は、スレッド制御ユニット１９０１、スレッド状態ユニット１９０２、命令フェッチ／プリフェッチユニット１９０３、及び命令デコードユニット１９０４を含む。実行ユニット１９００は更に、実行ユニット内のハードウェアスレッドに割り当てられることができるレジスタを格納するレジスタファイル１９０６を含む。実行ユニット１９００は、送信ユニット１９０７及び分岐ユニット１９０８を更に含む。一実施形態において、送信ユニット１９０７及び分岐ユニット１９０８は、図１８Ｂのグラフィック実行ユニット１８０８の送信ユニット１８３０及び分岐ユニット１８３２と同様に動作することができる。

【0277】

実行ユニット１９００はまた、複数の異なるタイプの機能ユニットを含む計算ユニット１９１０を含む。一実施形態において、計算ユニット１９１０は、算術論理ユニットの配列を含むＡＬＵユニット１９１１を含む。ＡＬＵユニット１９１１は、６４ビット、３２ビット、及び１６ビットの整数演算及び浮動小数点演算を実行するように構成されることができる。整数演算及び浮動小数点演算は同時に実行され得る。計算ユニット１９１０はまた、シストリック配列１９１２及び数学ユニット１９１３を含むことができる。シストリック配列１９１２は、シストリック方式でベクトル又は他のデータ並列演算を実行するために使用されることができるデータ処理ユニットのＷワイド及びＤディープネットワークを含む。一実施形態において、シストリック配列１９１２は、例えば、行列ドット積演算などの行列演算を実行するように構成されることができる。一実施形態において、シストリック配列１９１２は、１６ビット浮動小数点演算、及び８ビット及び４ビット整数演算をサポートする。一実施形態において、シストリック配列１９１２は、機械学習オペレーションを加速するように構成されることができる。そのような実施形態において、シストリック配列１９１２は、ｂ浮動１６ビット浮動小数点フォーマットをサポートするように構成されることができる。一実施形態において、数学ユニット１９１３は含まれ、数学演算の固有のサブセットを、次にＡＬＵユニット１９１１よりも効率的及び低電力方式で実行することができる。数学ユニット１９１３は、他の実施形態によって提供されるグラフィック処理エンジンの共有機能ロジック（例えば、図１７の共有機能ロジック１７２０の数学ロジック１７２２）に見られ得る数学ロジックの変形を含むことができる。一実施形態において、数学ユニット１９１３は、３２ビット及び６４ビットの浮動小数点演算を実行するように構成されることができる。

【0278】

スレッド制御ユニット１９０１は、実行ユニット内のスレッドの実行を制御するロジックを含む。スレッド制御ユニット１９０１は、実行ユニット１９００内のスレッドの実行を開始、停止、及び先取りするためのスレッド調停ロジックを含むことができる。スレッド状態ユニット１９０２は、実行ユニット１９００上で実行するように割り当てられたスレッドのスレッド状態を格納するために使用されることができる。実行ユニット１９００内にスレッド状態を格納することにより、それらのスレッドがブロックされた、又はアイドルになった場合に、スレッドの迅速な先取りが可能になる。命令フェッチ／プリフェッチユニット１９０３は、より高レベルの実行ロジックの命令キャッシュ（例えば、図１８Ａにあるような命令キャッシュ１８０６）から命令をフェッチすることができる。命令フェッチ／プリフェッチユニット１９０３はまた、現在実行中のスレッドの分析に基づいて、命令キャッシュにロードされる命令のプリフェッチ要求を発行することができる。命令デコードユニット１９０４は、計算ユニットによって実行される命令をデコードするために使用されることができる。一実施形態において、命令デコードユニット１９０４は、複雑な命令を構成要素のマイクロ演算にデコードするための二次デコーダとして使用されることができる。

【0279】

実行ユニット１９００は、実行ユニット１９００上で実行されるハードウェアスレッドによって使用されることができるレジスタファイル１９０６を更に含む。レジスタファイル１９０６内のレジスタは、実行ユニット１９００の計算ユニット１９１０内で複数の同時スレッドを実行するために使用されるロジックにわたって分割されることができる。グラフィック実行ユニット１９００によって実行され得る論理スレッドの数は、ハードウェアスレッドの数に限定されることはなく、複数の論理スレッドは各ハードウェアスレッドに割り当てられることができる。レジスタファイル１９０６のサイズは、サポートされているハードウェアスレッドの数に基づいて、実施形態にわたって変わることができる。一実施形態において、レジスタのリネーミングが、ハードウェアスレッドにレジスタを動的に割り当てるのに使用されてよい。

【0280】

図２０は、いくつかの実施形態によるグラフィックプロセッサ命令フォーマット２０００を示すブロック図である。１又は複数の実施形態において、グラフィックプロセッサ実行ユニットは、複数のフォーマットの複数の命令を有する命令セットをサポートする。実線の枠は、一般に実行ユニット命令に含まれるコンポーネントを示し、一方、破線は任意選択のコンポーネント又は命令のサブセットにのみ含まれるコンポーネントを含む。いくつかの実施形態において、説明され及び図示される命令フォーマット２０００は、命令が処理されると命令デコードから生じるマイクロ演算とは異なり、それらが実行ユニットに供給される命令であるという点でマクロ命令である。

【0281】

いくつかの実施形態において、グラフィックプロセッサ実行ユニットは、１２８ビットの命令フォーマット２０１０の複数の命令をネイティブにサポートする。６４ビット圧縮命令フォーマット２０３０は、選択された命令、命令任意選択、及びオペランドの数に基づくいくつかの命令で利用可能である。ネイティブの１２８ビットの命令フォーマット２０１０では、全ての命令任意選択にアクセスを提供する一方、いくつかの任意選択と動作は６４ビットフォーマット２０３０で制限されている。６４ビットフォーマット２０３０で利用可能なネイティブ命令は、実施形態によって変わる。いくつかの実施形態において、命令は、インデックスフィールド２０１３内のインデックス値のセットを使用して部分的に圧縮される。実行ユニットのハードウェアは、インデックス値に基づいて圧縮テーブルのセットを参照し、圧縮テーブルの出力を使用して、ネイティブ命令を１２８ビットの命令フォーマット２０１０で再構成する。他のサイズ及びフォーマットの命令は使用されることができる。

【0282】

フォーマット毎に、命令オペコード２０１２は、実行ユニットが実行する動作を規定する。実行ユニットは、各オペランドの複数のデータ要素に並行して各命令を実行する。例えば、追加命令に応答して、実行ユニットは、テクスチャ要素又はピクチャ要素を表す各カラーチャネルにわたって同時に追加動作を実行する。デフォルトでは、実行ユニットは、オペランドの全てのデータチャネルにわたって各命令を実行する。いくつかの実施形態において、命令制御フィールド２０１４は、例えば、チャネル選択（例えば、予測）及びデータチャネル順序（例えば、スウィズル）などの特定の実行任意選択に対する制御を可能にする。１２８ビットの命令フォーマット２０１０の複数の命令の場合、実行サイズフィールド２０１６は、並列に実行されるであろうデータチャネルの数を制限する。いくつかの実施形態において、実行サイズフィールド２０１６は、６４ビット圧縮命令フォーマット２０３０に使用するために利用可能でない。

【0283】

いくつかの実行ユニット命令は、２つのソースオペランド（ｓｒｃ０ ２０２０、ｓｒｃ１ ２０２２、及び１つのデスティネーション２０１８）を含む最大３つのオペランドを有する。いくつかの実施形態において、実行ユニットは、デスティネーションのうちの１つが暗示されるデュアルデスティネーション命令をサポートする。データ操作命令は、第３ソースオペランド（例えば、ＳＲＣ２ ２０２４）を有することができ、命令オペコード２０１２がソースオペランドの数を決定する。命令の最後のソースオペランドは、命令とともに渡される即（例えば、ハードコードされた）値にすることができる。

【0284】

いくつかの実施形態において、１２８ビットの命令フォーマット２０１０は、例えば、直接レジスタアドレス指定モード又は間接レジスタアドレス指定モードのどちらが使用されるかを指定するアクセス／アドレスモードフィールド２０２６を含む。直接レジスタアドレス指定モードが使用される場合、１又は複数のオペランドのレジスタアドレスは、命令のビットによって直接提供される。

【0285】

いくつかの実施形態において、１２８ビットの命令フォーマット２０１０は、命令のアドレスモード及び／又はアクセスモードを指定するアクセス／アドレスモードフィールド２０２６を含む。一実施形態において、アクセスモードは、命令のデータアクセス整列を規定するために使用される。いくつかの実施形態は、１６バイト整列アクセスモード及び１バイト整列アクセスモードを含むアクセスモードをサポートし、アクセスモードのバイト整列は、命令オペランドのアクセス整列を決定する。例えば、第１モードの場合、命令はソースオペランド及びデスティネーションオペランドにバイト整列アドレス指定を使用し得、第２モードの場合、命令は全てのソースオペランド及びデスティネーションオペランドに１６バイト整列アドレス指定を使用し得る。

【0286】

一実施形態において、アクセス／アドレスモードフィールド２０２６のアドレスモード部分は、命令が直接又は間接アドレス指定のどちらを使用するかを決定する。直接レジスタアドレス指定モードが使用される場合、命令のビットは、１又は複数のオペランドのレジスタアドレスを直接提供する。間接レジスタアドレス指定モードが使用される場合、１又は複数のオペランドのレジスタアドレスは、命令のアドレスレジスタ値及びアドレス即値フィールドに基づいて計算され得る。

【0287】

いくつかの実施形態において、命令は、オペコードデコード２０４０を単純化するためにオペコード２０１２ビットフィールドに基づいてグループ化される。８ビットオペコードの場合、ビット４、５、及び６により、実行ユニットはオペコードのタイプを判断することが可能になる。示されている正確なオペコードのグループ化は例に過ぎない。いくつかの実施形態において、移動及びロジックオペコードグループ２０４２は、データ移動及び論理命令（例えば、移動（ｍｏｖ）、比較（ｃｍｐ））を含む。いくつかの実施形態において、移動及びロジックグループ２０４２は５つの最上位ビット（ＭＳＢ）を共有し、移動（ｍｏｖ）命令は００００ｘｘｘｘｂの形式であり、論理命令は０００１ｘｘｘｘｂの形式である。フロー制御命令グループ２０４４（例えば、コール、ジャンプ（ｊｍｐ））は、００１０ｘｘｘｘｂ（例えば、０ｘ２０）の形式の命令を含む。その他の命令グループ２０４６は、００１１ｘｘｘｘｂ（例えば、０ｘ３０）の形式の同期命令（例えば、待機、送信）を含む命令の混合を含む。並列数学命令グループ２０４８は、０１００ｘｘｘｘｂ（例えば、０ｘ４０）の形式のコンポーネント毎の算術命令（例えば、加算、乗算（ｍｕｌ））を含む。並列数学グループ２０４８は、データチャネルに並行して算術演算を実行する。ベクトル数学グループ２０５０は、０１０１ｘｘｘｘｂ（例えば、０ｘ５０）の形式の算術命令（例えば、ｄｐ４）を含む。ベクトル数学グループは、例えば、ベクトルオペランドのドット積計算などの演算を実行する。図示のオペコードデコード２０４０は、一実施形態において、デコードされた命令を実行するのに実行ユニットのどの部分を使用することになるかを決定するために使用され得る。例えば、いくつかの命令は、シストリック配列によって実行されるであろうシストリック命令として指定され得る。例えば、レイトレーシング命令（図示せず）などの他の命令は、実行ロジックのスライス又はパーティション内のレイトレーシングコア又はレイトレーシングロジックにルーティングされることができる。
［グラフィックパイプライン］

【0288】

図２１は、別の実施形態による、グラフィックプロセッサ２１００のブロック図である。本明細書における任意の他の図面の要素と同じ参照番号（又は名称）を有する図２１の要素は、本明細書の他の箇所で説明されているのと類似の任意の方法で動作又は機能できるが、そのようなものに限定されることはない。

【0289】

いくつかの実施形態において、グラフィックプロセッサ２１００は、ジオメトリパイプライン２１２０、メディアパイプライン２１３０、ディスプレイエンジン２１４０、スレッド実行ロジック２１５０、及びレンダー出力パイプライン２１７０を含む。いくつかの実施形態において、グラフィックプロセッサ２１００は、１又は複数の汎用処理コアを含むマルチコア処理システム内のグラフィックプロセッサである。グラフィックプロセッサは、１又は複数の制御レジスタ（図示せず）へのレジスタ書き込みによって、又はリング相互接続２１０２を介してグラフィックプロセッサ２１００に発行されたコマンドを介して制御される。いくつかの実施形態において、リング相互接続２１０２は、グラフィックプロセッサ２１００を、例えば、他のグラフィックプロセッサ又は汎用プロセッサなどの他の処理コンポーネントに連結する。リング相互接続２１０２からのコマンドは、ジオメトリパイプライン２１２０又はメディアパイプライン２１３０の個別のコンポーネントに命令を供給するコマンドストリーマ２１０３によって解釈される。

【0290】

いくつかの実施形態において、コマンドストリーマ２１０３は、メモリから頂点データを読み出し、コマンドストリーマ２１０３によって提供される頂点処理コマンドを実行する頂点フェッチャ２１０５の演算を指示する。いくつかの実施形態において、頂点フェッチャ２１０５は、頂点シェーダ２１０７に頂点データを提供し、それは、各頂点に対して座標空間変換及びライティング演算を実行する。いくつかの実施形態において、頂点フェッチャ２１０５及び頂点シェーダ２１０７は、スレッドディスパッチャ２１３１を介して実行ユニット２１５２Ａ～２１５２Ｂに実行スレッドをディスパッチすることにより、頂点処理命令を実行する。

【0291】

いくつかの実施形態において、実行ユニット２１５２Ａ～２１５２Ｂは、グラフィック及びメディアオペレーションを実行するための命令セットを有するベクトルプロセッサの配列である。いくつかの実施形態において、実行ユニット２１５２Ａ～２１５２Ｂは、配列毎に固有であるか、又は配列間で共有される、取り付けられたＬ１キャッシュ２１５１を有する。キャッシュは、データキャッシュ、命令キャッシュ、又は異なるパーティションのデータ及び命令を含むようにパーティション化された単一キャッシュとして構成されることができる。

【0292】

いくつかの実施形態において、ジオメトリパイプライン２１２０は、３Ｄオブジェクトのハードウェアアクセラレートテセレーションを実行するテセレーションコンポーネントを含む。いくつかの実施形態において、プログラマブルハルシェーダ２１１１は、テセレーション演算を構成する。プログラマブルドメインシェーダ２１１７は、テセレーション出力のバックエンド評価を提供する。テセレータ２１１３は、ハルシェーダ２１１１の指示で動作し、専用ロジックを含み、ジオメトリパイプライン２１２０への入力として提供される粗ジオメトリックモデルに基づいて、詳述されるジオメトリックオブジェクトのセットを生成する。いくつかの実施形態において、テセレーションが使用されない場合、テセレーションコンポーネント（例えば、ハルシェーダ２１１１、テセレータ２１１３、及びドメインシェーダ２１１７）はバイパスされることができる。

【0293】

いくつかの実施形態において、完全なジオメトリックオブジェクトは、実行ユニット２１５２Ａ～２１５２Ｂにディスパッチされた１又は複数のスレッドを介してジオメトリシェーダ２１１９によって処理されることができ、又はクリッパー２１２９に直接進むことができる。いくつかの実施形態において、ジオメトリシェーダは、グラフィックパイプラインの前の段階のように頂点又は頂点のパッチではなく、ジオメトリックオブジェクト全体で動作する。テセレーションが無効化されている場合、ジオメトリシェーダ２１１９は頂点シェーダ２１０７から入力を受信する。いくつかの実施形態において、ジオメトリシェーダ２１１９は、テセレーションユニットが無効化されている場合にジオメトリテセレーションを実行するためにジオメトリシェーダプログラムによってプログラマブルである。

【0294】

ラスタライズの前に、クリッパー２１２９が頂点データを処理する。クリッパー２１２９は、固定機能クリッパー又はクリッピング及びジオメトリシェーダ機能を有するプログラマブルクリッパーであり得る。いくつかの実施形態において、レンダー出力パイプライン２１７０のラスタライザ及びデプステストコンポーネント２１７３は、画素シェーダをディスパッチして、ジオメトリックオブジェクトを画素毎の表現に変換する。いくつかの実施形態において、画素シェーダロジックはスレッド実行ロジック２１５０に含まれる。いくつかの実施形態において、アプリケーションは、ラスタライザ及びデプステストコンポーネント２１７３をバイパスし、ストリームアウトユニット２１２３を介して、ラスタライズされていない頂点データにアクセスすることができる。

【0295】

グラフィックプロセッサ２１００は、相互接続バス、相互接続ファブリック、又はプロセッサの主要なコンポーネント間でデータ及びメッセージの受け渡しを可能にするいくつかの他の相互接続メカニズムを有する。いくつかの実施形態において、実行ユニット２１５２Ａ～２１５２Ｂ及び関連する論理ユニット（例えば、Ｌ１キャッシュ２１５１、サンプラ２１５４、テクスチャキャッシュ２１５８など）は、データポート２１５６を介して相互接続して、メモリアクセスを実行し、プロセッサのレンダー出力パイプラインコンポーネントと通信する。いくつかの実施形態において、サンプラ２１５４、キャッシュ２１５１、２１５８、及び実行ユニット２１５２Ａ～２１５２Ｂは、各々別個のメモリアクセス経路を有する。一実施形態において、テクスチャキャッシュ２１５８はまた、サンプラキャッシュとして構成されることができる。

【0296】

いくつかの実施形態において、レンダー出力パイプライン２１７０は、頂点ベースのオブジェクトを関連付けられる画素ベースの表現に変換するラスタライザ及びデプステストコンポーネント２１７３を含む。いくつかの実施形態において、ラスタライザロジックは、固定機能の三角形及び線ラスタライズを実行するためのウィンドウア／マスカユニットを含む。いくつかの実施形態において、関連付けられるレンダーキャッシュ２１７８及びデプスキャッシュ２１７９はまた、利用可能である。画素演算コンポーネント２１７７は、データに画素ベースの演算を実行するが、いくつかのインスタンスでは、２Ｄ動作（例えば、ブレンドを伴うビットブロック画像転送）に関連付けられた画素演算は、２Ｄエンジン２１４１によって実行されるか、又はオーバーレイ表示面を使用してディスプレイコントローラ２１４３によって表示時間に代わられる。いくつかの実施形態において、共有Ｌ３キャッシュ２１７５は、全てのグラフィックコンポーネントに利用可能であり、メインシステムメモリを使用することなくデータを共有することが可能になる。

【0297】

いくつかの実施形態において、グラフィックプロセッサメディアパイプライン２１３０は、メディアエンジン２１３７及びビデオフロントエンド２１３４を含む。いくつかの実施形態において、ビデオフロントエンド２１３４は、コマンドストリーマ２１０３からパイプラインコマンドを受信する。いくつかの実施形態において、メディアパイプライン２１３０は、別個のコマンドストリーマを含む。いくつかの実施形態において、ビデオフロントエンド２１３４は、コマンドをメディアエンジン２１３７に送信する前にメディアコマンドを処理する。いくつかの実施形態において、メディアエンジン２１３７は、スレッドディスパッチャ２１３１を介してスレッド実行ロジック２１５０にディスパッチするためにスレッドを生成するスレッド生成機能を含む。

【0298】

いくつかの実施形態において、グラフィックプロセッサ２１００は、ディスプレイエンジン２１４０を含む。いくつかの実施形態において、ディスプレイエンジン２１４０は、プロセッサ２１００の外部にあり、リング相互接続２１０２又はいくつかの他の相互接続バス又はファブリックを介してグラフィックプロセッサと連結する。いくつかの実施形態において、ディスプレイエンジン２１４０は、２Ｄエンジン２１４１及びディスプレイコントローラ２１４３を含む。いくつかの実施形態において、ディスプレイエンジン２１４０は、３Ｄパイプラインとは独立して動作することができる専用ロジックを含む。いくつかの実施形態において、ディスプレイコントローラ２１４３は、ラップトップコンピュータにあるようなシステム統合ディスプレイデバイス、又はディスプレイデバイスコネクタを介して取り付けられた外部ディスプレイデバイスであり得るディスプレイデバイス（図示せず）と連結する。

【0299】

いくつかの実施形態において、ジオメトリパイプライン２１２０及びメディアパイプライン２１３０は、複数のグラフィック及びメディアプログラミングインタフェースに基づいて動作を実行するように構成可能であり、任意の１つのアプリケーションプログラミングインタフェース（ＡＰＩ）に固有ではない。いくつかの実施形態において、グラフィックプロセッサのドライバソフトウェアは、特定のグラフィック又はメディアライブラリに固有のＡＰＩコールを、グラフィックプロセッサにより処理されることができるコマンドに変換する。いくつかの実施形態において、クロノスグループからオープングラフィックライブラリ（ＯｐｅｎＧＬ）、オープンコンピューティング言語（ＯｐｅｎＣＬ）、及び／又はＶｕｌｋａｎグラフィック及び計算ＡＰＩ、の全てに対するサポートが提供される。いくつかの実施形態において、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎからのＤｉｒｅｃｔ３Ｄライブラリに対するサポートはまた、提供され得る。いくつかの実施形態において、これらのライブラリの組み合わせがサポートされ得る。オープンソースのコンピュータビジョンライブラリ（ＯｐｅｎＣＶ）のサポートはまた提供され得る。将来のＡＰＩのパイプラインからグラフィックプロセッサのパイプラインへのマッピングが、行われることができる場合、互換性のある３Ｄパイプラインを備えた将来のＡＰＩはまた、サポートされるであろう。
［グラフィックパイプラインプログラミング］

【0300】

図２２Ａは、いくつかの実施形態によるグラフィックプロセッサコマンドフォーマット２２００を示すブロック図である。図２２Ｂは、一実施形態によるグラフィックプロセッサコマンドシーケンス２２１０を示すブロック図である。図２２Ａの実線の枠は、グラフィックコマンドに一般に含まれるコンポーネントを示す一方、破線は、任意選択であるか、又はグラフィックコマンドのサブセットにのみ含まれるコンポーネントを含む。図２２Ａの例示的なグラフィックプロセッサコマンドフォーマット２２００は、クライアント２２０２、コマンドオペレーションコード（オペコード）２２０４、及びコマンドのデータ２２０６を識別するデータフィールドを含む。いくつかのコマンドにはまた、サブオペコード２２０５とコマンドサイズ２２０８が含まれている。

【0301】

いくつかの実施形態において、クライアント２２０２は、コマンドデータを処理するグラフィックデバイスのクライアントユニットを指定する。いくつかの実施形態において、グラフィックプロセッサコマンドパーサーは、各コマンドのクライアントフィールドを検査し、コマンドの更なる処理を調整し、コマンドデータを適切なクライアントユニットにルーティングする。いくつかの実施形態において、グラフィックプロセッサクライアントユニットは、メモリインタフェースユニット、レンダーユニット、２Ｄユニット、３Ｄユニット、及びメディアユニットを含む。各クライアントユニットは、コマンドを処理する対応する処理パイプラインを有する。コマンドがクライアントユニットによって受信されると、クライアントユニットはオペコード２２０４を読み出し、存在する場合はサブオペコード２２０５を読み出して、実行する動作を決定する。クライアントユニットは、データフィールド２２０６の情報を使用してコマンドを実行する。いくつかのコマンドでは、明示的なコマンドサイズ２２０８は、コマンドのサイズを指定することを予期される。いくつかの実施形態において、コマンドパーサーは、コマンドオペコードに基づいて、コマンドの少なくともいくつかのサイズを自動的に決定する。いくつかの実施形態において、コマンドはダブルワードの倍数を介して整列される。他のコマンドフォーマットは、使用されることができる。

【0302】

図２２Ｂのフロー図は、例示的なグラフィックプロセッサコマンドシーケンス２２１０を示す。いくつかの実施形態において、グラフィックプロセッサの実施形態を特徴とするデータ処理システムのソフトウェア又はファームウェアは、グラフィックオペレーションのセットを設定、実行、及び終了するために示されるコマンドシーケンスのバージョンを使用する。実施形態がこれらの特定のコマンド又はこのコマンドシーケンスに限定されることはないので、サンプルコマンドシーケンスが、例示の目的でのみ示され、説明される。更に、グラフィックプロセッサが少なくとも部分的に同意してコマンドのシーケンスを処理するであろうように、コマンドはコマンドシーケンスのコマンドのバッチとして発行され得る。

【0303】

いくつかの実施形態において、グラフィックプロセッサコマンドシーケンス２２１０は、パイプラインフラッシュコマンド２２１２で始まり得、任意のアクティブなグラフィックパイプラインにパイプラインの現在保留中のコマンドを完了させる。いくつかの実施形態において、３Ｄパイプライン２２２２及びメディアパイプライン２２２４は、同時に動作しない。パイプラインフラッシュが実行され、アクティブなグラフィックパイプラインに任意の保留中のコマンドを完了させる。パイプラインフラッシュに応答して、グラフィックプロセッサのコマンドパーサーは、アクティブな描画エンジンが保留中の動作を完了し、関連する読み出しキャッシュが無効になるまで、コマンド処理を一時停止するであろう。任意選択で、「ダーティ」とマークされているレンダーキャッシュ内の任意のデータはメモリにフラッシュされることができる。いくつかの実施形態において、パイプラインフラッシュコマンド２２１２は、パイプライン同期のために、又はグラフィックプロセッサを低電力状態に配置する前に使用されることができる。

【0304】

いくつかの実施形態において、パイプライン選択コマンド２２１３は、コマンドシーケンスがグラフィックプロセッサにパイプライン間を明示的に切り替えることを要求する場合に使用される。いくつかの実施形態において、コンテキストが両方のパイプラインに対してコマンドを発行するものでない限り、パイプラインコマンドを発行する前に、パイプライン選択コマンド２２１３が実行コンテキスト内で１回だけ必要とされる。いくつかの実施形態において、パイプライン選択コマンド２２１３を介してパイプライン切り替え直前に、パイプラインフラッシュコマンド２２１２が必要とされる。

【0305】

いくつかの実施形態において、パイプライン制御コマンド２２１４は、動作のためのグラフィックパイプラインを構成し、３Ｄパイプライン２２２２及びメディアパイプライン２２２４をプログラミングするために使用される。いくつかの実施形態において、パイプライン制御コマンド２２１４は、アクティブなパイプラインのパイプライン状態を構成する。一実施形態において、パイプライン制御コマンド２２１４は、パイプライン同期のため、及びコマンドのバッチを処理する前にアクティブなパイプライン内の１又は複数のキャッシュメモリからデータをクリアするために使用される。

【0306】

いくつかの実施形態において、戻りバッファ状態コマンド２２１６は、それぞれのパイプラインがデータを書き込むための戻りバッファのセットを構成するために使用される。いくつかのパイプライン動作では、動作が処理の間に中間データを書き込む１又は複数の戻りバッファの割り当て、選択、又は構成が必要である。いくつかの実施形態において、グラフィックプロセッサはまた、出力データを格納し、スレッド間通信を実行するために、１又は複数の戻りバッファを使用する。いくつかの実施形態において、戻りバッファ状態２２１６は、パイプライン動作のセットに使用する戻りバッファのサイズ及び数を選択することを含む。

【0307】

コマンドシーケンスの残りのコマンドは、動作のアクティブなパイプラインに基づいて異なる。パイプライン決定２２２０に基づいて、コマンドシーケンスは、３Ｄパイプライン状態２２３０で始まる３Ｄパイプライン２２２２、又はメディアパイプライン状態２２４０で始まるメディアパイプライン２２２４に調整される。

【0308】

３Ｄパイプライン状態２２３０を構成するコマンドは、頂点バッファ状態、頂点要素状態、一定のカラー状態、デプスバッファ状態、及び３Ｄプリミティブコマンドが処理される前に構成される他の状態変数のための３Ｄ状態設定コマンドを含む。これらのコマンドの値は、少なくとも部分的には使用中の特定の３Ｄ ＡＰＩに基づいて決定される。いくつかの実施形態において、３Ｄパイプライン状態２２３０コマンドはまた、それらの要素が使用されないであろう場合、特定のパイプライン要素を選択的に無効化又はバイパスすることができる。

【0309】

いくつかの実施形態において、３Ｄプリミティブ２２３２コマンドは、３Ｄパイプラインによって処理される３Ｄプリミティブを提示するために使用される。３Ｄプリミティブ２２３２コマンドを介してグラフィックプロセッサに渡されるコマンド及び関連パラメータは、グラフィックパイプラインの頂点フェッチ機能に転送される。頂点フェッチ機能は、３Ｄプリミティブ２２３２コマンドデータを使用して、頂点データ構造を生成する。頂点データ構造は、１又は複数の戻りバッファに格納される。いくつかの実施形態において、３Ｄプリミティブ２２３２コマンドは、頂点シェーダを介して３Ｄプリミティブに対して頂点演算を実行するために使用される。頂点シェーダを処理するために、３Ｄパイプライン２２２２は、シェーダ実行スレッドをグラフィックプロセッサ実行ユニットにディスパッチする。

【0310】

いくつかの実施形態において、３Ｄパイプライン２２２２は、実行２２３４コマンド又はイベントを介してトリガーされる。いくつかの実施形態において、レジスタ書き込みがコマンド実行をトリガーする。いくつかの実施形態において、実行は、コマンドシーケンスの「ｇｏ」又は「ｋｉｃｋ」コマンドを介してトリガーされる。一実施形態において、コマンド実行は、グラフィックパイプラインを介してコマンドシーケンスをフラッシュするためにパイプライン同期コマンドを使用してトリガーされる。３Ｄパイプラインは、３Ｄプリミティブのジオメトリ処理を実行するであろう。動作が完了すると、結果のジオメトリックオブジェクトがラスタライズされ、画素エンジンが結果の画素に色を付ける。画素シェーディング及び画素バックエンド演算を制御する追加のコマンドはまた、これらの演算に含まれ得る。

【0311】

いくつかの実施形態において、グラフィックプロセッサコマンドシーケンス２２１０は、メディアオペレーションを実行する場合、メディアパイプライン２２２４経路に続く。一般に、メディアパイプライン２２２４のプログラミングの固有の使用及び方法は、実行されるメディア又は計算演算に依存する。固有のメディアデコードオペレーションは、メディアデコード中にメディアパイプラインにオフロードされ得る。いくつかの実施形態において、メディアパイプラインはまた、バイパスされることができ、メディアデコードは、１又は複数の汎用処理コアによって提供されるリソースを使用して全体的に又は部分的に実行されることができる。一実施形態において、メディアパイプラインはまた、汎用グラフィックプロセッサユニット（ＧＰＧＰＵ）動作のための要素を含み、グラフィックプロセッサは、グラフィックプリミティブのレンダリングに明示的に関連しない演算シェーダプログラムを使用してＳＩＭＤベクトル演算を実行するために使用される。

【0312】

いくつかの実施形態において、メディアパイプライン２２２４は、３Ｄパイプライン２２２２と類似の方法で構成される。メディアパイプライン状態２２４０を構成するコマンドのセットは、メディアオブジェクトコマンド２２４２の前にコマンドキューにディスパッチ又は配置される。いくつかの実施形態において、メディアパイプライン状態２２４０のためのコマンドは、メディアオブジェクトを処理するために使用されるであろうメディアパイプライン要素を構成するためのデータを含む。これには、例えば、エンコード又はデコードフォーマットなど、メディアパイプライン内のビデオデコード及びビデオエンコードロジックを構成するためのデータが含まれる。いくつかの実施形態において、メディアパイプライン状態２２４０のためのコマンドはまた、状態設定のバッチを含む「間接的な」状態要素への１又は複数のポインタの使用をサポートする。

【0313】

いくつかの実施形態において、メディアオブジェクトコマンド２２４２は、メディアパイプラインによる処理のためにメディアオブジェクトへのポインタを供給する。メディアオブジェクトには、処理される映像データを含むメモリバッファが含まれる。いくつかの実施形態において、メディアオブジェクトコマンド２２４２を発行する前に、全てのメディアパイプライン状態が有効でなければならない。パイプライン状態が構成され、メディアオブジェクトコマンド２２４２がキューに入れられると、メディアパイプライン２２２４は、実行コマンド２２４４又は同等の実行イベント（例えば、レジスタ書き込み）を介してトリガーされる。次に、メディアパイプライン２２２４からの出力は、３Ｄパイプライン２２２２又はメディアパイプライン２２２４によって提供される動作によって後処理され得る。いくつかの実施形態において、ＧＰＧＰＵオペレーションは、メディアオペレーションと類似の方法で構成及び実行される。
グラフィックソフトウェアアーキテクチャ

【0314】

図２３は、いくつかの実施形態による、データ処理システム２３００のための例示的なグラフィックソフトウェアアーキテクチャを示す。いくつかの実施形態において、ソフトウェアアーキテクチャは、３Ｄグラフィックアプリケーション２３１０、オペレーティングシステム２３２０、及び少なくとも１つのプロセッサ２３３０を含む。いくつかの実施形態において、プロセッサ２３３０は、グラフィックプロセッサ２３３２及び１又は複数の汎用プロセッサコア２３３４を含む。グラフィックアプリケーション２３１０及びオペレーティングシステム２３２０は各々、データ処理システムのシステムメモリ２３５０で実行される。

【0315】

いくつかの実施形態において、３Ｄグラフィックアプリケーション２３１０は、シェーダ命令２３１２を含む１又は複数のシェーダプログラムを含む。シェーダ言語の命令は、例えば、Ｄｉｒｅｃｔ３Ｄの高レベルシェーダ言語（ＨＬＳＬ）、ＯｐｅｎＧＬシェーダ言語（ＧＬＳＬ）などの高レベルシェーダ言語であり得る。アプリケーションはまた、汎用プロセッサコア２３３４による実行のために好適な機械語の実行可能命令２３１４を含む。アプリケーションにはまた、頂点データによって規定されたグラフィックオブジェクト２３１６が含まれる。

【0316】

いくつかの実施形態において、オペレーティングシステム２３２０は、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎのＭｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、プロプライエタリＵＮＩＸ（登録商標）様式のオペレーティングシステム、又はＬｉｎｕｘ（登録商標）カーネルの変形を使用するオープンソースのＵＮＩＸ様式のオペレーティングシステムである。オペレーティングシステム２３２０は、例えば、Ｄｉｒｅｃｔ３Ｄ ＡＰＩ、ＯｐｅｎＧＬ ＡＰＩ、又はＶｕｌｋａｎ ＡＰＩなどのグラフィックＡＰＩ ２３２２をサポートできる。Ｄｉｒｅｃｔ３Ｄ ＡＰＩが使用されている場合、オペレーティングシステム２３２０はフロントエンドシェーダコンパイラ２３２４を使用して、ＨＬＳＬの任意のシェーダ命令２３１２をより低水準のシェーダ言語にコンパイルする。コンパイルはジャストインタイム（ＪＩＴ）コンパイルであり得るか、又はアプリケーションがシェーダプリコンパイルを実行できる。いくつかの実施形態において、高レベルのシェーダは、３Ｄグラフィックアプリケーション２３１０のコンパイル中に低水準のシェーダにコンパイルされる。いくつかの実施形態において、シェーダ命令２３１２は、例えば、Ｖｕｌｋａｎ ＡＰＩによって使用される標準ポータブル中間表現（Ｓｔａｎｄａｒｄ Ｐｏｒｔａｂｌｅ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）（ＳＰＩＲ）のバージョンなどの中間形式で提供される。

【0317】

いくつかの実施形態において、ユーザモードグラフィックドライバ２３２６は、シェーダ命令２３１２をハードウェア固有の表現に変換するためのバックエンドのシェーダコンパイラ２３２７を含む。ＯｐｅｎＧＬ ＡＰＩが使用されている場合、ＧＬＳＬ高レベル言語のシェーダ命令２３１２が、コンパイルのためにユーザモードグラフィックドライバ２３２６に渡される。いくつかの実施形態において、ユーザモードグラフィックドライバ２３２６は、オペレーティングシステムカーネルモード機能２３２８を使用して、カーネルモードグラフィックドライバ２３２９と通信する。いくつかの実施形態において、カーネルモードグラフィックドライバ２３２９は、コマンド及び命令をディスパッチするためにグラフィックプロセッサ２３３２と通信する。
［ＩＰコアの実装態様］

【0318】

少なくとも１つの実施形態の１又は複数の態様は、例えば、プロセッサなどの集積回路内のロジックを表す及び／又は規定する機械可読媒体に格納された代表的なコードによって実装され得る。例えば、機械可読媒体は、プロセッサ内の様々なロジックを表す命令を含み得る。機械によって読み出されると場合、命令は、機械に、本明細書に説明されている技術を実行するためのロジックを製造させ得る。「ＩＰコア」として既知のそのような表現は、集積回路の構造を説明するハードウェアモデルとして有形の機械可読媒体に格納され得る、集積回路のロジックの再利用可能なユニットである。ハードウェアモデルは、集積回路を製造する製造機械にハードウェアモデルをロードする様々な顧客又は製造施設に供給され得る。集積回路は、回路が、本明細書において説明される実施形態のうちのいずれかと関連して説明される動作を実行するように製造され得る。

【0319】

図２４Ａは、一実施形態による、動作を実行するための集積回路を製造するために使用され得るＩＰコア開発システム２４００を示すブロック図である。ＩＰコア開発システム２４００は、より大きな設計に組み込まれることができ、又は集積回路全体（例えば、ＳｏＣ集積回路）を構築するのに使用されることができるモジュール、再利用可能な設計を生成するために使用され得る。設計施設２４３０は、高レベルプログラミング言語（例えば、Ｃ／Ｃ＋＋）でのＩＰコア設計のソフトウェアシミュレーション２４１０を生成することができる。ソフトウェアシミュレーション２４１０は、シミュレーションモデル２４１２を使用してＩＰコアの挙動は設計、テスト、及び検証するために使用されることができる。シミュレーションモデル２４１２は、機能的、挙動的、及び／又はタイミングシミュレーションを含み得る。次に、レジスタ転送レベル（ＲＴＬ）設計２４１５を、シミュレーションモデル２４１２から作成又は合成することができる。ＲＴＬ設計２４１５は、モデル化されたデジタル信号を使用して実行される関連付けられるロジックを含む、ハードウェア配列レジスタ間のデジタル信号のフローをモデル化する集積回路の挙動の抽出である。ＲＴＬ設計２４１５に加えて、論理レベル又はトランジスタレベルでの低水準の設計はまた、作成、設計、又は合成され得る。従って、初期の設計及びシミュレーションの具体的詳細は変わり得る。

【0320】

ＲＴＬ設計２４１５又は同等物は、設計施設によって、ハードウェア記述言語（ＨＤＬ）又は物理的設計データの他のいくつかの表現であり得るハードウェアモデル２４２０に更に合成され得る。ＨＤＬは更にシミュレーション又はテストされ得、ＩＰコア設計を確認する。ＩＰコア設計は、不揮発性メモリ２４４０（例えば、ハードディスク、フラッシュメモリ、又は任意の不揮発性記憶媒体）を使用して、サードパーティの製造施設２４６５に配送するために格納されることができる。あるいは、ＩＰコア設計は、有線接続２４５０又は無線接続２４６０を介して（例えば、インターネットを介して）送信され得る。次に、製造施設２４６５は、ＩＰコア設計に少なくとも部分的に基づいた集積回路を製造し得る。製造された集積回路は、本明細書で説明される少なくとも１つの実施形態による動作を実行するように構成されることができる。

【0321】

図２４Ｂは、本明細書で説明されるいくつかの実施形態による、集積回路パッケージアセンブリ２４７０の垂直断面図を示す。集積回路パッケージアセンブリ２４７０は、本明細書で説明されるような１又は複数のプロセッサ又はアクセラレータデバイスの実装態様を示す。パッケージアセンブリ２４７０は、基板２４８０に接続されたハードウェアロジック２４７２、２４７４の複数のユニットを含む。ロジック２４７２、２４７４は、構成可能なロジック又は固定機能ロジックハードウェアで少なくとも部分的に実装され得、本明細書に説明されているプロセッサコア、グラフィックプロセッサ、又はその他のアクセラレータデバイスのいずれかの１又は複数の部分を含むことができる。ロジック２４７２、２４７４の各ユニットは、半導体ダイ内に実装され、相互接続構造２４７３を介して基板２４８０と連結されることができる。相互接続構造２４７３は、ロジック２４７２、２４７４と基板２４８０との間で電気信号をルーティングするように構成され得、例えば、限定されることはないが、バンプ又はピラーなどの相互接続を含むことができる。いくつかの実施形態において、相互接続構造２４７３は、例えば、ロジック２４７２、２４７４の動作に関連付けられる入力／出力（Ｉ／Ｏ）信号及び／又は電力又は接地信号などの電気信号をルーティングするように構成され得る。いくつかの実施形態において、基板２４８０は、エポキシベースの積層基板である。基板２４８０は、他の実施形態において、他の適切なタイプの基板を含み得る。パッケージアセンブリ２４７０は、パッケージ相互接続２４８３を介して他の電気デバイスに接続されることができる。パッケージ相互接続２４８３は、基板２４８０の表面に連結されて、例えば、マザーボード、他のチップセット、又はマルチチップモジュールなどの他の電気デバイスに電気信号をルーティングし得る。

【0322】

いくつかの実施形態において、ロジック２４７２、２４７４のユニットは、ロジック２４７２、２４７４間で電気信号をルーティングするように構成されたブリッジ２４８２と電気的に連結される。ブリッジ２４８２は、電気信号のルートを提供する高密度相互接続構造であり得る。ブリッジ２４８２は、ガラス又は適切な半導体材料から構成されるブリッジ基板を含み得る。電気ルーティング機能はブリッジ基板上に形成され、ロジック２４７２、２４７４間のチップ間接続を提供できる。

【0323】

ロジック２４７２、２４７４及びブリッジ２４８２の２つのユニットが図示されているが、本明細書で説明される実施形態は、１又は複数のダイ上により多い又はより少ない論理ユニットを含み得る。ロジックが単一ダイに含まれる場合、ブリッジ２４８２は除外され得るため、１又は複数のダイは、ゼロ又は複数のブリッジによって接続され得る。あるいは、複数のダイ又はロジックのユニットは１又は複数のブリッジで接続されることができる。更に、複数の論理ユニット、ダイ、及びブリッジは、３次元構成を含む他の可能な構成で一緒に接続されることができる。

【0324】

図２４Ｃは、基板２４８０（例えば、ベースダイ）に接続されたハードウェアロジックチップレットの複数のユニットを含むパッケージアセンブリ２４９０を示す。本明細書に説明されるグラフィック処理ユニット、並列プロセッサ、及び／又は計算アクセラレータは、別個に製造される多様なシリコンチップレットから構成されることができる。このコンテキストにおいて、チップレットは、他のチップレットと組み立てられ、より大きなパッケージにすることができるロジックの別個のユニットを含む、少なくとも部分的にパッケージ化された集積回路である。異なるＩＰコアロジックを備えた多様なチップレットのセットは単一デバイスに組み立てられることができる。更に、チップレットは、アクティブインターポーザ技術を使用してベースダイ又はベースチップレットに統合されることができる。本明細書で説明される概念は、ＧＰＵ内のＩＰの異なる形式間の相互接続及び通信を可能にする。ＩＰコアは、異なるプロセス技術を使用して製造され、製造中に構成されることができる。これにより、特にいくつかのフレーバーＩＰを持つ大規模なＳｏＣで、同じ製造プロセスに複数のＩＰを収束する複雑さが回避される。複数のプロセス技術の使用を可能にすることで、市場までの時間が短縮され、複数の製品ＳＫＵを作成するための費用対効果の高い方法が提供される。更に、分解されたＩＰは独立してパワーゲーティングされやすくなり、所与のワークロードで使用されていないコンポーネントの電源をオフにされることができるため、全体的な電力消費を削減できる。

【0325】

ハードウェアロジックチップレットは、専用ハードウェアロジックチップレット２４７２、ロジック又はＩ／Ｏチップレット２４７４、及び／又はメモリチップレット２４７５を含むことができる。ハードウェアロジックチップレット２４７２及びロジック又はＩ／Ｏチップレット２４７４は、少なくとも部分的に構成可能なロジック又は固定機能ロジックハードウェアで実装され得、本明細書で説明されるプロセッサコア、グラフィックプロセッサ、並列プロセッサ、又はその他のアクセラレータデバイスのいずれかの１又は複数の部分を含むことができる。メモリチップレット２４７５は、ＤＲＡＭ（例えば、ＧＤＤＲ、ＨＢＭ）メモリ又はキャッシュ（ＳＲＡＭ）メモリとすることができる。

【0326】

各チップレットは、別個の半導体ダイとして製造され、相互接続構造２４７３を介して基板２４８０と連結されることができる。相互接続構造２４７３は、基板２４８０内の様々なチップレットとロジックとの間で電気信号をルーティングするように構成され得る。相互接続構造２４７３は、例えば、限定されることはないがバンプ又はピラーなどの相互接続を含むことができる。いくつかの実施形態において、相互接続構造２４７３は、例えば、ロジック、Ｉ／Ｏ及びメモリチップレットの動作に関連付けられる入力／出力（Ｉ／Ｏ）信号及び／又は電力又は接地信号などの電気信号をルーティングするように構成され得る。

【0327】

いくつかの実施形態において、基板２４８０は、エポキシベースの積層基板である。基板２４８０は、他の実施形態において、他の適切なタイプの基板を含み得る。パッケージアセンブリ２４９０は、パッケージ相互接続２４８３を介して他の電気デバイスに接続されることができる。パッケージ相互接続２４８３は、基板２４８０の表面に連結されて、例えば、マザーボード、他のチップセット、又はマルチチップモジュールなどの他の電気デバイスに電気信号をルーティングし得る。

【0328】

いくつかの実施形態において、ロジック又はＩ／Ｏチップレット２４７４及びメモリチップレット２４７５は、ロジック又はＩ／Ｏチップレット２４７４とメモリチップレット２４７５との間で電気信号をルーティングするように構成されるブリッジ２４８７を介して電気的に連結されることができる。ブリッジ２４８７は、電気信号のルートを提供する高密度相互接続構造であり得る。ブリッジ２４８７は、ガラス又は適切な半導体材料から構成されるブリッジ基板を含み得る。電気ルーティング機能はブリッジ基板上に形成され、ロジック又はＩ／Ｏチップレット２４７４とメモリチップレット２４７５の間にチップ間接続を提供できる。ブリッジ２４８７はまた、シリコンブリッジ又は相互接続ブリッジと称される場合がある。例えば、いくつかの実施形態において、ブリッジ２４８７は、埋め込みマルチダイ相互接続ブリッジ（Ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ－ｄｉｅ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｂｒｉｄｇｅ）（ＥＭＩＢ）である。いくつかの実施形態において、ブリッジ２４８７は、単に１つのチップレットから別のチップレットへの直接接続であり得る。

【0329】

基板２４８０は、Ｉ／Ｏ２４９１、キャッシュメモリ２４９２、及び他のハードウェアロジック２４９３のためのハードウェアコンポーネントを含むことができる。ファブリック２４８５は基板２４８０に埋め込まれ、基板２４８０内の様々なロジックチップレットとロジック２４９１、２４９３との間の通信を可能にすることができる。一実施形態において、Ｉ／Ｏ２４９１、ファブリック２４８５、キャッシュ、ブリッジ、及び他のハードウェアロジック２４９３は、基板２４８０の上に積層されるベースダイに統合されることができる。

【0330】

様々な実施形態において、パッケージアセンブリ２４９０は、ファブリック２４８５又は１又は複数のブリッジ２４８７によって相互接続されるより少ない又はより多い数のコンポーネント及びチップレットを含むことができる。パッケージアセンブリ２４９０内のチップレットは、３Ｄ又は２．５Ｄ配置で配置され得る。一般に、ブリッジ構造２４８７は、例えば、ロジック又はＩ／Ｏチップレットとメモリチップレットとの間のポイントツーポイント相互接続を容易にするために使用され得る。ファブリック２４８５は、様々なロジック及び／又は他のロジック及び／又はＩ／Ｏチップレットを備えるＩ／Ｏチップレット（例えば、チップレット２４７２、２４７４、２４９１、２４９３）を相互接続するために使用されることができる。一実施形態において、基板内のキャッシュメモリ２４９２は、パッケージアセンブリ２４９０のグローバルキャッシュ、分散グローバルキャッシュの一部、又はファブリック２４８５の専用キャッシュとして機能することができる。

【0331】

図２４Ｄは、一実施形態による、交換可能なチップレット２４９５を含むパッケージアセンブリ２４９４を示す。交換可能なチップレット２４９５は、１又は複数のベースチップレット２４９６、２４９８の標準化されたスロットに組み立てられることができる。ベースチップレット２４９６、２４９８は、本明細書で説明される他のブリッジ相互接続に類似することができ、例えば、ＥＭＩＢであり得る、ブリッジ相互接続２４９７を介して連結されることができる。メモリチップレットはまた、ブリッジ相互接続を介してロジック又はＩ／Ｏチップレットに接続されることができる。Ｉ／Ｏ及びロジックチップレットは、相互接続ファブリックを介して通信できる。ベースチップレットは各々、ロジック又はＩ／Ｏ又はメモリ／キャッシュの１つに対して、標準化されたフォーマットで１又は複数のスロットをサポートできる。

【0332】

一実施形態において、ＳＲＡＭ及び電力供給回路は、ベースチップレットの上にスタックされる交換可能なチップレット２４９５に対して異なるプロセス技術を使用して製造されることができる１又は複数のベースチップレット２４９６、２４９８に製造されることができる。例えば、ベースチップレット２４９６、２４９８は、より大きなプロセス技術を使用して製造されることができる、一方、交換可能なチップレットは、より小さなプロセス技術を使用して製造されることができる。交換可能なチップレット２４９５の１又は複数は、メモリ（例えば、ＤＲＡＭ）チップレットであり得る。電力及び／又はパッケージアセンブリ２４９４を使用する製品を対象とした性能に基づいて、パッケージアセンブリ２４９４に対して異なるメモリ密度は選択されることができる。更に、電力及び／又は製品を対象とした性能に基づいて、アセンブリ時に異なる数のタイプの機能ユニットを備えたロジックチップレットは選択されることができる。更に、異なるタイプのＩＰロジックコアを含むチップレットは交換可能なチップレットスロットに挿入されることができるため、異なる技術のＩＰブロックを混合及び一致できるハイブリッドプロセッサ設計が可能になる。
［チップ集積回路の例示的なシステム］

【0333】

図２５～図２６Ｂは、本明細書で説明される様々な実施形態による、１又は複数のＩＰコアを使用して製造され得る例示的な集積回路及び関連付けられるグラフィックプロセッサを示す。図示されているものに加えて、追加のグラフィックプロセッサ／コア、周辺機器インタフェースコントローラ、又は汎用プロセッサコアを含む他のロジック及び回路が含まれ得る。

【0334】

図２５は、一実施形態による、１又は複数のＩＰコアを使用して製造され得るチップ集積回路２５００上の例示的なシステムを示すブロック図である。例示的な集積回路２５００は、１又は複数のアプリケーションプロセッサ２５０５（例えば、ＣＰＵ）、少なくとも１つのグラフィックプロセッサ２５１０を含み、更に、イメージプロセッサ２５１５及び／又はビデオプロセッサ２５２０を含み得、それらのいずれも、同じ又は複数の異なる設計施設からのモジュールＩＰコアとし得る。集積回路２５００は、ＵＳＢコントローラ２５２５、ＵＡＲＴコントローラ２５３０、ＳＰＩ／ＳＤＩＯコントローラ２５３５、及びＩ^２Ｓ／Ｉ^２Ｃコントローラ２５４０を含む周辺機器又はバスロジックを含む。更に、集積回路は、高精細度マルチメディアインタフェース（ＨＤＭＩ（登録商標））コントローラ２５５０及びモバイル業界プロセッサインタフェース（ＭＩＰＩ）ディスプレイインタフェース２５５５のうちの１又は複数に連結されたディスプレイデバイス２５４５を含むことができる。ストレージは、フラッシュメモリ及びフラッシュメモリコントローラを含むフラッシュメモリサブシステム２５６０によって提供され得る。ＳＤＲＡＭ又はＳＲＡＭメモリデバイスにアクセスするために、メモリコントローラ２５６５を介してメモリインタフェースを提供され得る。いくつかの集積回路は、埋め込みセキュリティエンジン２５７０を更に含む。

【0335】

図２６Ａ～２６Ｂは、本明細書で説明される実施形態による、ＳｏＣ内で使用するための例示的なグラフィックプロセッサを示すブロック図である。図２６Ａは、一実施形態による、１又は複数のＩＰコアを使用して製造され得るチップ集積回路のシステムの例示的なグラフィックプロセッサ２６１０を示す。図２６Ｂは、一実施形態による、１又は複数のＩＰコアを使用して製造され得るシステムオンチップ集積回路のシステムの追加の例示的なグラフィックプロセッサ２６４０を示す。図２６Ａのグラフィックプロセッサ２６１０は、低電力のグラフィックプロセッサコアの例である。図２６Ｂのグラフィックプロセッサ２６４０は、より高性能なグラフィックプロセッサコアの例である。グラフィックプロセッサ２６１０、２６４０の各々は、図２５のグラフィックプロセッサ２５１０の変形とすることができる。

【0336】

図２６Ａに示されように、グラフィックプロセッサ２６１０は、頂点プロセッサ２６０５及び１又は複数のフラグメントプロセッサ２６１５Ａ～２６１５Ｎ（例えば、２６１５Ａ、２６１５Ｂ、２６１５Ｃ、２６１５Ｄから２６１５Ｎ－１、及び２６１５Ｎまで）を含む。グラフィックプロセッサ２６１０は、頂点プロセッサ２６０５が頂点シェーダプログラムの演算を実行するように最適化されるように、別個のロジックを介して異なるシェーダプログラムを実行することができ、一方、１又は複数のフラグメントプロセッサ２６１５Ａ～２６１５Ｎは、フラグメント又は画素シェーダプログラムのためのフラグメント（例えば、画素）シェーディング演算を実行する。頂点プロセッサ２６０５は、３Ｄグラフィックパイプラインの頂点処理段階を実行し、プリミティブ及び頂点データを生成する。フラグメントプロセッサ２６１５Ａ～２６１５Ｎは、頂点プロセッサ２６０５によって生成されたプリミティブ及び頂点データを使用して、ディスプレイデバイスに表示されるフレームバッファを生成する。一実施形態において、フラグメントプロセッサ２６１５Ａ～２６１５Ｎは、ＯｐｅｎＧＬ ＡＰＩで提供されるフラグメントシェーダプログラムを実行するように最適化され、これは、Ｄｉｒｅｃｔ ３Ｄ ＡＰＩで提供される画素シェーダプログラムと類似の動作を実行するために使用され得る。

【0337】

グラフィックプロセッサ２６１０は更に、１又は複数のメモリ管理ユニット（ＭＭＵ）２６２０Ａ～２６２０Ｂ、キャッシュ２６２５Ａ～２６２５Ｂ、及び回路相互接続２６３０Ａ～２６３０Ｂを含む。１又は複数のＭＭＵ２６２０Ａ～２６２０Ｂは、頂点プロセッサ２６０５及び／又はフラグメントプロセッサ２６１５Ａ～２６１５Ｎを含む、グラフィックプロセッサ２６１０の仮想アドレスから物理アドレスへのマッピングを提供し、１又は複数のキャッシュ２６２５Ａ～２６２５Ｂに格納された頂点又は画像／テクスチャデータに加えて、メモリに格納された頂点又は画像／テクスチャデータを参照し得る。一実施形態において、１又は複数のＭＭＵ２６２０Ａ～２６２０Ｂは、図２５の１又は複数のアプリケーションプロセッサ２５０５、イメージプロセッサ２５１５、及び／又はビデオプロセッサ２５２０に関連付けられた１又は複数のＭＭＵを含む、システム内の他のＭＭＵと同期され得るため、各プロセッサ２５０５－２５２０が共有又は統合仮想メモリシステムに加わることができる。実施形態による、１又は複数の回路相互接続２６３０Ａ～２６３０Ｂにより、グラフィックプロセッサ２６１０は、ＳｏＣの内部バスを介して、又は直接接続を介して、ＳｏＣ内の他のＩＰコアとインタフェースすることができ可能になる。

【0338】

図２６Ｂに示されるように、グラフィックプロセッサ２６４０は、図２６Ａのグラフィックプロセッサ２６１０の１又は複数のＭＭＵ２６２０Ａ～２６２０Ｂ、キャッシュ２６２５Ａ～２６２５Ｂ、及び回路相互接続２６３０Ａ～２６３０Ｂを含む。グラフィックプロセッサ２６４０には、１又は複数のシェーダコア２６５５Ａ－２６５５Ｎ（例えば、２６５５Ａ、２６５５Ｂ、２６５５Ｃ、２６５５Ｄ、２６５５Ｅ、２６５５Ｆから２６５５Ｎ－１、２６５５Ｎまで）が含まれ、これは、単一コア又はタイプ又はコアが、頂点シェーダ、フラグメントシェーダ、及び／又は計算シェーダを実装するシェーダプログラムコードを含む、全てのタイプのプログラマブルシェーダコードを実行できる統合シェーダコアアーキテクチャを提供する。存在するシェーダコアの正確な数は、実施形態及び実装態様の間で変わることができる。更に、グラフィックプロセッサ２６４０は、スレッドディスパッチャとして機能し、実行スレッドを１又は複数のシェーダコア２６５５Ａ～２６５５Ｎ及びタイル化ユニット２６５８にディスパッチして、タイルベースのレンダリングのタイル化動作を加速する、コア間タスクマネージャー２６４５を含み、シーンのレンダリング演算は、例えば、シーン内のローカル空間のコヒーレンシを活用したり、又は内部キャッシュの使用を最適化したりするために、画像空間で細分化される。

【0339】

図２７Ａは、一実施形態による、畳み込み層２７００を示す。畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層２７００の場合、畳み込み層２７００への入力データ２７１０は、Ｈ＊Ｗ＊Ｃテンソルとして示され得、Ｈ、Ｗ及びＣは、それぞれ、入力データ２７１０の高さ、幅及びチャネル数を表す。カーネル２７３０で入力データ２７１０に対して畳み込み演算が実行され得、出力２７５０を得る。一実施形態において、カーネル２７３０は、いくつかのＫ＊Ｋ＊Ｃテンソルとして示され得、カーネル２７３０の各々の高さ及び幅は同じであり、Ｋで示される。一実施形態において、カーネルの高さ及び幅はまた異なり得る。畳み込み層２７００の出力２７５０は、起動と称される場合がある。Ｈ、Ｗ、Ｋ、Ｃは、異なる畳み込み層に対して異なり得ることに留意されたい。入力データ２７１０（つまり、Ｈ＊Ｗ＊Ｃテンソル）及びカーネル２７３０のサイズ及び数は、これに限定されることはないが例示的である。以前の畳み込み層の起動が入力として現在の畳み込み層２７００に入る場合、現在の畳み込み層２７００の入力はまた、起動と称される場合がある。

【0340】

畳み込み層２７００の演算中、メモリ効率を改善することは、ＣＮＮの計算性能を高めるために有益であることは、当業者には一般的に既知である。メモリ効率には、少なくともメモリ負荷効率が含まれる。一例として、メモリ負荷効率は、メモリコストに対する畳み込み層の運用コストを示すメモリ効率であり得る。

【0341】

ＣＮＮの異なる畳み込み層の場合、入力データ２７１０のチャネル数Ｃがそれに応じて増加し得る一方で、演算がより深い層に入る場合、入力データ２７１０のサイズＨ＊Ｗは減少し得る。当業者が理解するであろうように、３ｘ３行列及び１ｘ１行列は、カーネル２７３０として当技術分野で一般的に使用されている。通常、入力データ２７１０のサイズは、浅い層のカーネル２７３０のサイズよりはるかに大きくなり得る。入力データ２７１０は、より浅い層で算出された場合、カーネル２７３０よりも多くのメモリを消費し得、一方、入力データ２７１０は、より深い層で算出された場合、カーネル２７３０よりも少ないメモリを消費し得る。入力データ２７１０及びカーネル２７３０のメモリコストは、異なる畳み込み層によって変わり得、メモリ効率を改善するためにメモリコスト節約される必要がある。

【0342】

低いメモリ効率につながり得る高いメモリコストの技術的問題を解決するために、実施形態は、メモリ効率を改善するために起動及びカーネルを動的に分割することに関する。

【0343】

図２７Ｂは、一実施形態による、入力データ及びカーネルに対する畳み込み演算の実行を示す。畳み込み層２７００の入力データ２７１０（以下、起動２７１０と称され）は、複数の起動グループ２７１２－１、２７１２－２、…、２７１２－ｋに分割され得、起動２７１０の起動グループの数は、ｋによって示される。複数の起動グループ２７１２－１、２７１２－２、…、２７１２－ｋは、起動２７１０より小さいサイズを有し得、各起動グループは、起動２７１０の一部に対応する。当業者は、入力データを複数の起動グループに分割するために使用され得る様々な分割戦略があることを理解するであろう。起動グループの数は示される数に限定されることはないことに留意されたい。

【0344】

畳み込み層２７００内のカーネル２７３０は、複数のカーネルグループ２７３２－１、２７３２－２、…、２７３２－ｗに分割され得、カーネル２７３０内のカーネルグループの数は、ｗで示される。複数のカーネルグループ２７３２－１、２７３２－２、…、２７３２－ｗの各々は、複数のカーネル２７３０を含み得る。カーネルグループ内の複数のカーネル２７３０の数がｎであると仮定する。当業者は、カーネルを複数のカーネルグループに分割するために使用され得る様々な分割戦略があることを理解するであろう。カーネルグループの数及び各カーネルグループ内のカーネルの数は、示されている数に限定されることはないことに留意されたい。

【0345】

図２７Ａ及び図２７Ｂを参照すると、畳み込み層２７００の演算中に、複数の起動グループ２７１２－１、２７１２－２、…、２７１２－ｋの各々に対して、複数のカーネルグループ２７３２－１、２７３２－２、…、２７３２－ｗの各々で畳み込み演算は実行され得る。

【0346】

一実施形態において、矢印２７２２－１、２７２２－２、…、２７２２－ｋは、カーネルグループ２７３２－１を使用して複数の起動グループ２７１２－１、２７１２－２、…、２７１２－ｋの各々に対して実行された畳み込み演算を示し得る。矢印２７２２－１に対応する時間ｔ１において、カーネルグループ２７３２－１を使用して起動グループ２７１２－１に対して畳み込み演算は実行され得、対応して複数の結果を生成する。矢印２７２２－２に対応する時間ｔ２において、カーネルグループ２７３２－１を使用して起動グループ２７１２－２に対して畳み込み演算は実行され得、対応して複数の結果を生成する。カーネルグループ２７３２－１を使用する演算は、矢印２７２２－ｋに対応する時間ｔｋに対応して複数の結果を生成するために、カーネルグループ２７３２－１を使用して起動グループ２７１２－ｋに対して畳み込み演算が実行され得るまで継続し得る。

【0347】

次に、演算は、カーネルグループ２７３２－２を使用して、複数の起動グループ２７１２－１、２７１２－２、…、２７１２－ｋの各々に対して実行される畳み込み演算を継続し得る。

【0348】

カーネルグループ２７３２－ｗを使用して複数の起動グループ２７１２－１、２７１２－２、…、２７１２－ｋ毎に畳み込み演算が実行された後、畳み込み層２７００に対する演算が完了する。畳み込み層２７００の演算中に得られた全ての結果は、畳み込み層２７００の出力２７５０を形成するために一緒に組み合わせられ得る。

【0349】

複数の起動グループが分割され、複数のカーネルグループが分割されることにより、各カーネルグループ内の各カーネルを使用して、起動グループに対して畳み込み演算は実行され得る。また、畳み込み演算は、各起動グループのカーネルグループ内の複数のカーネルを使用して実行され得る。数ｋ及びｎは、ＣＮＮの異なる畳み込み層に対して動的に選択され得る。起動及びカーネルを動的に分割することで、畳み込み層のメモリコストを大幅に削減し、メモリ効率を改善するのを助け得る。詳細については、以下で検討されるであろう。

【0350】

図２８は、一実施形態による、機械学習のための方法を示す。一実施形態において、機械学習のための方法２８００は、計算エンジンによって実行され得る。一実施形態において、方法２８００は、グラフィック処理ユニット、グラフィックマルチプロセッサ、グラフィックプロセッサ、ＣＰＵ、又はネットワークプロセッサによって実行され得る。一実施形態において、方法２８００は、ＣＮＮの訓練又は推論中に実行され得る。

【0351】

ブロック２８０２において、入力データに含まれる複数の起動グループは、計算エンジン上に実装された畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層によって受信され得る。畳み込み層は１又は複数のカーネルグループを含み得、１又は複数のカーネルグループは各々複数のカーネルを含み得る。一実施形態において、入力データは、ＣＮＮへの入力から得られ得る。一実施形態において、入力データは、前の畳み込み層の出力から得られ得る。

【0352】

ブロック２８０４で、複数のメモリ効率測定基準は、複数の起動グループの起動グループの数及び複数のカーネルのカーネルの数に基づいて決定され得る。一実施形態において、複数の起動グループの起動グループの数の下限値は、例えば、計算エンジンに連結されたレジスタ及びバッファの容量などの記憶容量に関連付けられ得る。一実施形態において、複数のカーネルのカーネルの数の上限値は、例えば、ＡＬＵの数、サイズ、及びコンピューティング機能などの計算エンジン上の算術論理ユニット（ＡＬＵ）に関連付けられ得る。

【0353】

ブロック２８０６では、複数のメモリ効率測定基準の中の最適なメモリ効率測定基準に関連付けられる、第１最適数の起動グループ及び第２最適数のカーネルは選択され得る。

【0354】

ブロック２８０８では、第１最適数及び第２最適数に基づいて、畳み込み演算は入力データに対して実行され得る。第１最適数及び第２最適数を利用することにより、畳み込み層のメモリ効率が改善され得る。一実施形態において、複数のメモリ効率測定基準は、メモリ負荷効率を示し得る。

【0355】

一実施形態において、第１最適数及び第２最適数の選択は、ＣＮＮの異なる畳み込み層に対して独立して実行され得る。一実施形態において、それぞれｐ１及びｐ２として示される第１最適数及び第２最適数が畳み込み層に対して選択された後、畳み込み演算がこの層に対して実行され得る。次に、ＣＮＮの演算は別の畳み込み層に対して継続し得、それぞれｐ１'及びｐ２'として示される別の第１最適数及び別の第２最適数がこの層に対して選択され得る。数値ｐ１'は、ｐ１よりも大きい、等しい、又は小さくなり得る。数値ｐ２'は、ｐ２よりも大きい、等しい、又は小さくなり得る。方法２８００は、ＣＮＮの任意の１又は複数の畳み込み層に適用され得、１又は複数の畳み込み層毎に入力データ及びカーネルは、畳み込み層の選択された第１最適数及び第２最適数に基づいて動的に分割され得る。

【0356】

図２９は、一実施形態による、機械学習のための方法を示す。一実施形態において、機械学習のための方法２９００は、計算エンジンによって実行され得る。一実施形態において、方法２９００は、グラフィック処理ユニット、グラフィックマルチプロセッサ、グラフィックプロセッサ、ＣＰＵ、又はネットワークプロセッサによって実行され得る。一実施形態において、方法２９００は、ＣＮＮの訓練又は推論中に実行され得る。

【0357】

ブロック２９０２において、入力データに含まれる複数の起動グループは、計算エンジン上に実装された畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層によって受信され得る。畳み込み層は１又は複数のカーネルグループを含み得、１又は複数のカーネルグループは各々複数のカーネルを含み得る。一実施形態において、入力データは、ＣＮＮへの入力から得られ得る。一実施形態において、入力データは、前の畳み込み層の出力から得られ得る。

【0358】

ブロック２９０４において、起動スパース性及びカーネルスパース性が、計算エンジンによって受信され得る。一実施形態において、起動スパース性は、ＣＮＮへの入力から得られ得る。一実施形態において、起動スパース性は、前の畳み込み層の出力から得られ得る。一実施形態において、カーネルスパース性は、ＣＮＮから決定され得る。

【0359】

入力データの各データ要素及びカーネルの各データ要素は、畳み込み層の演算に使用する必要があるが、値ゼロのいくつかのデータ要素は、演算中に値ゼロの結果を生成し得る。これらのゼロ値のデータ要素は、実際に算出する必要はない場合がある。入力データ及びカーネルにゼロ値のデータ要素がある場合、演算のコンピューティングリソースは節約され得る。入力データの合計データ要素の数に対するゼロ値のデータ要素の数の比率は、起動スパース性と称される場合がある。カーネルの合計データ要素の数に対するゼロ値のデータ要素の数の比率は、カーネルスパース性と称される場合がある。利用されているコンピューティングリソースの量又は運用コストは、起動スパース性及びカーネルスパース性に影響され得る。

【0360】

単一畳み込み層では、カーネルスパース性は固定され得るが、起動スパース性は異なる入力データにより変わり得る。異なる畳み込み層では、異なるカーネルは、異なる目的に対して異なるサイズ及び値を有し得るため、カーネルスパース性は変わり得る。従って、起動スパース性及びカーネルスパース性を使用して、畳み込み層のメモリ効率を改善すると有利であり得る。

【0361】

畳み込み層の演算中、メモリ効率を示すためのメモリ効率測定基準は、次の式
（ｍ×ｎ×ｋ×Ｓａ×Ｓｋ）／（ｍ×ｋ×Ｓａ＋ｍ×ｎ×Ｓｋ）…（１）
によって決定され得、ｍは入力データのチャネル数であり、ｎは複数のカーネルのカーネルの数であり、ｋは複数の起動グループの起動グループの数であり、Ｓａは起動スパース性であり、Ｓｋはカーネルスパース性である。共通のｍを除去する場合、上の式は
（ｎ×ｋ×Ｓａ×Ｓｋ）／（ｋ×Ｓａ＋ｎ×Ｓｋ）…（２）
のように表されるであろう。メモリ効率測定基準は、ｋ、ｎ、Ｓａ、及びＳｋに基づいて決定され得る。

【0362】

一実施形態において、ＣＮＮの訓練中に、例示的な入力データがＣＮＮに供給され得、起動スパース性及びカーネルスパース性は、計算エンジン上に実装されたコンパイラによって決定され得る。一実施形態において、ＣＮＮの推論中に、起動スパース性は、計算エンジン上に実装されたドライバによって決定され得、カーネルスパース性は、ドライバによって受信され得る。

【0363】

ブロック２９０６で、複数のメモリ効率測定基準は、複数の起動グループの起動グループの数及び複数のカーネルのカーネルの数、及び起動スパース性及びカーネルスパース性に基づいて決定され得る。一実施形態において、複数の起動グループの起動グループの数の下限値は、例えば、計算エンジンに連結されたレジスタ及びバッファの容量などの記憶容量に関連付けられ得る。一実施形態において、複数のカーネルのカーネルの数の上限値は、例えば、ＡＬＵの数、サイズ、及びコンピューティング機能などの計算エンジン上の算術論理ユニット（ＡＬＵ）に関連付けられ得る。

【0364】

一実施形態において、複数のメモリ効率測定基準は、上記の式
（ｎ×ｋ×Ｓａ×Ｓｋ）／（ｋ×Ｓａ＋ｎ×Ｓｋ）
の計算によって導出され得、ｎは複数のカーネルのカーネルの数、ｋは複数の起動グループの起動グループの数、Ｓａは起動スパース性であり、Ｓｋはカーネルスパース性である。

【0365】

ブロック２９０８では、複数のメモリ効率測定基準の中の最適なメモリ効率測定基準に関連付けられる、第１最適数の起動グループ及び第２最適数のカーネルは選択され得る。

【0366】

ブロック２９１０で、第１最適数及び第２最適数に基づいて、畳み込み演算は入力データに対して実行され得る。第１最適数及び第２最適数を利用することにより、畳み込み層のメモリ効率が改善され得る。一実施形態において、複数のメモリ効率測定基準は、メモリ負荷効率を示し得る。

【0367】

一実施形態において、第１最適数及び第２最適数の選択は、ＣＮＮの異なる畳み込み層に対して独立して実行され得る。一実施形態において、それぞれｐ１及びｐ２として示される第１最適数及び第２最適数が畳み込み層に対して選択された後、畳み込み演算がこの層に対して実行され得る。次に、ＣＮＮの演算は別の畳み込み層に対して継続し得、それぞれｐ１'及びｐ２'として示される別の第１最適数及び別の第２最適数がこの層に対して選択され得る。数値ｐ１'は、ｐ１よりも大きい、等しい、又は小さくなり得る。数値ｐ２'は、ｐ２よりも大きい、等しい、又は小さくなり得る。方法２９００は、ＣＮＮの任意の１又は複数の畳み込み層に適用され得、１又は複数の畳み込み層毎に入力データ及びカーネルは、畳み込み層の選択された第１最適数及び第２最適数に基づいて動的に分割され得る。

【0368】

様々な実施形態の一部は、コンピュータプログラム製品として提供され得、これは、そこに格納されたコンピュータプログラム命令を有すコンピュータ可読媒体を含み得、これは、特定の実施形態によるプロセスを実行するために１又は複数のプロセッサによる実行のためにコンピュータ（又は他の電子デバイス）をプログラミングするために使用され得る。コンピュータ可読媒体は、限定されることはないが、磁気ディスク、光ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気又は光カード、フラッシュメモリ、又は電子命令を格納するのに好適なその他のタイプのコンピュータ可読媒体を含み得る。更に、実施形態はまた、コンピュータプログラム製品としてダウンロードされ得、プログラムは、リモートコンピュータから要求コンピュータに転送され得る。いくつかの実施形態において、非一時的なコンピュータ可読記憶媒体は、プロセッサによって実行された場合、プロセッサに特定の動作を実行させる命令のシーケンスを表すデータをそこに格納している。

【0369】

多くの方法はこれらの最も基本的な形で説明されているが、プロセスは方法のいずれかに追加又は削除されることができ、情報は本実施形態の基本的な範囲から逸脱することなく、説明されたメッセージのいずれかから追加又は削除されることができる。多くの更なる修正及び適合が行われることができることは、当業者には明らかであろう。特定の実施形態は、概念を限定するためではなく、それを図示するために提供される。実施形態の範囲は、上に提供された固有の例によってではなく、以下の特許請求の範囲によってのみ判断されるべきである。

【0370】

要素「Ａ」が要素「Ｂ」に又は要素「Ｂ」と連結されると言われる場合、要素Ａは直接的に要素Ｂに連結され得、又は例えば要素Ｃを介して間接的に連結され得る。明細書又は特許請求の範囲に、コンポーネント、機能、構造、プロセス、又は特性Ａがコンポーネント、機能、構造、プロセス、又は特性Ｂを「引き起こす」と記載されている場合、「Ａ」が少なくとも「Ｂ」の部分的な原因であることを意味するが、また「Ｂ」を引き起こすのに役立つ少なくとも１つの他のコンポーネント、機能、構造、プロセス、又は特性があり得る。明細書は、コンポーネント、機能、構造、プロセス、又は特性が含まれ「得る（ｍａｙ）」、「可能性がある（ｍｉｇｈｔ）」、又は「ことができる（ｃｏｕｌｄ）」を示している場合、その特定のコンポーネント、機能、構造、プロセス、又は特性は含まれるのに必要とされない。明細書又は請求項が「ａ」又は「ａｎ」要素を指している場合、これは、説明されている要素の１つだけがあることを意味するものではない。

【0371】

実施形態は、実装態様又は例である。本明細書における「実施形態」、「一実施形態」、「いくつかの実施形態」、又は「他の実施形態」の参照は、実施形態に関連して説明される特定の特徴、構造、又は特性が少なくともいくつかの実施形態に含まれるが、必ずしも全ての実施形態においてないことを意味する。「実施形態」、「一実施形態」、又は「いくつかの実施形態」の様々な出現は、必ずしも全てが同じ実施形態を指しているわけではない。例示的な実施形態の上記の説明では、開示を簡素化し、様々な新規の態様の１又は複数の理解を助ける目的のために、様々な特徴が単一実施形態、図、又はこれらの説明に一緒にグループ化されることがあることを理解されたい。しかし、この開示の方法は、請求された実施形態が、各請求項に明示的に記載されているよりも多くの特徴を要求するという意図を反映するものとして解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、新規の態様は、前述の単一開示された実施形態の全ての特徴により少ない特徴にある。従って、特許請求の範囲は、この説明に明示的に組み込まれ、各請求項は、別個の実施形態として自立している。

【0372】

以下の節及び／又は例は、更なる実施形態又は例に関する。実施例の詳細は、１又は複数の実施形態のどこでも使用され得る。異なる実施形態又は例の様々な特徴は、様々な異なる用途に適合するように含まれるいくつかの特徴及び除外される他の特徴と様々に組み合わられ得る。例は、例えば、方法、方法の機能を実行するための手段などの主題と、機械によって実行される場合、本明細書で説明される実施形態及び例によるハイブリッド通信を容易にするための方法又は装置又はシステムの動作を機械に実行させる命令を含む少なくとも１つの機械可読媒体を含み得る。

【0373】

更なる例

【0374】

例１は、計算エンジン上に実装された畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層によって、入力データに含まれる複数の起動グループを受信する段階であって、畳み込み層は１又は複数のカーネルグループを含み、１又は複数のカーネルグループは各々複数のカーネルを含む、段階と、複数の起動グループの起動グループの数及び複数のカーネルのカーネルの数に基づいて複数のメモリ効率測定基準を決定する段階と、複数のメモリ効率測定基準の中の最適なメモリ効率測定基準に関連付けられている第１最適数の起動グループ及び第２最適数のカーネルを選択する段階と、第１最適数及び第２最適数に基づいて、入力データに対して畳み込み演算を実行するする段階と、を含む、機械学習を実行する計算エンジンにおける方法を含む。

【0375】

例２は、例１の主題を含み、起動スパース性及びカーネルスパース性を受信することを更に含み、複数のメモリ効率測定基準の決定は、起動スパース性及びカーネルスパース性に更に基づく。

【0376】

例３は例２の主題を含み、複数のメモリ効率測定基準は次の式
（ｎ×ｋ×Ｓａ×Ｓｋ）／（ｋ×Ｓａ＋ｎ×Ｓｋ）
の計算によって導出され、ｎは複数のカーネルのカーネルの数であり、ｋは複数の起動グループの起動グループの数であり、Ｓａは起動スパース性であり、Ｓｋはカーネルスパース性である。

【0377】

例４は、例１の主題を含み、第１最適数及び第２最適数の選択は、ＣＮＮの異なる畳み込み層に対して独立して実行される。

【0378】

例５は、例１の主題を含み、複数の起動グループの起動グループの数の下限値が、計算エンジンに連結されたレジスタ又はバッファに関連付けられる。

【0379】

例６は、例１の主題を含み、複数のカーネルのカーネルの数の上限値が、計算エンジン上の算術論理ユニット（ＡＬＵ）に関連付けられる。

【0380】

例７は、例１の主題を含み、複数のメモリ効率測定基準は、メモリ負荷効率を示す。

【0381】

例８は例１の主題を含み、方法はＣＮＮの訓練又は推論中に実装される。

【0382】

例９は、入力データに含まれる複数の起動グループと、各々が畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層に複数のカーネルを含む１又は複数のカーネルグループとを格納するデータストレージデバイスと、データストレージデバイスに連結された１又は複数のプロセッサであって、ＣＮＮは、１又は複数のプロセッサ上に実装される１又は複数のプロセッサとを備え、１又は複数のプロセッサは、畳み込み層によって、複数の起動グループを受信することであって、畳み込み層は、１又は複数のカーネルグループが含む、受信することと、複数の起動グループの起動グループの数及び複数のカーネルのカーネルの数に基づいて複数のメモリ効率測定基準を決定することと、複数のメモリ効率測定基準の中の最適なメモリ効率測定基準に関連付けられている第１最適数の起動グループ及び第２最適数のカーネルを選択することと、第１最適数及び第２最適数に基づいて、入力データに対して畳み込み演算を実行することと、を行う機械学習のための装置を含む。

【0383】

例１０は、例９の主題を含み、１又は複数のプロセッサは、更に、起動スパース性及びカーネルスパース性を受信し、１又は複数のプロセッサは、起動スパース性及びカーネルスパース性に更に基づいて、複数のメモリ効率測定基準を決定する。

【0384】

例１１は例１０の主題を含み、複数のメモリ効率測定基準は次の式
（ｎ×ｋ×Ｓａ×Ｓｋ）／（ｋ×Ｓａ＋ｎ×Ｓｋ）
の計算によって導出され、ｎは複数のカーネルのカーネルの数であり、ｋは複数の起動グループの起動グループの数であり、Ｓａは起動スパース性であり、Ｓｋはカーネルスパース性である。

【0385】

例１２は、例９の主題を含み、１又は複数のプロセッサは、ＣＮＮの異なる畳み込み層に対して独立して第１最適数及び第２最適数を選択する。

【0386】

例１３は、例９の主題を含み、複数の起動グループの起動グループの数の下限値は、１又は複数のプロセッサに連結されたレジスタ又はバッファに関連付けられる。

【0387】

例１４は、例９の主題を含み、複数のカーネルのカーネルの数の上限値は、１又は複数のプロセッサ上の算術論理ユニット（ＡＬＵ）に関連付けられる。

【0388】

例１５は、例９の主題を含み、複数のメモリ効率測定基準は、メモリ負荷効率を示す。

【0389】

例１６は、例９の主題を含み、１又は複数のプロセッサは、グラフィックプロセッサを含む。

【0390】

例１７は、例１～８のいずれかに請求されるような方法を実行するための手段を含む機械学習のためのシステムを含む。

【0391】

例１８は、コンピューティングデバイス上で実行された場合に、例１～８のいずれかに請求される方法を実行するための複数の命令を含む少なくとも１つのコンピュータ可読媒体を含む。

【0392】

上記の説明及び図面は、限定的な意味ではなく例示的な意味でみなされるべきである。当業者は、添付の特許請求の範囲に記載される本発明のより広い趣旨及び範囲から逸脱することなく、本明細書に説明される実施形態に対して様々な修正及び変更が行われ得ることを理解するであろう。
（項目１）
機械学習を実行する計算エンジンにおける方法であって、
上記計算エンジン上に実装された畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層によって、入力データに含まれる複数の起動グループを受信する段階であって、上記畳み込み層は１又は複数のカーネルグループを備え、上記１又は複数のカーネルグループは各々複数のカーネルを有し、１又は複数のカーネルグループは各々、複数のカーネル含む、段階と、
上記複数の起動グループの起動グループの数及び上記複数のカーネルのカーネルの数に基づいて複数のメモリ効率測定基準を決定する段階と、
上記複数のメモリ効率測定基準の中の最適なメモリ効率測定基準に関連付けられている第１最適数の起動グループ及び第２最適数のカーネルを選択する段階と、
上記第１最適数と上記第２最適数に基づいて、上記入力データに対して畳み込み演算を実行する段階と、
を備える、方法。
（項目２）
起動スパース性及びカーネルスパース性を受信する段階を更に備え、上記複数のメモリ効率測定基準を決定する上記段階は更に、上記起動スパース性及び上記カーネルスパース性に基づく、項目１に記載の方法。
（項目３）
上記複数のメモリ効率測定基準は、次の式
（ｎ×ｋ×Ｓａ×Ｓｋ）／（ｋ×Ｓａ＋ｎ×Ｓｋ）
の計算によって導出され、
ｎは、上記複数のカーネルのカーネルの数であり、
ｋは、上記複数の起動グループの起動グループの数であり、
Ｓａは上記起動スパース性であり、
Ｓｋは上記カーネルスパース性である、
項目２に記載の方法。
（項目４）
上記第１最適数及び上記第２最適数を選択する上記段階は、上記ＣＮＮの異なる畳み込み層について独立して実行される、
項目１に記載の方法。
（項目５）
上記複数の起動グループの起動グループの数の下限値が、上記計算エンジンに連結されたレジスタ又はバッファに関連付けられる、
項目１に記載の方法。
（項目６）
上記複数のカーネルのカーネルの数の上限値が、上記計算エンジン上の算術論理ユニット（ＡＬＵ）に関連付けられる、
項目１に記載の方法。
（項目７）
上記複数のメモリ効率測定基準は、メモリ負荷効率を示す、
項目１に記載の方法。
（項目８）
上記方法は、上記ＣＮＮの訓練又は推論の間に実施される、
項目１に記載の方法。
（項目９）
機械学習のための装置であって、
入力データに含まれる複数の起動グループと、各々が畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層に複数のカーネルを含む１又は複数のカーネルグループとを格納するデータストレージデバイスと、
上記データストレージデバイスに連結された１又は複数のプロセッサであって、上記ＣＮＮは上記１又は複数のプロセッサ上に実装される、１又は複数のプロセッサと、を備え、
上記１又は複数のプロセッサは、
上記畳み込み層により、上記複数の起動グループを受信することであって、上記畳み込み層は、上記１又は複数のカーネルグループを含む、受信することと、
上記複数の起動グループの起動グループの数及び上記複数のカーネルのカーネルの数に基づいて複数のメモリ効率測定基準を決定することと、
上記複数のメモリ効率測定基準の中の最適なメモリ効率測定基準に関連付けられている第１最適数の起動グループ及び第２最適数のカーネルを選択することと、
上記第１最適数及び上記第２最適数に基づいて、上記入力データに対して畳み込み演算を実行することと
を行う
装置。
（項目１０）
上記１又は複数のプロセッサは更に、
起動スパース性及びカーネルスパース性を受信し、上記１又は複数のプロセッサは、上記起動スパース性及び上記カーネルスパース性に更に基づいて、上記複数のメモリ効率測定基準を決定する、
項目９に記載の装置。
（項目１１）
上記複数のメモリ効率測定基準は、次の式
（ｎ×ｋ×Ｓａ×Ｓｋ）／（ｋ×Ｓａ＋ｎ×Ｓｋ）
の計算によって導出され、
ｎは、上記複数のカーネルのカーネルの数であり、
ｋは、上記複数の起動グループの起動グループの数であり、
Ｓａは上記起動スパース性であり、
Ｓｋは上記カーネルスパース性である、
項目１０に記載の装置。
（項目１２）
上記１又は複数のプロセッサは、上記ＣＮＮの異なる畳み込み層について独立して上記第１最適数及び上記第２最適数を選択する、
項目９に記載の装置。
（項目１３）
上記複数の起動グループの起動グループの数の下限値が、上記１又は複数のプロセッサに連結されたレジスタ又はバッファに関連付けられる、
項目９に記載の装置。
（項目１４）
上記複数のカーネルのカーネルの数の上限値が、上記１又は複数のプロセッサ上の算術論理ユニット（ＡＬＵ）に関連付けられる、
項目９に記載の装置。
（項目１５）
上記複数のメモリ効率測定基準は、メモリ負荷効率を示す、
項目９に記載の装置。
（項目１６）
上記１又は複数のプロセッサは、グラフィックプロセッサを有する、
項目９に記載の装置。
（項目１７）
項目１～８のいずれかに請求される方法を実行するための手段を備える、機械学習のためのシステム。
（項目１８）
コンピューティングデバイス上で実行された場合に、項目１から８のいずれかに請求される方法を実行するための複数の命令を備える、少なくとも１つのコンピュータ可読媒体。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図15C】

【図16A】

【図16B】

【図16C】

【図17】

【図18A】

【図18B】

【図19】

【図20】

【図21】

【図22A】

【図22B】

【図23】

【図24A】

【図24B】

【図24C】

【図24D】

【図25】

【図26A】

【図26B】

【図27A】

【図27B】

【図28】

【図29】