特開 2024-138299 マルチタイルメモリ管理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024138299

(43)【公開日】2024-10-08

(54)【発明の名称】マルチタイルメモリ管理

(51)【国際特許分類】

   G06F 15/80 20060101AFI20241001BHJP

   G06F 12/0813 20160101ALI20241001BHJP

【ＦＩ】

G06F15/80

G06F12/0813

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024102405

(22)【出願日】2024-06-25

(62)【分割の表示】P 2021544279の分割

【原出願日】2020-03-14

(31)【優先権主張番号】62/819,337

(32)【優先日】2019-03-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/819,435

(32)【優先日】2019-03-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/819,361

(32)【優先日】2019-03-15

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】アップ、アビシェーク アール．

(72)【発明者】

【氏名】コーカー、アルトゥグ

(72)【発明者】

【氏名】アナンタラマン、アラビンド

(72)【発明者】

【氏名】ウルド－アハメド－ヴァル、エルムスタファ

(72)【発明者】

【氏名】アンドレイ、ヴァレンティン

(72)【発明者】

【氏名】ギャロッポ フォン ボリーズ、ニコラス

(72)【発明者】

【氏名】ジョージ、ヴァルギース

(72)【発明者】

【氏名】マックファーソン、マイク

(72)【発明者】

【氏名】マイユラン、スブラマニアム

(72)【発明者】

【氏名】レイ、ジョイディープ

(72)【発明者】

【氏名】ストリラマッサルマ、ラクシュミナラヤナン

(72)【発明者】

【氏名】ヤヌス、スコット

(72)【発明者】

【氏名】インスコ、ブレント

(72)【発明者】

【氏名】ランガナサン、ヴァサンス

(72)【発明者】

【氏名】シンハ、カマル

(72)【発明者】

【氏名】ハンター、アーサー

(72)【発明者】

【氏名】スルティ、プラスーンクマール

(72)【発明者】

【氏名】パファー、デーヴィッド

(72)【発明者】

【氏名】ヴァレリオ、ジェイムズ

(72)【発明者】

【氏名】シャー、アンカー エヌ．

(57)【要約】      （修正有）

【課題】マルチタイルメモリ管理のための汎用グラフィックス処理ユニットを介したデータ処理方法及び装置を提供する。
【解決手段】装置は、キャッシュメモリと、高帯域幅メモリと、メモリサイドキャッシュ２９１５に通信可能に連結されるシェーダコア２９１０を含む。シェーダコアは、キャッシュメモリ内のインメモリデータベースから抽出され、かつ、第１のビット長を有する第１のデータ要素を解凍して、第１のビット長より大きい第２のビット長を有する第２のデータ要素を生成する処理要素を有する。装置はまた、前記データ要素を、インメモリデータベースのクエリで提供される目標値と比較する算術論理ユニット（ＡＬＵ）２９２０を備える。
【選択図】図２９

【特許請求の範囲】

【請求項1】

グラフィックスプロセッサであって、
インタポーザと、
前記インタポーザと連結される第１のチップレットであって、グラフィックス処理リソースおよび前記グラフィックス処理リソースと連結されるインターコネクトネットワークを含む第１のチップレットと、
前記インターコネクトネットワークを介して前記グラフィックス処理リソースと連結されるキャッシュ回路と、
前記インタポーザを介して前記第１のチップレットと連結される第２のチップレットであって、メモリサイドキャッシュおよび前記メモリサイドキャッシュと連結されるメモリコントローラを含む第２のチップレットと、
を備え、
前記メモリコントローラは、高帯域幅メモリ（ＨＢＭ）デバイスへのアクセスを可能にするように構成され、
前記メモリサイドキャッシュは、前記メモリコントローラを介して実行されるメモリアクセスと関連付けられるデータをキャッシュするように構成され、
前記キャッシュ回路は、前記グラフィックス処理リソースとチップレットインタフェースとの間に論理的に位置する、
グラフィックスプロセッサ。

【請求項2】

前記キャッシュ回路は、レベル２（Ｌ２）キャッシュを含む、請求項１に記載のグラフィックスプロセッサ。

【請求項3】

前記レベル２キャッシュは、前記インターコネクトネットワークを介してインターコネクトされるノードを有する分散型キャッシュである、請求項２に記載のグラフィックスプロセッサ。

【請求項4】

前記メモリサイドキャッシュは、レベル３（Ｌ３）キャッシュを含む、請求項１から３のいずれか一項に記載のグラフィックスプロセッサ。

【請求項5】

前記インタポーザ、第１のチップレット、および第２のチップレットは、２．５次元（２．５Ｄ）構成を有する、請求項１から４のいずれか一項に記載のグラフィックスプロセッサ。

【請求項6】

前記インタポーザは、アクティブインタポーザである、請求項５に記載のグラフィックスプロセッサ。

【請求項7】

前記グラフィックス処理リソースは、単一命令多重スレッド（ＳＩＭＴ）アーキテクチャを有する複数の機能ユニットを含む、請求項１から６のいずれか一項に記載のグラフィックスプロセッサ。

【請求項8】

前記複数の機能ユニットは、汎用グラフィックスプロセッサコアおよびテンソルコアを含む、請求項７に記載のグラフィックスプロセッサ。

【請求項9】

前記複数の機能ユニットは、レイトレーシングコアを含む、請求項７または８に記載のグラフィックスプロセッサ。

【請求項10】

前記グラフィックス処理リソースは、単一命令多重データ（ＳＩＭＤ）アーキテクチャを有する複数の機能ユニットを含む、請求項１から６のいずれか一項に記載のグラフィックスプロセッサ。

【請求項11】

システムインタフェースへのインターコネクトと、
前記インターコネクトと連結されるマルチダイグラフィックスプロセッサと、
を備えるシステムであって、
前記マルチダイグラフィックスプロセッサは、
インタポーザと、
前記インタポーザと連結される第１のチップレットであって、グラフィックス処理リソースおよび前記グラフィックス処理リソースと連結されるインターコネクトネットワークを含む第１のチップレットと、
前記インターコネクトネットワークを介して前記グラフィックス処理リソースと連結されるキャッシュ回路と、
前記インタポーザを介して前記第１のチップレットと連結される第２のチップレットであって、メモリサイドキャッシュおよび前記メモリサイドキャッシュと連結されるメモリコントローラを含む第２のチップレットと、
を有し、
前記メモリコントローラは、高帯域幅メモリ（ＨＢＭ）デバイスへのアクセスを可能にするように構成され、
前記メモリサイドキャッシュは、前記メモリコントローラを介して実行されるメモリアクセスと関連付けられるデータをキャッシュするように構成され、
前記キャッシュ回路は、前記グラフィックス処理リソースとチップレットインタフェースとの間に論理的に位置する、
システム。

【請求項12】

前記キャッシュ回路は、レベル２（Ｌ２）キャッシュを含む、請求項１１に記載のシステム。

【請求項13】

前記レベル２キャッシュは、前記インターコネクトネットワークを介してインターコネクトされるノードを有する分散型キャッシュである、請求項１２に記載のシステム。

【請求項14】

前記メモリサイドキャッシュは、レベル３（Ｌ３）キャッシュを含む、請求項１１から１３のいずれか一項に記載のシステム。

【請求項15】

前記インタポーザ、第１のチップレット、および第２のチップレットは、２．５次元（２．５Ｄ）構成を有する、請求項１１から１４のいずれか一項に記載のシステム。

【請求項16】

前記インタポーザは、アクティブインタポーザである、請求項１５に記載のシステム。

【請求項17】

前記グラフィックス処理リソースは、単一命令多重スレッド（ＳＩＭＴ）アーキテクチャを有する複数の機能ユニットを含む、請求項１１から１６のいずれか一項に記載のシステム。

【請求項18】

前記複数の機能ユニットは、汎用システムコアおよびテンソルコアを含む、請求項１７に記載のシステム。

【請求項19】

前記複数の機能ユニットは、レイトレーシングコアを含む、請求項１７または１８に記載のシステム。

【請求項20】

前記グラフィックス処理リソースは、単一命令多重データ（ＳＩＭＤ）アーキテクチャを有する複数の機能ユニットを含む、請求項１１から１６のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

［優先権の主張及び関連出願の相互参照］
本願は関連して、３５ Ｕ．Ｓ．Ｃ．１１９（ｅ）のもと、２０１９年３月１５日に出願され、Ａｂｈｉｓｈｅｋ Ａｐｐｕ他によるグラフィックス処理と題する米国仮出願第６２／８１９，３３７号（代理人整理番号ＡＣ０２７１－Ｚ）、２０１９年３月１５日に出願され、Ｌａｋｓｈｍｉｎａｒａｙａｎａｎ Ｓｔｒｉｒａｍａｓｓａｒｍａ他によるグラフィックスデータ処理と題する第６２／８１９，４３５号（代理人整理番号ＡＣ０２８５－Ｚ）、及び、２０１９年３月１５日に出願され、Ｓｕｂｒａｍａｎｉａｍ Ｍａｉｙｕｒａｎ他によるキャッシュアクセスのレイテンシを減らすためにキャッシュを分割するためのシステム及び方法と題する第６２／８１９，３６１号（代理人整理番号ＡＣ０２８６－Ｚ）に対する利益及び優先権の利益を主張し、すべての内容が参照により本明細書に組み込まれる。

【0002】

［分野］
本開示は、概してデータ処理に関し、より具体的には、汎用グラフィックス処理ユニットを介したデータ処理に関する。

【背景技術】

【0003】

現在の並列グラフィックスデータ処理には、例えば、線形補間、テセレーション、ラスタライズ、テクスチャマッピング、デプステストなどといった特定の処理をグラフィックスデータに対し実行するように開発されたシステム及び方法が含まれる。従来では、グラフィックスプロセッサは、グラフィックスデータを処理するための固定機能計算ユニットを用いていたが、しかしながら、近年では、グラフィックスプロセッサの一部がプログラム可能となり、そのようなプロセッサが、頂点及びフラグメントデータを処理するために、より広い種類の演算をサポートできるようになった。

【0004】

性能をさらに向上させるためには、通常、グラフィックスプロセッサは、グラフィックスパイプラインの異なる部分全体にわたって、できるだけ多くのグラフィックスデータを並列に処理することを試みるパイプライン方式などの処理技術を実装する。単一命令、複数スレッド（ＳＩＭＴ）アーキテクチャを有する並列グラフィックスプロセッサは、グラフィックスパイプラインにおける並列処理の量を最大化させるように設計されている。ＳＩＭＴアーキテクチャにおいては、処理効率を向上させるべく、並列スレッドのグループが、できるだけ頻繁に、複数のプログラム命令を一緒に同期して実行することを試みる。ＳＩＭＴアーキテクチャに関するソフトウェア及びハードウェアの一般的な概要は、Ｓｈａｎｅ Ｃｏｏｋ著、ＣＵＤＡプログラミング、第３章、３７～５１ページ（２０１３）において見つけることができる。

【図面の簡単な説明】

【0005】

本実施形態の上述した特徴が詳細に理解できるように、上記の簡単に要約した実施形態のより具体的な説明は、実施形態を参照することによって得られるかもしれないが、そのうちのいくつかは、添付の図面に図示される。しかしながら、添付の図面は、典型的な実施形態のみを示しており、したがって、その範囲に限定するものとみなされることはないことに留意されたい。

【0006】

【図1】本明細書で説明される実施形態の１つ又は複数の態様を実施するように構成されるコンピュータシステムを示すブロック図である。

【0007】

【図2A】並列プロセッサコンポーネントを示す。

【図2B】並列プロセッサコンポーネントを示す。

【図2C】並列プロセッサコンポーネントを示す。

【図2D】並列プロセッサコンポーネントを示す。

【0008】

【図3A】グラフィックスマルチプロセッサ及びマルチプロセッサベースのＧＰＵのブロック図である。

【図3B】グラフィックスマルチプロセッサ及びマルチプロセッサベースのＧＰＵのブロック図である。

【図3C】グラフィックスマルチプロセッサ及びマルチプロセッサベースのＧＰＵのブロック図である。

【0009】

【図4A】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結される例示的なアーキテクチャを示す。

【図4B】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結される例示的なアーキテクチャを示す。

【図4C】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結される例示的なアーキテクチャを示す。

【図4D】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結される例示的なアーキテクチャを示す。

【図4E】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結される例示的なアーキテクチャを示す。

【図4F】複数のＧＰＵが複数のマルチコアプロセッサに通信可能に連結される例示的なアーキテクチャを示す。

【0010】

【図5】グラフィックス処理パイプラインを示す。

【0011】

【図6】機械学習ソフトウェアスタックを示す。

【0012】

【図7】汎用グラフィックス処理ユニットを示す。

【0013】

【図8】マルチＧＰＵコンピューティングシステムを示す。

【0014】

【図9A】例示的なディープニューラルネットワークの層を示す。

【図9B】例示的なディープニューラルネットワークの層を示す。

【0015】

【図10】例示的な再帰型ニューラルネットワークを示す。

【0016】

【図11】ディープニューラルネットワークの訓練及びデプロイを示す。

【0017】

【図12】分散型学習を示すブロック図である。

【0018】

【図13】訓練されたモデルを用いて推論を実行するのに適している例示的な推論システムオンチップ（ＳＯＣ）を示す。

【0019】

【図14】処理システムのブロック図である。

【0020】

【図15A】コンピューティングシステム及びグラフィックスプロセッサを示す。

【図15B】コンピューティングシステム及びグラフィックスプロセッサを示す。

【図15C】コンピューティングシステム及びグラフィックスプロセッサを示す。

【0021】

【図16A】追加のグラフィックスプロセッサ及び計算アクセラレータアーキテクチャのブロック図を示す。

【図16B】追加のグラフィックスプロセッサ及び計算アクセラレータアーキテクチャのブロック図を示す。

【図16C】追加のグラフィックスプロセッサ及び計算アクセラレータアーキテクチャのブロック図を示す。

【0022】

【図17】グラフィックスプロセッサのグラフィックス処理エンジンのブロック図である。

【0023】

【図18A】グラフィックスプロセッサコアにおいて採用される処理要素のアレイを含むスレッド実行ロジックを示す。

【図18B】グラフィックスプロセッサコアにおいて採用される処理要素のアレイを含むスレッド実行ロジックを示す。

【0024】

【図19】追加の実行ユニットを示す。

【0025】

【図20】グラフィックスプロセッサの命令フォーマットを示すブロック図である。

【0026】

【図21】追加のグラフィックスプロセッサアーキテクチャのブロック図である。

【0027】

【図22A】グラフィックスプロセッサコマンドフォーマット及びコマンドシーケンスを示す。

【図22B】グラフィックスプロセッサコマンドフォーマット及びコマンドシーケンスを示す。

【0028】

【図23】データ処理システムのための例示的なグラフィックスソフトウェアアーキテクチャを示す。

【0029】

【図24A】ＩＰコア開発システムを示すブロック図である。

【0030】

【図24B】集積回路パッケージアセンブリの垂直断面図を示す。

【0031】

【図24C】基板（例えば、ベースダイ）に接続されるハードウェアロジックチップレットの複数のユニットを含むパッケージアセンブリを示す。

【0032】

【図24D】交換可能なチップレットを含むパッケージアセンブリを示す。

【0033】

【図25】例示的なシステムオンチップ集積回路を示すブロック図である。

【0034】

【図26A】ＳｏＣ内で用いるための例示的なグラフィックスプロセッサを示すブロック図である。

【図26B】ＳｏＣ内で用いるための例示的なグラフィックスプロセッサを示すブロック図である。

【0035】

【図27】実施形態に係る圧縮技術を実装する方法における工程を示すフローチャートである。

【図28】実施形態に係る圧縮技術を実装する方法における工程を示すフローチャートである。

【0036】

【図29】実施形態に係るビットシーケンスを圧縮及び解凍する模式図である。

【0037】

【図30】実施形態に係る方法における工程を示すフローチャートである。

【0038】

【図31A】実施形態に係るＬ３キャッシュアウェアディスパッチを実装するように適合される処理環境の概略ブロック図である。

【図31B】実施形態に係るＬ３キャッシュアウェアディスパッチを実装するように適合される処理環境の概略ブロック図である。

【0039】

【図32】実施形態に係るキャッシュＬ３キャッシュアウェアカーネルディスパッチを実装する方法における工程を示すフローチャートである。

【発明を実施するための形態】

【0040】

グラフィックス処理ユニット（ＧＰＵ）は、例えば、グラフィックス演算、機械学習演算、パターン分析演算、及び／又は、様々な汎用ＧＰＵ（ＧＰＧＰＵ）をアクセラレートすべく、ホスト／プロセッサコアに通信可能に連結される。ＧＰＵは、バス又は別のインターコネクト（例えば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速インターコネクト）を通じてホストプロセッサ／コアに通信可能に連結されてよい。あるいは、ＧＰＵは、コアとして、同一のパッケージ又はチップ上に集積され、内部プロセッサバス／インターコネクト（つまり、パッケージ又はチップの内部）を通じてコアに通信可能に連結されてよい。ＧＰＵが接続される方式に関わらず、プロセッサコアは、作業記述子に含まれるコマンド／命令のシーケンスの形式で、ＧＰＵに作業を割り当ててよい。次に、ＧＰＵは、これらのコマンド／命令を効率的に処理するための専用回路／ロジックを用いる。

【0041】

以下の説明では、より深い理解を提供するために多数の具体的な詳細が記載されている。しかしながら、本明細書で説明される本実施形態がこれら具体的な詳細のうちの１つ又は複数がなくても実施され得ることが、当業者に明らかである。他の例では、本実施形態の詳細を曖昧にすることを避けるために、周知の特徴は説明されていない。
［システムの概要］

【0042】

図１は、本明細書で説明される実施形態の１つ又は複数の態様を実施するように構成されるコンピューティングシステム１００を示すブロック図である。コンピューティングシステム１００は、メモリハブ１０５を含み得るインターコネクトパスを介して通信する１つ又は複数のプロセッサ１０２及びシステムメモリ１０４を有する処理サブシステム１０１を含む。メモリハブ１０５は、チップセットコンポーネント内にある別個のコンポーネントであってよい、又は、１つ又は複数のプロセッサ１０２内に統合されてよい。メモリハブ１０５は、通信リンク１０６を介してＩ／Ｏサブシステム１１１と連結する。Ｉ／Ｏサブシステム１１１は、コンピューティングシステム１００が１つ又は複数の入力デバイス１０８からの入力を受信できるようにするＩ／Ｏハブ１０７を含む。さらに、Ｉ／Ｏハブ１０７は、１つ又は複数のプロセッサ１０２に含まれ得るディスプレイコントローラが、１つ又は複数のディスプレイデバイス１１０Ａに出力を提供できるようにする。一実施形態において、Ｉ／Ｏハブ１０７と連結される１つ又は複数のディスプレイデバイス１１０Ａは、ローカル、内部又は埋め込み型のディスプレイデバイスを含むことができる。

【0043】

処理サブシステム１０１は、例えば、バス又は他の通信リンク１１３を介してメモリハブ１０５に連結される１つ又は複数の並列プロセッサ１１２を含む。通信リンク１１３は、限定されるものではないが、ＰＣＩ Ｅｘｐｒｅｓｓなどの任意の数の規格ベースの通信リンク技術又はプロトコルのうちの１つであってよい、又は、ベンダ固有の通信インタフェース又は通信ファブリックであってよい。１つ又は複数の並列プロセッサ１１２は、メニーインテグレーテッドコア（ＭＩＣ）プロセッサなどの多数のプロセッシングコア及び／又は処理クラスタを含むことができる計算的に集中した並列又はベクトル処理システムを形成してよい。例えば、１つ又は複数の並列プロセッサ１１２は、Ｉ／Ｏハブ１０７を介して連結される１つ又は複数のディスプレイデバイス１１０Ａのうちの１つに画素を出力できるグラフィックス処理サブシステムを形成する。１つ又は複数の並列プロセッサ１１２はまた、１つ又は複数のディスプレイデバイス１１０Ｂへの直接接続を可能にするディスプレイコントローラ及びディスプレイインタフェース（図示されていない）を含むことができる。

【0044】

Ｉ／Ｏサブシステム１１１内で、システムストレージユニット１１４は、Ｉ／Ｏハブ１０７に接続して、コンピューティングシステム１００にストレージメカニズムを提供できる。Ｉ／Ｏスイッチ１１６は、Ｉ／Ｏハブ１０７及びプラットフォームに統合され得るネットワークアダプタ１１８及び／又は無線ネットワークアダプタ１１９などの他のコンポーネントと、１つ又は複数のアドインデバイス１２０を介して追加され得る様々な他のデバイスとの間の接続を可能にするインタフェースメカニズムを提供するために用いられることができる。アドインデバイス１２０はまた、例えば、１つ又は複数の外部グラフィックスプロセッサデバイス及び／又は計算アクセラレータを含んでよい。ネットワークアダプタ１１８は、イーサネット（登録商標）アダプタ又は別の有線ネットワークアダプタとすることができる。無線ネットワークアダプタ１１９は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）、又は、１つ又は複数の無線ラジオを含む他のネットワークデバイスのうちの１つ又は複数を含むことができる。

【0045】

コンピューティングシステム１００は、ＵＳＢ、又は、他のポート接続、光ストレージドライブ、撮像デバイスなどを含む明確には図示されていない他のコンポーネントを含むことができ、Ｉ／Ｏハブ１０７に接続されてもよい。図１における様々なコンポーネントをインターコネクトする通信パスは、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）ベースのプロトコル（例えば、ＰＣＩ－Ｅｘｐｒｅｓｓ）、又は、ＮＶ－Ｌｉｎｋ高速インターコネクト又は当該技術分野で知られているインターコネクトプロトコルなどの任意の他のバス又はポイントツーポイント通信インタフェース及び／又はプロトコルなどの任意の好適なプロトコルを用いて実装されてよい。

【0046】

１つ又は複数の並列プロセッサ１１２は、例えば、ビデオ出力回路を含むグラフィックス及びビデオ処理のために最適化された回路を組み込んでよく、グラフィックス処理ユニット（ＧＰＵ）を構成する。あるいは又はさらに、１つ又は複数の並列プロセッサ１１２は、本明細書でさらに詳しく説明される基本的な計算アーキテクチャを保持しつつ、汎用処理のために最適化された回路を組み込むことができる。コンピューティングシステム１００のコンポーネントは、単一の集積回路上で１つ又は複数の他のシステム要素と共に統合されてよい。例えば、１つ又は複数の並列プロセッサ１１２、メモリハブ１０５、プロセッサ１０２、及び、Ｉ／Ｏハブ１０７は、システムオンチップ（ＳｏＣ）集積回路に統合されることができる。あるいは、コンピューティングシステム１００のコンポーネントは、単一のパッケージに統合されて、システムインパッケージ（ＳＩＰ）構成を形成することができる。一実施形態において、コンピューティングシステム１００のコンポーネントの少なくとも一部は、マルチチップモジュール（ＭＣＭ）に統合されることができ、ＭＣＭは、モジュール式のコンピューティングシステム内の他のマルチチップモジュールとインターコネクトされることができる。

【0047】

本明細書に示されるコンピューティングシステム１００は例示であり、変形及び修正が可能であることが理解される。ブリッジの数及び配置、プロセッサ１０２の数、及び、並列プロセッサ１１２の数を含む接続トポロジは、所望のとおり修正されてよい。例えば、システムメモリ１０４は、ブリッジを通すよりもむしろ、直接的にプロセッサ１０２に接続されることができ、一方、他のデバイスは、メモリハブ１０５及びプロセッサ１０２を介してシステムメモリ１０４と通信する。他の代替的なトポロジでは、並列プロセッサ１１２は、メモリハブ１０５よりもむしろ、Ｉ／Ｏハブ１０７に接続される、又は、１つ又は複数のプロセッサ１０２のうちの１つに直接接続される。他の実施形態では、Ｉ／Ｏハブ１０７及びメモリハブ１０５は、単一のチップに統合されてよい。プロセッサ１０２の２つ又はそれより多くのセットは複数のソケットを介して取り付けられ、当該ソケットは、並列プロセッサ１１２の２つ又はそれより多くのインスタンスと連結できることも可能である。

【0048】

本明細書に示される特定のコンポーネントのいくつかは、オプション的であり、コンピューティングシステム１００のすべての実装に含まれていなくてよい。例えば、任意の数のアドインカード又は周辺機器がサポートされてよく、いくつかのコンポーネントは除外されてよい。さらに、いくつかのアーキテクチャは、図１に示されているものに類似するコンポーネントに対して異なる用語を用いてよい。例えば、メモリハブ１０５は、いくつかのアーキテクチャにおいてノースブリッジと称されることがあり、一方、Ｉ／Ｏハブ１０７は、サウスブリッジと称されることがある。

【0049】

図２Ａは、並列プロセッサ２００を示す。並列プロセッサ２００は、本明細書で説明されるようなＧＰＵ又はＧＰＧＰＵなどであってよい。並列プロセッサ２００の様々なコンポーネントは、プログラマブルプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、又は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つ又は複数の集積回路デバイスを用いて実装されてよい。図示される並列プロセッサ２００は、図１に示されている並列プロセッサ１１２、又は、そのうちの１つであってよい。

【0050】

並列プロセッサ２００は、並列処理ユニット２０２を含む。並列処理ユニットは、並列処理ユニット２０２の他のインスタンスを含む他のデバイスとの通信を可能にするＩ／Ｏユニット２０４を含む。Ｉ／Ｏユニット２０４は、他のデバイスに直接接続されてよい。例えば、Ｉ／Ｏユニット２０４は、メモリハブ１０５などのハブ又はスイッチインタフェースの使用を介して他のデバイスと接続する。メモリハブ１０５とＩ／Ｏユニット２０４との間の接続は、通信リンク１１３を形成する。並列処理ユニット２０２内で、Ｉ／Ｏユニット２０４は、ホストインタフェース２０６及びメモリクロスバー２１６と接続し、ホストインタフェース２０６は、処理演算の実行を指示するコマンドを受信し、メモリクロスバー２１６は、メモリ演算の実行を指示するコマンドを受信する。

【0051】

ホストインタフェース２０６がＩ／Ｏユニット２０４を介してコマンドバッファを受信した場合、ホストインタフェース２０６は、これらのコマンドを実行する作業工程をフロントエンド２０８に誘導できる。一実施形態において、フロントエンド２０８は、スケジューラ２１０と連結し、スケジューラ２１０は、コマンド又は他の作業項目を処理クラスタアレイ２１２に分散するように構成される。スケジューラ２１０は、タスクが処理クラスタアレイ２１２の処理クラスタに分散される前に、処理クラスタアレイ２１２が適切に構成されており、有効な状態にあることを保証する。スケジューラ２１０は、マイクロコントローラ上で実行するファームウェアロジックを介して実装されてよい。マイクロコントローラが実装されたスケジューラ２１０は、粗い粒度及び細かい粒度で、複雑なスケジューリング及び作業分散工程を実行するように構成可能であり、処理アレイ２１２上で実行するスレッドの急速なプリエンプション及びコンテキスト切り替えを可能にする。好ましくは、ホストソフトウェアは、複数のグラフィックス処理ドアベルのうちの１つを介して、処理アレイ２１２に対するスケジューリングのための作業負荷を明らかにできる。次に、スケジューラマイクロコントローラ内のスケジューラ２１０ロジックにより、作業負荷が処理アレイ２１２にわたって自動的に分散されることができる。

【0052】

処理クラスタアレイ２１２は、最大で「Ｎ」個の処理クラスタ（例えば、クラスタ２１４Ａ、クラスタ２１４Ｂからクラスタ２１４Ｎまで）を含むことができる。処理クラスタアレイ２１２の各クラスタ２１４Ａ－２１４Ｎは、多数の同時スレッドを実行できる。スケジューラ２１０は、様々なスケジューリング及び／又は作業分散アルゴリズムを用いて、処理クラスタアレイ２１２のクラスタ２１４Ａ－２１４Ｎに作業を割り当てることができ、様々なスケジューリング及び／又は作業分散アルゴリズムは、各タイプのプログラム又は計算に対して生じる作業負荷に応じて変わり得る。スケジューリングは、スケジューラ２１０により動的に処理され得る、又は、処理クラスタアレイ２１２による実行のために構成されるプログラムロジックのコンパイル中に、コンパイラロジックにより部分的に支援され得る。オプションで、異なるタイプのプログラムを処理するために、又は、異なるタイプの計算を実行するために、処理クラスタアレイ２１２の異なるクラスタ２１４Ａ－２１４Ｎを割り当てることができる。

【0053】

処理クラスタアレイ２１２は、様々なタイプの並列処理演算を実行するように構成され得る。例えば、クラスタアレイ２１２は、汎用の並列計算演算を実行するように構成される。例えば、処理クラスタアレイ２１２は、ビデオ及び／又はオーディオデータのフィルタリング、物理演算を含むモデル化演算の実行、及び、データ変換の実行を含む処理タスクを実行するロジックを含むことができる。

【0054】

処理クラスタアレイ２１２は、並列グラフィックス処理演算を実行するように構成される。並列プロセッサ２００がグラフィックス処理演算を実行するように構成されるそのような実施形態では、処理クラスタアレイ２１２は、そのようなグラフィックス処理演算の実行をサポートする追加のロジックを含むことができ、限定されるものではないが、テクスチャ演算を実行するテクスチャサンプリングロジック、並びに、テセレーションロジック及び他の頂点処理ロジックを含む。さらに、処理クラスタアレイ２１２は、限定されるものではないが、頂点シェーダ、テセレーションシェーダ、ジオメトリシェーダ及び画素シェーダなどのシェーダプログラムに関するグラフィックス処理を実行するように構成され得る。並列処理ユニット２０２は、処理のためにシステムメモリからのデータをＩ／Ｏユニット２０４を介して転送できる。処理の間、転送されるデータは、オンチップメモリ（例えば、並列プロセッサメモリ２２２）に処理の間格納され、次に、システムメモリにライトバックされ得る。

【0055】

並列処理ユニット２０２がグラフィックス処理を実行するために用いられる実施形態では、スケジューラ２１０は、処理クラスタアレイ２１２の複数のクラスタ２１４Ａ－２１４Ｎへのグラフィックス処理演算をより分散しやすくするために、処理作業負荷をほぼ等しいサイズのタスクに分割するように構成されてよい。これらの実施形態のいくつかでは、処理クラスタアレイ２１２の一部は、異なるタイプの処理を実行するように構成され得る。例えば、第１部分は、頂点シェーディング及びトポロジ生成を実行するように構成されてよく、第２部分は、テセレーション及びジオメトリシェーディングを実行するように構成されてよく、第３部分は、画素シェーディング又は他のスクリーン空間操作を実行して、表示のためにレンダリングされた画像を生成するように構成されてよい。クラスタ２１４Ａ－２１４Ｎのうちの１つ又は複数により生成された中間データは、さらなる処理のためにクラスタ２１４Ａ－２１４Ｎ間で中間データが伝送されることを可能にすべく、バッファに格納されてよい。

【0056】

動作中、処理クラスタアレイ２１２は、スケジューラ２１０を介して実行される対象の処理タスクを受信でき、スケジューラ２１０は、フロントエンド２０８から処理タスクを規定するコマンドを受信する。グラフィックス処理演算に関して、処理タスクは、処理対象となるデータ、例えば、サーフェス（パッチ）データ、プリミティブデータ、頂点データ及び／又は画素データ、並びに、どのようにデータが処理されるべきか（例えば、どのプログラムが実行されるべきか）を規定する状態パラメータ及びコマンドのインデックスを含むことができる。スケジューラ２１０は、タスクに対応するインデックスをフェッチするように構成されてよい、又は、フロントエンド２０８からインデックスを受信してよい。フロントエンド２０８は、到着したコマンドバッファ（例えば、バッチバッファ、プッシュバッファなど）により特定される作業負荷が初期化される前に処理クラスタアレイ２１２が有効な状態となるように構成されることを保証するように構成され得る。

【0057】

並列処理ユニット２０２の１つ又は複数のインスタンスのそれぞれは、並列プロセッサメモリ２２２と連結できる。並列プロセッサメモリ２２２は、メモリクロスバー２１６を介してアクセスされることができ、メモリクロスバー２１６は、処理クラスタアレイ２１２並びにＩ／Ｏユニット２０４からのメモリ要求を受信できる。メモリクロスバー２１６は、メモリインタフェース２１８を介して並列プロセッサメモリ２２２にアクセスできる。メモリインタフェース２１８は、それぞれが並列プロセッサメモリ２２２の一部（例えば、メモリユニット）に連結できる複数のパーティションユニット（例えば、パーティションユニット２２０Ａ、パーティションユニット２２０Ｂからパーティションユニット２２０Ｎまで）を含むことができる。第１のパーティションユニット２２０Ａが対応する第１のメモリユニット２２４Ａを有し、第２のパーティションユニット２２０Ｂが対応するメモリユニット２２４Ｂを有し、Ｎ番目のパーティションユニット２２０Ｎが対応するＮ番目のメモリユニット２２４Ｎを有するように、パーティションユニット２２０Ａ－２２０Ｎの数は、メモリユニットの数に等しくなるように構成されてよい。他の実施形態では、パーティションユニット２２０Ａ－２２０Ｎの数は、メモリデバイスの数に等しくなくてよい。

【0058】

メモリユニット２２４Ａ－２２４Ｎは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又は、グラフィックスランダムアクセスメモリ、例えば、グラフィックスダブルデータレート（ＧＤＤＲ）メモリを含む同期グラフィックスランダムアクセスメモリ（ＳＧＲＡＭ）を含む様々なタイプのメモリデバイスを含むことができる。オプションで、メモリユニット２２４Ａ－２２４Ｎはまた、限定されるものではないが、高帯域幅メモリ（ＨＢＭ）を含む３Ｄスタックメモリを含んでよい。当業者であれば、メモリユニット２２４Ａ－２２４Ｎの特定の実装は変わることができ、様々な従来の設計のうちの１つから選択され得ることを理解するだろう。フレームバッファ又はテクスチャマップなどのレンダーターゲットは、メモリユニット２２４Ａ－２２４Ｎにわたって格納されてよく、パーティションユニット２２０Ａ－２２０Ｎが並列プロセッサメモリ２２２の利用可能な帯域幅を効率的に用いるために、並列に各レンダーターゲットの一部を書き込むことを可能にする。いくつかの実施形態において、ローカルキャッシュメモリと共にシステムメモリを利用するユニファイドメモリ設計を優先して、並列プロセッサメモリ２２２のローカルインスタンスが除外されてよい。

【0059】

オプションで、処理クラスタアレイ２１２のクラスタ２１４Ａ－２１４Ｎのうちのいずれか１つは、並列プロセッサメモリ２２２内のメモリユニット２２４Ａ－２２４Ｎのいずれかに書き込まれるデータを処理する能力を有する。メモリクロスバー２１６は、任意のパーティションユニット２２０Ａ－２２０Ｎ、又は、別のクラスタ２１４Ａ－２１４Ｎに各クラスタ２１４Ａ－２１４Ｎの出力を転送するように構成されることができ、これらは出力に対して追加の処理演算を実行できる。各クラスタ２１４Ａ－２１４Ｎは、メモリクロスバー２１６を通じてメモリインタフェース２１８と通信して、様々な外部メモリデバイスから読み出し、又は、書き込むことができる。メモリクロスバー２１６を有する実施形態のうちの１つにおいて、メモリクロスバー２１６は、Ｉ／Ｏユニット２０４と通信すべく、メモリインタフェース２１８への接続を有し、及び、並列プロセッサメモリ２２２のローカルインスタンスへの接続を有し、異なる処理クラスタ２１４Ａ－２１４Ｎ内の処理ユニットが並列処理ユニット２０２に対してローカルではないシステムメモリ又は他のメモリと通信することが可能である。概して、メモリクロスバー２１６は、例えば、仮想チャネルを用いて、クラスタ２１４Ａ－２１４Ｎとパーティションユニット２２０Ａ－２２０Ｎとの間のトラフィックストリームを分離することが可能であってよい。

【0060】

並列プロセッサ２００内に、並列処理ユニット２０２の単一のインスタンスが図示されている一方、並列処理ユニット２０２の任意の数のインスタンスを含むことができる。例えば、並列処理ユニット２０２の複数のインスタンスは、単一のアドインカードに提供されることができる、又は、複数のアドインカードはインターコネクトされることができる。並列処理ユニット２０２の異なるインスタンスが、異なる数のプロセッシングコア、異なる量のローカル並列プロセッサメモリ、及び／又は、他の構成の差異を有する場合であっても、異なるインスタンスは、相互動作するように構成され得る。オプションで、並列処理ユニット２０２のいくつかインスタンスは、他のインスタンスと比較してより高精度の精度浮動小数点ユニットを含むことができる。並列処理ユニット２０２又は並列プロセッサ２００の１つ又は複数のインスタンスを組み込んだシステムは、様々な構成及びフォームファクタで実装されることができ、限定されるものではないが、デスクトップ、ラップトップ又はハンドヘルドパーソナルコンピュータ、サーバ、ワークステーション、ゲームコンソール及び／又は埋め込みシステムを含む。

【0061】

図２Ｂは、パーティションユニット２２０のブロック図である。パーティションユニット２２０は、図２Ａのパーティションユニット２２０Ａ－２２０Ｎのうちの１つのインスタンスであってよい。図示されるように、パーティションユニット２２０は、Ｌ２キャッシュ２２１、フレームバッファインタフェース２２５及びＲＯＰ２２６（ラスタ演算ユニット）を含む。Ｌ２キャッシュ２２１は、メモリクロスバー２１６及びＲＯＰ２２６から受信したロード及びストア処理を実行するように構成される読み出し／書き込みキャッシュである。読み出しミス及び緊急のライトバック要求は、処理のために、Ｌ２キャッシュ２２１によりフレームバッファインタフェース２２５に出力される。更新も、処理のためにフレームバッファインタフェース２２５を介してフレームバッファに送信され得る。一実施形態において、フレームバッファインタフェース２２５は、図２Ａの（例えば、並列プロセッサメモリ２２２内の）メモリユニット２２４Ａ－２２４Ｎなど、並列プロセッサメモリ内のメモリユニットのうちの１つとやり取りする。さらに、又は、あるいは、パーティションユニット２２０は、メモリコントローラ（図示されていない）を介して並列プロセッサメモリ内のメモリユニットのうちの１つともやり取りしてよい。

【0062】

グラフィックスアプリケーションにおいて、ＲＯＰ２２６は、例えば、ステンシル、ｚ検定及びブレンディングなどのラスタ演算を実行する処理ユニットである。次に、ＲＯＰ２２６は、グラフィックスメモリに格納される処理されたグラフィックスデータを出力する。いくつかの実施形態において、ＲＯＰ２２６は、メモリに書き込まれるデプス又はカラーデータを圧縮し、メモリから読み出されるデプス又はカラーデータを解凍する圧縮ロジックを含む。圧縮ロジックは、複数の圧縮アルゴリズムのうちの１つ又は複数を用いる可逆圧縮ロジックとすることができる。ＲＯＰ２２６により実行される圧縮のタイプは、圧縮される対象のデータの統計的特性に基づいて変わり得る。例えば、一実施形態において、デルタカラー圧縮は、デプス及びカラーデータに対してタイル基準ごとに実行される。

【0063】

ＲＯＰ２２６は、パーティションユニット２２０内に含まれる代わりに、各処理クラスタ（例えば、図２Ａのクラスタ２１４Ａ－２１４Ｎ）内に含まれてよい。そのような実施形態では、画素フラグメントデータの代わりに、画素データに対する読み出し及び書き込み要求がメモリクロスバー２１６上で伝送される。処理されたグラフィックスデータは、図１の１つ又は複数のディスプレイデバイス１１０のうちの１つなどのディスプレイデバイス上に表示されてよく、プロセッサ１０２によってさらなる処理のためにルーティングされる、又は、図２Ａの並列プロセッサ２００内の処理エンティティのうちの１つによってさらなる処理のためにルーティングされる。

【0064】

図２Ｃは、並列処理ユニット内の処理クラスタ２１４のブロック図である。例えば、処理クラスタは、図２Ａの処理クラスタ２１４Ａ－２１４Ｎのうちの１つのインスタンスである。処理クラスタ２１４は、多くのスレッドを並行して実行するように構成されることができ、用語「スレッド」は、入力データの特定のセットに対して実行する特定のプログラムのインスタンスを指す。オプションで、複数の独立した命令ユニットを提供することなく、多数のスレッドの並列実行をサポートするために、単一命令、複数データ（ＳＩＭＤ）命令発行技術が用いられてよい。あるいは、処理クラスタのそれぞれのクラスタ内にある処理エンジンのセットに命令を発行するように構成される共通の命令ユニットを用いて、概して同期した多数のスレッドの並列実行をサポートするために、単一命令、複数スレッド（ＳＩＭＴ）技術が用いられてよい。すべての処理エンジンが通常、同一の命令を実行するＳＩＭＤ実行法とは異なり、ＳＩＭＴ実行では、特定のスレッドプログラムを通して、異なるスレッドが分岐実行パスをより容易にたどることを可能にする。当業者であれば、ＳＩＭＤ処理法は、ＳＩＭＴ処理法の機能サブセットを表すことを理解するだろう。

【0065】

処理クラスタ２１４のオペレーションは、ＳＩＭＴ並列プロセッサに処理タスクを分散するパイプラインマネージャ２３２を介して制御され得る。パイプラインマネージャ２３２は、図２Ａのスケジューラ２１０から命令を受信し、グラフィックスマルチプロセッサ２３４及び／又はテクスチャユニット２３６を介してこれらの命令の実行を管理する。図示されたグラフィックスマルチプロセッサ２３４は、ＳＩＭＴ並列プロセッサの例示的なインスタンスである。しかしながら、異なるアーキテクチャの様々なタイプのＳＩＭＴ並列プロセッサが処理クラスタ２１４内に含まれてよい。処理クラスタ２１４内に、グラフィックスマルチプロセッサ２３４の１つ又は複数のインスタンスを含めることができる。グラフィックスマルチプロセッサ２３４は、データを処理することができ、データクロスバー２４０は、他のシェーダユニットを含む複数の可能なデスティネーションのうちの１つに、処理されたデータを分散するために用いられることができる。パイプラインマネージャ２３２は、データクロスバー２４０を介して分散される対象の処理されたデータに対するデスティネーションを特定することにより、処理されたデータを分散しやすくすることができる。

【0066】

処理クラスタ２１４内の各グラフィックスマルチプロセッサ２３４は、同一のセットの機能実行ロジック（例えば、算術論理ユニット、ロード－ストアユニットなど）を含むことができる。機能実行ロジックは、前の命令が完了する前に、新たな命令を発行できるパイプライン方式で構成されることができる。機能実行ロジックは、整数及び浮動小数点算術、比較演算、ブール演算、ビットシフト及び様々な代数関数の計算を含む様々な演算をサポートする。異なる演算を実行するために、同一の機能ユニットハードウェアが活用されることができ、機能ユニットの任意の組み合わせが存在し得る。

【0067】

処理クラスタ２１４に伝送される命令は、スレッドを構成する。並列処理エンジンのセットにわたって実行するスレッドのセットはスレッドグループである。スレッドグループは、異なる入力データに対して同一プログラムを実行する。スレッドグループ内の各スレッドは、グラフィックスマルチプロセッサ２３４内の異なる処理エンジンに割り当てられ得る。スレッドグループは、グラフィックスマルチプロセッサ２３４内の処理エンジンの数よりも少ないスレッドを含んでよい。スレッドグループが処理エンジンの数よりも少ないスレッドを含む場合、スレッドグループが処理されているサイクルの間、処理エンジンのうちの１つ又は複数がアイドルであってよい。スレッドグループは、グラフィックスマルチプロセッサ２３４内の処理エンジンの数より多くのスレッドを含んでもよい。スレッドグループがグラフィックスマルチプロセッサ２３４内の処理エンジンの数より多くのスレッドを含む場合、連続的なクロックサイクルにわたって処理が実行され得る。オプションで、複数のスレッドグループは、グラフィックスマルチプロセッサ２３４上で同時に実行され得る。

【0068】

グラフィックスマルチプロセッサ２３４は、ロード及びストア処理を実行する内部キャッシュメモリを含んでよい。オプションで、グラフィックスマルチプロセッサ２３４は、内部キャッシュに先行して、処理クラスタ２１４内のキャッシュメモリ（例えば、Ｌ１キャッシュ２４８）を用いることができる。各グラフィックスマルチプロセッサ２３４はまた、すべて処理クラスタ２１４間で共有され、スレッド間でデータを転送するために用いられてよいパーティションユニット（例えば、図２Ａのパーティションユニット２２０Ａ－２２０Ｎ）内のＬ２キャッシュへのアクセスを有する。グラフィックスマルチプロセッサ２３４はまた、ローカル並列プロセッサメモリ及び／又はシステムメモリのうちの１つ又は複数を含むことができるオフチップグローバルメモリにアクセスしてよい。並列処理ユニット２０２の外部にある任意のメモリが、グローバルメモリとして用いられてよい。処理クラスタ２１４がグラフィックスマルチプロセッサ２３４の複数のインスタンスを含む実施形態は、Ｌ１キャッシュ２４８に格納され得る共通の命令及びデータを共有できる。

【0069】

各処理クラスタ２１４は、仮想アドレスを物理アドレスにマッピングするように構成されるＭＭＵ２４５（メモリ管理ユニット）を含んでよい。他の実施形態では、ＭＭＵ２４５の１つ又は複数のインスタンスが、図２Ａのメモリインタフェース２１８内に存在してよい。ＭＭＵ２４５は、タイル及びオプションでキャッシュラインインデックスの物理アドレスに仮想アドレスをマッピングするために用いられるページテーブルエントリ（ＰＴＥ）のセットを含む。ＭＭＵ２４５は、グラフィックスマルチプロセッサ２３４又はＬ１キャッシュ又は処理クラスタ２１４内に存在し得るアドレス変換ルックアサイドバッファ（ＴＬＢ）又はキャッシュを含んでよい。サーフェスデータアクセス局所性を分散させて、パーティションユニット間で効率的な要求インタリーブを可能にすべく、物理アドレスが処理される。キャッシュラインインデックスは、キャッシュラインに対する要求がヒットであるか、又は、ミスであるかを判定するために用いられてよい。

【0070】

グラフィックス及びコンピューティングアプリケーションにおいて、テクスチャマッピング演算を実行するために、例えば、テクスチャサンプル位置を判定し、テクスチャデータを読み出し、テクスチャデータをフィルタリングするために、各グラフィックスマルチプロセッサ２３４がテクスチャユニット２３６に連結されるように、処理クラスタ２１４が構成されてよい。テクスチャデータは、内部テクスチャＬ１キャッシュ（図示されていない）から、又は、いくつかの実施形態においてグラフィックスマルチプロセッサ２３４内のＬ１キャッシュから読み出され、必要に応じて、Ｌ２キャッシュ、ローカル並列プロセッサメモリ、又は、システムメモリからフェッチされる。各グラフィックスマルチプロセッサ２３４は、処理されたタスクをデータクロスバー２４０に出力して、さらなる処理のために別の処理クラスタ２１４に処理されたタスクを提供する、又は、メモリクロスバー２１６を介して、Ｌ２キャッシュ、ローカル並列プロセッサメモリ又はシステムメモリに処理されたタスクを格納する。ｐｒｅＲＯＰ２４２（ラスタ前演算ユニット）は、グラフィックスマルチプロセッサ２３４からデータを受信し、ＲＯＰユニットにデータを誘導するように構成され、ＲＯＰユニットは、本明細書で説明したようなパーティションユニット（例えば、図２Ａのパーティションユニット２２０Ａ－２２０Ｎ）に位置してよい。ｐｒｅＲＯＰ２４２ユニットは、カラーブレンディングに対する最適化を実行し、画素カラーデータを編成し、アドレス変換を実行できる。

【0071】

本明細書で説明されるコアアーキテクチャは例示であり、変形及び修正が可能であることが理解される。任意の数の処理ユニット、例えば、グラフィックスマルチプロセッサ２３４、テクスチャユニット２３６、ｐｒｅＲＯＰ２４２などは、処理クラスタ２１４内に含まれてよい。さらに、１つの処理クラスタ２１４のみが示されている一方、並列処理ユニットは、本明細書で説明されるように、処理クラスタ２１４の任意の数のインスタンスを含んでよい。オプションで、各処理クラスタ２１４は、分離して異なる処理ユニット、Ｌ１キャッシュなどを用いて、他の処理クラスタ２１４とは独立して動作するように構成されることができる。

【0072】

図２Ｄは、グラフィックスマルチプロセッサ２３４が処理クラスタ２１４のパイプラインマネージャ２３２と連結するグラフィックスマルチプロセッサ２３４の例を示す。グラフィックスマルチプロセッサ２３４は、限定されるものではないが、命令キャッシュ２５２、命令ユニット２５４、アドレスマッピングユニット２５６、レジスタファイル２５８、１つ又は複数の汎用グラフィックス処理ユニット（ＧＰＧＰＵ）コア２６２及び１つ又は複数のロード／ストアユニット２６６を含む実行パイプラインを有する。ＧＰＧＰＵコア２６２及びロード／ストアユニット２６６は、メモリ及びキャッシュインターコネクト２６８を介してキャッシュメモリ２７２及び共有メモリ２７０と連結される。グラフィックスマルチプロセッサ２３４は、行列及び／又はレイトレーシング演算をアクセラレートするハードウェアロジックを含むテンソル及び／又はレイトレーシングコア２６３をさらに含んでよい。

【0073】

命令キャッシュ２５２は、パイプラインマネージャ２３２から実行すべき命令のストリームを受信してよい。命令は、命令キャッシュ２５２にキャッシュされ、命令ユニット２５４による実行のためにディスパッチされる。命令ユニット２５４は、スレッドグループの各スレッドがＧＰＧＰＵコア２６２内の異なる実行ユニットに割り当てられたスレッドグループ（例えば、ワープ）として命令をディスパッチすることができる。命令は、統合アドレス空間内のアドレスを指定することにより、ローカル、共有又はグローバルアドレス空間のいずれにアクセスできる。アドレスマッピングユニット２５６は、統合アドレス空間内のアドレスを、ロード／ストアユニット２６６によりアクセスされ得る個別のメモリアドレスに変換するために用いられ得る。

【0074】

レジスタファイル２５８は、グラフィックスマルチプロセッサ２３４の機能ユニットにレジスタのセットを提供する。レジスタファイル２５８は、グラフィックスマルチプロセッサ２３４の機能ユニット（例えば、ＧＰＧＰＵコア２６２、ロード／ストアユニット２６６）のデータパスに接続されるオペランドに一時ストレージを提供する。レジスタファイル２５８は、各機能ユニットが、レジスタファイル２５８の専用部分を割り当てられるように、機能ユニットのそれぞれ間で分割されてよい。例えば、レジスタファイル２５８は、グラフィックスマルチプロセッサ２３４により実行される異なるワープ間で分割されてよい。

【0075】

ＧＰＧＰＵコア２６２はそれぞれ、グラフィックスマルチプロセッサ２３４の命令を実行するために用いられる浮動小数点ユニット（ＦＰＵ）及び／又は整数算術論理ユニット（ＡＬＵ）を含むことができる。いくつかの実装において、ＧＰＧＰＵコア２６２は、別の場合には、テンソル及び／又はレイトレーシングコア２６３内に存在し得るハードウェアロジックを含むことができる。ＧＰＧＰＵコア２６２は、アーキテクチャに類似することがある、又は、アーキテクチャとは異なることがある。例えば、一実施形態において、ＧＰＧＰＵコア２６２の第１部分は、単精度ＦＰＵ及び整数ＡＬＵを含む一方、ＧＰＧＰＵコアの第２部分は、倍精度ＦＰＵを含む。オプションで、ＦＰＵは、浮動小数点演算のためのＩＥＥＥ７５４－２００８規格を実装できる、又は、可変精度の浮動小数点演算を可能にする。グラフィックスマルチプロセッサ２３４は、さらに、矩形コピー又は画素ブレンディング演算などの特定の機能を実行すべく、１つ又は複数の固定機能又は特殊機能ユニットを含むことができる。ＧＰＧＰＵコアの１つ又は複数は、固定又は特殊機能ロジックを含むこともできる。

【0076】

ＧＰＧＰＵコア２６２は、データの複数のセットに対して単一命令を実行できるＳＩＭＤロジックを含んでよい。オプションで、ＧＰＧＰＵコア２６２は、ＳＩＭＤ４、ＳＩＭＤ８及びＳＩＭＤ１６命令を物理的に実行し、ＳＩＭＤ１、ＳＩＭＤ２及びＳＩＭＤ３２命令を論理的に実行できる。ＧＰＧＰＵコアに対するＳＩＭＤ命令は、シェーダコンパイラによりコンパイル時に生成され得る、又は、単一プログラム複数データ（ＳＰＭＤ）又はＳＩＭＴアーキテクチャのために書き込まれ、コンパイルされるプログラムを実行する場合に、自動的に生成され得る。ＳＩＭＴ実行モデルが構成されるプログラムの複数のスレッドは、単一のＳＩＭＤ命令を介して実行され得る。例えば、一実施形態において、同一又は類似の演算を実行する８個のＳＩＭＴスレッドが、単一のＳＩＭＤ８論理ユニットを介して並列に実行され得る。

【0077】

メモリ及びキャッシュインターコネクト２６８は、グラフィックスマルチプロセッサ２３４の機能ユニットのそれぞれをレジスタファイル２５８及び共有メモリ２７０に接続するインターコネクトネットワークである。例えば、メモリ及びキャッシュインターコネクト２６８は、ロード／ストアユニット２６６が、共有メモリ２７０とレジスタファイル２５８との間のロード及びストア処理を実施することを可能にするクロスバーインターコネクトである。レジスタファイル２５８は、ＧＰＧＰＵコア２６２と同一の周波数で動作でき、したがって、ＧＰＧＰＵコア２６２とレジスタファイル２５８との間のデータ転送は、非常に低いレイテンシである。共有メモリ２７０は、グラフィックスマルチプロセッサ２３４内の機能ユニット上で実行するスレッド間の通信を可能にするために用いられることができる。キャッシュメモリ２７２は、例えば、機能ユニットとテクスチャユニット２３６との間で通信されるテクスチャデータをキャッシュするデータキャッシュとして用いられることができる。共有メモリ２７０は、プログラム管理キャッシュとして用いられることもできる。ＧＰＧＰＵコア２６２上で実行するスレッドは、キャッシュメモリ２７２内に格納される自動的にキャッシュされるデータに加えて、共有メモリ内のデータをプログラムで格納できる。

【0078】

図３Ａ～図３Ｃは、実施形態に係る追加のグラフィックスマルチプロセッサを示す。図３Ａ～図３Ｂは、グラフィックスマルチプロセッサ３２５、３５０を示し、図２Ｃのグラフィックスマルチプロセッサ２３４に関連しており、これらのうちの１つの代わりに用いられてよい。したがって、ここでは、グラフィックスマルチプロセッサ２３４と組み合わせた任意の特徴の開示はまた、そのように限定されるものではないが、グラフィックスマルチプロセッサ３２５、３５０との対応する組み合わせを開示する。図３Ｃは、グラフィックスマルチプロセッサ３２５、３５０に対応するマルチコアグループ３６５Ａ－３６５Ｎに配置される専用のグラフィックス処理リソースのセットを含むグラフィックス処理ユニット（ＧＰＵ）３８０を示す。図示されたグラフィックスマルチプロセッサ３２５、３５０、及び、マルチコアグループ３６５Ａ－３６５Ｎは、多数の実行スレッドの同時実行が可能なストリーミングマルチプロセッサ（ＳＭ）とすることができる。

【0079】

図３Ａのグラフィックスマルチプロセッサ３２５は、図２Ｄのグラフィックスマルチプロセッサ２３４と比較して、実行リソースユニットの複数の追加のインスタンスを含む。例えば、グラフィックスマルチプロセッサ３２５は、命令ユニット３３２Ａ－３３２Ｂ、レジスタファイル３３４Ａ－３３４Ｂ、及び、テクスチャユニット３４４Ａ－３４４Ｂの複数のインスタンスを含むことができる。グラフィックスマルチプロセッサ３２５はまた、グラフィックス又は計算実行ユニット（例えば、ＧＰＧＰＵコア３３６Ａ－３３６Ｂ、テンソルコア３３７Ａ－３３７Ｂ、レイトレーシングコア３３８Ａ－３３８Ｂ）の複数のセット、及び、ロード／ストアユニット３４０Ａ－３４０Ｂの複数のセットを含む。実行リソースユニットは、共通の命令キャッシュ３３０、テクスチャ及び／又はデータキャッシュメモリ３４２、及び、共有メモリ３４６を有する。

【0080】

様々なコンポーネントは、インターコネクトファブリック３２７を介して通信できる。インターコネクトファブリック３２７は、グラフィックスマルチプロセッサ３２５の様々なコンポーネント間の通信を可能にする１つ又は複数のクロスバースイッチを含んでよい。インターコネクトファブリック３２７は、グラフィックスマルチプロセッサ３２５の各コンポーネントが積層される別個の高速ネットワークファブリック層であってよい。グラフィックスマルチプロセッサ３２５のコンポーネントは、インターコネクトファブリック３２７を介してリモートコンポーネントと通信する。例えば、ＧＰＧＰＵコア３３６Ａ－３３６Ｂ、３３７Ａ－３３７Ｂ及び３３８Ａ－３３８Ｂはそれぞれ、インターコネクトファブリック３２７介して共有メモリ３４６と通信できる。インターコネクトファブリック３２７は、コンポーネント間の公平な帯域幅割り当てを保証すべく、グラフィックスマルチプロセッサ３２５内の通信をアービトレートできる。

【0081】

図３Ｂのグラフィックスマルチプロセッサ３５０は、実行リソース３５６Ａ－３５６Ｄの複数のセットを含み、実行リソースの各セットは、図２Ｄ及び図３Ａに示されるような複数の命令ユニット、レジスタファイル、ＧＰＧＰＵコア及びロードストアユニットを含む。実行リソース３５６Ａ－３５６Ｄは、命令キャッシュ３５４及び共有メモリ３５３を共有しつつ、テクスチャ演算のために、テクスチャユニット３６０Ａ－３６０Ｄと連携して作業することができる。例えば、実行リソース３５６Ａ－３５６Ｄは、命令キャッシュ３５４及び共有メモリ３５３、並びに、テクスチャ及び／又はデータキャッシュメモリ３５８Ａ－３５８Ｂの複数のインスタンスを共有できる。様々なコンポーネントは、図３Ａのインターコネクトファブリック３２７に類似するインターコネクトファブリック３５２を介して通信できる。

【0082】

当業者であれば、図１、図２Ａ～図２Ｄ及び図３Ａ～図３Ｂにおいて説明されたアーキテクチャは説明のためのものであり、本実施形態の範囲を限定するものではないことを理解するだろう。したがって、本明細書で説明される技術は、任意の適切に構成された処理ユニットに対して実装されてよく、１つ又は複数のモバイルアプリケーションプロセッサ、１つ又は複数のデスクトップ又はマルチコアＣＰＵを含むサーバ中央処理装置（ＣＰＵ）、図２Ａの並列処理ユニット２０２などの１つ又は複数の並列処理ユニット、並びに、１つ又は複数のグラフィックスプロセッサ又は専用処理ユニットを含むが限定されるものではなく、本明細書で説明される実施形態の範囲から逸脱することはない。

【0083】

本明細書で説明されるように、並列プロセッサ又はＧＰＧＰＵは、グラフィックス演算、機械学習演算、パターン分析演算、及び、様々な汎用ＧＰＵ（ＧＰＧＰＵ）をアクセラレートすべく、ホスト／プロセッサコアに通信可能に連結されてよい。ＧＰＵは、バス又は他のインターコネクト（例えば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速インターコネクト）を通じてホストプロセッサ／コアに通信可能に連結されてよい。他の実施形態では、ＧＰＵは、コアとして、同一のパッケージ又はチップ上に集積され、内部プロセッサバス／インターコネクト（つまり、パッケージ又はチップの内部）を通じてコアに通信可能に連結されてよい。ＧＰＵが接続される方式に関わらず、プロセッサコアは、作業記述子に含まれるコマンド／命令のシーケンスの形式で、ＧＰＵに作業を割り当ててよい。次に、ＧＰＵは、これらのコマンド／命令を効率的に処理するための専用回路／ロジックを用いる。

【0084】

図３Ｃは、マルチコアグループ３６５Ａ－３６５Ｎに配置される専用のグラフィックス処理リソースのセットを含むグラフィックス処理ユニット（ＧＰＵ）３８０を示す。単一のマルチコアグループ３６５Ａのみの詳細が提供されている一方、マルチコアグループ３６５Ｂ－３６５Ｎは、同一又は類似のグラフィックス処理リソースのセットが備えられてよいことが理解される。マルチコアグループ３６５Ａ－３６５Ｎに関する詳細な説明はまた、本明細書で説明される任意のグラフィックスマルチプロセッサ２３４、３２５、３５０に適用されてよい。

【0085】

図示されるように、マルチコアグループ３６５Ａは、グラフィックスコア３７０のセット、テンソルコア３７１のセット及びレイトレーシングコア３７２のセットを含んでよい。スケジューラ／ディスパッチャ３６８は、様々なコア３７０、３７１、３７２上での実行のために、グラフィックスレッドをスケジューリング及びディスパッチする。レジスタファイル３６９のセットは、グラフィックスレッドを実行する場合にコア３７０、３７１、３７２により用いられるオペランド値を格納する。これらは、例えば、整数値を格納するための整数レジスタ、浮動小数点値を格納するための浮動小数点レジスタ、パックドデータ要素（整数及び／又は浮動小数点データ要素）を格納するためのベクトルレジスタ、及び、テンソル／行列値を格納するためのタイルレジスタを含んでよい。タイルレジスタは、ベクトルレジスタの組み合わせられたセットとして実装されてよい。

【0086】

１つ又は複数の組み合わせられたレベル１（Ｌ１）キャッシュ及び共有メモリユニット３７３は、例えば、テクスチャデータ、頂点データ、画素データ、レイデータ、境界ボリュームデータなどのグラフィックスデータを各マルチコアグループ３６５Ａ内のローカルに格納する。１つ又は複数のテクスチャユニット３７４はまた、テクスチャマッピング及びサンプリングなどのテクスチャリング演算を実行するために用いられることができる。マルチコアグループ３６５Ａ－３６５Ｎのすべて又はサブセットにより共有されるレベル２（Ｌ２）キャッシュ３７５は、複数の同時グラフィックスレッドのためのグラフィックスデータ及び／又は命令を格納する。図示されるように、Ｌ２キャッシュ３７５は、複数のマルチコアグループ３６５Ａ－３６５Ｎにわたって共有されてよい。１つ又は複数のメモリコントローラ３６７は、ＧＰＵ３８０を、システムメモリ（例えば、ＤＲＡＭ）及び／又は専用のグラフィックスメモリ（例えば、ＧＤＤＲ６メモリ）であり得るメモリ３６６に連結する。

【0087】

入力／出力（Ｉ／Ｏ）回路３６３は、ＧＰＵ３８０を、デジタル信号プロセッサ（ＤＳＰ）、ネットワークコントローラ又はユーザ入力デバイスなどの１つ又は複数のＩ／Ｏデバイス３６２に連結する。Ｉ／Ｏデバイス３６２をＧＰＵ３８０及びメモリ３６６に連結するために、オンチップインターコネクトが用いられてよい。Ｉ／Ｏ回路３６３の１つ又は複数のＩ／Ｏメモリ管理ユニット（ＩＯＭＭＵ）３６４は、Ｉ／Ｏデバイス３６２をシステムメモリ３６６に直接連結する。オプションで、ＩＯＭＭＵ３６４は、仮想アドレスをシステムメモリ３６６内の物理アドレスにマッピングすべく、ページテーブルの複数のセットを管理する。次に、Ｉ／Ｏデバイス３６２、ＣＰＵ３６１及びＧＰＵ３８０は、同一の仮想アドレス空間を共有してよい。

【0088】

ＩＯＭＭＵ３６４の一つの実装において、ＩＯＭＭＵ３６４は仮想化をサポートする。この場合、それは、ページテーブルの第１のセットが、ゲスト／グラフィックス仮想アドレスをゲスト／グラフィックス物理アドレスにマッピングし、ページテーブルの第２のセットが、ゲスト／グラフィックス物理アドレスを（例えば、システムメモリ３６６内の）システム／ホスト物理アドレスにマッピングするように管理してよい。ページテーブルの第１及び第２のセットのそれぞれの基本アドレスは、制御レジスタに格納され、（例えば、新たなコンテキストが、ページテーブルの関連するセットへのアクセスと共に提供されるように）コンテキストスイッチ上でスワップアウトされてよい。図３Ｃには示されていないが、コア３７０、３７１、３７２及び／又はマルチコアグループ３６５Ａ－３６５Ｎのそれぞれは、ゲスト仮想からゲスト物理への変換、ゲスト物理からホスト物理への変換、ゲスト仮想からホスト物理への変換をキャッシュする変換ルックアサイドバッファ（ＴＬＢ）を含んでよい。

【0089】

ＣＰＵ３６１、ＧＰＵ３８０及びＩ／Ｏデバイス３６２は、単一の半導体チップ及び／又はチップパッケージ上に統合されてよい。図示されるメモリ３６６は、同一のチップ上に統合されてよい、又は、オフチップインタフェースを介してメモリコントローラ３６７に連結されてよい。一つの実装において、メモリ３６６は、他の物理システムレベルのメモリと同一の仮想アドレス空間を共有するＧＤＤＲ６メモリを有するが、本明細書で説明される基礎となる原理は、この特定の実装に限定されるものではない。

【0090】

テンソルコア３７１は、深層学習演算を実行するために用いられる基本的な計算演算である行列演算を実行するように特別に設計された複数の実行ユニットを含んでよい。例えば、同時行列乗算演算は、ニューラルネットワーク訓練及び推論のために用いられてよい。テンソルコア３７１は、単精度浮動小数点（例えば、３２ビット）、半精度浮動小数点（例えば、１６ビット）、整数ワード（１６ビット）、バイト（８ビット）及びハーフバイト（４ビット）を含む、様々なオペランド精度を用いて、行列処理を実行してよい。例えば、ニューラルネットワークの実装は、各レンダリングされたシーンの特徴を抽出し、潜在的に複数のフレームからの詳細情報と組み合わせて、高品質な最終イメージを構築する。

【0091】

深層学習の実装において、並列行列乗算作業は、テンソルコア３７１上での実行のためにスケジューリングされてよい。ニューラルネットワークの訓練は、特に、かなりの数の行列ドット積演算を必要とする。Ｎ×Ｎ×Ｎ行列乗算の内積の公式化を処理すべく、テンソルコア３７１は、少なくともＮ個のドット積処理要素を含んでよい。行列乗算が開始される前に、１つの行列全体がタイルレジスタにロードされ、第２の行列の少なくとも１つの列が、Ｎサイクルのうちの各サイクルでロードされる。各サイクルにおいて、処理されるＮ個のドット積が存在する。

【0092】

行列成分は、１６ビットワード、８ビットバイト（例えば、ＩＮＴ８）及び４ビットハーフバイト（例えば、ＩＮＴ４）を含む、特定の実装に応じて異なる精度で格納されてよい。異なる作業負荷（例えば、バイト及びハーフバイトへの量子化を許容できる推論作業負荷など）に、最も効率的な精度が用いられることを保証すべく、異なる精度モードがテンソルコア３７１に指定されてよい。

【0093】

レイトレーシングコア３７２は、リアルタイムレイトレーシング及び非リアルタイムレイトレーシング実装の両方のために、レイトレーシング演算をアクセラレートし得る。具体的には、レイトレーシングコア３７２は、境界ボリューム階層（ＢＶＨ）を用いてレイトラバーサルを実行し、ＢＶＨボリューム内に囲まれたレイ及びプリミティブ間のインターセクションを識別するためのレイトラバーサル／インターセクション回路を含んでよい。レイトレーシングコア３７２は、（例えば、Ｚバッファ又は類似の構成を用いて）デプステスト及びカリングを実行するための回路を含んでもよい。一つの実装において、レイトレーシングコア３７２は、本明細書で説明される画像ノイズ除去技術と連携してトラバーサル及びインターセクション動作を実行し、少なくとも一部がテンソルコア３７１上で実行され得る。例えば、テンソルコア３７１は、レイトレーシングコア３７２により生成されるフレームのノイズ除去を実行すべく、深層学習ニューラルネットワークを実装してよい。しかしながら、ＣＰＵ３６１、グラフィックスコア３７０及び／又はレイトレーシングコア３７２は、ノイズ除去及び／又は深層学習アルゴリズムのすべて又は一部を実装してもよい。

【0094】

さらに、上述したように、ノイズ除去に対する分散型アプローチが用いられてよく、ネットワーク又は高速インターコネクトを通じて他のコンピューティングデバイスに連結されるコンピューティングデバイス内にＧＰＵ３８０があってよい。この分散型アプローチにおいて、インターコネクトされるコンピューティングデバイスは、ニューラルネットワークの学習／訓練データを共有して、システム全体が異なるタイプの画像フレーム及び／又は異なるグラフィックスアプリケーションに対してノイズ除去を実行することを学習する速度を改善し得る。

【0095】

レイトレーシングコア３７２は、すべてのＢＶＨトラバーサル及び／又はレイ－プリミティブインターセクションを処理してよく、グラフィックスコア３７０にレイごとに数千の命令を伴うオーバーロードが掛かるのを防ぐ。例えば、各レイトレーシングコア３７２は、境界ボックステストを実行するための（例えば、トラバーサル演算のための）第１のセットの専用回路、及び／又は、レイトライアングルインターセクションテスト（例えば、トラバーサルされたレイをインターセクトする）を実行するための第２のセットの専用回路を含む。したがって、例えば、マルチコアグループ３６５Ａは、単にレイプローブを起動するだけでよく、レイトレーシングコア３７２は、レイトラバーサル及びインターセクションを独立して実行し、ヒットデータ（例えば、ヒット、ヒットなし、複数のヒットなど）をスレッドコンテキストに戻す。レイトレーシングコア３７２がトラバーサル及びインターセクション動作を実行している間、他のコア３７０、３７１は、他のグラフィックス又は計算作業を解放又は実行する。

【0096】

オプションで、各レイトレーシングコア３７２は、ＢＶＨテスト工程を実行するトラバーサルユニット、及び／又は、レイ－プリミティブインターセクションテストを実行するインターセクションユニットを含んでよい。インターセクションユニットは、「ヒット」、「ヒットなし」又は「複数のヒット」応答を生成し、適切なスレッドに提供する。トラバーサル及びインターセクション動作中、他のコア（例えば、グラフィックスコア３７０及びテンソルコア３７１）の実行リソースは、他の形式のグラフィックス作業を実行すべく解放される。

【0097】

以下に説明される一つのオプションの実施形態では、グラフィックスコア３７０とレイトレーシングコア３７２との間で作業が分散されるハイブリッドラスタライズ／レイトレーシング手法が用いられる。

【0098】

レイトレーシングコア３７２（及び／又は、他のコア３７０、３７１）は、ＤｉｓｐａｔｃｈＲａｙｓコマンドを含むマイクロソフト（登録商標）のＤｉｒｅｃｔＸレイトレーシング（ＤＸＲ）などのレイトレーシング命令セット用のハードウェアサポート、並びに、各オブジェクトに対する固有のセットのシェーダ及びテクスチャの割り当てを可能にするｒａｙ－ｇｅｎｅｒａｔｉｏｎシェーダ、ｃｌｏｓｅｓｔ－ｈｉｔシェーダ、ａｎｙ－ｈｉｔシェーダ、及び、ｍｉｓｓシェーダを含んでよい。レイトレーシングコア３７２、グラフィックスコア３７０及びテンソルコア３７１によりサポートされ得る別のレイトレーシングプラットフォームは、Ｖｕｌｋａｎ１．１．８５である。しかしながら、ここで説明される基礎となる原理は任意の特定のレイトレーシングＩＳＡに限定されることはないことを留意されたい。

【0099】

一般に、様々なコア３７２、３７１、３７０は、ｒａｙ Ｇｅｎｅｒａｔｉｏｎ、ｃｌｏｓｅｓｔ ｈｉｔ、Ａｎｙ Ｈｉｔ、レイ－プリミティブインターセクション、プリミティブごと及び階層境界ボックス構築、ミス、ビジット及び例外のうちの１つ又は複数のための命令／機能を含むレイトレーシング命令セットをサポートしてよい。より具体的には、好ましい実施形態は、以下の機能のうちの１つ又は複数を実行するレイトレーシング命令を含む。

【0100】

［Ｒａｙ Ｇｅｎｅｒａｔｉｏｎ］－Ｒａｙ Ｇｅｎｅｒａｔｉｏｎ命令は、各画素、サンプル、又は、他のユーザに規定される作業割り当てのために実行されてよい。

【0101】

［Ｃｌｏｓｅｓｔ Ｈｉｔ］－ｃｌｏｓｅｓｔ ｈｉｔ命令は、シーン内のレイとプリミティブとの最も近い交点を見つけるべく実行されてよい。

【0102】

［Ａｎｙ Ｈｉｔ］－ａｎｙ ｈｉｔ命令は、潜在的に、シーン内のレイとプリミティブとの間の複数のインターセクションを識別して、新たな最も近い交点を識別する。

【0103】

［インターセクション］－インターセクション命令は、レイ－プリミティブインターセクションテストを実行し、結果を出力する。

【0104】

［プリミティブごとの境界ボックス構築］－この命令は、（例えば、新たなＢＶＨ又は他のアクセラレーションデータ構造を構築する場合）所定のプリミティブ又はプリミティブのグループの周りの境界ボックスを構築する。

【0105】

［ミス］－シーン内のすべてのジオメトリ又はシーンの特定の領域にレイが当たらなかったことを示す。

【0106】

［ビジット］－レイがトラバースすることになる子ボリュームを示す。

【0107】

［例外］－様々なタイプの例外ハンドラ（例えば、様々なエラー条件に対して呼び出される）を含む。
［ＧＰＵ－ホストプロセッサのインターコネクトに関する技術］

【0108】

図４Ａは、例えば、図２Ａに示される並列プロセッサ２００などの複数のＧＰＵ４１０－４１３が、高速リンク４４０Ａ－４４０Ｄ（例えば、バス、ポイントツーポイントインターコネクトなど）を通じて、複数のマルチコアプロセッサ４０５－４０６に通信可能に連結されている例示的なアーキテクチャを示す。高速リンク４４０Ａ－４４０Ｄは、実装に応じて、４ＧＢ／ｓ、３０ＧＢ／ｓ、８０ＧＢ／ｓ又はそれ以降の通信スループットをサポートしてよい。様々なインターコネクトプロトコルが用いられてよく、限定されるものではないが、ＰＣＩｅ４．０又は５．０、及び、ＮＶＬｉｎｋ２．０を含む。しかしながら、本明細書で説明される基礎となる原理は、任意の特定の通信プロトコル又はスループットに限定されるものではない。

【0109】

２つ又はそれより多くのＧＰＵ４１０－４１３は、高速リンク４４２Ａ－４４２Ｂを通じてインターコネクトされてよく、高速リンク４４０Ａ－４４０Ｄのために用いられるものと同一又はこれらとは異なるプロトコル／リンクを用いて実装されてよい。同様に、２つ又はそれより多くのマルチコアプロセッサ４０５－４０６は、２０ＧＢ／ｓ、３０ＧＢ／ｓ、１２０ＧＢ／ｓ、又は、より高い速度で動作する対称マルチプロセッサ（ＳＭＰ）バスであり得る高速リンク４４３を通じて接続されてよい。あるいは、図４Ａに示される様々なシステムコンポーネント間のすべての通信は、同一のプロトコル／リンクを用いて（例えば、共通のインターコネクトファブリックを通じて）実現されてよい。しかしながら、すでに述べたように、本明細書で説明される基礎となる原理は、任意の特定のタイプのインターコネクト技術に限定されるものではない。

【0110】

各マルチコアプロセッサ４０５－４０６は、それぞれ、メモリインターコネクト４３０Ａ－４３０Ｂを介してプロセッサメモリ４０１－４０２に通信可能に連結されてよく、各ＧＰＵ４１０－４１３は、それぞれＧＰＵメモリインターコネクト４５０Ａ－４５０Ｄを通じてＧＰＵメモリ４２０－４２３に通信可能に連結される。メモリインターコネクト４３０Ａ－４３０Ｂ及び４５０Ａ－４５０Ｄは、同一又は異なるメモリアクセス技術を利用してよい。限定ではなく例示の目的で、プロセッサメモリ４０１－４０２及びＧＰＵメモリ４２０－４２３は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（スタック型ＤＲＡＭを含む）、グラフィックスＤＤＲ ＳＤＲＡＭ（ＧＤＤＲ）（例えば、ＧＤＤＲ５、ＧＤＤＲ６）又は高帯域幅メモリ（ＨＢＭ）などの揮発性メモリであってよく、及び／又は、３Ｄ ＸＰｏｉｎｔ／Ｏｐｔａｎｅ又はＮａｎｏ‐Ｒａｍなどの不揮発性メモリであってよい。例えば、複数のメモリの一部は揮発性メモリであってよく、別の一部が不揮発性メモリ（例えば、２レベルのメモリ（２ＬＭ）階層を用いる）であってよい。

【0111】

以下に説明されるように、様々なプロセッサ４０５－４０６及びＧＰＵ４１０－４１３が特定のメモリ４０１－４０２、４２０－４２３にそれぞれ物理的に連結されてよいが、同一の仮想システムアドレス空間（「実効アドレス」空間とも称される）が様々な物理メモリのすべての間で分散されるユニファイドメモリアーキテクチャが実装されてよい。例えば、プロセッサメモリ４０１－４０２はそれぞれ、６４ＧＢのシステムメモリアドレス空間を有してよく、ＧＰＵメモリ４２０－４２３はそれぞれ、３２ＧＢのシステムメモリアドレス空間を有してよい（この例では、結果として、合計で２５６ＧＢのアドレス指定可能メモリとなる）。

【0112】

図４Ｂは、マルチコアプロセッサ４０７とグラフィックスアクセラレーションモジュール４４６との間のインターコネクトに関する追加の任意の詳細を示す。グラフィックスアクセラレーションモジュール４４６は、高速リンク４４０を介してプロセッサ４０７に連結されるラインカード上に統合される１つ又は複数のＧＰＵチップを含んでよい。あるいは、グラフィックスアクセラレーションモジュール４４６は、プロセッサ４０７と同一のパッケージ又はチップ上に統合されてよい。

【0113】

図示されるプロセッサ４０７は、複数のコア４６０Ａ－４６０Ｄを含み、それぞれが、変換ルックアサイドバッファ４６１Ａ－４６１Ｄ及び１つ又は複数のキャッシュ４６２Ａ－４６２Ｄを有する。コアは、本明細書において説明されるコンポーネントの基礎となる原理が曖昧になることを避けるべく図示されていない命令を実行し、データを処理するための様々な他のコンポーネント（例えば、命令フェッチ、分岐予測ユニット、デコーダ、実行ユニット、リオーダバッファなど）を含んでよい。キャッシュ４６２Ａ－４６２Ｄは、レベル１（Ｌ１）及びレベル２（Ｌ２）キャッシュを有してよい。さらに、１つ又は複数の共有キャッシュ４５６は、キャッシング階層に含まれ、コア４６０Ａ－４６０Ｄのセットにより共有されてよい。例えば、プロセッサ４０７の一実施形態は、２４個のコアを含み、それぞれが、独自のＬ１キャッシュ、１２個の共有Ｌ２キャッシュ及び１２個の共有Ｌ３キャッシュを有する。本実施形態において、Ｌ２及びＬ３キャッシュのうちの１つが２つの隣接するコアにより共有される。プロセッサ４０７及びグラフィックスアクセラレータ統合モジュール４４６は、システムメモリ４４１を接続し、プロセッサメモリ４０１－４０２を含んでよい。

【0114】

コヒーレンスバス４６４を通じてコア間通信を介して様々なキャッシュ４６２Ａ－４６２Ｄ、４５６及びシステムメモリ４４１に格納されるデータ及び命令に対して、コヒーレンシが維持される。例えば、各キャッシュは、関連付けられるキャッシュコヒーレンシロジック／回路を有してよく、特定のキャッシュラインに対して検出される読み出し又は書き込みに応答して、コヒーレンスバス４６４を通じてそれらと通信する。一つの実装において、キャッシュスヌーピングプロトコルは、キャッシュアクセスをスヌープすべく、コヒーレンスバス４６４を通じて実装される。キャッシュスヌーピング／コヒーレンシ技術は、当業者により十分に理解されており、ここでは、本明細書で説明される基礎となる原理が曖昧になることを避けるために、詳細に説明することはしない。

【0115】

コヒーレンスバス４６４にグラフィックスアクセラレーションモジュール４４６を通信可能に連結し、グラフィックスアクセラレーションモジュール４４６が、コアのピアとして、キャッシュコヒーレンスプロトコルに加わることが可能となるプロキシ回路４２５が提供されてよい。具体的には、インタフェース４３５は、高速リンク４４０（例えば、ＰＣＩｅバス、ＮＶＬｉｎｋなど）を通じたプロキシ回路４２５への接続性を提供し、インタフェース４３７は、グラフィックスアクセラレーションモジュール４４６を高速リンク４４０に接続する。

【0116】

一つの実装において、アクセラレータ統合回路４３６は、グラフィックスアクセラレーションモジュール４４６の複数のグラフィックス処理エンジン４３１、４３２、Ｎの代わりに、キャッシュ管理、メモリアクセス、コンテキスト管理、及び、割り込み管理サービスを提供する。グラフィックス処理エンジン４３１、４３２、Ｎはそれぞれ、別個のグラフィックス処理ユニット（ＧＰＵ）を有してよい。あるいは、グラフィックス処理エンジン４３１、４３２、Ｎは、グラフィックス実行ユニット、メディア処理エンジン（例えば、ビデオエンコーダ／デコーダ）、サンプラ、ブリットエンジンなど、ＧＰＵ内の異なるタイプのグラフィックス処理エンジンを有してよい。つまり、グラフィックスアクセラレーションモジュールは、複数のグラフィックス処理エンジン４３１－４３２、Ｎを有するＧＰＵであってよい、又は、グラフィックス処理エンジン４３１－４３２、Ｎは、共通のパッケージ、ラインカード又はチップ上に統合される個々のＧＰＵであってよい。

【0117】

アクセラレータ統合回路４３６は、仮想－物理メモリ変換（有効‐実メモリ変換とも称される）、及び、システムメモリ４４１にアクセスするためのメモリアクセスプロトコルなどの様々なメモリ管理機能を実行するためのメモリ管理ユニット（ＭＭＵ）４３９を含んでよい。ＭＭＵ４３９は、仮想／実効－物理／実アドレス変換をキャッシングするための変換ルックアサイドバッファ（ＴＬＢ）（図示されていない）を含んでもよい。一つの実装において、キャッシュ４３８は、グラフィックス処理エンジン４３１－４３２、Ｎによる効率的なアクセスのためのコマンド及びデータを格納する。キャッシュ４３８及びグラフィックスメモリ４３３－４３４、Ｎに格納されるデータは、コアキャッシュ４６２Ａ－４６２Ｄ、４５６及びシステムメモリ４１１とのコヒーレントが維持され得る。すでに述べたように、これは、キャッシュ４３８及びメモリ４３３－４３４の代わりに、キャッシュコヒーレンシメカニズムに参加するプロキシ回路４２５を介して実現され得る（例えば、プロセッサキャッシュ４６２Ａ－４６２Ｄ、４５６上のキャッシュラインの修正／アクセスに関連するキャッシュ４３８に更新を送信し、キャッシュ４３８から更新を受信する）。

【0118】

レジスタ４４５のセットは、グラフィックス処理エンジン４３１－４３２、Ｎにより実行されるスレッドのためのコンテキストデータを格納し、コンテキスト管理回路４４８は、スレッドコンテキストを管理する。例えば、コンテキスト管理回路４４８は、コンテキスト切り替え中に様々なスレッドのコンテキストを保存及び復元する保存及び復元工程を実行してよい（例えば、第２スレッドがグラフィックス処理エンジンにより実行され得るように、第１スレッドが保存され、第２スレッドが格納される）。例えば、コンテキストスイッチにおいて、コンテキスト管理回路４４８は、（例えば、コンテキストポインタにより識別される）メモリ内の指定された領域に現在のレジスタ値を格納してよい。次に、コンテキストに戻る場合、レジスタ値を復元してよい。例えば、割り込み管理回路４４７は、システムデバイスから割り込みを受信し、受信した割り込みを処理してよい。

【0119】

一つの実装において、グラフィックス処理エンジン４３１からの仮想／実効アドレスは、ＭＭＵ４３９によりシステムメモリ４１１内の実／物理アドレスに変換される。オプションで、アクセラレータ統合回路４３６は、複数（例えば、４、８、１６）のグラフィックスアクセラレータモジュール４４６及び／又は他のアクセラレータデバイスをサポートする。グラフィックスアクセラレータモジュール４４６は、プロセッサ４０７上で実行される単一アプリケーションに専用であってよい、又は、複数のアプリケーション間で共有されてよい。オプションで、グラフィックス処理エンジン４３１－４３２、Ｎのリソースが、複数のアプリケーション又は仮想マシン（ＶＭ）を用いて共有される仮想化されたグラフィックス実行環境が提供される。リソースは、ＶＭ及び／又はアプリケーションと関連付けられる処理要求及び優先度に基づいて、異なるＶＭ及び／又はアプリケーションに割り当てられる「スライス」に細分化されてよい。

【0120】

したがって、アクセラレータ統合回路４３６は、グラフィックスアクセラレーションモジュール４４６にとってのシステムへのブリッジとしての機能を果たし、アドレス変換及びシステムメモリキャッシュサービスを提供する。一実施形態において、ブリッジ機能を促進すべく、アクセラレータ統合回路４３６は、共有Ｉ／Ｏ４９７（例えば、ＰＣＩｅ、ＵＳＢ）、及び、電圧、クロッキング、性能、熱及びセキュリティのシステム制御を可能にするハードウェアを含んでもよい。共有Ｉ／Ｏ４９７は、別個の物理接続を利用してよい、又は、高速リンク４４０をトラバースしてよい。さらに、アクセラレータ統合回路４３６は、グラフィックス処理エンジン、割り込み、及び、メモリ管理の仮想化を管理する仮想化機能をホストプロセッサに提供してよい。

【0121】

グラフィックス処理エンジン４３１－４３２、Ｎのハードウェアリソースは、ホストプロセッサ４０７により見られる実アドレス空間に明示的にマッピングされるので、任意のホストプロセッサは、実効アドレス値を用いて直接これらのリソースにアドレス指定できる。アクセラレータ統合回路４３６の一つのオプション的な機能は、グラフィックス処理エンジン４３１－４３２、Ｎがシステムにとってそれぞれ独立のユニットとして見えるように、グラフィックス処理エンジン４３１－４３２、Ｎを物理的に分離することである。

【0122】

１つ又は複数のグラフィックスメモリ４３３－４３４、Ｍは、それぞれ、グラフィックス処理エンジン４３１－４３２、Ｎのそれぞれに連結されてよい。グラフィックスメモリ４３３－４３４、Ｍはグラフィックス処理エンジン４３１－４３２、Ｎのそれぞれにより処理される命令及びデータを格納する。グラフィックスメモリ４３３－４３４、Ｍは、ＤＲＡＭ（スタック型ＤＲＡＭを含む）、ＧＤＤＲメモリ（例えば、ＧＤＤＲ５、ＧＤＤＲ６）、又は、ＨＢＭなどの揮発性メモリであってよい、及び／又は、３Ｄ ＸＰｏｉｎｔ／Ｏｐｔａｎｅ又はＮａｎｏ－Ｒａｍなどの不揮発性メモリであってよい。

【0123】

高速リンク４４０上のデータトラフィックを減らすべく、バイアス技術が用いられてよく、グラフィックスメモリ４３３－４３４、Ｎに格納されるデータが、グラフィックス処理エンジン４３１－４３２、Ｎにより最も頻繁に用いられ、好ましくは、コア４６０Ａ－４６０Ｄにより用いられていない（少なくとも頻繁ではない）データであることを保証する。同様に、バイアスメカニズムは、コア（及び、好ましくは、グラフィックス処理エンジン４３１－４３２、Ｎではない）により必要とされるデータをコアのキャッシュ４６２Ａ－４６２Ｄ、４５６及びシステムメモリ４１１内に維持しようと試みる。

【0124】

図４Ｃに示される変形例によれば、アクセラレータ統合回路４３６は、プロセッサ４０７内に統合される。グラフィックス処理エンジン４３１－４３２、Ｎは、インタフェース４３７及びインタフェース４３５（ここでも、バス又はインタフェースプロトコルの任意の形式を利用してよい）を介した高速リンク４４０を通じてアクセラレータ統合回路４３６に直接通信する。アクセラレータ統合回路４３６は、図４Ｂに関して説明されるものと同一の工程であるが、コヒーレンシバス４６４及びキャッシュ４６２Ａ－４６２Ｄ、４５６に潜在的に近接する所定のより高いスループットで実行してよい。

【0125】

説明される実施形態は、専用プロセスプログラミングモデル（グラフィックスアクセラレーションモジュール仮想化なし）、及び、共有プログラミングモデル（仮想化あり）を含む異なるプログラミングモデルをサポートしてよい。後者は、アクセラレータ統合回路４３６により制御されるプログラミングモデル、及び、グラフィックスアクセラレーションモジュール４４６により制御されるプログラミングモデルを含んでよい。

【0126】

専用処理モデルの実施形態において、グラフィックス処理エンジン４３１－４３２、Ｎは、単一のオペレーティングシステムの下で単一アプリケーション又はプロセスに専用であってよい。単一アプリケーションは、他のアプリケーション要求をグラフィックスエンジン４３１－４３２、Ｎに送信し、ＶＭ／パーティション内の仮想化を提供することができる。

【0127】

専用プロセスプログラミングモデルにおいて、グラフィックス処理エンジン４３１－４３２、Ｎは、複数のＶＭ／アプリケーションパーティションにより共有されてよい。共有モデルは、システムハイパーバイザに、グラフィックス処理エンジン４３１－４３２、Ｎを仮想化して、各オペレーティングシステムによるアクセスを可能にすることを要求する。ハイパーバイザを用いない単一のパーティションシステムについて、グラフィックス処理エンジン４３１－４３２、Ｎはオペレーティングシステムにより所有される。両方の場合、オペレーティングシステムは、グラフィックス処理エンジン４３１－４３２、Ｎを仮想化して、各プロセス又はアプリケーションへのアクセスを提供できる。

【0128】

共有プログラミングモデルについて、グラフィックスアクセラレーションモジュール４４６又は個別のグラフィックス処理エンジン４３１－４３２、Ｎは、プロセスハンドルを用いてプロセス要素を選択する。プロセス要素は、システムメモリ４１１に格納され、本明細書で説明される実効アドレス－実アドレス変換技術を用いてアドレス指定可能されてよい。プロセスハンドルは、グラフィックス処理エンジン４３１－４３２、Ｎにそのコンテキストを登録する場合にホストプロセスに提供される実装に固有の値であってよい（つまり、システムソフトウェア呼び出して、プロセス要素のリンクリストにプロセス要素を追加する）。プロセスハンドルの下位１６ビットは、プロセス要素のリンクリスト内のプロセス要素のオフセットであってよい。

【0129】

図４Ｄは、例示的なアクセラレータ統合スライス４９０を示す。本明細書で用いられるように、「スライス」は、アクセラレータ統合回路４３６の処理リソースの特定の部分を有する。システムメモリ４１１内のアプリケーション実効アドレス空間４８２は、プロセス要素４８３を格納する。プロセス要素４８３は、プロセッサ４０７上で実行されるアプリケーション４８０からのＧＰＵ呼び出し４８１に応答して格納されてよい。プロセス要素４８３は、対応するアプリケーション４８０に関するプロセスの状態を含む。プロセス要素４８３に含まれる作業記述子（ＷＤ）４８４は、アプリケーションにより要求される単一のジョブとすることができる、又は、ジョブのキューに対するポインタを含んでよい。後者の場合、ＷＤ４８４は、アプリケーションのアドレス空間４８２におけるジョブリクエストキューへのポインタである。

【0130】

グラフィックスアクセラレーションモジュール４４６及び／又は個々のグラフィックス処理エンジン４３１－４３２、Ｎは、システムにおけるプロセスのすべて又はサブセットにより共有されることができる。例えば、本明細書で説明される技術は、プロセスの状態をセットアップし、仮想化された環境においてジョブを開始するグラフィックスアクセラレーションモジュール４４６にＷＤ４８４を送信するインフラストラクチャを含んでよい。

【0131】

一つの実装において、専用プロセスプログラミングモデルは、実装に固有のものである。このモデルでは、単一プロセスが、グラフィックスアクセラレーションモジュール４４６又は個別のグラフィックス処理エンジン４３１を所有する。グラフィックスアクセラレーションモジュール４４６が単一プロセスにより所有されるので、ハイパーバイザは、所有するパーティションのためのアクセラレータ統合回路４３６を初期化し、オペレーティングシステムは、グラフィックスアクセラレーションモジュール４４６が割り当てられた時点で、所有するプロセスのためのアクセラレータ統合回路４３６を初期化する。

【0132】

動作中、アクセラレータ統合スライス４９０におけるＷＤフェッチユニット４９１は、グラフィックスアクセラレーションモジュール４４６のグラフィックス処理エンジンのうちの１つにより行われる作業のインジケーションを含む次のＷＤ４８４をフェッチする。ＷＤ４８４からのデータは、レジスタ４４５に格納され、図示されるようなＭＭＵ４３９、割り込み管理回路４４７及び／又はコンテキスト管理回路４４８により用いられてよい。例えば、ＭＭＵ４３９は、ＯＳ仮想アドレス空間４８５内のセグメント／ページテーブル４８６にアクセスするためのセグメント／ページウォーク回路を含んでよい。割り込み管理回路４４７は、グラフィックスアクセラレーションモジュール４４６から受信される割り込みイベント４９２を処理してよい。グラフィックス演算を実行した場合、グラフィックス処理エンジン４３１－４３２、Ｎにより生成される実効アドレス４９３は、ＭＭＵ４３９により実アドレスに変換される。

【0133】

同一のセットのレジスタ４４５は、各グラフィックス処理エンジン４３１－４３２、Ｎ、及び／又は、グラフィックスアクセラレーションモジュール４４６により複製されてよく、ハイパーバイザ又はオペレーティングシステムにより初期化されてよい。これらの複製されたレジスタのそれぞれは、アクセラレータ統合スライス４９０に含まれてよい。ハイパーバイザにより初期化され得る例示的なレジスタが表１に示される。
表１－ハイパーバイザの初期化されるレジスタ

【表1】

【0134】

オペレーティングシステムにより初期化され得る例示的なレジスタが表２に示される。
表２－オペレーティングシステムの初期化されるレジスタ

【表2】

【0135】

各ＷＤ４８４は、特定のグラフィックスアクセラレーションモジュール４４６及び／又はグラフィックス処理エンジン４３１－４３２、Ｎに固有のものであってよい。それは、グラフィックス処理エンジン４３１－４３２、Ｎがその作業を行う必要があるすべての情報を含む、又は、アプリケーションが、完了すべき作業のコマンドキューをセットアップしたメモリ位置へのポインタとすることができる。

【0136】

図４Ｅは、共有モデルの追加の任意の詳細を示す。それは、プロセス要素リスト４９９が格納されるハイパーバイザの実アドレス空間４９８を含む。ハイパーバイザの実アドレス空間４９８は、オペレーティングシステム４９５のためのグラフィックスアクセラレーションモジュールエンジンを仮想化するハイパーバイザ４９６を介してアクセス可能である。

【0137】

共有プログラミングモデルは、システム内のパーティションのすべて又はサブセットからのプロセスのすべて又はサブセットがグラフィックスアクセラレーションモジュール４４６を用いることを可能にする。グラフィックスアクセラレーションモジュール４４６が複数のプロセス及びパーティションにより共有される２つのプログラミングモデル、すなわち、タイムスライス型の共有及びグラフィックス指示型の共有がある。

【0138】

このモデルでは、システムハイパーバイザ４９６は、グラフィックスアクセラレーションモジュール４４６を所有し、すべてのオペレーティングシステム４９５に対してその機能を利用可能にする。システムハイパーバイザ４９６による仮想化をサポートするグラフィックスアクセラレーションモジュール４４６について、グラフィックスアクセラレーションモジュール４４６は、以下の要件に従ってよい。１）アプリケーションのジョブリクエストは自律的でなければ（すなわち、状態がジョブ間で維持される必要はない）、又は、グラフィックスアクセラレーションモジュール４４６は、コンテキストの保存及び復元メカニズムを提供しなければならない。２）アプリケーションのジョブリクエストは、任意の変換障害を含む特定の時間内に完了することをグラフィックスアクセラレーションモジュール４４６により保証される、又は、グラフィックスアクセラレーションモジュール４４６は、ジョブの処理をプリエンプトする能力を提供する。３）グラフィックスアクセラレーションモジュール４４６は、指示型共有プログラミングモデルで動作している場合、プロセス間の公平性を保証しなければならない。

【0139】

共有モデルについて、アプリケーション４８０は、オペレーティングシステム４９５に、グラフィックスアクセラレーションモジュール４４６のタイプ、作業記述子（ＷＤ）、オーソリティマスクレジスタ（ＡＭＲ）値及びコンテキストの保存／復元エリアポインタ（ＣＳＲＰ）を用いてシステムコールを行わせる必要があり得る。グラフィックスアクセラレーションモジュール４４６のタイプは、システムコールのための対象となるアクセラレーション機能を説明する。グラフィックスアクセラレーションモジュール４４６のタイプは、システム固有の値であってよい。ＷＤは、グラフィックスアクセラレーションモジュール４４６用に具体的にフォーマット化され、グラフィックスアクセラレーションモジュール４４６のコマンド、ユーザにより規定される構造への実効アドレスポインタ、コマンドのキューへの実効アドレスポインタ、又は、グラフィックスアクセラレーションモジュール４４６により行われる作業を説明する任意の他のデータ構造の形式とすることができる。一実施形態において、ＡＭＲ値は、現在のプロセスのために用いられるＡＭＲ状態である。オペレーティングシステムに渡される値は、ＡＭＲを設定するアプリケーションに類似する。アクセラレータ統合回路４３６及びグラフィックスアクセラレーションモジュール４４６の実装がユーザオーソリティマスクオーバーライドレジスタ（ＵＡＭＯＲ）をサポートしていない場合、オペレーティングシステムは、ハイパーバイザコールにおいてＡＭＲを渡す前に、現在のＵＡＭＯＲをＡＭＲ値に適用してよい。オプションで、ハイパーバイザ４９６は、ＡＭＲをプロセス要素４８３に配置する前に、現在のオーソリティマスクオーバーライドレジスタ（ＡＭＯＲ）値を適用してよい。ＣＳＲＰは、コンテキスト状態を保存及び復元するグラフィックスアクセラレーションモジュール４４６に対するアプリケーションのアドレス空間４８２内の領域の実効アドレスを含むレジスタ４４５のうちの１つであってよい。ジョブ間で保存される必要がある状態がない場合、又は、ジョブがプリエンプトされた場合、このポインタはオプションである。コンテキストの保存／復元エリアは、固定されたシステムメモリであってよい。

【0140】

システムコールを受信すると、オペレーティングシステム４９５は、アプリケーション４８０が、グラフィックスアクセラレーションモジュール４４６を用いる権限を登録しており、当該権限が与えられていることを確認してよい。次に、オペレーティングシステム４９５は、表３に示される情報を用いてハイパーバイザ４９６を呼び出す。
表３－ＯＳ－ハイパーバイザコールパラメータ

【表3】

【0141】

ハイパーバイザコールを受信すると、ハイパーバイザ４９６は、オペレーティングシステム４９５は、グラフィックスアクセラレーションモジュール４４６を用いる権限を登録し、当該権限が与えられていることを確認する。次に、ハイパーバイザ４９６は、対応するグラフィックスアクセラレーションモジュール４４６のタイプに関するプロセス要素リンクリストにプロセス要素４８３を置く。プロセス要素は、表４に示される情報を含んでよい。
表４－プロセス要素情報

【表4】

【0142】

ハイパーバイザは、複数のアクセラレータ統合スライス４９０のレジスタ４４５を初期化してよい。

【0143】

図４Ｆに示されるように、一つのオプション実装では、物理プロセッサメモリ４０１－４０２及びＧＰＵメモリ４２０－４２３にアクセスするために用いられる共通の仮想メモリアドレス空間を介してアドレス指定可能なユニファイドメモリが用いられる。この実装では、ＧＰＵ４１０－４１３により実行される工程は、同一の仮想／実効メモリアドレス空間を利用して、プロセッサメモリ４０１－４０２にアクセスし、逆もまた同様であり、これにより、プログラマビリティを簡略化する。仮想／実効アドレス空間の第１部分はプロセッサメモリ４０１に、第２部分は第２プロセッサメモリ４０２に、第３部分はＧＰＵメモリ４２０などに割り当てられてよい。これにより、仮想／実効メモリ空間全体（実効アドレス空間と称される場合がある）は、プロセッサメモリ４０１－４０２及びＧＰＵメモリ４２０－４２３のそれぞれにわたって分散され、任意のプロセッサ又はＧＰＵがメモリにマッピングされる仮想アドレスを用いて任意の物理メモリにアクセスすることが可能となる。

【0144】

ホストプロセッサ（例えば、４０５）のキャッシュと、ＧＰＵ４１０－４１３との間のキャッシュコヒーレンスを保証し、一定のタイプのデータが格納されるべき物理メモリを示すバイアス技術を実施するＭＭＵ４３９Ａ－４３９Ｅの１つ又は複数内のバイアス／コヒーレンス管理回路４９４Ａ－４９４Ｅが提供されてよい。バイアス／コヒーレンス管理回路４９４Ａ－４９４Ｅの複数のインスタンスが図４Ｆに示される一方、バイアス／コヒーレンス回路は、１つ又は複数のホストプロセッサ４０５のＭＭＵ内、及び／又は、アクセラレータ統合回路４３６内に実装されてよい。

【0145】

ＧＰＵ付属メモリ４２０－４２３は、システムメモリの一部としてマッピングされ、共有仮想メモリ（ＳＶＭ）技術を用いてアクセスされてよいが、完全なシステムキャッシュコヒーレンスと関連付けられる典型的な性能上の欠点に悩まされることはない。煩わしいキャッシュコヒーレンスのオーバヘッドがないシステムメモリとしてアクセスされるＧＰＵ付属メモリ４２０－４２３の能力は、ＧＰＵオフロードのための有利な動作環境をもたらす。この配置は、ホストプロセッサ４０５のソフトウェアが、従来のＩ／Ｏ ＤＭＡデータコピーのオーバヘッドを伴うことなく、ホストプロセッサ４０５のソフトウェアがオペランドをセットアップすること、及び、計算結果にアクセスすることを可能にする。そのような従来のコピーは、簡易なメモリアクセスと比較してすべて非効率的であるドライバコール、割り込み、メモリにマッピングされたＩ／Ｏ（ＭＭＩＯ）アクセスに関わる。同時に、キャッシュコヒーレンスのオーバヘッドを伴わずに、ＧＰＵ付属メモリ４２０－４２３にアクセスする能力は、オフロード計算の実行時間にとってクリティカルであり得る。ストリーミング書き込みメモリトラフィックが大きい場合、例えば、キャッシュコヒーレンスのオーバヘッドは、ＧＰＵ４１０～４１３から見える有効書き込み帯域幅を大きく低減させる可能性がある。オペランドセットアップの効率、結果的なアクセスの効率、及び、ＧＰＵ計算の効率はすべて、ＧＰＵオフロードの有効性を判定する機能を担う。

【0146】

ＧＰＵバイアスとホストプロセッサバイアスとの間の選択は、バイアストラッカーデータ構造により駆動され得る。バイアステーブルは、例えば、ＧＰＵ付属メモリページごとに１又は２ビットを含むページ粒度の構造（つまり、メモリページの粒度で制御される）であってよいバイアステーブルが用いられてよい。バイアステーブルは、ＧＰＵ４１０－４１３内のバイアスキャッシュを有する又は有しない状態で、１つ又は複数のＧＰＵ付属メモリ４２０－４２３のストールンメモリ（ｓｔｏｌｅｎ ｍｅｍｏｒｙ）範囲内で実装されてよい（例えば、バイアステーブルの頻繁に／最近用いられたエントリをキャッシュすべく）。あるいは、バイアステーブル全体がＧＰＵ内に維持されてよい。

【0147】

一つの実装において、ＧＰＵ付属メモリ４２０－４２３への各アクセスと関連付けられるバイアステーブルのエントリは、ＧＰＵメモリへの実際のアクセスの前にアクセスされることで、以下の工程を引き起こす。まず、ＧＰＵバイアスにおいてそれらのページを見つけたＧＰＵ４１０－４１３からローカルリクエストは、対応するＧＰＵメモリ４２０－４２３に直接転送される。ホストバイアスにおいてそれらのページを見つけたＧＰＵからのローカルリクエストは、（例えば、上述したような高速リンクを通じて）プロセッサ４０５に転送される。オプションで、ホストプロセッサバイアスにおいて要求されたページを見つけたプロセッサ４０５からのリクエストは、通常のメモリ読み出しのようなリクエストを完了する。あるいは、ＧＰＵバイアスページに指示されるリクエストは、ＧＰＵ４１０－４１３に転送されてよい。次に、ページを現在用いていない場合、ＧＰＵは、ホストプロセッサバイアスにページを移行してよい。

【0148】

ページのバイアス状態は、ソフトウェアベースのメカニズム、ハードウェア支援型ソフトウェアベースのメカニズムのいずれか一方により、又は、制限されたセットの場合、純粋なハードウェアベースのメカニズムにより変更され得る。

【0149】

バイアス状態を変更するための１つのメカニズムがＡＰＩコール（例えば、ＯｐｅｎＣＬ）を用いると、ＡＰＩコールによりＧＰＵのデバイスドライバが呼び出され、ＧＰＵのデバイスドライバにより、ＧＰＵに対しバイアス状態を変更し、且ついくつかの移行のために、ホスト内のキャッシュフラッシュ操作を実行することを指示するメッセージがＧＰＵに送信（又は、コマンド記述子をキューに入れる）される。キャッシュフラッシュ操作は、ホストプロセッサ４０５バイアスからＧＰＵバイアスへの移行のために必要とされるが、逆の移行のためには必要とされていない。

【0150】

キャッシュコヒーレンシは、ホストプロセッサ４０５によりキャッシュ不可能なＧＰＵバイアスページを一時的にレンダリングすることにより維持されてよい。実装に応じて、これらのページにアクセスすべく、プロセッサ４０５は、ＧＰＵ４１０からのアクセスを要求してよく、ＧＰＵ４１０は即座にアクセスを許可してもよいし、しなくてもよい。したがって、ホストプロセッサ４０５とＧＰＵ４１０との間の通信を低減するには、ＧＰＵバイアスページが、ホストプロセッサ４０５ではなく、ＧＰＵにより必要とされるページであることを保証することが有利であり、逆もまた同様である。
［グラフィックス処理パイプライン］

【0151】

図５は、グラフィックス処理パイプライン５００を示す。図２Ｄのグラフィックスマルチプロセッサ２３４、図３Ａのグラフィックスマルチプロセッサ３２５、図３Ｂのグラフィックスマルチプロセッサ３５０などのグラフィックスマルチプロセッサは、図示されるグラフィックス処理パイプライン５００を実装できる。グラフィックスマルチプロセッサは、本明細書で説明されるように、図２Ａの並列プロセッサ２００などの並列処理サブシステム内に含まれることができ、図１の並列プロセッサ１１２に関連してよく、これらのうちの１つの代わりに用いられてよい。様々な並列処理システムは、本明細書で説明されるような並列処理ユニット（例えば、図２Ａの並列処理ユニット２０２）の１つ又は複数のインスタンスを介してグラフィックス処理パイプライン５００を実装できる。例えば、シェーダユニット（例えば、図２Ｃのグラフィックスマルチプロセッサ２３４）は、頂点処理ユニット５０４、テセレーション制御処理ユニット５０８、テセレーション評価処理ユニット５１２、ジオメトリ処理ユニット５１６、及び、フラグメント／画素処理ユニット５２４のうちの１つ又は複数の機能を実行するように構成されてよい。データアセンブラ５０２、プリミティブアセンブラ５０６、５１４、５１８、テセレーションユニット５１０、ラスタライザ５２２及びラスタ演算ユニット５２６の機能は、処理クラスタ（例えば、図２Ａの処理クラスタ２１４）及び対応するパーティションユニット（例えば、図２Ａのパーティションユニット２２０Ａ－２２０Ｎ）内の他の処理エンジンにより実行されてもよい。グラフィックス処理パイプライン５００は、１つ又は複数の機能のための専用の処理ユニットを用いて実装されてもよい。グラフィックス処理パイプライン５００の１つ又は複数の部分が、汎用プロセッサ（例えば、ＣＰＵ）内の並列処理ロジックにより実行されることも可能である。オプションで、グラフィックス処理パイプライン５００の１つ又は複数の部分は、メモリインタフェース５２８を介して、オンチップメモリ（例えば、図２Ａの並列プロセッサメモリ２２２）にアクセスすることができ、図２Ａのメモリインタフェース２１８のインスタンスであってよい。グラフィックス処理パイプライン５００は、図３Ｃのマルチコアグループ３６５Ａを介して実装されてもよい。

【0152】

データアセンブラ５０２は、サーフェス及びプリミティブに対する頂点データを収集し得る処理ユニットである。次に、データアセンブラ５０２は、頂点属性を含む頂点データを頂点処理ユニット５０４に出力する。頂点処理ユニット５０４は、頂点シェーダプログラムを実行するプログラマブル実行ユニットであり、頂点シェーダプログラムにより指定されるとおりに、頂点データをライティング及び変換する。頂点処理ユニット５０４は、頂点データを処理する際に用いられるキャッシュ、ローカル又はシステムメモリに格納されているデータを読み出し、オブジェクトベースの座標表現からワールドスペース座標空間又は正規化されたデバイス座標空間に頂点データを変換するようにプログラミングされてよい。

【0153】

プリミティブアセンブラ５０６の第１のインスタンスは、頂点処理ユニット５０４から頂点属性を受信する。プリミティブアセンブラ５０６は、必要に応じて格納された頂点属性を読み出し、テセレーション制御処理ユニット５０８による処理のためにグラフィックスプリミティブを構築する。グラフィックスプリミティブは、様々なグラフィックス処理アプリケーションプログラミングインタフェース（ＡＰＩ）によりサポートされるような三角形、線分、点及びパッチなどを含む。

【0154】

テセレーション制御処理ユニット５０８は、入力された頂点をジオメトリックパッチのための制御点として扱う。制御点は、パッチからの入力された表現（例えば、パッチのベース）からテセレーション評価処理ユニット５１２によるサーフェス評価で用いるのに適した表現に変換される。テセレーション制御処理ユニット５０８は、ジオメトリックパッチのエッジに関するテセレーション係数を計算することもできる。テセレーション係数は、単一のエッジに適用され、当該エッジに関連付けられた詳細情報のビュー依存レベルを定量化する。テセレーションユニット５１０は、パッチのエッジのテセレーション係数を受信し、且つ、当該パッチを、線、三角形、四辺形のプリミティブなど、複数のジオメトリックプリミティブにテセレーションするように構成されており、これらのプリミティブはテセレーション評価処理ユニット５１２に伝送される。テセレーション評価処理ユニット５１２は、細分化されたパッチのパラメータ化された座標に対し処理を行い、当該ジオメトリックプリミティブに関連付けられたサーフェス表現及び各頂点の頂点属性を生成する。

【0155】

プリミティブアセンブラ５１４の第２のインスタンスは、テセレーション評価処理ユニット５１２から頂点属性を受信し、必要に応じて、格納されている頂点属性を読み出し、ジオメトリ処理ユニット５１６による処理のためのグラフィックスプリミティブを構築する。ジオメトリ処理ユニット５１６は、ジオメトリシェーダプログラムを実行して、ジオメトリシェーダプログラムにより指定されるとおりにプリミティブアセンブラ５１４から受信したグラフィックスプリミティブを変換するプログラマブル実行ユニットである。ジオメトリ処理ユニット５１６は、グラフィックスプリミティブを、１つ又は複数の新たなグラフィックスプリミティブに細分化し、且つ、当該新たなグラフィックスプリミティブをラスタライズするために用いられるパラメータを計算するようにプログラミングされてよい。

【0156】

ジオメトリ処理ユニット５１６は、ジオメトリストリーム内の要素を追加又は削除することが可能であり得る。ジオメトリ処理ユニット５１６は、新たなグラフィックスプリミティブを指定するパラメータ及び頂点をプリミティブアセンブラ５１８に出力する。プリミティブアセンブラ５１８は、ジオメトリ処理ユニット５１６からパラメータ及び頂点を受信し、ビューポートスケール、カル及びクリップユニット５２０による処理のためのグラフィックスプリミティブを構築する。ジオメトリ処理ユニット５１６は、ジオメトリデータを処理する際に用いられる並列プロセッサメモリ又はシステムメモリに格納されているデータを読み出す。ビューポートスケール、カル及びクリップユニット５２０は、クリッピング、カリング、及び、ビューポートスケーリングを実行し、処理されたグラフィックスプリミティブをラスタライザ５２２に出力する。

【0157】

ラスタライザ５２２は、デプスカリング及び他のデプスベースの最適化を実行できる。ラスタライザ５２２はまた、新たなグラフィックスプリミティブに対してスキャン変換を実行して、フラグメントを生成し、これらのフラグメント及び関連するカバレッジデータをフラグメント／画素処理ユニット５２４に出力する。フラグメント／画素処理ユニット５２４は、フラグメントシェーダプログラム又は画素シェーダプログラムを実行するように構成されるプログラマブル実行ユニットである。フラグメント／画素処理ユニット５２４は、フラグメント又は画素シェーダプログラムにより指定されるとおりにラスタライザ５２２から受信したフラグメント又は画素を変換する。例えば、フラグメント／画素処理ユニット５２４は、限定されるものではないが、テクスチャマッピング、シェーディング、ブレンディング、テクスチャ補正及び奥行き補正などを含む工程を実行して、シェーディングされたフラグメント又は画素を生成するようにプログラミングされてよく、当該フラグメント又は画素はラスタ演算ユニット５２６に出力される。フラグメント／画素処理ユニット５２４は、フラグメントデータを処理する場合に用いられる並列プロセッサメモリ又はシステムメモリのいずれかに格納されているデータを読み出すことができる。フラグメント又は画素シェーダプログラムは、処理ユニットのために構成されるサンプリングレートに応じて、サンプル、画素、タイル又は他の粒度でシェーディングするように構成されてよい。

【0158】

ラスタ演算ユニット５２６は、限定されるものではないが、ステンシル、ｚ検定、ブレンディングなどを含むラスタ演算を実行し、グラフィックスメモリ（例えば、図２Ａの並列プロセッサメモリ２２２及び／又は図１のシステムメモリ１０４）に格納される処理されたグラフィックスデータとして、１つ又は複数のディスプレイデバイス１１０上に表示されるグラフィックスデータとして、又は、１つ又は複数のプロセッサ１０２又は並列プロセッサ１１２のうちの１つによるさらなる処理のために、画素データを出力する処理ユニットである。ラスタ演算ユニット５２６は、メモリに書き込まれるｚ又はカラーデータを解凍し、メモリから読み出されるｚ又はカラーデータを解凍するように構成されてよい。
［機械学習の概要］

【0159】

上述したアーキテクチャは、機械学習モデルを用いて訓練及び推論演算を実行するために適用され得る。機械学習は、数多くの種類のタスクを解決することに成功してきた。機械学習アルゴリズム（例えば、ニューラルネットワーク）を訓練及び使用する際に生じる計算は、本質的に効率的な並列実装にふさわしい。したがって、例えば、汎用グラフィックス処理ユニット（ＧＰＧＰＵ）などの並列プロセッサは、ディープニューラルネットワークの実用的な実装において重要な機能を果たしてきた。単一命令、複数スレッド（ＳＩＭＴ）アーキテクチャを用いた並列グラフィックスプロセッサは、グラフィックスパイプラインにおける並列処理の量を最大化するように設計される。ＳＩＭＴアーキテクチャにおいては、処理効率性を向上させるべく、並列スレッドのグループが、可能な限り頻繁に、プログラム命令を同期して一緒に実行することを試みる。並列機械学習アルゴリズム実装によりもたらされる効率性は、高容量ネットワークの使用を可能にし、これらのネットワークがより大きなデータセットに対して訓練されることを可能にする。

【0160】

機械学習アルゴリズムは、データのセットに基づいて学習できるアルゴリズムである。例えば、機械学習アルゴリズムは、データセット内で高レベルの抽象化をモデリングするように設計されることができる。例えば、画像認識アルゴリズムは、所定の入力がいくつかのカテゴリのうちのいずれに属するかを判定するために用いられることができ、回帰アルゴリズムは、入力が与えられると数値を出力してよく、パターン認識アルゴリズムは、変換されたテキストを生成する、又は、テキスト対音声及び／又は音声認識を実行するために用いられることができる。

【0161】

例示的なタイプの機械学習アルゴリズムはニューラルネットワークである。数多くのタイプのニューラルネットワークがあり、単純なタイプのニューラルネットワークは、フィードフォワードネットワークである。フィードフォワードネットワークは、ノードが複数の層に配置される非巡回グラフとして実装されてよい。通常、フィードフォワードネットワークトポロジは、少なくとも１つの隠れ層により分離される入力層及び出力層を含む。隠れ層は、入力層が受信した入力を出力層において出力を生成するのに有用な表現に変換する。ネットワークノードは、エッジを介して隣接する層にあるノードにすべて接続されるが、各層内のノード間にはエッジは存在しない。フィードフォワードネットワークの入力層のノードで受信されるデータは、層を接続するエッジのそれぞれに関連付けられた係数（「重み」）に基づいて、ネットワーク内の各連続層のノードの状態を算出する活性化関数を介して、出力層のノードに伝搬「つまり、フィードフォワード」される。アルゴリズムが実行されることにより表現される特定のモデルに応じて、ニューラルネットワークアルゴリズムからの出力は、様々な形式を取ることができる。

【0162】

機械学習アルゴリズムが特定の問題をモデル化するために用いられ得る前に、当該アルゴリズムは、訓練データセットを用いて訓練される。ニューラルネットワークを訓練することは、ネットワークによりモデル化される問題を表す訓練データのセットを用いてネットワークトポロジを選択すること、及び、ネットワークモデルが当該訓練データのセットのあらゆるインスタンスに対して最小のエラーで実行するようになるまで重み、重みを調整することを含む。例えば、ニューラルネットワークのための教師あり学習訓練プロセスの間に、訓練データセット内のあるインスタンスを表す入力に応答して、ネットワークにより生成された出力は、そのインスタンスの「正解」のラベル付き出力と比較され、出力とそのラベル付き出力との間の差を表すエラー信号が計算され、当該エラー信号がネットワークの層を通って後方伝搬される際、そのエラーを最小化すべく、これらの関係に関連付けられた重みが調整される。訓練データセットのインスタンスから生成される出力のそれぞれに対するエラーが最小化された場合、ネットワークは、「訓練された」とみなされる。

【0163】

機械学習アルゴリズムの精度は、アルゴリズムを訓練するために用いられるデータセットの品質により大きく影響され得る。訓練プロセスは、計算量が多くなる可能性があり、従来の汎用プロセッサでは多大な時間が掛かる場合がある。したがって、並列処理ハードウェアは、多くのタイプの機械学習アルゴリズムを訓練するために用いられる。これは、ニューラルネットワークにおける係数を調整する際に実行される計算が、もともと並列実装に適しているので、ニューラルネットワークの訓練を最適化するのに特に有用である。具体的には、多くの機械学習アルゴリズム及びソフトウェアアプリケーションは、汎用グラフィックス処理デバイス内の並列処理ハードウェアの利用に適合されている。

【0164】

図６は、機械学習ソフトウェアスタック６００の一般化された図である。機械学習アプリケーション６０２は、訓練データセットを用いてニューラルネットワークを訓練する、又は、訓練されたディープニューラルネットワークを用いて、マシンインテリジェンスを実装するように構成されることができる。機械学習アプリケーション６０２は、ニューラルネットワークのための訓練及び推論機能、及び／又は、デプロイ前にニューラルネットワークを訓練するために用いられてよい専用ソフトウェアを含むことができる。機械学習アプリケーション６０２は、限定されることはないが、画像認識、マッピング及び位置特定、自律ナビゲーション、音声合成、医用イメージング、又は言語変換を含む任意のタイプのマシンインテリジェンスを実装できる。

【0165】

機械学習アプリケーション６０２のハードウェアアクセラレーションは、機械学習フレームワーク６０４を介して有効にされ得る。機械学習フレームワーク６０４は、機械学習プリミティブのライブラリを提供できる。機械学習プリミティブは、機械学習アルゴリズムにより一般的に実行される基本的なオペレーションである。機械学習フレームワーク６０４がない場合、機械学習アルゴリズムの開発者は、機械学習アルゴリズムに関連付けられた主な計算ロジックを作成及び最適化し、次に、新たな並列プロセッサが開発されるときに計算ロジックを再最適化するのに必要とされるであろう。代わりに、機械学習アプリケーションは、機械学習フレームワーク６０４により提供されるプリミティブを用いて、必要な計算を実行するように構成されることができる。例示的なプリミティブには、テンソル畳み込み、活性化関数及びプーリングが含まれ、これらは、畳み込みニューラルネットワーク（ＣＮＮ）を訓練する際に実行される計算演算である。機械学習フレームワーク６０４はまた、行列演算及びベクトル演算などの多くの機械学習アルゴリズムにより実行される基本的な線形代数サブプログラムを実装するためのプリミティブも提供できる。

【0166】

機械学習フレームワーク６０４は、機械学習アプリケーション６０２から受信した入力データを処理し、計算フレームワーク６０６への適切な入力を生成することができる。計算フレームワーク６０６は、ＧＰＧＰＵドライバ６０８に提供される基礎となる命令を要約して、機械学習フレームワーク６０４を有効にすることができ、機械学習フレームワーク６０４がＧＰＧＰＵハードウェア６１０のアーキテクチャの詳しい知識を持つことを要求することなく、ＧＰＧＰＵハードウェア６１０を介してハードウェアアクセラレーションを活用する。さらに、計算フレームワーク６０６は、ＧＰＧＰＵハードウェア６１０の様々なタイプ及び世代にわたる機械学習フレームワーク６０４のハードウェアアクセラレーションを可能にし得る。
［ＧＰＧＰＵ機械学習アクセラレーション］

【0167】

図７は、図２Ａの並列プロセッサ２００又は図１の並列プロセッサ１１２であってよい汎用グラフィックス処理ユニット７００を示す。汎用処理ユニット（ＧＰＧＰＵ）７００は、ディープニューラルネットワークの訓練に関連付けられるタイプの計算作業負荷を処理する際に特に効率的となるように構成されることができる。さらに、ＧＰＧＰＵ７００はＧＰＧＰＵの他のインスタンスに直接リンクされ、マルチＧＰＵクラスタを生成し、特にディープニューラルネットワークの訓練速度を改善することができる。

【0168】

ＧＰＧＰＵ７００は、ホストプロセッサとの接続を有効にするホストインタフェース７０２を含む。ホストインタフェース７０２は、ＰＣＩ Ｅｘｐｒｅｓｓインタフェースであってよい。しかしながら、ホストインタフェースは、ベンダ固有の通信インタフェース又は通信ファブリックとすることもできる。ＧＰＧＰＵ７００は、ホストプロセッサからコマンドを受信し、グローバルスケジューラ７０４を用いて、これらのコマンドと関連付けられる実行スレッドを処理クラスタ７０６Ａ－７０６Ｈのセットに分散する。処理クラスタ７０６Ａ－７０６Ｈは、キャッシュメモリ７０８を共有する。キャッシュメモリ７０８は、処理クラスタ７０６Ａ－７０６Ｈ内のキャッシュメモリに対するより高レベルのキャッシュとして機能できる。図示される処理クラスタ７０６Ａ－７０６Ｈは、図２Ａにおける処理クラスタ２１４Ａ－２１４Ｎと対応してよい。

【0169】

ＧＰＧＰＵ７００は、メモリコントローラ７１２Ａ－７１２Ｂのセットを介して処理クラスタ７０６Ａ－Ｈと連結されるメモリ７１４Ａ－７１４Ｂを含む。メモリユニット７１４Ａ－７１４Ｂは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含むメモリデバイス、又は、グラフィックスダブルデータレート（ＧＤＤＲ）メモリを含む同期グラフィックスランダムアクセスメモリ（ＳＧＲＡＭ）などのグラフィックスランダムアクセスメモリの様々なタイプのメモリデバイスを含むことができる。メモリ７１４Ａ－７１４Ｂは、限定されるものではないが、高帯域幅メモリ（ＨＢＭ）を含む３Ｄスタックメモリを含んでもよい。

【0170】

処理クラスタ７０６Ａ－７０６Ｈのそれぞれは、図２Ｄのグラフィックスマルチプロセッサ２３４、図３Ａのグラフィックスマルチプロセッサ３２５、図３Ｂのグラフィックスマルチプロセッサ３５０などのグラフィックスマルチプロセッサのセットを含んでよい、又は、図３Ｃのマルチコアグループ３６５Ａ－３６５Ｎを含んでよい。計算クラスタのグラフィックスマルチプロセッサは、機械学習計算に適したものを含む精度の範囲で計算処理を実行できる複数のタイプの整数及び浮動小数点論理ユニットを含む。例えば、処理クラスタ７０６Ａ－７０６Ｈのそれぞれにおける浮動小数点ユニットの少なくともサブセットは、１６ビット又は３２ビットの浮動小数点演算を実行するように構成されることができる一方、浮動小数点ユニットの異なるサブセットは、６４ビットの浮動小数点演算を実行するように構成されることができる。

【0171】

ＧＰＧＰＵ７００の複数のインスタンスは、計算クラスタとして動作するように構成されることができる。同期及びデータ交換のために計算クラスタにより用いられる通信メカニズムは、実施形態にわたって変化する。例えば、ＧＰＧＰＵ７００の複数のインスタンスは、ホストインタフェース７０２を通じて通信する。一実施形態において、ＧＰＧＰＵ７００は、ＧＰＧＰＵ７００を、ＧＰＧＰＵの他のインスタンスへの直接接続を可能にするＧＰＵリンク７１０と連結するＩ／Ｏハブ７０９を含む。ＧＰＵリンク７１０は、ＧＰＧＰＵ７００の複数のインスタンス間での通信及び同期を可能にする専用のＧＰＵ間ブリッジに連結されてよい。オプションで、ＧＰＵリンク７１０は、他のＧＰＧＰＵ又は並列プロセッサに対してデータを伝送及び受信すべく、高速インターコネクトと連結する。ＧＰＧＰＵ７００の複数のインスタンスは、別個のデータ処理システムに位置してよく、ホストインタフェース７０２を介してアクセス可能なネットワークデバイスを介して通信してよい。ＧＰＵリンク７１０は、ホストインタフェース７０２に加えて、又は、代わりとして、ホストプロセッサへの接続を有効にするように構成されてよい。

【0172】

ＧＰＧＰＵ７００の図示される構成は、ニューラルネットワークを訓練するように構成されることができ、ＧＰＧＰＵ７００の代替的な構成は、高性能又は低電力推論プラットフォーム内のデプロイのために構成されることができる。推論構成において、ＧＰＧＰＵ７００は、訓練構成と比較してより少ない処理クラスタ７０６Ａ－７０６Ｈを含む。さらに、メモリ７１４Ａ－７１４Ｂと関連付けられるメモリ技術は、推論及び訓練構成間で異なってよい。一実施形態において、ＧＰＧＰＵ７００の推論構成は、推論固有の命令をサポートできる。例えば、推論構成は、１つ又は複数の８ビット整数ドット積命令のサポートを提供することができ、当該命令は、デプロイされたニューラルネットワークのための推論演算中に共通で用いられる。

【0173】

図８は、マルチＧＰＵコンピューティングシステム８００を示す。マルチＧＰＵコンピューティングシステム８００は、ホストインタフェーススイッチ８０４を介して複数のＧＰＧＰＵ８０６Ａ－８０６Ｄに連結されるプロセッサ８０２を含むことができる。ホストインタフェーススイッチ８０４は、プロセッサ８０２がＧＰＧＰＵ８０６Ａ－８０６Ｄのセットと通信できるＰＣＩ ｅｘｐｒｅｓｓバスにプロセッサ８０２を連結するＰＣＩ Ｅｘｐｒｅｓｓスイッチデバイスであってよい。複数のＧＰＧＰＵ８０６Ａ－８０６Ｄのそれぞれは、図７のＧＰＧＰＵ７００のインスタンスとすることができる。ＧＰＧＰＵ８０６Ａ－８０６Ｄは、高速ポイントツーポイントＧＰＵ間リンク８１６のセットを介してインターコネクトできる。高速ＧＰＵ間リンクは、図７のＧＰＵリンク７１０など、専用のＧＰＵリンクを介してＧＰＧＰＵ８０６Ａ－８０６Ｄのそれぞれに接続することができる。Ｐ２Ｐ ＧＰＵリンク８１６は、プロセッサ８０２が接続されるホストインタフェースバスを通じた通信を要求することなく、ＧＰＧＰＵ８０６Ａ－８０６Ｄのそれぞれの間での直接通信を可能にする。Ｐ２Ｐ ＧＰＵリンクに向けられたＧＰＵ間トラフィックに関して、ホストインタフェースバスは、システムメモリアクセスのために、又は、マルチＧＰＵコンピューティングシステム８００の他のインスタンスと、例えば、１つ又は複数のネットワークデバイスを介して通信すべく、利用可能なままである。図８において、ＧＰＧＰＵ８０６Ａ－８０６Ｄは、ホストインタフェーススイッチ８０４を介してプロセッサ８０２に接続されている一方、プロセッサ８０２は、代替的に、Ｐ２Ｐ ＧＰＵリンク８１６に対する直接サポート、及び、ＧＰＧＰＵ８０６Ａ－８０６Ｄに直接接続を含んでよい。
［機械学習ニューラルネットワークの実装］

【0174】

本明細書で説明されるコンピューティングアーキテクチャは、機械学習のためにニューラルネットワークを訓練及びデプロイするのに特に適しているタイプの並列処理を実行するように構成されることができる。ニューラルネットワークは、グラフ関係を有する機能のネットワークとして一般化され得る。周知のように、機械学習に用いられるニューラルネットワークの実装には様々なタイプがある。すでに説明したように、１つの例示的なタイプのニューラルネットワークはフィードフォワードネットワークである。

【0175】

第２の例示的なタイプのニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）である。ＣＮＮは、画像データなど既知のグリッド状トポロジを有するデータを処理するための専用のフィードフォワードニューラルネットワークである。したがって、ＣＮＮは、コンピュータビジョンアプリケーション及び画像認識アプリケーションで一般的に用いられるが、それらはまた、音声処理及び言語処理など、他のタイプのパターン認識に用いられてもよい。ＣＮＮ入力層におけるノードは、「フィルタ」（網膜に見つけられる受容野から発想を得た特徴検出）のセットにまとめられ、フィルタの各セットの出力は、ネットワークの連続層においてノードに伝搬される。ＣＮＮの計算は、各フィルタに畳み込み数学演算を適用し、そのフィルタの出力を生成することを含む。畳み込みとは、２つのもとの機能のうちの一方の修正版である第３の機能を生成すべく、当該２つの機能により実行される特別な種類の数学演算である。畳み込みネットワークの用語において、畳み込みに対する第１の機能は入力と称されることがある一方、第２の機能は、畳み込みカーネルと称されることがある。出力は、特徴マップと称されてよい。例えば、畳み込み層への入力は、入力画像の様々なカラー成分を規定するデータの多次元アレイとすることができる。畳み込みカーネルは、パラメータの多次元アレイとすることができ、パラメータは、ニューラルネットワークに対する訓練プロセスにより適合される。

【0176】

再帰型ニューラルネットワーク（ＲＮＮ）は、層間のフィードバック接続を含むフィードフォワードニューラルネットワークのファミリである。ＲＮＮは、ニューラルネットワークの異なる部分にわたるパラメータデータを共有することにより、シーケンシャルデータのモデル化を可能にする。ＲＮＮに関するアーキテクチャはサイクルを含む。ＲＮＮからの出力データの少なくとも一部はシーケンス中の後続の入力を処理するためのフィードバックとして用いられるので、サイクルは変数の現在の値が、将来の時点におけるそれ自体の値への影響を表す。この機能は、言語データが構成され得る可変性に起因して、特にＲＮＮを言語処理に役立てる。

【0177】

以下に示す図は、例示的なフィードフォワード、ＣＮＮ及びＲＮＮネットワークを示しており、これらのタイプの各ネットワークをそれぞれ訓練及びデプロイするための一般的なプロセスについて説明する。これらの説明が例示的なものであり、本明細書において説明される任意の特定の実施形態に限定されることはなく、図示されるコンセプトは、一般的なディープニューラルネットワーク及び機械学習技術に一般的に適用され得ることが理解されるだろう。

【0178】

上述した例示的なニューラルネットワークは、深層学習を実行するために用いられることができる。深層学習は、ディープニューラルネットワークを用いる機械学習である。深層学習において用いられるディープニューラルネットワークは、単一の隠れ層のみを含む浅いニューラルネットワークに対し、複数の隠れ層で構成される人工ニューラルネットワークである。ディープニューラルネットワークは、一般に、訓練するのに計算量がより多い。しかしながら、ネットワークの追加の隠れ層は、浅い機械学習技術と比較して、出力エラーを結果的に減らすマルチステップパターン認識を可能にする。

【0179】

深層学習で用いられるディープニューラルネットワークは通常、バックエンドネットワークに連結された特徴認識を実行するためのフロントエンドネットワークを含み、バックエンドネットワークは、モデルに提供された特徴表現に基づく処理（例えば、オブジェクト分類、音声認識など）を実行し得る数学モデルを表す。深層学習は、モデルに実行されるハンドクラフト型特徴エンジニアリングを必要とせずに、機械学習が実行されることを可能にする。代わりに、ディープニューラルネットワークは、統計構造又は入力データ内の相関関係に基づき、特徴を学習できる。学習された特徴が数学モデルに提供されてよく、数学モデルが検出された特徴を出力にマッピングできる。ネットワークにより用いられる数学モデルは概して、実行されるべき特定のタスクに専用のものであり、異なるタスクを実行するために異なるモデルが用いられる。

【0180】

ニューラルネットワークが構築されると、学習モデルがネットワークに適用され、ネットワークが特定のタスクを実行するよう訓練できる。学習モデルは、ネットワークの出力エラーを減らすべく、モデル内の重みをどのように調整するかを説明する。誤差逆伝搬法は、ニューラルネットワークを訓練するために用いられる一般的な方法である。入力ベクトルは、処理用のネットワークに提示される。ネットワークの出力は、損失関数を用いて所望の出力と比較され、出力層におけるニューロンのそれぞれに対しエラー値が計算される。次に、エラー値は、各ニューロンが、元の出力に対する寄与を大まかに表す関連するエラー値を有するようになるまで、後方伝搬される。その後、ネットワークは、確率的勾配降下法アルゴリズムなどのアルゴリズムを用いて、これらのエラーから学習して、ニューラルネットワークの重みを更新できる。

【0181】

図９Ａ～図９Ｂは、例示的な畳み込みニューラルネットワークを示す。図９Ａは、ＣＮＮ内の様々な層を示す。図９Ａに示されるように、画像処理をモデル化するために用いられる例示的なＣＮＮは、入力画像の赤、緑及び青（ＲＧＢ）成分を記述する入力９０２を受信できる。入力９０２は、複数の畳み込み層（例えば、畳み込み層９０４、畳み込み層９０６）により処理されることができる。複数の畳み込み層からの出力は、完全に接続された層９０８のセットによりオプションで処理され得る。完全に接続された層におけるニューロンは、フィードフォワードネットワークで前述したように、前の層におけるすべての活性化に対し完全な接続を有している。完全に接続された層９０８からの出力は、ネットワークからの出力結果を生成するために用いられることができる。完全に接続された層９０８内の活性化は、畳み込みの代わりに行列乗算を用いて計算され得る。すべてのＣＮＮ実装が、完全に接続された層９０８を利用するわけではない。例えば、いくつかの実装において、畳み込み層９０６は、ＣＮＮに対する出力を生成できる。

【0182】

畳み込み層は疎に接続され、完全に接続された層９０８において見受けられる従来型のニューラルネットワーク構成とは異なる。あらゆる出力ユニットがあらゆる入力ユニットと相互作用するように、従来型のニューラルネットワーク層はすべて接続される。しかしながら、図示されるように、フィールドの畳み込みの出力が後続の層のノードへ入力（当該フィールドにおける各ノードのそれぞれの状態値の代わりに）されるので、畳み込み層は疎に接続されている。畳み込み層に関連付けられたカーネルが畳み込み演算を実行し、その出力が次の層へと送信される。畳み込み層内で実行される次元削減は、ＣＮＮが大きな画像を処理するためにスケーリングすることを可能にする１つの態様である。

【0183】

図９Ｂは、ＣＮＮの畳み込み層内の例示的な計算ステージを示す。ＣＮＮの畳み込み層９１２の入力は、畳み込み層９１４の３つのステージにおいて処理されることができる。３つのステージは、畳み込みステージ９１６、検出ステージ９１８及びプーリングステージ９２０を含むことができる。次に、畳み込み層９１４は、連続的な畳み込み層にデータを出力できる。ネットワークの最終的な畳み込み層は、出力特徴マップデータを生成するか、又は、完全に接続された層に入力を提供するかして、例えば、ＣＮＮへの入力に対する分類値を生成することができる。

【0184】

畳み込みステージ９１６は、いくつかの畳み込みを並行して実行し、線形活性化を生成する。畳み込みステージ９１６は、アフィン変換を含むことができ、アフィン変換は、線形変換に平行移動を加えたものとして指定され得る任意の変換であり得る。アフィン変換は、回転、平行移動、スケーリング及びこれらの変換の組み合わせを含む。畳み込みステージは、入力における特定の領域に接続された機能（例えば、ニューロン）の出力を計算し、入力はニューロンに関連付けられた局所領域として判定され得る。ニューロンは、ニューロンの重みと、ニューロンが接続された局所入力における領域との間のドット積を計算する。畳み込みステージ９１６からの出力は、畳み込み層９１４の連続ステージによって処理される線形活性化のセットを定義する。

【0185】

線形活性化は、検出ステージ９１８により処理されることができる。検出ステージ９１８において、各線形活性化は、非線形活性化関数により処理される。非線形活性化関数は、畳み込み層の受容野に影響を及ぼすことなく、ネットワーク全体の非線形特性を高める。非線形活性化関数のいくつかのタイプが用いられてよい。１つの特定のタイプは、正規化線形ユニット（ＲｅＬＵ）であり、ＲｅＬＵは、活性化がゼロに閾値設定されるように、ｆ（ｘ）＝ｍａｘ（０，ｘ）として規定される活性化関数を用いる。

【0186】

プーリングステージ９２０は、畳み込み層９０６の出力を、近くの出力の要約統計と置き換えるプーリング関数を用いる。プーリング関数は、移動不変性（ｔｒａｎｓｌａｔｉｏｎ ｉｎｖａｒｉａｎｃｅ）をニューラルネットワークに導入するために用いられることができ、その結果、入力へのわずかな移動はプールされる出力を変更しない。入力データ内の特徴の存在が特徴の正確な位置よりも重要なシナリオにおいては、局所的な移動に対する不変性は有用であり得る。様々なタイプのプーリング関数が、最大プーリング、平均プーリング及びｌ２－ノルムプーリングを含むプーリングステージ９２０中に用いられることができる。さらに、いくつかのＣＮＮ実装は、プーリングステージを含まない。代わりに、かかる実装は、前の畳み込みステージと比較して、増加したストライドを有する代わりの及び追加の畳み込みステージである。

【0187】

次に、畳み込み層９１４からの出力は、次の層９２２により処理されることができる。次の層９２２は、追加の畳み込み層、又は、完全に接続された層９０８のうちの１つとすることができる。例えば、図９Ａの第１畳み込み層９０４は、第２畳み込み層９０６に出力できる一方、第２畳み込み層は、完全に接続された層９０８のうちの第１の層に出力できる。

【0188】

図１０は、例示的な再帰型ニューラルネットワーク１０００を示す。再帰型ニューラルネットワーク（ＲＮＮ）においてネットワークの前の状態は、ネットワークの現在の状態の出力に影響を及ぼす。ＲＮＮは、様々な機能を用いて様々なやり方で構築され得る。ＲＮＮの使用は、一般に、数学モデルを用いて前の一連の入力に基づいて将来を予測することを中心に展開する。例えば、ＲＮＮは、統計的な言語モデリングを実行して、前の一連のワードが与えられると、次のワードを予測するために用いられ得る。図示されるＲＮＮ１０００は、入力ベクトルを受信する入力層１００２、再帰機能を実装する隠れ層１００４、前の状態の「メモリ」を可能にするフィードバックメカニズム１００５及び結果を出力する出力層１００６を有するものとして説明され得る。ＲＮＮ１０００は、タイムステップに基づいて動作する。所定のタイムステップにおけるＲＮＮの状態は、フィードバックメカニズム１００５による前のタイムステップに基づき影響を受ける。所定のタイムステップについて、隠れ層１００４の状態は、前の状態及び現在のタイムステップにおける入力により定義される。第１のタイムステップにおける初期入力（ｘ_１）が、隠れ層１００４により処理され得る。第２の入力（ｘ_２）は、初期入力（ｘ_１）の処理中に判定される状態情報を用いて隠れ層１００４により処理されることができる。所定の状態は、ｓ_ｔ＝ｆ（Ｕｘ_ｔ＋Ｗｓ_ｔ－１）で算出されることができ、ここでＵ及びＷはパラメータ行列である。一般に、関数ｆは、双曲線正接関数（Ｔａｎｈ）又は正規化関数ｆ（ｘ）＝ｍａｘ（０，ｘ）の変形例など、非線形性である。 しかしながら、隠れ層１００４で用いられる特定の数学関数は、ＲＮＮ１０００の特定の実装の詳細に応じて変えることができる。

【0189】

説明される基本的なＣＮＮ及びＲＮＮネットワークに加えて、これらのネットワークに対するバリエーションが可能であってよい。１つの例示的なＲＮＮの変形例は、長短期記憶（ＬＳＴＭ）ＲＮＮである。ＬＳＴＭ ＲＮＮは、言語のより長いシーケンスを処理するために必要であり得る長期依存関係を学習可能である。ＣＮＮの変形例は畳み込みディープビリーフネットワークであり、当該ネットワークは、ＣＮＮと類似する構造を有し、ディープビリーフネットワークと同様の方式で訓練される。ディープビリーフネットワーク（ＤＢＮ）は、確率（ランダム）変数の複数の層で構成される生成系ニューラルネットワーク（ｇｅｎｅｒａｔｉｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）である。ＤＢＮは、層ごとにグリーディ教師なし学習（ｇｒｅｅｄｙ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を用いて訓練されることができる。次に、ＤＢＮの学習される重みは、ニューラルネットワークに対する重みの最適な初期セットを判定することにより、事前訓練ニューラルネットワークを提供するために用いられ得る。

【0190】

図１１は、ディープニューラルネットワークの訓練及びデプロイを示す。所定のネットワークがタスク用に構築されると、ニューラルネットワークは、訓練データセット１１０２を用いて訓練される。様々な訓練フレームワーク１１０４は、訓練プロセスのハードウェアアクセラレーションを可能にすべく開発されてきた。例えば、図６の機械学習フレームワーク６０４は、訓練フレームワーク６０４として構成され得る。訓練フレームワーク６０４は、訓練されていないニューラルネットワーク１１０６に接続され、訓練されていないニューラルネットが本明細書で説明される並列処理リソースを用いて訓練できるようにして、訓練されたニューラルネット１１０８を生成できる。

【0191】

訓練プロセスを開始すべく、初期の重みがランダムに、又は、ディープビリーフネットワークを用いた事前訓練により選択されてよい。次に、教師あり又は教師なし方式のいずれかで訓練サイクルが実行される。

【0192】

教師あり学習は、例えば、訓練データセット１１０２が、入力に対する所望の出力と組み合わされる入力を含む場合、又は、訓練データセットが、既知の出力を有する入力を含み、かつ、ニューラルネットワークの出力が手動で格付けされる場合などの仲介オペレーションとして訓練が実行される学習方法である。ネットワークは、入力を処理し、予期又は所望の出力のセットに対して結果の出力を比較する。次に、エラーがシステムに伝搬される。訓練フレームワーク１１０４は、訓練されていないニューラルネットワーク１１０６を制御する重みを調整するように調整できる。訓練フレームワーク１１０４は、訓練されていないニューラルネットワーク１１０６が、既知の入力データに基づいて正しい回答を生成するのに適したモデルにどのくらい収束しつつあるかをモニタリングするツールを提供できる。ネットワークの重みが、ニューラルネットワークにより生成される出力を絞り込むべく調整されるにつれ、訓練プロセスは繰り返し行われる。訓練プロセスは、訓練されたニューラルネット１１０８に関連付けられた統計的に所望の精度にニューラルネットワークが到達するまで継続され得る。次に、訓練されたニューラルネットワーク１１０８は、新たなデータ１１１２の入力に基づいて、推論結果１１１４を生成するための任意の数の機械学習演算を実装するようデプロイされることができる。

【0193】

教師なし学習は、ネットワークがラベル付けされていないデータを用いて自身を訓練することを試みる学習方法である。したがって、教師なし学習については、訓練データセット１１０２は、関連付けられた出力データを何も持たない入力データを含む。訓練されていないニューラルネットワーク１１０６は、ラベル付けされていない入力内のグループを学習することができ、個々の入力がデータセット全体にどのように関係するかを判定できる。教師なし訓練を用いて、自己組織化マップを生成してよく、当該マップは、データの次元を削減するのに有用な演算を実行することが可能な訓練されたニューラルネットワーク１１０８の一種である。教師なし訓練はまた、アノマリ検出を実行するために用いられることもでき、データの通常のパターンから逸脱する入力データセット内のデータポイントの識別を可能にする。

【0194】

教師あり学習及び教師なし訓練のバリエーションも用いられてよい。半教師あり学習は、訓練データセット１１０２が、同一分散のうち、ラベル付けされたデータとラベル付けされていないデータの混合を含む技術である。インクリメンタル学習は、入力データがモデルをさらに訓練するために継続的に用いられる教師あり学習の変形例である。インクリメンタル学習は、訓練されたニューラルネットワーク１１０８が、初期訓練中にネットワーク内にインストールされた知識を忘れることなく、新たなデータ１１１２に適合することを可能にする。

【0195】

教師あり又は教師なしに関わらず、特にディープニューラルネットワークの訓練プロセスは、単一の計算ノードに計算が集中し過ぎる可能性がある。単一の計算ノードを用いる代わりに、計算ノードの分散型ネットワークが、訓練プロセスをアクセラレートするために用いられ得る。

【0196】

図１２は、分散型学習を示すブロック図である。分散型学習は、複数の分散型コンピューティングノードを使用して、ニューラルネットワークの教師あり又は教師なし訓練を実行する訓練モデルである。分散型計算ノードはそれぞれ、１つ又は複数のホストプロセッサ、及び、図７の高速並列汎用グラフィックス処理ユニット７００のような、汎用処理ノードのうちの１つ又は複数を含むことができる。図示されるように、分散型学習は、モデル並列処理１２０２、データ並列処理１２０４、又は、モデル及びデータ並列処理１２０４の組み合わせが実行されることができる。

【0197】

モデル並列処理１２０２において、分散型システムの異なる計算ノードは、単一ネットワークの異なる部分に対する訓練計算を実行できる。例えば、ニューラルネットワークの各層は、分散型システムの異なる処理ノードにより訓練されることができる。モデル並列処理の利点は、とりわけ大きなモデルにスケーリングする能力を含む。ニューラルネットワークの異なる層に関連付けられた計算を分割させることで、すべての層の重みが単一の計算ノードのメモリに収まらないであろう非常に大規模なニューラルネットワークの訓練を可能にする。いくつかの例において、モデル並列処理は、大規模なニューラルネットワークの教師なし訓練を実行するのに特に有用となり得る。

【0198】

データ並列処理１２０４において、分散型ネットワークの異なるノードは、モデルの完全なインスタンスを有し、各ノードは、データの異なる部分を受信する。次に、異なるノードからの結果が組み合わせられる。データ並列処理に対する異なる手法が可能である一方、データの並列訓練手法はすべて、結果を組み合わせて、各ノード間のモデルパラメータを同期させる技術を必要とする。データを組み合わせる例示的な手法は、パラメータの平均化及び更新ベースのデータ並列処理を含む。パラメータの平均化は、訓練データのサブセットに対して各ノードを訓練し、グローバルパラメータ（例えば、重み、バイアス）を各ノードからのパラメータの平均に設定する。パラメータの平均化は、パラメータデータを維持する中央パラメータサーバを用いる。更新ベースのデータ並列処理は、ノードからのパラメータをパラメータサーバに転送する代わりに、モデルへの更新が転送される点を除き、パラメータの平均化と同様である。さらに、更新ベースのデータ並列処理は、分散的な方式で実行されることができ、更新は、圧縮され、ノード間で転送される。

【0199】

組み合わせられたモデル及びデータ並列処理１２０６は、例えば、各計算ノードが複数のＧＰＵを含む分散型システムにおいて実装されることができる。各ノードは、モデルの異なる部分を訓練するために用いられる各ノード内の別個のＧＰＵを持つモデルの完全なインスタンスを有することができる。

【0200】

分散型訓練は、単一のマシン上で訓練することと比較してオーバヘッドを増加させる。しかしながら、本明細書において説明される並列プロセッサ及びＧＰＧＰＵはそれぞれ、分散型訓練のオーバヘッドを低減させる様々な技術を実装でき、高帯域幅のＧＰＵ間データ転送及びアクセラレート型リモートデータ同期を可能にする技術を含む。
［例示的な機械学習アプリケーション］

【0201】

機械学習は、限定されることはないが、コンピュータビジョン、自動運転及びナビゲーション、音声認識、及び、言語処理を含む様々な技術的な問題を解決すべく適用されることができる。コンピュータビジョンは、これまで、機械学習アプリケーションの最もアクティブなリサーチ領域のうちの１つであった。コンピュータビジョンのアプリケーションは、顔を認識することなどの人の視覚能力を再生することから、視覚能力の新たなカテゴリを作成することに及ぶ。例えば、コンピュータビジョンアプリケーションは、ビデオ内の可視オブジェクトに誘導される振動から音波を認識するように構成されることができる。並列プロセッサによりアクセラレートされる機械学習は、コンピュータビジョンアプリケーションが、以前の実行可能なものよりはるかに大規模な訓練データセットを用いて訓練されることを可能にし、且つ、推論システムが、低電力並列プロセッサを用いてデプロイされることを可能にする。

【0202】

並列プロセッサアクセラレート型機械学習は、レーン及び道路標識認識、障害物回避、ナビゲーション並びに運転制御を含む自動運転アプリケーションを有する。アクセラレート型機械学習技術は、特定の訓練入力に対する適切な応答を規定するデータセットに基づいて運転モデルを訓練するために用いられ得る。本明細書で説明される並列プロセッサは、自動運転ソリューションに用いられるますます複雑化するニューラルネットワークの迅速な訓練を可能にしてよく、自律走行車に統合するのに適したモバイルプラットフォーム内への低電力推論プロセッサのデプロイを可能にする。

【0203】

並列プロセッサアクセラレート型ディープニューラルネットワークは、自動音声認識（ＡＳＲ）への機械学習手法を可能にしてきた。ＡＳＲは、入力アコースティックシーケンスが与えられた際、最も確からしい言語シーケンスを計算する機能の作成を含む。ディープニューラルネットワークを用いるアクセラレート型機械学習は、ＡＳＲ用に以前に用いられていた隠れマルコフモデル（ＨＭＭ）及びガウス混合モデル（ＧＭＭ）の置き換えを可能してきた

【0204】

並列プロセッサアクセラレート型機械学習はまた、自然言語処理をアクセラレートするために用いられることができる。自動学習プロシージャは、統計推論アルゴリズムを利用して、エラーの多い、又は、見慣れていない入力に対し堅牢なモデルを生成できる。例示的な自然言語プロセッサアプリケーションは、人間の言語間の自動機械翻訳を含む 。

【0205】

機械学習に用いられる並列処理プラットフォームは、訓練プラットフォーム及びデプロイプラットフォームに分割されることができる。一般に、訓練プラットフォームは非常に並列的であり、マルチＧＰＵ‐単一ノードの訓練及びマルチノード‐マルチＧＰＵの訓練をアクセラレートするための最適化を含む。訓練に適している例示的な並列プロセッサは、図７の汎用グラフィックス処理ユニット７００、及び、図８のマルチＧＰＵコンピューティングシステム８００を含む。むしろ、デプロイされる機械学習プラットフォームは、一般に、カメラ、自律ロボット及び自律走行車などの製品に用いるのに適している低電力並列プロセッサを含む。

【0206】

図１３は、訓練されたモデルを用いて推論を実行するのに適している例示的な推論システムオンチップ（ＳＯＣ）１３００を示す。ＳＯＣ１３００は、メディアプロセッサ１３０２、ビジョンプロセッサ１３０４、ＧＰＧＰＵ１３０６及びマルチコアプロセッサ１３０８を含む処理コンポーネントを統合できる。ＧＰＧＰＵ１３０６は、ＧＰＧＰＵ７００など、本明細書で説明されるようなＧＰＧＰＵであってよく、マルチコアプロセッサ１３０８は、マルチコアプロセッサ４０５－４０６など、本明細書で説明されるマルチコアプロセッサであってよい。ＳＯＣ１３００は、処理コンポーネントのそれぞれによりアクセス可能な共有のオンチップデータプールを可能にし得るオンチップメモリ１３０５をさらに含むことができる。処理コンポーネントは、自律走行車及び自律ロボットを含む様々な機械学習プラットフォームへのデプロイを有効にすべく、低電力動作用に最適化されることができる。例えば、ＳＯＣ１３００の一つの実装は、自律走行車用の主制御システムの一部として用いられることができる。ＳＯＣ１３００が自律走行車での使用のために構成される場合、当該ＳＯＣは、デプロイメント管轄の関連する機能的安全性標準に準拠するよう設計され、構成される。

【0207】

動作中、メディアプロセッサ１３０２及びビジョンプロセッサ１３０４は、協調しながら作業して、コンピュータビジョン演算をアクセラレートすることができる。メディアプロセッサ１３０２は、複数の高解像度（例えば、４Ｋ、８Ｋ）ビデオストリームの低レイテンシのデコードを可能にし得る。デコードされたビデオストリームは、オンチップメモリ１３０５のバッファに書き込まれることができる。次に、ビジョンプロセッサ１３０４は、訓練された画像認識モデルを用いたフレームの処理に備えて、デコードされたビデオを解析し、デコードされたビデオのフレームに対して予備処理演算を実行することができる。例えば、ビジョンプロセッサ１３０４は、高解像度ビデオデータに対して画像認識を実行するために用いられるＣＮＮ用の畳み込み演算をアクセラレートすることができる一方、バックエンドモデル計算がＧＰＧＰＵ１３０６により実行される。

【0208】

マルチコアプロセッサ１３０８は、データ転送のシーケンシング及び同期、及び、メディアプロセッサ１３０２及びビジョンプロセッサ１３０４により実行される共有メモリ演算を支援する制御ロジックを含むことができる。マルチコアプロセッサ１３０８はまた、ＧＰＧＰＵ１３０６の推論計算能力を利用できるソフトウェアアプリケーションを実行するアプリケーションプロセッサとして機能することができる。例えば、ナビゲーション及び運転ロジックの少なくとも一部は、マルチコアプロセッサ１３０８上で実行するソフトウェアにおいて実装されることができる。そのようなソフトウェアは、計算作業負荷をＧＰＧＰＵ１３０６に直接発行できる、又は、計算作業負荷は、これらの動作の少なくとも一部をＧＰＧＰＵ１３０６にオフロードできるマルチコアプロセッサ１３０８に発行され得る。

【0209】

ＧＰＧＰＵ１３０６は、汎用グラフィックス処理ユニット７００内にある処理クラスタ７０６Ａ－７０６Ｈの低電力構成などの計算クラスタを含むことができる。ＧＰＧＰＵ１３０６内の計算クラスタは、訓練されたニューラルネットワーク上で推論計算を実行するために特に最適化される命令をサポートできる。例えば、ＧＰＧＰＵ１３０６は、８ビット整数ベクトル演算及び４ビット整数ベクトル演算などの低精度計算を実行するための命令をサポートできる。
［追加システムの概要］

【0210】

図１４は、処理システム１４００のブロック図である。本明細書における任意の他の図面の要素と同一又は類似の名称を有する図１４の要素は、他の図面にある同一の要素について説明しており、本明細書における他の箇所での説明と同様に、それと同様に動作又は機能でき、同一のコンポーネントを備えることができ、他の要素にリンクされることができるが、そのように限定されることはない。システム１４００は、シングルプロセッサデスクトップシステム、マルチプロセッサワークステーションシステム、又は、多数のプロセッサ１４０２又はプロセッサコア１４０７を有するサーバシステムで用いられ得る。システム１４００は、ローカル又はワイドエリアネットワークへの有線又は無線接続を有するモノのインターネット（ＩｏＴ）デバイス内など、モバイル、ハンドヘルド、又は埋め込みデバイスでの使用のためにシステムオンチップ（ＳｏＣ）集積回路内に組み込まれる処理プラットフォームであってよい。

【0211】

システム１４００は、図１のものと対応するコンポーネントを有する処理システムであってよい。例えば、異なる構成では、プロセッサ１４０２又はプロセッサコア１４０７は、図１のプロセッサ１０２と対応してよい。グラフィックスプロセッサ１４０８は、図１の並列プロセッサ１１２と対応してよい。外部グラフィックスプロセッサ１４１８は、図１のアドインデバイス１２０のうちの１つであってよい。

【0212】

システム１４００は、サーバベースのゲーミングプラットフォーム、ゲーム及びメディアコンソールを含むゲームコンソール、モバイルゲーミングコンソール、ハンドヘルドゲームコンソール、又は、オンラインゲームコンソールを含む、これらと連結する、又は、これら内に集積されることができる。システム１４００は、携帯電話、スマートフォン、タブレットコンピューティングデバイス、又は、内部ストレージ容量の低いラップトップなどのモバイルインターネット接続デバイスの一部であってよい。処理システム１４００はまた、例えば、スマートウォッチウェアラブルデバイスなどのウェアラブルデバイス；視覚、音声、又は触覚出力を提供して、実際の世界の視覚、音声、又は触覚体験を補足するか、又は別の場合、テキスト、オーディオ、グラフィックス、ビデオ、ホログラフィック画像又はビデオ、又は、触覚フィードバックを提供する拡張現実（ＡＲ）又は仮想現実（ＶＲ）機能で強化されたスマートアイウェア又は衣類；他の拡張現実（ＡＲ）デバイス；又は、他の仮想現実（ＶＲ）デバイスを含む、これらを連結する、又は、これらに統合されることができる。処理システム１４００は、テレビ又はセットトップボックスデバイスを含んでよい、又は、それらの一部であってよい。システム１４００は、バス、トラクタトレーラ、車、モータサイクル又は電力サイクル、飛行機又はグライダ（又はこれらの任意の組み合わせ）等の自動運転車を含むことができる、当該自動運転車に連結されることができる、又は当該自動運転車に統合されることができる。自動運転車は、システム１４００を用いて、車両の周囲で感知される環境を処理してよい。

【0213】

１つ又は複数のプロセッサ１４０２は、実行された場合、システム又はユーザソフトウェアのためのオペレーションを実行する命令を処理する１つ又は複数のプロセッサコア１４０７を含んでよい。１つ又は複数のプロセッサコア１４０７のうちの少なくとも１つは、特定の命令セット１４０９を処理するように構成されてよい。命令セット１４０９は、複合命令セットコンピューティング（ＣＩＳＣ）、縮小命令セットコンピューティング（ＲＩＳＣ）、又は、超長命令語（ＶＬＩＷ）を介したコンピューティングを促進してよい。１つ又は複数のプロセッサコア１４０７は、異なる命令セット１４０９を処理してよく、当該命令セットは、他の命令セットのエミュレーションを促進するための命令を含んでよい。プロセッサコア１４０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含んでよい。

【0214】

プロセッサ１４０２は、キャッシュメモリ１４０４を含んでよい。アーキテクチャに応じて、プロセッサ１４０２は、単一の内部キャッシュ、又は、複数レベルの内部キャッシュを有することができる。いくつかの実施形態において、キャッシュメモリは、プロセッサ１４０２の様々なコンポーネントの間で共有される。いくつかの実施形態において、プロセッサ１４０２はまた、外部キャッシュ（例えば、レベル－３（Ｌ３）キャッシュ、又は、ラストレベルキャッシュ（ＬＬＣ））（図示されていない）を用いており、当該外部キャッシュは、既知のキャッシュコヒーレンシ技術を用いてプロセッサコア１４０７間で共有され得る。レジスタファイル１４０６は、さらに、プロセッサ１４０２内に含まれることができ、異なるタイプのデータを格納するための異なるタイプのレジスタ（例えば、整数レジスタ、浮動小数点レジスタ、ステータスレジスタ、及び、命令ポインタレジスタ）を含んでよい。いくつかのレジスタは、汎用レジスタであってよく、一方、他のレジスタは、プロセッサ１４０２の設計に固有のものであってよい。

【0215】

１つ又は複数のプロセッサ１４０２は、１つ又は複数のインタフェースバス１４１０と連結されて、プロセッサ１４０２とシステム１４００内の他のコンポーネントとの間で、アドレス、データ又は制御信号などの通信信号を伝送してよい。インタフェースバス１４１０は、これらの実施形態のうちの１つにおいて、あるバージョンのダイレクトメディアインタフェース（ＤＭＩ）バスなどのプロセッサバスとすることができる。しかしながら、プロセッサバスは、ＤＭＩバスに限定されるものではなく、１つ又は複数のペリフェラルコンポーネントインターコネクトバス（例えば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）、メモリバス、又は、他のタイプのインタフェースバスを含んでよい。例えば、プロセッサ１４０２は、ユニファイドメモリコントローラ１４１６及びプラットフォームコントローラハブ１４３０を含んでよい。メモリコントローラ１４１６は、システム１４００のメモリデバイスと他のコンポーネントとの間の通信を促進する一方、プラットフォームコントローラハブ（ＰＣＨ）１４３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。

【0216】

メモリデバイス１４２０は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、フラッシュメモリデバイス、相変化メモリデバイス、又は、プロセスメモリとして機能する好適な性能を有するいくつかの他のメモリデバイスとすることができる。メモリデバイス１４２０は、例えば、１つ又は複数のプロセッサ１４０２がアプリケーション又はプロセスを実行する場合の使用のために、データ１４２２及び命令１４２１を格納するシステム１４００のためのシステムメモリとして動作できる。メモリコントローラ１４１６はまた、オプションの外部グラフィックスプロセッサ１４１８と連結し、プロセッサ１４０２内の１つ又は複数のグラフィックスプロセッサ１４０８と通信して、グラフィックス及びメディア演算を実行してよい。いくつかの実施形態において、グラフィックス、メディア及び／又は計算演算は、グラフィックス、メディア又は計算演算の特定のセットを実行するように構成されることができるコプロセッサであるアクセラレータ１４１２により支援され得る。例えば、アクセラレータ１４１２は、機械学習又は計算演算を最適化するために用いられる行列乗算アクセラレータであってよい。アクセラレータ１４１２は、グラフィックスプロセッサ１４０８と連携してレイトレーシング演算を実行するために用いられることができるレイトレーシングアクセラレータとすることができる。一実施形態において、外部アクセラレータ１４１９は、アクセラレータ１４１２の代わりに、又は、これと連携して用いられてよい。

【0217】

プロセッサ１４０２に接続できるディスプレイデバイス１４１１が提供され得る。ディスプレイデバイス１４１１は、モバイル電子デバイス又はラップトップデバイスにあるような内部ディスプレイデバイス、又は、ディスプレイインタフェース（例えば、ＤｉｓｐｌａｙＰｏｒｔなど）を介して取り付けられる外部ディスプレイデバイスのうちの１つ又は複数とすることができる。ディスプレイデバイス１４１１は、仮想現実（ＶＲ）アプリケーション又は拡張現実（ＡＲ）アプリケーションでの使用のための立体表示デバイスなどのヘッドマウントディスプレイ（ＨＭＤ）とすることができる。

【0218】

プラットフォームコントローラハブ１４３０は、周辺機器を高速Ｉ／Ｏバスを介してメモリデバイス１４２０及びプロセッサ１４０２に接続することを可能にし得る。Ｉ／Ｏ周辺機器は、限定されることはないが、オーディオコントローラ１４４６、ネットワークコントローラ１４３４、ファームウェアインタフェース１４２８、無線トランシーバ１４２６、タッチセンサ１４２５、データストレージデバイス１４２４（例えば、不揮発性メモリ、揮発性メモリ、ハードディスクドライブ、フラッシュメモリ、ＮＡＮＤ、３Ｄ ＮＡＮＤ、３Ｄ ＸＰｏｉｎｔ／Ｏｐｔａｎｅなど）を含む。データストレージデバイス１４２４は、ストレージインタフェース（例えば、ＳＡＴＡ）を介して、又は、ペリフェラルコンポーネントインターコネクトバス（例えば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）などの周辺機器用バスを介して接続できる。タッチセンサ１４２５は、タッチスクリーンセンサ、圧力センサ又は指紋センサを含むことができる。無線トランシーバ１４２６は、Ｗｉ－Ｆｉ（登録商標）トランシーバ、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、又は、３Ｇ、４Ｇ、５Ｇ又はロングタームエボリューション（ＬＴＥ）トランシーバなどのモバイルネットワークトランシーバとすることができる。ファームウェアインタフェース１４２８は、システムファームウェアとの通信を可能にし、例えば、ユニファイドエクステンシブルファームウェアインタフェース（ＵＥＦＩ）とすることができる。ネットワークコントローラ１４３４は、有線ネットワークへのネットワーク接続を可能にし得る。いくつかの実施形態において、高性能なネットワークコントローラ（図示されていない）は、インタフェースバス１４１０と連結する。オーディオコントローラ１４４６は、マルチチャネル高精細オーディオコントローラであってよい。これらの実施形態のいくつかにおいて、システム１４００は、レガシ（例えば、パーソナルシステム２（ＰＳ／２））デバイスをシステムに連結するためのオプションのレガシＩ／Ｏコントローラ１４４０を含む。プラットフォームコントローラハブ１４３０はまた、キーボード及びマウス１４４３の組み合わせ、カメラ１４４４又は他のＵＳＢ入力デバイスなどの１つ又は複数のユニバーサルシリアルバス（ＵＳＢ）コントローラ１４４２の接続入力デバイスに接続できる。

【0219】

別々に構成される他のタイプのデータ処理システムも用いられ得るので、図示されるシステム１４００は例示的且つ非限定的なものであることが理解されるだろう。例えば、メモリコントローラ１４１６及びプラットフォームコントローラハブ１４３０のインスタンスは、外部グラフィックスプロセッサ１４１８などの別個の外部グラフィックスプロセッサに統合されてよい。プラットフォームコントローラハブ１４３０及び／又はメモリコントローラ１４１６は、１つ又は複数のプロセッサ１４０２の外部にあってよい。例えば、システム１４００は、外部メモリコントローラ１４１６及びプラットフォームコントローラハブ１４３０を含むことができ、これらは、プロセッサ１４０２と通信するシステムチップセット内のメモリコントローラハブ及び周辺機器用のコントローラハブとして構成されてよい。

【0220】

例えば、ＣＰＵ、メモリ及び他のコンポーネントなどのコンポーネントが配置される回路基板（「スレッド（ｓｌｅｄｓ）」）が用いられることができ、熱性能を向上させるために設計される。プロセッサなどの処理コンポーネントは、スレッドの上面に配置される一方、ＤＩＭＭなどのｎｅａｒメモリがスレッドの下面に配置されてよい。この設計により提供される気流の改善の結果として、これらのコンポーネントは、典型的なシステムの場合と比べて、より高い周波数及び電力レベルで動作し得るので、性能を高めることができる。さらに、スレッドは、ラックにある電力ケーブル及びデータ通信ケーブルと何も確認せずに接続できるように構成されるので、スレッドを素早く取り外す、アップグレードする、再度取り付ける、且つ／又は置き換える能力を高めることができる。同様に、プロセッサ、アクセラレータ、メモリ、及びデータストレージドライブなどの、スレッドに位置する個々のコンポーネントが、互いとの間隔が増したことにより、アップグレードされやすくなるように構成される。例示した実施形態において、これらのコンポーネントはさらに、真正性を証明するハードウェア認証機能を含む。

【0221】

データセンタは、イーサネット（登録商標）及びオムニパスを含む複数の他のネットワークアーキテクチャをサポートする単一のネットワークアーキテクチャ（「ファブリック」）を用いることができる。スレッドは光ファイバを介してスイッチに連結され得る。光ファイバは、典型的なツイストペアケーブル（例えば、カテゴリ５、カテゴリ５ｅ、カテゴリ６など）より高い帯域幅と低いレイテンシとを提供する。高帯域幅で低レイテンシのインターコネクト及びネットワークアーキテクチャにより、データセンタは使用時に、メモリ、アクセラレータ（例えば、ＧＰＵ、グラフィックスアクセラレータ、ＦＰＧＡ、ＡＳＩＣ、ニューラルネットワーク、及び／又は人工知能アクセラレータなど）、及び物理的に分かれているデータストレージドライブなどのリソースをプールして、必要に応じてこれらのリソースに計算リソース（例えば、プロセッサ）を提供してよく、その結果、プールされたリソースがあたかもローカルにあるかのように、計算リソースがこれらのリソースにアクセスすることが可能になる。

【0222】

電力供給又は電源は、システム１４００又は本明細書で説明される任意のコンポーネント又はシステムに電圧及び／又は電流を提供することができる。１つの例において、電力供給部は、壁コンセントに接続する、ＡＣ－ＤＣ（交流電流－直流電流）アダプタを含む。そのようなＡＣ電力は、再生可能エネルギー（例えば、太陽光発電）電源とすることができる。１つの例において、電源は、外部のＡＣ－ＤＣコンバータなどのＤＣ電源を含む。電源又は電力供給はまた、充電場に近接させることで充電する無線の充電ハードウェアも含んでよい。電源は、内蔵バッテリ、交流電源、モーションベースの電源、太陽光発電又は燃料電池ソースを含むことができる。

【0223】

図１５Ａ～図１５Ｃは、コンピューティングシステム及びグラフィックスプロセッサを示す。本明細書における任意の他の図面の要素と同一又は類似の名称を有する図１５Ａ～図１５Ｃの要素は、他の図面にある同一の要素について説明しており、本明細書における他の箇所での説明と同様に、それと同様に動作又は機能でき、同一のコンポーネントを備えることができ、他の要素にリンクされることができるが、そのように限定されることはない。

【0224】

図１５Ａは、プロセッサ１５００のブロック図であり、プロセッサ１５００は、プロセッサ１４０２のうちの１つの変形例であってよく、これらのうちの１つの代わりに用いられてよい。したがって、ここでは、プロセッサ１５００と組み合わせた任意の特徴の開示はまた、そのように限定されるものではないが、プロセッサ１４０２との対応する組み合わせを開示する。プロセッサ１５００は、１つ又は複数のプロセッサコア１５０２Ａ－１５０２Ｎ、ユニファイドメモリコントローラ１５１４及び統合グラフィックスプロセッサ１５０８を有してよい。統合グラフィックスプロセッサ１５０８が除外される場合、プロセッサを含むシステムは、システムチップセット内に、又は、システムバスを介して連結されるグラフィックスプロセッサデバイスを含む。プロセッサ１５００は、最大で、破線ボックスで表される追加のコア１５０２Ｎまでを含む追加のコアを含むことができる。プロセッサコア１５０２Ａ－１５０２Ｎのそれぞれは、１つ又は複数の内部キャッシュユニット１５０４Ａ－１５０４Ｎを含む。いくつかの実施形態において、各プロセッサコア１５０２Ａ－１５０２Ｎはまた、１つ又は複数の共有キャッシュユニット１５０６へのアクセスを有する。内部キャッシュユニット１５０４Ａ－１５０４Ｎ及び共有キャッシュユニット１５０６は、プロセッサ１５００内のキャッシュメモリ階層を表す。キャッシュメモリ階層は、各プロセッサコア内の少なくとも１つのレベルの命令及びデータキャッシュと、レベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）、又は、他のレベルのキャッシュなど１つ又は複数のレベルの共有中間レベルキャッシュを含んでよく、外部メモリの前の最高レベルのキャッシュがＬＬＣとして分類される。いくつかの実施形態において、キャッシュコヒーレンシロジックは、様々なキャッシュユニット１５０６及び１５０４Ａ－１５０４Ｎ間のコヒーレンシを維持する。

【0225】

プロセッサ１５００は、１つ又は複数のバスコントローラユニット１５１６のセット及びシステムエージェントコア１５１０を含んでもよい。１つ又は複数のバスコントローラユニット１５１６は、１つ又は複数のＰＣＩ又はＰＣＩ Ｅｘｐｒｅｓｓバスなどの周辺機器バスのセットを管理する。システムエージェントコア１５１０は、様々なプロセッサコンポーネントに管理機能を提供する。システムエージェントコア１５１０は、様々な外部メモリデバイス（図示されていない）へのアクセスを管理する１つ又は複数のユニファイドメモリコントローラ１５１４を含んでよい。

【0226】

例えば、プロセッサコア１５０２Ａ－１５０２Ｎのうちの１つ又は複数は、同時マルチスレッディングに対するサポートを含んでよい。システムエージェントコア１５１０は、マルチスレッド処理中にコア１５０２Ａ－１５０２Ｎを協調させ、動作させるためのコンポーネントを含む。システムエージェントコア１５１０は、さらに、電力制御ユニット（ＰＣＵ）を含んでよく、ＰＣＵは、プロセッサコア１５０２Ａ－１５０２Ｎ及びグラフィックスプロセッサ１５０８の電力状態を調整するためのロジック及びコンポーネントを含む。

【0227】

プロセッサ１５００は、さらに、グラフィックス処理演算を実行するグラフィックスプロセッサ１５０８を含んでよい。これらの実施形態のいくつかにおいて、グラフィックスプロセッサ１５０８は、共有キャッシュユニット１５０６のセット、及び、１つ又は複数のユニファイドメモリコントローラ１５１４を含むシステムエージェントコア１５１０と連結する。システムエージェントコア１５１０は、１つ又は複数の連結されたディスプレイにグラフィックスプロセッサ出力をドライブするディスプレイコントローラ１５１１を含んでもよい。ディスプレイコントローラ１５１１は、少なくとも１つのインターコネクトを介してグラフィックスプロセッサと連結される別個のモジュールであってもよい、又は、グラフィックスプロセッサ１５０８内に統合されてもよい。

【0228】

リングベースのインターコネクトユニット１５１２は、プロセッサ１５００の内部コンポーネントを連結するために用いられてよい。しかしながら、周知の技術を含むポイントツーポイントインターコネクト、スイッチ型インターコネクト、又は、他の技術などの代替的なインターコネクトユニットが用いられてよい。リングベースのインターコネクト１５１２を有するこれらの実施形態のいくつかにおいて、グラフィックスプロセッサ１５０８は、Ｉ／Ｏリンク１５１３を介してリングベースのインターコネクト１５１２と連結する。

【0229】

例示的なＩ／Ｏリンク１５１３は、様々なプロセッサコンポーネントと、ｅＤＲＡＭモジュールなどの高性能な埋め込み型メモリモジュール１５１８と間の通信を促進するオンパッケージＩ／Ｏインターコネクトを含む複数の様々なＩ／Ｏインターコネクトのうちの少なくとも１つを表す。オプションで、プロセッサコア１５０２Ａ－１５０２Ｎ及びグラフィックスプロセッサ１５０８のそれぞれは、埋め込み型メモリモジュール１５１８を共有ラストレベルキャッシュとして用いることができる。

【0230】

プロセッサコア１５０２Ａ－１５０２Ｎは、例えば、同一の命令セットアーキテクチャを実行する同種のコアであってよい。あるいは、プロセッサコア１５０２Ａ－１５０２Ｎは、命令セットアーキテクチャ（ＩＳＡ）の観点から異種であり、プロセッサコア１５０２Ａ－１５０２Ｎのうちの１つ又は複数は、第１の命令セットを実行する一方、他のコアのうちの少なくとも１つは、第１の命令セットのサブセット又は異なる命令セットを実行する。プロセッサコア１５０２Ａ－１５０２Ｎは、マイクロアーキテクチャの観点から異種であってよく、比較的より高い電力消費量を有する１つ又は複数のコアは、より低い電力消費量を有する１つ又は複数の電力コアに連結される。別の例として、プロセッサコア１５０２Ａ－１５０２Ｎは、計算能力の観点から異種である。さらに、プロセッサ１５００は、１つ又は複数のチップ上に、又は、他のコンポーネントに加えて図示されるコンポーネントを有するＳｏＣ集積回路として実装されることができる。

【0231】

図１５Ｂは、本明細書で説明されるいくつかの実施形態に係るグラフィックスプロセッサコア１５１９のハードウェアロジックのブロック図である。グラフィックスプロセッサコア１５１９は、コアスライスと称される場合があり、モジュールグラフィックスプロセッサ内の１つ又は複数のグラフィックスコアとすることができる。グラフィックスプロセッサコア１５１９は、あるグラフィックスコアスライスの例であり、本明細書で説明されるようなグラフィックスプロセッサは、目標電力及び性能限度に基づいて、複数のグラフィックスコアスライスを含んでよい。各グラフィックスプロセッサコア１５１９は、汎用及び固定機能ロジックのモジュールブロックを含むサブスライスとも称される複数のサブコア１５２１Ａ－１５２１Ｆと連結される固定機能ブロック１５３０を含むことができる。

【0232】

固定機能ブロック１５３０は、例えば、低性能及び／又は低電力グラフィックスプロセッサ実装において、グラフィックスプロセッサコア１５１９内のすべてのサブコアにより共有されることができるジオメトリ／固定機能パイプライン１５３１を含んでよい。ジオメトリ／固定機能パイプライン１５３１は、３Ｄ固定機能パイプライン（例えば、以下で説明される図１６Ａの３Ｄパイプライン１６１２）、ビデオフロントエンドユニット、スレッドスポーナ及びスレッドディスパッチャ、並びに、ユニファイドリターンバッファ（例えば、以下で説明される図１７のユニファイドリターンバッファ１７１８）を管理するユニファイドリターンバッファマネージャを含んでよい。

【0233】

固定機能ブロック１５３０はまた、グラフィックスＳｏＣインタフェース１５３２、グラフィックスマイクロコントローラ１５３３及びメディアパイプライン１５３４を含んでよい。グラフィックスＳｏＣインタフェース１５３２は、グラフィックスプロセッサコア１５１９とシステムオンチップ集積回路内の他のプロセッサコアとの間のインタフェースを提供する。グラフィックスマイクロコントローラ１５３３は、スレッドディスパッチ、スケジューリング及びプリエンプションを含む、グラフィックスプロセッサコア１５１９の様々な機能を管理するように構成可能なプログラマブルサブプロセッサである。メディアパイプライン１５３４（例えば、図１６Ａ及び図１７のメディアパイプライン１６１６）は、画像及びビデオデータを含むマルチメディアデータのデコード、エンコード、前処理及び／又は後処理を促進するロジックを含む。メディアパイプライン１５３４は、サブコア１５２１－１５２１Ｆ内の計算又はサンプリングロジックへの要求を介してメディア演算を実施する。

【0234】

ＳｏＣインタフェース１５３２は、グラフィックスプロセッサコア１５１９が汎用アプリケーションプロセッサコア（例えば、ＣＰＵ）及び／又は共有ラストレベルキャッシュメモリ、システムＲＡＭ及び／又は埋め込み型オンチップ又はオンパッケージＤＲＡＭなどのメモリ階層要素を含むＳｏＣ内の他のコンポーネントと通信することを可能にし得る。ＳｏＣインタフェース１５３２はまた、カメライメージングパイプラインなど、ＳｏＣ内の固定機能デバイスとの通信を有効にすることができ、グラフィックスプロセッサコア１５１９とＳｏＣ内のＣＰＵとの間で共有され得るグローバルメモリアトミックの使用を有効にする及び／又はグローバルメモリアトミックを実施する。ＳｏＣインタフェース１５３２はまた、グラフィックスプロセッサコア１５１９の電力管理制御を実施し、グラフィックスコア１５１９のクロックドメインと、ＳｏＣ内の他のクロックドメインとの間のインタフェースを有効にすることができる。オプションで、ＳｏＣインタフェース１５３２は、グラフィックスプロセッサ内の１つ又は複数のグラフィックスコアのそれぞれにコマンド及び命令を提供するように構成されるコマンドストリーマ及びスレッドディスパッチャからのコマンドバッファの受信を可能にする。メディア演算が実行される場合には、コマンド及び命令がメディアパイプライン１５３４にディスパッチされることができ、グラフィックス処理演算が実行される場合には、ジオメトリ及び固定機能パイプライン（例えば、ジオメトリ及び固定機能パイプライン１５３１、ジオメトリ及び固定機能パイプライン１５３７）がメディアパイプライン１５３４にディスパッチされることができる。

【0235】

グラフィックスマイクロコントローラ１５３３は、グラフィックスプロセッサコア１５１９に対する様々なスケジューリング及び管理タスクを実行するように構成されることができる。１つの構成では、グラフィックスマイクロコントローラ１５３３は、例えば、サブコア１５２１Ａ－１５２１Ｆ内の実行ユニット（ＥＵ）アレイ１５２２Ａ－１５２２Ｆ、１５２４Ａ－１５２４Ｆにある様々なグラフィックス並列エンジンに対するグラフィックス及び／又は計算作業負荷スケジューリングを実行できる。この作業負荷スケジューリングにおいて、グラフィックスプロセッサコア１５１９を含むＳｏＣのＣＰＵコア上で実行するホストソフトウェアは、複数のグラフィックスプロセッサドアベルのうちの１つに対する作業負荷を提示することができ、適切なグラフィックスエンジン上でのスケジューリング演算を呼び出す。スケジューリング演算は、次にどの作業負荷を実行するかを判定すること、作業負荷をコマンドストリーマに提示すること、エンジン上で実行する存在する作業負荷をプリエンプトすること、作業負荷のプロセスをモニタリングすること、及び、作業負荷が完了した場合にホストソフトウェアに通知することを含む。オプションで、グラフィックスマイクロコントローラ１５３３はまた、グラフィックスプロセッサコア１５１９の低電力又はアイドル状態を促進することができ、システム上のオペレーティングシステム及び／又はグラフィックスドライバソフトウェアとは独立した低電力状態遷移にわたって、グラフィックスプロセッサコア１５１９内のレジスタを保存及び復元する能力をグラフィックスプロセッサコア１５１９に提供する。

【0236】

グラフィックスプロセッサコア１５１９は、最大でＮ個の、図示されるサブコア１５２１Ａ－１５２１Ｆより多い又はより少ないモジュールサブコアを有してよい。Ｎ個のサブコアの各セットについて、グラフィックスプロセッサコア１５１９は、共有機能ロジック１５３５、共有及び／又はキャッシュメモリ１５３６、ジオメトリ／固定機能パイプライン１５３７、並びに、様々なグラフィックス及び計算処理演算をアクセラレートする追加の固定機能ロジック１５３８を含むこともできる。共有機能ロジック１５３５は、グラフィックスプロセッサコア１５１９内の各Ｎ個のサブコアにより共有されることができる図１７の共有機能ロジック１７２０（例えば、サンプラ、数学及び／又はスレッド間通信ロジック）と関連付けられる論理ユニットを含むことができる。共有及び／又はキャッシュメモリ１５３６は、グラフィックスプロセッサコア１５１９内のＮ個のサブコア１５２１Ａ－１５２１Ｆのセットに対するラストレベルキャッシュとすることができ、複数のサブコアによりアクセス可能な共有メモリとしても機能できる。ジオメトリ／固定機能パイプライン１５３７は、固定機能ブロック１５３０内のジオメトリ／固定機能パイプライン１５３１の代わりに含まれることができ、同一又は類似の論理ユニットを含むことができる。

【0237】

グラフィックスプロセッサコア１５１９は、グラフィックスプロセッサコア１５１９による使用のために様々な固定機能アクセラレーションロジックを含むことができる追加の固定機能ロジック１５３８を含んでよい。オプションで、追加の固定機能ロジック１５３８は、位置のみのシェーディングで用いるための追加のジオメトリパイプラインを含む。位置のみのシェーディングでは、２つのジオメトリパイプライン、つまり、ジオメトリ／固定機能パイプライン１５３８、１５３１内の完全なジオメトリパイプラインと、追加の固定機能ロジック１５３８内に含まれ得る追加のジオメトリパイプラインであるカリングパイプラインとが存在する。例えば、カリングパイプラインは、完全なジオメトリパイプラインの縮小バージョンであってよい。完全なパイプライン及びカリングパイプラインは、同一のアプリケーションの異なるインスタンスを実行でき、各インスタンスは、別個のコンテキストを有する。位置のみのシェーディングは、破棄された三角形の長いカリング実行を隠すことができ、いくつかの例では、シェーディングをより早く完了することが可能になる。例えば、追加の固定機能ロジック１５３８内のカリングパイプラインロジックは、メインのアプリケーションと並列で位置シェーダを実行でき、カリングパイプラインは、フレームバッファの画素のラスタライズ及びレンダリングを実行せずに、頂点の位置属性のみをフェッチし、及び、シェーディングするので、概して、重要な結果を完全なパイプラインよりも早く生成する。カリングパイプラインは、生成された重要な結果を用いて、これらの三角形がカリングされたかどうかに関わらず、すべての三角形の可視情報を計算することができる。フルパイプライン（この例では、リプレイパイプラインと呼ばれることがある）は、カリングされた三角形をスキップし、最終的にラスタライズフェーズに送られる可視三角形だけをシェーディングするのに可視情報を消費することができる。

【0238】

オプションで、追加の固定機能ロジック１５３８は、機械学習訓練又は推論の最適化を含む実装のための固定機能行列乗算ロジックなどの機械学習アクセラレーションロジックを含むこともできる。

【0239】

各グラフィックスサブコア１５２１Ａ－１５２１Ｆ内には、グラフィックスパイプライン、メディアパイプライン又はシェーダプログラムによる要求に応答して、グラフィックス、メディア及び計算演算を実行するために用いられ得る実行リソースのセットが含まれる。グラフィックスサブコア１５２１Ａ－１５２１Ｆは、複数のＥＵアレイ１５２２Ａ－１５２２Ｆ、１５２４Ａ－１５２４Ｆ、スレッドディスパッチ及びスレッド間通信（ＴＤ／ＩＣ）ロジック１５２３Ａ－１５２３Ｆ、３Ｄ（例えば、テクスチャ）サンプラ１５２５Ａ－１５２５Ｆ、メディアサンプラ１５０６Ａ－１５０６Ｆ、シェーダプロセッサ１５２７Ａ－１５２７Ｆ、及び、共有ローカルメモリ（ＳＬＭ）１５２８Ａ－１５２８Ｆを含む。ＥＵアレイ１５２２Ａ－１５２２Ｆ、１５２４Ａ－１５２４Ｆはそれぞれ、複数の実行ユニットを含み、これらは、グラフィックス、メディア又は計算シェーダプログラムを含むグラフィックス、メディア又は計算演算中に浮動小数点及び整数／固定少数点ロジック演算を実行することが可能な汎用グラフィックス処理ユニットである。ＴＤ／ＩＣロジック１５２３Ａ－１５２３Ｆは、サブコア内の実行ユニットのためにローカルスレッドディスパッチ及びスレッド制御演算を実行し、サブコアの実行ユニット上で実行するスレッド間の通信を促進する。３Ｄサンプラ１５２５Ａ－１５２５Ｆは、テクスチャ又は他の３Ｄグラフィックス関連のデータをメモリに読み出すことができる。３Ｄサンプラは、構成されるサンプル状態及び所定のテクスチャと関連付けられるテクスチャフォーマットに基づいて、別々にテクスチャデータを読み出すことができる。メディアサンプラ１５０６Ａ－１５０６Ｆは、メディアデータと関連付けられるタイプ及びフォーマットに基づいて、類似の読み出し操作を実行できる。例えば、各グラフィックスサブコア１５２１Ａ－１５２１Ｆは、代替的に、統合３Ｄ及びメディアサンプラを含むことができる。サブコア１５２１Ａ－１５２１Ｆのそれぞれ内の実行ユニット上で実行するスレッドは、スレッドグループ内で実行するスレッドが、オンチップメモリの共通プールを用いて実行することを可能にすべく、各サブコア内の共有ローカルメモリ１５２８Ａ－１５２８Ｆを利用できる。

【0240】

図１５Ｃは、本明細書で説明される実施形態に係る、グラフィックスプロセッサ、例えば、グラフィックスプロセッサ１５０８及び／又は計算アクセラレータとして構成されることができる汎用グラフィックス処理ユニット（ＧＰＧＰＵ）１５７０のブロック図である。ＧＰＧＰＵ１５７０は、１つ又は複数のシステム及び／又はメモリバスを介して、ホストプロセッサ（例えば、１つ又は複数のＣＰＵ１５４６）及びメモリ１５７１、１５７２とインターコネクトできる。メモリ１５７１は、１つ又は複数のＣＰＵ１５４６で共有されることができるシステムメモリであってよく、一方、メモリ１５７２は、ＧＰＧＰＵ１５７０に専用のデバイスメモリである。例えば、ＧＰＧＰＵ１５７０及びデバイスメモリ１５７２内のコンポーネントは、１つ又は複数のＣＰＵ１５４６にアクセス可能なメモリアドレスにマッピングされてよい。メモリ１５７１及び１５７２へのアクセスは、メモリコントローラ１５６８を介して促進されてよい。メモリコントローラ１５６８は、内部ダイレクトメモリアクセス（ＤＭＡ）コントローラ１５６９を含んでよい、又は、ＤＭＡコントローラにより別の方法で実行される演算を実行するロジックを含むことができる。

【0241】

ＧＰＧＰＵ１５７０は、Ｌ２キャッシュ１５５３、Ｌ１キャッシュ１５５４、命令キャッシュ１５５５、及び、共有メモリ１５５６を含む複数のキャッシュメモリを含み、それらの少なくとも一部は、キャッシュメモリとしてパーティション化されてもよい。ＧＰＧＰＵ１５７０はまた、複数の計算ユニット１５６０Ａ－１５６０Ｎを含む。各計算ユニット１５６０Ａ－１５６０Ｎは、ベクトルレジスタ１５６１、スカラレジスタ１５６２、ベクトル論理ユニット１５６３及びスカラ論理ユニット１５６４のセットを含む。計算ユニット１５６０Ａ－１５６０Ｎは、ローカル共有メモリ１５６５及びプログラムカウンタ１５６６を含むこともできる。計算ユニット１５６０Ａ－１５６０Ｎは、定数キャッシュ１５６７と連結することができ、これは、定数データを格納するために用いられることができ、定数データはＧＰＧＰＵ１５７０上で実行するカーネル又はシェーダプログラムの実行の間変わらないであろうデータである。定数キャッシュ１５６７は、スカラデータキャッシュであってよく、キャッシュされるデータは、スカラレジスタ１５６２に直接フェッチされることができる。

【0242】

動作中、１つ又は複数のＣＰＵ１５４６は、アクセス可能なアドレス空間にマッピングされたＧＰＧＰＵ１５７０内のレジスタ又はメモリにコマンドを書き込むことができる。コマンドプロセッサ１５５７は、レジスタ又はメモリからコマンドを読み出し、これらのコマンドがＧＰＧＰＵ１５７０内でどのように処理されるかを判定できる。次に、スレッドディスパッチャ１５５８は、計算ユニット１５６０Ａ－１５６０Ｎにスレッドをディスパッチして、これらのコマンドを実行するために用いられることができる。各計算ユニット１５６０Ａ－１５６０Ｎは、他の計算ユニットとは独立して、スレッドを実行できる。さらに、各計算ユニット１５６０Ａ－１５６０Ｎは、条件計算のために独立して構成されることができ、計算の結果を条件付きでメモリに出力できる。コマンドプロセッサ１５５７は、提示されたコマンドが完了した場合に１つ又は複数のＣＰＵ１５４６に割り込むことができる。

【0243】

図１６Ａ～図１６Ｃは、例えば、図１５Ａ～図１５Ｃに従って、本明細書で説明される実施形態により提供される追加のグラフィックスプロセッサ及び計算アクセラレータアーキテクチャのブロック図を示す。本明細書における任意の他の図面の要素と同一又は類似の名称を有する図１６Ａ～図１６Ｃの要素は、他の図面にある同一の要素について説明しており、本明細書における他の箇所での説明と同様に、それと同様に動作又は機能でき、同一のコンポーネントを備えることができ、他の要素にリンクされることができるが、そのように限定されることはない。

【0244】

図１６Ａは、グラフィックスプロセッサ１６００のブロック図であり、これは、ディスクリートグラフィックス処理ユニットであってよい、又は、複数のプロセッシングコアと統合されたグラフィックスプロセッサ、又は、限定されることはないが、メモリデバイス又はネットワークインタフェースなどの他の半導体デバイスであってよい。グラフィックスプロセッサ１６００は、グラフィックスプロセッサ１５０８の変形例であってよく、グラフィックスプロセッサ１５０８の代わりに用いられてよい。したがって、ここでは、グラフィックスプロセッサ１５０８と組み合わせた任意の特徴の開示はまた、そのように限定されるものではないが、グラフィックスプロセッサ１６００との対応する組み合わせを開示する。グラフィックスプロセッサは、メモリマッピングされたＩ／Ｏインタフェースを介して、及び、プロセッサメモリに置かれたコマンドを用いて、グラフィックスプロセッサ上のレジスタと通信してよい。グラフィックスプロセッサ１６００は、メモリにアクセスするメモリインタフェース１６１４を含んでよい。メモリインタフェース１６１４は、ローカルメモリ、１つ又は複数の内部キャッシュ、１つ又は複数の共有外部キャッシュ及び／又はシステムメモリに対するインタフェースとすることができる。

【0245】

オプションで、グラフィックスプロセッサ１６００はまた、ディスプレイデバイス１６１８にデータを出力するディスプレイを駆動するディスプレイコントローラ１６０２を含む。ディスプレイコントローラ１６０２は、１つ又は複数のオーバレイプレーンのためのハードウェア及びビデオの複数の層又はユーザインタフェース要素の構成を含む。ディスプレイデバイス１６１８は、内部又は外部ディスプレイデバイスとすることができる。一実施形態において、ディスプレイデバイス１６１８は、仮想現実（ＶＲ）ディスプレイデバイス又は拡張現実（ＡＲ）ディスプレイデバイスなどのヘッドマウント型ディスプレイデバイスである。グラフィックスプロセッサ１６００は、限定されることはないが、ＭＰＥＧ－２などのムービングピクチャエキスパーツグループ（ＭＰＥＧ）フォーマット、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭｅｄｉａ）ＶＰ８、ＶＰ９などのアドバンスドビデオコーティング（ＡＶＣ）フォーマット、並びに、米国映画テレビ技術者協会（ＳＭＰＴＥ）４２１Ｍ／ＶＣ－１、及び、ＪＰＥＧなどのジョイントフォトグラフィックエキスパートグループ（ＪＰＥＧ）フォーマット、及び、モーションＪＰＥＧ（ＭＪＰＥＧ）フォーマットを含む１又は複数のメディアエンコードフォーマットに、当該メディアエンコードフォーマットから、又は、当該メディアエンコードフォーマット間でメディアをエンコード、デコード又はトランスコードするビデオコーデックエンジン１６０６を含んでよい。

【0246】

グラフィックスプロセッサ１６００は、例えば、ビット境界ブロック転送を含む２次元（２Ｄ）ラスタライザ演算を実行するブロック画像転送（ＢＬＩＴ）エンジン１６０４を含んでよい。しかしながら、代替的に、グラフィックス処理エンジン（ＧＰＥ）１６１０の１つ又は複数のコンポーネントを用いて、２Ｄグラフィックス演算が実行されてよい。いくつかの実施形態において、ＧＰＥ１６１０は、３次元（３Ｄ）グラフィックス演算及びメディア演算を含むグラフィックス演算を実行するための計算エンジンである。

【0247】

ＧＰＥ１６１０は、３Ｄプリミティブ形状（例えば、矩形、三角形など）に従う処理機能を用いて３次元画像及びシーンをレンダリングするなど、３Ｄ演算を実行するための３Ｄパイプライン１６１２を含んでよい。３Ｄパイプライン１６１２は、要素内の様々なタスクを実行し、及び／又は、実行スレッドを３Ｄ／メディアサブシステム１６１５にスポーン（ｓｐａｗｎ）するプログラマブル及び固定機能要素を含む。３Ｄパイプライン１６１２がメディア演算を実行するために用いられることができる一方、ＧＰＥ１６１０の実施形態も、具体的には、ビデオ後処理及び画像エンハンスメントなどのメディア演算を実行するために用いられるメディアパイプライン１６１６を含む。

【0248】

メディアパイプライン１６１６は、ビデオコーデックエンジン１６０６の代わりに、又は、その代理でビデオデコードアクセラレーション、ビデオデインタレーシング、ビデオエンコードアクセラレーションなどの１つ又は複数の専用のメディア演算を実行する固定機能又はプログラマブル論理ユニットを含んでよい。メディアパイプライン１６１６は、さらに、３Ｄ／メディアサブシステム１６１５上での実行のためのスレッドをスポーン（ｓｐａｗｎ）するスレッドスポーンユニットを含んでよい。スポーンされたスレッドは、３Ｄ／メディアサブシステム１６１５に含まれる１つ又は複数のグラフィックス実行ユニット上でメディア演算のための計算を実行する。

【0249】

３Ｄ／メディアサブシステム１６１５は、３Ｄパイプライン１６１２及びメディアパイプライン１６１６によりスポーンされたスレッドを実行するためのロジックを含んでよい。パイプラインは、３Ｄ／メディアサブシステム１６１５にスレッド実行リクエストを送信してよく、３Ｄ／メディアサブシステム１６１５は、利用可能なスレッド実行リソースに対する様々なリクエストを調整し、ディスパッチするためのスレッドディスパッチロジックを含む。実行リソースは、３Ｄ及びメディアスレッドを処理するグラフィックス実行ユニットのアレイを含む。３Ｄ／メディアサブシステム１６１５は、スレッド命令及びデータに対する１つ又は複数の内部キャッシュを含んでよい。さらに、３Ｄ／メディアサブシステム１６１５は、スレッド間のデータを共有し、出力データを格納するレジスタ及びアドレス指定可能なメモリを含む共有メモリを含んでもよい。

【0250】

図１６Ｂは、グラフィックスプロセッサ１６２０を示し、これは、グラフィックスプロセッサ１６００の変形例であり、グラフィックスプロセッサ１６００の代わりに用いられてよく、逆もまた同様である。したがって、グラフィックスプロセッサ１６００と組み合わせた任意の特徴の開示はまた、そのように限定されるものではないが、グラフィックスプロセッサ１６２０との対応する組み合わせを開示する。グラフィックスプロセッサ１６２０は、本明細書で説明される実施形態に係るタイル型アーキテクチャを有する。グラフィックスプロセッサ１６２０は、グラフィックスエンジンタイル１６１０Ａ－１６１０Ｄ内の図１６Ａのグラフィックス処理エンジン１６１０の複数のインスタンスを有するグラフィックス処理エンジンクラスタ１６２２を含んでよい。各グラフィックスエンジンタイル１６１０Ａ－１６１０Ｄは、タイルインターコネクト１６２３Ａ－１６２３Ｆのセットを介してインターコネクトされることができる。各グラフィックスエンジンタイル１６１０Ａ－１６１０Ｄは、メモリインターコネクト１６２５Ａ－１６２５Ｄを介してメモリモジュール又はメモリデバイス１６２６Ａ－１６２６Ｄに接続されることもできる。メモリデバイス１６２６Ａ－１６２６Ｄは、任意のグラフィックスメモリ技術を用いることができる。例えば、メモリデバイス１６２６Ａ－１６２６Ｄは、グラフィックスダブルデータレート（ＧＤＤＲ）メモリであってよい。メモリデバイス１６２６Ａ－１６２６Ｄは、それらのそれぞれのグラフィックスエンジンタイル１６１０Ａ－１６１０Ｄを有するオンダイとすることができる高帯域幅メモリ（ＨＢＭ）モジュールであってよい。メモリデバイス１６２６Ａ－１６２６Ｄは、それらのそれぞれのグラフィックスエンジンタイル１６１０Ａ－１６１０Ｄの最上部にスタックされることができるスタックメモリデバイスであってよい。各グラフィックスエンジンタイル１６１０Ａ－１６１０Ｄ及び関連するメモリ１６２６Ａ－１６２６Ｄは、別個チップレット上に存在してよく、チップレットは、図２４Ｂ～図２４Ｄでさらに詳細に説明されるように、ベースダイ又はベース基板に接合される。

【0251】

グラフィックスプロセッサ１６２０は、メモリデバイス１６２６Ａ－１６２６Ｄが関連するグラフィックスエンジンタイル１６１０Ａ－１６１０Ｄと連結される不均一なメモリアクセス（ＮＵＭＡ）システムで構成されてよい。所定のメモリデバイスは、それが直接接続されるタイル以外のグラフィックスエンジンタイルによりアクセスされてよい。しかしながら、メモリデバイス１６２６Ａ－１６２６Ｄへのアクセスのレイテンシは、ローカルタイルにアクセスする場合に最も低くなってよい。一実施形態において、１つより多くのキャッシュが同一のメモリ位置に格納する場合、グラフィックスエンジンタイル１６１０Ａ－１６１０Ｄ内のキャッシュコントローラ間の通信が一貫性のあるメモリ画像を維持することを可能にするタイルインターコネクト１６２３Ａ－１６２３Ｆを用いるキャッシュコヒーレントＮＵＭＡ（ｃｃＮＵＭＡ）システムが可能である。

【0252】

グラフィックス処理エンジンクラスタ１６２２は、オンチップ又はオンパッケージファブリックインターコネクト１６２４と接続できる。ファブリックインターコネクト１６２４は、グラフィックスエンジンタイル１６１０Ａ－１６１０Ｄと、ビデオコーデック１６０６及び１つ又は複数のコピーエンジン１６０４などのコンポーネントとの間で通信を可能にし得る。コピーエンジン１６０４は、メモリデバイス１６２６Ａ－１６２６Ｄ外に、メモリデバイス１６２６Ａ－１６２６Ｄ内に、及び、メモリデバイス１６２６Ａ－１６２６Ｄとグラフィックスプロセッサ１６２０の外部にあるメモリ（例えば、システムメモリ）との間で、データを移動するために用いられることができる。ファブリックインターコネクト１６２４は、グラフィックスエンジンタイル１６１０Ａ－１６１０Ｄをインターコネクトするために用いられることもできる。オプションで、グラフィックスプロセッサ１６２０は、外部ディスプレイデバイス１６１８との接続を可能にするディスプレイコントローラ１６０２を含んでよい。グラフィックスプロセッサは、グラフィックス又は計算アクセラレータとして構成されてもよい。アクセラレータの構成では、ディスプレイコントローラ１６０２及びディスプレイデバイス１６１８が省略されてよい。

【0253】

グラフィックスプロセッサ１６２０は、ホストインタフェース１６２８を介してホストシステムに接続できる。ホストインタフェース１６２８は、グラフィックスプロセッサ１６２０と、システムメモリ及び／又は他のシステムコンポーネントとの間の通信を可能にし得る。ホストインタフェース１６２８は、例えば、ＰＣＩ ｅｘｐｒｅｓｓバス又は別のタイプのホストシステムインタフェースとすることができる。

【0254】

図１６Ｃは、本明細書で説明される実施形態に係る計算アクセラレータ１６３０を示す。計算アクセラレータ１６３０は、図１６Ｂのグラフィックスプロセッサ１６２０とのアーキテクチャ上の類似点を含むことができ、計算アクセラレーションのために最適化される。計算エンジンクラスタ１６３２は、並列又はベクトルベースの汎用計算演算のために最適化される実行ロジックを含む計算エンジンタイル１６４０Ａ－１６４０Ｄのセットを含むことができる。計算エンジンタイル１６４０Ａ－１６４０Ｄは、固定機能グラフィックス処理ロジックを含まなくてよいが、いくつかの実施形態において、計算エンジンタイル１６４０Ａ－１６４０Ｄのうちの１つ又は複数は、メディアアクセラレーションを実行するロジックを含むことができる。計算エンジンタイル１６４０Ａ－１６４０Ｄは、メモリインターコネクト１６２５Ａ－１６２５Ｄを介してメモリ１６２６Ａ－１６２６Ｄに接続できる。メモリ１６２６Ａ－１６２６Ｄ及びメモリインターコネクト１６２５Ａ－１６２５Ｄは、グラフィックスプロセッサ１６２０と類似の技術であってよい、又は、異なるものとすることができる。グラフィックス計算エンジンタイル１６４０Ａ－１６４０Ｄはまた、タイルインターコネクト１６２３Ａ－１６２３Ｆのセットを介してインターコネクトされることができ、ファブリックインターコネクト１６２４と接続され、及び／又は、ファブリックインターコネクト１６２４によりインターコネクトされてよい。一実施形態において、計算アクセラレータ１６３０は、デバイス全体のキャッシュとして構成されることができる大容量Ｌ３キャッシュ１６３６を含む。計算アクセラレータ１６３０はまた、図１６Ｂのグラフィックスプロセッサ１６２０と類似の方式で、ホストインタフェース１６２８を介してホストプロセッサ及びメモリに接続できる。
［グラフィックス処理エンジン］

【0255】

図１７は、いくつかの実施形態に従うグラフィックスプロセッサのグラフィックス処理エンジン１７１０のブロック図である。グラフィックス処理エンジン（ＧＰＥ）１７１０は、図１６Ａに示されるＧＰＥ１６１０のバージョンであってよく、図１６Ｂのグラフィックスエンジンタイル１６１０Ａ－１６１０Ｄを表してもよい。本明細書における任意の他の図面の要素と同一又は類似の名称を有する図１７の要素は、他の図面にある同一の要素について説明しており、本明細書における他の箇所での説明と同様に、それと同様に動作又は機能でき、同一のコンポーネントを備えることができ、他の要素にリンクされることができるが、そのように限定されることはない。例えば、図１６Ａの３Ｄパイプライン１６１２及びメディアパイプライン１６１６が図１７にも示されている。メディアパイプライン１６１６は、ＧＰＥ１７１０のいくつかの実施形態におけるオプションであり、ＧＰＥ１７１０内に明示的に含まれていなくてよい。例えば、少なくとも１つの実施形態において、別個のメディア及び／又は画像プロセッサは、ＧＰＥ１７１０に連結される。

【0256】

ＧＰＥ１７１０は、コマンドストリーマ１７０３と連結してよい、又は、コマンドストリーマ１７０３を含んでよく、コマンドストリーマ１７０３は、３Ｄパイプライン１６１２及び／又はメディアパイプライン１６１６にコマンドストリームを提供する。あるいは又はさらに、コマンドストリーマ１７０３は、ユニファイドリターンバッファ１７１８に直接連結されてよい。ユニファイドリターンバッファ１７１８は、グラフィックスコアアレイ１７１４に通信可能に連結されてよい。オプションで、コマンドストリーマ１７０３は、メモリと連結されており、メモリは、システムメモリ、又は、内部キャッシュメモリと共有キャッシュメモリのうちの１つ又は複数とすることができる。コマンドストリーマ１７０３は、メモリからコマンドを受信し、当該コマンドを３Ｄパイプライン１６１２及び／又はメディアパイプライン１６１６に送信してよい。コマンドは、リングバッファからフェッチされる命令であり、３Ｄパイプライン１６１２及びメディアパイプライン１６１６に対するコマンドを格納する。さらに、リングバッファは、複数のコマンドのバッチを格納するバッチコマンドバッファを含むことができる。３Ｄパイプライン１６１２に対するコマンドは、限定されることはないが、３Ｄパイプライン１６１２に対する頂点及びジオメトリデータ、及び／又は、メディアパイプライン３１６に対する画像データ及びメモリオブジェクトなど、メモリに格納されたデータへの参照を含むこともできる。３Ｄパイプライン１６１２及びメディアパイプライン１６１６は、それぞれのパイプライン内のロジックを介して演算を実行することにより、又は、１つ又は複数の実行スレッドをグラフィックスコアアレイ１７１４にディスパッチすることにより、コマンド及びデータを処理する。グラフィックスコアアレイ１７１４は、グラフィックスコア（例えば、グラフィックスコア１７１５Ａ、グラフィックスコア１７１５Ｂ）の１つ又は複数のブロックを含んでよく、各ブロックは、１つ又は複数のグラフィックスコアを含む。各グラフィックスコアは、グラフィックス及び計算演算、並びに、固定機能テクスチャ処理を実行する汎用及びグラフィックス固有の実行ロジック、及び／又は、機械学習及び人工知能アクセラレーションロジックを含むグラフィックス実行リソースのセットを含む。

【0257】

様々な実施形態において、３Ｄパイプライン１６１２は、命令を処理し、実行スレッドをグラフィックスコアアレイ１７１４にディスパッチすることにより、頂点シェーダ、ジオメトリシェーダ、画素シェーダ、フラグメントシェーダ、計算シェーダ、又は、他のシェーダプログラムなど、１つ又は複数のシェーダプログラムを処理する固定機能及びプログラマブルロジックを含むことができる。グラフィックスコアアレイ１７１４は、これらのシェーダプログラムを処理する際の使用のために、実行リソースの統合ブロックを提供する。グラフィックスコアアレイ１７１４のグラフィックスコア１７１５Ａ－１７１４Ｂ内の多目的実行ロジック（例えば、実行ユニット）は、様々な３Ｄ ＡＰＩシェーダ言語に対するサポートを含み、複数のシェーダと関連付けられる複数の同時実行スレッドを実行できる。

【0258】

グラフィックスコアアレイ１７１４は、ビデオ及び／又は画像処理などのメディア機能を実行する実行ロジックを含んでよい。実行ユニットは、グラフィックス処理演算に加えて、並列汎用計算演算を実行するためにプログラマブルな汎用ロジックを含んでよい。汎用ロジックは、図１４のプロセッサコア１４０７又は図１５Ａのコア１５０２Ａ－１５０２Ｎ内の汎用ロジックと並行して、又はこれらと共に処理演算を実行できる。

【0259】

グラフィックスコアアレイ１７１４上で実行するスレッドにより生成される出力データは、ユニファイドリターンバッファ（ＵＲＢ）１７１８内のメモリにデータを出力できる。ＵＲＢ１７１８は、複数のスレッドに対するデータを格納できる。ＵＲＢ１７１８は、グラフィックスコアアレイ１７１４上で実行する異なるスレッド間のデータを送信するために用いられてよい。さらに、ＵＲＢ１７１８は、グラフィックスコアアレイ１７１４上のスレッドと、共有機能ロジック１７２０内の固定機能ロジックとの間の同期のために用いられてよい。

【0260】

オプションで、グラフィックスコアアレイ１７１４はスケーラブルであってよく、当該アレイは、様々な数のグラフィックスコアを含み、それぞれ、ＧＰＥ１７１０の目標電力及び性能レベルに基づいて、様々な数の実行ユニットを有する。実行リソースは動的にスケーラブルであってよく、実行リソースは、必要に応じて、有効にされる、又は、無効にされる。

【0261】

グラフィックスコアアレイ１７１４は、グラフィックスコアアレイのグラフィックスコア間で共有される複数のリソースを含む共有機能ロジック１７２０と連結する。共有機能ロジック１７２０内の共有機能は、専用の補足機能をグラフィックスコアアレイ１７１４に提供するハードウェアロジックユニットである。様々な実施形態において、共有機能ロジック１７２０は、限定されるものではないが、サンプラ１７２１、数学１７２２、スレッド間通信（ＩＴＣ）１７２３ロジックを含む。さらに、共有機能ロジック１７２０内に、１つ又は複数のキャッシュ１７２５が実装されてよい。

【0262】

共有機能は、少なくとも、所定の専用の機能に対する要求をグラフィックスコアアレイ１７１４内に含めるには不十分である場合に実装される。代わりに、その専用の機能の単一インスタンス化は、共有機能ロジック１７２０のスタンドアロンエンティティとして実装され、グラフィックスコアアレイ１７１４内の実行リソース間で共有される。グラフィックスコアアレイ１７１４間で共有され、グラフィックスコアアレイ１７１４内に含まれる機能の正確なセットは、実施形態により変わる。グラフィックスコアアレイ１７１４によって拡張的に用いられる共有機能ロジック１７２０内の特定の共有機能が、グラフィックスコアアレイ１７１４内の共有機能ロジック１７１６内に含まれてよい。オプションで、グラフィックスコアアレイ１７１４内の共有機能ロジック１７１６は、共有機能ロジック１７２０内のいくつかの又はすべてのロジックを含むことができる。共有機能ロジック１７２０内のすべてのロジックエレメントは、グラフィックスコアアレイ１７１４の共有機能ロジック１７１６内で重複してよい。あるいは、グラフィックスコアアレイ１７１４内の共有機能ロジック１７１６が優先され、共有機能ロジック１７２０が除外される。
［実行ユニット］

【0263】

図１８Ａ～図１８Ｂは、本明細書で説明される実施形態に係るグラフィックスプロセッサコアにおいて用いられる処理要素のアレイを含むスレッド実行ロジック１８００を示す。本明細書における任意の他の図面の要素と同一又は類似の名称を有する図１８Ａ～図１８Ｂの要素は、他の図面にある同一の要素について説明しており、本明細書における他の箇所での説明と同様に、それと同様に動作又は機能でき、同一のコンポーネントを備えることができ、他の要素にリンクされることができるが、そのように限定されることはない。図１８Ａ～図１８Ｂは、スレッド実行ロジック１８００の概要を示し、図１５Ｂの各サブコア１５２１Ａ－１５２１Ｆで図示されるハードウェアロジックを表し得る。図１８Ａは、汎用グラフィックスプロセッサ内の実行ユニットを表す一方、図１８Ｂは、計算アクセラレータ内で用いられ得る実行ユニットを表す。

【0264】

図１８Ａに示されるように、スレッド実行ロジック１８００は、シェーダプロセッサ１８０２、スレッドディスパッチャ１８０４、命令キャッシュ１８０６、複数の実行ユニット１８０８Ａ－１８０８Ｎを含むスケーラブルな実行ユニットアレイ、サンプラ１８１０、共有ローカルメモリ１８１１、データキャッシュ１８１２及びデータポート１８１４を含んでよい。オプションで、スケーラブルな実行ユニットアレイは、作業負荷の計算要件に基づいて、１つ又は複数の実行ユニット（例えば、実行ユニット１８０８Ａ、１８０８Ｂ、１８０８Ｃ、１８０８Ｄ、から、１８０８Ｎ‐１及び１８０８Ｎまでのいずれか）を有効又は無効にすることで動的にスケーリングできる。含まれるコンポーネントは、コンポーネントのそれぞれにリンク付けしたインターコネクトファブリックを介してインターコネクトされてよい。スレッド実行ロジック１８００は、命令キャッシュ１８０６、データポート１８１４、サンプラ１８１０及び実行ユニット１８０８Ａ－１８０８Ｎのうちの１つ又は複数を通じて、システムメモリ又はキャッシュメモリなどのメモリへの１つ又は複数の接続を含んでよい。各実行ユニット（例えば、１８０８Ａ）は、各スレッドに対して、複数のデータ要素を並行して処理する間に、複数の同時ハードウェアスレッドを実行可能であるスタンドアロンプログラマブル汎用計算ユニットであってよい。様々な実施形態において、任意の数の個々実行ユニットを含むために、実行ユニット１８０８Ａ－１８０８Ｎのアレイはスケーラブルである。

【0265】

実行ユニット１８０８Ａ－１８０８Ｎは、主に、シェーダプログラムを実行するために用いられてよい。シェーダプロセッサ１８０２は、様々なシェーダプログラムを処理し、スレッドディスパッチャ１８０４を介してシェーダプログラムと関連付けられた実行スレッドをディスパッチできる。スレッドディスパッチャは、グラフィックス及びメディアパイプラインからのスレッド開始要求をアービトレートし、１つ又は複数の実行ユニット１８０８Ａ－１８０８Ｎ上で要求されたスレッドをインスタンス化するロジックを含んでよい。例えば、ジオメトリパイプラインは、頂点、テセレーション、ジオメトリシェーダを処理用のスレッド実行ロジックにディスパッチできる。オプションで、スレッドディスパッチャ１８０４はまた、実行中のシェーダプログラムからのランタイムスレッドスポーンリクエストを処理できる。

【0266】

実行ユニット１８０８Ａ－１８０８Ｎは、グラフィックスライブラリ（例えば、Ｄｉｒｅｃｔ３Ｄ及びＯｐｅｎＧＬ）からのシェーダプログラムが最小の変換で実行されるように、多くの標準３Ｄグラフィックシェーダ命令のためのネイティブサポートを含む命令セットをサポートしてよい。実行ユニットは、頂点及びジオメトリ処理（例えば、頂点プログラム、ジオメトリプログラム、頂点シェーダ）、画素処理（例えば、画素シェーダ、フラグメントシェーダ）、及び、汎用処理（例えば、計算及びメディアシェーダ）をサポートする。実行ユニット１８０８Ａ－１８０８Ｎのそれぞれは、マルチ発行単一命令多重データ（ＳＩＭＤ）を実行することができ、マルチスレッド演算は、より高いレイテンシメモリアクセスに直面して効率的な実行環境を可能にする。各実行ユニット内の各ハードウェアスレッドは、専用の高帯域幅レジスタファイルと、関連する独立したスレッド状態を有する。実行は、整数、単精度及び倍精度浮動小数点演算、ＳＩＭＤ分岐機能、論理演算、超越演算及び他の各種演算が可能なパイプラインへのクロックごとのマルチ発行である。メモリからのデータ又は共有機能のうちの１つからのデータを待機する間、実行ユニット１８０８Ａ－１８０８Ｎ内の依存性ロジックは、要求したデータが戻されるまで、待機中のスレッドをスリープさせる。待機中のスレッドがスリープしている間、ハードウェアリソースは、他のスレッドの処理に当てられてよい。例えば、頂点シェーダ演算に関連する遅延中に、実行ユニットは、図２１に示される頂点シェーダ２１０７などの異なる頂点シェーダを含む、画素シェーダ、フラグメントシェーダ又は別のタイプのシェーダプログラムのための演算を実行できる。様々な実施形態が、ＳＩＭＤの使用に対する代替として又はＳＩＭＤの使用に加えて、単一命令多重スレッド（ＳＩＭＴ）を使用して実行を用いるのに適用できる。ＳＩＭＤコア又はオペレーションへの参照が、ＳＩＭＴにも適用でき、ＳＩＭＴと組み合わせてＳＩＭＤにも適用できる。

【0267】

実行ユニット１８０８Ａ－１８０８Ｎ内の各実行ユニットは、データ要素のアレイ上で動作する。データ要素の数は、命令に対する「実行サイズ」、又は、チャネルの数である。実行チャネルは、データ要素アクセス、マスキング、及び命令内のフロー制御についての実行の論理ユニットである。チャネルの数は、特定のグラフィックスプロセッサ用の物理算術論理ユニット（ＡＬＵ）、浮動小数点ユニット（ＦＰＵ）又は他のロジックユニット（例えば、テンソルコア、レイトレーシングコアなど）の数とは独立していてよい。さらに、実行ユニット１８０８Ａ－１８０８Ｎは、整数及び浮動小数点データ型をサポートしてよい。

【0268】

実行ユニット命令セットは、ＳＩＭＤ命令を含む。様々なデータ要素は、パックドデータ型としてレジスタに格納されてよく、実行ユニットは、これらの要素のデータサイズに基づいて様々な要素を処理することになる。例えば、２５６ビット幅のベクトルに対して操作する場合、ベクトルの２５６ビットがレジスタに格納され、実行ユニットは、４つの別個の１８４ビットパックドデータ要素（クアッドワード（ＱＷ）サイズのデータ要素）、８つの別個の３２ビットパックドデータ要素（ダブルワード（ＤＷ）サイズのデータ要素）、１６個の別個の１６ビットパックドデータ要素（ワード（Ｗ）サイズのデータ要素）、又は、３２個の別個の８ビットデータ要素（バイト（Ｂ）サイズのデータ要素）としてベクトルを操作する。しかしながら、異なるベクトル幅及びレジスタサイズが可能である。

【0269】

オプションで、１つ又は複数の実行ユニットは、融合された実行ユニット（ＥＵ）に共通のスレッド制御ロジック（１８０７Ａ～１８０７Ｎ）を有する融合された実行ユニット１８０９Ａ～１８０９Ｎと組み合わせられ得る。複数のＥＵは、ＥＵグループに融合されることができる。融合されたＥＵグループ内の各ＥＵは、別個のＳＩＭＤハードウェアスレッドを実行するように構成されることができる。融合されたＥＵグループ内のＥＵの数は、実施形態に応じて変わり得る。さらに、限定されるものではないが、ＳＩＭＤ８、ＳＩＭＤ１６、ＳＩＭＤ３２を含む様々なＳＩＭＤ幅が、ＥＵごとに実行され得る。各融合されたグラフィックス実行ユニット１８０９Ａ－１８０９Ｎは、少なくとも２つの実行ユニットを含む。例えば、融合された実行ユニット１８０９Ａは、第１のＥＵ１８０８Ａ、第２のＥＵ１８０８Ｂ、及び第１のＥＵ１８０８Ａと第２のＥＵ１８０８Ｂに共通のスレッド制御ロジック１８０７Ａを含む。スレッド制御ロジック１８０７Ａは、融合されたグラフィックス実行ユニット１８０９Ａ上で実行されるスレッドを制御し、融合された実行ユニット１８０９Ａ－１８０９Ｎ内の各ＥＵが、共通命令ポインタレジスタを用いて実行されることを可能にする。

【0270】

１つ又は複数の内部命令キャッシュ（例えば、１８０６）は、実行ユニットに対するスレッド命令をキャッシュすべく、スレッド実行ロジック１８００に含まれる。１つ又は複数のデータキャッシュ（例えば、１８１２）は、スレッド実行中にスレッドデータをキャッシュすべく、スレッド実行ロジック１８００に含まれてよい。実行ロジック１８００で実行中のスレッドはまた、共有ローカルメモリ１８１１に、明示的に管理されているデータを格納できる。３Ｄ演算用のテクスチャサンプリング及びメディア演算用のメディアサンプリングを提供すべく、サンプラ１８１０が含まれてよい。サンプラ１８１０は、サンプリングされたデータを実行ユニットに提供する前に、サンプリング処理中にテクスチャ又はメディアデータを処理するための専用のテクスチャ又はメディアサンプリング機能を含んでよい。

【0271】

実行中に、グラフィックス及びメディアパイプラインは、スレッドスポーン及びディスパッチロジックを介して、スレッド実行ロジック１８００にスレッド開始要求を送信する。ジオメトリックオブジェクトのグループが処理されて、画素データへとラスタライズされると、シェーダプロセッサ１８０２内の画素プロセッサロジック（例えば、画素シェーダロジック、フラグメントシェーダロジックなど）が、出力情報をさらに計算するために呼び出され、出力サーフェス（例えば、カラーバッファ、デプスバッファ、ステンシルバッファなど）に結果が書き込まれるようにする。画素シェーダ又はフラグメントシェーダは、ラスタライズされたオブジェクトにわたって補間されるべき様々な頂点属性の値を計算してよい。次に、シェーダプロセッサ１８０２内の画素プロセッサロジックは、アプリケーションプログラミングインタフェース（ＡＰＩ）により供給される画素、又は、フラグメントシェーダプログラムを実行してよい。シェーダプログラムを実行するべく、シェーダプロセッサ１８０２は、スレッドディスパッチャ１８０４を介して、スレッドを実行ユニット（例えば、１８０８Ａ）にディスパッチする。シェーダプロセッサ１８０２は、サンプラ１８１０内のテクスチャサンプリングロジックを用いて、メモリに格納されているテクスチャマップ内のテクスチャデータにアクセスしてよい。テクスチャデータに対する算術演算、及び、入力されるジオメトリデータは、各ジオメトリックフラグメントに対する画素カラーデータを計算する、又は、さらなる処理から１つ又は複数の画素を破棄する。

【0272】

さらに、データポート１８１４は、グラフィックスプロセッサ出力パイプラインに対するさらなる処理のために、処理されたデータをメモリに出力すべく、スレッド実行ロジック１８００にメモリアクセスメカニズムを提供する。データポート１８１４は、データポート１８１４を介してメモリアクセスのためのデータをキャッシュする１つ又は複数のキャッシュメモリ（例えば、データキャッシュ１８１２）を含んでよい、又は、これに連結されてよい。

【0273】

オプションで、実行ロジック１８００はまた、レイトレーシングアクセラレーション機能を提供できるレイトレーサ１８０５を含むことができる。レイトレーサ１８０５は、Ｒａｙ Ｇｅｎｅｒａｔｉｏｎのための命令／機能を含むレイトレーシング命令セットをサポートできる。レイトレーシング命令セットは、図３Ｃにおけるレイトレーシングコア３７２によりサポートされているレイトレーシング命令セットに類似する、又は、異なるものとすることができる。

【0274】

図１８Ｂは、実行ユニット１８０８の例示的な内部の詳細を示す。グラフィックス実行ユニット１８０８は、命令フェッチユニット１８３７、汎用レジスタファイルアレイ（ＧＲＦ）１８２４、アーキテクチャレジスタファイルアレイ（ＡＲＦ）１８２６、スレッドアービタ１８２２、送信ユニット１８３０、分岐ユニット１８３２、ＳＩＭＤ浮動小数点ユニット（ＦＰＵ）のセット１８３４、及び、オプションで、専用の整数ＳＩＭＤ ＡＬＵのセット１８３５を含むことができる。ＧＲＦ１８２４及びＡＲＦ１８２６は、グラフィックス実行ユニット１８０８内でアクティブであってよい各同時ハードウェアスレッドと関連付けられた汎用レジスタファイル及びアーキテクチャレジスタファイルのセットを含む。スレッドごとのアーキテクチャの状態がＡＲＦ１８２６内で維持されてよい一方、スレッド実行中に用いられるデータは、ＧＲＦ１８２４内に格納される。各スレッドの命令ポインタを含む、各スレッドの実行状態は、ＡＲＦ１８２６内のスレッド固有のレジスタ内に保持されることができる。

【0275】

グラフィックス実行ユニット１８０８は、同時マルチスレッディング（ＳＭＴ）及び細粒度のインタリーブ型マルチスレッディング（ＩＭＴ）の組み合わせのアーキテクチャを有してよい。アーキテクチャは、目標の同時スレッドの数及び実行ユニットごとのレジスタの数に基づいて、設計時に微調整され得るモジュール構成を有してよく、実行ユニットのリソースが複数の同時スレッドを実行するために用いられるロジックに分割される。グラフィックス実行ユニット１８０８によって実行可能な論理スレッドの数は、ハードウェアスレッドの数に限定はされるものではなく、複数の論理スレッドが各ハードウェアスレッドに割り当てられることができる。

【0276】

オプションで、グラフィックス実行ユニット１８０８は、それぞれが異なる命令であり得る複数の命令を共同発行できる。グラフィックス実行ユニットのスレッド１８０８のスレッドアービタ１８２２は、実行のために、送信ユニット１８３０、分岐ユニット１８３２、又は、ＳＩＭＤ ＦＰＵ１８３４のうちの１つに命令をディスパッチすることができる。各実行スレッドは、ＧＲＦ１８２４内の１２８個の汎用レジスタにアクセスでき、各レジスタは、３２ビットデータ要素のＳＩＭＤ８－要素ベクトルとしてアクセス可能な３２バイトを格納できる。各実行ユニットのスレッドは、ＧＲＦ１８２４内の４Ｋバイトへのアクセスを有してよいが、実施形態ではそのようには限定されず、他の実施形態においては、より多い又はより少ない数のレジスタリソースが提供されてよい。グラフィックス実行ユニット１８０８は、計算演算を独立して実行できる７個のハードウェアスレッドにパーティション化されてよいが、実行ユニットごとのスレッド数は、実施形態に従って変わってもよく、例えば、最大で１６個のハードウェアスレッドをサポートすることもできる。７個のスレッドが４Ｋバイトにアクセスしてよい例示的な実施形態においては、ＧＲＦ１８２４は、合計２８Ｋバイトを格納してよい。別の例示的な実施形態では、１６個のスレッドは、４Ｋバイトにアクセスしてよく、ＧＲＦ１８２４は、合計６４Ｋバイトを格納できる。しかしながら、実行ユニットごとのスレッド数は、これらの例に限定はされず、所定の数よりも多くてよい又は少なくてよい。柔軟なアドレス指定モードにより複数のレジスタが一緒にアドレス指定されることを許容することができ、効果的により幅広いレジスタを構築する、又は、ストライド矩形ブロックデータ構造を表す。

【0277】

さらに、又は、あるいは、メモリ演算、サンプラ演算及び他のより長いレイテンシのシステム通信は、メッセージパッシングを送信ユニット１８３０により実行される「送信」命令を介してディスパッチされてよい。分岐命令は、ＳＩＭＤ発散及び最終的な収束を促進するための専用の分岐ユニット１８３２にディスパッチされてよい。

【0278】

グラフィックス実行ユニット１８０８は、浮動小数点演算を実行する１つ又は複数のＳＩＭＤ浮動小数点ユニット（ＦＰＵ）１８３４を含んでよい。ＦＰＵ１８３４は、整数計算をサポートしてもよい。いくつかの例において、ＦＰＵ１８３４は、最大でＭ個の３２ビットの浮動小数点（又は、整数）演算をＳＩＭＤ実行でき、又は、最大で２Ｍ個の１６ビット整数又は１６ビットの浮動小数点演算をＳＩＭＤ実行できる。オプションで、ＦＰＵのうちの少なくとも１つは、ハイスループットで卓越した数学関数及び倍精度の１８４ビットの浮動小数点をサポートする拡張型数学機能を提供する。８ビットの整数ＳＩＭＤ ＡＬＵ１８３５のセットが存在してもよく、具体的には、機械学習計算と関連付けられる演算を実行するために最適化されてよい。

【0279】

オプションで、グラフィックス実行ユニット１８０８の複数のインスタンスのアレイは、グラフィックスサブコアグループ（例えば、サブスライス）にインスタンス化されることができる。スケーラビリティについては、製品設計者がサブコアごとにグループした実行ユニットの正確な数を選択できる。実行ユニット１８０８は、複数の実行チャネルにわたって命令を実行してよい。さらに、グラフィックス実行ユニット１８０８上で実行される各スレッドは、異なるチャネル上で実行されてよい。

【0280】

図１９は、さらに例示的な実行ユニット１９００を示す。本明細書における任意の他の図面の要素と同一又は類似の名称を有する図１９の要素は、他の図面にある同一の要素について説明しており、本明細書における他の箇所での説明と同様に、それと同様に動作又は機能でき、同一のコンポーネントを備えることができ、他の要素にリンクされることができるが、そのように限定されることはない。実行ユニット１９００は、例えば、図１６Ｃにあるような計算エンジンタイル１６４０Ａ－１６４０Ｄでの使用のための計算が最適化された実行ユニットであってよいが、これに限定されるものではない。実行ユニット１９００はまた、図１６Ｂにあるようなグラフィックスエンジンタイル１６１０Ａ－１６１０Ｄにおいて用いられてよい。実行ユニット１９００は、スレッド制御ユニット１９０１、スレッド状態ユニット１９０２、命令フェッチ／プリフェッチユニット１９０３、及び、命令デコードユニット１９０４を含んでよい。さらに、実行ユニット１９００は、実行ユニット内のハードウェアスレッドに割り当てられることができるレジスタを格納するレジスタファイル１９０６を含んでよい。さらに、実行ユニット１９００は、送信ユニット１９０７及び分岐ユニット１９０８を含んでよい。送信ユニット１９０７及び分岐ユニット１９０８は、図１８Ｂのグラフィックス実行ユニット１８０８の送信ユニット１８３０及び分岐ユニット１８３２と同様に動作してよい。

【0281】

実行ユニット１９００は、複数の異なるタイプの機能ユニットを含む計算ユニット１９１０を含むこともできる。計算ユニット１９１０はまた、算術論理ユニットのアレイを含むＡＬＵユニット１９１１を含んでよい。ＡＬＵユニット１９１１は、６４ビット、３２ビット及び１６ビットの整数及び浮動小数点演算を実行するように構成されることができる。整数及び浮動小数点演算は、同時に実行されてよい。計算ユニット１９１０は、シストリックアレイ１９１２及び数学ユニット１９１３を含むこともできる。シストリックアレイ１９１２は、シストリック方式でベクトル演算又は他のデータ並列演算を行うのに用いられ得るデータ処理ユニットのＷ幅及びＤ深さのネットワークを含む。シストリックアレイ１９１２は、行列ドット積演算などの行列演算を実行するように構成されることができる。シストリックアレイ１９１２は、１６ビットの浮動小数点演算、並びに、８ビット及び４ビット整数演算をサポートしてよい。シストリックアレイ１９１２は、機械学習演算をアクセラレートするように構成され得る。シストリックアレイ１９１２は、ｂｆｌｏａｔ１６、１６ビット浮動小数点フォーマットをサポートするように構成されることができる。ＡＬＵユニット１９１１よりも効率的かつ低電力な方式で数学演算の特定のサブセットを実行するために、数学ユニット１９１３が含まれることができる。数学ユニット１９１３は、説明した他の実施形態、例えば、図１７の共有機能ロジック１７２０の数学ロジック１７２２により提供されるグラフィックス処理エンジンの共有機能ロジックで見つけられる数学ロジックを含むことができる。数学ユニット１９１３は、３２ビット及び６４ビットの浮動小数点演算を実行するように構成されることができる。

【0282】

スレッド制御ユニット１９０１は、実行ユニット内のスレッドの実行を制御するロジックを含む。スレッド制御ユニット１９０１は、実行ユニット１９００内のスレッドの実行を開始、停止及びプリエンプトするためのスレッドアービトレーションロジックを含むことができる。スレッド状態ユニット１９０２は、実行ユニット１９００上で実行するように割り当てられるスレッドのスレッド状態を格納するために用いられることができる。実行ユニット１９００内のスレッド状態を格納することで、これらのスレッドがブロック又はアイドルになったとき、スレッドの迅速なプリエンプトを可能にする。命令フェッチ／プリフェッチユニット１９０３は、より高レベルな実行ロジックの命令キャッシュ（例えば、図１８Ａの命令キャッシュ１８０６）から命令をフェッチすることができる。命令フェッチ／プリフェッチユニット１９０３は、現在実行中のスレッドの解析に基づいて、命令キャッシュにロードされる命令に対するプリフェッチリクエストを発行することもできる。命令デコードユニット１９０４は、計算ユニットにより実行される命令をデコードするために用いられることができる。命令デコードユニット１９０４は、複合命令を構成マイクロオペレーションにデコードするための二次デコーダとして用いられることができる。

【0283】

さらに、実行ユニット１９００は、実行ユニット１９００上で実行するハードウェアスレッドにより用いられることができるレジスタファイル１９０６を含む。レジスタファイル１９０６内のレジスタは、実行ユニット１９００の計算ユニット１９１０内で複数の同時スレッドを実行するために用いられるロジックにわたって分割されることができる。グラフィックス実行ユニット１９００により実行され得る論理スレッドの数は、ハードウェアスレッドの数に限定されるものではなく、複数の論理スレッドは、各ハードウェアスレッドに割り当てられることができる。レジスタファイル１９０６のサイズは、サポートされるハードウェアスレッドの数に基づいて、実施形態にわたって変わることができる。レジスタリネーミングは、レジスタをハードウェアスレッドに動的に割り当てるために用いられてよい。

【0284】

図２０は、グラフィックスプロセッサの命令フォーマット２０００を示すブロック図である。グラフィックスプロセッサ実行ユニットは、複数のフォーマットの命令を有する命令セットをサポートする。実線の枠は、一般に実行ユニット命令に含まれるコンポーネントを示し、破線は、任意選択のコンポーネント又は命令のサブセットだけに含まれるコンポーネントを含む。説明され図示される命令フォーマット２０００は、命令が処理された時点の命令デコードから得られたマイクロオペレーションとは対照的に、実行ユニットに供給される命令であるという点で、マクロ命令である。

【0285】

本明細書で説明されるように、グラフィックスプロセッサ実行ユニットは、１２８ビットの命令フォーマット２０１０の命令をネイティブサポートしてよい。選択された命令、命令オプション及びオペランド数に基づいて、６４ビットの圧縮命令フォーマット２０３０が、いくつかの命令に利用可能である。ネイティブの１２８ビットの命令フォーマット２０１０は、すべての命令オプションへのアクセスを提供する一方、いくつかのオプション及び演算は、６４ビットのフォーマット２０３０に制限されている。６４ビットのフォーマット２０３０で利用可能なネイティブ命令は、実施形態により変わる。インデックスフィールド２０１３内のインデックス値のセットを用いて、命令は部分的に圧縮される。実行ユニットのハードウェアは、インデックス値に基づいて圧縮テーブルのセットを参照し、圧縮テーブルの出力を使用して、ネイティブ命令を１２８ビットの命令フォーマット２０１０で再構成する。他のサイズ及びフォーマットの命令を用いることができる。

【0286】

各フォーマットについて、命令オペコード２０１２は、実行ユニットが実行する演算を規定する。実行ユニットは、各オペランドの複数のデータ要素にわたって、各命令を並行して実行する。例えば、加算命令に応答して、実行ユニットは、テクスチャ要素又はピクチャ要素を表す各カラーチャネルに対して同時加算演算を実行する。デフォルトでは、実行ユニットは、オペランドのすべてのデータチャネルに対して各命令を行う。命令制御フィールド２０１４は、チャネル選択（例えば、プレディケーション）及びデータチャネルオーダ（例えば、スウィズル）などの特定の実行オプションに対する制御を可能にしてよい。１２８ビットの命令フォーマット２０１０の命令について、実行サイズフィールド２０１６は、並行して実行されるデータチャネルの数を制限する。実行サイズフィールド２０１６は、６４ビットの圧縮命令フォーマット２０３０で用いるには、利用可能でない可能性がある。

【0287】

いくつかの実行ユニット命令は、２つのソースオペランド、ｓｒｃ０ ２０２０、ｓｒｃ１ ２０２２及び１つのデスティネーション２０１８を含む最大で３つのオペランドを有する。実行ユニットは、デュアルデスティネーション命令をサポートしてよく、デスティネーションのうちの１つが暗示される。データ操作命令は、第３ソースオペランド（例えば、ＳＲＣ２ ２０２４）を有することができ、命令オペコード２０１２がソースオペランドの数を判定する。命令の最後のソースオペランドは、命令と共に送られる直の（例えば、ハードコードされた）値とすることができる。

【0288】

１２８ビットの命令フォーマット２０１０は、例えば、直接レジスタアドレス指定モード又は間接レジスタアドレス指定モードが用いられるかを指定するアクセス／アドレスモードフィールド２０２６を含んでよい。直接レジスタアドレス指定モードが用いられる場合、１つ又は複数のオペランドのレジスタアドレスは、命令内のビットにより直接提供される。

【0289】

１２８ビットの命令フォーマット２０１０はまた、命令に対するアドレスモード及び／又はアクセスモードを指定するアクセス／アドレスモードフィールド２０２６を含んでよい。アクセスモードは、命令のデータアクセスアライメントを規定するために用いられてよい。１６バイトアライン型のアクセスモード及び１バイトアライン型のアクセスモードを含むアクセスモードをサポートしてよく、この場合、アクセスモードのバイトアライメントが命令オペランドのアクセスアライメントを判定する。例えば、第１のモードの場合、命令は、バイトアライン型のアドレス指定をソースオペランド及びデスティネーションオペランドに用いてよく、第２のモードの場合、命令は、１６バイトでアラインしたアドレス指定をすべてのソースオペランド及びデスティネーションオペランドに用いてよい。

【0290】

アクセス／アドレスモードフィールド２０２６のアドレスモード部分は、命令が直接アドレス指定又は間接アドレス指定のいずれを使用するかを判定してよい。直接レジスタアドレス指定モードが用いられる場合、命令内のビットが１つ又は複数のオペランドのレジスタアドレスを直接提供する。間接レジスタアドレス指定モードが用いられる場合、１つ又は複数のオペランドのレジスタアドレスが、命令内のアドレスレジスタ値及びアドレス即値フィールドに基づいて計算されてよい。

【0291】

命令は、オペコードデコード２０４０を単純化するべく、オペコード２０１２ビットフィールドに基づいてグループ化されてよい。８ビットのオペコードに対して、ビット４、５及び６は、実行ユニットがオペコードのタイプを判定することを可能にする。示されている、まさにそのオペコードのグループは、単なる一例である。移動及びロジックオペコードグループ２０４２は、データ移動及びロジック命令（例えば、移動（ｍｏｖ）、比較（ｃｍｐ））を含んでよい。移動及びロジックグループ２０４２は、５つの最下位ビット（ＬＳＢ）を共有してよく、ここで、移動（ｍｏｖ）命令は００００ｘｘｘｘｂの形式であり、ロジック命令は０００１ｘｘｘｘｂの形式である。フロー制御命令グループ２０４４（例えば、呼び出し、ジャンプ（ｊｍｐ））は、００１０ｘｘｘｘｂ（例えば、０ｘ２０）の形式の命令を含む。各種命令グループ２０４６は、命令の混合を含み、００１１ｘｘｘｘｂ（例えば、０ｘ３０）の形式の同期命令（例えば、待機、送信）を含む。並列数学命令グループ２０４８は、０１００ｘｘｘｘｂ（例えば、０ｘ４０）の形式のコンポーネントに関する算術命令（例えば、加算、乗算（ｍｕｌ））を含む。並列数学グループ２０４８は、データチャネルに並行して算術演算を実行する。ベクトル数学グループ２０５０は、０１０１ｘｘｘｘｂ（例えば、０ｘ５０）の形式の算術命令（例えば、ｄｐ４）を含む。ベクトル数学グループは、ベクトルオペランドに対して、ドット積計算などの算術を行う。一実施形態において、示されたオペコードデコード２０４０を用いて、実行ユニットのどの部分が、デコードされた命令の実行に用いられるかを判定できる。例えば、いくつかの命令は、シストリックアレイにより実行されるシストリック命令に指定されてよい。レイトレーシング命令（図示されていない）などの他の命令が、実行ロジックのスライス又はパーティション内のレイトレーシングコア又はレイトレーシングロジックに送られることができる。
［グラフィックスパイプライン］

【0292】

図２１は、別の実施形態に係るグラフィックスプロセッサ２１００のブロック図である。本明細書における任意の他の図面の要素と同一又は類似の名称を有する図２１の要素は、他の図面にある同一の要素について説明しており、本明細書における他の箇所での説明と同様に、それと同様に動作又は機能してよく、同一のコンポーネントを備えてよく、他の要素にリンクされてよいが、そのように限定されることはない。

【0293】

グラフィックスプロセッサ２１００は、ジオメトリパイプライン２１２０、メディアパイプライン２１３０、ディスプレイエンジン２１４０、スレッド実行ロジック２１５０及びレンダー出力パイプライン２１７０など、異なるタイプのグラフィックス処理パイプラインを含んでよい。グラフィックスプロセッサ２１００は、１つ又は複数の汎用処理コアを含むマルチコア処理システム内のグラフィックスプロセッサであってよい。グラフィックスプロセッサは、１つ又は複数の制御レジスタ（図示されていない）に書き込まれるレジスタにより、又は、リングインターコネクト２１０２を介してグラフィックスプロセッサ２１００に発行されるコマンドを介して制御されてよい。リングインターコネクト２１０２は、グラフィックスプロセッサ２１００を、他のグラフィックスプロセッサ又は汎用プロセッサなどの他の処理コンポーネントに連結してよい。リングインターコネクト２１０２からのコマンドは、ジオメトリパイプライン２１２０又はメディアパイプライン２１３０の個別のコンポーネントに命令を供給するコマンドストリーマ２１０３により解釈される。

【0294】

コマンドストリーマ２１０３は、メモリから頂点データを読み出す頂点フェッチャ２１０５の演算を命令してよく、コマンドストリーマ２１０３により提供される頂点処理コマンドを実行する。頂点フェッチャ２１０５は、頂点データを頂点シェーダ２１０７に提供してよく、頂点シェーダ２１０７は、各頂点に座標空間変換及びライティング（ｌｉｇｈｔｉｎｇ）演算を実行する。頂点フェッチャ２１０５及び頂点シェーダ２１０７は、スレッドディスパッチャ２１３１を介して実行ユニット２１５２Ａ－２１５２Ｂに実行スレッドをディスパッチすることにより、頂点処理命令を実行してよい。

【0295】

実行ユニット２１５２Ａ－２１５２Ｂは、グラフィックス及びメディア演算を実行するための命令セットを有するベクトルプロセッサのアレイであってよい。実行ユニット２１５２Ａ－２１５２Ｂは、各アレイに対して固有である、又は、アレイ間で共有される付属のＬ１キャッシュ２１５１を有してよい。キャッシュは、異なるパーティションにデータ及び命令を含むようにパーティション化されるデータキャッシュ、命令キャッシュ、又は、単一のキャッシュとして構成されることができる。

【0296】

ジオメトリパイプライン２１２０は、３Ｄオブジェクトのハードウェアアクセラレーテッドテセレーションを実行するテセレーションコンポーネントを含んでよい。プログラマブルハルシェーダ２１１１は、テセレーション演算を構成してよい。プログラマブルドメインシェーダ２１１７は、テセレーション出力のバックエンド評価を提供してよい。テセレータ２１１３は、ハルシェーダ２１１１の指示で動作してよく、ジオメトリパイプライン２１２０への入力として提供される粗いジオメトリックモデルに基づいて、詳細なジオメトリックオブジェクトのセットを生成する専用ロジックを含んでよい。さらに、テセレーションが用いられない場合、テセレーションコンポーネント（例えば、ハルシェーダ２１１１、テセレータ２１１３及びドメインシェーダ２１１７）はバイパスされることができる。

【0297】

完全なジオメトリックオブジェクトは、実行ユニット２１５２Ａ－２１５２Ｂにディスパッチされる１つ又は複数のスレッドを介してジオメトリシェーダ２１１９により処理されてよい、又は、クリッパ２１２９に直接進むことができる。ジオメトリシェーダは、グラフィックスパイプラインの前のステージにあるような頂点又は頂点のパッチよりもむしろ、ジオメトリックオブジェクト全体に対して動作してよい。テセレーションが無効である場合、ジオメトリシェーダ２１１９は、頂点シェーダ２１０７からの入力を受信する。ジオメトリシェーダ２１１９は、テセレーションユニットが無効である場合に、ジオメトリテセレーションを実行するジオメトリシェーダプログラムによりプログラマブルであってよい。

【0298】

ラスタライズの前に、クリッパ２１２９は、頂点データを処理する。クリッパ２１２９は、固定機能クリッパ、又は、クリッピング及びジオメトリシェーダ機能を有するプログラマブルクリッパであってよい。レンダー出力パイプライン２１７０におけるラスタライザ及びデプステストコンポーネント２１７３は、画素表現ごとにジオメトリックオブジェクトを変換するために、画素シェーダをディスパッチしてよい。画素シェーダロジックは、スレッド実行ロジック２１５０に含まれてよい。オプションで、アプリケーションは、ラスタライザ及びデプステストコンポーネント２１７３をバイパスし、ストリームアウトユニット２１２３を介して、ラスタライズされていない頂点データにアクセスすることができる。

【0299】

グラフィックスプロセッサ２１００は、インターコネクトバス、インターコネクトファブリック、又は、プロセッサの主要なコンポーネント間でデータ及びメッセージの受け渡しを可能にするいくつかの他のインターコネクトメカニズムを有する。いくつかの実施形態において、実行ユニット２１５２Ａ－２１５２Ｂ及び関連する論理ユニット（例えば、Ｌ１キャッシュ２１５１、サンプラ２１５４、テクスチャキャッシュ２１５８など）は、メモリアクセスを実行するために、データポート２１５６を介してインターコネクトし、プロセッサのレンダー出力パイプラインコンポーネントと通信する。サンプラ２１５４、キャッシュ２１５１、２１５８及び実行ユニット２１５２Ａ－２１５２Ｂはそれぞれ、別個のメモリアクセスパスを有してよい。オプションで、テクスチャキャッシュ２１５８は、サンプラキャッシュとして構成されることもできる。

【0300】

レンダー出力パイプライン２１７０は、頂点ベースのオブジェクトを関連する画素ベースの表現に変換するラスタライザ及びデプステストコンポーネント２１７３を含んでよい。ラスタライザロジックは、固定機能三角形及び線ラスタライズを実行するウィンドウア（ｗｉｎｄｏｗｅｒ）／マスカ（ｍａｓｋｅｒ）ユニットを含んでよい。関連するレンダーキャッシュ２１７８及びデプスキャッシュ２１７９はまた、いくつかの実施形態において利用可能である。画素演算コンポーネント２１７７は、データに対して画素ベースの演算を実行するが、いくつかの例では、２Ｄ演算と関連付けられる画素演算（例えば、ブレンディングを伴うビットブロック画像転送）が、２Ｄエンジン２１４１により実行される、又は、オーバレイディスプレイプレーンを用いてディスプレイコントローラ２１４３により表示時に置き換えられる。共有Ｌ３キャッシュ２１７５は、すべてのグラフィックスコンポーネントに利用可能であってよく、メインシステムメモリを用いることなくデータを共有することが可能となる。

【0301】

グラフィックスプロセッサメディアパイプライン２１３０は、メディアエンジン２１３７及びビデオフロントエンド２１３４を含んでよい。ビデオフロントエンド２１３４は、コマンドストリーマ２１０３からパイプラインコマンドを受信してよい。メディアパイプライン２１３０は、別個のコマンドストリーマを含んでよい。ビデオフロントエンド２１３４は、メディアコマンドをメディアエンジン２１３７に送信する前に、当該コマンドを処理してよい。メディアエンジン２１３７は、スレッドディスパッチャ２１３１を介してスレッド実行ロジック２１５０にディスパッチするためのスレッドをスポーンするためのスレッドスポーン機能を含んでよい。

【0302】

グラフィックスプロセッサ２１００は、ディスプレイエンジン２１４０を含んでよい。ディスプレイエンジン２１４０は、プロセッサ２１００の外部にあってよく、リングインターコネクト２１０２、又は、いくつかの他のインターコネクトバス又はファブリックを介してグラフィックスプロセッサと連結してよい。ディスプレイエンジン２１４０は、２Ｄエンジン２１４１及びディスプレイコントローラ２１４３を含でよい。ディスプレイエンジン２１４０は、３Ｄパイプラインとは独立して動作できる専用ロジックを含んでよい。ディスプレイコントローラ２１４３は、ディスプレイデバイス（図示されていない）と連結してよく、ラップトップコンピュータにあるようなシステム統合型のディスプレイデバイス、又は、ディスプレイデバイスコネクタを介して取り付けられる外部ディスプレイデバイスであってよい。

【0303】

ジオメトリパイプライン２１２０及びメディアパイプライン２１３０は、複数のグラフィックス及びメディアプログラミングインタフェースに基づいて演算を実行するように構成可能されてよく、任意の１つのアプリケーションプログラミングインタフェース（ＡＰＩ）に固有のものではない。グラフィックスプロセッサのためのドライバソフトウェアは、特定のグラフィックス又はメディアライブラリに固有であるＡＰＩコールを、グラフィックスプロセッサにより処理されることができるコマンドに変換してよい。オープングラフィックライブラリ（ＯｐｅｎＧＬ）、オープンコンピューティング言語（ＯｐｅｎＣＬ）、及び／又は、Ｖｕｌｋａｎグラフィック及び計算ＡＰＩに対し、すべてＫｈｒｏｎｏｓグループからサポートが提供されてよい。サポートはまた、マイクロソフト社からのＤｉｒｅｃｔ３Ｄライブラリに対して提供されてよい。これらのライブラリの組み合わせがサポートされてよい。オープンソースのコンピュータビジョンライブラリ（ＯｐｅｎＣＶ）にもサポートが提供されてよい。３Ｄパイプラインとの互換性を有する将来のＡＰＩはまた、将来のＡＰＩのパイプラインからグラフィックスプロセッサのパイプラインへとマッピングが行われることができる場合にサポートされるだろう。
［グラフィックスパイプラインプログラミング］

【0304】

図２２Ａは、図１６Ａ、図１７、図２１と共に本明細書で説明される、例えばパイプラインなどのグラフィックス処理パイプラインをプログラミングするために用いられるグラフィックスプロセッサコマンドフォーマット２２００を示すブロック図である。図２２Ｂは、実施形態に係るグラフィックスプロセッサコマンドシーケンス２２１０を示すブロック図である。図２２Ａの実線の枠は、一般にグラフィックスコマンドに含まれるコンポーネントを示す一方、破線は、オプションである、又は、グラフィックスコマンドのサブセットのみに含まれるコンポーネントを含む。図２２Ａの例示的なグラフィックスプロセッサコマンドフォーマット２２００は、クライアント２２０２、コマンドオペレーションコード（オペコード）２２０４及びコマンドに対するデータ２２０６を識別するデータフィールドを含む。サブオペコード２２０５及びコマンドサイズ２２０８もいくつかのコマンドに含まれている。

【0305】

クライアント２２０２は、コマンドデータを処理するグラフィックスデバイスのクライアントユニットを指定してよい。グラフィックスプロセッサコマンドパーサは、各コマンドのクライアントフィールドを検査して、コマンドのさらなる処理を条件付けてよく、適切なクライアントユニットにコマンドデータをルーティングする。グラフィックスプロセッサクライアントユニットは、メモリインタフェースユニット、レンダユニット、２Ｄユニット、３Ｄユニット及びメディアユニットを含んでよい。各クライアントユニットは、コマンドを処理する対応する処理パイプラインを有してよい。クライアントユニットによりコマンドが受信されると、クライアントユニットは、オペコード２２０４及び、存在する場合、サブオペコード２２０５を読み出して、実行する演算を判定する。クライアントユニットは、データフィールド２２０６内の情報を用いてコマンドを実行する。いくつかのコマンドについて、コマンドのサイズを指定するために、明示的なコマンドサイズ２２０８が予期される。コマンドパーサは、コマンドオペコードに基づいてコマンドの少なくともいくつかのサイズを自動的に判定してよい。コマンドは、複数のダブルワードを介してアラインされてよい。他のコマンドフォーマットを用いることもできる。

【0306】

図２２Ｂのフロー図は、例示的なグラフィックスプロセッサコマンドシーケンス２２１０を示す。例示的なグラフィックスプロセッサを特徴付けるデータ処理システムのソフトウェア又はファームウェアは、グラフィックス演算のセットを設定、実行及び終了するための図示されたコマンドシーケンスのバージョンを用いてよい。例示の目的のみで、サンプルのコマンドシーケンスが示され、説明されており、これらの特定のコマンド又はこのコマンドシーケンスに限定されるものではない。更に、コマンドは、コマンドシーケンスにおいてコマンドのバッチとして発行されてよく、その結果、グラフィックスプロセッサは、少なくとも部分的に同時にコマンドのシーケンスを処理する。

【0307】

グラフィックスプロセッサコマンドシーケンス２２１０は、パイプラインフラッシュコマンド２２１２で開始して、任意のアクティブなグラフィックスパイプラインにパイプラインに対して現在保留中のコマンドを遂行させてよい。オプションで、３Ｄパイプライン２２２２及びメディアパイプライン２２２４は、同時に動作しなくてよい。アクティブなグラフィックスパイプラインに、任意の保留中のコマンドを遂行させるために、パイプラインフラッシュが実行される。パイプラインフラッシュに応答して、グラフィックスプロセッサのコマンドパーサは、アクティブな描画エンジンが保留オペレーションを遂行して関連する読み出しキャッシュが無効になるまで、コマンド処理を一時停止することになる。オプションで、レンダリングキャッシュ内の、「ダーティ（ｄｉｒｔｙ）」とマークされた任意のデータがメモリにフラッシュされることができる。パイプラインフラッシュコマンド２２１２は、パイプライン同期のために、又は、グラフィックスプロセッサを低電力状態にする前に用いられることができる。

【0308】

コマンドシーケンスが、グラフィックスプロセッサにパイプライン間で明示的に切り替えることを要求するときに、パイプライン選択コマンド２２１３が用いられてよい。パイプライン選択コマンド２２１３は、コンテキストが両方のパイプラインにコマンドを発行しない限り、パイプラインコマンドを発行する前に実行コンテキスト内で１度のみ要求され得る。パイプライン選択コマンド２２１３を介したパイプラインスイッチの直前に、パイプラインフラッシュコマンド２２１２が要求されてよい。

【0309】

パイプライン制御コマンド２２１４は、演算のためのグラフィックスパイプラインを構成してよく、３Ｄパイプライン２２２２及びメディアパイプライン２２２４をプログラムするために用いられてよい。パイプライン制御コマンド２２１４は、アクティブなパイプラインのパイプライン状態を構成してよい。パイプライン制御コマンド２２１４は、パイプライン同期のために、かつ、コマンドのバッチを処理する前にアクティブなパイプライン内の１つ又は複数のキャッシュメモリからのデータをクリアするために用いられてよい。

【0310】

リターンバッファ状態コマンド２２１６は、データを書き込むために、それぞれのパイプラインに対してリターンバッファのセットを構成するために用いられてよい。いくつかのパイプライン操作は、動作が処理中に中間データを書き込む１つ又は複数のリターンバッファの割り当て、選択、又は構成を必要とする。グラフィックスプロセッサはまた、出力データを格納し、クロススレッド通信を実行するために１つ又は複数のリターンバッファを用いてよい。リターンバッファ状態２２１６は、パイプライン操作のセットに用いるために、リターンバッファのサイズ及び数を選択することを含んでよい。

【0311】

コマンドシーケンス内の残りのコマンドは、演算のためにアクティブなパイプラインに基づいて異なる。パイプライン判定２２２０に基づいて、コマンドシーケンスは、３Ｄパイプライン状態２２３０で始まる３Ｄパイプライン２２２２、又は、メディアパイプライン状態２２４０で始まるメディアパイプライン２２２４に調整される。

【0312】

３Ｄパイプライン状態２２３０を構成するコマンドは、頂点バッファ状態、頂点要素状態、一定のカラー状態、デプスバッファ状態、及び、３Ｄプリミティブコマンドが処理される前に構成されるべき他の状態変数に対する３Ｄ状態設定コマンドを含む。これらのコマンドの値は、使用中の特定の３Ｄ ＡＰＩに基づいて少なくとも部分的に判定される。３Ｄパイプライン状態２２３０コマンドはまた、これらの要素が用いられていない場合に、一定のパイプライン要素を選択的に無効にする又はバイパスすることができ得る。

【0313】

３Ｄプリミティブ２２３２コマンドは、３Ｄパイプラインにより処理される３Ｄプリミティブを提示するために用いられてよい。３Ｄプリミティブ２２３２コマンドを介してグラフィックスプロセッサに渡されるコマンド及び関連するパラメータは、グラフィックスパイプラインの頂点フェッチ機能に転送される。頂点フェッチ機能は、３Ｄプリミティブ２２３２コマンドデータを用いて、頂点データ構造体を生成する。頂点データ構造体は、１つ又は複数のリターンバッファに格納される。３Ｄプリミティブ２２３２コマンドは、頂点シェーダを介して３Ｄプリミティブに対する頂点演算を実行するために用いられてよい。頂点シェーダを処理するために、３Ｄパイプライン２２２２は、シェーダ実行スレッドをグラフィックスプロセッサ実行ユニットにディスパッチする。

【0314】

３Ｄパイプライン２２２２は、実行２２３４コマンド又はイベントを介してトリガされてよい。レジスタは、トリガコマンド実行を書き込んでよい。実行は、コマンドシーケンス内の「ｇｏ」、又は、「ｋｉｃｋ」コマンドを介してトリガされてよい。コマンド実行は、グラフィックスパイプラインを通じてコマンドシーケンスをフラッシュするパイプライン同期コマンドを用いてトリガされてよい。３Ｄパイプラインは、３Ｄプリミティブに対してジオメトリ処理を実行する。演算が完了すると、結果として得られるジオメトリックオブジェクトがラスタライズされ、画素エンジンは結果として得られる画素に色をつける。画素シェーディング及び画素バックエンド演算を制御するために、これらの演算に対して、追加のコマンドが含まれてもよい。

【0315】

グラフィックスプロセッサコマンドシーケンス２２１０は、メディア演算を実行する場合、メディアパイプライン２２２４パスに従ってよい。一般に、メディアパイプライン２２２４に対するプログラミングの特定の使用及び方式は、実行されるメディア及び計算演算に依存する。特定のメディアデコード演算は、メディアデコード中にメディアパイプラインにオフロードされてよい。メディアパイプラインは、バイパスされることもでき、メディアデコードは、１つ又は複数の汎用処理コアにより提供されるリソースを全体的に又は部分的に用いて実行されることができる。メディアパイプラインはまた、汎用グラフィックスプロセッサユニット（ＧＰＧＰＵ）演算のための要素を含んでよく、グラフィックスプロセッサは、グラフィックスプリミティブのレンダリングに明示的には関連していない計算シェーダプログラムを用いてＳＩＭＤベクトル演算を実行するために用いられる。

【0316】

メディアパイプライン２２２４は、３Ｄパイプライン２２２２と類似の方式で構成されてよい。メディアパイプライン状態２２４０を構成するコマンドのセットは、メディアオブジェクトコマンド２２４２の前に、コマンドキューにディスパッチされる、又は、置かれる。メディアパイプライン状態２２４０に対するコマンドは、メディアオブジェクトをプロセスするために用いられるメディアパイプライン要素を構成するデータを含んでよい。これは、エンコード又はデコードフォーマットなど、メディアパイプライン内のビデオデコード及びビデオエンコードロジックを構成するデータを含む。メディアパイプライン状態２２４０に対するコマンドはまた、状態設定のバッチを含む「間接」状態要素に対する１つ又は複数のポインタの使用をサポートしてよい。

【0317】

メディアオブジェクトコマンド２２４２は、メディアパイプラインによる処理のために、メディアオブジェクトにポインタを供給してよい。メディアオブジェクトは、処理されるビデオデータを含むメモリバッファを含む。オプションで、すべてのメディアパイプライン状態は、メディアオブジェクトコマンド２２４２を発行する前に有効である必要がある。パイプライン状態が構成され、メディアオブジェクトコマンド２２４２がキューイングされると、メディアパイプライン２２２４は、実行コマンド２２４４又同等の実行イベント（例えば、レジスタ書き込み）を介してトリガされる。次に、メディアパイプライン２２２４からの出力は、３Ｄパイプライン２２２２又はメディアパイプライン２２２４により提供される演算のために後処理されてよい。ＧＰＧＰＵ演算は、メディア演算と類似の方式で構成及び実行されてよい。
［グラフィックスソフトウェアアーキテクチャ］

【0318】

図２３は、データ処理システム２３００の例示的なグラフィックスソフトウェアアーキテクチャを示す。そのようなソフトウェアアーキテクチャは、３Ｄグラフィックスアプリケーション２３１０、オペレーティングシステム２３２０及び少なくとも１つのプロセッサ２３３０を含んでよい。プロセッサ２３３０は、グラフィックスプロセッサ２３３２、及び、１つ又は複数の汎用プロセッサコア２３３４を含んでよい。プロセッサ２３３０は、プロセッサ１４０２、又は、本明細書で説明される任意の他のプロセッサの変形例であってよい。プロセッサ２３３０は、プロセッサ１４０２、又は、本明細書で説明される任意他のプロセッサの代わりに用いられてよい。したがって、本明細書で説明されるプロセッサ１４０２又は任意のその他プロセッサと組み合わせた任意の特徴の開示はまた、そのように限定されるものではないが、グラフィックスプロセッサ２３３０との対応する組み合わせを開示する。さらに、本明細書における任意の他の図面の要素と同一又は類似の名称を有する図２３の要素は、他の図面にある同一の要素について説明しており、本明細書における他の箇所での説明と同様に、それと同様に動作又は機能でき、同一のコンポーネントを備えることができ、他の要素にリンクされることができるが、そのように限定されることはない。グラフィックスアプリケーション２３１０及びオペレーティングシステム２３２０はそれぞれ、データ処理システムのシステムメモリ２３５０において実行される。

【0319】

３Ｄグラフィックスアプリケーション２３１０は、シェーダ命令２３１２を含む１つ又は複数のシェーダプログラムを含んでよい。シェーダ言語命令は、例えば、Ｄｉｒｅｃｔ３Ｄの高レベルシェーダ言語（ＨＬＳＬ）及びＯｐｅｎＧＬシェーダ言語（ＧＬＳＬ）などの高レベルシェーダ言語におけるものであってよい。アプリケーションはまた、汎用プロセッサコア２３３４による実行に適した機械言語における実行可能命令２３１４を含んでよい。アプリケーションは、頂点データにより規定されるグラフィックスオブジェクト２３１６を含んでもよい。

【0320】

いくつかの実施形態において、オペレーティングシステム２３２０は、マイクロソフト社のＭｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、プロプライエタリＵＮＩＸ（登録商標）様式のオペレーティングシステム、又は、Ｌｉｎｕｘ（登録商標）カーネルの変形例を用いたオープンソースＵＮＩＸ（登録商標）様式のオペレーティングシステムであってよい。オペレーティングシステム２３２０は、Ｄｉｒｅｃｔ３Ｄ ＡＰＩ、ＯｐｅｎＧＬ ＡＰＩ又はＶｕｌｋａｎ ＡＰＩなどのグラフィックスＡＰＩ２３２２をサポートすることができる。Ｄｉｒｅｃｔ３Ｄ ＡＰＩが用いられる場合、オペレーティングシステム２３２０は、フロントエンドシェーダコンパイラ２３２４を用いて、ＨＬＳＬにおける任意のシェーダ命令２３１２を低水準シェーダ言語にコンパイルする。コンパイルは、ジャストインタイム（ＪＩＴ）コンパイルであってよい、又は、アプリケーションは、シェーダプリコンパイルを実行できる。高水準シェーダは、３Ｄグラフィックスアプリケーション２３１０のコンパイル中に、低水準シェーダにコンパイルされてよい。シェーダ命令２３１２は、Ｖｕｌｋａｎ ＡＰＩにより用いられるスタンダードポータブルインターメディエイトレプリゼンテーション（ＳＰＩＲ）のバージョン等の中間形態で提供されてよい。

【0321】

ユーザモードグラフィックスドライバ２３２６は、シェーダ命令２３１２をハードウェア固有の表現に変換するバックエンドシェーダコンパイラ２３２７を含んでよい。ＯｐｅｎＧＬ ＡＰＩが用いられる場合、ＧＬＳＬ高水準言語におけるシェーダ命令２３１２は、コンパイルのためにユーザモードグラフィックスドライバ２３２６に渡される。ユーザモードグラフィックスドライバ２３２６は、オペレーティングシステムカーネルモード機能２３２８を用いて、カーネルモードグラフィックススドライバ２３２９と通信してよい。カーネルモードグラフィックススドライバ２３２９は、グラフィックスプロセッサ２３３２と通信して、コマンド及び命令をディスパッチしてよい。
［ＩＰコアの実装］

【0322】

１つ又は複数の態様は、プロセッサなどの集積回路内のロジックを表す及び／又は規定する機械可読媒体に格納される代表的なコードにより実装されてよい。例えば、機械可読媒体は、プロセッサ内の様々なロジックを表す命令を含んでよい。機械により読み出される場合、命令は、機械に、本明細書で説明される技術を実行するロジックを作らせてよい。「ＩＰコア」として知られるそのような表現は、集積回路の構造を記述するハードウェアモデルとして、有形の機械可読媒体に格納され得る、集積回路用ロジックの再利用可能なユニットである。ハードウェアモデルは、集積回路を製造する製造機械にハードウェアモデルをロードする様々な顧客又は製造施設に供給されてよい。集積回路は、本明細書において説明される実施形態のうちのいずれかと関連して説明される演算を回路が実行するように製造されてよい。

【0323】

図２４Ａは、実施形態に係る演算を実行する集積回路を製造するために用いられ得るＩＰコア開発システム２４００を示すブロック図である。ＩＰコア開発システム２４００は、より大きな設計へと組み込まれ得るモジュール式の再利用可能な設計を生成するために用いられてよい、又は、集積回路（例えば、ＳｏＣ集積回路）全体を構築するために用いられてよい。設計施設２４３０は、高水準プログラミング言語（例えば、Ｃ／Ｃ＋＋）でＩＰコア設計のソフトウェアシミュレーション２４１０を生成できる。ソフトウェアシミュレーション２４１０は、シミュレーションモデル２４１２を用いてＩＰコアの挙動を設計、テスト及び確認するために用いられることができる。シミュレーションモデル２４１２は、機能、挙動及び／又はタイミングシミュレーションを含んでよい。次に、レジスタ転送レベル（ＲＴＬ）設計２４１５が作成されることができる、又は、シミュレーションモデル２４１２から合成されることができる。ＲＴＬ設計２４１５は、ハードウェアレジスタ間のデジタル信号のフローをモデル化する集積回路の挙動を抽出し、モデル化されたデジタル信号を用いて実行される関連するロジックを含む。ＲＴＬ設計２４１５に加えて、ロジックレベル又はトランジスタレベルでの低水準設計が生成、設計又は合成されてもよい。したがって、初期設計及びシミュレーションの特定の詳細が変わり得る。

【0324】

ＲＴＬ設計２４１５又はこれと同等のものは、ハードウェアモデル２４２０へと設計施設によりさらに合成されてよく、ハードウェアモデル２４２０は、ハードウェア記述言語（ＨＤＬ）、又は、物理的な設計データのいくつか他の表現であってよい。ＨＤＬはさらに、ＩＰコア設計を確認するために、シミュレーションされてもテストされてもよい。ＩＰコア設計は、サードパーティの製造施設２４６５へ配送するために、不揮発性メモリ２４４０（例えば、ハードディスク、フラッシュメモリ又は任意の不揮発性記憶媒体）を用いて格納されることができる。あるいは、ＩＰコア設計は、有線接続２４５０又は無線接続２４６０を通じて、（例えば、インターネットを介して）伝送されてよい。次に、製造施設２４６５は、ＩＰコア設計に少なくとも部分的に基づいている集積回路を製造してよい。製造される集積回路は、本明細書で説明される少なくとも１つの実施形態に従って演算を実行するように構成されることができる。

【0325】

図２４Ｂは、集積回路パッケージアセンブリ２４７０の垂直断面図を示す。集積回路パッケージアセンブリ２４７０は、本明細書で説明されるような１つ又は複数のプロセッサ又はアクセラレータデバイスの実装を示す。パッケージアセンブリ２４７０は、基板２４８０に接続されるハードウェアロジック２４７２、２４７４の複数のユニットを含む。ロジック２４７２、２４７４は、構成可能なロジック又は固定機能論理ハードウェアで少なくとも部分的に実装されてよく、本明細書で説明されるプロセッサコア、グラフィックスプロセッサ又は他のアクセラレータデバイスのいずれかの１つ又は複数の部分を含むことができる。ロジック２４７２、２４７４の各ユニットは、半導体ダイ内に実装され、インターコネクト構造２４７３を介して基板２４８０と連結されることができる。インターコネクト構造２４７３は、ロジック２４７２、２４７４と基板２４８０との間の電気信号をルーティングするように構成されてよく、限定されるものではないが、バンプ又はピラーなどのインターコネクトを含むことができる。インターコネクト構造２４７３は、例えば、ロジック２４７２、２４７４の演算と関連付けられる入力／出力（Ｉ／Ｏ）信号及び／又は電力又は接地信号などの電気信号をルーティングするように構成されてよい。オプションで、基板２４８０は、エポキシベースの積層基板であってよい。基板２４８０はまた、他の適切なタイプの基板を含んでよい。パッケージアセンブリ２４７０は、パッケージインターコネクト２４８３を介して他の電気デバイスに接続されることができる。パッケージインターコネクト２４８３は、マザーボード、他のチップセット又はマルチチップモジュールなどの他の電気デバイスに電気信号をルーティングする基板２４８０の表面に連結されてよい。

【0326】

ロジック２４７２、２４７４のユニットは、ロジック２４７２、２４７４間で電気信号をルーティングするように構成されるブリッジ２４８２と電気的に連結されてよい。ブリッジ２４８２は、電気信号のための経路を提供する高密度なインターコネクト構造であってよい。ブリッジ２４８２は、ガラス又は好適な半導体材料で構成されるブリッジ基板を含んでよい。電気ルーティング機能は、ロジック２４７２、２４７４間にチップ間接続を提供するブリッジ基板上に形成されることができる。

【0327】

ロジック２４７２、２４７４及びブリッジ２４８２の２つのユニットが図示されているが、本明細書で説明される実施形態は、１つ又は複数のダイ上により多い又はより少ない論理ユニットを含んでよい。ロジックが単一のダイ上に含まれる場合、ブリッジ２４８２が除外されてもよいので、１つ又は複数のダイは、ゼロ又はより多くのブリッジにより接続されてよい。あるいは、複数のダイ又はロジックのユニットは、１つ又は複数のブリッジにより接続されることができる。さらに、複数の論理ユニット、ダイ及びブリッジは、３次元構成を含む他の可能な構成と一緒に接続されることができる。

【0328】

図２４Ｃは、基板２４８０（例えば、ベースダイ）に接続されるハードウェアロジックチップレットの複数のユニットを含むパッケージアセンブリ２４９０を示す。本明細書で説明されるように、グラフィックス処理ユニット、並列プロセッサ、及び／又は、計算アクセラレータは、別個に製造される多様なシリコンチップレットから構成され得る。このコンテキストにおいて、チップレットは、より大きなパッケージへと他のチップレットと共に組み立てられることができるロジックの別個のユニットを含む少なくとも部分的にパッケージ化された集積回路である。異なるＩＰコアロジックを有するチップレットの多様なセットが単一のデバイスに組み立てられることができる。さらに、チップレットは、アクティブインタポーザ技術を用いてベースダイ又はベースチップレットに統合されることができる。本明細書で説明される概念は、ＧＰＵ内で、異なる形式のＩＰ間のインターコネクト及び通信を可能にする。ＩＰコアは、異なるプロセス技術を用いて製造され、製造時に構成されることができ、複数のＩＰを、特にいくつかの種類のＩＰを有する大きなＳｏＣに同一の製造プロセスで集中させることによる複雑性が回避される。複数のプロセス技術の使用を可能にすることで、市場投入までの時間が改善され、複数の製品ＳＫＵを形成するのに費用対効果の高いやり方が提供される。さらに、ＩＰが分かれている方が、独立してパワーゲーティングするのに適しており、所与のワークロードに使用されていないコンポーネントが電源をオフにされて、全体の電力消費を低減することができる。

【0329】

ハードウェアロジックチップレットは、専用ハードウェアロジックチップレット２４７２、ロジック又はＩ／Ｏチップレット２４７４、及び／又は、メモリチップレット２４７５を含むことができる。ハードウェアロジックチップレット２４７２と、ロジック又はＩ／Ｏチップレット２４７４とは、構成可能なロジック又は固定機能論理ハードウェアにおいて少なくとも部分的に実装されてよく、本明細書で説明されるプロセッサコア、グラフィックスプロセッサ、並列プロセッサ又は他のアクセラレータデバイスのいずれかの１つ又は複数の部分を含むことができる。メモリチップレット２４７５は、ＤＲＡＭ（例えば、ＧＤＤＲ、ＨＢＭ）メモリ、又は、キャッシュ（ＳＲＡＭ）メモリとすることができる。

【0330】

各チップレットは、別個の半導体ダイとして製造され、インターコネクト構造２４７３を介して基板２４８０と連結されることができる。インターコネクト構造２４７３は、基板２４８０内の様々なチップレットとロジックとの間で電気信号をルーティングするように構成されてよい。インターコネクト構造２４７３は、限定されるものではないが、バンプ又はピラーなどのインターコネクトを含むことができる。いくつかの実施形態において、インターコネクト構造２４７３は、例えば、ロジック、Ｉ／Ｏ及びメモリチップレットの演算と関連付けられる入力／出力（Ｉ／Ｏ）信号、及び／又は、電力又は接地信号などの電気信号をルーティングするように構成されてよい。

【0331】

基板２４８０は、エポキシベースの積層基板であってよいが、しかしながら、基板２４８０は、それに限定されるものではなく、他の適切なタイプの基板を含んでもよい。パッケージアセンブリ２４９０は、パッケージインターコネクト２４８３を介して他の電気デバイスに接続されることができる。パッケージインターコネクト２４８３は、マザーボード、他のチップセット又はマルチチップモジュールなどの他の電気デバイスに電気信号をルーティングすべく、基板２４８０の表面に連結されてよい。

【0332】

ロジック又はＩ／Ｏチップレット２４７４と、メモリチップレット２４７５とは、ロジック又はＩ／Ｏチップレット２４７４と、メモリチップレット２４７５との間で電気信号をルーティングするように構成されるブリッジ２４８７を介して電気的に連結されてよい。ブリッジ２４８７は、電気信号のための経路を提供する高密度なインターコネクト構造であってよい。ブリッジ２４８７は、ガラス又は好適な半導体材料で構成されるブリッジ基板を含んでよい。電気ルーティング機能は、ロジック又はＩ／Ｏチップレット２４７４と、メモリチップレット２４７５との間のチップ間接続を提供すべく、ブリッジ基板上に形成されることができる。ブリッジ２４８７は、シリコンブリッジ又はインターコネクトブリッジと称されてもよい。例えば、ブリッジ２４８７は、埋め込み型マルチダイインターコネクトブリッジ（ＥＭＩＢ）である。あるいは、ブリッジ２４８７は、単に、あるチップレットから別のチップレットへの直接接続であってよい。

【0333】

基板２４８０は、Ｉ／Ｏ２４９１、キャッシュメモリ２４９２及び他のハードウェアロジック２４９３のためのハードウェアコンポーネントを含むことができる。ファブリック２４８５は、基板２４８０内の様々なロジックチップレットと、ロジック２４９１、２４９３との間の通信を可能すべく、基板２４８０に埋め込まれることができる。オプションで、Ｉ／Ｏ２４９１、ファブリック２４８５、キャッシュ、ブリッジ及び他のハードウェアロジック２４９３は、基板２４８０の上に重なるベースダイに統合されることができる。

【0334】

さらに、パッケージアセンブリ２４９０は、ファブリック２４８５又は１つ又は複数のブリッジ２４８７によりインターコネクトされる少数又は多数のコンポーネント及びチップレットを含むこともできる。パッケージアセンブリ２４９０内のチップレットは、３Ｄ又は２．５Ｄ構成で配置されてよい。一般に、ブリッジ構造２４８７は、例えば、ロジック又はＩ／Ｏチップレットと、メモリチップレットとの間のポイントツーポイントインターコネクトを促進するために用いられてよい。ファブリック２４８５は、様々なロジック及び／又はＩ／Ｏチップレット（例えば、チップレット２４７２、２４７４、２４９１、２４９３）を他のロジック及び／又はＩ／Ｏチップレットとインターコネクトするために用いられることができる。基板内のキャッシュメモリ２４９２は、パッケージアセンブリ２４９０のためのグローバルキャッシュとして、分散型のグローバルキャッシュの一部として、又は、ファブリック２４８５用の専用キャッシュとしての機能を果たすことができる。

【0335】

図２４Ｄは、実施形態に係る交換可能なチップレット２４９５を含むパッケージアセンブリ２４９４を示す。交換可能なチップレット２４９５は、１つ又は複数のベースチップレット２４９６、２４９８上の標準化されたスロットに組み立てられることができる。ベースチップレット２４９６、２４９８は、本明細書で説明される他のブリッジインターコネクトに類似し得るブリッジインターコネクト２４９７を介して連結されることができ、例えば、ＥＭＩＢであってよい。メモリチップレットはまた、ブリッジインターコネクトを介してロジック又はＩ／Ｏチップレットに接続されることができる。Ｉ／Ｏ及びロジックチップレットは、インターコネクトファブリックを介して通信できる。ベースチップレットはそれぞれ、ロジック若しくはＩ／Ｏ、又は、メモリ／キャッシュのうちの１つに対して、標準化されたフォーマットの１つ又は複数のスロットをサポートできる。

【0336】

ＳＲＡＭ及び電力供給回路は、ベースチップレット２４９６、２４９８の１つ又は複数の内部に製造されてよく、ベースチップレットの最上部に積層される交換可能なチップレット２４９５とは異なるプロセス技術を用いて製造されることができる。例えば、ベースチップレット２４９６、２４９８は、大規模なプロセス技術を用いて製造されることができる一方、交換可能なチップレットは、小規模なプロセス技術を用いて製造されることができる。交換可能なチップレット２４９５の１つ又は複数は、メモリ（例えば、ＤＲＡＭ）チップレットであってよい。パッケージアセンブリ２４９４を用いる製品を対象とした電力及び／又は性能に基づいて、異なるメモリ密度が、パッケージアセンブリ２４９４に対して選択されるができる。さらに、製品を対象とした電力及び／又は性能に基づいて、異なる数のタイプの機能ユニットを有するロジックチップレットが組み立て時に選択されることができる。さらに、異なるタイプのＩＰロジックコアを含むチップレットは、交換可能なチップレットスロットに挿入されることができ、異なる技術ＩＰブロックを混合及び調和できるハイブリッドプロセッサ設計を可能にする。
［例示的なシステムオンチップ集積回路］

【0337】

図２５～図２６Ｂは、１つ又は複数のＩＰコアを用いて製造され得る例示的な集積回路及び関連するグラフィックスプロセッサを示す。図示されているものに加えて、追加のグラフィックスプロセッサ／コア、周辺機器インタフェースコントローラ、又は、汎用プロセッサコアを含む他のロジック及び回路が含まれてよい。本明細書における任意の他の図面の要素と同一又は類似の名称を有する図２５～図２６Ｂの要素は、他の図面にある同一の要素について説明しており、本明細書における他の箇所での説明と同様に、それと同様に動作又は機能でき、同一のコンポーネントを備えることができ、他の要素にリンクされることができるが、そのように限定されることはない。

【0338】

図２５は、１つ又は複数のＩＰコアを用いて製造され得る例示的なシステムオンチップ集積回路２５００を示すブロック図である。例示的な集積回路２５００は、１つ又は複数のアプリケーションプロセッサ２５０５（例えば、ＣＰＵ）、グラフィックスプロセッサ１４０８、１５０８、２５１０の変形例、又は、本明細書で説明される任意のグラフィックスプロセッサであってよく、かつ、説明される任意のグラフィックスプロセッサの代わりに用いられてよい少なくとも１つのグラフィックスプロセッサ２５１０を含む。したがって、ここでは、グラフィックスプロセッサと組み合わせた任意の特徴の開示はまた、そのように限定されるものではないが、グラフィックスプロセッサ２５１０との対応する組み合わせを開示する。集積回路２５００は、画像プロセッサ２５１５及び／又はビデオプロセッサ２５２０をさらに含んでよく、これらのいずれかは、同一又は複数の異なる設計施設からのモジュールＩＰコアであってよい。集積回路２５００は、ＵＳＢコントローラ２５２５、ＵＡＲＴコントローラ２５３０、ＳＰＩ／ＳＤＩＯコントローラ２５３５、Ｉ^２Ｓ／Ｉ^２ｃコントローラ２５４０を含む周辺機器又はバスロジックを含んでよい。さらに、集積回路は、高精細度マルチメディアインターフェース（ＨＤＭＩ（登録商標））コントローラ２５５０及びモバイル業界向けプロセッサインタフェース（ＭＩＰＩ）ディスプレイインタフェース２５５５のうちの、１つ又は複数に連結されるディスプレイデバイス２５４５を含むことができる。フラッシュメモリ及びフラッシュメモリコントローラを含むフラッシュメモリサブシステム２５６０により、ストレージが提供されてよい。ＳＤＲＡＭ又はＳＲＡＭメモリデバイスへのアクセスのために、メモリインタフェースがメモリコントローラ２５６５を介して提供されてよい。いくつかの集積回路は、埋め込み型セキュリティエンジン２５７０をさらに含む。

【0339】

図２６Ａ～図２６Ｂは、本明細書で説明される実施形態に係るＳｏＣ内での使用のための例示的なグラフィックスプロセッサを示すブロック図である。グラフィックスプロセッサは、グラフィックスプロセッサ１４０８、１５０８、２５１０の変形例、又は、本明細書で説明される任意の他のグラフィックスプロセッサであってよい。グラフィックスプロセッサは、グラフィックスプロセッサ１４０８、１５０８、２５１０、又は、本明細書で説明されるグラフィックスプロセッサのうちの任意の他のものの代わりに用いられてよい。したがって、本明細書で説明されるグラフィックスプロセッサ１４０８、１５０８、２５１０又は任意の他のグラフィックスプロセッサと組み合わせた任意の特徴の開示はまた、そのように限定されるものではないが、図２６Ａ～図２６Ｂのグラフィックスプロセッサとの対応する組み合わせを開示する。図２６Ａは、実施形態に係る１つ又は複数のＩＰコアを用いて製造され得るチップ集積回路上のシステムの例示的なグラフィックスプロセッサ２６１０を示す。図２６Ｂは、実施形態に係る１つ又は複数のＩＰコアを用いて製造され得るチップ集積回路上のシステムの追加の例示的なグラフィックスプロセッサ２６４０を示す。図２６Ａのグラフィックスプロセッサ２６１０は、低電力グラフィックスプロセッサコアの例である。図２６Ｂのグラフィックスプロセッサ２６４０は、より高性能なグラフィックスプロセッサコアの例である。例えば、グラフィックスプロセッサ２６１０、２６４０のそれぞれは、この段落の初めで言及したように、図２５のグラフィックスプロセッサ２５１０の変形例とすることができる。

【0340】

図２６Ａに示されるように、グラフィックスプロセッサ２６１０は、頂点プロセッサ２６０５、及び、１つ又は複数のフラグメントプロセッサ２６１５Ａ－２６１５Ｎ（例えば、２６１５Ａ、２６１５Ｂ、２６１５Ｃ、２６１５Ｄから２６１５Ｎ－１及び２６１５Ｎ）を含む。グラフィックスプロセッサ２６１０は、別個のロジックを介して異なるシェーダプログラムを実行でき、その結果、頂点プロセッサ２６０５は、頂点シェーダプログラム用の演算を実行すべく最適化される一方、１つ又は複数のフラグメントプロセッサ２６１５Ａ－２６１５Ｎは、フラグメント又は画素シェーダプログラムのためのフラグメント（例えば、画素）シェーディング演算を実行する。頂点プロセッサ２６０５は、３Ｄグラフィックスパイプラインの頂点処理ステージを実行し、プリミティブ及び頂点データを生成する。フラグメントプロセッサ２６１５Ａ－２６１５Ｎは、頂点プロセッサ２６０５により生成されたプリミティブ及び頂点データを用いて、ディスプレイデバイス上に表示されるフレームバッファを生成する。フラグメントプロセッサ２６１５Ａ－２６１５Ｎは、ＯｐｅｎＧＬ ＡＰＩで提供されるようなフラグメントシェーダプログラムを実行すべく最適化されてよく、Ｄｉｒｅｃｔ３Ｄ ＡＰＩで提供されるような画素シェーダプログラムと類似する演算を実行するために用いられてよい。

【0341】

グラフィックスプロセッサ２６１０は、１つ又は複数のメモリ管理ユニット（ＭＭＵ）２６２０Ａ～２６２０Ｂ、キャッシュ２６２５Ａ～２６２５Ｂ、及び、回路インターコネクト２６３０Ａ～２６３０Ｂをさらに含む。１つ又は複数のＭＭＵ２６２０Ａ～２６２０Ｂは、グラフィックスプロセッサ２６１０に対して、頂点プロセッサ２６０５及び／又はフラグメントプロセッサ２６１５Ａ－２６１５Ｎに対するものを含む、仮想－物理アドレスマッピングを提供し、１つ又は複数のキャッシュ２６２５Ａ－２６２５Ｂに格納される頂点又は画像／テクスチャデータに加えて、メモリに格納される頂点又は画像／テクスチャデータを参照してよい。１つ又は複数のＭＭＵ２６２０Ａ～２６２０Ｂは、図２５の１つ又は複数のアプリケーションプロセッサ２５０５、画像プロセッサ２５１５、及び／又は、ビデオプロセッサ２５２０と関連付けられる１つ又は複数のＭＭＵを含むシステム内の他のＭＭＵと同期してよく、その結果、各プロセッサ２５０５－２５２０は、共有又は統合された仮想メモリシステムに加わることができる。グラフィックスプロセッサ２６１０のコンポーネントは、本明細書で説明される他のグラフィックスプロセッサのコンポーネントと対応してよい。１つ又は複数のＭＭＵ２６２０Ａ～２６２０Ｂは、図２ＣのＭＭＵ２４５と対応してよい。頂点プロセッサ２６０５及びフラグメントプロセッサ２６１５Ａ－２６１５Ｎは、グラフィックスマルチプロセッサ２３４と対応してよい。１つ又は複数の回路インターコネクト２６３０Ａ～２６３０Ｂは、実施形態に係るＳＯＣの内部バスを介するか、又は、直接接続を介するかのいずれかで、グラフィックスプロセッサ２６１０が、ＳＯＣ内の他のＩＰコアとインタフェース接続することを可能にする。１つ又は複数の回路インターコネクト２６３０Ａ～２６３０Ｂは、図２Ｃのデータクロスバー２４０と対応してよい。グラフィックスプロセッサ２６１０と、本明細書で説明される様々なグラフィックスプロセッサアーキテクチャとの類似のコンポーネント間に、さらなる対応関係が見出され得る。

【0342】

図２６Ｂに示されるように、グラフィックスプロセッサ２６４０は、図２６Ａのグラフィックスプロセッサ２６１０の１つ又は複数のＭＭＵ２６２０Ａ～２６２０Ｂ、キャッシュ２６２５Ａ～２６２５Ｂ、及び、回路インターコネクト２６３０Ａ～２６３０Ｂを含む。グラフィックスプロセッサ２６４０は、１つ又は複数のシェーダコア２６５５Ａ－２６５５Ｎ（例えば、２６５５Ａ、２６５５Ｂ、２６５５Ｃ、２６５５Ｄ、２６５５Ｅ、２６５５Ｆから２６５５Ｎ－１及び２６５５Ｎ）を含み、頂点シェーダ、フラグメントシェーダ及び／又は計算シェーダを実装するシェーダプログラムコードを含むあらゆるタイプのプログラマブルシェーダコードを単一コア又はタイプ又はコアが実行できる統合されたシェーダコアアーキテクチャを提供する。存在するシェーダコアの正確な数は、実施形態及び実装の中で変えることができる。さらに、グラフィックスプロセッサ２６４０は、コア間タスクマネージャ２６４５を含み、タイルベースのレンダリングのためにタイル化演算をアクセラレートすべく、１つ又は複数のシェーダコア２６５５Ａ－２６５５Ｎ及びタイル化ユニット２６５８に実行スレッドをディスパッチするスレッドディスパッチャとしての機能を果たし、タイルベースのレンダリングでは、例えば、シーン内の局所的な空間コヒーレンスを十分に引き出すべく、又は、内部キャッシュの使用を最適化すべく、シーンに対するレンダリング演算が画像空間内で細分化されている。シェーダコア２６５５Ａ～２６５５Ｎは、例えば、図２Ｄのグラフィックスマルチプロセッサ２３４、又は、図３Ａ及び図３Ｂのグラフィックスマルチプロセッサ３２５、３５０のそれぞれ、又は、図３Ｃのマルチコアグループ３６５Ａと対応してよい。
［分散型キャッシュモデル、ソフトウェア制御］

【0343】

いくつかの例において、分散型キャッシュモデルは、マルチダイアーキテクチャにおけるベースダイに付け加えられ得るキャッシュチップレットを用いるグラフィックスアーキテクチャにおいて実装されてよい。図２７を参照すると、いくつかの例において、グラフィックス処理システムは、ベースダイ２７１０と、１つ又は複数のチップレット２７２０Ａ、２７２０Ｂ、２７２０Ｃとを備えてよく、ここでは参照符号２７２０により総称され得る。図２７に示される例では、チップレット２７２０の１つ又は複数は、Ｌ３キャッシュを実装するキャッシュチップレット２７２０Ｃであってよい。チップレットの機能がベースダイ２７１０の処理能力に必要とされていない場合、チップレット２７２０の１つ又は複数は、ヒューズオフ（ｆｕｓｅｄ ｏｆｆ）されてよい。別の例では、チップレットは、ベースダイとは異なるプロセスジオメトリで製造されてよい、及び／又は、ＳＲＡＭとは異なるストレージエレメント、例えば、ＤＲＡＭ、ＲｅＲＡＭ、３Ｄクロスポイント、ＦｅＲＡＭなどを含んでよい。

【0344】

図２８を参照すると、いくつかの例において、ベースダイ２７１０は、ベースダイ２７１０上でのキャッシュのためのキャッシュ演算を管理し、チップレットインタフェース２８３０を介して１つ又は複数のキャッシュチップレット２７２０を管理するキャッシュ制御ロジック２８１０を備えてよい。いくつかの例では、キャッシュチップレット２７２０に対するキャッシュ管理スキーム（つまり、キャッシュタグ２８２０、状態プロトコルなど）は、ベースダイ２７１０上でのキャッシュのためのキャッシュ管理スキームと同一であり、そのため、１つ又は複数のキャッシュチップレット２７２０をベースダイ２７１０上に連結することにより、キャッシュメモリをベースダイ２７１０に追加できる。

【0345】

キャッシュ制御ロジック２８１０はベースダイ２７１０に存在するので、キャッシュチップレット２７２０に対するキャッシュデータパイプラインは、チップレット２７２０のデータポートへのダイレクトアクセスを有していない。さらに、いくつかの例では、チップレットインタフェース２８３０は、非同期式のインタフェースであってよく、そのため、キャッシュチップレット２７２０に対する読み出し操作からのデータのリターンが予測可能ではない。これは、クレジットベースのメカニズムを用いること、及び、先入れ先出し（ＦＩＦＯ）ストレージを用いて、コマンド及びデータリターンを蓄積することにより管理されてよい。

【0346】

いくつかの例では、データパイプライン操作は、２段階操作に分けられてよい。第１段階では、キャッシュアクセス（つまり、読み出し／書き込み）操作がチップレットインタフェースに送られる。ＴＡＧブロック２８２０からのヒット及びフィルは、インオーダＦＩＦＯキュー２８２２に入り、コマンドがスケジューリングされる。いくつかの例では、あらゆるオーバフローを回避すべく、データバッファ（つまり、トランスポート層のデータリターンインタフェース）において、クレジットチェックが実施されてよい。アトミック操作を促進すべく、ＣＭＤデータ（すなわち、タイプＲｄｉｎｖ、Ａｔｏｍｉｃｓ、Ｄｉｒｅｃｔデータリターン）、読み出し／書き込みデータ、及び、ＳＲＣデータに対してストレージが提供されてよい。いくつかの例では、コリジョンを避けるべく、パイプライン操作の同一のステージからフィルがアライン及び発行されてよい。

【0347】

いくつかの例では、電力及び不必要なデータストレージを節約するために、コマンドデータに対して、及び、読み出し／書き込みデータに対して、別個のインタフェースが提供されてよい。読み出し操作のたびに、コマンドインタフェースだけが更新され、データアレイに向けて送信される必要がある。書き込み操作のたびに、コマンドインタフェース及びデータインタフェースの両方が更新される必要がある。インタフェースが非同期式なので、いくつかの例では、トランスポートリンク層は、いかなるコマンドも順番に進み、書き込みコマンドに対するデータのみを送信することを保証する。クロッキングドメインをクロッシングした後に、書き込みコマンドが利用可能な場合にのみ、ストレージからデータを読み出すことができる。

【0348】

第２段階では、アトミック操作は、古いデスティネーションと、メモリに格納されているＳＲＣデータとを要求する。複雑性を減らし、両方のバンクに対して同一の設計を行うべく、第１段階の読み出しパイプライン操作から、古いデスティネーションのデータがメモリからＳＲＣデータと共にインオーダデータリターン構造へと受信され、別個のＦＩＦＯで格納される。すべてのデータがパイプラインに転送される状態になると、アトミック操作は、次に、インオーダパイプラインからスケジューリングされる。アトミック操作の完了後に、新たなアトミックデータがメモリに書き込まれる。
［アトミックＡＬＵを用いて、ＩＭＤＢクエリ評価をアクセラレートする］

【0349】

いくつかの例において、シェーダコア及びアトミック算術論理ユニット（ＡＬＵ）は、インメモリデータベース（ＩＭＤＢ）クエリ評価をアクセラレートするために用いられてよい。図２９は、実施形態に係る、インメモリデータベース（ＩＭＤＢ）クエリをアクセラレートするためにアトミックＡＬＵが実装される処理環境の模式図である。図２９を参照すると、いくつかの例では、処理環境は、算術論理ユニット（ＡＬＵ）２９２０に通信可能に連結されるメモリサイドキャッシュ２９１５に通信可能に連結されるシェーダコア２９１０を有する。いくつかの例では、シェーダコア２９１０は、シェーダコア２６５５Ａ－２６５５Ｎを参照して上述したように実装されてよい。キャッシュ２９１５はまた、高帯域幅メモリ２９２５に通信可能に連結されてよい。いくつかの例において、メモリサイドキャッシュ２９１５の少なくとも一部は、インメモリデータベースのすべて又は一部を有してよい。

【0350】

インメモリデータベースは、偶数バイト長に対応していないビット長に圧縮されたデータを有してよい。図３０を参照すると、工程３０１０において、シェーダコア２９１０は、その圧縮されたビット長から、次の自然ビットサイズ、つまり、次の偶数バイト長サイズに対応するビットサイズに対応するビット長へと、インメモリデータベース内のデータを解凍するために用いられてよい。例えば、５ビットフィールドに合致するように圧縮されたデータ要素は、８ビットフィールドへと解凍されてよく、１３ビットフィールドに合致するように圧縮されたデータ要素は、１６ビットフィールドへと解凍されてよく、１７ビットフィールドに合致するように圧縮されたデータ要素は、３２ビットフィールドへと解凍されてよい、などである。

【0351】

工程３０１５において、ＡＬＵ２９２０によりベクトル比較が実行される。例えば、ＡＬＵ２９１５は、工程３０１０において生成された解凍済みの値を、データベースのクエリにおいて提供される１つ又は複数の目標値と比較して、１つ又は複数のデータベースエントリを抽出してよい。工程３０２０において、工程３０１５において実行された比較の結果がビットベクトルとして書き込まれる。
［Ｌ３キャッシュアウェアカーネルディスパッチ（１Ａ－１５）（ＰＲＯＶ１－４ ＪＷＣ）］

【0352】

いくつかの例では、カーネルは、クロスカーネルワークグループ依存性を最適化する又は少なくとも改善するように設計される方式での実行のためにディスパッチされてよい。図３１Ａ～図３１Ｂは、Ｌ３キャッシュアウェアディスパッチを実施するように適合される処理環境の概略ブロック図であり、図３２は、実施形態に係るキャッシュＬ３キャッシュアウェアカーネルディスパッチを実施する方法における工程を示すフローチャートである。図３１Ａを参照すると、いくつかの例では、第１のカーネル（Ｋ１）３１００は、２５６個のワークグループ（つまり、ＷＧ０ ３１１２、ＷＧ１ ３１１４、・・・ＷＧ２５５ ３１１６）を有してよく、第２のカーネル（Ｋ２）も、２５６個のワークグループ（つまり、ＷＧ０ ３１２２、ＷＧ１ ３１２４・・・ＷＧ２５５ ３１２６）を有してよい。図３１Ａに示されるように、第２のカーネル（Ｋ２）３１２０における対応するワークグループを開始し得る前に、第１のカーネル（Ｋ１）３１１０におけるワークグループの１つ又は複数を完了させる必要があり得るので、ワークグループ間の従属関係が遅延の原因となり得る。

【0353】

図３１Ｂ及び図３２を参照すると、いくつかの例において、これは、ハードウェアスコアカードを用いて従属関係を追跡することにより対処され得る。図３２に示されるように、工程３２１０では、Ｌ３キャッシュにおけるカーネルに合致させるべく、小さいバッチが用いられてよい。次のカーネルをプリフェッチ（工程３２１５）するために、短いカーネルが用いられてよい。工程３２２０において、クロス－カーネルワークグループ従属関係にあり得る部分的なフィルが実施されてよく、そのため、現在のカーネルがフィルされるまで、次のカーネルを開始できない。アトミック操作を用いることにより、これをソフトウェアでエミュレートすることができる。

【0354】

本明細書で開示される技術の例示的な例が以下に提供される。本技術の実施形態は、以下で説明される任意の１つ又は複数の例及び例の任意の組み合わせを含んでよい。

【0355】

例１は、装置を含み、装置は、キャッシュメモリと、高帯域幅メモリと、キャッシュメモリに通信可能に連結されるシェーダコアであって、キャッシュメモリ内のインメモリデータベースから抽出され、かつ、第１のビット長を有する第１のデータ要素を解凍して、第１のビット長より大きい第２のビット長を有する第２のデータ要素を生成する処理要素を有するシェーダコアと、当該データ要素を、インメモリデータベースのクエリにおいて提供される目標値とを比較する算術論理ユニット（ＡＬＵ）とを備える。

【0356】

例２は、例１の主題を含み、シェーダコアは、第１のデータ要素を、ビット未満のビット長から８ビットのビット長へと解凍する。

【0357】

例３は、例１～例２のいずれかの主題を含み、シェーダコアは、第１のデータ要素を、９ビットと１５ビットとの間のビット長から１６ビットのビット長へと解凍する。

【0358】

例４は、例１～例３のいずれかの主題を含み、シェーダコアは、第１のデータ要素を、１７ビットと３１ビットとの間のビット長から３２ビットのビット長へと解凍する。

【0359】

例５は、例１～例４のいずれかの主題を含み、シェーダコアは、第１のデータ要素を、３３ビットと６３ビットとの間のビット長から６４ビットのビット長へと解凍する。

【0360】

例６は、例１～例５のいずれかの主題を含み、算術論理ユニット（ＡＬＵ）は、第２のビット長でベクトル比較演算を実行する。

【0361】

例７は、例１～例６のいずれかの主題を含み、算術論理ユニット（ＡＬＵ）は、ベクトル比較演算の結果をビットベクトルとして書き込む。

【0362】

例８は、方法を含み、方法は、キャッシュメモリに通信可能に連結されるシェーダコアの処理要素において、キャッシュメモリ内のインメモリデータベースから抽出され、かつ、第１のビット長を有する第１のデータ要素を解凍して、第１のビット長より大きい第２のビット長を有する第２のデータ要素生成する段階と、インメモリデータベースのクエリで提供される目標値と比較するために、第２のデータ要素を算術論理ユニット（ＡＬＵ）に転送する段階とを備える。

【0363】

例９は、例８の主題を含み、シェーダコアは、第１のデータ要素を、ビット未満のビット長から８ビットのビット長へと解凍する。

【0364】

例１０は、例８～例９のいずれかの主題を含み、シェーダコアは、第１のデータ要素を、９ビットと１５ビットとの間のビット長から１６ビットのビット長へと解凍する。

【0365】

例１１は、例８～例１０のいずれかの主題を含み、シェーダコアは、第１のデータ要素を、１７ビットと３１ビットとの間のビット長から３２ビットのビット長へと解凍する。

【0366】

例１２は、例８～例１１のいずれかの主題を含み、シェーダコアは、第１のデータ要素を、３３ビットと６３ビットとの間のビット長から６４ビットのビット長へと解凍する。

【0367】

例１３は、例８～例１２のいずれかの主題を含み、算術論理ユニット（ＡＬＵ）は、第２のビット長でベクトル比較演算を実行する。

【0368】

例１４は、例８～例１３のいずれかの主題を含み、算術論理ユニット（ＡＬＵ）は、ベクトル比較演算の結果をビットベクトルとして書き込む。

【0369】

例１５は、非一時的なコンピュータ可読媒体を含み、非一時的なコンピュータ可読媒体は、少なくとも１つのプロセッサ上で実行される場合、キャッシュメモリに通信可能に連結されるシェーダコアの処理要素において、キャッシュメモリ内のインメモリデータベースから抽出され、かつ、第１のビット長を有する第１のデータ要素を解凍して、第１のビット長より大きい第２のビット長を有する第２のデータ要素を生成し、インメモリデータベースのクエリで提供される目標値と比較するために、第２のデータ要素を算術論理ユニット（ＡＬＵ）に転送する、１つ又は複数の工程を実行するように少なくとも１つのプロセッサを構成する１つ又は複数の命令を備える。

【0370】

例１６は、例１５の主題を含み、シェーダコアは、第１のデータ要素を、ビット未満のビット長から８ビットのビット長へと解凍する。

【0371】

例１７は、例１５～例１６のいずれかの主題を含み、シェーダコアは、第１のデータ要素を、９ビットと１５ビットとの間のビット長から１６ビットのビット長へと解凍する。

【0372】

例１８は、例１５～例１７のいずれかの主題を含み、シェーダコアは、第１のデータ要素を、１７ビットと３１ビットとの間のビット長から３２ビットのビット長へと解凍する。

【0373】

例１９は、例１５～例１８のいずれかの主題を含み、シェーダコアは、第１のデータ要素を、３３ビットと６３ビットとの間のビット長から６４ビットのビット長へと解凍する。

【0374】

例２０は、例１５～例１９のいずれかの主題を含み、算術論理ユニット（ＡＬＵ）は、第２のビット長でベクトル比較演算を実行する。

【0375】

例２１は、例１５～例２０のいずれかの主題を含み、算術論理ユニット（ＡＬＵ）は、ベクトル比較演算の結果をビットベクトルとして書き込む。

【0376】

上記の詳細な説明は、発明を実施するための形態の一部を形成する添付の図面への言及を含む。図面は、例示の目的で、実施され得る特定の実施形態を示す。これらの実施形態はまた、本明細書において「例」と称される。示される又は説明されるものに加えて、そのような例は要素を含んでよい。しかしながら、示される又は説明される要素を含む例も検討される。更に、示される又は説明されるこれらの要素（又は、これらの１つ又は複数の態様）の任意の組み合わせ又は置換、具体例（その１つ又は複数の態様）に関する、又は、本明細書で示される又は説明される他の例（又は、その１つ又は複数の態様）のいずれかを用いる例も検討される。

【0377】

本明細書において参照される複数の出版物、複数の特許、及び複数の特許文献は、参照により個別に組み込まれるかのように、それらの全体においてここで参照により組み込まれる。本明細書と参照により組み込まれるこれらの文献との間に一貫性がない使用がある場合、組み込まれる参照における使用は、本明細書のものへの補足であり、矛盾する不一致については、本明細書における使用が支配する。

【0378】

この文書において、用語「ａ」又は「ａｎ」は、１つ又は１つよりも多くを含むように、特許文献で一般にあるように用いられ、「少なくとも１つ」又は「１つ又は複数」の任意の他のインスタンス又は使用とは独立している。さらに、「セット」は、１つ又は複数の要素を含む。この文書において、用語「又は」は、別段の指示がない限り、「Ａ又はＢ」が「Ａであるが、Ｂではない」、「Ｂであるが、Ａではない」及び「Ａ及びＢ」を含むように、非排他的なｏｒを指すために用いられる。添付の特許請求の範囲において、用語「含む（ｉｎｃｌｕｄｉｎｇ）」及び「ｉｎ ｗｈｉｃｈ」は、それぞれの用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」及び「ｗｈｅｒｅｉｎ」のプレーンイングリッシュに相当するものとして用いられる。また、以下の特許請求の範囲では、用語「含む（ｉｎｃｌｕｄｉｎｇ）」及び「備える（ｃｏｍｐｒｉｓｉｎｇ）」は、変更可能であり、すなわち、要素を含むシステム、デバイス、物品又はプロセスは、請求項内のそのような用語の後に列挙されているものに加えて、依然としてその請求項の範囲内に含まれるものとみなされる。さらに、以下の特許請求の範囲では、用語「第１」、「第２」、「第３」などは、単にラベルとして用いられているだけであり、それらのオブジェクトの番号の順序を示唆することを目的としたものではない。

【0379】

本明細書において「ロジック命令」と称される用語は、１つ又は複数の論理演算を実行するために、１つ又は複数の機械により理解され得る表現に関するものである。例えば、ロジック命令は、１つ又は複数のデータオブジェクトに対して１つ又は複数の演算を実行するためのプロセッサコンパイラにより解釈可能な命令を含んでよい。しかしながら、これは、機械可読命令の単なる一例であり、例は、この点に限定されるものではない。

【0380】

本明細書で「コンピュータ可読媒体」と称される用語は、１つ又は複数の機械により感知可能な表現を維持することができる媒体に関するものである。例えば、コンピュータ可読媒体は、コンピュータ可読命令又はデータを格納するための１つ又は複数のストレージデバイスを備えてよい。そのようなストレージデバイスは、例えば、光学、磁気又は半導体記憶媒体などの記憶媒体を備えてよい。しかしながら、これは、コンピュータ可読媒体の単なる一例に過ぎず、例はこの点に限定されるものではない。

【0381】

本明細書において「ロジック」と称される用語は、１つ又は複数の論理演算を実行するための構造に関するものである。例えば、ロジックは、１つ又は複数の入力信号に基づいて、１つ又は複数の出力信号を提供する回路を備えてよい。そのような回路は、デジタル入力を受信し、デジタル出力を提供する有限状態機械、又は、１つ又は複数のアナログ入力信号に応答して、１つ又は複数のアナログ出力信号を提供する回路を備えてよい。そのような回路は、特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）において提供されてよい。また、ロジックは、機械可読命令を実行する処理回路と組み合わせてメモリに格納される当該機械可読命令を含んでよい。しかしながら、これらは、ロジックを提供し得る単なる構造の例に過ぎず、例はこの点に限定されるものではない。

【0382】

本明細書で説明される方法のいくつかは、コンピュータ可読媒体上のロジック命令として具現化されてよい。プロセッサ上で実行される場合、ロジック命令は、プロセッサに、説明される方法を実施する専用の機械としてプログラミングさせられる。プロセッサは、本明細書で説明される方法を実行するようにロジック命令により構成される場合、説明される方法を実行するための構造を構成する。あるいは、本明細書で説明される方法は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）上、特定用途向け集積回路（ＡＳＩＣ）上などのロジックに縮小されてよい。

【0383】

説明及び請求項では、用語「連結され」及び「接続されるがそれらの派生語と共に用いられてよい。具体例において、「接続され」は、２つ又はそれより多くの要素が互いに直接物理的に又は電気的に接触した状態にあることを示すために用いられてよい。「連結され」は、２つ又はそれより多くの要素が直接物理的に又は電気的に接触した状態にあることを意味してよい。しかしながら、「連結され」は、２つ又はそれより多くの要素が互いに直接接触した状態ではないかもしれないが、それでもやはり、依然として互いに協働又は相互作用し得ることも意味し得る。

【0384】

明細書における「一例」又は「いくつかの例」への言及は、例に関連して説明される特定の特徴、構造又は特性が、実装として少なくとも含まれることを意味する。本明細書の様々な場所において、「一例において」という表現の出現は、同一の例をすべて参照してもよいし、しなくてもよい。

【0385】

上記の説明は、例示を目的としたものであり、限定ではない。例えば、上述した例（又は、それらの１つ又は複数の態様）は、他のものと組み合わせて用いられてよい。他の実施形態は、例えば、上記の説明を検討する際に当業者により用いられてよい。要約書は、読み手が技術的な開示の本質をすぐに確認するのを可能にする。要約書は、請求項の範囲又は意味を解釈又は限定するためには用いられないという理解のもと提出されている。また、上記の詳細な説明において、本開示を簡素化すべく、様々な特徴が一緒にグループ化されてもよい。しかしながら、実施形態として本明細書において開示される特徴ごとに記載されていない特許請求の範囲は、当該特徴のサブセットを特徴付けてよい。さらに、実施形態は、具体例において開示されるものより少ない特徴を含んでよい。したがって、以下の特許請求の範囲は、ここで発明を実施するための形態に組み込まれ、各請求項は、別個の実施形態として独立したものである。本明細書で開示される実施形態の範囲は、添付の請求項を参照して、権利が与えられるそのような請求項の均等物の全範囲と併せて決定されるべきである。

【0386】

例が、構造的特徴及び／又は方法論的動作に固有の記載で説明されたが、特許請求の範囲に記載された主題は、説明された具体的な特徴又は動作に限定されなくてよいことを理解されたい。むしろ、特定の特徴及び動作は、特許請求される主題を実装する例示形態として開示される。上記の説明及び図面は、限定的な意味ではなく、むしろ例示的な意味であるとみなされるべきである。当業者であれば、本明細書で説明される実施形態に対して、様々な修正及び変更が、添付の特許請求の範囲に記載されているように、本発明のより広い趣旨及び範囲から逸脱することなく行われてよいことを理解するだろう。
（項目１）
キャッシュメモリと、
高帯域幅メモリと、
前記キャッシュメモリに通信可能に連結されるシェーダコアであって、前記キャッシュメモリ内のインメモリデータベースから抽出され、かつ、第１のビット長を有する第１のデータ要素を解凍して、前記第１のビット長より大きい第２のビット長を有する第２のデータ要素を生成する処理要素を有するシェーダコアと、
前記第２のデータ要素を、前記インメモリデータベースのクエリで提供される目標値と比較する算術論理ユニット（ＡＬＵ）と
を備える装置。
（項目２）
シェーダコアは、前記第１のデータ要素を、ビット未満のビット長から８ビットのビット長へと解凍する、項目１に記載の装置。
（項目３）
前記シェーダコアは、前記第１のデータ要素を、９ビットと１５ビットとの間のビット長から１６ビットのビット長へと解凍する、項目１に記載の装置。
（項目４）
前記シェーダコアは、前記第１のデータ要素を、１７ビットと３１ビットとの間のビット長から３２ビットのビット長へと解凍する、項目１に記載の装置。
（項目５）
前記シェーダコアは、前記第１のデータ要素を、３３ビットと６３ビットとの間のビット長から６４ビットのビット長へと解凍する、項目１に記載の装置。
（項目６）
前記算術論理ユニット（ＡＬＵ）は、前記第２のビット長でベクトル比較演算を実行する、項目１から５のいずれか一項に記載の装置。
（項目７）
前記算術論理ユニット（ＡＬＵ）は、前記ベクトル比較演算の結果をビットベクトルとして書き込む、項目６に記載の装置。
（項目８）
キャッシュメモリに通信可能に連結されるシェーダコアの処理要素において、前記キャッシュメモリ内のインメモリデータベースから抽出され、かつ、第１のビット長を有する第１のデータ要素を解凍して、前記第１のビット長より大きい第２のビット長を有する第２のデータ要素を生成する段階と、
前記インメモリデータベースのクエリで提供される目標値と比較するために、前記第２のデータ要素を算術論理ユニット（ＡＬＵ）に転送する段階と
を備える方法。
（項目９）
シェーダコアは、前記第１のデータ要素をビット未満のビット長から８ビットのビット長へと解凍する、項目８に記載の方法。
（項目１０）
前記シェーダコアは、前記第１のデータ要素を、９ビットと１５ビットとの間のビット長から１６ビットのビット長へと解凍する、項目８に記載の方法。
（項目１１）
前記シェーダコアは、前記第１のデータ要素を、１７ビットと３１ビットとの間のビット長から３２ビットのビット長へと解凍する、項目８に記載の方法。
（項目１２）
前記シェーダコアは、前記第１のデータ要素を、３３ビットと６３ビットとの間のビット長から６４ビットのビット長へと解凍する、項目８に記載の方法。
（項目１３）
前記算術論理ユニット（ＡＬＵ）は、前記第２のビット長でベクトル比較演算を実行する、項目８から１２のいずれか一項に記載の方法。
（項目１４）
前記算術論理ユニット（ＡＬＵ）は、前記ベクトル比較演算の結果をビットベクトルとして書き込む、項目１３に記載の方法。
（項目１５）
プロセッサに、
キャッシュメモリに通信可能に連結されるシェーダコアの処理要素において、前記キャッシュメモリ内のインメモリデータベースから抽出され、かつ、第１のビット長を有する第１のデータ要素を解凍して、前記第１のビット長より大きい第２のビット長を有する第２のデータ要素を生成する手順と、
前記インメモリデータベースのクエリで提供される目標値と比較するために、前記第２のデータ要素を算術論理ユニット（ＡＬＵ）に転送する手順と
を実行させるためのプログラム。
（項目１６）
シェーダコアは、前記第１のデータ要素を、ビット未満のビット長から８ビットのビット長へと解凍する、項目１５に記載のプログラム。
（項目１７）
前記シェーダコアは、前記第１のデータ要素を、９ビットと１５ビットとの間のビット長から１６ビットのビット長へと解凍する、項目１５に記載のプログラム。
（項目１８）
前記シェーダコアは、前記第１のデータ要素を、１７ビットと３１ビットとの間のビット長から３２ビットのビット長へと解凍する、項目１５に記載のプログラム。
（項目１９）
前記シェーダコアは、前記第１のデータ要素を、３３ビットと６３ビットとの間のビット長から６４ビットのビット長へと解凍する、項目１５に記載のプログラム。
（項目２０）
前記算術論理ユニット（ＡＬＵ）は、前記第２のビット長でベクトル比較演算を実行する、項目１５から１９のいずれか一項に記載のプログラム。
（項目２１）
前記算術論理ユニット（ＡＬＵ）は、前記ベクトル比較演算の結果をビットベクトルとして書き込む、項目２０に記載のプログラム。
（項目２２）
項目１５から２１のいずれか一項に記載のプログラムを格納するコンピュータ可読記憶媒体。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図15C】

【図16A】

【図16B】

【図16C】

【図17】

【図18A】

【図18B】

【図19】

【図20】

【図21】

【図22A】

【図22B】

【図23】

【図24A】

【図24B】

【図24C】

【図24D】

【図25】

【図26A】

【図26B】

【図27】

【図28】

【図29】

【図30】

【図31A】

【図31B】

【図32】

【外国語明細書】