IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エヌビディア コーポレーションの特許一覧

特表2024-514371不完全なグラフ・コードの位置を特定するためのアプリケーション・プログラミング・インターフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-02
(54)【発明の名称】不完全なグラフ・コードの位置を特定するためのアプリケーション・プログラミング・インターフェース
(51)【国際特許分類】
   G06F 11/36 20060101AFI20240326BHJP
【FI】
G06F11/36 104
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022526155
(86)(22)【出願日】2022-04-13
(85)【翻訳文提出日】2022-07-13
(86)【国際出願番号】 US2022024634
(87)【国際公開番号】W WO2022221418
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】63/175,004
(32)【優先日】2021-04-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.TENSORFLOW
3.PYTHON
4.JAVA
(71)【出願人】
【識別番号】501450960
【氏名又は名称】エヌビディア コーポレーション
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】フォンテーヌ、デイヴィッド アンソニー
【テーマコード(参考)】
5B042
【Fターム(参考)】
5B042HH39
(57)【要約】
不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するための装置、システム、及び技法。少なくとも1つの実施例では、不完全なグラフ・コードの1つ又は複数の部分のロケーションは、たとえば、CUDA又は他の並列コンピューティング・プラットフォーム・コードに基づいて識別される。
【特許請求の範囲】
【請求項1】
不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するために、アプリケーション・プログラミング・インターフェース(API)を実施する1つ又は複数の回路
を備える、プロセッサ。
【請求項2】
前記1つ又は複数の回路が、少なくとも、前記不完全なグラフ・コードに対応するハンドルを取得することによって、前記ロケーションを識別する、請求項1に記載のプロセッサ。
【請求項3】
前記1つ又は複数の回路が、さらに、前記ロケーションに少なくとも部分的に基づいて前記不完全なグラフ・コードを修正する、請求項1に記載のプロセッサ。
【請求項4】
前記不完全なグラフ・コードが、1つ又は複数のプロセスを通して生成されているグラフ・コードである、請求項1に記載のプロセッサ。
【請求項5】
前記APIがランタイムAPIである、請求項1に記載のプロセッサ。
【請求項6】
前記不完全なグラフ・コードが、1つ又は複数のグラフィックス処理ユニット(GPU)によって実行可能な1つ又は複数の動作を示す、請求項1に記載のプロセッサ。
【請求項7】
不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するために、アプリケーション・プログラミング・インターフェース(API)を実施する1つ又は複数のプロセッサを有する1つ又は複数のコンピュータ
を備える、システム。
【請求項8】
前記1つ又は複数のプロセッサが、さらに、前記ロケーションに少なくとも部分的に基づいて前記不完全なグラフ・コードに対して1つ又は複数の動作を実施する、請求項7に記載のシステム。
【請求項9】
前記1つ又は複数のプロセッサが、さらに、前記不完全なグラフ・コードに関連するノードのセットへの参照を取得する、請求項7に記載のシステム。
【請求項10】
前記不完全なグラフ・コードが、1つ又は複数の動作と、前記1つ又は複数の動作の間の依存性とを示す、請求項7に記載のシステム。
【請求項11】
前記ロケーションが、前記ロケーションへの参照によって識別される、請求項7に記載のシステム。
【請求項12】
前記不完全なグラフ・コードが、1つ又は複数の汎用グラフィックス処理ユニット(GPGPU)によって実行可能な動作のセットを符号化する、請求項7に記載のシステム。
【請求項13】
1つ又は複数のプロセッサによって実施される場合に、前記1つ又は複数のプロセッサに、少なくとも、
不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するために、アプリケーション・プログラミング・インターフェース(API)を実施させる
命令のセットを記憶している、機械可読媒体。
【請求項14】
前記命令のセットが、前記1つ又は複数のプロセッサによって実施される場合に、前記1つ又は複数のプロセッサに、
前記不完全なグラフ・コードに少なくとも部分的に基づいてグラフ・コードを取得させ、
前記グラフ・コードに基づいて1つ又は複数の動作を実施させる
命令をさらに含む、請求項13に記載の機械可読媒体。
【請求項15】
前記不完全なグラフ・コードが、1つ又は複数のカーネルを符号化する、請求項13に記載の機械可読媒体。
【請求項16】
前記1つ又は複数の部分が、1つ又は複数の並列処理ユニット(PPU)によって実行可能な動作を符号化する、請求項13に記載の機械可読媒体。
【請求項17】
前記APIがドライバAPIである、請求項13に記載の機械可読媒体。
【請求項18】
前記命令のセットが、前記1つ又は複数のプロセッサによって実施される場合に、前記1つ又は複数のプロセッサに、前記ロケーションに少なくとも部分的に基づいて前記不完全なグラフ・コードにおける動作のセットを符号化させる命令をさらに含む、請求項13に記載の機械可読媒体。
【請求項19】
不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するために、アプリケーション・プログラミング・インターフェース(API)を実施するステップ
を含む、方法。
【請求項20】
前記APIを実施するステップの結果としてステータス指示を取得するステップをさらに含む、請求項19に記載の方法。
【請求項21】
前記1つ又は複数の部分が、1つ又は複数の動作に対応する1つ又は複数のグラフ・コード・ノードを含む、請求項19に記載の方法。
【請求項22】
前記不完全なグラフ・コードに関連するノードのセットのサイズを示す値を取得するステップをさらに含む、請求項19に記載の方法。
【請求項23】
前記ロケーションに少なくとも部分的に基づいて前記不完全なグラフ・コードに1つ又は複数のグラフ・コード・ノードを追加するステップをさらに含む、請求項19に記載の方法。
【請求項24】
前記不完全なグラフ・コードが、1つ又は複数の中央処理ユニット(CPU)によって実行可能な動作を符号化する、請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、その内容全体が参照により本明細書に組み込まれる、2021年4月14日に出願された、「GRAPH STREAM CAPTURE ENHANCEMENTS」と題する、米国仮出願第63/175,004号の利益を主張する。本出願はまた、本明細書と同時に出願された、「APPLICATION PROGRAMMING INTERFACE TO MODIFY INCOMPLETE GRAPH CODE」と題する同時係属米国特許出願第____________号(代理人整理番号第0112912-512US0号、クライアント参照番号第21-SC-1418US03号)の完全な開示に関し、すべての目的のために参照により、それを組み込む。
【0002】
少なくとも1つの実施例は、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するために使用される処理リソースに関する。たとえば、少なくとも1つの実施例は、本明細書で説明される様々な新規の技法を実装する、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するために使用されるプロセッサ又はコンピューティング・システムに関する。
【背景技術】
【0003】
様々な動作を実施するために、グラフ・コードが生成され、利用され得る。グラフ・コードの管理は、グラフ・コードが複雑であり得るので、困難であり得る。したがって、グラフ・コードを管理するための技法が、CUDA又は他の並列コンピューティング・プラットフォーム・コードを使用して改善され得る。
【図面の簡単な説明】
【0004】
図1】少なくとも1つの実施例による、本明細書で説明される1つ又は複数の技法の使用事例の一実例を示す図である。
図2】少なくとも1つの実施例による、ストリーム入手キャプチャ情報APIコール(stream get capture info API call)の図である。
図3】少なくとも1つの実施例による、ストリーム更新キャプチャ依存性APIコール(stream update capture dependencies API call)の図である。
図4】少なくとも1つの実施例による、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するプロセスの一実例を示す図である。
図5】少なくとも1つの実施例による、不完全なグラフ・コードの1つ又は複数の部分の修正のプロセスの一実例を示す図である。
図6】少なくとも1つの実施例による、例示的なデータ・センタを示す図である。
図7】少なくとも1つの実施例による、処理システムを示す図である。
図8】少なくとも1つの実施例による、コンピュータ・システムを示す図である。
図9】少なくとも1つの実施例による、システムを示す図である。
図10】少なくとも1つの実施例による、例示的な集積回路を示す図である。
図11】少なくとも1つの実施例による、コンピューティング・システムを示す図である。
図12】少なくとも1つの実施例による、APUを示す図である。
図13】少なくとも1つの実施例による、CPUを示す図である。
図14】少なくとも1つの実施例による、例示的なアクセラレータ統合スライス(accelerator integration slice)を示す図である。
図15A】少なくとも1つの実施例による、例示的なグラフィックス・プロセッサを示す図である。
図15B】少なくとも1つの実施例による、例示的なグラフィックス・プロセッサを示す図である。
図16A】少なくとも1つの実施例による、グラフィックス・コアを示す図である。
図16B】少なくとも1つの実施例による、GPGPUを示す図である。
図17A】少なくとも1つの実施例による、並列プロセッサを示す図である。
図17B】少なくとも1つの実施例による、処理クラスタを示す図である。
図17C】少なくとも1つの実施例による、グラフィックス・マルチプロセッサを示す図である。
図18】少なくとも1つの実施例による、グラフィックス・プロセッサを示す図である。
図19】少なくとも1つの実施例による、プロセッサを示す図である。
図20】少なくとも1つの実施例による、プロセッサを示す図である。
図21】少なくとも1つの実施例による、グラフィックス・プロセッサ・コアを示す図である。
図22】少なくとも1つの実施例による、PPUを示す図である。
図23】少なくとも1つの実施例による、GPCを示す図である。
図24】少なくとも1つの実施例による、ストリーミング・マルチプロセッサを示す図である。
図25】少なくとも1つの実施例による、プログラミング・プラットフォームのソフトウェア・スタックを示す図である。
図26】少なくとも1つの実施例による、図25のソフトウェア・スタックのCUDA実装形態を示す図である。
図27】少なくとも1つの実施例による、図25のソフトウェア・スタックのROCm実装形態を示す図である。
図28】少なくとも1つの実施例による、図25のソフトウェア・スタックのOpenCL実装形態を示す図である。
図29】少なくとも1つの実施例による、プログラミング・プラットフォームによってサポートされるソフトウェアを示す図である。
図30】少なくとも1つの実施例による、図25図28のプログラミング・プラットフォーム上で実行するためのコードをコンパイルすることを示す図である。
図31】少なくとも1つの実施例による、図25図28のプログラミング・プラットフォーム上で実行するためのコードをコンパイルすることをより詳細に示す図である。
図32】少なくとも1つの実施例による、ソース・コードをコンパイルするより前にソース・コードをトランスレートすることを示す図である。
図33A】少なくとも1つの実施例による、異なるタイプの処理ユニットを使用してCUDAソース・コードをコンパイル及び実行するように構成されたシステムを示す図である。
図33B】少なくとも1つの実施例による、CPU及びCUDA対応GPUを使用して、図33AのCUDAソース・コードをコンパイル及び実行するように構成されたシステムを示す図である。
図33C】少なくとも1つの実施例による、CPU及びCUDA非対応(non-CUDA-enabled)GPUを使用して、図33AのCUDAソース・コードをコンパイル及び実行するように構成されたシステムを示す図である。
図34】少なくとも1つの実施例による、図33CのCUDAからHIPへのトランスレーション・ツール(CUDA-to-HIP translation tool)によってトランスレートされた例示的なカーネルを示す図である。
図35】少なくとも1つの実施例による、図33CのCUDA非対応GPUをより詳細に示す図である。
図36】少なくとも1つの実施例による、例示的なCUDAグリッドのスレッドが図35の異なるコンピュート・ユニットにどのようにマッピングされるかを示す図である。
図37】少なくとも1つの実施例による、既存のCUDAコードをData Parallel C++コードにどのようにマイグレートするかを示す図である。
【発明を実施するための形態】
【0005】
少なくとも1つの実施例では、1つ又は複数のプログラミング・モデルが、様々な動作を実施するために、動作と前記動作の間の依存性とを表す1つ又は複数のデータ構造を利用する。少なくとも1つの実施例では、グラフが、動作と前記動作の間の依存性とを表すデータ構造である。少なくとも1つの実施例では、本明細書で説明される技法はグラフに関し得るが、本明細書で説明される技法は、動作及び/又は前記動作の間の依存性を表すか、符号化するか、又はさもなければ記憶する、任意の好適なプログラミング・モデルの任意の好適なデータ構造に適用可能である。少なくとも1つの実施例では、1つ又は複数のプログラミング・モデルは、コンピュート・ユニファイド・デバイス・アーキテクチャ(CUDA:Compute Unified Device Architecture)・モデル、ポータビリティのための異種コンピュート・インターフェース(HIP:Heterogeneous compute Interface for Portability)・モデル、oneAPIモデル、様々なハードウェア・アクセラレータ・プログラミング・モデル、及び/又はそれらの変形形態などのモデルを含む。少なくとも1つの実施例では、前記グラフは、中央処理ユニット(CPU:central processing unit)、グラフィックス処理ユニット(GPU:graphics processing unit)、汎用GPU(GPGPU:general-purpose GPU)、並列処理ユニット(PPU:parallel processing unit)、及び/又はそれらの変形形態など、1つ又は複数の処理ユニット上で実施される一連の動作である。少なくとも1つの実施例では、グラフ・データ構造、グラフ・コード、及び/又はそれらの変形形態とも呼ばれる、前記グラフは、依存性によって接続された、カーネル起動など、一連の動作を定義するデータ・オブジェクトである。少なくとも1つの実施例では、前記グラフの依存性が、前記グラフの実行とは別個に定義される。少なくとも1つの実施例では、前記グラフは、1回定義され、1回又は複数回起動され得る。
【0006】
少なくとも1つの実施例では、動作は、前記グラフ中の、グラフ・コード・ノードとも呼ばれるノードに対応する。少なくとも1つの実施例では、動作間の依存性は、前記グラフのエッジを形成する。少なくとも1つの実施例では、依存性は、動作の実行シーケンスを制約する。少なくとも1つの実施例では、動作は、それが依存するノードが完了する(たとえば、ノードによって示された動作が実行/実施される)と、任意の時間にスケジュールされ得る。少なくとも1つの実施例では、ノードによって示された動作は、カーネル、CPU関数コール、メモリ管理/操作動作(たとえば、メモリ割振り、メモリ割振り解除)、イベントを待つこと、イベントを記録すること、外部セマフォをシグナリングすること、外部セマフォを待つことなどの動作、並びに他のグラフ(たとえば、子グラフ)を含むことができる。少なくとも1つの実施例では、グラフは、様々なプログラミング・モデル・アプリケーション・プログラミング・インターフェース(API:application programming interface)関数を通して作成及び修正される。少なくとも1つの実施例では、グラフの動作は、様々なプログラミング・モデルAPI関数を通して実行される。
【0007】
少なくとも1つの実施例では、様々な動作を示す前記グラフを作成するために、グラフ作成API関数(Graph Create API function)が利用される。少なくとも1つの実施例では、前記グラフは、前記グラフを参照する識別子、参照、又は他の指示である、ハンドルによって示される。少なくとも1つの実施例では、前記ハンドルは、前記グラフのロケーションを示す。少なくとも1つの実施例では、前記グラフから実行可能グラフを作成するために、グラフインスタンス化API関数(Graph Instantiate API function)が利用される。少なくとも1つの実施例では、前記実行可能グラフは、実行されたとき、前記グラフの1つ又は複数の動作を実施する実行可能データ・オブジェクトである。少なくとも1つの実施例では、前記実行可能グラフを起動するために、グラフ起動API関数(Graph Launch API function)が利用される。少なくとも1つの実施例では、前記実行可能グラフ・データ・オブジェクトを破棄するために、グラフ実行可能破棄API関数(Graph Executable Destroy API function)が利用される。少なくとも1つの実施例では、前記グラフ・データ・オブジェクトを破棄するために、グラフ破棄API関数(Graph Destroy API function)が利用される。少なくとも1つの実施例では、任意の好適なAPI関数を通して、ノードを追加すること、ノードを削除すること、ノードを修正すること、依存性を修正すること、グラフをコピーすること、グラフを消去すること、及び/又はそれらの変形形態など、様々なグラフ動作がグラフに対して実施される。少なくとも1つの実施例では、グラフは、任意の好適なAPI関数、ソフトウェア・ライブラリ、及び/又はそれらの変形形態を使用して、任意の好適な様式で修正されるか又はさもなければ管理される。
【0008】
少なくとも1つの実施例では、グラフは、ストリーム・キャプチャと呼ばれることがある、1つ又は複数の動作を通して生成される。少なくとも1つの実施例では、ストリーム・キャプチャは、前記グラフ中の1つ又は複数の動作をキャプチャするか又はさもなければ符号化するために利用される。少なくとも1つの実施例では、ストリームが、1つ又は複数の動作のシーケンスを示す。少なくとも1つの実施例では、前記ストリームは、1つ又は複数の動作、前記1つ又は複数の動作の順序、及び/又はそれらの変形形態を符号化するか又はさもなければ示す、1つ又は複数のデータ構造、データ・オブジェクト、データ・タイプ、及び/又はそれらの変形形態を使用して実装される。少なくとも1つの実施例では、動作が、前記ストリームにサブミットされるか又はさもなければ追加され得、ストリーム・キャプチャは、前記動作を符号化する前記グラフを生成するために利用される。
【0009】
少なくとも1つの実施例では、前記ストリームは、cudaStreamBeginCapture、ストリーム開始キャプチャ(Stream Begin Capture)、及び/又はそれらの変形形態として示される、API関数を通してキャプチャ・モードに入れられ得、前記ストリームにサブミットされた動作(たとえば、前記ストリームがキャプチャ・モードにある間に前記ストリームにサブミットされた符号化動作又は他のワーク)は、漸進的に築かれるか又はさもなければ生成されるグラフに付加され、前記グラフは、cudaStreamEndCapture、ストリーム終了キャプチャ(Stream End Capture)、及び/又はそれらの変形形態として示される別のAPI関数を通して返され、これはまた、前記ストリームについてのキャプチャ・モードを終了する。少なくとも1つの実施例では、ストリーム・キャプチャによってアクティブに構築されているか又はさもなければ生成されている前記グラフは、キャプチャ・グラフ、不完全なグラフ・コード、及び/又はそれらの変形形態と呼ばれる。少なくとも1つの実施例では、API関数は、前記API関数の1つ又は複数の機能性に関係することも関係しないこともある、任意の好適な専門用語を使用して任意の好適な様式で示され得ることに留意されたい。
【0010】
少なくとも1つの実施例では、ストリーム・キャプチャは、1つ又は複数のストリームに基づいてコードのセクションをラッピングし、前記コードによって示されたワークロードを前記グラフに記録する。少なくとも1つの実施例では、例示的な実例として、前記グラフを生成するためのコードは、前記ストリーム開始キャプチャAPI関数と、カーネル起動などの1つ又は複数の動作と、前記ストリーム終了キャプチャAPI関数とを含み、前記1つ又は複数の動作を符号化する前記グラフが生成される。少なくとも1つの実施例では、キャプチャ・ストリーム(capturing stream)は、キャプチャ・モードにおける前記ストリームを指す。少なくとも1つの実施例では、CUDA、HIP、oneAPI、及び/又はそれらの変形形態など、1つ又は複数のプログラミング・モデルのシステムなど、1つ又は複数のシステムが、本明細書で説明される様々な動作及び/又は技法を実施する。少なくとも1つの実施例では、1つ又は複数のシステムは、キャプチャが進行中である間に、前記グラフへの直接アクセスと前記グラフの操作とを提供する。少なくとも1つの実施例では、1つ又は複数のシステムは、前記キャプチャ・ストリームの依存性の改変を可能にする(たとえば、前記キャプチャ・ストリームに関連する前記グラフに追加されるべきノード及び/又は前記グラフのノード部分の依存性を改変する)。
【0011】
図1は、少なくとも1つの実施例による、本明細書で説明される1つ又は複数の技法の使用事例の実例100を示す。少なくとも1つの実施例では、本明細書で説明される技法は、グラフにおけるストリーム・キャプチャ及び埋込みをサポートするための、NVIDIA集合通信ライブラリ(NCCL:NVIDIA Collective Communications Library)などの様々なソフトウェア・ライブラリ、様々な通信ライブラリ、及び/又は任意の好適なソフトウェア・ライブラリのために使用される。少なくとも1つの実施例では、動作(たとえば、NCCL動作)は、カーネル及び/又はCPUヘルパー・スレッドによってランタイムにおいて実施される。少なくとも1つの実施例では、動作をエンキューする(たとえば、エンキューops)ためのAPIコール(たとえば、NCCL APIコール)がAPIコール内の様々なセットアップ動作を実施し、これは、ヘルパー・スレッドを起動すること、及び/又は、非同期ワーク(たとえば、動作によって示されたワークロード)によって消費されるべき1つ又は複数のキューに動作データをプッシュすることを含み得る。少なくとも1つの実施例では、(たとえば、プログラミング・モデルの1つ又は複数のシステムを介した)本明細書で説明される技法は、ソフトウェア・ライブラリ(たとえば、NCCL)が、ストリームがいつキャプチャされているかを検出することと、ホスト機能(たとえば、CUDAホスト機能)を介してセットアップを非同期的に実施することとを可能にする。少なくとも1つの実施例では、1つ又は複数のシステムは、CPUセットアップ・ノードに前記ストリーム中の前のノードに依存させないことと、前記カーネルにストリーム順序付けと前記CPUノードの両方に依存させることとを行うアビリティ(ability)を提供する。少なくとも1つの実施例では、1つ又は複数のシステムは、複数の動作(たとえば、NCCL動作)が前記グラフにおいてキャプチャされた場合、APIコール順序で実行するためにCPUセットアップ・ノードを利用するためのソフトウェア・ライブラリ(たとえば、NCCL)のためのアビリティを提供する。少なくとも1つの実施例では、図1を参照すると、1つ又は複数のシステムは、前記キャプチャ・ストリームに追加されるか又はさもなければ前記キャプチャ・ストリーム中に含まれるべきセットアップ動作(たとえば、エンキューops、起動ヘルパー・スレッド)のためのアビリティを提供する。
【0012】
図2図3は、少なくとも1つの実施例による、API関数のグラフィック表現を示す。少なくとも1つの実施例では、図2図3に示されているAPI関数は、図1、及び図4図5に関して、並びに本明細書の他の場所で説明されるものなど、1つ又は複数の技法の一部として利用される。少なくとも1つの実施例では、図2図3に示されているAPI関数は、1つ又は複数のCPU、GPU、GPGPU、PPU、及び/又はそれらの変形形態など、任意の好適なプロセッサ及び/又はプロセッサの組合せによって、並びに、並列でなど、任意の好適な順序及び/又は様式で、実施される。少なくとも1つの実施例では、図2図3の各々は、APIコール及び応答中に含まれ得る情報の特定の集合を示すが、変形形態が本開示の範囲内にあり、APIコールは、より少数の又はより多くの情報構成要素を有することができ、これは、任意の好適な様式で示され得る。少なくとも1つの実施例では、同じAPI関数を使用して行われるすべてのAPIコールが同じ情報構成要素を含むとは限らない。少なくとも1つの実施例では、1つのパラメータについての重要な情報のタイプ及び/又は存在が、例示的な実例として、別のパラメータの値に依存することができる。少なくとも1つの実施例では、応答の構成要素についての重要な情報のタイプ及び/又は存在が、別のパラメータ、及び/又は前記応答をトリガしたAPIコールのパラメータの値に依存する。
【0013】
少なくとも1つの実施例では、本明細書で説明されるものなど、APIは、ドライバAPI又はランタイムAPIである。少なくとも1つの実施例では、ドライバAPIは、プログラミング・モデルに関して言及され得る、低レベルAPIである(たとえば、CUDAドライバAPI)。少なくとも1つの実施例では、ドライバAPIは、1つ又は複数のデバイスと直接対話する。少なくとも1つの実施例では、ランタイムAPIは、プログラミング・モデルに関して言及され得る、高レベルAPIである(たとえば、CUDAランタイムAPI)。少なくとも1つの実施例では、ランタイムAPIは、ドライバAPIを利用して動作する。ドライバAPI及びランタイムAPIに関するさらなる情報は、図26の説明において見つけられ得る。
【0014】
少なくとも1つの実施例では、APIコールは、前記APIコールに対応する少なくともAPI関数を示すコードの実行の一部として行われる。少なくとも1つの実施例では、例示的な実例として、1つ又は複数のシステムは、CUDA、HIP、oneAPI、及び/又はそれらの変形形態など、1つ又は複数のプログラミング・モデルに関するコードの実行の一部として、APIコールを行い、応答を取得する。
【0015】
図2は、少なくとも1つの実施例による、ストリーム入手キャプチャ情報APIコールの図200である。少なくとも1つの実施例では、前記ストリーム入手キャプチャ情報APIは、プログラミング・モデル(たとえば、CUDA、HIP、oneAPI、及び/又はそれらの変形形態)に関し得る、cudaStreamGetCaptureInfo、StreamGetCaptureInfo、及び/又は任意の好適な記法として示される。少なくとも1つの実施例では、前記ストリーム入手キャプチャ情報APIコールは、前記グラフに対する動作を実施するために利用され得る前記キャプチャ・ストリームに関連する前記グラフに対するハンドルを取得するために利用される。少なくとも1つの実施例では、前記ストリーム入手キャプチャ情報APIコールは、前記ストリームのキャプチャ状態を照会するために利用される。
【0016】
少なくとも1つの実施例では、前記ストリーム入手キャプチャ情報APIコールについてのパラメータは、「ストリーム」、「captureStatus_out」、「id_out」、「graph_out」、「dependencies_out」、「numDependencies_out」を含み、前記グラフ、前記キャプチャ・ストリーム、及び/又はそれらの変形形態の態様をさらに定義する他のパラメータを含むことができる。少なくとも1つの実施例では、パラメータ「ストリーム」は、照会すべき前記ストリームを示す。少なくとも1つの実施例では、パラメータ「captureStatus_out」は、前記ストリームの前記キャプチャ・ステータス(たとえば、前記ストリームがキャプチャ・モード及び/又はそれの変形形態にあるかどうか)を返すためのロケーション又は経路を示す。少なくとも1つの実施例では、パラメータ「id_out」は、前記アプリケーションの存続期間にわたって一意である、前記キャプチャ・シーケンスについての識別子を返すための随意のロケーションを示す。
【0017】
少なくとも1つの実施例では、パラメータ「graph_out」は、キャプチャされている前記グラフを返すための随意のロケーション(たとえば、ストリーム・キャプチャを使用して生成されている前記グラフに対する前記ハンドル)を示す。少なくとも1つの実施例では、識別子及び/又はそれの変形形態とも呼ばれる、前記ハンドルは、前記グラフ及び/又は前記グラフのロケーションを示す。少なくとも1つの実施例では、前記ハンドルは、前記グラフに対する様々なグラフ動作を実施するために利用される。少なくとも1つの実施例では、破棄及びノード削除以外のすべての動作が、前記キャプチャ・シーケンスが進行中である間、前記グラフに対して許可される。少なくとも1つの実施例では、前記ストリーム入手キャプチャ情報APIは、前記グラフの所有権を転送せず、これは、前記cudaStreamEndCapture APIにおいて転送されるか又は破棄される。少なくとも1つの実施例では、前記グラフ・ハンドルは、いくつかのエラーのために、キャプチャの終了前に無効にされ得る。
【0018】
少なくとも1つの実施例では、パラメータ「dependencies_out」は、ノードのアレイに対するポインタを記憶するための随意のロケーションを示し、前記ストリーム中にキャプチャされるべき次のノードは、ノードのこのセットを修正する、イベント待機などの動作がなければ、このセットに依存することになる。少なくとも1つの実施例では、前記アレイ・ポインタは、前記ストリームに対して動作する次のAPIコールまで、又はキャプチャの終了まで、有効である。少なくとも1つの実施例では、前記ノード・ハンドルは、コピーされ得、それら又は前記グラフが破棄されるまで有効である。少なくとも1つの実施例では、前記ドライバ所有アレイ(driver-owned array)はまた、コピーすることなしに、(たとえば、前記ストリームでなく)前記グラフに対して動作するAPIに直接受け渡され得る。少なくとも1つの実施例では、パラメータ「numDependencies_out」は、dependencies_outにおいて返された前記アレイのサイズを記憶するための随意のロケーションを示す。
【0019】
少なくとも1つの実施例では、1つ又は複数のシステムは、少なくとも、(たとえば、パラメータ「ストリーム」によって示された)前記ストリームに関連する前記グラフに対する前記ハンドルを取り出すか又はさもなければ取得することと、(たとえば、パラメータ「graph_out」によって示された)ロケーションに前記ハンドルを返すこととによって、前記ストリーム入手キャプチャ情報APIを実施する。少なくとも1つの実施例では、前記ストリーム入手キャプチャ情報APIコールに対する応答は、ステータスを含む。少なくとも1つの実施例では、前記ステータスは、前記ストリーム入手キャプチャ情報APIコールのステータス指示を示すために、前記ストリーム入手キャプチャ情報APIコールに応答して返される。少なくとも1つの実施例では、前記ステータス指示は、前記ストリーム入手キャプチャ情報APIの1つ又は複数の動作が成功したのか失敗したのか、又は他のエラーが生じたかどうかを示す。
【0020】
図3は、少なくとも1つの実施例による、ストリーム更新キャプチャ依存性APIコールの図300を示す。少なくとも1つの実施例では、前記ストリーム更新キャプチャ依存性APIは、プログラミング・モデル(たとえば、CUDA、HIP、oneAPI、及び/又はそれらの変形形態)に関し得る、cudaStreamUpdateCaptureDependencies、StreamUpdateCaptureDependencies、及び/又は任意の好適な記法として示される。少なくとも1つの実施例では、前記ストリーム更新キャプチャ依存性APIコールは、(たとえば、ストリーム・キャプチャを通して)前記グラフに追加されるべき1つ又は複数のノードが依存することになる、前記グラフ中のノードを指定するために利用される。少なくとも1つの実施例では、前記ストリーム更新キャプチャ依存性APIコールは、キャプチャ・ストリーム(たとえば、キャプチャ・モードにおけるストリーム)中の依存性のセットを更新するために利用される。
【0021】
少なくとも1つの実施例では、前記ストリーム更新キャプチャ依存性APIコールについてのパラメータは、「ストリーム」、「依存性」、「numDependencies」、「フラグ」を含み、前記グラフ、前記キャプチャ・ストリーム、前記グラフ及び/又は前記キャプチャ・ストリームに関連する依存性、並びに/或いはそれらの変形形態の態様をさらに定義する、他のパラメータを含むことができる。少なくとも1つの実施例では、パラメータ「ストリーム」は前記ストリームを示す。少なくとも1つの実施例では、パラメータ「依存性」は、前記ストリーム中の次のキャプチャされたノードが依存することになるノードのセットである、依存性のセットとも呼ばれる、依存性セットを(たとえば、前記依存性セットに対する参照又は他の好適な指示を通して)示す。少なくとも1つの実施例では、前記依存性セットは、ノードの前記セットに関連する情報を符号化するアレイ又は他の好適なデータ構造を使用して実装される。少なくとも1つの実施例では、前記依存性セットは、前記グラフ中のノード、並びに/或いは、前記グラフ及び/又は前記ストリームに関連する任意の好適なノードを含むか又はさもなければ示す。少なくとも1つの実施例では、パラメータ「numDependencies」は、「依存性」中に示されたアレイのサイズを示す。少なくとも1つの実施例では、パラメータ「フラグ」は、1つ又は複数のフラグを示し、それらは、関数又はプロセス(たとえば、API関数)の1つ又は複数の特性を決定する、前記関数又はプロセスのための信号である値を参照する。少なくとも1つの実施例では、前記1つ又は複数のフラグは、cudaStreamAddCaptureDependencies及びcudaStreamSetCaptureDependencies、又は任意の好適な記法として示されたフラグを含み、それらは、それぞれ、前記APIに受け渡された前記セットが、既存のセットに追加されるのか、前記既存のセットを置き換えるのかを示す。少なくとも1つの実施例では、0のフラグ値、又は任意の好適な値が、cudaStreamAddCaptureDependenciesにデフォルト設定される。
【0022】
少なくとも1つの実施例では、1つ又は複数のシステムは、少なくとも、「ストリーム」によって示されたキャプチャ・ストリームの依存性セットを修正するか、又は「依存性」によって示された依存性セットと置き換えることによって、前記ストリーム更新キャプチャ依存性APIを実施する。少なくとも1つの実施例では、1つ又は複数のシステムは、少なくとも、(たとえば、「依存性」によって示された)前記ストリーム更新キャプチャ依存性APIによって示されたノードを決定することと、(たとえば、前記ストリームに関連する前記グラフに付加されるとき)前記ストリーム中の1つ又は複数の後続のキャプチャされたノードに、前記ノードに依存させることとによって、前記ストリーム更新キャプチャ依存性APIを実施する。少なくとも1つの実施例では、前記ストリーム更新キャプチャ依存性APIコールに対する応答は、ステータスを含む。少なくとも1つの実施例では、前記ステータスは、前記ストリーム更新キャプチャ依存性APIコールのステータス指示を示すために、前記ストリーム更新キャプチャ依存性APIコールに応答して返される。少なくとも1つの実施例では、前記ステータス指示は、前記ストリーム更新キャプチャ依存性APIの1つ又は複数の動作が成功したのか失敗したのか、又は他のエラーが生じたかどうかを示す。
【0023】
少なくとも1つの実施例では、本明細書で説明される技法を伴う使用事例の例示的な実例として、1つ又は複数のノードを追加するためのコードが後続のコードによって示されるが、それの任意の変形形態が利用され得る。
【数1】

「cudaStreamGetCaptureInfo」は、前記グラフ(たとえば、ストリーム・キャプチャを使用して生成されているグラフ)のロケーションの識別子又は前記グラフに対する他の好適な参照を取得するために利用され、「cudaStreamUpdateCaptureDependencies」は、「ストリーム」にサブミットされた動作に対応する後続のノードに、「setupNode」に依存させるために利用される。
【0024】
図4は、少なくとも1つの実施例による、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するプロセス400の一実例を示す。少なくとも1つの実施例では、プロセス400(或いは本明細書で説明される任意の他のプロセス、或いはそれらの変形形態及び/又は組合せ)の一部又は全部は、コンピュータ実行可能命令で構成された1つ又は複数のコンピュータ・システムの制御下で実施され、1つ又は複数のプロセッサ上で、ハードウェアによって、ソフトウェアによって、又はそれらの組合せによって集合的に実行するコード(たとえば、コンピュータ実行可能命令、1つ又は複数のコンピュータ・プログラム、又は1つ又は複数のアプリケーション)として実装される。少なくとも1つの実施例では、コードは、1つ又は複数のプロセッサによって実行可能な複数のコンピュータ可読命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも1つの実施例では、コンピュータ可読記憶媒体は非一時的コンピュータ可読媒体である。少なくとも1つの実施例では、プロセス400を実施するために使用可能な少なくともいくつかのコンピュータ可読命令は、一時的信号(たとえば、伝搬する一時的な電気又は電磁送信)のみを使用して記憶されない。少なくとも1つの実施例では、非一時的コンピュータ可読媒体は、必ずしも、一時的信号のトランシーバ内に非一時的データ・ストレージ回路要素(たとえば、バッファ、キャッシュ、及びキュー)を含むとは限らない。
【0025】
少なくとも1つの実施例では、プロセス400は、本開示で説明されるものなど、1つ又は複数のシステムによって実施される。少なくとも1つの実施例では、プロセス400は、1つ又は複数のプログラミング・モデル(たとえば、CUDA、HIP、oneAPI、及び/又はそれらの変形形態)のシステムによって実施される。少なくとも1つの実施例では、プロセス400は、図2に関して説明されたような、前記ストリーム入手キャプチャ情報APIコールの1つ又は複数のプロセスを含む。少なくとも1つの実施例では、プロセス400の1つ又は複数のプロセスは、連続、並列、及び/又はそれらの変形形態を含む、任意の好適な順序で、並びにCPU、GPU、PPU、GPGPU、及び/又はそれらの変形形態など、任意の好適な処理ユニットを使用して、実施される。
【0026】
少なくとも1つの実施例では、プロセス400の少なくとも一部を実施する前記システムは、402において、少なくとも、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するために少なくともAPIを示すコードを取得するための、実行可能コードを含む。少なくとも1つの実施例では、前記APIは、図2に関して説明されたものなど、前記ストリーム入手キャプチャ情報APIである。少なくとも1つの実施例では、前記不完全なグラフ・コードは、ストリーム・キャプチャを使用して築かれているか又はさもなければ生成されている、前記グラフを参照する。少なくとも1つの実施例では、前記1つ又は複数の部分は、前記不完全なグラフ・コード、前記不完全なグラフ・コードに関連する1つ又は複数のグラフ・コード・ノード、及び/又は前記不完全なグラフ・コードに関連する任意の好適なデータを含む。少なくとも1つの実施例では、前記ロケーションは、前記不完全なグラフ・コードに対するハンドル又は他の好適な参照である。
【0027】
少なくとも1つの実施例では、前記APIは、1つ又は複数のデータ・タイプ(たとえば、前記不完全なグラフ・コードに対応する前記ストリーム)、及び/又は前記不完全なグラフ・コードに関連する任意の好適なパラメータを示すパラメータ値を含む。少なくとも1つの実施例では、前記APIは、図2に関して説明されたものなど、パラメータ値を含む。少なくとも1つの実施例では、前記不完全なグラフ・コードは、1つ又は複数のCPU、GPU、PPU、GPGPU、及び/又はそれらの変形形態など、任意の好適な処理ユニット及び/又は処理ユニットの組合せによって実施されるか又はさもなければ実行され得る、本明細書で説明されるものなど、1つ又は複数の動作を示すか又はさもなければ符号化する。
【0028】
少なくとも1つの実施例では、プロセス400の少なくとも一部を実施する前記システムは、404において、少なくとも、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するための、実行可能コードを含む。少なくとも1つの実施例では、前記システムは、少なくとも、前記不完全なグラフ・コードの前記ロケーションを符号化することができる前記不完全なグラフ・コードに対するハンドル、識別子、及び/又は任意の好適な参照を取得することによって、前記不完全なグラフ・コードの前記1つ又は複数の部分の前記ロケーションを識別するために、前記APIを実施する。少なくとも1つの実施例では、前記システムは、少なくとも、前記不完全なグラフ・コードに関連するノードのセットの参照又は他の好適な指示を取得することによって、前記APIを実施し、前記ストリーム中でキャプチャされるべき次のノードはノードの前記セットに依存することになる。
【0029】
少なくとも1つの実施例では、前記システムは、前記不完全なグラフ・コードを修正すること(たとえば、追加のグラフ・コード・ノードを追加するか又はさもなければ符号化すること、依存性を修正すること)など、前記不完全なグラフ・コードに対する様々な動作を実施するために前記ロケーションを利用し、前記ロケーションは、前記動作についての前記不完全なグラフ・コードを識別するために利用される。少なくとも1つの実施例では、前記システムは、前記APIを実施した結果としてステータス指示を取得し、ステータス指示は、前記APIの1つ又は複数の動作が成功したのか失敗したのか、又は他のエラーが生じたかどうかを示す。
【0030】
図5は、少なくとも1つの実施例による、不完全なグラフ・コードの1つ又は複数の部分の修正のプロセス500の一実例を示す。少なくとも1つの実施例では、プロセス500(或いは本明細書で説明される任意の他のプロセス、或いはそれらの変形形態及び/又は組合せ)の一部又は全部は、コンピュータ実行可能命令で構成された1つ又は複数のコンピュータ・システムの制御下で実施され、1つ又は複数のプロセッサ上で、ハードウェアによって、ソフトウェアによって、又はそれらの組合せによって集合的に実行するコード(たとえば、コンピュータ実行可能命令、1つ又は複数のコンピュータ・プログラム、又は1つ又は複数のアプリケーション)として実装される。少なくとも1つの実施例では、コードは、1つ又は複数のプロセッサによって実行可能な複数のコンピュータ可読命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも1つの実施例では、コンピュータ可読記憶媒体は非一時的コンピュータ可読媒体である。少なくとも1つの実施例では、プロセス500を実施するために使用可能な少なくともいくつかのコンピュータ可読命令は、一時的信号(たとえば、伝搬する一時的な電気又は電磁送信)のみを使用して記憶されない。少なくとも1つの実施例では、非一時的コンピュータ可読媒体は、必ずしも、一時的信号のトランシーバ内に非一時的データ・ストレージ回路要素(たとえば、バッファ、キャッシュ、及びキュー)を含むとは限らない。
【0031】
少なくとも1つの実施例では、プロセス500は、本開示で説明されるものなど、1つ又は複数のシステムによって実施される。少なくとも1つの実施例では、プロセス500は、1つ又は複数のプログラミング・モデル(たとえば、CUDA、HIP、oneAPI、及び/又はそれらの変形形態)のシステムによって実施される。少なくとも1つの実施例では、プロセス500は、図3に関して説明されたような、前記ストリーム更新キャプチャ依存性APIコールの1つ又は複数のプロセスを含む。少なくとも1つの実施例では、プロセス500の1つ又は複数のプロセスは、連続、並列、及び/又はそれらの変形形態を含む、任意の好適な順序で、並びにCPU、GPU、PPU、GPGPU、及び/又はそれらの変形形態など、任意の好適な処理ユニットを使用して、実施される。
【0032】
少なくとも1つの実施例では、プロセス500の少なくとも一部を実施する前記システムは、502において、少なくとも、不完全なグラフ・コードの1つ又は複数の部分を修正するために少なくともAPIを示すコードを取得するための、実行可能コードを含む。少なくとも1つの実施例では、前記APIは、図3に関して説明されたものなど、前記ストリーム更新キャプチャ依存性APIである。少なくとも1つの実施例では、前記不完全なグラフ・コードは、ストリーム・キャプチャを使用して築かれているか又はさもなければ生成されている、前記グラフを参照する。少なくとも1つの実施例では、前記1つ又は複数の部分は、前記不完全なグラフ・コード、前記不完全なグラフ・コードに関連する1つ又は複数のグラフ・コード・ノード、及び/又は前記不完全なグラフ・コードに関連する任意の好適なデータを含む。
【0033】
少なくとも1つの実施例では、前記APIは、前記不完全なグラフ・コードに関連する1つ又は複数のグラフ・コード・ノード(たとえば、前記不完全なグラフ・コードのノード部分)、1つ又は複数のデータ・タイプ(たとえば、前記不完全なグラフ・コードに対応する前記ストリーム)、及び/又は前記不完全なグラフ・コードに関連する任意の好適なパラメータを示すパラメータ値を含む。少なくとも1つの実施例では、前記APIは、前記不完全なグラフ・コードに関連する依存性のセットを置き換えるか又はそのセットに追加するために(たとえば、前記パラメータ値によって示された)グラフ・コード・ノードのセットを利用すべきかどうかを決定する、1つ又は複数のフラグを示すパラメータ値を含む。少なくとも1つの実施例では、前記APIは、図3に関して説明されたものなど、パラメータ値を含む。少なくとも1つの実施例では、前記不完全なグラフ・コードは、1つ又は複数のCPU、GPU、PPU、GPGPU、及び/又はそれらの変形形態など、任意の好適な処理ユニット及び/又は処理ユニットの組合せによって実施されるか又はさもなければ実行され得る、本明細書で説明されるものなど、1つ又は複数の動作を示すか又はさもなければ符号化する。
【0034】
少なくとも1つの実施例では、プロセス500の少なくとも一部を実施する前記システムは、504において、少なくとも、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するための、実行可能コードを含む。少なくとも1つの実施例では、前記システムは、少なくとも、前記不完全なグラフ・コードに関連する1つ又は複数の依存性を修正すること(たとえば、依存性セットを修正すること、前記不完全なグラフ・コードに追加されるべき1つ又は複数のグラフ・コード・ノードに、前記不完全なグラフ・コードの指定されたグラフ・コード・ノードに依存させること)によって、前記不完全なグラフ・コードの前記1つ又は複数の部分を修正するために前記APIを実施する。少なくとも1つの実施例では、前記システムは、少なくとも、前記不完全なグラフ・コードに関連する依存性(たとえば、前記不完全なグラフ・コードのノード、前記不完全なグラフ・コードに追加されるべきノード、及び/又はそれらの変形形態など、前記不完全なグラフ・コードに関連するノード間の依存性)を削除すること及び/又はその依存性に追加することによって、前記不完全なグラフ・コードの前記1つ又は複数の部分を修正するために前記APIを実施する。
【0035】
少なくとも1つの実施例では、前記システムは、図4に関して説明されるものなど、1つ又は複数のプロセスを通して取得され得る、前記不完全なグラフ・コードに対応する識別子に少なくとも部分的に基づいて、前記APIを実施する。少なくとも1つの実施例では、前記システムは、少なくとも、第1のグラフ・コード・ノード(たとえば、前記不完全なグラフ・コードに追加されることになる、前記ストリーム中の次のキャプチャされたノード)に、前記不完全なグラフ・コードに関連する第2のグラフ・コード・ノードに依存させることによって、前記不完全なグラフ・コードの前記1つ又は複数の部分を修正するために前記APIを実施する。少なくとも1つの実施例では、前記システムは、前記APIを実施した結果としてステータス指示を取得し、ステータス指示は、前記APIの1つ又は複数の動作が成功したのか失敗したのか、又は他のエラーが生じたかどうかを示す。
【0036】
以下の説明では、少なくとも1つの実施例のより完全な理解を提供するために、多数の具体的な詳細が記載される。ただし、発明概念はこれらの具体的な詳細のうちの1つ又は複数なしに実施され得ることが当業者には明らかであろう。
【0037】
データ・センタ
図6は、少なくとも1つの実施例による、例示的なデータ・センタ600を示す。少なくとも1つの実施例では、データ・センタ600は、限定はしないが、データ・センタ・インフラストラクチャ層610と、フレームワーク層620と、ソフトウェア層630と、アプリケーション層640とを含む。
【0038】
少なくとも1つの実施例では、図6に示されているように、データ・センタ・インフラストラクチャ層610は、リソース・オーケストレータ612と、グループ化されたコンピューティング・リソース614と、ノード・コンピューティング・リソース(「ノードC.R.」:node computing resource)616(1)~616(N)とを含み得、ここで、「N」は、任意のすべての正の整数を表す。少なくとも1つの実施例では、ノードC.R.616(1)~616(N)は、限定はしないが、任意の数の中央処理ユニット(「CPU」)又は(アクセラレータ、フィールド・プログラマブル・ゲート・アレイ(「FPGA」:field programmable gate array)、ネットワーク・デバイス中のデータ処理ユニット(「DPU」:data processing unit)、グラフィックス・プロセッサなどを含む)他のプロセッサ、メモリ・デバイス(たとえば、動的読取り専用メモリ)、ストレージ・デバイス(たとえば、ソリッド・ステート又はディスク・ドライブ)、ネットワーク入力/出力(「NW I/O」:network input/output)デバイス、ネットワーク・スイッチ、仮想機械(「VM」:virtual machine)、電力モジュール、及び冷却モジュールなどを含み得る。少なくとも1つの実施例では、ノードC.R.616(1)~616(N)の中からの1つ又は複数のノードC.R.は、上述のコンピューティング・リソースのうちの1つ又は複数を有するサーバであり得る。
【0039】
少なくとも1つの実施例では、グループ化されたコンピューティング・リソース614は、1つ又は複数のラック(図示せず)内に格納されたノードC.R.の別個のグループ化、又は様々な地理的ロケーション(同じく図示せず)においてデータ・センタ中に格納された多くのラックを含み得る。グループ化されたコンピューティング・リソース614内のノードC.R.の別個のグループ化は、1つ又は複数のワークロードをサポートするように構成されるか又は割り振られ得る、グループ化されたコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含み得る。少なくとも1つの実施例では、CPU又はプロセッサを含むいくつかのノードC.R.は、1つ又は複数のワークロードをサポートするためのコンピュート・リソースを提供するために1つ又は複数のラック内でグループ化され得る。少なくとも1つの実施例では、1つ又は複数のラックはまた、任意の数の電力モジュール、冷却モジュール、及びネットワーク・スイッチを、任意の組合せで含み得る。
【0040】
少なくとも1つの実施例では、リソース・オーケストレータ612は、1つ又は複数のノードC.R.616(1)~616(N)及び/又はグループ化されたコンピューティング・リソース614を構成するか、又はさもなければ、制御し得る。少なくとも1つの実施例では、リソース・オーケストレータ612は、データ・センタ600のためのソフトウェア設計インフラストラクチャ(「SDI」:software design infrastructure)管理エンティティを含み得る。少なくとも1つの実施例では、リソース・オーケストレータ612は、ハードウェア、ソフトウェア又はそれらの何らかの組合せを含み得る。
【0041】
少なくとも1つの実施例では、図6に示されているように、フレームワーク層620は、限定はしないが、ジョブ・スケジューラ632と、構成マネージャ634と、リソース・マネージャ636と、分散型ファイル・システム638とを含む。少なくとも1つの実施例では、フレームワーク層620は、ソフトウェア層630のソフトウェア652、及び/又はアプリケーション層640の1つ又は複数のアプリケーション642をサポートするためのフレームワークを含み得る。少なくとも1つの実施例では、ソフトウェア652又は(1つ又は複数の)アプリケーション642は、それぞれ、アマゾン・ウェブ・サービス、Google Cloud、及びMicrosoft Azureによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含み得る。少なくとも1つの実施例では、フレームワーク層620は、限定はしないが、大規模データ処理(たとえば、「ビック・データ」)のために分散型ファイル・システム638を利用し得るApache Spark(商標)(以下「Spark」)など、無料でオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークのタイプであり得る。少なくとも1つの実施例では、ジョブ・スケジューラ632は、データ・センタ600の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Sparkドライバを含み得る。少なくとも1つの実施例では、構成マネージャ634は、ソフトウェア層630、並びに大規模データ処理をサポートするためのSpark及び分散型ファイル・システム638を含むフレームワーク層620など、異なる層を構成することが可能であり得る。少なくとも1つの実施例では、リソース・マネージャ636は、分散型ファイル・システム638及びジョブ・スケジューラ632をサポートするようにマッピングされたか又は割り振られた、クラスタ化された又はグループ化されたコンピューティング・リソースを管理することが可能であり得る。少なくとも1つの実施例では、クラスタ化された又はグループ化されたコンピューティング・リソースは、データ・センタ・インフラストラクチャ層610において、グループ化されたコンピューティング・リソース614を含み得る。少なくとも1つの実施例では、リソース・マネージャ636は、リソース・オーケストレータ612と協調して、これらのマッピングされた又は割り振られたコンピューティング・リソースを管理し得る。
【0042】
少なくとも1つの実施例では、ソフトウェア層630中に含まれるソフトウェア652は、ノードC.R.616(1)~616(N)、グループ化されたコンピューティング・リソース614、及び/又はフレームワーク層620の分散型ファイル・システム638の少なくとも部分によって使用されるソフトウェアを含み得る。1つ又は複数のタイプのソフトウェアは、限定はしないが、インターネット・ウェブ・ページ検索ソフトウェアと、電子メール・ウイルス・スキャン・ソフトウェアと、データベース・ソフトウェアと、ストリーミング・ビデオ・コンテンツ・ソフトウェアとを含み得る。
【0043】
少なくとも1つの実施例では、アプリケーション層640中に含まれる(1つ又は複数の)アプリケーション642は、ノードC.R.616(1)~616(N)、グループ化されたコンピューティング・リソース614、及び/又はフレームワーク層620の分散型ファイル・システム638の少なくとも部分によって使用される1つ又は複数のタイプのアプリケーションを含み得る。少なくとも1つ又は複数のタイプのアプリケーションでは、限定はしないが、CUDAアプリケーションを含み得る。
【0044】
少なくとも1つの実施例では、構成マネージャ634、リソース・マネージャ636、及びリソース・オーケストレータ612のいずれかが、任意の技術的に実現可能な様式で獲得された任意の量及びタイプのデータに基づいて、任意の数及びタイプの自己修正アクションを実装し得る。少なくとも1つの実施例では、自己修正アクションは、データ・センタ600のデータ・センタ・オペレータを、不良の恐れのある構成を判定し、十分に利用されていない及び/又は性能の低いデータ・センタの部分を場合によっては回避することから解放し得る。
【0045】
少なくとも1つの実施例では、図6に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図6に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図6に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0046】
コンピュータ・ベースのシステム
以下の図は、限定はしないが、少なくとも1つの実施例を実装するために使用され得る、例示的なコンピュータ・ベースのシステムを記載する。
【0047】
図7は、少なくとも1つの実施例による、処理システム700を示す。少なくとも1つの実施例では、処理システム700は、1つ又は複数のプロセッサ702と1つ又は複数のグラフィックス・プロセッサ708とを含み、単一プロセッサ・デスクトップ・システム、マルチプロセッサ・ワークステーション・システム、或いは多数のプロセッサ702又はプロセッサ・コア707を有するサーバ・システムであり得る。少なくとも1つの実施例では、処理システム700は、モバイル・デバイス、ハンドヘルド・デバイス、又は組み込みデバイスにおいて使用するためのシステム・オン・チップ(「SoC」:system-on-a-chip)集積回路内に組み込まれた処理プラットフォームである。
【0048】
少なくとも1つの実施例では、処理システム700は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム・コンソール、メディア・コンソール、モバイル・ゲーミング・コンソール、ハンドヘルド・ゲーム・コンソール、又はオンライン・ゲーム・コンソールを含むことができるか、或いはそれらの内部に組み込まれ得る。少なくとも1つの実施例では、処理システム700は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス又はモバイル・インターネット・デバイスである。少なくとも1つの実施例では、処理システム700はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、又は仮想現実デバイスなどのウェアラブル・デバイスを含むことができるか、それらと結合することができるか、又はそれらの内部に組み込まれ得る。少なくとも1つの実施例では、処理システム700は、1つ又は複数のプロセッサ702と、1つ又は複数のグラフィックス・プロセッサ708によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。
【0049】
少なくとも1つの実施例では、1つ又は複数のプロセッサ702は、各々、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実施する命令を処理するための1つ又は複数のプロセッサ・コア707を含む。少なくとも1つの実施例では、1つ又は複数のプロセッサ・コア707の各々は、特定の命令セット709を処理するように構成される。少なくとも1つの実施例では、命令セット709は、複合命令セット・コンピューティング(「CISC」:Complex Instruction Set Computing)、縮小命令セット・コンピューティング(「RISC」:Reduced Instruction Set Computing)、又は超長命令語(「VLIW」:Very Long Instruction Word)を介したコンピューティングを容易にし得る。少なくとも1つの実施例では、プロセッサ・コア707は、各々、異なる命令セット709を処理し得、命令セット709は、他の命令セットのエミュレーションを容易にするための命令を含み得る。少なくとも1つの実施例では、プロセッサ・コア707はまた、デジタル信号プロセッサ(「DSP」:digital signal processor)などの他の処理デバイスを含み得る。
【0050】
少なくとも1つの実施例では、プロセッサ702はキャッシュ・メモリ(「キャッシュ」)704を含む。少なくとも1つの実施例では、プロセッサ702は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有することができる。少なくとも1つの実施例では、キャッシュ・メモリは、プロセッサ702の様々な構成要素の間で共有される。少なくとも1つの実施例では、プロセッサ702はまた、外部キャッシュ(たとえば、レベル3(「L3」)キャッシュ又はラスト・レベル・キャッシュ(「LLC」:Last Level Cache))(図示せず)を使用し、外部キャッシュは、知られているキャッシュ・コヒーレンシ技法を使用してプロセッサ・コア707の間で共有され得る。少なくとも1つの実施例では、追加として、レジスタ・ファイル706がプロセッサ702中に含まれ、レジスタ・ファイル706は、異なるタイプのデータを記憶するための異なるタイプのレジスタ(たとえば、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタ)を含み得る。少なくとも1つの実施例では、レジスタ・ファイル706は、汎用レジスタ又は他のレジスタを含み得る。
【0051】
少なくとも1つの実施例では、1つ又は複数のプロセッサ702は、アドレス、データ、又は制御信号などの通信信号を、プロセッサ702と処理システム700中の他の構成要素との間で送信するために、1つ又は複数のインターフェース・バス710と結合される。少なくとも1つの実施例では、1つの実施例におけるインターフェース・バス710は、ダイレクト・メディア・インターフェース(「DMI」:Direct Media Interface)バスのバージョンなどのプロセッサ・バスであり得る。少なくとも1つの実施例では、インターフェース・バス710は、DMIバスに限定されず、1つ又は複数の周辺構成要素相互接続バス(たとえば、「PCI」:Peripheral Component Interconnect、PCI Express(「PCIe」))、メモリ・バス、又は他のタイプのインターフェース・バスを含み得る。少なくとも1つの実施例では、(1つ又は複数の)プロセッサ702は、統合されたメモリ・コントローラ716と、プラットフォーム・コントローラ・ハブ730とを含む。少なくとも1つの実施例では、メモリ・コントローラ716は、メモリ・デバイスと処理システム700の他の構成要素との間の通信を容易にし、プラットフォーム・コントローラ・ハブ(「PCH」:platform controller hub)730は、ローカル入力/出力(「I/O」:Input/Output)バスを介してI/Oデバイスへの接続を提供する。
【0052】
少なくとも1つの実施例では、メモリ・デバイス720は、ダイナミック・ランダム・アクセス・メモリ(「DRAM」:dynamic random access memory)デバイス、スタティック・ランダム・アクセス・メモリ(「SRAM」:static random access memory)デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセッサ・メモリとして働くのに好適な性能を有する何らかの他のメモリ・デバイスであり得る。少なくとも1つの実施例では、メモリ・デバイス720は、1つ又は複数のプロセッサ702がアプリケーション又はプロセスを実行するときの使用のためのデータ722及び命令721を記憶するために、処理システム700のためのシステム・メモリとして動作することができる。少なくとも1つの実施例では、メモリ・コントローラ716はまた、随意の外部グラフィックス・プロセッサ712と結合し、外部グラフィックス・プロセッサ712は、グラフィックス動作及びメディア動作を実施するために、プロセッサ702中の1つ又は複数のグラフィックス・プロセッサ708と通信し得る。少なくとも1つの実施例では、ディスプレイ・デバイス711は、(1つ又は複数の)プロセッサ702に接続することができる。少なくとも1つの実施例では、ディスプレイ・デバイス711は、モバイル電子デバイス又はラップトップ・デバイスの場合のような内部ディスプレイ・デバイス、或いは、ディスプレイ・インターフェース(たとえば、DisplayPortなど)を介して取り付けられた外部ディスプレイ・デバイスのうちの1つ又は複数を含むことができる。少なくとも1つの実施例では、ディスプレイ・デバイス711は、仮想現実(「VR」:virtual reality)アプリケーション又は拡張現実(「AR」:augmented reality)アプリケーションにおいて使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ(「HMD」:head mounted display)を含むことができる。
【0053】
少なくとも1つの実施例では、プラットフォーム・コントローラ・ハブ730は、周辺機器が高速I/Oバスを介してメモリ・デバイス720及びプロセッサ702に接続することを可能にする。少なくとも1つの実施例では、I/O周辺機器は、限定はしないが、オーディオ・コントローラ746と、ネットワーク・コントローラ734と、ファームウェア・インターフェース728と、ワイヤレス・トランシーバ726と、タッチ・センサ725と、データ・ストレージ・デバイス724(たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど)とを含む。少なくとも1つの実施例では、データ・ストレージ・デバイス724は、ストレージ・インターフェース(たとえば、SATA)を介して、或いはPCI又はPCIeなどの周辺バスを介して、接続することができる。少なくとも1つの実施例では、タッチ・センサ725は、タッチ・スクリーン・センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも1つの実施例では、ワイヤレス・トランシーバ726は、Wi-Fiトランシーバ、Bluetoothトランシーバ、或いは3G、4G、又はロング・ターム・エボリューション(「LTE」:Long Term Evolution)トランシーバなどのモバイル・ネットワーク・トランシーバであり得る。少なくとも1つの実施例では、ファームウェア・インターフェース728は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース(「UEFI」:unified extensible firmware interface)であり得る。少なくとも1つの実施例では、ネットワーク・コントローラ734は、ワイヤード・ネットワークへのネットワーク接続を可能にすることができる。少なくとも1つの実施例では、高性能ネットワーク・コントローラ(図示せず)は、インターフェース・バス710と結合する。少なくとも1つの実施例では、オーディオ・コントローラ746は、マルチチャネル高精細度オーディオ・コントローラである。少なくとも1つの実施例では、処理システム700は、レガシー(たとえば、パーソナル・システム2(「PS/2」:Personal System 2))デバイスを処理システム700に結合するための随意のレガシーI/Oコントローラ740を含む。少なくとも1つの実施例では、プラットフォーム・コントローラ・ハブ730は、キーボードとマウス743との組合せ、カメラ744、又は他のUSB入力デバイスなど、1つ又は複数のユニバーサル・シリアル・バス(「USB」:Universal Serial Bus)コントローラ742接続入力デバイスにも接続することができる。
【0054】
少なくとも1つの実施例では、メモリ・コントローラ716及びプラットフォーム・コントローラ・ハブ730のインスタンスが、外部グラフィックス・プロセッサ712などの慎重な外部グラフィックス・プロセッサに組み込まれ得る。少なくとも1つの実施例では、プラットフォーム・コントローラ・ハブ730及び/又はメモリ・コントローラ716は、1つ又は複数のプロセッサ702の外部にあり得る。たとえば、少なくとも1つの実施例では、処理システム700は、外部のメモリ・コントローラ716とプラットフォーム・コントローラ・ハブ730とを含むことができ、それらは、(1つ又は複数の)プロセッサ702と通信しているシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺コントローラ・ハブとして構成され得る。
【0055】
少なくとも1つの実施例では、図7に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図7に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図7に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0056】
図8は、少なくとも1つの実施例による、コンピュータ・システム800を示す。少なくとも1つの実施例では、コンピュータ・システム800は、相互接続されたデバイス及び構成要素をもつシステム、SOC、又は何らかの組合せであり得る。少なくとも1つの実施例では、コンピュータ・システム800は、命令を実行するための実行ユニットを含み得るプロセッサ802とともに形成される。少なくとも1つの実施例では、コンピュータ・システム800は、限定はしないが、データを処理するためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ802などの構成要素を含み得る。少なくとも1つの実施例では、コンピュータ・システム800は、カリフォルニア州サンタクララのIntel Corporationから入手可能なPENTIUM(登録商標)プロセッサ・ファミリー、Xeon(商標)、Itanium(登録商標)、XScale(商標)及び/又はStrongARM(商標)、Intel(登録商標)Core(商標)、又はIntel(登録商標)Nervana(商標)マイクロプロセッサなどのプロセッサを含み得るが、(他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するPCを含む)他のシステムも使用され得る。少なくとも1つの実施例では、コンピュータ・システム800は、ワシントン州レドモンドのMicrosoft Corporationから入手可能なWINDOWS(登録商標)のオペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム(たとえば、UNIX(登録商標)及びLinux(登録商標))、組み込みソフトウェア、及び/又はグラフィカル・ユーザ・インターフェースも使用され得る。
【0057】
少なくとも1つの実施例では、コンピュータ・システム800は、ハンドヘルド・デバイス及び組み込みアプリケーションなど、他のデバイスにおいて使用され得る。ハンドヘルド・デバイスのいくつかの実例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント(「PDA」:personal digital assistant)、及びハンドヘルドPCを含む。少なくとも1つの実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ(DSP)、SoC、ネットワーク・コンピュータ(「NetPC」:network computer)、セット・トップ・ボックス、ネットワーク・ハブ、ワイド・エリア・ネットワーク(「WAN」:wide area network)スイッチ、又は1つ又は複数の命令を実施し得る任意の他のシステムを含み得る。
【0058】
少なくとも1つの実施例では、コンピュータ・システム800は、限定はしないが、プロセッサ802を含み得、プロセッサ802は、限定はしないが、コンピュート・ユニファイド・デバイス・アーキテクチャ(「CUDA」)(CUDA(登録商標)は、カリフォルニア州サンタクララのNVIDIA Corporationによって開発される)プログラムを実行するように構成され得る、1つ又は複数の実行ユニット808を含み得る。少なくとも1つの実施例では、CUDAプログラムは、CUDAプログラミング言語で書かれたソフトウェア・アプリケーションの少なくとも一部分である。少なくとも1つの実施例では、コンピュータ・システム800は、シングル・プロセッサ・デスクトップ又はサーバ・システムである。少なくとも1つの実施例では、コンピュータ・システム800は、マルチプロセッサ・システムであり得る。少なくとも1つの実施例では、プロセッサ802は、限定はしないが、CISCマイクロプロセッサ、RISCマイクロプロセッサ、VLIWマイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は、たとえばデジタル信号プロセッサなど、任意の他のプロセッサ・デバイスを含み得る。少なくとも1つの実施例では、プロセッサ802は、プロセッサ・バス810に結合され得、プロセッサ・バス810は、プロセッサ802とコンピュータ・システム800中の他の構成要素との間でデータ信号を送信し得る。
【0059】
少なくとも1つの実施例では、プロセッサ802は、限定はしないが、レベル1(「L1」)の内部キャッシュ・メモリ(「キャッシュ」)804を含み得る。少なくとも1つの実施例では、プロセッサ802は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有し得る。少なくとも1つの実施例では、キャッシュ・メモリは、プロセッサ802の外部に存在し得る。少なくとも1つの実施例では、プロセッサ802は、内部キャッシュと外部キャッシュの両方の組合せをも含み得る。少なくとも1つの実施例では、レジスタ・ファイル806は、限定はしないが、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタを含む様々なレジスタに、異なるタイプのデータを記憶し得る。
【0060】
少なくとも1つの実施例では、限定はしないが、整数演算及び浮動小数点演算を実施するための論理を含む実行ユニット808も、プロセッサ802中に存在する。プロセッサ802は、いくつかのマクロ命令のためのマイクロコードを記憶するマイクロコード(「uコード」)読取り専用メモリ(「ROM」:read only memory)をも含み得る。少なくとも1つの実施例では、実行ユニット808は、パック命令セット809に対処するための論理を含み得る。少なくとも1つの実施例では、パック命令セット809を、命令を実行するための関連する回路要素とともに汎用プロセッサ802の命令セットに含めることによって、多くのマルチメディア・アプリケーションによって使用される演算が、汎用プロセッサ802中のパック・データを使用して実施され得る。少なくとも1つの実施例では、多くのマルチメディア・アプリケーションが、パック・データの演算を実施するためにプロセッサのデータ・バスの全幅を使用することによって加速され、より効率的に実行され得、これは、一度に1つのデータ要素ずつ1つ又は複数の演算を実施するために、プロセッサのデータ・バスにわたってより小さい単位のデータを転送する必要をなくし得る。
【0061】
少なくとも1つの実施例では、実行ユニット808はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、DSP、及び他のタイプの論理回路において使用され得る。少なくとも1つの実施例では、コンピュータ・システム800は、限定はしないが、メモリ820を含み得る。少なくとも1つの実施例では、メモリ820は、DRAMデバイス、SRAMデバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装され得る。メモリ820は、プロセッサ802によって実行され得るデータ信号によって表される(1つ又は複数の)命令819及び/又はデータ821を記憶し得る。
【0062】
少なくとも1つの実施例では、システム論理チップが、プロセッサ・バス810及びメモリ820に結合され得る。少なくとも1つの実施例では、システム論理チップは、限定はしないが、メモリ・コントローラ・ハブ(「MCH」:memory controller hub)816を含み得、プロセッサ802は、プロセッサ・バス810を介してMCH816と通信し得る。少なくとも1つの実施例では、MCH816は、命令及びデータ・ストレージのための、並びにグラフィックス・コマンド、データ及びテクスチャのストレージのための、高帯域幅メモリ経路818をメモリ820に提供し得る。少なくとも1つの実施例では、MCH816は、プロセッサ802と、メモリ820と、コンピュータ・システム800中の他の構成要素との間でデータ信号をダイレクトし、プロセッサ・バス810と、メモリ820と、システムI/O822との間でデータ信号をブリッジし得る。少なくとも1つの実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供し得る。少なくとも1つの実施例では、MCH816は、高帯域幅メモリ経路818を通してメモリ820に結合され得、グラフィックス/ビデオ・カード812は、アクセラレーテッド・グラフィックス・ポート(「AGP」:Accelerated Graphics Port)相互接続814を介してMCH816に結合され得る。
【0063】
少なくとも1つの実施例では、コンピュータ・システム800は、MCH816をI/Oコントローラ・ハブ(「ICH」:I/O controller hub)830に結合するためのプロプライエタリ・ハブ・インターフェース・バスである、システムI/O822を使用し得る。少なくとも1つの実施例では、ICH830は、ローカルI/Oバスを介していくつかのI/Oデバイスに直接接続を提供し得る。少なくとも1つの実施例では、ローカルI/Oバスは、限定はしないが、周辺機器をメモリ820、チップセット、及びプロセッサ802に接続するための高速I/Oバスを含み得る。実例は、限定はしないが、オーディオ・コントローラ829と、ファームウェア・ハブ(「フラッシュBIOS」)828と、ワイヤレス・トランシーバ826と、データ・ストレージ824と、ユーザ入力インターフェース825及びキーボード・インターフェースを含んでいるレガシーI/Oコントローラ823と、USBなどのシリアル拡張ポート827と、ネットワーク・コントローラ834とを含み得る。データ・ストレージ824は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、CD-ROMデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備え得る。
【0064】
少なくとも1つの実施例では、図8は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示す。少なくとも1つの実施例では、図8は、例示的なSoCを示し得る。少なくとも1つの実施例では、図8に示されているデバイスは、プロプライエタリ相互接続、標準相互接続(たとえば、PCIe)、又はそれらの何らかの組合せで相互接続され得る。少なくとも1つの実施例では、システム800の1つ又は複数の構成要素は、コンピュート・エクスプレス・リンク(「CXL」:compute express link)相互接続を使用して相互接続される。
【0065】
少なくとも1つの実施例では、図8に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図8に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図8に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0066】
図9は、少なくとも1つの実施例による、システム900を示す。少なくとも1つの実施例では、システム900は、プロセッサ910を利用する電子デバイスである。少なくとも1つの実施例では、システム900は、たとえば、限定はしないが、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、1つ又は複数の構内サービス・プロバイダ又はクラウド・サービス・プロバイダに通信可能に結合されたエッジ・デバイス、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、或いは任意の他の好適な電子デバイスであり得る。
【0067】
少なくとも1つの実施例では、システム900は、限定はしないが、任意の好適な数又は種類の構成要素、周辺機器、モジュール、又はデバイスに通信可能に結合されたプロセッサ910を含み得る。少なくとも1つの実施例では、プロセッサ910は、ICバス、システム管理バス(「SMBus」:System Management Bus)、ロー・ピン・カウント(「LPC」:Low Pin Count)バス、シリアル周辺インターフェース(「SPI」:Serial Peripheral Interface)、高精細度オーディオ(「HDA」:High Definition Audio)バス、シリアル・アドバンス・テクノロジー・アタッチメント(「SATA」:Serial Advance Technology Attachment)バス、USB(バージョン1、2、3)、又はユニバーサル非同期受信機/送信機(「UART」:Universal Asynchronous Receiver/Transmitter)バスなど、バス又はインターフェースを使用して結合される。少なくとも1つの実施例では、図9は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示す。少なくとも1つの実施例では、図9は、例示的なSoCを示し得る。少なくとも1つの実施例では、図9に示されているデバイスは、プロプライエタリ相互接続、標準相互接続(たとえば、PCIe)又はそれらの何らかの組合せで相互接続され得る。少なくとも1つの実施例では、図9の1つ又は複数の構成要素は、CXL相互接続を使用して相互接続される。
【0068】
少なくとも1つの実施例では、図9は、ディスプレイ924、タッチ・スクリーン925、タッチ・パッド930、ニア・フィールド通信ユニット(「NFC」:Near Field Communication)945、センサ・ハブ940、熱センサ946、エクスプレス・チップセット(「EC」:Express Chipset)935、トラステッド・プラットフォーム・モジュール(「TPM」:Trusted Platform Module)938、BIOS/ファームウェア/フラッシュ・メモリ(「BIOS、FWフラッシュ」:BIOS/firmware/flash memory)922、DSP960、ソリッド・ステート・ディスク(「SSD」:Solid State Disk)又はハード・ディスク・ドライブ(「HDD」:Hard Disk Drive)920、ワイヤレス・ローカル・エリア・ネットワーク・ユニット(「WLAN」:wireless local area network)950、Bluetoothユニット952、ワイヤレス・ワイド・エリア・ネットワーク・ユニット(「WWAN」:Wireless Wide Area Network)956、全地球測位システム(「GPS」:Global Positioning System)955、USB3.0カメラなどのカメラ(「USB3.0カメラ」)954、或いは、たとえばLPDDR3規格において実装された低電力ダブル・データ・レート(「LPDDR」:Low Power Double Data Rate)メモリ・ユニット(「LPDDR3」)915を含み得る。これらの構成要素は、各々、任意の好適な様式で実装され得る。
【0069】
少なくとも1つの実施例では、上記で説明された構成要素を通して、他の構成要素がプロセッサ910に通信可能に結合され得る。少なくとも1つの実施例では、加速度計941と、周囲光センサ(「ALS」:Ambient Light Sensor)942と、コンパス943と、ジャイロスコープ944とが、センサ・ハブ940に通信可能に結合され得る。少なくとも1つの実施例では、熱センサ939と、ファン937と、キーボード936と、タッチ・パッド930とが、EC935に通信可能に結合され得る。少なくとも1つの実施例では、スピーカー963と、ヘッドフォン964と、マイクロフォン(「mic」)965とが、オーディオ・ユニット(「オーディオ・コーデック及びクラスdアンプ」)962に通信可能に結合され得、オーディオ・ユニット962は、DSP960に通信可能に結合され得る。少なくとも1つの実施例では、オーディオ・ユニット962は、たとえば、限定はしないが、オーディオ・コーダ/デコーダ(「コーデック」)及びクラスD増幅器を含み得る。少なくとも1つの実施例では、SIMカード(「SIM」)957は、WWANユニット956に通信可能に結合され得る。少なくとも1つの実施例では、WLANユニット950及びBluetoothユニット952などの構成要素、並びにWWANユニット956は、次世代フォーム・ファクタ(「NGFF」:Next Generation Form Factor)において実装され得る。
【0070】
少なくとも1つの実施例では、図9に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図9に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図9に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0071】
図10は、少なくとも1つの実施例による、例示的な集積回路1000を示す。少なくとも1つの実施例では、例示的な集積回路1000は、1つ又は複数のIPコアを使用して作製され得るSoCである。少なくとも1つの実施例では、集積回路1000は、1つ又は複数のアプリケーション・プロセッサ1005(たとえば、CPU、DPU)、少なくとも1つのグラフィックス・プロセッサ1010を含み、追加として、画像プロセッサ1015及び/又はビデオ・プロセッサ1020を含み得、それらのいずれも、モジュール式IPコアであり得る。少なくとも1つの実施例では、集積回路1000は、USBコントローラ1025、UARTコントローラ1030、SPI/SDIOコントローラ1035、及びIS/ICコントローラ1040を含む周辺機器又はバス論理を含む。少なくとも1つの実施例では、集積回路1000は、高精細度マルチメディア・インターフェース(「HDMI(登録商標)」:high-definition multimedia interface)コントローラ1050及びモバイル・インダストリ・プロセッサ・インターフェース(「MIPI」:mobile industry processor interface)ディスプレイ・インターフェース1055のうちの1つ又は複数に結合されたディスプレイ・デバイス1045を含むことができる。少なくとも1つの実施例では、フラッシュ・メモリとフラッシュ・メモリ・コントローラとを含むフラッシュ・メモリ・サブシステム1060によって、ストレージが提供され得る。少なくとも1つの実施例では、SDRAM又はSRAMメモリ・デバイスへのアクセスのために、メモリ・コントローラ1065を介してメモリ・インターフェースが提供され得る。少なくとも1つの実施例では、いくつかの集積回路は、追加として、組み込みセキュリティ・エンジン1070を含む。
【0072】
少なくとも1つの実施例では、図10に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図10に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図10に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0073】
図11は、少なくとも1つの実施例による、コンピューティング・システム1100を示す。少なくとも1つの実施例では、コンピューティング・システム1100は、メモリ・ハブ1105を含み得る相互接続経路を介して通信する1つ又は複数のプロセッサ1102とシステム・メモリ1104とを有する処理サブシステム1101を含む。少なくとも1つの実施例では、メモリ・ハブ1105は、チップセット構成要素内の別個の構成要素であり得るか、又は1つ又は複数のプロセッサ1102内に組み込まれ得る。少なくとも1つの実施例では、メモリ・ハブ1105は、通信リンク1106を介してI/Oサブシステム1111と結合する。少なくとも1つの実施例では、I/Oサブシステム1111は、コンピューティング・システム1100が1つ又は複数の入力デバイス1108からの入力を受信することを可能にすることができるI/Oハブ1107を含む。少なくとも1つの実施例では、I/Oハブ1107は、1つ又は複数のプロセッサ1102中に含まれ得るディスプレイ・コントローラが、1つ又は複数のディスプレイ・デバイス1110Aに出力を提供することを可能にすることができる。少なくとも1つの実施例では、I/Oハブ1107と結合された1つ又は複数のディスプレイ・デバイス1110Aは、ローカルの、内部の、又は組み込まれたディスプレイ・デバイスを含むことができる。
【0074】
少なくとも1つの実施例では、処理サブシステム1101は、バス又は他の通信リンク1113を介してメモリ・ハブ1105に結合された1つ又は複数の並列プロセッサ1112を含む。少なくとも1つの実施例では、通信リンク1113は、限定はしないがPCIeなど、任意の数の規格ベースの通信リンク技術又はプロトコルのうちの1つであり得るか、或いはベンダー固有の通信インターフェース又は通信ファブリックであり得る。少なくとも1つの実施例では、1つ又は複数の並列プロセッサ1112は、メニー・インテグレーテッド・コア・プロセッサなど、多数の処理コア及び/又は処理クラスタを含むことができる、算出に集中した並列又はベクトル処理システムを形成する。少なくとも1つの実施例では、1つ又は複数の並列プロセッサ1112は、グラフィックス処理サブシステムを形成し、グラフィックス処理サブシステムは、I/Oハブ1107を介して結合された1つ又は複数のディスプレイ・デバイス1110Aのうちの1つにピクセルを出力することができる。少なくとも1つの実施例では、1つ又は複数の並列プロセッサ1112はまた、ディスプレイ・コントローラと、1つ又は複数のディスプレイ・デバイス1110Bへの直接接続を可能にするためのディスプレイ・インターフェース(図示せず)とを含むことができる。
【0075】
少なくとも1つの実施例では、システム・ストレージ・ユニット1114は、I/Oハブ1107に接続して、コンピューティング・システム1100のためのストレージ機構を提供することができる。少なくとも1つの実施例では、I/Oハブ1107と、プラットフォームに組み込まれ得るネットワーク・アダプタ1118及び/又はワイヤレス・ネットワーク・アダプタ1119などの他の構成要素、並びに1つ又は複数のアドイン・デバイス1120を介して追加され得る様々な他のデバイスとの間の接続を可能にするためのインターフェース機構を提供するために、I/Oスイッチ1116が使用され得る。少なくとも1つの実施例では、ネットワーク・アダプタ1118は、イーサネット・アダプタ又は別のワイヤード・ネットワーク・アダプタであり得る。少なくとも1つの実施例では、ワイヤレス・ネットワーク・アダプタ1119は、Wi-Fi、Bluetooth、NFC、又は1つ又は複数のワイヤレス無線を含む他のネットワーク・デバイスのうちの1つ又は複数を含むことができる。
【0076】
少なくとも1つの実施例では、コンピューティング・システム1100は、USB又は他のポート接続、光学ストレージ・ドライブ、ビデオ・キャプチャ・デバイスなどを含む、I/Oハブ1107にも接続され得る、明示的に示されていない他の構成要素を含むことができる。少なくとも1つの実施例では、図11中の様々な構成要素を相互接続する通信経路が、PCIベースのプロトコル(たとえば、PCIe)などの任意の好適なプロトコル、或いはNVLink高速相互接続などの他のバス又はポイントツーポイント通信インターフェース及び/又は(1つ又は複数の)プロトコル、或いは相互接続プロトコルを使用して、実装され得る。
【0077】
少なくとも1つの実施例では、1つ又は複数の並列プロセッサ1112は、たとえばビデオ出力回路要素を含むグラフィックス及びビデオ処理のために最適化された回路要素を組み込み、グラフィックス処理ユニット(「GPU」)を構成する。少なくとも1つの実施例では、1つ又は複数の並列プロセッサ1112は、汎用処理のために最適化された回路要素を組み込む。少なくとも実施例では、コンピューティング・システム1100の構成要素は、単一の集積回路上の1つ又は複数の他のシステム要素と統合され得る。たとえば、少なくとも1つの実施例では、1つ又は複数の並列プロセッサ1112、メモリ・ハブ1105、(1つ又は複数の)プロセッサ1102、及びI/Oハブ1107は、SoC集積回路に組み込まれ得る。少なくとも1つの実施例では、コンピューティング・システム1100の構成要素は、システム・イン・パッケージ(「SIP」:system in package)構成を形成するために、単一のパッケージに組み込まれ得る。少なくとも1つの実施例では、コンピューティング・システム1100の構成要素の少なくとも一部分は、マルチチップ・モジュール(「MCM」:multi-chip module)に組み込まれ得、マルチチップ・モジュールは、他のマルチチップ・モジュールと相互接続されてモジュール式コンピューティング・システムにすることができる。少なくとも1つの実施例では、I/Oサブシステム1111及びディスプレイ・デバイス1110Bは、コンピューティング・システム1100から省略される。
【0078】
少なくとも1つの実施例では、図11に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図11に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図11に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0079】
処理システム
以下の図は、限定はしないが、少なくとも1つの実施例を実装するために使用され得る、例示的な処理システムを記載する。
【0080】
図12は、少なくとも1つの実施例による、加速処理ユニット(「APU」:accelerated processing unit)1200を示す。少なくとも1つの実施例では、APU1200は、カリフォルニア州サンタクララのAMD Corporationによって開発される。少なくとも1つの実施例では、APU1200は、CUDAプログラムなど、アプリケーション・プログラムを実行するように構成され得る。少なくとも1つの実施例では、APU1200は、限定はしないが、コア複合体1210と、グラフィックス複合体1240と、ファブリック1260と、I/Oインターフェース1270と、メモリ・コントローラ1280と、ディスプレイ・コントローラ1292と、マルチメディア・エンジン1294とを含む。少なくとも1つの実施例では、APU1200は、限定はしないが、任意の数のコア複合体1210と、任意の数のグラフィックス複合体1250と、任意の数のディスプレイ・コントローラ1292と、任意の数のマルチメディア・エンジン1294とを、任意の組合せで含み得る。説明目的のために、同様のオブジェクトの複数のインスタンスは、オブジェクトを識別する参照番号と、必要な場合にインスタンスを識別する括弧付きの番号とともに、本明細書で示される。
【0081】
少なくとも1つの実施例では、コア複合体1210はCPUであり、グラフィックス複合体1240はGPUであり、APU1200は、限定はしないが、単一のチップ上に1210及び1240を組み込む処理ユニットである。少なくとも1つの実施例では、いくつかのタスクは、コア複合体1210に割り当てられ得、他のタスクは、グラフィックス複合体1240に割り当てられ得る。少なくとも1つの実施例では、コア複合体1210は、オペレーティング・システムなど、APU1200に関連するメイン制御ソフトウェアを実行するように構成される。少なくとも1つの実施例では、コア複合体1210は、APU1200のマスタ・プロセッサであり、他のプロセッサの動作を制御し、協調させる。少なくとも1つの実施例では、コア複合体1210は、グラフィックス複合体1240の動作を制御するコマンドを発行する。少なくとも1つの実施例では、コア複合体1210は、CUDAソース・コードから導出されたホスト実行可能コードを実行するように構成され得、グラフィックス複合体1240は、CUDAソース・コードから導出されたデバイス実行可能コードを実行するように構成され得る。
【0082】
少なくとも1つの実施例では、コア複合体1210は、限定はしないが、コア1220(1)~1220(4)と、L3キャッシュ1230とを含む。少なくとも1つの実施例では、コア複合体1210は、限定はしないが、任意の数のコア1220と、任意の数及びタイプのキャッシュとを、任意の組合せで含み得る。少なくとも1つの実施例では、コア1220は、特定の命令セット・アーキテクチャ(「ISA」:instruction set architecture)の命令を実行するように構成される。少なくとも1つの実施例では、各コア1220はCPUコアである。
【0083】
少なくとも1つの実施例では、各コア1220は、限定はしないが、フェッチ/復号ユニット1222と、整数実行エンジン1224と、浮動小数点実行エンジン1226と、L2キャッシュ1228とを含む。少なくとも1つの実施例では、フェッチ/復号ユニット1222は、命令をフェッチし、そのような命令を復号し、マイクロ・オペレーションを生成し、整数実行エンジン1224と浮動小数点実行エンジン1226とに別個のマイクロ命令をディスパッチする。少なくとも1つの実施例では、フェッチ/復号ユニット1222は、同時に、あるマイクロ命令を整数実行エンジン1224にディスパッチし、別のマイクロ命令を浮動小数点実行エンジン1226にディスパッチすることができる。少なくとも1つの実施例では、整数実行エンジン1224は、限定はしないが、整数及びメモリ演算を実行する。少なくとも1つの実施例では、浮動小数点エンジン1226は、限定はしないが、浮動小数点及びベクトル演算を実行する。少なくとも1つの実施例では、フェッチ復号ユニット1222は、整数実行エンジン1224と浮動小数点実行エンジン1226の両方を置き換える単一の実行エンジンに、マイクロ命令をディスパッチする。
【0084】
少なくとも1つの実施例では、iがコア1220の特定のインスタンスを表す整数である、各コア1220(i)は、コア1220(i)中に含まれるL2キャッシュ1228(i)にアクセスし得る。少なくとも1つの実施例では、jがコア複合体1210の特定のインスタンスを表す整数である、コア複合体1210(j)中に含まれる各コア1220は、コア複合体1210(j)中に含まれるL3キャッシュ1230(j)を介して、コア複合体1210(j)中に含まれる他のコア1220に接続される。少なくとも1つの実施例では、jがコア複合体1210の特定のインスタンスを表す整数である、コア複合体1210(j)中に含まれるコア1220は、コア複合体1210(j)中に含まれるL3キャッシュ1230(j)のすべてにアクセスすることができる。少なくとも1つの実施例では、L3キャッシュ1230は、限定はしないが、任意の数のスライスを含み得る。
【0085】
少なくとも1つの実施例では、グラフィックス複合体1240は、高度並列様式でコンピュート動作を実施するように構成され得る。少なくとも1つの実施例では、グラフィックス複合体1240は、描画コマンド、ピクセル動作、幾何学的算出、及びディスプレイに画像をレンダリングすることに関連する他の動作など、グラフィックス・パイプライン動作を実行するように構成される。少なくとも1つの実施例では、グラフィックス複合体1240は、グラフィックに関係しない動作を実行するように構成される。少なくとも1つの実施例では、グラフィックス複合体1240は、グラフィックに関係する動作とグラフィックに関係しない動作の両方を実行するように構成される。
【0086】
少なくとも1つの実施例では、グラフィックス複合体1240は、限定はしないが、任意の数のコンピュート・ユニット1250と、L2キャッシュ1242とを含む。少なくとも1つの実施例では、コンピュート・ユニット1250は、L2キャッシュ1242を共有する。少なくとも1つの実施例では、L2キャッシュ1242は区分けされる。少なくとも1つの実施例では、グラフィックス複合体1240は、限定はしないが、任意の数のコンピュート・ユニット1250と、(ゼロを含む)任意の数及びタイプのキャッシュとを含む。少なくとも1つの実施例では、グラフィックス複合体1240は、限定はしないが、任意の量の専用グラフィックス・ハードウェアを含む。
【0087】
少なくとも1つの実施例では、各コンピュート・ユニット1250は、限定はしないが、任意の数のSIMDユニット1252と、共有メモリ1254とを含む。少なくとも1つの実施例では、各SIMDユニット1252は、SIMDアーキテクチャを実装し、動作を並列に実施するように構成される。少なくとも1つの実施例では、各コンピュート・ユニット1250は、任意の数のスレッド・ブロックを実行し得るが、各スレッド・ブロックは、単一のコンピュート・ユニット1250上で実行する。少なくとも1つの実施例では、スレッド・ブロックは、限定はしないが、任意の数の実行のスレッドを含む。少なくとも1つの実施例では、ワークグループは、スレッド・ブロックである。少なくとも1つの実施例では、各SIMDユニット1252は、異なるワープを実行する。少なくとも1つの実施例では、ワープは、スレッドのグループ(たとえば、16個のスレッド)であり、ここで、ワープ中の各スレッドは、単一のスレッド・ブロックに属し、命令の単一のセットに基づいて、データの異なるセットを処理するように構成される。少なくとも1つの実施例では、ワープ中の1つ又は複数のスレッドを無効にするために、プレディケーションが使用され得る。少なくとも1つの実施例では、レーンはスレッドである。少なくとも1つの実施例では、ワーク・アイテムはスレッドである。少なくとも1つの実施例では、ウェーブフロントはワープである。少なくとも1つの実施例では、スレッド・ブロック中の異なるウェーブフロントは、互いに同期し、共有メモリ1254を介して通信し得る。
【0088】
少なくとも1つの実施例では、ファブリック1260は、コア複合体1210、グラフィックス複合体1240、I/Oインターフェース1270、メモリ・コントローラ1280、ディスプレイ・コントローラ1292、及びマルチメディア・エンジン1294にわたるデータ及び制御送信を容易にするシステム相互接続である。少なくとも1つの実施例では、APU1200は、限定はしないが、ファブリック1260に加えて又はそれの代わりに、任意の量及びタイプのシステム相互接続を含み得、それは、APU1200の内部又は外部にあり得る、任意の数及びタイプの直接又は間接的にリンクされた構成要素にわたるデータ及び制御送信を容易にする。少なくとも1つの実施例では、I/Oインターフェース1270は、任意の数及びタイプのI/Oインターフェース(たとえば、PCI、PCI-Extended(「PCI-X」)、PCIe、ギガビット・イーサネット(「GBE」:gigabit Ethernet)、USBなど)を表す。少なくとも1つの実施例では、様々なタイプの周辺デバイスがI/Oインターフェース1270に結合される。少なくとも1つの実施例では、I/Oインターフェース1270に結合される周辺デバイスは、限定はしないが、キーボード、マウス、プリンタ、スキャナ、ジョイスティック又は他のタイプのゲーム・コントローラ、メディア記録デバイス、外部ストレージ・デバイス、ネットワーク・インターフェース・カードなどを含み得る。
【0089】
少なくとも1つの実施例では、ディスプレイ・コントローラAMD92は、液晶ディスプレイ(「LCD」:liquid crystal display)デバイスなど、1つ又は複数のディスプレイ・デバイス上に画像を表示する。少なくとも1つの実施例では、マルチメディア・エンジン1294は、限定はしないが、ビデオ・デコーダ、ビデオ・エンコーダ、画像信号プロセッサなど、マルチメディアに関係する任意の量及びタイプの回路要素を含む。少なくとも1つの実施例では、メモリ・コントローラ1280は、APU1200と統一システム・メモリ1290との間のデータ転送を容易にする。少なくとも1つの実施例では、コア複合体1210とグラフィックス複合体1240とは、統一システム・メモリ1290を共有する。
【0090】
少なくとも1つの実施例では、APU1200は、限定はしないが、1つの構成要素に専用であるか又は複数の構成要素の間で共有され得る、任意の量及びタイプのメモリ・コントローラ1280及びメモリ・デバイス(たとえば、共有メモリ1254)を含む、メモリ・サブシステムを実装する。少なくとも1つの実施例では、APU1200は、限定はしないが、1つ又は複数のキャッシュ・メモリ(たとえば、L2キャッシュ1328、L3キャッシュ1230、及びL2キャッシュ1242)を含む、キャッシュ・サブシステムを実装し、1つ又は複数のキャッシュ・メモリは、各々、任意の数の構成要素(たとえば、コア1220、コア複合体1210、SIMDユニット1252、コンピュート・ユニット1250、及びグラフィックス複合体1240)に対してプライベートであるか、又は任意の数の構成要素間で共有され得る。
【0091】
少なくとも1つの実施例では、図12に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図12に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図12に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0092】
図13は、少なくとも1つの実施例による、CPU1300を示す。少なくとも1つの実施例では、CPU1300は、カリフォルニア州サンタクララのAMD Corporationによって開発される。少なくとも1つの実施例では、CPU1300は、アプリケーション・プログラムを実行するように構成され得る。少なくとも1つの実施例では、CPU1300は、オペレーティング・システムなど、メイン制御ソフトウェアを実行するように構成される。少なくとも1つの実施例では、CPU1300は、外部GPU(図示せず)の動作を制御するコマンドを発行する。少なくとも1つの実施例では、CPU1300は、CUDAソース・コードから導出されたホスト実行可能コードを実行するように構成され得、外部GPUは、そのようなCUDAソース・コードから導出されたデバイス実行可能コードを実行するように構成され得る。少なくとも1つの実施例では、CPU1300は、限定はしないが、任意の数のコア複合体1310と、ファブリック1360と、I/Oインターフェース1370と、メモリ・コントローラ1380とを含む。
【0093】
少なくとも1つの実施例では、コア複合体1310は、限定はしないが、コア1320(1)~1320(4)と、L3キャッシュ1330とを含む。少なくとも1つの実施例では、コア複合体1310は、限定はしないが、任意の数のコア1320と、任意の数及びタイプのキャッシュとを、任意の組合せで含み得る。少なくとも1つの実施例では、コア1320は、特定のISAの命令を実行するように構成される。少なくとも1つの実施例では、各コア1320はCPUコアである。
【0094】
少なくとも1つの実施例では、各コア1320は、限定はしないが、フェッチ/復号ユニット1322と、整数実行エンジン1324と、浮動小数点実行エンジン1326と、L2キャッシュ1328とを含む。少なくとも1つの実施例では、フェッチ/復号ユニット1322は、命令をフェッチし、そのような命令を復号し、マイクロ・オペレーションを生成し、整数実行エンジン1324と浮動小数点実行エンジン1326とに別個のマイクロ命令をディスパッチする。少なくとも1つの実施例では、フェッチ/復号ユニット1322は、同時に、あるマイクロ命令を整数実行エンジン1324にディスパッチし、別のマイクロ命令を浮動小数点実行エンジン1326にディスパッチすることができる。少なくとも1つの実施例では、整数実行エンジン1324は、限定はしないが、整数及びメモリ演算を実行する。少なくとも1つの実施例では、浮動小数点エンジン1326は、限定はしないが、浮動小数点及びベクトル演算を実行する。少なくとも1つの実施例では、フェッチ復号ユニット1322は、整数実行エンジン1324と浮動小数点実行エンジン1326の両方を置き換える単一の実行エンジンに、マイクロ命令をディスパッチする。
【0095】
少なくとも1つの実施例では、iがコア1320の特定のインスタンスを表す整数である、各コア1320(i)は、コア1320(i)中に含まれるL2キャッシュ1328(i)にアクセスし得る。少なくとも1つの実施例では、jがコア複合体1310の特定のインスタンスを表す整数である、コア複合体1310(j)中に含まれる各コア1320は、コア複合体1310(j)中に含まれるL3キャッシュ1330(j)を介して、コア複合体1310(j)中の他のコア1320に接続される。少なくとも1つの実施例では、jがコア複合体1310の特定のインスタンスを表す整数である、コア複合体1310(j)中に含まれるコア1320は、コア複合体1310(j)中に含まれるL3キャッシュ1330(j)のすべてにアクセスすることができる。少なくとも1つの実施例では、L3キャッシュ1330は、限定はしないが、任意の数のスライスを含み得る。
【0096】
少なくとも1つの実施例では、ファブリック1360は、コア複合体1310(1)~1310(N)(ここで、Nは0よりも大きい整数である)、I/Oインターフェース1370、及びメモリ・コントローラ1380にわたるデータ及び制御送信を容易にするシステム相互接続である。少なくとも1つの実施例では、CPU1300は、限定はしないが、ファブリック1360に加えて又はそれの代わりに、任意の量及びタイプのシステム相互接続を含み得、それは、CPU1300の内部又は外部にあり得る、任意の数及びタイプの直接又は間接的にリンクされた構成要素にわたるデータ及び制御送信を容易にする。少なくとも1つの実施例では、I/Oインターフェース1370は、任意の数及びタイプのI/Oインターフェース(たとえば、PCI、PCI-X、PCIe、GBE、USBなど)を表す。少なくとも1つの実施例では、様々なタイプの周辺デバイスが、I/Oインターフェース1370に結合される。少なくとも1つの実施例では、I/Oインターフェース1370に結合される周辺デバイスは、限定はしないが、ディスプレイ、キーボード、マウス、プリンタ、スキャナ、ジョイスティック又は他のタイプのゲーム・コントローラ、メディア記録デバイス、外部ストレージ・デバイス、ネットワーク・インターフェース・カードなどを含み得る。
【0097】
少なくとも1つの実施例では、メモリ・コントローラ1380は、CPU1300とシステム・メモリ1390との間のデータ転送を容易にする。少なくとも1つの実施例では、コア複合体1310とグラフィックス複合体1340とは、システム・メモリ1390を共有する。少なくとも1つの実施例では、CPU1300は、限定はしないが、1つの構成要素に専用であるか又は複数の構成要素の間で共有され得る、任意の量及びタイプのメモリ・コントローラ1380及びメモリ・デバイスを含む、メモリ・サブシステムを実装する。少なくとも1つの実施例では、CPU1300は、限定はしないが、1つ又は複数のキャッシュ・メモリ(たとえば、L2キャッシュ1328及びL3キャッシュ1330)を含む、キャッシュ・サブシステムを実装し、1つ又は複数のキャッシュ・メモリは、各々、任意の数の構成要素(たとえば、コア1320及びコア複合体1310)に対してプライベートであるか、又は任意の数の構成要素間で共有され得る。
【0098】
少なくとも1つの実施例では、図13に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図13に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図13に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0099】
図14は、少なくとも1つの実施例による、例示的なアクセラレータ統合スライス1490を示す。本明細書で使用される「スライス」は、アクセラレータ統合回路の処理リソースの指定部分を備える。少なくとも1つの実施例では、アクセラレータ統合回路は、グラフィックス加速モジュール中に含まれる複数のグラフィックス処理エンジンの代わりに、キャッシュ管理、メモリ・アクセス、コンテキスト管理、及び割込み管理サービスを提供する。グラフィックス処理エンジンは、各々、別個のGPUを備え得る。代替的に、グラフィックス処理エンジンは、GPU内に、グラフィックス実行ユニット、メディア処理エンジン(たとえば、ビデオ・エンコーダ/デコーダ)、サンプラ、及びblitエンジンなど、異なるタイプのグラフィックス処理エンジンを備え得る。少なくとも1つの実施例では、グラフィックス加速モジュールは、複数のグラフィックス処理エンジンをもつGPUであり得る。少なくとも1つの実施例では、グラフィックス処理エンジンは、共通のパッケージ、ライン・カード、又はチップ上に組み込まれた個々のGPUであり得る。
【0100】
システム・メモリ1414内のアプリケーション実効アドレス空間1482は、プロセス要素1483を記憶する。一実施例では、プロセス要素1483は、プロセッサ1407上で実行されるアプリケーション1480からのGPU呼出し1481に応答して、記憶される。プロセス要素1483は、対応するアプリケーション1480のプロセス状態を含んでいる。プロセス要素1483に含まれているワーク記述子(「WD」:work descriptor)1484は、アプリケーションによって要求される単一のジョブであり得るか、又はジョブのキューに対するポインタを含んでいることがある。少なくとも1つの実施例では、WD1484は、アプリケーション実効アドレス空間1482におけるジョブ要求キューに対するポインタである。
【0101】
グラフィックス加速モジュール1446及び/又は個々のグラフィックス処理エンジンは、システム中のプロセスのすべて又はサブセットによって共有され得る。少なくとも1つの実施例では、プロセス状態を設定し、WD1484をグラフィックス加速モジュール1446に送出して、仮想化環境中でジョブを開始するためのインフラストラクチャが、含められ得る。
【0102】
少なくとも1つの実施例では、専用プロセス・プログラミング・モデルは、実装固有である。このモデルでは、単一のプロセスが、グラフィックス加速モジュール1446又は個々のグラフィックス処理エンジンを所有する。グラフィックス加速モジュール1446が単一のプロセスによって所有されるので、ハイパーバイザは、所有パーティションについてアクセラレータ統合回路を初期化し、グラフィックス加速モジュール1446が割り当てられたとき、オペレーティング・システムは、所有プロセスについてアクセラレータ統合回路を初期化する。
【0103】
動作時、アクセラレータ統合スライス1490中のWDフェッチ・ユニット1491は、グラフィックス加速モジュール1446の1つ又は複数のグラフィックス処理エンジンによって行われるべきであるワークの指示を含む、次のWD1484をフェッチする。示されているように、WD1484からのデータは、レジスタ1445に記憶され、メモリ管理ユニット(「MMU」:memory management unit)1439、割込み管理回路1447、及び/又はコンテキスト管理回路1448によって使用され得る。たとえば、MMU1439の一実施例は、OS仮想アドレス空間1485内のセグメント/ページ・テーブル1486にアクセスするためのセグメント/ページ・ウォーク回路要素を含む。割込み管理回路1447は、グラフィックス加速モジュール1446から受信された割込みイベント(「INT」:interrupt)1492を処理し得る。グラフィックス動作を実施するとき、グラフィックス処理エンジンによって生成された実効アドレス1493は、MMU1439によって実アドレスにトランスレートされる。
【0104】
一実施例では、レジスタ1445の同じセットが、各グラフィックス処理エンジン、及び/又はグラフィックス加速モジュール1446について複製され、ハイパーバイザ又はオペレーティング・システムによって初期化され得る。これらの複製されたレジスタの各々は、アクセラレータ統合スライス1490中に含められ得る。ハイパーバイザによって初期化され得る例示的なレジスタが、表1に示されている。
【表1】
【0105】
オペレーティング・システムによって初期化され得る例示的なレジスタが、表2に示されている。
【表2】
【0106】
一実施例では、各WD1484は、特定のグラフィックス加速モジュール1446及び/又は特定のグラフィックス処理エンジンに固有である。WD1484は、ワークを行うためにグラフィックス処理エンジンによって必要とされるすべての情報を含んでいるか、又は、WD1484は、完了されるべきワークのコマンド・キューをアプリケーションが設定したメモリ・ロケーションに対するポインタであり得る。
【0107】
少なくとも1つの実施例では、図14に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図14に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図14に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0108】
図15A図15Bは、少なくとも1つの実施例による、例示的なグラフィックス・プロセッサを示す。少なくとも1つの実施例では、例示的なグラフィックス・プロセッサのうちのいずれかは、1つ又は複数のIPコアを使用して作製され得る。示されているものに加えて、少なくとも1つの実施例では、追加のグラフィックス・プロセッサ/コア、周辺インターフェース・コントローラ、又は汎用プロセッサ・コアを含む他の論理及び回路が含まれ得る。少なくとも1つの実施例では、例示的なグラフィックス・プロセッサは、SoC内での使用のためのものである。
【0109】
図15Aは、少なくとも1つの実施例による、1つ又は複数のIPコアを使用して作製され得るSoC集積回路の例示的なグラフィックス・プロセッサ1510を示す。図15Bは、少なくとも1つの実施例による、1つ又は複数のIPコアを使用して作製され得るSoC集積回路の追加の例示的なグラフィックス・プロセッサ1540を示す。少なくとも1つの実施例では、図15Aのグラフィックス・プロセッサ1510は、低電力グラフィックス・プロセッサ・コアである。少なくとも1つの実施例では、図15Bのグラフィックス・プロセッサ1540は、より高性能のグラフィックス・プロセッサ・コアである。少なくとも1つの実施例では、グラフィックス・プロセッサ1510、1540の各々は、図10のグラフィックス・プロセッサ1010の変形態であり得る。
【0110】
少なくとも1つの実施例では、グラフィックス・プロセッサ1510は、頂点プロセッサ1505と、1つ又は複数のフラグメント・プロセッサ1515A~1515N(たとえば、1515A、1515B、1515C、1515D~1515N-1、及び1515N)とを含む。少なくとも1つの実施例では、グラフィックス・プロセッサ1510は、別個の論理を介して異なるシェーダ・プログラムを実行することができ、それにより、頂点プロセッサ1505は、頂点シェーダ・プログラムのための動作を実行するように最適化され、1つ又は複数のフラグメント・プロセッサ1515A~1515Nは、フラグメント又はピクセル・シェーダ・プログラムのためのフラグメント(たとえば、ピクセル)シェーディング動作を実行する。少なくとも1つの実施例では、頂点プロセッサ1505は、3Dグラフィックス・パイプラインの頂点処理段階を実施し、プリミティブ及び頂点データを生成する。少なくとも1つの実施例では、(1つ又は複数の)フラグメント・プロセッサ1515A~1515Nは、頂点プロセッサ1505によって生成されたプリミティブ及び頂点データを使用して、ディスプレイ・デバイス上に表示されるフレームバッファを作り出す。少なくとも1つの実施例では、(1つ又は複数の)フラグメント・プロセッサ1515A~1515Nは、OpenGL APIにおいて提供されるようなフラグメント・シェーダ・プログラムを実行するように最適化され、OpenGL APIは、Direct 3D APIにおいて提供されるようなピクセル・シェーダ・プログラムと同様の動作を実施するために使用され得る。
【0111】
少なくとも1つの実施例では、グラフィックス・プロセッサ1510は、追加として、1つ又は複数のMMU1520A~1520Bと、(1つ又は複数の)キャッシュ1525A~1525Bと、(1つ又は複数の)回路相互接続1530A~1530Bとを含む。少なくとも1つの実施例では、1つ又は複数のMMU1520A~1520Bは、頂点プロセッサ1505及び/又は(1つ又は複数の)フラグメント・プロセッサ1515A~1515Nを含む、グラフィックス・プロセッサ1510のための仮想-物理アドレス・マッピングを提供し、それらは、1つ又は複数のキャッシュ1525A~1525Bに記憶された頂点又は画像/テクスチャ・データに加えて、メモリに記憶された頂点又は画像/テクスチャ・データを参照し得る。少なくとも1つの実施例では、1つ又は複数のMMU1520A~1520Bは、図10の1つ又は複数のアプリケーション・プロセッサ1005、画像プロセッサ1015、及び/又はビデオ・プロセッサ1020に関連する1つ又は複数のMMUを含む、システム内の他のMMUと同期され得、それにより、各プロセッサ1005~1020は、共有又は統一仮想メモリ・システムに参加することができる。少なくとも1つの実施例では、1つ又は複数の回路相互接続1530A~1530Bは、グラフィックス・プロセッサ1510が、SoCの内部バスを介して又は直接接続を介してのいずれかで、SoC内の他のIPコアとインターフェースすることを可能にする。
【0112】
少なくとも1つの実施例では、グラフィックス・プロセッサ1540は、図15Aのグラフィックス・プロセッサ1510の1つ又は複数のMMU1520A~1520Bと、キャッシュ1525A~1525Bと、回路相互接続1530A~1530Bとを含む。少なくとも1つの実施例では、グラフィックス・プロセッサ1540は、1つ又は複数のシェーダ・コア1555A~1555N(たとえば、1555A、1555B、1555C、1555D、1555E、1555F~1555N-1、及び1555N)を含み、1つ又は複数のシェーダ・コア1555A~1555Nは、単一のコア、又はタイプ、又はコアが、頂点シェーダ、フラグメント・シェーダ、及び/又はコンピュート・シェーダを実装するためのシェーダ・プログラム・コードを含むすべてのタイプのプログラマブル・シェーダ・コードを実行することができる統一シェーダ・コア・アーキテクチャを提供する。少なくとも1つの実施例では、シェーダ・コアの数は変動することができる。少なくとも1つの実施例では、グラフィックス・プロセッサ1540は、1つ又は複数のシェーダ・コア1555A~1555Nに実行スレッドをディスパッチするためのスレッド・ディスパッチャとして作用するコア間タスク・マネージャ1545と、たとえばシーン内のローカル空間コヒーレンスを利用するため、又は内部キャッシュの使用を最適化するために、シーンについてのレンダリング動作が画像空間において下位区分される、タイル・ベースのレンダリングのためのタイリング動作を加速するためのタイリング・ユニット1558とを含む。
【0113】
少なくとも1つの実施例では、図15A図15Bに図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図15A図15Bに図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図15A図15Bに図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0114】
図16Aは、少なくとも1つの実施例による、グラフィックス・コア1600を示す。少なくとも1つの実施例では、グラフィックス・コア1600は、図10のグラフィックス・プロセッサ1010内に含まれ得る。少なくとも1つの実施例では、グラフィックス・コア1600は、図15Bの場合のような統一シェーダ・コア1555A~1555Nであり得る。少なくとも1つの実施例では、グラフィックス・コア1600は、共有命令キャッシュ1602と、テクスチャ・ユニット1618と、キャッシュ/共有メモリ1620とを含み、それらは、グラフィックス・コア1600内の実行リソースに共通である。少なくとも1つの実施例では、グラフィックス・コア1600は、複数のスライス1601A~1601N、又は各コアについてのパーティションを含むことができ、グラフィックス・プロセッサは、グラフィックス・コア1600の複数のインスタンスを含むことができる。スライス1601A~1601Nは、ローカル命令キャッシュ1604A~1604Nと、スレッド・スケジューラ1606A~1606Nと、スレッド・ディスパッチャ1608A~1608Nと、レジスタのセット1610A~1610Nとを含むサポート論理を含むことができる。少なくとも1つの実施例では、スライス1601A~1601Nは、追加機能ユニット(「AFU」:additional function unit)1612A~1612N、浮動小数点ユニット(「FPU」:floating-point unit)1614A~1614N、整数算術論理ユニット(「ALU」:integer arithmetic logic unit)1616~1616N、アドレス算出ユニット(「ACU」:address computational unit)1613A~1613N、倍精度浮動小数点ユニット(「DPFPU」:double-precision floating-point unit)1615A~1615N、及び行列処理ユニット(「MPU」:matrix processing unit)1617A~1617Nのセットを含むことができる。
【0115】
少なくとも1つの実施例では、FPU1614A~1614Nは、単精度(32ビット)及び半精度(16ビット)の浮動小数点演算を実施することができ、DPFPU1615A~1615Nは、倍精度(64ビット)の浮動小数点演算を実施する。少なくとも1つの実施例では、ALU1616A~1616Nは、8ビット、16ビット、及び32ビットの精度で可変精度整数演算を実施することができ、混合精度演算のために構成され得る。少なくとも1つの実施例では、MPU1617A~1617Nも、半精度浮動小数点演算と8ビット整数演算とを含む、混合精度行列演算のために構成され得る。少なくとも1つの実施例では、MPU1617~1617Nは、加速汎用行列-行列乗算(「GEMM」:general matrix to matrix multiplication)のサポートを可能にすることを含む、CUDAプログラムを加速するための様々な行列演算を実施することができる。少なくとも1つの実施例では、AFU1612A~1612Nは、三角関数演算(たとえば、サイン、コサインなど)を含む、浮動小数点ユニット又は整数ユニットによってサポートされていない追加の論理演算を実施することができる。
【0116】
図16Bは、少なくとも1つの実施例による、汎用グラフィックス処理ユニット(「GPGPU」:general-purpose graphics processing unit)1630を示す。少なくとも1つの実施例では、GPGPU1630は、高度並列であり、マルチチップ・モジュール上での導入に好適である。少なくとも1つの実施例では、GPGPU1630は、高度並列コンピュート動作がGPUのアレイによって実施されることを可能にするように構成され得る。少なくとも1つの実施例では、GPGPU1630は、CUDAプログラムのための実行時間を改善するためにマルチGPUクラスタを作成するために、GPGPU1630の他のインスタンスに直接リンクされ得る。少なくとも1つの実施例では、GPGPU1630は、ホスト・プロセッサとの接続を可能にするためのホスト・インターフェース1632を含む。少なくとも1つの実施例では、ホスト・インターフェース1632は、PCIeインターフェースである。少なくとも1つの実施例では、ホスト・インターフェース1632は、ベンダー固有の通信インターフェース又は通信ファブリックであり得る。少なくとも1つの実施例では、GPGPU1630は、ホスト・プロセッサからコマンドを受信し、グローバル・スケジューラ1634を使用して、それらのコマンドに関連する実行スレッドを、コンピュート・クラスタ1636A~1636Hのセットに分散させる。少なくとも1つの実施例では、コンピュート・クラスタ1636A~1636Hは、キャッシュ・メモリ1638を共有する。少なくとも1つの実施例では、キャッシュ・メモリ1638は、コンピュート・クラスタ1636A~1636H内のキャッシュ・メモリのためのより高レベルのキャッシュとして働くことができる。
【0117】
少なくとも1つの実施例では、GPGPU1630は、メモリ・コントローラ1642A~1642Bのセットを介してコンピュート・クラスタ1636A~1636Hと結合されたメモリ1644A~1644Bを含む。少なくとも1つの実施例では、メモリ1644A~1644Bは、DRAM、又は、グラフィックス・ダブル・データ・レート(「GDDR」:graphics double data rate)メモリを含む同期グラフィックス・ランダム・アクセス・メモリ(「SGRAM」:synchronous graphics random access memory)などのグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。
【0118】
少なくとも1つの実施例では、コンピュート・クラスタ1636A~1636Hは、各々、図16Aのグラフィックス・コア1600などのグラフィックス・コアのセットを含み、グラフィックス・コアのセットは、CUDAプログラムに関連する算出に適したものを含む、様々な精度で算出動作を実施することができる複数のタイプの整数及び浮動小数点論理ユニットを含むことができる。たとえば、少なくとも1つの実施例では、コンピュート・クラスタ1636A~1636Hの各々における浮動小数点ユニットの少なくともサブセットは、16ビット又は32ビットの浮動小数点演算を実施するように構成され得、浮動小数点ユニットの異なるサブセットは、64ビットの浮動小数点演算を実施するように構成され得る。
【0119】
少なくとも1つの実施例では、GPGPU1630の複数のインスタンスは、コンピュート・クラスタとして動作するように構成され得る。コンピュート・クラスタ1636A~1636Hは、同期及びデータ交換のための任意の技術的に実現可能な通信技法を実装し得る。少なくとも1つの実施例では、GPGPU1630の複数のインスタンスは、ホスト・インターフェース1632を介して通信する。少なくとも1つの実施例では、GPGPU1630は、I/Oハブ1639を含み、I/Oハブ1639は、GPGPU1630を、GPGPU1630の他のインスタンスへの直接接続を可能にするGPUリンク1640と結合する。少なくとも1つの実施例では、GPUリンク1640は、GPGPU1630の複数のインスタンス間での通信及び同期を可能にする専用GPU-GPUブリッジに結合される。少なくとも1つの実施例では、GPUリンク1640は、他のGPGPU1630又は並列プロセッサにデータを送信及び受信するために高速相互接続と結合する。少なくとも1つの実施例では、GPGPU1630の複数のインスタンスは、別個のデータ処理システムに位置し、ホスト・インターフェース1632を介してアクセス可能であるネットワーク・デバイスを介して通信する。少なくとも1つの実施例では、GPUリンク1640は、ホスト・インターフェース1632に加えて、又はその代替として、ホスト・プロセッサへの接続を可能にするように構成され得る。少なくとも1つの実施例では、GPGPU1630は、CUDAプログラムを実行するように構成され得る。
【0120】
少なくとも1つの実施例では、図16A図16Bに図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図16A図16Bに図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図16A図16Bに図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0121】
図17Aは、少なくとも1つの実施例による、並列プロセッサ1700を示す。少なくとも1つの実施例では、並列プロセッサ1700の様々な構成要素は、プログラマブル・プロセッサ、特定用途向け集積回路(「ASIC」:application specific integrated circuit)、又はFPGAなど、1つ又は複数の集積回路デバイスを使用して実装され得る。
【0122】
少なくとも1つの実施例では、並列プロセッサ1700は並列処理ユニット1702を含む。少なくとも1つの実施例では、並列処理ユニット1702は、並列処理ユニット1702の他のインスタンスを含む、他のデバイスとの通信を可能にするI/Oユニット1704を含む。少なくとも1つの実施例では、I/Oユニット1704は、他のデバイスに直接接続され得る。少なくとも1つの実施例では、I/Oユニット1704は、メモリ・ハブ1705など、ハブ又はスイッチ・インターフェースの使用を介して他のデバイスと接続する。少なくとも1つの実施例では、メモリ・ハブ1705とI/Oユニット1704との間の接続は、通信リンクを形成する。少なくとも1つの実施例では、I/Oユニット1704は、ホスト・インターフェース1706及びメモリ・クロスバー1716と接続し、ホスト・インターフェース1706は、処理動作を実施することを対象とするコマンドを受信し、メモリ・クロスバー1716は、メモリ動作を実施することを対象とするコマンドを受信する。
【0123】
少なくとも1つの実施例では、ホスト・インターフェース1706が、I/Oユニット1704を介してコマンド・バッファを受信したとき、ホスト・インターフェース1706は、それらのコマンドを実施するためのワーク動作をフロント・エンド1708に向けることができる。少なくとも1つの実施例では、フロント・エンド1708はスケジューラ1710と結合し、スケジューラ1710は、コマンド又は他のワーク・アイテムを処理アレイ1712に分散させるように構成される。少なくとも1つの実施例では、スケジューラ1710は、処理アレイ1712にタスクが分散される前に、処理アレイ1712が適切に構成され、有効な状態にあることを確実にする。少なくとも1つの実施例では、スケジューラ1710は、マイクロコントローラ上で実行しているファームウェア論理を介して実装される。少なくとも1つの実施例では、マイクロコントローラ実装スケジューラ1710は、複雑なスケジューリング及びワーク分散動作を、粗い粒度及び細かい粒度において実施するように構成可能であり、処理アレイ1712上で実行しているスレッドの迅速なプリエンプション及びコンテキスト切替えを可能にする。少なくとも1つの実施例では、ホスト・ソフトウェアは、処理アレイ1712上でのスケジューリングのためのワークロードを、複数のグラフィックス処理ドアベルのうちの1つを介して証明することができる。少なくとも1つの実施例では、ワークロードは、次いで、スケジューラ1710を含むマイクロコントローラ内のスケジューラ1710論理によって、処理アレイ1712にわたって自動的に分散され得る。
【0124】
少なくとも1つの実施例では、処理アレイ1712は、最高「N」個のクラスタ(たとえば、クラスタ1714A、クラスタ1714B~クラスタ1714N)を含むことができる。少なくとも1つの実施例では、処理アレイ1712の各クラスタ1714A~1714Nは、多数の同時スレッドを実行することができる。少なくとも1つの実施例では、スケジューラ1710は、様々なスケジューリング及び/又はワーク分散アルゴリズムを使用して処理アレイ1712のクラスタ1714A~1714Nにワークを割り振ることができ、それらのアルゴリズムは、プログラム又は算出の各タイプについて生じるワークロードに応じて変動し得る。少なくとも1つの実施例では、スケジューリングは、スケジューラ1710によって動的に対処され得るか、又は処理アレイ1712による実行のために構成されたプログラム論理のコンパイル中に、コンパイラ論理によって部分的に支援され得る。少なくとも1つの実施例では、処理アレイ1712の異なるクラスタ1714A~1714Nは、異なるタイプのプログラムを処理するために、又は異なるタイプの算出を実施するために割り振られ得る。
【0125】
少なくとも1つの実施例では、処理アレイ1712は、様々なタイプの並列処理動作を実施するように構成され得る。少なくとも1つの実施例では、処理アレイ1712は、汎用並列コンピュート動作を実施するように構成される。たとえば、少なくとも1つの実施例では、処理アレイ1712は、ビデオ及び/又はオーディオ・データをフィルタリングすること、物理動作を含むモデリング動作を実施すること、及びデータ変換を実施することを含む処理タスクを実行するための論理を含むことができる。
【0126】
少なくとも1つの実施例では、処理アレイ1712は、並列グラフィックス処理動作を実施するように構成される。少なくとも1つの実施例では、処理アレイ1712は、限定はしないが、テクスチャ動作を実施するためのテクスチャ・サンプリング論理、並びにテッセレーション論理及び他の頂点処理論理を含む、そのようなグラフィックス処理動作の実行をサポートするための追加の論理を含むことができる。少なくとも1つの実施例では、処理アレイ1712は、限定はしないが、頂点シェーダ、テッセレーション・シェーダ、ジオメトリ・シェーダ、及びピクセル・シェーダなど、グラフィックス処理関係シェーダ・プログラムを実行するように構成され得る。少なくとも1つの実施例では、並列処理ユニット1702は、処理のためにI/Oユニット1704を介してシステム・メモリからデータを転送することができる。少なくとも1つの実施例では、処理中に、転送されたデータは、処理中にオンチップ・メモリ(たとえば、並列プロセッサ・メモリ1722)に記憶され、次いでシステム・メモリに書き戻され得る。
【0127】
少なくとも1つの実施例では、並列処理ユニット1702がグラフィックス処理を実施するために使用されるとき、スケジューラ1710は、処理アレイ1712の複数のクラスタ1714A~1714Nへのグラフィックス処理動作の分散をより良く可能にするために、処理ワークロードをほぼ等しいサイズのタスクに分割するように構成され得る。少なくとも1つの実施例では、処理アレイ1712の部分は、異なるタイプの処理を実施するように構成され得る。たとえば、少なくとも1つの実施例では、表示のために、レンダリングされた画像を作り出すために、第1の部分は、頂点シェーディング及びトポロジ生成を実施するように構成され得、第2の部分は、テッセレーション及びジオメトリ・シェーディングを実施するように構成され得、第3の部分は、ピクセル・シェーディング又は他のスクリーン空間動作を実施するように構成され得る。少なくとも1つの実施例では、クラスタ1714A~1714Nのうちの1つ又は複数によって作り出された中間データは、中間データがさらなる処理のためにクラスタ1714A~1714N間で送信されることを可能にするために、バッファに記憶され得る。
【0128】
少なくとも1つの実施例では、処理アレイ1712は、実行されるべき処理タスクをスケジューラ1710を介して受信することができ、スケジューラ1710は、処理タスクを定義するコマンドをフロント・エンド1708から受信する。少なくとも1つの実施例では、処理タスクは、処理されるべきデータのインデックス、たとえば、表面(パッチ)データ、プリミティブ・データ、頂点データ、及び/又はピクセル・データ、並びに、データがどのように処理されるべきであるか(たとえば、どのプログラムが実行されるべきであるか)を定義する状態パラメータ及びコマンドを含むことができる。少なくとも1つの実施例では、スケジューラ1710は、タスクに対応するインデックスをフェッチするように構成され得るか、又はフロント・エンド1708からインデックスを受信し得る。少なくとも1つの実施例では、フロント・エンド1708は、入って来るコマンド・バッファ(たとえば、バッチ・バッファ、プッシュ・バッファなど)によって指定されるワークロードが始動される前に、処理アレイ1712が有効な状態に構成されることを確実にするように構成され得る。
【0129】
少なくとも1つの実施例では、並列処理ユニット1702の1つ又は複数のインスタンスの各々は、並列プロセッサ・メモリ1722と結合することができる。少なくとも1つの実施例では、並列プロセッサ・メモリ1722は、メモリ・クロスバー1716を介してアクセスされ得、メモリ・クロスバー1716は、処理アレイ1712並びにI/Oユニット1704からメモリ要求を受信することができる。少なくとも1つの実施例では、メモリ・クロスバー1716は、メモリ・インターフェース1718を介して並列プロセッサ・メモリ1722にアクセスすることができる。少なくとも1つの実施例では、メモリ・インターフェース1718は、複数のパーティション・ユニット(たとえば、パーティション・ユニット1720A、パーティション・ユニット1720B~パーティション・ユニット1720N)を含むことができ、複数のパーティション・ユニットは、各々、並列プロセッサ・メモリ1722の一部分(たとえば、メモリ・ユニット)に結合することができる。少なくとも1つの実施例では、パーティション・ユニット1720A~1720Nの数は、メモリ・ユニットの数に等しくなるように構成され、それにより、第1のパーティション・ユニット1720Aは、対応する第1のメモリ・ユニット1724Aを有し、第2のパーティション・ユニット1720Bは、対応するメモリ・ユニット1724Bを有し、第Nのパーティション・ユニット1720Nは、対応する第Nのメモリ・ユニット1724Nを有する。少なくとも1つの実施例では、パーティション・ユニット1720A~1720Nの数は、メモリ・デバイスの数に等しくないことがある。
【0130】
少なくとも1つの実施例では、メモリ・ユニット1724A~1724Nは、GDDRメモリを含むSGRAMなど、DRAM又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。少なくとも1つの実施例では、メモリ・ユニット1724A~1724Nは、限定はしないが高帯域幅メモリ(「HBM」:high bandwidth memory)を含む、3D積層メモリをも含み得る。少なくとも1つの実施例では、並列プロセッサ・メモリ1722の利用可能な帯域幅を効率的に使用するために、フレーム・バッファ又はテクスチャ・マップなどのレンダー・ターゲットが、メモリ・ユニット1724A~1724Nにわたって記憶されて、パーティション・ユニット1720A~1720Nが、各レンダー・ターゲットの部分を並列に書き込むことを可能にし得る。少なくとも1つの実施例では、ローカル・キャッシュ・メモリと併せてシステム・メモリを利用する統一メモリ設計に有利なように、並列プロセッサ・メモリ1722のローカル・インスタンスが除外され得る。
【0131】
少なくとも1つの実施例では、処理アレイ1712のクラスタ1714A~1714Nのうちのいずれか1つは、並列プロセッサ・メモリ1722内のメモリ・ユニット1724A~1724Nのいずれかに書き込まれることになるデータを処理することができる。少なくとも1つの実施例では、メモリ・クロスバー1716は、各クラスタ1714A~1714Nの出力を、出力に対して追加の処理動作を実施することができる任意のパーティション・ユニット1720A~1720Nに転送するか、又は別のクラスタ1714A~1714Nに転送するように構成され得る。少なくとも1つの実施例では、各クラスタ1714A~1714Nは、様々な外部メモリ・デバイスから読み取るか、又はそれに書き込むために、メモリ・クロスバー1716を通してメモリ・インターフェース1718と通信することができる。少なくとも1つの実施例では、メモリ・クロスバー1716は、I/Oユニット1704と通信するためのメモリ・インターフェース1718への接続、並びに、並列プロセッサ・メモリ1722のローカル・インスタンスへの接続を有し、これは、異なるクラスタ1714A~1714N内の処理ユニットが、システム・メモリ、又は並列処理ユニット1702にローカルでない他のメモリと通信することを可能にする。少なくとも1つの実施例では、メモリ・クロスバー1716は、クラスタ1714A~1714Nとパーティション・ユニット1720A~1720Nとの間でトラフィック・ストリームを分離するために、仮想チャネルを使用することができる。
【0132】
少なくとも1つの実施例では、並列処理ユニット1702の複数のインスタンスは、単一のアドイン・カード上で提供され得るか、又は複数のアドイン・カードが相互接続され得る。少なくとも1つの実施例では、並列処理ユニット1702の異なるインスタンスは、異なるインスタンスが異なる数の処理コア、異なる量のローカル並列プロセッサ・メモリ、及び/又は他の構成の差を有する場合でも、相互動作するように構成され得る。たとえば、少なくとも1つの実施例では、並列処理ユニット1702のいくつかのインスタンスは、他のインスタンスに対してより高い精度の浮動小数点ユニットを含むことができる。少なくとも1つの実施例では、並列処理ユニット1702又は並列プロセッサ1700の1つ又は複数のインスタンスを組み込んだシステムは、限定はしないが、デスクトップ、ラップトップ、又はハンドヘルド・パーソナル・コンピュータ、サーバ、ワークステーション、ゲーム・コンソール、及び/又は組み込みシステムを含む、様々な構成及びフォーム・ファクタにおいて実装され得る。
【0133】
図17Bは、少なくとも1つの実施例による、処理クラスタ1794を示す。少なくとも1つの実施例では、処理クラスタ1794は、並列処理ユニット内に含まれる。少なくとも1つの実施例では、処理クラスタ1794は、図17の処理クラスタ1714A~1714Nのうちの1つである。少なくとも1つの実施例では、処理クラスタ1794は、多くのスレッドを並列で実行するように構成され得、「スレッド」という用語は、入力データの特定のセットに対して実行している特定のプログラムのインスタンスを指す。少なくとも1つの実施例では、複数の独立した命令ユニットを提供することなしに多数のスレッドの並列実行をサポートするために、単一命令複数データ(「SIMD」:single instruction,multiple data)命令発行技法が使用される。少なくとも1つの実施例では、各処理クラスタ1794内の処理エンジンのセットに命令を発行するように構成された共通の命令ユニットを使用して、全体的に同期された多数のスレッドの並列実行をサポートするために、単一命令複数スレッド(「SIMT」:single instruction,multiple thread)技法が使用される。
【0134】
少なくとも1つの実施例では、処理クラスタ1794の動作は、SIMT並列プロセッサに処理タスクを分散させるパイプライン・マネージャ1732を介して制御され得る。少なくとも1つの実施例では、パイプライン・マネージャ1732は、図17のスケジューラ1710から命令を受信し、グラフィックス・マルチプロセッサ1734及び/又はテクスチャ・ユニット1736を介してそれらの命令の実行を管理する。少なくとも1つの実施例では、グラフィックス・マルチプロセッサ1734は、SIMT並列プロセッサの例示的なインスタンスである。しかしながら、少なくとも1つの実施例では、異なるアーキテクチャの様々なタイプのSIMT並列プロセッサが、処理クラスタ1794内に含められ得る。少なくとも1つの実施例では、グラフィックス・マルチプロセッサ1734の1つ又は複数のインスタンスは、処理クラスタ1794内に含められ得る。少なくとも1つの実施例では、グラフィックス・マルチプロセッサ1734はデータを処理することができ、処理されたデータを、他のシェーダ・ユニットを含む複数の可能な宛先のうちの1つに分散させるために、データ・クロスバー1740が使用され得る。少なくとも1つの実施例では、パイプライン・マネージャ1732は、データ・クロスバー1740を介して分散されることになる処理されたデータのための宛先を指定することによって、処理されたデータの分散を容易にすることができる。
【0135】
少なくとも1つの実施例では、処理クラスタ1794内の各グラフィックス・マルチプロセッサ1734は、関数実行論理(たとえば、算術論理ユニット、ロード/ストア・ユニット(「LSU」:load/store unit)など)の同一のセットを含むことができる。少なくとも1つの実施例では、関数実行論理は、前の命令が完了する前に新しい命令が発行され得るパイプライン様式で構成され得る。少なくとも1つの実施例では、関数実行論理は、整数及び浮動小数点算術、比較演算、ブール演算、ビット・シフト、及び様々な代数関数の算出を含む様々な演算をサポートする。少なくとも1つの実施例では、異なる演算を実施するために同じ関数ユニット・ハードウェアが活用され得、関数ユニットの任意の組合せが存在し得る。
【0136】
少なくとも1つの実施例では、処理クラスタ1794に送信される命令がスレッドを構成する。少なくとも1つの実施例では、並列処理エンジンのセットにわたって実行しているスレッドのセットが、スレッド・グループである。少なくとも1つの実施例では、スレッド・グループは、異なる入力データに対してプログラムを実行する。少なくとも1つの実施例では、スレッド・グループ内の各スレッドは、グラフィックス・マルチプロセッサ1734内の異なる処理エンジンに割り当てられ得る。少なくとも1つの実施例では、スレッド・グループは、グラフィックス・マルチプロセッサ1734内の処理エンジンの数よりも少ないスレッドを含み得る。少なくとも1つの実施例では、スレッド・グループが処理エンジンの数よりも少ないスレッドを含むとき、処理エンジンのうちの1つ又は複数は、そのスレッド・グループが処理されているサイクル中にアイドルであり得る。少なくとも1つの実施例では、スレッド・グループはまた、グラフィックス・マルチプロセッサ1734内の処理エンジンの数よりも多いスレッドを含み得る。少なくとも1つの実施例では、スレッド・グループがグラフィックス・マルチプロセッサ1734内の処理エンジンの数よりも多くのスレッドを含むとき、連続するクロック・サイクルにわたって処理が実施され得る。少なくとも1つの実施例では、複数のスレッド・グループが、グラフィックス・マルチプロセッサ1734上で同時に実行され得る。
【0137】
少なくとも1つの実施例では、グラフィックス・マルチプロセッサ1734は、ロード動作及びストア動作を実施するための内部キャッシュ・メモリを含む。少なくとも1つの実施例では、グラフィックス・マルチプロセッサ1734は、内部キャッシュをやめ、処理クラスタ1794内のキャッシュ・メモリ(たとえば、L1キャッシュ1748)を使用することができる。少なくとも1つの実施例では、各グラフィックス・マルチプロセッサ1734は、パーティション・ユニット(たとえば、図17Aのパーティション・ユニット1720A~1720N)内のレベル2(「L2」)キャッシュへのアクセスをも有し、それらのL2キャッシュは、すべての処理クラスタ1794の間で共有され、スレッド間でデータを転送するために使用され得る。少なくとも1つの実施例では、グラフィックス・マルチプロセッサ1734はまた、オフチップ・グローバル・メモリにアクセスし得、オフチップ・グローバル・メモリは、ローカル並列プロセッサ・メモリ及び/又はシステム・メモリのうちの1つ又は複数を含むことができる。少なくとも1つの実施例では、並列処理ユニット1702の外部の任意のメモリが、グローバル・メモリとして使用され得る。少なくとも1つの実施例では、処理クラスタ1794は、グラフィックス・マルチプロセッサ1734の複数のインスタンスを含み、グラフィックス・マルチプロセッサ1734は、共通の命令及びデータを共有することができ、共通の命令及びデータは、L1キャッシュ1748に記憶され得る。
【0138】
少なくとも1つの実施例では、各処理クラスタ1794は、仮想アドレスを物理アドレスにマッピングするように構成されたMMU1745を含み得る。少なくとも1つの実施例では、MMU1745の1つ又は複数のインスタンスは、図17のメモリ・インターフェース1718内に存在し得る。少なくとも1つの実施例では、MMU1745は、仮想アドレスを、タイル及び随意にキャッシュ・ライン・インデックスの物理アドレスにマッピングするために使用されるページ・テーブル・エントリ(「PTE」:page table entry)のセットを含む。少なくとも1つの実施例では、MMU1745は、アドレス・トランスレーション・ルックアサイド・バッファ(「TLB」:translation lookaside buffer)又はキャッシュを含み得、これらは、グラフィックス・マルチプロセッサ1734又はL1キャッシュ1748或いは処理クラスタ1794内に存在し得る。少なくとも1つの実施例では、物理アドレスが、表面データ・アクセス・ローカリティを分散させて、パーティション・ユニットの間での効率的な要求インターリーブを可能にするために処理される。少なくとも1つの実施例では、キャッシュ・ライン・インデックスが、キャッシュ・ラインについての要求がヒットであるのかミスであるのかを決定するために使用され得る。
【0139】
少なくとも1つの実施例では、処理クラスタ1794は、各グラフィックス・マルチプロセッサ1734が、テクスチャ・マッピング動作、たとえば、テクスチャ・サンプル位置を決定すること、テクスチャ・データを読み取ること、及びテクスチャ・データをフィルタリングすることを実施するためのテクスチャ・ユニット1736に結合されるように、構成され得る。少なくとも1つの実施例では、テクスチャ・データは、内部テクスチャL1キャッシュ(図示せず)から又はグラフィックス・マルチプロセッサ1734内のL1キャッシュから読み取られ、必要に応じて、L2キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリからフェッチされる。少なくとも1つの実施例では、各グラフィックス・マルチプロセッサ1734は、処理されたタスクをデータ・クロスバー1740に出力して、処理されたタスクを、さらなる処理のために別の処理クラスタ1794に提供するか、或いは、処理されたタスクを、メモリ・クロスバー1716を介してL2キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリに記憶する。少なくとも1つの実施例では、プレ・ラスタ演算ユニット(「プレROP」:pre-raster operation)1742は、グラフィックス・マルチプロセッサ1734からデータを受信し、データをROPユニットにダイレクトするように構成され、ROPユニットは、本明細書で説明されるようなパーティション・ユニット(たとえば、図17のパーティション・ユニット1720A~1720N)とともに位置し得る。少なくとも1つの実施例では、プレROP1742は、色ブレンディングのための最適化を実施し、ピクセル色データを組織化し、アドレス・トランスレーションを実施することができる。
【0140】
図17Cは、少なくとも1つの実施例による、グラフィックス・マルチプロセッサ1796を示す。少なくとも1つの実施例では、グラフィックス・マルチプロセッサ1796は、図17Bのグラフィックス・マルチプロセッサ1734である。少なくとも1つの実施例では、グラフィックス・マルチプロセッサ1796は、処理クラスタ1794のパイプライン・マネージャ1732と結合する。少なくとも1つの実施例では、グラフィックス・マルチプロセッサ1796は、限定はしないが、命令キャッシュ1752と、命令ユニット1754と、アドレス・マッピング・ユニット1756と、レジスタ・ファイル1758と、1つ又は複数のGPGPUコア1762と、1つ又は複数のLSU1766とを含む実行パイプラインを有する。GPGPUコア1762及びLSU1766は、メモリ及びキャッシュ相互接続1768を介してキャッシュ・メモリ1772及び共有メモリ1770と結合される。
【0141】
少なくとも1つの実施例では、命令キャッシュ1752は、実行すべき命令のストリームをパイプライン・マネージャ1732から受信する。少なくとも1つの実施例では、命令は、命令キャッシュ1752においてキャッシュされ、命令ユニット1754による実行のためにディスパッチされる。少なくとも1つの実施例では、命令ユニット1754は、命令をスレッド・グループ(たとえば、ワープ)としてディスパッチすることができ、スレッド・グループの各スレッドは、GPGPUコア1762内の異なる実行ユニットに割り当てられる。少なくとも1つの実施例では、命令は、統一アドレス空間内のアドレスを指定することによって、ローカル、共有、又はグローバルのアドレス空間のいずれかにアクセスすることができる。少なくとも1つの実施例では、アドレス・マッピング・ユニット1756は、統一アドレス空間中のアドレスを、LSU1766によってアクセスされ得る個別メモリ・アドレスにトランスレートするために使用され得る。
【0142】
少なくとも1つの実施例では、レジスタ・ファイル1758は、グラフィックス・マルチプロセッサ1796の機能ユニットにレジスタのセットを提供する。少なくとも1つの実施例では、レジスタ・ファイル1758は、グラフィックス・マルチプロセッサ1796の機能ユニット(たとえば、GPGPUコア1762、LSU1766)のデータ経路に接続された、オペランドのための一時的ストレージを提供する。少なくとも1つの実施例では、レジスタ・ファイル1758は、各機能ユニットがレジスタ・ファイル1758の専用部分を割り振られるように、機能ユニットの各々の間で分割される。少なくとも1つの実施例では、レジスタ・ファイル1758は、グラフィックス・マルチプロセッサ1796によって実行されている異なるスレッド・グループ間で分割される。
【0143】
少なくとも1つの実施例では、GPGPUコア1762は、各々、グラフィックス・マルチプロセッサ1796の命令を実行するために使用されるFPU及び/又は整数ALUを含むことができる。GPGPUコア1762は、同様のアーキテクチャであることも異なるアーキテクチャであることもある。少なくとも1つの実施例では、GPGPUコア1762の第1の部分は、単精度FPU及び整数ALUを含み、GPGPUコア1762の第2の部分は、倍精度FPUを含む。少なくとも1つの実施例では、FPUは、浮動小数点算術のためのIEEE754-2008規格を実装することができるか、又は、可変精度の浮動小数点算術を有効にすることができる。少なくとも1つの実施例では、グラフィックス・マルチプロセッサ1796は、追加として、矩形コピー動作又はピクセル・ブレンディング動作などの特定の機能を実施するための1つ又は複数の固定機能ユニット又は特別機能ユニットを含むことができる。少なくとも1つの実施例では、GPGPUコア1762のうちの1つ又は複数は、固定又は特別機能論理をも含むことができる。
【0144】
少なくとも1つの実施例では、GPGPUコア1762は、データの複数のセットに対して単一の命令を実施することが可能なSIMD論理を含む。少なくとも1つの実施例では、GPGPUコア1762は、SIMD4、SIMD8、及びSIMD16命令を物理的に実行し、SIMD1、SIMD2、及びSIMD32命令を論理的に実行することができる。少なくとも1つの実施例では、GPGPUコア1762のためのSIMD命令は、シェーダ・コンパイラによるコンパイル時に生成されるか、或いは、単一プログラム複数データ(「SPMD」:single program multiple data)又はSIMTアーキテクチャのために書かれ、コンパイルされたプログラムを実行しているときに自動的に生成され得る。少なくとも1つの実施例では、SIMT実行モデルのために構成されたプログラムの複数のスレッドは、単一のSIMD命令を介して実行され得る。たとえば、少なくとも1つの実施例では、同じ又は同様の動作を実施する8つのSIMTスレッドが、単一のSIMD8論理ユニットを介して並列に実行され得る。
【0145】
少なくとも1つの実施例では、メモリ及びキャッシュ相互接続1768は、グラフィックス・マルチプロセッサ1796の各機能ユニットをレジスタ・ファイル1758及び共有メモリ1770に接続する相互接続ネットワークである。少なくとも1つの実施例では、メモリ及びキャッシュ相互接続1768は、LSU1766が、共有メモリ1770とレジスタ・ファイル1758との間でロード動作及びストア動作を実装することを可能にするクロスバー相互接続である。少なくとも1つの実施例では、レジスタ・ファイル1758は、GPGPUコア1762と同じ周波数において動作することができ、したがって、GPGPUコア1762とレジスタ・ファイル1758との間のデータ転送は、非常に低いレイテンシである。少なくとも1つの実施例では、共有メモリ1770は、グラフィックス・マルチプロセッサ1796内の機能ユニット上で実行するスレッド間の通信を可能にするために使用され得る。少なくとも1つの実施例では、キャッシュ・メモリ1772は、たとえば、機能ユニットとテクスチャ・ユニット1736との間で通信されるテクスチャ・データをキャッシュするために、データ・キャッシュとして使用され得る。少なくとも1つの実施例では、共有メモリ1770は、キャッシュされる管理されるプログラムとしても使用され得る。少なくとも1つの実施例では、GPGPUコア1762上で実行しているスレッドは、キャッシュ・メモリ1772内に記憶される自動的にキャッシュされるデータに加えて、データを共有メモリ内にプログラム的に記憶することができる。
【0146】
少なくとも1つの実施例では、本明細書で説明されるような並列プロセッサ又はGPGPUは、グラフィックス動作、機械学習動作、パターン分析動作、及び様々な汎用GPU(GPGPU)機能を加速するために、ホスト/プロセッサ・コアに通信可能に結合される。少なくとも1つの実施例では、GPUは、バス又は他の相互接続(たとえば、PCIe又はNVLinkなどの高速相互接続)を介してホスト・プロセッサ/コアに通信可能に結合され得る。少なくとも1つの実施例では、GPUは、コアとして同じパッケージ又はチップに集積され、パッケージ又はチップの内部にあるプロセッサ・バス/相互接続を介してコアに通信可能に結合され得る。少なくとも1つの実施例では、GPUが接続される様式にかかわらず、プロセッサ・コアは、WD中に含まれているコマンド/命令のシーケンスの形態で、ワークをGPUに割り振り得る。少なくとも1つの実施例では、GPUは、次いで、これらのコマンド/命令を効率的に処理するための専用回路要素/論理を使用する。
【0147】
少なくとも1つの実施例では、図17A図17Cに図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図17A図17Cに図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図17A図17Cに図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0148】
図18は、少なくとも1つの実施例による、グラフィックス・プロセッサ1800を示す。少なくとも1つの実施例では、グラフィックス・プロセッサ1800は、リング相互接続1802と、パイプライン・フロント・エンド1804と、メディア・エンジン1837と、グラフィックス・コア1880A~1880Nとを含む。少なくとも1つの実施例では、リング相互接続1802は、グラフィックス・プロセッサ1800を、他のグラフィックス・プロセッサ又は1つ又は複数の汎用プロセッサ・コアを含む他の処理ユニットに結合する。少なくとも1つの実施例では、グラフィックス・プロセッサ1800は、マルチコア処理システム内に組み込まれた多くのプロセッサのうちの1つである。
【0149】
少なくとも1つの実施例では、グラフィックス・プロセッサ1800は、リング相互接続1802を介してコマンドのバッチを受信する。少なくとも1つの実施例では、入って来るコマンドは、パイプライン・フロント・エンド1804中のコマンド・ストリーマ1803によって解釈される。少なくとも1つの実施例では、グラフィックス・プロセッサ1800は、(1つ又は複数の)グラフィックス・コア1880A~1880Nを介して3Dジオメトリ処理及びメディア処理を実施するためのスケーラブル実行論理を含む。少なくとも1つの実施例では、3Dジオメトリ処理コマンドについて、コマンド・ストリーマ1803は、コマンドをジオメトリ・パイプライン1836に供給する。少なくとも1つの実施例では、少なくともいくつかのメディア処理コマンドについて、コマンド・ストリーマ1803は、コマンドをビデオ・フロント・エンド1834に供給し、ビデオ・フロント・エンド1834はメディア・エンジン1837と結合する。少なくとも1つの実施例では、メディア・エンジン1837は、ビデオ及び画像後処理のためのビデオ品質エンジン(「VQE」:Video Quality Engine)1830と、ハードウェア加速メディア・データ・エンコード及びデコードを提供するためのマルチ・フォーマット・エンコード/デコード(「MFX」:multi-format encode/decode)エンジン1833とを含む。少なくとも1つの実施例では、ジオメトリ・パイプライン1836及びメディア・エンジン1837は、各々、少なくとも1つのグラフィックス・コア1880Aによって提供されるスレッド実行リソースのための実行スレッドを生成する。
【0150】
少なくとも1つの実施例では、グラフィックス・プロセッサ1800は、各々が(コア・サブ・スライスと呼ばれることがある)複数のサブ・コア1850A~550N、1860A~1860Nを有する、(コア・スライスと呼ばれることがある)モジュール式グラフィックス・コア1880A~1880Nを特徴とするスケーラブル・スレッド実行リソースを含む。少なくとも1つの実施例では、グラフィックス・プロセッサ1800は、任意の数のグラフィックス・コア1880A~1880Nを有することができる。少なくとも1つの実施例では、グラフィックス・プロセッサ1800は、少なくとも第1のサブ・コア1850A及び第2のサブ・コア1860Aを有するグラフィックス・コア1880Aを含む。少なくとも1つの実施例では、グラフィックス・プロセッサ1800は、単一のサブ・コア(たとえば、サブ・コア1850A)をもつ低電力プロセッサである。少なくとも1つの実施例では、グラフィックス・プロセッサ1800は、各々が第1のサブ・コア1850A~1850Nのセットと第2のサブ・コア1860A~1860Nのセットとを含む、複数のグラフィックス・コア1880A~1880Nを含む。少なくとも1つの実施例では、第1のサブ・コア1850A~1850N中の各サブ・コアは、少なくとも、実行ユニット(「EU」:execution unit)1852A~1852N及びメディア/テクスチャ・サンプラ1854A~1854Nの第1のセットを含む。少なくとも1つの実施例では、第2のサブ・コア1860A~1860N中の各サブ・コアは、少なくとも、実行ユニット1862A~1862N及びサンプラ1864A~1864Nの第2のセットを含む。少なくとも1つの実施例では、各サブ・コア1850A~1850N、1860A~1860Nは、共有リソース1870A~1870Nのセットを共有する。少なくとも1つの実施例では、共有リソース1870は、共有キャッシュ・メモリ及びピクセル動作論理を含む。
【0151】
少なくとも1つの実施例では、図18に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図18に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図18に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0152】
図19は、少なくとも1つの実施例による、プロセッサ1900を示す。少なくとも1つの実施例では、プロセッサ1900は、限定はしないが、命令を実施するための論理回路を含み得る。少なくとも1つの実施例では、プロセッサ1900は、x86命令、AMR命令、ASICのための特別命令などを含む命令を実施し得る。少なくとも1つの実施例では、プロセッサ1910は、カリフォルニア州サンタクララのIntel Corporationからの、MMX(商標)技術で可能にされたマイクロプロセッサ中の64ビット幅MMXレジスタなど、パック・データを記憶するためのレジスタを含み得る。少なくとも1つの実施例では、整数形式と浮動小数点形式の両方で利用可能なMMXレジスタは、SIMD及びストリーミングSIMD拡張(「SSE」:streaming SIMD extension)命令を伴うパック・データ要素で動作し得る。少なくとも1つの実施例では、SSE2、SSE3、SSE4、AVX、又はそれ以上(総称して「SSEx」と呼ばれる)技術に関係する128ビット幅XMMレジスタは、そのようなパック・データ・オペランドを保持し得る。少なくとも1つの実施例では、プロセッサ1910は、CUDAプログラムを加速するための命令を実施し得る。
【0153】
少なくとも1つの実施例では、プロセッサ1900は、実行されるべき命令をフェッチし、プロセッサ・パイプラインにおいて後で使用されるべき命令を準備するためのイン・オーダー・フロント・エンド(「フロント・エンド」)1901を含む。少なくとも1つの実施例では、フロント・エンド1901は、いくつかのユニットを含み得る。少なくとも1つの実施例では、命令プリフェッチャ1926が、メモリから命令をフェッチし、命令を命令デコーダ1928にフィードし、命令デコーダ1928が命令を復号又は解釈する。たとえば、少なくとも1つの実施例では、命令デコーダ1928は、受信された命令を、実行のために「マイクロ命令」又は「マイクロ・オペレーション」と呼ばれる(「マイクロ・オプ」又は「uop」とも呼ばれる)1つ又は複数のオペレーションに復号する。少なくとも1つの実施例では、命令デコーダ1928は、命令を、動作を実施するためにマイクロアーキテクチャによって使用され得るオプコード及び対応するデータ並びに制御フィールドに構文解析する。少なくとも1つの実施例では、トレース・キャッシュ1930は、復号されたuopを、実行のためにuopキュー1934においてプログラム順のシーケンス又はトレースにアセンブルし得る。少なくとも1つの実施例では、トレース・キャッシュ1930が複雑な命令に遭遇したとき、マイクロコードROM1932が、動作を完了するために必要なuopを提供する。
【0154】
少なくとも1つの実施例では、単一のマイクロ・オプにコンバートされ得る命令もあれば、全動作を完了するためにいくつかのマイクロ・オプを必要とする命令もある。少なくとも1つの実施例では、命令を完了するために5つ以上のマイクロ・オプが必要とされる場合、命令デコーダ1928は、マイクロコードROM1932にアクセスして命令を実施し得る。少なくとも1つの実施例では、命令は、命令デコーダ1928における処理のために少数のマイクロ・オプに復号され得る。少なくとも1つの実施例では、命令は、動作を達成するためにいくつかのマイクロ・オプが必要とされる場合、マイクロコードROM1932内に記憶され得る。少なくとも1つの実施例では、トレース・キャッシュ1930は、マイクロコードROM1932からの1つ又は複数の命令を完了するために、エントリ・ポイント・プログラマブル論理アレイ(「PLA」:programmable logic array)を参照して、マイクロコード・シーケンスを読み取るための正しいマイクロ命令ポインタを決定する。少なくとも1つの実施例では、マイクロコードROM1932が命令のためにマイクロ・オプのシーケンシングを終えた後、機械のフロント・エンド1901は、トレース・キャッシュ1930からマイクロ・オプをフェッチすることを再開し得る。
【0155】
少なくとも1つの実施例では、アウト・オブ・オーダー実行エンジン(「アウト・オブ・オーダー・エンジン」)1903は、実行のために命令を準備し得る。少なくとも1つの実施例では、アウト・オブ・オーダー実行論理は、命令がパイプラインを下り、実行のためにスケジューリングされるときの性能を最適化するために、命令のフローを滑らかにし、それを並べ替えるためのいくつかのバッファを有する。アウト・オブ・オーダー実行エンジン1903は、限定はしないが、アロケータ/レジスタ・リネーマ1940と、メモリuopキュー1942と、整数/浮動小数点uopキュー1944と、メモリ・スケジューラ1946と、高速スケジューラ1902と、低速/汎用浮動小数点スケジューラ(「低速/汎用FP(floating point)スケジューラ」)1904と、単純浮動小数点スケジューラ(「単純FPスケジューラ」)1906とを含む。少なくとも1つの実施例では、高速スケジューラ1902、低速/汎用浮動小数点スケジューラ1904、及び単純浮動小数点スケジューラ1906は、総称して本明細書では「uopスケジューラ1902、1904、1906」とも呼ばれる。アロケータ/レジスタ・リネーマ1940は、実行するために各uopが必要とする機械バッファ及びリソースを割り振る。少なくとも1つの実施例では、アロケータ/レジスタ・リネーマ1940は、レジスタ・ファイルへのエントリ時に論理レジスタをリネームする。少なくとも1つの実施例では、アロケータ/レジスタ・リネーマ1940はまた、メモリ・スケジューラ1946及びuopスケジューラ1902、1904、1906の前の、2つのuopキュー、すなわちメモリ動作のためのメモリuopキュー1942及び非メモリ動作のための整数/浮動小数点uopキュー1944のうちの1つにおいて、各uopのためのエントリを割り振る。少なくとも1つの実施例では、uopスケジューラ1902、1904、1906は、uopがいつ実行する準備ができるかを、それらの従属入力レジスタ・オペランド・ソースが準備されていることと、それらの動作を完了するためにuopが必要とする実行リソースの利用可能性とに基づいて、決定する。少なくとも1つの実施例では、少なくとも1つの実施例の高速スケジューラ1902は、メイン・クロック・サイクルの半分ごとにスケジューリングし得、低速/汎用浮動小数点スケジューラ1904及び単純浮動小数点スケジューラ1906は、メイン・プロセッサ・クロック・サイクル当たりに1回スケジューリングし得る。少なくとも1つの実施例では、uopスケジューラ1902、1904、1906は、実行のためにuopをスケジューリングするためにディスパッチ・ポートを調停する。
【0156】
少なくとも1つの実施例では、実行ブロック1911は、限定はしないが、整数レジスタ・ファイル/バイパス・ネットワーク1908と、浮動小数点レジスタ・ファイル/バイパス・ネットワーク(「FPレジスタ・ファイル/バイパス・ネットワーク」)1910と、アドレス生成ユニット(「AGU」:address generation unit)1912及び1914と、高速ALU1916及び1918と、低速ALU1920と、浮動小数点ALU(「FP」)1922と、浮動小数点移動ユニット(「FP移動」)1924とを含む。少なくとも1つの実施例では、整数レジスタ・ファイル/バイパス・ネットワーク1908及び浮動小数点レジスタ・ファイル/バイパス・ネットワーク1910は、本明細書では「レジスタ・ファイル1908、1910」とも呼ばれる。少なくとも1つの実施例では、AGU1912及び1914、高速ALU1916及び1918、低速ALU1920、浮動小数点ALU1922、及び浮動小数点移動ユニット1924は、本明細書では「実行ユニット1912、1914、1916、1918、1920、1922、及び1924」とも呼ばれる。少なくとも1つの実施例では、実行ブロックは、限定はしないが、(ゼロを含む)任意の数及びタイプのレジスタ・ファイル、バイパス・ネットワーク、アドレス生成ユニット、及び実行ユニットを、任意の組合せで含み得る。
【0157】
少なくとも1つの実施例では、レジスタ・ファイル1908、1910は、uopスケジューラ1902、1904、1906と、実行ユニット1912、1914、1916、1918、1920、1922、及び1924との間に配置され得る。少なくとも1つの実施例では、整数レジスタ・ファイル/バイパス・ネットワーク1908は、整数演算を実施する。少なくとも1つの実施例では、浮動小数点レジスタ・ファイル/バイパス・ネットワーク1910は、浮動小数点演算を実施する。少なくとも1つの実施例では、レジスタ・ファイル1908、1910の各々は、限定はしないが、バイパス・ネットワークを含み得、バイパス・ネットワークは、レジスタ・ファイルにまだ書き込まれていない完了したばかりの結果を、新しい従属uopにバイパス又はフォワーディングし得る。少なくとも1つの実施例では、レジスタ・ファイル1908、1910は、互いにデータを通信し得る。少なくとも1つの実施例では、整数レジスタ・ファイル/バイパス・ネットワーク1908は、限定はしないが、2つの別個のレジスタ・ファイル、すなわち低次32ビットのデータのための1つのレジスタ・ファイル及び高次32ビットのデータのための第2のレジスタ・ファイルを含み得る。少なくとも1つの実施例では、浮動小数点命令は、通常、64~128ビット幅のオペランドを有するので、浮動小数点レジスタ・ファイル/バイパス・ネットワーク1910は、限定はしないが、128ビット幅のエントリを含み得る。
【0158】
少なくとも1つの実施例では、実行ユニット1912、1914、1916、1918、1920、1922、1924は、命令を実行し得る。少なくとも1つの実施例では、レジスタ・ファイル1908、1910は、マイクロ命令が実行する必要がある整数及び浮動小数点データ・オペランド値を記憶する。少なくとも1つの実施例では、プロセッサ1900は、限定はしないが、任意の数及び組合せの実行ユニット1912、1914、1916、1918、1920、1922、1924を含み得る。少なくとも1つの実施例では、浮動小数点ALU1922及び浮動小数点移動ユニット1924は、浮動小数点、MMX、SIMD、AVX及びSSE、又は他の演算を実行し得る。少なくとも1つの実施例では、浮動小数点ALU1922は、限定はしないが、除算、平方根、及び剰余マイクロ・オプを実行するための64ビットずつの浮動小数点デバイダを含み得る。少なくとも1つの実施例では、浮動小数点値を伴う命令は、浮動小数点ハードウェアで対処され得る。少なくとも1つの実施例では、ALU演算は、高速ALU1916、1918に渡され得る。少なくとも1つの実施例では、高速ALU1916、1918は、クロック・サイクルの半分の実効レイテンシを伴う高速演算を実行し得る。少なくとも1つの実施例では、低速ALU1920は、限定はしないが、乗数、シフト、フラグ論理、及びブランチ処理などの長レイテンシ・タイプの演算のための整数実行ハードウェアを含み得るので、ほとんどの複雑な整数演算は低速ALU1920に進む。少なくとも1つの実施例では、メモリ・ロード/ストア動作は、AGU1912、1914によって実行され得る。少なくとも1つの実施例では、高速ALU1916、高速ALU1918、及び低速ALU1920は、64ビット・データ・オペランドで整数演算を実施し得る。少なくとも1つの実施例では、高速ALU1916、高速ALU1918、及び低速ALU1920は、16、32、128、256などを含む様々なデータ・ビット・サイズをサポートするために実装され得る。少なくとも1つの実施例では、浮動小数点ALU1922及び浮動小数点移動ユニット1924は、様々なビット幅を有する様々なオペランドをサポートするために実装され得る。少なくとも1つの実施例では、浮動小数点ALU1922及び浮動小数点移動ユニット1924は、SIMD及びマルチメディア命令と併せた128ビット幅のパック・データ・オペランドで動作し得る。
【0159】
少なくとも1つの実施例では、uopスケジューラ1902、1904、1906は、親ロードが実行し終える前に従属演算をディスパッチする。少なくとも1つの実施例では、uopは、プロセッサ1900において投機的にスケジューリング及び実行され得るので、プロセッサ1900は、メモリ・ミスに対処するための論理をも含み得る。少なくとも1つの実施例では、データ・キャッシュにおいてデータ・ロードがミスした場合、一時的に不正確なデータをもつスケジューラを通り過ぎたパイプラインにおいて、進行中の従属演算があり得る。少なくとも1つの実施例では、リプレイ機構が、不正確なデータを使用する命令を追跡及び再実行する。少なくとも1つの実施例では、従属演算は、リプレイされる必要があり得、独立した演算は、完了することを可能にされ得る。少なくとも1つの実施例では、プロセッサの少なくとも1つの実施例のスケジューラ及びリプレイ機構はまた、テキスト・ストリング比較演算のための命令シーケンスを捕捉するように設計され得る。
【0160】
少なくとも1つの実施例では、「レジスタ」という用語は、オペランドを識別するための命令の一部として使用され得るオンボード・プロセッサ・ストレージ・ロケーションを指し得る。少なくとも1つの実施例では、レジスタは、(プログラマの視点から見て)プロセッサの外部から使用可能であり得るものであり得る。少なくとも1つの実施例では、レジスタは、特定のタイプの回路に限定されないことがある。むしろ、少なくとも1つの実施例では、レジスタは、データを記憶し、データを提供し、本明細書で説明される機能を実施し得る。少なくとも1つの実施例では、本明細書で説明されるレジスタは、専用物理レジスタ、レジスタ・リネーミングを使用して動的に割り振られる物理レジスタ、専用物理レジスタと動的に割り振られる物理レジスタとの組合せなど、任意の数の異なる技法を使用して、プロセッサ内の回路要素によって実装され得る。少なくとも1つの実施例では、整数レジスタは、32ビット整数データを記憶する。少なくとも1つの実施例のレジスタ・ファイルは、パック・データのための8つのマルチメディアSIMDレジスタをも含んでいる。
【0161】
少なくとも1つの実施例では、図19に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図19に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図19に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0162】
図20は、少なくとも1つの実施例による、プロセッサ2000を示す。少なくとも1つの実施例では、プロセッサ2000は、限定はしないが、1つ又は複数のプロセッサ・コア(「コア」)2002A~2002Nと、統合されたメモリ・コントローラ2014と、統合されたグラフィックス・プロセッサ2008とを含む。少なくとも1つの実施例では、プロセッサ2000は、破線ボックスによって表される追加プロセッサ・コア2002Nまでの追加コアを含むことができる。少なくとも1つの実施例では、プロセッサ・コア2002A~2002Nの各々は、1つ又は複数の内部キャッシュ・ユニット2004A~2004Nを含む。少なくとも1つの実施例では、各プロセッサ・コアはまた、1つ又は複数の共有キャッシュ・ユニット2006へのアクセスを有する。
【0163】
少なくとも1つの実施例では、内部キャッシュ・ユニット2004A~2004Nと共有キャッシュ・ユニット2006とは、プロセッサ2000内のキャッシュ・メモリ階層を表す。少なくとも1つの実施例では、キャッシュ・メモリ・ユニット2004A~2004Nは、各プロセッサ・コア内の命令及びデータ・キャッシュの少なくとも1つのレベル、及びL2、L3、レベル4(「L4」)などの共有中間レベル・キャッシュの1つ又は複数のレベル、又はキャッシュの他のレベルを含み得、ここで、外部メモリの前の最高レベルのキャッシュは、LLCとして分類される。少なくとも1つの実施例では、キャッシュ・コヒーレンシ論理は、様々なキャッシュ・ユニット2006及び2004A~2004N間でコヒーレンシを維持する。
【0164】
少なくとも1つの実施例では、プロセッサ2000は、1つ又は複数のバス・コントローラ・ユニット2016とシステム・エージェント・コア2010とのセットをも含み得る。少なくとも1つの実施例では、1つ又は複数のバス・コントローラ・ユニット2016は、1つ又は複数のPCI又はPCIエクスプレス・バスなどの周辺バスのセットを管理する。少なくとも1つの実施例では、システム・エージェント・コア2010は、様々なプロセッサ構成要素のための管理機能性を提供する。少なくとも1つの実施例では、システム・エージェント・コア2010は、様々な外部メモリ・デバイス(図示せず)へのアクセスを管理するための1つ又は複数の統合されたメモリ・コントローラ2014を含む。
【0165】
少なくとも1つの実施例では、プロセッサ・コア2002A~2002Nのうちの1つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも1つの実施例では、システム・エージェント・コア2010は、マルチスレッド処理中にプロセッサ・コア2002A~2002Nを協調させ、動作させるための構成要素を含む。少なくとも1つの実施例では、システム・エージェント・コア2010は、追加として、電力制御ユニット(「PCU」:power control unit)を含み得、PCUは、プロセッサ・コア2002A~2002N及びグラフィックス・プロセッサ2008の1つ又は複数の電力状態を調節するための論理及び構成要素を含む。
【0166】
少なくとも1つの実施例では、プロセッサ2000は、追加として、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ2008を含む。少なくとも1つの実施例では、グラフィックス・プロセッサ2008は、共有キャッシュ・ユニット2006、及び1つ又は複数の統合されたメモリ・コントローラ2014を含むシステム・エージェント・コア2010と結合する。少なくとも1つの実施例では、システム・エージェント・コア2010は、1つ又は複数の結合されたディスプレイへのグラフィックス・プロセッサ出力を駆動するためのディスプレイ・コントローラ2011をも含む。少なくとも1つの実施例では、ディスプレイ・コントローラ2011はまた、少なくとも1つの相互接続を介してグラフィックス・プロセッサ2008と結合された別個のモジュールであり得るか、又はグラフィックス・プロセッサ2008内に組み込まれ得る。
【0167】
少なくとも1つの実施例では、プロセッサ2000の内部構成要素を結合するために、リング・ベースの相互接続ユニット2012が使用される。少なくとも1つの実施例では、ポイントツーポイント相互接続、切替え相互接続、又は他の技法などの代替相互接続ユニットが使用され得る。少なくとも1つの実施例では、グラフィックス・プロセッサ2008は、I/Oリンク2013を介してリング相互接続2012と結合する。
【0168】
少なくとも1つの実施例では、I/Oリンク2013は、様々なプロセッサ構成要素と、eDRAMモジュールなどの高性能組み込みメモリ・モジュール2018との間の通信を容易にするオン・パッケージI/O相互接続を含む、複数の種類のI/O相互接続のうちの少なくとも1つを表す。少なくとも1つの実施例では、プロセッサ・コア2002A~2002Nの各々と、グラフィックス・プロセッサ2008とは、共有LLCとして組み込みメモリ・モジュール2018を使用する。
【0169】
少なくとも1つの実施例では、プロセッサ・コア2002A~2002Nは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも1つの実施例では、プロセッサ・コア2002A~2002Nは、ISAという観点から異種であり、ここで、プロセッサ・コア2002A~2002Nのうちの1つ又は複数は、共通の命令セットを実行し、プロセッサ・コア2002A~20-02Nのうちの1つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも1つの実施例では、プロセッサ・コア2002A~2002Nは、マイクロアーキテクチャという観点から異種であり、ここで、電力消費量が比較的高い1つ又は複数のコアは、電力消費量がより低い1つ又は複数のコアと結合する。少なくとも1つの実施例では、プロセッサ2000は、1つ又は複数のチップ上に、又はSoC集積回路として実装され得る。
【0170】
少なくとも1つの実施例では、図20に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図20に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図20に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0171】
図21は、説明される少なくとも1つの実施例による、グラフィックス・プロセッサ・コア2100を示す。少なくとも1つの実施例では、グラフィックス・プロセッサ・コア2100は、グラフィックス・コア・アレイ内に含まれる。少なくとも1つの実施例では、コア・スライスと呼ばれることがあるグラフィックス・プロセッサ・コア2100は、モジュール式グラフィックス・プロセッサ内の1つ又は複数のグラフィックス・コアであり得る。少なくとも1つの実施例では、グラフィックス・プロセッサ・コア2100は、1つのグラフィックス・コア・スライスの例示であり、本明細書で説明されるグラフィックス・プロセッサは、ターゲット電力及び性能エンベロープに基づいて、複数のグラフィックス・コア・スライスを含み得る。少なくとも1つの実施例では、各グラフィックス・コア2100は、汎用及び固定機能論理のモジュール式ブロックを含む、サブ・スライスとも呼ばれる複数のサブ・コア2101A~2101Fと結合された固定機能ブロック2130を含むことができる。
【0172】
少なくとも1つの実施例では、固定機能ブロック2130は、たとえば、より低い性能及び/又はより低い電力のグラフィックス・プロセッサ実装形態において、グラフィックス・プロセッサ2100中のすべてのサブ・コアによって共有され得るジオメトリ/固定機能パイプライン2136を含む。少なくとも1つの実施例では、ジオメトリ/固定機能パイプライン2136は、3D固定機能パイプラインと、ビデオ・フロント・エンド・ユニットと、スレッド・スポーナ(spawner)及びスレッド・ディスパッチャと、統一リターン・バッファを管理する統一リターン・バッファ・マネージャとを含む。
【0173】
少なくとも1つの実施例では、固定機能ブロック2130はまた、グラフィックスSoCインターフェース2137と、グラフィックス・マイクロコントローラ2138と、メディア・パイプライン2139とを含む。グラフィックスSoCインターフェース2137は、グラフィックス・コア2100と、SoC集積回路内の他のプロセッサ・コアとの間のインターフェースを提供する。少なくとも1つの実施例では、グラフィックス・マイクロコントローラ2138は、スレッド・ディスパッチと、スケジューリングと、プリエンプションとを含む、グラフィックス・プロセッサ2100の様々な機能を管理するように構成可能であるプログラマブル・サブ・プロセッサである。少なくとも1つの実施例では、メディア・パイプライン2139は、画像及びビデオ・データを含むマルチメディア・データの復号、符号化、前処理、及び/又は後処理を容易にするための論理を含む。少なくとも1つの実施例では、メディア・パイプライン2139は、サブ・コア2101~2101F内のコンピュート論理又はサンプリング論理への要求を介して、メディア動作を実装する。
【0174】
少なくとも1つの実施例では、SoCインターフェース2137は、グラフィックス・コア2100が汎用アプリケーション・プロセッサ・コア(たとえば、CPU)及び/又はSoC内の他の構成要素と通信することを可能にし、SoC内の他の構成要素は、共有LLCメモリ、システムRAM、及び/或いは組み込みオンチップ又はオンパッケージDRAMなどのメモリ階層要素を含む。少なくとも1つの実施例では、SoCインターフェース2137はまた、カメラ撮像パイプラインなど、SoC内の固定機能デバイスとの通信を可能にすることができ、グラフィックス・コア2100とSoC内のCPUとの間で共有され得るグローバル・メモリ・アトミックの使用を可能にし、及び/又はそれを実装する。少なくとも1つの実施例では、SoCインターフェース2137はまた、グラフィックス・コア2100のための電力管理制御を実装し、グラフィック・コア2100のクロック・ドメインとSoC内の他のクロック・ドメインとの間のインターフェースを可能にすることができる。少なくとも1つの実施例では、SoCインターフェース2137は、グラフィックス・プロセッサ内の1つ又は複数のグラフィックス・コアの各々にコマンド及び命令を提供するように構成されたコマンド・ストリーマ及びグローバル・スレッド・ディスパッチャからのコマンド・バッファの受信を可能にする。少なくとも1つの実施例では、コマンド及び命令は、メディア動作が実施されるべきであるときにメディア・パイプライン2139にディスパッチされ得るか、又は、グラフィックス処理動作が実施されるべきであるときにジオメトリ及び固定機能パイプライン(たとえば、ジオメトリ及び固定機能パイプライン2136、ジオメトリ及び固定機能パイプライン2114)にディスパッチされ得る。
【0175】
少なくとも1つの実施例では、グラフィックス・マイクロコントローラ2138は、グラフィックス・コア2100のための様々なスケジューリング及び管理タスクを実施するように構成され得る。少なくとも1つの実施例では、グラフィックス・マイクロコントローラ2138は、サブ・コア2101A~2101F内の実行ユニット(EU)アレイ2102A~2102F、2104A~2104F内の様々なグラフィックス並列エンジンに対して、グラフィックスを実施し、及び/又はワークロード・スケジューリングを算出することができる。少なくとも1つの実施例では、グラフィックス・コア2100を含むSoCのCPUコア上で実行しているホスト・ソフトウェアは、複数のグラフィック・プロセッサ・ドアベルのうちの1つにワークロードをサブミットすることができ、このドアベルが、適切なグラフィックス・エンジンに対するスケジューリング動作を呼び出す。少なくとも1つの実施例では、スケジューリング動作は、どのワークロードを次に稼働すべきかを決定することと、ワークロードをコマンド・ストリーマにサブミットすることと、エンジン上で稼働している既存のワークロードをプリエンプトすることと、ワークロードの進行を監視することと、ワークロードが完了したときにホスト・ソフトウェアに通知することとを含む。少なくとも1つの実施例では、グラフィックス・マイクロコントローラ2138はまた、グラフィックス・コア2100のための低電力又はアイドル状態を促進して、オペレーティング・システム及び/又はシステム上のグラフィックス・ドライバ・ソフトウェアとは無関係に、低電力状態移行にわたってグラフィックス・コア2100内のレジスタを保存及び復元するアビリティをグラフィックス・コア2100に提供することができる。
【0176】
少なくとも1つの実施例では、グラフィックス・コア2100は、示されているサブ・コア2101A~2101Fよりも多い又はそれよりも少ない、N個までのモジュール式サブ・コアを有し得る。N個のサブ・コアの各セットについて、少なくとも1つの実施例では、グラフィックス・コア2100はまた、共有機能論理2110、共有及び/又はキャッシュ・メモリ2112、ジオメトリ/固定機能パイプライン2114、並びに様々なグラフィックスを加速し、処理動作を算出するための追加の固定機能論理2116を含むことができる。少なくとも1つの実施例では、共有機能論理2110は、グラフィックス・コア2100内の各N個のサブ・コアによって共有され得る論理ユニット(たとえば、サンプラ、数理、及び/又はスレッド間通信論理)を含むことができる。共有及び/又はキャッシュ・メモリ2112は、グラフィックス・コア2100内のN個のサブ・コア2101A~2101FのためのLLCであり得、また、複数のサブ・コアによってアクセス可能である共有メモリとして働き得る。少なくとも1つの実施例では、ジオメトリ/固定機能パイプライン2114は、固定機能ブロック2130内のジオメトリ/固定機能パイプライン2136の代わりに含まれ得、同じ又は同様の論理ユニットを含むことができる。
【0177】
少なくとも1つの実施例では、グラフィックス・コア2100は、グラフィックス・コア2100による使用のための様々な固定機能加速論理を含むことができる追加の固定機能論理2116を含む。少なくとも1つの実施例では、追加の固定機能論理2116は、位置限定シェーディング(position only shading)において使用するための追加のジオメトリ・パイプラインを含む。位置限定シェーディングでは、少なくとも2つのジオメトリ・パイプラインが存在するが、ジオメトリ/固定機能パイプライン2116、2136内の完全ジオメトリ・パイプライン、並びに選別パイプライン(cull pipeline)においてであり、選別パイプラインは、追加の固定機能論理2116内に含まれ得る追加のジオメトリ・パイプラインである。少なくとも1つの実施例では、選別パイプラインは、完全ジオメトリ・パイプラインの縮小版である。少なくとも1つの実施例では、完全パイプライン及び選別パイプラインは、アプリケーションの異なるインスタンスを実行することができ、各インスタンスは別個のコンテキストを有する。少なくとも1つの実施例では、位置限定シェーディングは、切り捨てられた三角形の長い選別ランを隠すことができ、これは、いくつかのインスタンスにおいてシェーディングがより早く完了することを可能にする。たとえば、少なくとも1つの実施例では、選別パイプラインは、ピクセルの、フレーム・バッファへのラスタ化及びレンダリングを実施することなしに、頂点の位置属性をフェッチし、シェーディングするので、追加の固定機能論理2116内の選別パイプライン論理は、メイン・アプリケーションと並列で位置シェーダを実行することができ、全体的に完全パイプラインよりも速く臨界結果(critical result)を生成する。少なくとも1つの実施例では、選別パイプラインは、生成された臨界結果を使用して、すべての三角形について、それらの三角形が選別されているかどうかにかかわらず、可視性情報を算出することができる。少なくとも1つの実施例では、(このインスタンスではリプレイ・パイプラインと呼ばれることがある)完全パイプラインは、可視性情報を消費して、選別された三角形を飛ばして可視三角形のみをシェーディングすることができ、可視三角形は、最終的にラスタ化フェーズに渡される。
【0178】
少なくとも1つの実施例では、追加の固定機能論理2116はまた、CUDAプログラムを加速するために、固定機能行列乗算論理など、汎用処理加速論理を含むことができる。
【0179】
少なくとも1つの実施例では、各グラフィックス・サブ・コア2101A~2101Fは、実行リソースのセットを含み、実行リソースのセットは、グラフィックス・パイプライン、メディア・パイプライン、又はシェーダ・プログラムによる要求に応答して、グラフィックス動作、メディア動作、及びコンピュート動作を実施するために使用され得る。少なくとも1つの実施例では、グラフィックス・サブ・コア2101A~2101Fは、複数のEUアレイ2102A~2102F、2104A~2104Fと、スレッド・ディスパッチ及びスレッド間通信(「TD/IC」:thread dispatch and inter-thread communication)論理2103A~2103Fと、3D(たとえば、テクスチャ)サンプラ2105A~2105Fと、メディア・サンプラ2106A~2106Fと、シェーダ・プロセッサ2107A~2107Fと、共有ローカル・メモリ(「SLM」:shared local memory)2108A~2108Fとを含む。EUアレイ2102A~2102F、2104A~2104Fは、各々、複数の実行ユニットを含み、複数の実行ユニットは、グラフィックス、メディア、又はコンピュート・シェーダ・プログラムを含むグラフィックス動作、メディア動作、又はコンピュート動作のサービスにおいて浮動小数点及び整数/固定小数点論理演算を実施することが可能なGPGPUである。少なくとも1つの実施例では、TD/IC論理2103A~2103Fは、サブ・コア内の実行ユニットのためのローカル・スレッド・ディスパッチ及びスレッド制御動作を実施し、サブ・コアの実行ユニット上で実行しているスレッド間の通信を容易にする。少なくとも1つの実施例では、3Dサンプラ2105A~2105Fは、テクスチャ又は他の3Dグラフィックス関係データをメモリに読み取ることができる。少なくとも1つの実施例では、3Dサンプラは、所与のテクスチャに関連する、構成されたサンプル状態及びテクスチャ・フォーマットに基づいて、テクスチャ・データを異なるやり方で読み取ることができる。少なくとも1つの実施例では、メディア・サンプラ2106A~2106Fは、メディア・データに関連するタイプ及びフォーマットに基づいて、同様の読取り動作を実施することができる。少なくとも1つの実施例では、各グラフィックス・サブ・コア2101A~2101Fは、代替的に統一3D及びメディア・サンプラを含むことができる。少なくとも1つの実施例では、サブ・コア2101A~2101Fの各々内の実行ユニット上で実行しているスレッドは、スレッド・グループ内で実行しているスレッドがオンチップ・メモリの共通のプールを使用して実行することを可能にするために、各サブ・コア内の共有ローカル・メモリ2108A~2108Fを利用することができる。
【0180】
少なくとも1つの実施例では、図21に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図21に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図21に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0181】
図22は、少なくとも1つの実施例による、並列処理ユニット(「PPU」)2200を示す。少なくとも1つの実施例では、PPU2200は、PPU2200によって実行された場合、PPU2200に、本明細書で説明されるプロセス及び技法のいくつか又はすべてを実施させる機械可読コードで構成される。少なくとも1つの実施例では、PPU2200はマルチスレッド・プロセッサであり、マルチスレッド・プロセッサは、1つ又は複数の集積回路デバイス上で実装され、(機械可読命令又は単に命令とも呼ばれる)コンピュータ可読命令を複数のスレッド上で並列に処理するように設計されたレイテンシ隠蔽技法としてマルチスレッディングを利用する。少なくとも1つの実施例では、スレッドは、実行のスレッドを指し、PPU2200によって実行されるように構成された命令のセットのインスタンス化である。少なくとも1つの実施例では、PPU2200は、LCDデバイスなどのディスプレイ・デバイス上での表示のための2次元(「2D」)画像データを生成するために3次元(「3D」)グラフィックス・データを処理するためのグラフィックス・レンダリング・パイプラインを実装するように構成されたGPUである。少なくとも1つの実施例では、PPU2200は、線形代数演算及び機械学習演算などの算出を実施するために利用される。図22は、単に例示を目的とした例示的な並列プロセッサを示し、少なくとも1つの実施例において実装され得るプロセッサ・アーキテクチャの非限定的な実例として解釈されるべきである。
【0182】
少なくとも1つの実施例では、1つ又は複数のPPU2200は、高性能コンピューティング(「HPC」:High Performance Computing)、データ・センタ、及び機械学習アプリケーションを加速するように構成される。少なくとも1つの実施例では、1つ又は複数のPPU2200は、CUDAプログラムを加速するように構成される。少なくとも1つの実施例では、PPU2200は、限定はしないが、I/Oユニット2206と、フロント・エンド・ユニット2210と、スケジューラ・ユニット2212と、ワーク分散ユニット2214と、ハブ2216と、クロスバー(「Xバー」:crossbar)2220と、1つ又は複数の汎用処理クラスタ(「GPC」:general processing cluster)2218と、1つ又は複数のパーティション・ユニット(「メモリ・パーティション・ユニット」)2222とを含む。少なくとも1つの実施例では、PPU2200は、1つ又は複数の高速GPU相互接続(「GPU相互接続」)2208を介してホスト・プロセッサ又は他のPPU2200に接続される。少なくとも1つの実施例では、PPU2200は、システム・バス又は相互接続2202を介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも1つの実施例では、PPU2200は、1つ又は複数のメモリ・デバイス(「メモリ」)2204を備えるローカル・メモリに接続される。少なくとも1つの実施例では、メモリ・デバイス2204は、限定はしないが、1つ又は複数のダイナミック・ランダム・アクセス・メモリ(DRAM)デバイスを含む。少なくとも1つの実施例では、1つ又は複数のDRAMデバイスは、複数のDRAMダイが各デバイス内で積層された高帯域幅メモリ(「HBM」)サブシステムとして構成され、及び/又は構成可能である。
【0183】
少なくとも1つの実施例では、高速GPU相互接続2208は、ワイヤ・ベースのマルチ・レーン通信リンクを指し得、ワイヤ・ベースのマルチ・レーン通信リンクは、1つ又は複数のCPUと組み合わせられた1つ又は複数のPPU2200をスケーリングし、含めるために、システムによって使用され、PPU2200とCPUとの間のキャッシュ・コヒーレンス、及びCPUマスタリングをサポートする。少なくとも1つの実施例では、データ及び/又はコマンドは、高速GPU相互接続2208によって、ハブ2216を通して、1つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニット、及び図22に明示的に示されていないこともある他の構成要素など、PPU2200の他のユニットに/から送信される。
【0184】
少なくとも1つの実施例では、I/Oユニット2206は、システム・バス2202を介して(図22に示されていない)ホスト・プロセッサから通信(たとえば、コマンド、データ)を送受信するように構成される。少なくとも1つの実施例では、I/Oユニット2206は、システム・バス2202を介して直接、又は、メモリ・ブリッジなどの1つ又は複数の中間デバイスを通して、ホスト・プロセッサと通信する。少なくとも1つの実施例では、I/Oユニット2206は、システム・バス2202を介してPPU2200のうちの1つ又は複数などの1つ又は複数の他のプロセッサと通信し得る。少なくとも1つの実施例では、I/Oユニット2206は、PCIeインターフェースを、PCIeバスを介した通信のために実装する。少なくとも1つの実施例では、I/Oユニット2206は、外部デバイスと通信するためのインターフェースを実装する。
【0185】
少なくとも1つの実施例では、I/Oユニット2206は、システム・バス2202を介して受信されたパケットを復号する。少なくとも1つの実施例では、少なくともいくつかのパケットは、PPU2200に様々な動作を実施させるように構成されたコマンドを表す。少なくとも1つの実施例では、I/Oユニット2206は、復号されたコマンドを、コマンドによって指定されるPPU2200の様々な他のユニットに送信する。少なくとも1つの実施例では、コマンドは、フロント・エンド・ユニット2210に送信され、及び/或いは、ハブ2216、又は(図22に明示的に示されていない)1つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニットなど、PPU2200の他のユニットに送信される。少なくとも1つの実施例では、I/Oユニット2206はPPU2200の様々な論理ユニット間で及びそれらの間で通信をルーティングするように構成される。
【0186】
少なくとも1つの実施例では、ホスト・プロセッサによって実行されるプログラムは、処理のためにワークロードをPPU2200に提供するバッファにおいて、コマンド・ストリームを符号化する。少なくとも1つの実施例では、ワークロードは、命令と、それらの命令によって処理されるべきデータとを含む。少なくとも1つの実施例では、バッファは、ホスト・プロセッサとPPU2200の両方によってアクセス(たとえば、読取り/書込み)可能であるメモリ中の領域であり、ホスト・インターフェース・ユニットは、I/Oユニット2206によってシステム・バス2202を介して送信されるメモリ要求を介して、システム・バス2202に接続されたシステム・メモリ中のバッファにアクセスするように構成され得る。少なくとも1つの実施例では、ホスト・プロセッサは、バッファにコマンド・ストリームを書き込み、次いでコマンド・ストリームの開始に対するポインタをPPU2200に送信し、それにより、フロント・エンド・ユニット2210は、1つ又は複数のコマンド・ストリームに対するポインタを受信し、1つ又は複数のコマンド・ストリームを管理して、コマンド・ストリームからコマンドを読み取り、コマンドをPPU2200の様々なユニットにフォワーディングする。
【0187】
少なくとも1つの実施例では、フロント・エンド・ユニット2210は、1つ又は複数のコマンド・ストリームによって定義されるタスクを処理するように様々なGPC2218を構成するスケジューラ・ユニット2212に結合される。少なくとも1つの実施例では、スケジューラ・ユニット2212は、スケジューラ・ユニット2212によって管理される様々なタスクに関係する状態情報を追跡するように構成され、状態情報は、GPC2218のうちのどれにタスクが割り当てられるか、タスクがアクティブであるのか非アクティブであるのか、タスクに関連する優先レベルなどを示し得る。少なくとも1つの実施例では、スケジューラ・ユニット2212は、GPC2218のうちの1つ又は複数上での複数のタスクの実行を管理する。
【0188】
少なくとも1つの実施例では、スケジューラ・ユニット2212は、GPC2218上での実行のためのタスクをディスパッチするように構成されたワーク分散ユニット2214に結合される。少なくとも1つの実施例では、ワーク分散ユニット2214は、スケジューラ・ユニット2212から受信された、スケジューリングされたタスクの数を追跡し、ワーク分散ユニット2214は、GPC2218の各々について、ペンディング・タスク・プール及びアクティブ・タスク・プールを管理する。少なくとも1つの実施例では、ペンディング・タスク・プールは、特定のGPC2218によって処理されるように割り当てられたタスクを含んでいるいくつかのスロット(たとえば、32個のスロット)を備え、アクティブ・タスク・プールは、GPC2218によってアクティブに処理されているタスクのためのいくつかのスロット(たとえば、4つのスロット)を備え得、それにより、GPC2218のうちの1つがタスクの実行を完了したとき、GPC2218のためのアクティブ・タスク・プールからそのタスクが排除され、ペンディング・タスク・プールからの他のタスクのうちの1つが選択され、GPC2218上での実行のためにスケジューリングされる。少なくとも1つの実施例では、データ依存性が解決されるのを待っている間など、アクティブ・タスクがGPC2218上でアイドルである場合、アクティブ・タスクがGPC2218から排除され、ペンディング・タスク・プールに戻され、その間に、ペンディング・タスク・プール中の別のタスクが選択され、GPC2218上での実行のためにスケジューリングされる。
【0189】
少なくとも1つの実施例では、ワーク分散ユニット2214は、Xバー2220を介して1つ又は複数のGPC2218と通信する。少なくとも1つの実施例では、Xバー2220は、PPU2200の多くのユニットをPPU2200の他のユニットに結合する相互接続ネットワークであり、ワーク分散ユニット2214を特定のGPC2218に結合するように構成され得る。少なくとも1つの実施例では、PPU2200の1つ又は複数の他のユニットも、ハブ2216を介してXバー2220に接続され得る。
【0190】
少なくとも1つの実施例では、タスクはスケジューラ・ユニット2212によって管理され、ワーク分散ユニット2214によってGPC2218のうちの1つにディスパッチされる。GPC2218は、タスクを処理し、結果を生成するように構成される。少なくとも1つの実施例では、結果は、GPC2218内の他のタスクによって消費されるか、Xバー2220を介して異なるGPC2218にルーティングされるか、又はメモリ2204に記憶され得る。少なくとも1つの実施例では、結果は、パーティション・ユニット2222を介してメモリ2204に書き込まれ得、パーティション・ユニット2222は、メモリ2204への/からのデータの読取り及び書込みを行うためのメモリ・インターフェースを実装する。少なくとも1つの実施例では、結果は、高速GPU相互接続2208を介して別のPPU2204又はCPUに送信され得る。少なくとも1つの実施例では、PPU2200は、限定はしないが、PPU2200に結合された別個の個別メモリ・デバイス2204の数に等しいU個のパーティション・ユニット2222を含む。
【0191】
少なくとも1つの実施例では、ホスト・プロセッサはドライバ・カーネルを実行し、ドライバ・カーネルは、ホスト・プロセッサ上で実行している1つ又は複数のアプリケーションがPPU2200上での実行のために動作をスケジューリングすることを可能にするアプリケーション・プログラミング・インターフェース(「API」)を実装する。少なくとも1つの実施例では、複数のコンピュート・アプリケーションが、PPU2200によって同時に実行され、PPU2200は、複数のコンピュート・アプリケーションに対して、隔離、サービス品質(「QoS」:quality of service)、及び独立したアドレス空間を提供する。少なくとも1つの実施例では、アプリケーションは、PPU2200による実行のための1つ又は複数のタスクをドライバ・カーネルに生成させる(たとえば、APIコールの形態の)命令を生成し、ドライバ・カーネルは、PPU2200によって処理されている1つ又は複数のストリームにタスクを出力する。少なくとも1つの実施例では、各タスクは、ワープと呼ばれることがある関係スレッドの1つ又は複数のグループを備える。少なくとも1つの実施例では、ワープは、並列に実行され得る複数の関係スレッド(たとえば、32個のスレッド)を備える。少なくとも1つの実施例では、連動スレッドは、タスクを実施するための命令を含み、共有メモリを通してデータを交換する、複数のスレッドを指すことができる。
【0192】
少なくとも1つの実施例では、図22に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図22に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図22に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0193】
図23は、少なくとも1つの実施例による、GPC2300を示す。少なくとも1つの実施例では、GPC2300は、図22のGPC2218である。少なくとも1つの実施例では、各GPC2300は、限定はしないが、タスクを処理するためのいくつかのハードウェア・ユニットを含み、各GPC2300は、限定はしないが、パイプライン・マネージャ2302、プレ・ラスタ演算ユニット(「PROP」)2304、ラスタ・エンジン2308、ワーク分散クロスバー(「WDX」:work distribution crossbar)2316、MMU2318、1つ又は複数のデータ処理クラスタ(「DPC」:Data Processing Cluster)2306、及びパーツの任意の好適な組合せを含む。
【0194】
少なくとも1つの実施例では、GPC2300の動作は、パイプライン・マネージャ2302によって制御される。少なくとも1つの実施例では、パイプライン・マネージャ2302は、GPC2300に割り振られたタスクを処理するための1つ又は複数のDPC2306の構成を管理する。少なくとも1つの実施例では、パイプライン・マネージャ2302は、グラフィックス・レンダリング・パイプラインの少なくとも一部分を実装するように、1つ又は複数のDPC2306のうちの少なくとも1つを構成する。少なくとも1つの実施例では、DPC2306は、プログラマブル・ストリーミング・マルチプロセッサ(「SM」:streaming multiprocessor)2314上で頂点シェーダ・プログラムを実行するように構成される。少なくとも1つの実施例では、パイプライン・マネージャ2302は、ワーク分散ユニットから受信されたパケットを、GPC2300内の適切な論理ユニットにルーティングするように構成され、少なくとも1つの実施例では、いくつかのパケットは、PROP2304中の固定機能ハードウェア・ユニット及び/又はラスタ・エンジン2308にルーティングされ得、他のパケットは、プリミティブ・エンジン2312又はSM2314による処理のためにDPC2306にルーティングされ得る。少なくとも1つの実施例では、パイプライン・マネージャ2302は、コンピューティング・パイプラインを実装するように、DPC2306のうちの少なくとも1つを構成する。少なくとも1つの実施例では、パイプライン・マネージャ2302は、CUDAプログラムの少なくとも一部分を実行するように、DPC2306のうちの少なくとも1つを構成する。
【0195】
少なくとも1つの実施例では、PROPユニット2304は、ラスタ・エンジン2308及びDPC2306によって生成されたデータを、図22と併せて上記でより詳細に説明されたメモリ・パーティション・ユニット2222など、パーティション・ユニット中のラスタ演算(「ROP」:Raster Operation)ユニットにルーティングするように構成される。少なくとも1つの実施例では、PROPユニット2304は、色ブレンディングのための最適化を実施すること、ピクセル・データを組織化すること、アドレス・トランスレーションを実施することなどを行うように構成される。少なくとも1つの実施例では、ラスタ・エンジン2308は、限定はしないが、様々なラスタ演算を実施するように構成されたいくつかの固定機能ハードウェア・ユニットを含み、少なくとも1つの実施例では、ラスタ・エンジン2308は、限定はしないが、セットアップ・エンジン、粗いラスタ・エンジン、選別エンジン、クリッピング・エンジン、細かいラスタ・エンジン、タイル合体エンジン、及びそれらの任意の好適な組合せを含む。少なくとも1つの実施例では、セットアップ・エンジンは、変換された頂点を受信し、頂点によって定義された幾何学的プリミティブに関連する平面方程式を生成し、平面方程式は、プリミティブについてのカバレージ情報(たとえば、タイルのためのx、yカバレージ・マスク)を生成するために粗いラスタ・エンジンに送信され、粗いラスタ・エンジンの出力は選別エンジンに送信され、zテストに落ちたプリミティブに関連するフラグメントが選別され、クリッピング・エンジンに送信され、視錐台の外側にあるフラグメントがクリップされる。少なくとも1つの実施例では、クリッピング及び選別を通過したフラグメントは、セットアップ・エンジンによって生成された平面方程式に基づいてピクセル・フラグメントについての属性を生成するために、細かいラスタ・エンジンに渡される。少なくとも1つの実施例では、ラスタ・エンジン2308の出力は、DPC2306内に実装されたフラグメント・シェーダによってなど、任意の好適なエンティティによって処理されるべきフラグメントを含む。
【0196】
少なくとも1つの実施例では、GPC2300中に含まれる各DPC2306は、限定はしないが、Mパイプ・コントローラ(「MPC」:M-Pipe Controller)2310、プリミティブ・エンジン2312、1つ又は複数のSM2314、及びそれらの任意の好適な組合せを含む。少なくとも1つの実施例では、MPC2310は、DPC2306の動作を制御して、パイプライン・マネージャ2302から受信されたパケットを、DPC2306中の適切なユニットにルーティングする。少なくとも1つの実施例では、頂点に関連するパケットは、頂点に関連する頂点属性をメモリからフェッチするように構成されたプリミティブ・エンジン2312にルーティングされ、対照的に、シェーダ・プログラムに関連するパケットは、SM2314に送信され得る。
【0197】
少なくとも1つの実施例では、SM2314は、限定はしないが、いくつかのスレッドによって表されたタスクを処理するように構成されたプログラマブル・ストリーミング・プロセッサを含む。少なくとも1つの実施例では、SM2314はマルチスレッド化され、スレッドの特定のグループからの複数のスレッド(たとえば、32個のスレッド)を同時に実行するように構成され、SIMDアーキテクチャを実装し、スレッドのグループ(たとえば、ワープ)中の各スレッドは、命令の同じセットに基づいてデータの異なるセットを処理するように構成される。少なくとも1つの実施例では、スレッドのグループ中のすべてのスレッドが同じ命令を実行する。少なくとも1つの実施例では、SM2314は、SIMTアーキテクチャを実装し、スレッドのグループ中の各スレッドは、命令の同じセットに基づいて、データの異なるセットを処理するように構成されるが、スレッドのグループ中の個々のスレッドは、実行中に発散することを可能にされる。少なくとも1つの実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が、各ワープについて維持されて、ワープ内のスレッドが発散するときのワープ間の同時処理及びワープ内の直列実行を可能にする。別の実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が、各個々のスレッドについて維持されて、すべてのスレッド間、ワープ内及びワープ間での等しい同時処理を可能にする。少なくとも1つの実施例では、実行状態が、各個々のスレッドについて維持され、同じ命令を実行しているスレッドが、より良い効率性のために収束され、並列に実行され得る。SM2314の少なくとも1つの実施例は、図24と併せてさらに詳細に説明される。
【0198】
少なくとも1つの実施例では、MMU2318は、GPC2300とメモリ・パーティション・ユニット(たとえば、図22のパーティション・ユニット2222)との間のインターフェースを提供し、MMU2318は、仮想アドレスから物理アドレスへのトランスレーションと、メモリ保護と、メモリ要求の調停とを提供する。少なくとも1つの実施例では、MMU2318は、仮想アドレスからメモリ中の物理アドレスへのトランスレーションを実施するための1つ又は複数のトランスレーション・ルックアサイド・バッファ(TLB)を提供する。
【0199】
少なくとも1つの実施例では、図23に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図23に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図23に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0200】
図24は、少なくとも1つの実施例による、ストリーミング・マルチプロセッサ(「SM」)2400を示す。少なくとも1つの実施例では、SM2400は、図23のSM2314である。少なくとも1つの実施例では、SM2400は、限定はしないが、命令キャッシュ2402、1つ又は複数のスケジューラ・ユニット2404、レジスタ・ファイル2408、1つ又は複数の処理コア(「コア」)2410、1つ又は複数の特殊機能ユニット(「SFU」:special function unit)2412、1つ又は複数のLSU2414、相互接続ネットワーク2416、共有メモリ/L1キャッシュ2418、及びそれらの任意の好適な組合せを含む。少なくとも1つの実施例では、ワーク分散ユニットは、並列処理ユニット(PPU)のGPC上での実行のためにタスクをディスパッチし、各タスクは、GPC内の特定のデータ処理クラスタ(DPC)に割り振られ、タスクがシェーダ・プログラムに関連する場合、タスクはSM2400のうちの1つに割り振られる。少なくとも1つの実施例では、スケジューラ・ユニット2404は、ワーク分散ユニットからタスクを受信し、SM2400に割り当てられた1つ又は複数のスレッド・ブロックについて命令スケジューリングを管理する。少なくとも1つの実施例では、スケジューラ・ユニット2404は、並列スレッドのワープとしての実行のためにスレッド・ブロックをスケジューリングし、各スレッド・ブロックは、少なくとも1つのワープを割り振られる。少なくとも1つの実施例では、各ワープは、スレッドを実行する。少なくとも1つの実施例では、スケジューラ・ユニット2404は、複数の異なるスレッド・ブロックを管理して、異なるスレッド・ブロックにワープを割り振り、次いで、複数の異なる連動グループからの命令を、各クロック・サイクル中に様々な機能ユニット(たとえば、処理コア2410、SFU2412、及びLSU2414)にディスパッチする。
【0201】
少なくとも1つの実施例では、「連動グループ」は、通信するスレッドのグループを組織化するためのプログラミング・モデルを指し得、プログラミング・モデルは、スレッドが通信している粒度を開発者が表現することを可能にして、より豊富でより効率的な並列分解の表現を可能にする。少なくとも1つの実施例では、連動起動APIは、並列アルゴリズムの実行のためにスレッド・ブロックの間の同期をサポートする。少なくとも1つの実施例では、従来のプログラミング・モデルのAPIは、連動スレッドを同期するための単一の簡単な構築物、すなわちスレッド・ブロックのすべてのスレッドにわたるバリア(たとえば、syncthreads()関数)を提供する。しかしながら、少なくとも1つの実施例では、プログラマは、スレッド・ブロックよりも小さい粒度においてスレッドのグループを定義し、定義されたグループ内で同期して、集合的なグループ全般にわたる機能インターフェースの形態で、より高い性能、設計のフレキシビリティ、及びソフトウェア再使用を可能にし得る。少なくとも1つの実施例では、連動グループは、プログラマが、サブ・ブロック粒度及びマルチ・ブロック粒度において、スレッドのグループを明示的に定義し、連動グループ中のスレッドに対する同期などの集合的な動作を実施することを可能にする。少なくとも1つの実施例では、サブ・ブロック粒度は、単一スレッドと同じくらい小さい。少なくとも1つの実施例では、プログラミング・モデルは、ソフトウェア境界にわたるクリーンな合成をサポートし、それにより、ライブラリ及びユーティリティ関数が、収束に関して仮定する必要なしにそれらのローカル・コンテキスト内で安全に同期することができる。少なくとも1つの実施例では、連動グループ・プリミティブは、限定はしないが、プロデューサ-コンシューマ並列性、日和見並列性(opportunistic parallelism)、及びスレッド・ブロックのグリッド全体にわたるグローバルな同期を含む、新しいパターンの連動並列性を可能にする。
【0202】
少なくとも1つの実施例では、ディスパッチ・ユニット2406は、機能ユニットのうちの1つ又は複数に命令を送信するように構成され、スケジューラ・ユニット2404は、限定はしないが、同じワープからの2つの異なる命令が各クロック・サイクル中にディスパッチされることを可能にする2つのディスパッチ・ユニット2406を含む。少なくとも1つの実施例では、各スケジューラ・ユニット2404は、単一のディスパッチ・ユニット2406又は追加のディスパッチ・ユニット2406を含む。
【0203】
少なくとも1つの実施例では、各SM2400は、少なくとも1つの実施例では、限定はしないが、SM2400の機能ユニットにレジスタのセットを提供するレジスタ・ファイル2408を含む。少なくとも1つの実施例では、レジスタ・ファイル2408は、各機能ユニットがレジスタ・ファイル2408の専用部分を割り振られるように、機能ユニットの各々の間で分割される。少なくとも1つの実施例では、レジスタ・ファイル2408は、SM2400によって実行されている異なるワープ間で分割され、レジスタ・ファイル2408は、機能ユニットのデータ経路に接続されたオペランドのための一時的ストレージを提供する。少なくとも1つの実施例では、各SM2400は、限定はしないが、複数のL個の処理コア2410を含む。少なくとも1つの実施例では、SM2400は、限定はしないが、多数の(たとえば、128個以上の)個別の処理コア2410を含む。少なくとも1つの実施例では、各処理コア2410は、限定はしないが、完全にパイプライン化された、単精度の、倍精度の、及び/又は混合精度の処理ユニットを含み、これは、限定はしないが、浮動小数点算術論理ユニット及び整数算術論理ユニットを含む。少なくとも1つの実施例では、浮動小数点算術論理ユニットは、浮動小数点算術のためのIEEE754-2008規格を実装する。少なくとも1つの実施例では、処理コア2410は、限定はしないが、64個の単精度(32ビット)浮動小数点コアと、64個の整数コアと、32個の倍精度(64ビット)浮動小数点コアと、8つのテンソル・コアとを含む。
【0204】
少なくとも1つの実施例では、テンソル・コアは、行列演算を実施するように構成される。少なくとも1つの実施例では、1つ又は複数のテンソル・コアは、処理コア2410中に含まれる。少なくとも1つの実施例では、テンソル・コアは、ニューラル・ネットワーク訓練及び推論のための畳み込み演算など、深層学習行列算術を実施するように構成される。少なくとも1つの実施例では、各テンソル・コアは、4×4の行列で動作し、行列の積和演算(matrix multiply and accumulate operation)D=A×B+Cを実施し、ここで、A、B、C、及びDは4×4の行列である。
【0205】
少なくとも1つの実施例では、行列乗算入力A及びBは、16ビットの浮動小数点行列であり、和の行列C及びDは、16ビットの浮動小数点又は32ビットの浮動小数点行列である。少なくとも1つの実施例では、テンソル・コアは、32ビットの浮動小数点の和をもつ16ビットの浮動小数点入力データで動作する。少なくとも1つの実施例では、16ビットの浮動小数点乗算は、64個の演算を使用し、結果的に完全精度の積をもたらし、次いで、完全精度の積が、4×4×4の行列乗算についての他の中間積との32ビット浮動小数点加算を使用して加算される。少なくとも1つの実施例では、これらの小さい要素から築かれる、はるかに大きい2次元又はさらに高次元の行列演算を実施するために、テンソル・コアが使用される。少なくとも1つの実施例では、CUDA-C++APIなどのAPIは、CUDA-C++プログラムからテンソル・コアを効率的に使用するために、特殊な行列ロード演算、行列積和演算、及び行列ストア演算を公開している。少なくとも1つの実施例では、CUDAレベルにおいて、ワープ・レベル・インターフェースは、ワープの32個のスレッドすべてに及ぶ16×16サイズの行列を仮定する。
【0206】
少なくとも1つの実施例では、各SM2400は、限定はしないが、特殊関数(たとえば、属性評価、逆数平方根など)を実施するM個のSFU2412を含む。少なくとも1つの実施例では、SFU2412は、限定はしないが、階層ツリー・データ構造をトラバースするように構成されたツリー・トラバーサル・ユニットを含む。少なくとも1つの実施例では、SFU2412は、限定はしないが、テクスチャ・マップ・フィルタリング動作を実施するように構成されたテクスチャ・ユニットを含む。少なくとも1つの実施例では、テクスチャ・ユニットは、メモリ及びサンプル・テクスチャ・マップからテクスチャ・マップ(たとえば、テクセルの2Dアレイ)をロードして、SM2400によって実行されるシェーダ・プログラムにおける使用のためのサンプリングされたテクスチャ値を作り出すように構成される。少なくとも1つの実施例では、テクスチャ・マップは、共有メモリ/L1キャッシュ2418に記憶される。少なくとも1つの実施例では、テクスチャ・ユニットは、ミップ・マップ(たとえば、詳細のレベルが異なるテクスチャ・マップ)を使用したフィルタリング動作などのテクスチャ動作を実装する。少なくとも1つの実施例では、各SM2400は、限定はしないが、2つのテクスチャ・ユニットを含む。
【0207】
少なくとも1つの実施例では、各SM2400は、限定はしないが、共有メモリ/L1キャッシュ2418とレジスタ・ファイル2408との間でロード及びストア動作を実装するN個のLSU2414を含む。少なくとも1つの実施例では、各SM2400は、限定はしないが、相互接続ネットワーク2416を含み、相互接続ネットワーク2416は、機能ユニットの各々をレジスタ・ファイル2408に接続し、LSU2414をレジスタ・ファイル2408及び共有メモリ/L1キャッシュ2418に接続する。少なくとも1つの実施例では、相互接続ネットワーク2416はクロスバーであり、クロスバーは、機能ユニットのうちのいずれかをレジスタ・ファイル2408中のレジスタのうちのいずれかに接続し、LSU2414をレジスタ・ファイル2408と共有メモリ/L1キャッシュ2418中のメモリ・ロケーションとに接続するように構成され得る。
【0208】
少なくとも1つの実施例では、共有メモリ/L1キャッシュ2418は、SM2400とプリミティブ・エンジンとの間及びSM2400中のスレッド間でのデータ・ストレージ及び通信を可能にするオンチップ・メモリのアレイである。少なくとも1つの実施例では、共有メモリ/L1キャッシュ2418は、限定はしないが、128KBのストレージ容量を備え、SM2400からパーティション・ユニットへの経路中にある。少なくとも1つの実施例では、共有メモリ/L1キャッシュ2418は、読取り及び書込みをキャッシュするために使用される。少なくとも1つの実施例では、共有メモリ/L1キャッシュ2418、L2キャッシュ、及びメモリのうちの1つ又は複数は、補助ストアである。
【0209】
少なくとも1つの実施例では、データ・キャッシュと共有メモリ機能性とを単一のメモリ・ブロックに組み合わせることは、両方のタイプのメモリ・アクセスについて改善された性能を提供する。少なくとも1つの実施例では、容量は、共有メモリが容量の半分を使用するように構成され、テクスチャ及びロード/ストア動作が残りの容量を使用することができる場合など、共有メモリを使用しないプログラムによってキャッシュとして使用されるか、又は使用可能である。少なくとも1つの実施例では、共有メモリ/L1キャッシュ2418内の統合は、共有メモリ/L1キャッシュ2418が、データをストリーミングするための高スループット管として機能しながら、同時に高帯域幅及び低レイテンシのアクセスを、頻繁に再使用されるデータに提供することを可能にする。少なくとも1つの実施例では、汎用並列算出のために構成されたとき、グラフィックス処理と比較してより簡単な構成が使用され得る。少なくとも1つの実施例では、固定機能GPUがバイパスされて、はるかに簡単なプログラミング・モデルを作成する。少なくとも1つの実施例では及び汎用並列算出構成では、ワーク分散ユニットは、スレッドのブロックをDPCに直接割り当て、分散させる。少なくとも1つの実施例では、ブロック中のスレッドは、各スレッドが一意の結果を生成することを確実にするように、計算において一意のスレッドIDを使用して、同じプログラムを実行し、SM2400を使用してプログラムを実行し、計算を実施し、共有メモリ/L1キャッシュ2418を使用してスレッド間で通信し、LSU2414を使用して、共有メモリ/L1キャッシュ2418及びメモリ・パーティション・ユニットを通してグローバル・メモリを読み取り、書き込む。少なくとも1つの実施例では、汎用並列算出のために構成されたとき、SM2400は、DPC上で新しいワークを起動するためにスケジューラ・ユニット2404が使用することができるコマンドを書き込む。
【0210】
少なくとも1つの実施例では、PPUは、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン(たとえば、ワイヤレス・ハンドヘルド・デバイス)、PDA、デジタル・カメラ、車両、頭部装着型ディスプレイ、ハンドヘルド電子デバイスなどに含まれるか、又はそれらに結合される。少なくとも1つの実施例では、PPUは、単一の半導体基板上で具体化される。少なくとも1つの実施例では、PPUは、追加のPPU、メモリ、RISC CPU、MMU、デジタル-アナログ変換器(「DAC」:digital-to-analog converter)などの1つ又は複数の他のデバイスとともにSoC中に含まれる。
【0211】
少なくとも1つの実施例では、PPUは、1つ又は複数のメモリ・デバイスを含むグラフィックス・カード上に含まれ得る。少なくとも1つの実施例では、グラフィックス・カードは、デスクトップ・コンピュータのマザーボード上のPCIeスロットとインターフェースするように構成され得る。少なくとも1つの実施例では、PPUは、マザーボードのチップセット中に含まれる統合されたGPU(「iGPU」:integrated GPU)であり得る。
【0212】
少なくとも1つの実施例では、図24に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図24に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図24に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0213】
汎用コンピューティングのためのソフトウェア構築物
以下の図は、限定はしないが、少なくとも1つの実施例を実装するための例示的なソフトウェア構築物を記載する。
【0214】
図25は、少なくとも1つの実施例による、プログラミング・プラットフォームのソフトウェア・スタックを示す。少なくとも1つの実施例では、プログラミング・プラットフォームは、算出タスクを加速するために、コンピューティング・システム上のハードウェアを活用するためのプラットフォームである。少なくとも1つの実施例では、プログラミング・プラットフォームは、ライブラリ、コンパイラ指令、及び/又はプログラミング言語への拡張を通して、ソフトウェア開発者にとってアクセス可能であり得る。少なくとも1つの実施例では、プログラミング・プラットフォームは、限定はしないが、CUDA、Radeonオープン・コンピュート・プラットフォーム(「ROCm」:Radeon Open Compute Platform)、OpenCL(OpenCL(商標)はクロノス・グループ(Khronos group)によって開発される)、SYCL、又はIntel One APIであり得る。
【0215】
少なくとも1つの実施例では、プログラミング・プラットフォームのソフトウェア・スタック2500は、アプリケーション2501のための実行環境を提供する。少なくとも1つの実施例では、アプリケーション2501は、ソフトウェア・スタック2500上で起動されることが可能な任意のコンピュータ・ソフトウェアを含み得る。少なくとも1つの実施例では、アプリケーション2501は、限定はしないが、人工知能(「AI」:artificial intelligence)/機械学習(「ML」:machine learning)アプリケーション、高性能コンピューティング(「HPC」)アプリケーション、仮想デスクトップ・インフラストラクチャ(「VDI」:virtual desktop infrastructure)、又はデータ・センタ・ワークロードを含み得る。
【0216】
少なくとも1つの実施例では、アプリケーション2501及びソフトウェア・スタック2500は、ハードウェア2507上で稼働する。少なくとも1つの実施例では、ハードウェア2507は、1つ又は複数のGPU、CPU、FPGA、AIエンジン、及び/又はプログラミング・プラットフォームをサポートする他のタイプのコンピュート・デバイスを含み得る。CUDAの場合など、少なくとも1つの実施例では、ソフトウェア・スタック2500は、ベンダー固有であり、(1つ又は複数の)特定のベンダーからのデバイスのみと互換性があり得る。OpenCLの場合など、少なくとも1つの実施例では、ソフトウェア・スタック2500は、異なるベンダーからのデバイスで使用され得る。少なくとも1つの実施例では、ハードウェア2507は、アプリケーション・プログラミング・インターフェース(「API」)コールを介して算出タスクを実施するためにアクセスされ得るもう1つのデバイスに接続されたホストを含む。少なくとも1つの実施例では、限定はしないが、CPU(ただし、コンピュート・デバイスをも含み得る)及びそのメモリを含み得る、ハードウェア2507内のホストとは対照的に、ハードウェア2507内のデバイスは、限定はしないが、GPU、FPGA、AIエンジン、又は他のコンピュート・デバイス(ただし、CPUをも含み得る)及びそのメモリを含み得る。
【0217】
少なくとも1つの実施例では、プログラミング・プラットフォームのソフトウェア・スタック2500は、限定はしないが、いくつかのライブラリ2503と、ランタイム2505と、デバイス・カーネル・ドライバ2506とを含む。少なくとも1つの実施例では、ライブラリ2503の各々は、コンピュータ・プログラムによって使用され、ソフトウェア開発中に活用され得る、データ及びプログラミング・コードを含み得る。少なくとも1つの実施例では、ライブラリ2503は、限定はしないが、事前に書かれたコード及びサブルーチン、クラス、値、タイプ仕様、構成データ、ドキュメンテーション、ヘルプ・データ、並びに/又はメッセージ・テンプレートを含み得る。少なくとも1つの実施例では、ライブラリ2503は、1つ又は複数のタイプのデバイス上での実行のために最適化される機能を含む。少なくとも1つの実施例では、ライブラリ2503は、限定はしないが、デバイス上で数学、深層学習、及び/又は他のタイプの動作を実施するための機能を含み得る。少なくとも1つの実施例では、ライブラリ2503は、ライブラリ2503において実装される機能を公開する、1つ又は複数のAPIを含み得る、対応するAPI2502に関連する。
【0218】
少なくとも1つの実施例では、アプリケーション2501は、図30図32と併せて以下でより詳細に説明されるように、実行可能コードにコンパイルされるソース・コードとして書かれる。少なくとも1つの実施例では、アプリケーション2501の実行可能コードは、少なくとも部分的に、ソフトウェア・スタック2500によって提供される実行環境上で稼働し得る。少なくとも1つの実施例では、アプリケーション2501の実行中に、ホストとは対照的な、デバイス上で稼働する必要があるコードに達し得る。少なくとも1つの実施例では、そのような場合、デバイス上で必須のコードをロード及び起動するために、ランタイム2505がコールされ得る。少なくとも1つの実施例では、ランタイム2505は、アプリケーションS01の実行をサポートすることが可能である、任意の技術的に実現可能なランタイム・システムを含み得る。
【0219】
少なくとも1つの実施例では、ランタイム2505は、(1つ又は複数の)API2504として示されている、対応するAPIに関連する、1つ又は複数のランタイム・ライブラリとして実装される。少なくとも1つの実施例では、そのようなランタイム・ライブラリのうちの1つ又は複数は、限定はしないが、とりわけ、メモリ管理、実行制御、デバイス管理、エラー対処、及び/又は同期のための機能を含み得る。少なくとも1つの実施例では、メモリ管理機能は、限定はしないが、デバイス・メモリを割り振り、割振り解除し、コピーし、並びにホスト・メモリとデバイス・メモリとの間でデータを転送するための機能を含み得る。少なくとも1つの実施例では、実行制御機能は、限定はしないが、デバイス上で機能(機能がホストからコール可能なグローバル機能であるとき、「カーネル」と呼ばれることがある)を起動し、デバイス上で実行されるべき所与の機能のためのランタイム・ライブラリによって維持されるバッファ中に属性値をセットするための機能を含み得る。
【0220】
少なくとも1つの実施例では、ランタイム・ライブラリ及び対応する(1つ又は複数の)API2504は、任意の技術的に実現可能な様式で実装され得る。少なくとも1つの実施例では、ある(又は任意の数の)APIは、デバイスのきめ細かい制御のための機能の低レベルのセットを公開し得るが、別の(又は任意の数の)APIは、そのような機能のより高いレベルのセットを公開し得る。少なくとも1つの実施例では、高レベル・ランタイムAPIは、低レベルAPIの上に築かれ得る。少なくとも1つの実施例では、ランタイムAPIのうちの1つ又は複数は、言語依存しないランタイムAPIの上に階層化された言語固有APIであり得る。
【0221】
少なくとも1つの実施例では、デバイス・カーネル・ドライバ2506は、基礎をなすデバイスとの通信を容易にするように構成される。少なくとも1つの実施例では、デバイス・カーネル・ドライバ2506は、(1つ又は複数の)API2504などのAPI及び/又は他のソフトウェアが依拠する、低レベル機能性を提供し得る。少なくとも1つの実施例では、デバイス・カーネル・ドライバ2506は、ランタイムにおいて中間表現(「IR」:intermediate representation)コードをバイナリ・コードにコンパイルするように構成され得る。少なくとも1つの実施例では、CUDAの場合、デバイス・カーネル・ドライバ2506は、ハードウェア固有でない並列スレッド実行(「PTX」:Parallel Thread Execution)IRコードを、(コンパイルされたバイナリ・コードのキャッシングを伴って)ランタイムにおいて特定のターゲット・デバイスのためのバイナリ・コードにコンパイルし得、これは、コードを「ファイナライズする」(finalizing)と呼ばれることもある。少なくとも1つの実施例では、そうすることは、ファイナライズされたコードがターゲット・デバイス上で稼働することを許し得、これは、ソース・コードが最初にPTXコードにコンパイルされたとき、存在していないことがある。代替的に、少なくとも1つの実施例では、デバイス・ソース・コードは、デバイス・カーネル・ドライバ2506がランタイムにおいてIRコードをコンパイルすることを必要とすることなしに、オフラインでバイナリ・コードにコンパイルされ得る。
【0222】
少なくとも1つの実施例では、図25に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図25に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図25に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0223】
図26は、少なくとも1つの実施例による、図25のソフトウェア・スタック2500のCUDA実装形態を示す。少なくとも1つの実施例では、アプリケーション2601が起動され得るCUDAソフトウェア・スタック2600は、CUDAライブラリ2603と、CUDAランタイム2605と、CUDAドライバ2607と、デバイス・カーネル・ドライバ2608とを含む。少なくとも1つの実施例では、CUDAソフトウェア・スタック2600は、ハードウェア2609上で実行し、ハードウェア2609はGPUを含み得、GPUは、CUDAをサポートし、カリフォルニア州サンタクララのNVIDIA Corporationによって開発される。
【0224】
少なくとも1つの実施例では、アプリケーション2601、CUDAランタイム2605、及びデバイス・カーネル・ドライバ2608は、それぞれ、図25と併せて上記で説明された、アプリケーション2501、ランタイム2505、及びデバイス・カーネル・ドライバ2506と同様の機能性を実施し得る。少なくとも1つの実施例では、CUDAドライバ2607は、CUDAドライバAPI2606を実装するライブラリ(libcuda.so)を含む。少なくとも1つの実施例では、CUDAランタイム・ライブラリ(cudart)によって実装されるCUDAランタイムAPI2604と同様に、CUDAドライバAPI2606は、限定はしないが、とりわけ、メモリ管理、実行制御、デバイス管理、エラー対処、同期、及び/又はグラフィックス相互運用性のための機能を公開し得る。少なくとも1つの実施例では、CUDAドライバAPI2606は、CUDAランタイムAPI2604が、暗黙的な初期化、(プロセスに類似する)コンテキスト管理、及び(動的にロードされたライブラリに類似する)モジュール管理を提供することによって、デバイス・コード管理を簡略化するという点で、CUDAランタイムAPI2604とは異なる。少なくとも1つの実施例では、高レベルCUDAランタイムAPI2604とは対照的に、CUDAドライバAPI2606は、特にコンテキスト及びモジュール・ローディングに関して、デバイスのよりきめ細かい制御を提供する低レベルAPIである。少なくとも1つの実施例では、CUDAドライバAPI2606は、CUDAランタイムAPI2604によって公開されないコンテキスト管理のための機能を公開し得る。少なくとも1つの実施例では、CUDAドライバAPI2606はまた、言語依存せず、たとえば、CUDAランタイムAPI2604に加えて、OpenCLをサポートする。さらに、少なくとも1つの実施例では、CUDAランタイム2605を含む開発ライブラリは、ユーザモードCUDAドライバ2607と(「ディスプレイ」ドライバと呼ばれることもある)カーネルモード・デバイス・ドライバ2608とを含むドライバ構成要素とは別個のものと見なされ得る。
【0225】
少なくとも1つの実施例では、CUDAライブラリ2603は、限定はしないが、数学ライブラリ、深層学習ライブラリ、並列アルゴリズム・ライブラリ、及び/又は信号/画像/ビデオ処理ライブラリを含み得、それらをアプリケーション2601などの並列コンピューティング・アプリケーションが利用し得る。少なくとも1つの実施例では、CUDAライブラリ2603は、とりわけ、線形代数演算を実施するための基本線形代数サブプログラム(「BLAS」:Basic Linear Algebra Subprograms)の実装であるcuBLASライブラリ、高速フーリエ変換(「FFT」:fast Fourier transform)を算出するためのcuFFTライブラリ、及び乱数を生成するためのcuRANDライブラリなど、数学ライブラリを含み得る。少なくとも1つの実施例では、CUDAライブラリ2603は、とりわけ、深層ニューラル・ネットワークのためのプリミティブのcuDNNライブラリ及び高性能深層学習推論のためのTensorRTプラットフォームなど、深層学習ライブラリを含み得る。
【0226】
少なくとも1つの実施例では、図26に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図26に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図26に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0227】
図27は、少なくとも1つの実施例による、図25のソフトウェア・スタック2500のROCm実装形態を示す。少なくとも1つの実施例では、アプリケーション2701が起動され得るROCmソフトウェア・スタック2700は、言語ランタイム2703と、システム・ランタイム2705と、サンク(thunk)2707と、ROCmカーネル・ドライバ2708とを含む。少なくとも1つの実施例では、ROCmソフトウェア・スタック2700は、ハードウェア2709上で実行し、ハードウェア2709はGPUを含み得、GPUは、ROCmをサポートし、カリフォルニア州サンタクララのAMD Corporationによって開発される。
【0228】
少なくとも1つの実施例では、アプリケーション2701は、図25と併せて上記で説明されたアプリケーション2501と同様の機能性を実施し得る。少なくとも1つの実施例では、さらに、言語ランタイム2703及びシステム・ランタイム2705は、図25と併せて上記で説明されたランタイム2505と同様の機能性を実施し得る。少なくとも1つの実施例では、言語ランタイム2703とシステム・ランタイム2705とは、システム・ランタイム2705が、ROCrシステム・ランタイムAPI2704を実装し、異種システム・アーキテクチャ(「HSA」:Heterogeneous System Architecture)ランタイムAPIを利用する、言語依存しないランタイムであるという点で、異なる。少なくとも1つの実施例では、HSAランタイムAPIは、とりわけ、メモリ管理、カーネルの設計されたディスパッチを介した実行制御、エラー対処、システム及びエージェント情報、並びにランタイム初期化及び停止(shutdown)のための機能を含む、AMD GPUにアクセスし、それと対話するためのインターフェースを公開する、シン(thin)・ユーザモードAPIである。少なくとも1つの実施例では、システム・ランタイム2705とは対照的に、言語ランタイム2703は、ROCrシステム・ランタイムAPI2704の上に階層化された言語固有ランタイムAPI2702の実装である。少なくとも1つの実施例では、言語ランタイムAPIは、限定はしないが、とりわけ、ポータビリティのための異種コンピュート・インターフェース(「HIP」)言語ランタイムAPI、異種コンピュート・コンパイラ(「HCC」:Heterogeneous Compute Compiler)言語ランタイムAPI、又はOpenCL APIを含み得る。特にHIP言語は、機能的に同様のバージョンのCUDA機構をもつC++プログラミング言語の拡張であり、少なくとも1つの実施例では、HIP言語ランタイムAPIは、とりわけ、メモリ管理、実行制御、デバイス管理、エラー対処、及び同期のための機能など、図26と併せて上記で説明されたCUDAランタイムAPI2604の機能と同様である機能を含む。
【0229】
少なくとも1つの実施例では、サンク(ROCt)2707は、基礎をなすROCmドライバ2708と対話するために使用され得るインターフェース2706である。少なくとも1つの実施例では、ROCmドライバ2708は、AMDGPUドライバとHSAカーネル・ドライバ(amdkfd)との組合せである、ROCkドライバである。少なくとも1つの実施例では、AMDGPUドライバは、図25と併せて上記で説明されたデバイス・カーネル・ドライバ2506と同様の機能性を実施する、AMDによって開発されたGPUのためのデバイス・カーネル・ドライバである。少なくとも1つの実施例では、HSAカーネル・ドライバは、異なるタイプのプロセッサがハードウェア特徴を介してより効果的にシステム・リソースを共有することを許すドライバである。
【0230】
少なくとも1つの実施例では、様々なライブラリ(図示せず)が、言語ランタイム2703より上にROCmソフトウェア・スタック2700中に含まれ、図26と併せて上記で説明されたCUDAライブラリ2603に対する機能性の類似性を提供し得る。少なくとも1つの実施例では、様々なライブラリは、限定はしないが、とりわけ、CUDA cuBLASの機能と同様の機能を実装するhipBLASライブラリ、CUDA cuFFTと同様であるFFTを算出するためのrocFFTライブラリなど、数学、深層学習、及び/又は他のライブラリを含み得る。
【0231】
少なくとも1つの実施例では、図27に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図27に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図27に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0232】
図28は、少なくとも1つの実施例による、図25のソフトウェア・スタック2500のOpenCL実装形態を示す。少なくとも1つの実施例では、アプリケーション2801が起動され得るOpenCLソフトウェア・スタック2800は、OpenCLフレームワーク2810と、OpenCLランタイム2806と、ドライバ2807とを含む。少なくとも1つの実施例では、OpenCLソフトウェア・スタック2800は、ベンダー固有でないハードウェア2609上で実行する。少なくとも1つの実施例では、OpenCLは、異なるベンダーによって開発されたデバイスによってサポートされるので、そのようなベンダーからのハードウェアと相互動作するために、特定のOpenCLドライバが必要とされ得る。
【0233】
少なくとも1つの実施例では、アプリケーション2801、OpenCLランタイム2806、デバイス・カーネル・ドライバ2807、及びハードウェア2808は、それぞれ、図25と併せて上記で説明された、アプリケーション2501、ランタイム2505、デバイス・カーネル・ドライバ2506、及びハードウェア2507と同様の機能性を実施し得る。少なくとも1つの実施例では、アプリケーション2801は、デバイス上で実行されるべきであるコードをもつOpenCLカーネル2802をさらに含む。
【0234】
少なくとも1つの実施例では、OpenCLは、ホストに接続されたデバイスをホストが制御することを可能にする「プラットフォーム」を定義する。少なくとも1つの実施例では、OpenCLフレームワークは、プラットフォームAPI2803及びランタイムAPI2805として示されている、プラットフォーム層API及びランタイムAPIを提供する。少なくとも1つの実施例では、ランタイムAPI2805は、デバイス上でのカーネルの実行を管理するためにコンテキストを使用する。少なくとも1つの実施例では、各識別されたデバイスは、それぞれのコンテキストに関連し得、ランタイムAPI2805は、それぞれのコンテキストを使用して、そのデバイスのために、とりわけ、コマンド・キュー、プログラム・オブジェクト、及びカーネル・オブジェクトを管理し、メモリ・オブジェクトを共有し得る。少なくとも1つの実施例では、プラットフォームAPI2803は、とりわけ、デバイスを選択及び初期化し、コマンド・キューを介してデバイスにワークをサブミットし、デバイスとの間でのデータ転送を可能にするために、デバイス・コンテキストが使用されることを許す機能を公開する。少なくとも1つの実施例では、さらに、OpenCLフレームワークは、とりわけ、数学関数とリレーショナル関数と画像処理関数とを含む、様々な組み込み関数(図示せず)を提供する。
【0235】
少なくとも1つの実施例では、コンパイラ2804も、OpenCLフレームワーク2810中に含まれる。少なくとも1つの実施例では、ソース・コードは、アプリケーションを実行するより前にオフラインでコンパイルされるか、又はアプリケーションの実行中にオンラインでコンパイルされ得る。CUDA及びROCmとは対照的に、少なくとも1つの実施例におけるOpenCLアプリケーションは、コンパイラ2804によってオンラインでコンパイルされ得、コンパイラ2804は、標準ポータブル中間表現(「SPIR-V」:Standard Portable Intermediate Representation)コードなど、ソース・コード及び/又はIRコードをバイナリ・コードにコンパイルするために使用され得る、任意の数のコンパイラを表すために含まれる。代替的に、少なくとも1つの実施例では、OpenCLアプリケーションは、そのようなアプリケーションの実行より前に、オフラインでコンパイルされ得る。
【0236】
少なくとも1つの実施例では、図28に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図28に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図28に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0237】
図29は、少なくとも1つの実施例による、プログラミング・プラットフォームによってサポートされるソフトウェアを示す。少なくとも1つの実施例では、プログラミング・プラットフォーム2904は、アプリケーション2900が依拠し得る、様々なプログラミング・モデル2903、ミドルウェア及び/又はライブラリ2902、並びにフレームワーク2901をサポートするように構成される。少なくとも1つの実施例では、アプリケーション2900は、たとえば、MXNet、PyTorch、又はTensorFlowなど、深層学習フレームワークを使用して実装される、AI/MLアプリケーションであり得、これは、基礎をなすハードウェア上で加速コンピューティングを提供するために、cuDNN、NVIDIA集合通信ライブラリ(「NCCL」)、及び/又はNVIDAディベロッパー・データ・ローディング・ライブラリ(「DALI(登録商標)」:NVIDA Developer Data Loading Library)CUDAライブラリなど、ライブラリに依拠し得る。
【0238】
少なくとも1つの実施例では、プログラミング・プラットフォーム2904は、それぞれ、図26図27、及び図28と併せて上記で説明された、CUDA、ROCm、又はOpenCLプラットフォームのうちの1つであり得る。少なくとも1つの実施例では、プログラミング・プラットフォーム2904は、アルゴリズム及びデータ構造の表現を許す基礎をなすコンピューティング・システムの抽象化である、複数のプログラミング・モデル2903をサポートする。少なくとも1つの実施例では、プログラミング・モデル2903は、性能を改善するために、基礎をなすハードウェアの特徴を公開し得る。少なくとも1つの実施例では、プログラミング・モデル2903は、限定はしないが、CUDA、HIP、OpenCL、C++加速超並列処理(「C++AMP」:C++ Accelerated Massive Parallelism)、オープン・マルチプロセシング(「OpenMP」:Open Multi-Processing)、オープン・アクセラレータ(「OpenACC」:Open Accelerators)、及び/又はVulcanコンピュート(Vulcan Compute)を含み得る。
【0239】
少なくとも1つの実施例では、ライブラリ及び/又はミドルウェア2902は、プログラミング・モデル2904の抽象化の実装を提供する。少なくとも1つの実施例では、そのようなライブラリは、コンピュータ・プログラムによって使用され、ソフトウェア開発中に活用され得る、データ及びプログラミング・コードを含む。少なくとも1つの実施例では、そのようなミドルウェアは、プログラミング・プラットフォーム2904から利用可能なソフトウェア以外にアプリケーションにサービスを提供するソフトウェアを含む。少なくとも1つの実施例では、ライブラリ及び/又はミドルウェア2902は、限定はしないが、cuBLAS、cuFFT、cuRAND、及び他のCUDAライブラリ、又は、rocBLAS、rocFFT、rocRAND、及び他のROCmライブラリを含み得る。さらに、少なくとも1つの実施例では、ライブラリ及び/又はミドルウェア2902は、GPUのための通信ルーチンを提供するNCCL及びROCm通信集合ライブラリ(「RCCL」:ROCm Communication Collectives Library)のライブラリ、深層学習加速のためのMIOpenライブラリ、並びに/又は、線形代数、行列及びベクトル演算、幾何学的変換、数値ソルバー、及び関係するアルゴリズムのための固有(Eigen)ライブラリを含み得る。
【0240】
少なくとも1つの実施例では、アプリケーション・フレームワーク2901は、ライブラリ及び/又はミドルウェア2902に依存する。少なくとも1つの実施例では、アプリケーション・フレームワーク2901の各々は、アプリケーション・ソフトウェアの標準構造を実装するために使用されるソフトウェア・フレームワークである。少なくとも1つの実施例では、上記で説明されたAI/ML実例に戻ると、AI/MLアプリケーションは、Caffe、Caffe2、TensorFlow、Keras、PyTorch、又はMxNet深層学習フレームワークなど、フレームワークを使用して実装され得る。
【0241】
少なくとも1つの実施例では、図29に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図29に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図29に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0242】
図30は、少なくとも1つの実施例による、図25図28のプログラミング・プラットフォームのうちの1つの上で実行するためのコードをコンパイルすることを示す。少なくとも1つの実施例では、コンパイラ3001は、ホスト・コード並びにデバイス・コードの両方を含むソース・コード3000を受信する。少なくとも1つの実施例では、コンパイラ3001は、ソース・コード3000を、ホスト上での実行のためのホスト実行可能コード3002及びデバイス上での実行のためのデバイス実行可能コード3003にコンバートするように構成される。少なくとも1つの実施例では、ソース・コード3000は、アプリケーションの実行より前にオフラインでコンパイルされるか、又はアプリケーションの実行中にオンラインでコンパイルされるかのいずれかであり得る。
【0243】
少なくとも1つの実施例では、ソース・コード3000は、C++、C、Fortranなど、コンパイラ3001によってサポートされる任意のプログラミング言語のコードを含み得る。少なくとも1つの実施例では、ソース・コード3000は、ホスト・コードとデバイス・コードとの混合物を有する単一ソース・ファイル中に含まれ得、その中にデバイス・コードのロケーションが示されている。少なくとも1つの実施例では、単一ソース・ファイルは、CUDAコードを含む.cuファイル、又はHIPコードを含む.hip.cppファイルであり得る。代替的に、少なくとも1つの実施例では、ソース・コード3000は、その中でホスト・コードとデバイス・コードとが分離される単一ソース・ファイルではなく、複数のソース・コード・ファイルを含み得る。
【0244】
少なくとも1つの実施例では、コンパイラ3001は、ソース・コード3000を、ホスト上での実行のためのホスト実行可能コード3002及びデバイス上での実行のためのデバイス実行可能コード3003にコンパイルするように構成される。少なくとも1つの実施例では、コンパイラ3001は、ソース・コード3000を抽象システム・ツリー(AST:abstract system tree)に構文解析することと、最適化を実施することと、実行可能コードを生成することとを含む、動作を実施する。ソース・コード3000が単一ソース・ファイルを含む、少なくとも1つの実施例では、コンパイラ3001は、図31に関して以下でより詳細に説明されるように、そのような単一ソース・ファイル中でデバイス・コードをホスト・コードから分離し、デバイス・コード及びホスト・コードを、それぞれ、デバイス実行可能コード3003及びホスト実行可能コード3002にコンパイルし、デバイス実行可能コード3003とホスト実行可能コード3002とを単一のファイルにおいて互いにリンクし得る。
【0245】
少なくとも1つの実施例では、ホスト実行可能コード3002及びデバイス実行可能コード3003は、バイナリ・コード及び/又はIRコードなど、任意の好適なフォーマットのものであり得る。少なくとも1つの実施例では、CUDAの場合、ホスト実行可能コード3002は、ネイティブ・オブジェクト・コードを含み得、デバイス実行可能コード3003は、PTX中間表現のコードを含み得る。少なくとも1つの実施例では、ROCmの場合、ホスト実行可能コード3002とデバイス実行可能コード3003の両方は、ターゲット・バイナリ・コードを含み得る。
【0246】
少なくとも1つの実施例では、図30に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図30に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図30に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0247】
図31は、少なくとも1つの実施例による、図25図28のプログラミング・プラットフォームのうちの1つの上で実行するためのコードをコンパイルすることのより詳細な図である。少なくとも1つの実施例では、コンパイラ3101は、ソース・コード3100を受信し、ソース・コード3100をコンパイルし、実行可能ファイル3110を出力するように構成される。少なくとも1つの実施例では、ソース・コード3100は、ホスト・コードとデバイス・コードの両方を含む、.cuファイル、.hip.cppファイル、又は別のフォーマットのファイルなど、単一ソース・ファイルである。少なくとも1つの実施例では、コンパイラ3101は、限定はしないが、.cuファイル中のCUDAコードをコンパイルするためのNVIDIA CUDAコンパイラ(「NVCC」:NVIDIA CUDA compiler)、又は.hip.cppファイル中のHIPコードをコンパイルするためのHCCコンパイラであり得る。
【0248】
少なくとも1つの実施例では、コンパイラ3101は、コンパイラ・フロント・エンド3102と、ホスト・コンパイラ3105と、デバイス・コンパイラ3106と、リンカ3109とを含む。少なくとも1つの実施例では、コンパイラ・フロント・エンド3102は、ソース・コード3100中でデバイス・コード3104をホスト・コード3103から分離するように構成される。少なくとも1つの実施例では、デバイス・コード3104は、デバイス・コンパイラ3106によってデバイス実行可能コード3108にコンパイルされ、デバイス実行可能コード3108は、説明されたように、バイナリ・コード又はIRコードを含み得る。少なくとも1つの実施例では、別個に、ホスト・コード3103は、ホスト・コンパイラ3105によってホスト実行可能コード3107にコンパイルされる。少なくとも1つの実施例では、NVCCの場合、ホスト・コンパイラ3105は、限定はしないが、ネイティブ・オブジェクト・コードを出力する汎用C/C++コンパイラであり得るが、デバイス・コンパイラ3106は、限定はしないが、LLVMコンパイラ・インフラストラクチャをフォークし、PTXコード又はバイナリ・コードを出力する、低レベル仮想機械(「LLVM」:Low Level Virtual Machine)ベースのコンパイラであり得る。少なくとも1つの実施例では、HCCの場合、ホスト・コンパイラ3105とデバイス・コンパイラ3106の両方は、限定はしないが、ターゲット・バイナリ・コードを出力するLLVMベースのコンパイラであり得る。
【0249】
少なくとも1つの実施例では、ソース・コード3100をホスト実行可能コード3107及びデバイス実行可能コード3108にコンパイルした後に、リンカ3109は、ホスト実行可能コード3107とデバイス実行可能コード3108とを実行可能ファイル3110において互いにリンクする。少なくとも1つの実施例では、ホストのためのネイティブ・オブジェクト・コードと、デバイスのためのPTX又はバイナリ・コードとは、オブジェクト・コードを記憶するために使用されるコンテナ・フォーマットである、実行可能及びリンク可能フォーマット(「ELF」:Executable and Linkable Format)ファイルにおいて互いにリンクされ得る。
【0250】
少なくとも1つの実施例では、図31に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図31に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図31に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0251】
図32は、少なくとも1つの実施例による、ソース・コードをコンパイルするより前にソース・コードをトランスレートすることを示す。少なくとも1つの実施例では、ソース・コード3200は、トランスレーション・ツール3201を通して渡され、トランスレーション・ツール3201は、ソース・コード3200を、トランスレートされたソース・コード3202にトランスレートする。少なくとも1つの実施例では、コンパイラ3203は、図30と併せて上記で説明されたように、ホスト実行可能コード3002及びデバイス実行可能3003へのコンパイラ3001によるソース・コード3000のコンパイルと同様であるプロセスにおいて、トランスレートされたソース・コード3202をホスト実行可能コード3204及びデバイス実行可能コード3205にコンパイルするために使用される。
【0252】
少なくとも1つの実施例では、トランスレーション・ツール3201によって実施されるトランスレーションは、稼働することが最初に意図された環境とは異なる環境における実行のためにソース3200を移植するために使用される。少なくとも1つの実施例では、トランスレーション・ツール3201は、限定はしないが、CUDAプラットフォームを対象とするCUDAコードを、ROCmプラットフォーム上でコンパイル及び実行され得るHIPコードに「hipify」するために使用される、HIPトランスレータを含み得る。少なくとも1つの実施例では、ソース・コード3200のトランスレーションは、図33A図34と併せて以下でより詳細に説明されるように、ソース・コード3200を構文解析することと、あるプログラミング・モデル(たとえば、CUDA)によって提供される(1つ又は複数の)APIへのコールを、別のプログラミング・モデル(たとえば、HIP)によって提供される(1つ又は複数の)APIへの対応するコールにコンバートすることとを含み得る。少なくとも1つの実施例では、CUDAコードをhipifyすることの実例に戻ると、CUDAランタイムAPI、CUDAドライバAPI、及び/又はCUDAライブラリへのコールは、対応するHIP APIコールにコンバートされ得る。少なくとも1つの実施例では、トランスレーション・ツール3201によって実施される自動トランスレーションは、時々、不完全であり、ソース・コード3200を完全に移植するために追加の手動の労力を必要とし得る。
【0253】
少なくとも1つの実施例では、図32に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図32に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図32に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0254】
汎用コンピューティングのためのGPUを構成すること
以下の図は、限定はしないが、少なくとも1つの実施例による、コンピュート・ソース・コードをコンパイル及び実行するための例示的なアーキテクチャを記載する。
【0255】
図33Aは、少なくとも1つの実施例による、異なるタイプの処理ユニットを使用してCUDAソース・コード3310をコンパイル及び実行するように構成されたシステム33A00を示す。少なくとも1つの実施例では、システム33A00は、限定はしないが、CUDAソース・コード3310と、CUDAコンパイラ3350と、ホスト実行可能コード3370(1)と、ホスト実行可能コード3370(2)と、CUDAデバイス実行可能コード3384と、CPU3390と、CUDA対応GPU3394と、GPU3392と、CUDAからHIPへのトランスレーション・ツール3320と、HIPソース・コード3330と、HIPコンパイラ・ドライバ3340と、HCC3360と、HCCデバイス実行可能コード3382とを含む。
【0256】
少なくとも1つの実施例では、CUDAソース・コード3310は、CUDAプログラミング言語の人間が読み取れるコードの集合である。少なくとも1つの実施例では、CUDAコードは、CUDAプログラミング言語の人間が読み取れるコードである。少なくとも1つの実施例では、CUDAプログラミング言語は、限定はしないが、デバイス・コードを定義し、デバイス・コードとホスト・コードとを区別するための機構を含む、C++プログラミング言語の拡張である。少なくとも1つの実施例では、デバイス・コードは、コンパイルの後にデバイス上で並列に実行可能であるソース・コードである。少なくとも1つの実施例では、デバイスは、CUDA対応GPU3390、GPU33192、又は別のGPGPUなど、並列命令処理のために最適化されるプロセッサであり得る。少なくとも1つの実施例では、ホスト・コードは、コンパイルの後にホスト上で実行可能であるソース・コードである。少なくとも1つの実施例では、ホストは、CPU3390など、連続命令処理のために最適化されるプロセッサである。
【0257】
少なくとも1つの実施例では、CUDAソース・コード3310は、限定はしないが、(ゼロを含む)任意の数のグローバル機能3312と、(ゼロを含む)任意の数のデバイス機能3314と、(ゼロを含む)任意の数のホスト機能3316と、(ゼロを含む)任意の数のホスト/デバイス機能3318とを含む。少なくとも1つの実施例では、グローバル機能3312と、デバイス機能3314と、ホスト機能3316と、ホスト/デバイス機能3318とは、CUDAソース・コード3310中で混合され得る。少なくとも1つの実施例では、グローバル機能3312の各々は、デバイス上で実行可能であり、ホストからコール可能である。少なくとも1つの実施例では、グローバル機能3312のうちの1つ又は複数は、したがって、デバイスへのエントリ・ポイントとして働き得る。少なくとも1つの実施例では、グローバル機能3312の各々はカーネルである。少なくとも1つの実施例では、及び動的並列処理として知られる技法では、グローバル機能3312のうちの1つ又は複数は、カーネルを定義し、カーネルは、デバイス上で実行可能であり、そのようなデバイスからコール可能である。少なくとも1つの実施例では、カーネルは、実行中にデバイス上のN(ここで、Nは任意の正の整数である)個の異なるスレッドによって並列にN回実行される。
【0258】
少なくとも1つの実施例では、デバイス機能3314の各々は、デバイス上で実行され、そのようなデバイスからのみコール可能である。少なくとも1つの実施例では、ホスト機能3316の各々は、ホスト上で実行され、そのようなホストからのみコール可能である。少なくとも1つの実施例では、ホスト/デバイス機能3316の各々は、ホスト上で実行可能であり、そのようなホストからのみコール可能であるホスト・バージョンの機能と、デバイス上で実行可能であり、そのようなデバイスからのみコール可能であるデバイス・バージョンの機能の両方を定義する。
【0259】
少なくとも1つの実施例では、CUDAソース・コード3310は、限定はしないが、CUDAランタイムAPI3302を介して定義される任意の数の機能への任意の数のコールをも含み得る。少なくとも1つの実施例では、CUDAランタイムAPI3302は、限定はしないが、デバイス・メモリを割り振り、割振り解除し、ホスト・メモリとデバイス・メモリとの間でデータを転送し、複数のデバイスをもつシステムを管理するなどのためにホスト上で実行する、任意の数の機能を含み得る。少なくとも1つの実施例では、CUDAソース・コード3310は、任意の数の他のCUDA APIにおいて指定される任意の数の機能への任意の数のコールをも含み得る。少なくとも1つの実施例では、CUDA APIは、CUDAコードによる使用のために設計される任意のAPIであり得る。少なくとも1つの実施例では、CUDA APIは、限定はしないが、CUDAランタイムAPI3302、CUDAドライバAPI、任意の数のCUDAライブラリのためのAPIなどを含む。少なくとも1つの実施例では、及びCUDAランタイムAPI3302に対して、CUDAドライバAPIは、より低いレベルのAPIであるが、デバイスのよりきめ細かい制御を提供する。少なくとも1つの実施例では、CUDAライブラリの実例は、限定はしないが、cuBLAS、cuFFT、cuRAND、cuDNNなどを含む。
【0260】
少なくとも1つの実施例では、CUDAコンパイラ3350は、ホスト実行可能コード3370(1)及びCUDAデバイス実行可能コード3384を生成するために、入力CUDAコード(たとえば、CUDAソース・コード3310)をコンパイルする。少なくとも1つの実施例では、CUDAコンパイラ3350はNVCCである。少なくとも1つの実施例では、ホスト実行可能コード3370(1)は、CPU3390上で実行可能である、入力ソース・コード中に含まれるホスト・コードのコンパイルされたバージョンである。少なくとも1つの実施例では、CPU3390は、連続命令処理のために最適化される任意のプロセッサであり得る。
【0261】
少なくとも1つの実施例では、CUDAデバイス実行可能コード3384は、CUDA対応GPU3394上で実行可能である、入力ソース・コード中に含まれるデバイス・コードのコンパイルされたバージョンである。少なくとも1つの実施例では、CUDAデバイス実行可能コード3384は、限定はしないが、バイナリ・コードを含む。少なくとも1つの実施例では、CUDAデバイス実行可能コード3384は、限定はしないが、PTXコードなどのIRコードを含み、これは、デバイス・ドライバによって、特定のターゲット・デバイス(たとえば、CUDA対応GPU3394)のためのバイナリ・コードに、ランタイムにおいてさらにコンパイルされる。少なくとも1つの実施例では、CUDA対応GPU3394は、並列命令処理のために最適化され、CUDAをサポートする、任意のプロセッサであり得る。少なくとも1つの実施例では、CUDA対応GPU3394は、カリフォルニア州サンタクララのNVIDIA Corporationによって開発される。
【0262】
少なくとも1つの実施例では、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310を機能的に同様のHIPソース・コード3330にトランスレートするように構成される。少なくとも1つの実施例では、HIPソース・コード3330は、HIPプログラミング言語の人間が読み取れるコードの集合である。少なくとも1つの実施例では、HIPコードは、HIPプログラミング言語の人間が読み取れるコードである。少なくとも1つの実施例では、HIPプログラミング言語は、限定はしないが、デバイス・コードを定義し、デバイス・コードとホスト・コードとを区別するための、機能的に同様のバージョンのCUDA機構を含む、C++プログラミング言語の拡張である。少なくとも1つの実施例では、HIPプログラミング言語は、CUDAプログラミング言語の機能性のサブセットを含み得る。少なくとも1つの実施例では、たとえば、HIPプログラミング言語は、限定はしないが、グローバル機能3312を定義するための(1つ又は複数の)機構を含むが、そのようなHIPプログラミング言語は、動的並列処理のサポートがないことがあり、したがって、HIPコードにおいて定義されたグローバル機能3312は、ホストからのみコール可能であり得る。
【0263】
少なくとも1つの実施例では、HIPソース・コード3330は、限定はしないが、(ゼロを含む)任意の数のグローバル機能3312と、(ゼロを含む)任意の数のデバイス機能3314と、(ゼロを含む)任意の数のホスト機能3316と、(ゼロを含む)任意の数のホスト/デバイス機能3318とを含む。少なくとも1つの実施例では、HIPソース・コード3330は、HIPランタイムAPI3332において指定される任意の数の機能への任意の数のコールをも含み得る。少なくとも1つの実施例では、HIPランタイムAPI3332は、限定はしないが、CUDAランタイムAPI3302中に含まれる機能のサブセットの機能的に同様のバージョンを含む。少なくとも1つの実施例では、HIPソース・コード3330は、任意の数の他のHIP APIにおいて指定される任意の数の機能への任意の数のコールをも含み得る。少なくとも1つの実施例では、HIP APIは、HIPコード及び/又はROCmによる使用のために設計される任意のAPIであり得る。少なくとも1つの実施例では、HIP APIは、限定はしないが、HIPランタイムAPI3332、HIPドライバAPI、任意の数のHIPライブラリのためのAPI、任意の数のROCmライブラリのためのAPIなどを含む。
【0264】
少なくとも1つの実施例では、CUDAからHIPへのトランスレーション・ツール3320は、CUDAコード中の各カーネル・コールを、CUDAシンタックスからHIPシンタックスにコンバートし、CUDAコード中の任意の数の他のCUDAコールを、任意の数の他の機能的に同様のHIPコールにコンバートする。少なくとも1つの実施例では、CUDAコールは、CUDA APIにおいて指定された機能へのコールであり、HIPコールは、HIP APIにおいて指定された機能へのコールである。少なくとも1つの実施例では、CUDAからHIPへのトランスレーション・ツール3320は、CUDAランタイムAPI3302において指定された機能への任意の数のコールを、HIPランタイムAPI3332において指定された機能への任意の数のコールにコンバートする。
【0265】
少なくとも1つの実施例では、CUDAからHIPへのトランスレーション・ツール3320は、テキスト・ベースのトランスレーション・プロセスを実行するhipify-perlとして知られるツールである。少なくとも1つの実施例では、CUDAからHIPへのトランスレーション・ツール3320は、hipify-clangとして知られるツールであり、これは、hipify-perlに対して、clang(コンパイラ・フロント・エンド)を使用してCUDAコードを構文解析することと、次いで、得られたシンボルをトランスレートすることとを伴う、より複雑でよりロバストなトランスレーション・プロセスを実行する。少なくとも1つの実施例では、CUDAコードをHIPコードに適切にコンバートすることは、CUDAからHIPへのトランスレーション・ツール3320によって実施される修正に加えて、修正(たとえば、手動の編集)を必要とし得る。
【0266】
少なくとも1つの実施例では、HIPコンパイラ・ドライバ3340は、ターゲット・デバイス3346を決定し、次いで、ターゲット・デバイス3346と互換性があるコンパイラを、HIPソース・コード3330をコンパイルするように構成する、フロント・エンドである。少なくとも1つの実施例では、ターゲット・デバイス3346は、並列命令処理のために最適化されるプロセッサである。少なくとも1つの実施例では、HIPコンパイラ・ドライバ3340は、任意の技術的に実現可能な様式でターゲット・デバイス3346を決定し得る。
【0267】
少なくとも1つの実施例では、ターゲット・デバイス3346が、CUDA(たとえば、CUDA対応GPU3394)と互換性がある場合、HIPコンパイラ・ドライバ3340は、HIP/NVCCコンパイル・コマンド3342を生成する。少なくとも1つの実施例では、及び図33Bと併せてより詳細に説明されるように、HIP/NVCCコンパイル・コマンド3342は、限定はしないが、HIPからCUDAへのトランスレーション・ヘッダ及びCUDAランタイム・ライブラリを使用してHIPソース・コード3330をコンパイルするようにCUDAコンパイラ3350を構成する。少なくとも1つの実施例では、及びHIP/NVCCコンパイル・コマンド3342に応答して、CUDAコンパイラ3350は、ホスト実行可能コード3370(1)及びCUDAデバイス実行可能コード3384を生成する。
【0268】
少なくとも1つの実施例では、ターゲット・デバイス3346が、CUDAと互換性がない場合、HIPコンパイラ・ドライバ3340は、HIP/HCCコンパイル・コマンド3344を生成する。少なくとも1つの実施例では、及び図33Cと併せてより詳細に説明されるように、HIP/HCCコンパイル・コマンド3344は、限定はしないが、HCCヘッダ及びHIP/HCCランタイム・ライブラリを使用してHIPソース・コード3330をコンパイルするようにHCC3360を構成する。少なくとも1つの実施例では、及びHIP/HCCコンパイル・コマンド3344に応答して、HCC3360は、ホスト実行可能コード3370(2)及びHCCデバイス実行可能コード3382を生成する。少なくとも1つの実施例では、HCCデバイス実行可能コード3382は、GPU3392上で実行可能である、HIPソース・コード3330中に含まれるデバイス・コードのコンパイルされたバージョンである。少なくとも1つの実施例では、GPU3392は、並列命令処理のために最適化され、CUDAと互換性がなく、HCCと互換性がある、任意のプロセッサであり得る。少なくとも1つの実施例では、GPU3392は、カリフォルニア州サンタクララのAMD Corporationによって開発される。少なくとも1つの実施例では、GPU3392は、CUDA非対応GPU3392である。
【0269】
単に説明目的のために、CPU3390及び異なるデバイス上での実行のためにCUDAソース・コード3310をコンパイルするために少なくとも1つの実施例において実装され得る3つの異なるフローが、図33Aに図示されている。少なくとも1つの実施例では、直接的CUDAフローが、CUDAソース・コード3310をHIPソース・コード3330にトランスレートすることなしに、CPU3390及びCUDA対応GPU3394上での実行のためにCUDAソース・コード3310をコンパイルする。少なくとも1つの実施例では、間接的CUDAフローが、CUDAソース・コード3310をHIPソース・コード3330にトランスレートし、次いで、CPU3390及びCUDA対応GPU3394上での実行のためにHIPソース・コード3330をコンパイルする。少なくとも1つの実施例では、CUDA/HCCフローが、CUDAソース・コード3310をHIPソース・コード3330にトランスレートし、次いで、CPU3390及びGPU3392上での実行のためにHIPソース・コード3330をコンパイルする。
【0270】
少なくとも1つの実施例において実装され得る直接的CUDAフローは、破線及びA1~A3とアノテーション付けされた一連のバブルを介して図示されている。少なくとも1つの実施例では、及びA1とアノテーション付けされたバブルで図示されているように、CUDAコンパイラ3350は、CUDAソース・コード3310と、CUDAソース・コード3310をコンパイルするようにCUDAコンパイラ3350を構成するCUDAコンパイル・コマンド3348とを受信する。少なくとも1つの実施例では、直接的CUDAフローにおいて使用されるCUDAソース・コード3310は、C++以外のプログラミング言語(たとえば、C、Fortran、Python、Javaなど)に基づくCUDAプログラミング言語で書かれる。少なくとも1つの実施例では、及びCUDAコンパイル・コマンド3348に応答して、CUDAコンパイラ3350は、ホスト実行可能コード3370(1)及びCUDAデバイス実行可能コード3384を生成する(A2とアノテーション付けされたバブルで図示される)。少なくとも1つの実施例では、及びA3とアノテーション付けされたバブルで図示されているように、ホスト実行可能コード3370(1)及びCUDAデバイス実行可能コード3384は、それぞれ、CPU3390及びCUDA対応GPU3394上で実行され得る。少なくとも1つの実施例では、CUDAデバイス実行可能コード3384は、限定はしないが、バイナリ・コードを含む。少なくとも1つの実施例では、CUDAデバイス実行可能コード3384は、限定はしないが、PTXコードを含み、ランタイムにおいて特定のターゲット・デバイスのためのバイナリ・コードにさらにコンパイルされる。
【0271】
少なくとも1つの実施例において実装され得る間接的CUDAフローは、点線及びB1~B6とアノテーション付けされた一連のバブルを介して図示されている。少なくとも1つの実施例では、及びB1とアノテーション付けされたバブルで図示されているように、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310を受信する。少なくとも1つの実施例では、及びB2とアノテーション付けされたバブルで図示されているように、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310をHIPソース・コード3330にトランスレートする。少なくとも1つの実施例では、及びB3とアノテーション付けされたバブルで図示されているように、HIPコンパイラ・ドライバ3340は、HIPソース・コード3330を受信し、ターゲット・デバイス3346がCUDA対応であると決定する。
【0272】
少なくとも1つの実施例では、及びB4とアノテーション付けされたバブルで図示されているように、HIPコンパイラ・ドライバ3340は、HIP/NVCCコンパイル・コマンド3342を生成し、HIP/NVCCコンパイル・コマンド3342とHIPソース・コード3330の両方をCUDAコンパイラ3350に送信する。少なくとも1つの実施例では、及び図33Bと併せてより詳細に説明されるように、HIP/NVCCコンパイル・コマンド3342は、限定はしないが、HIPからCUDAへのトランスレーション・ヘッダ及びCUDAランタイム・ライブラリを使用してHIPソース・コード3330をコンパイルするようにCUDAコンパイラ3350を構成する。少なくとも1つの実施例では、及びHIP/NVCCコンパイル・コマンド3342に応答して、CUDAコンパイラ3350は、ホスト実行可能コード3370(1)及びCUDAデバイス実行可能コード3384を生成する(B5とアノテーション付けされたバブルで図示される)。少なくとも1つの実施例では、及びB6とアノテーション付けされたバブルで図示されているように、ホスト実行可能コード3370(1)及びCUDAデバイス実行可能コード3384は、それぞれ、CPU3390及びCUDA対応GPU3394上で実行され得る。少なくとも1つの実施例では、CUDAデバイス実行可能コード3384は、限定はしないが、バイナリ・コードを含む。少なくとも1つの実施例では、CUDAデバイス実行可能コード3384は、限定はしないが、PTXコードを含み、ランタイムにおいて特定のターゲット・デバイスのためのバイナリ・コードにさらにコンパイルされる。
【0273】
少なくとも1つの実施例において実装され得るCUDA/HCCフローは、実線及びC1~C6とアノテーション付けされた一連のバブルを介して図示されている。少なくとも1つの実施例では、及びC1とアノテーション付けされたバブルで図示されているように、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310を受信する。少なくとも1つの実施例では、及びC2とアノテーション付けされたバブルで図示されているように、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310をHIPソース・コード3330にトランスレートする。少なくとも1つの実施例では、及びC3とアノテーション付けされたバブルで図示されているように、HIPコンパイラ・ドライバ3340は、HIPソース・コード3330を受信し、ターゲット・デバイス3346がCUDA対応でないと決定する。
【0274】
少なくとも1つの実施例では、HIPコンパイラ・ドライバ3340は、HIP/HCCコンパイル・コマンド3344を生成し、HIP/HCCコンパイル・コマンド3344とHIPソース・コード3330の両方をHCC3360に送信する(C4とアノテーション付けされたバブルで図示される)。少なくとも1つの実施例では、及び図33Cと併せてより詳細に説明されるように、HIP/HCCコンパイル・コマンド3344は、限定はしないが、HCCヘッダ及びHIP/HCCランタイム・ライブラリを使用してHIPソース・コード3330をコンパイルするようにHCC3360を構成する。少なくとも1つの実施例では、及びHIP/HCCコンパイル・コマンド3344に応答して、HCC3360は、ホスト実行可能コード3370(2)及びHCCデバイス実行可能コード3382を生成する(C5とアノテーション付けされたバブルで図示される)。少なくとも1つの実施例では、及びC6とアノテーション付けされたバブルで図示されているように、ホスト実行可能コード3370(2)及びHCCデバイス実行可能コード3382は、それぞれ、CPU3390及びGPU3392上で実行され得る。
【0275】
少なくとも1つの実施例では、CUDAソース・コード3310がHIPソース・コード3330にトランスレートされた後に、HIPコンパイラ・ドライバ3340は、その後、CUDAからHIPへのトランスレーション・ツール3320を再実行することなしに、CUDA対応GPU3394又はGPU3392のいずれかのための実行可能コードを生成するために使用され得る。少なくとも1つの実施例では、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310をHIPソース・コード3330にトランスレートし、HIPソース・コード3330は、次いで、メモリに記憶される。少なくとも1つの実施例では、HIPコンパイラ・ドライバ3340は、次いで、HIPソース・コード3330に基づいてホスト実行可能コード3370(2)及びHCCデバイス実行可能コード3382を生成するようにHCC3360を構成する。少なくとも1つの実施例では、HIPコンパイラ・ドライバ3340は、その後、記憶されたHIPソース・コード3330に基づいてホスト実行可能コード3370(1)及びCUDAデバイス実行可能コード3384を生成するようにCUDAコンパイラ3350を構成する。
【0276】
図33Bは、少なくとも1つの実施例による、CPU3390及びCUDA対応GPU3394を使用して、図33AのCUDAソース・コード3310をコンパイル及び実行するように構成されたシステム3304を示す。少なくとも1つの実施例では、システム3304は、限定はしないが、CUDAソース・コード3310と、CUDAからHIPへのトランスレーション・ツール3320と、HIPソース・コード3330と、HIPコンパイラ・ドライバ3340と、CUDAコンパイラ3350と、ホスト実行可能コード3370(1)と、CUDAデバイス実行可能コード3384と、CPU3390と、CUDA対応GPU3394とを含む。
【0277】
少なくとも1つの実施例では、及び図33Aと併せて本明細書で前に説明されたように、CUDAソース・コード3310は、限定はしないが、(ゼロを含む)任意の数のグローバル機能3312と、(ゼロを含む)任意の数のデバイス機能3314と、(ゼロを含む)任意の数のホスト機能3316と、(ゼロを含む)任意の数のホスト/デバイス機能3318とを含む。少なくとも1つの実施例では、CUDAソース・コード3310は、限定はしないが、任意の数のCUDA APIにおいて指定される任意の数の機能への任意の数のコールをも含む。
【0278】
少なくとも1つの実施例では、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310をHIPソース・コード3330にトランスレートする。少なくとも1つの実施例では、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310中の各カーネル・コールを、CUDAシンタックスからHIPシンタックスにコンバートし、CUDAソース・コード3310中の任意の数の他のCUDAコールを、任意の数の他の機能的に同様のHIPコールにコンバートする。
【0279】
少なくとも1つの実施例では、HIPコンパイラ・ドライバ3340は、ターゲット・デバイス3346がCUDA対応であると決定し、HIP/NVCCコンパイル・コマンド3342を生成する。少なくとも1つの実施例では、HIPコンパイラ・ドライバ3340は、次いで、HIPソース・コード3330をコンパイルするようにHIP/NVCCコンパイル・コマンド3342を介してCUDAコンパイラ3350を構成する。少なくとも1つの実施例では、HIPコンパイラ・ドライバ3340は、CUDAコンパイラ3350を構成することの一部として、HIPからCUDAへのトランスレーション・ヘッダ3352へのアクセスを提供する。少なくとも1つの実施例では、HIPからCUDAへのトランスレーション・ヘッダ3352は、任意の数のHIP APIにおいて指定された任意の数の機構(たとえば、機能)を、任意の数のCUDA APIにおいて指定された任意の数の機構にトランスレートする。少なくとも1つの実施例では、CUDAコンパイラ3350は、ホスト実行可能コード3370(1)及びCUDAデバイス実行可能コード3384を生成するために、CUDAランタイムAPI3302に対応するCUDAランタイム・ライブラリ3354と併せて、HIPからCUDAへのトランスレーション・ヘッダ3352を使用する。少なくとも1つの実施例では、ホスト実行可能コード3370(1)及びCUDAデバイス実行可能コード3384は、次いで、それぞれ、CPU3390及びCUDA対応GPU3394上で実行され得る。少なくとも1つの実施例では、CUDAデバイス実行可能コード3384は、限定はしないが、バイナリ・コードを含む。少なくとも1つの実施例では、CUDAデバイス実行可能コード3384は、限定はしないが、PTXコードを含み、ランタイムにおいて特定のターゲット・デバイスのためのバイナリ・コードにさらにコンパイルされる。
【0280】
図33Cは、少なくとも1つの実施例による、CPU3390及びCUDA非対応GPU3392を使用して、図33AのCUDAソース・コード3310をコンパイル及び実行するように構成されたシステム3306を示す。少なくとも1つの実施例では、システム3306は、限定はしないが、CUDAソース・コード3310と、CUDAからHIPへのトランスレーション・ツール3320と、HIPソース・コード3330と、HIPコンパイラ・ドライバ3340と、HCC3360と、ホスト実行可能コード3370(2)と、HCCデバイス実行可能コード3382と、CPU3390と、GPU3392とを含む。
【0281】
少なくとも1つの実施例では、及び図33Aと併せて本明細書で前に説明されたように、CUDAソース・コード3310は、限定はしないが、(ゼロを含む)任意の数のグローバル機能3312と、(ゼロを含む)任意の数のデバイス機能3314と、(ゼロを含む)任意の数のホスト機能3316と、(ゼロを含む)任意の数のホスト/デバイス機能3318とを含む。少なくとも1つの実施例では、CUDAソース・コード3310は、限定はしないが、任意の数のCUDA APIにおいて指定される任意の数の機能への任意の数のコールをも含む。
【0282】
少なくとも1つの実施例では、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310をHIPソース・コード3330にトランスレートする。少なくとも1つの実施例では、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310中の各カーネル・コールを、CUDAシンタックスからHIPシンタックスにコンバートし、ソース・コード3310中の任意の数の他のCUDAコールを、任意の数の他の機能的に同様のHIPコールにコンバートする。
【0283】
少なくとも1つの実施例では、HIPコンパイラ・ドライバ3340は、その後、ターゲット・デバイス3346がCUDA対応でないと決定し、HIP/HCCコンパイル・コマンド3344を生成する。少なくとも1つの実施例では、HIPコンパイラ・ドライバ3340は、次いで、HIPソース・コード3330をコンパイルするためにHIP/HCCコンパイル・コマンド3344を実行するようにHCC3360を構成する。少なくとも1つの実施例では、HIP/HCCコンパイル・コマンド3344は、限定はしないが、ホスト実行可能コード3370(2)及びHCCデバイス実行可能コード3382を生成するためにHIP/HCCランタイム・ライブラリ3358及びHCCヘッダ3356を使用するようにHCC3360を構成する。少なくとも1つの実施例では、HIP/HCCランタイム・ライブラリ3358は、HIPランタイムAPI3332に対応する。少なくとも1つの実施例では、HCCヘッダ3356は、限定はしないが、HIP及びHCCのための任意の数及びタイプの相互運用性機構を含む。少なくとも1つの実施例では、ホスト実行可能コード3370(2)及びHCCデバイス実行可能コード3382は、それぞれ、CPU3390及びGPU3392上で実行され得る。
【0284】
少なくとも1つの実施例では、図33A図33Cに図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図33A図33Cに図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図33A図33Cに図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0285】
図34は、少なくとも1つの実施例による、図33CのCUDAからHIPへのトランスレーション・ツール3320によってトランスレートされた例示的なカーネルを示す。少なくとも1つの実施例では、CUDAソース・コード3310は、所与のカーネルが解くように設計される全体的な問題を、スレッド・ブロックを使用して独立して解かれ得る比較的粗いサブ問題に区分けする。少なくとも1つの実施例では、各スレッド・ブロックは、限定はしないが、任意の数のスレッドを含む。少なくとも1つの実施例では、各サブ問題は、スレッド・ブロック内のスレッドによって並列に連動して解かれ得る比較的細かい部片に区分けされる。少なくとも1つの実施例では、スレッド・ブロック内のスレッドは、共有メモリを通してデータを共有することによって、及びメモリ・アクセスを協調させるために実行を同期させることによって連動することができる。
【0286】
少なくとも1つの実施例では、CUDAソース・コード3310は、所与のカーネルに関連するスレッド・ブロックを、スレッド・ブロックの1次元グリッド、2次元グリッド、又は3次元グリッドに組織化する。少なくとも1つの実施例では、各スレッド・ブロックは、限定はしないが、任意の数のスレッドを含み、グリッドは、限定はしないが、任意の数のスレッド・ブロックを含む。
【0287】
少なくとも1つの実施例では、カーネルは、「__global__」宣言指定子(declaration specifier)を使用して定義されるデバイス・コード中の関数である。少なくとも1つの実施例では、所与のカーネル・コール及び関連するストリームについてカーネルを実行するグリッドの次元は、CUDAカーネル起動シンタックス3410を使用して指定される。少なくとも1つの実施例では、CUDAカーネル起動シンタックス3410は、「KernelName<<<GridSize,BlockSize,SharedMemorySize,Stream>>>(KernelArguments);」として指定される。少なくとも1つの実施例では、実行構成シンタックスは、カーネル名(「KernelName」)とカーネル引数の括弧に入れられたリスト(「KernelArguments」)との間に挿入される「<<<...>>>」構築物である。少なくとも1つの実施例では、CUDAカーネル起動シンタックス3410は、限定はしないが、実行構成シンタックスの代わりにCUDA起動機能シンタックスを含む。
【0288】
少なくとも1つの実施例では、「GridSize」は、タイプdim3のものであり、グリッドの次元及びサイズを指定する。少なくとも1つの実施例では、タイプdim3は、限定はしないが、符号なし整数x、y、及びzを含む、CUDA定義構造である。少なくとも1つの実施例では、zが指定されない場合、zは1にデフォルト設定される。少なくとも1つの実施例では、yが指定されない場合、yは1にデフォルト設定される。少なくとも1つの実施例では、グリッド中のスレッド・ブロックの数は、GridSize.xとGridSize.yとGridSize.zとの積に等しい。少なくとも1つの実施例では、「BlockSize」は、タイプdim3のものであり、各スレッド・ブロックの次元及びサイズを指定する。少なくとも1つの実施例では、スレッド・ブロックごとのスレッドの数は、BlockSize.xとBlockSize.yとBlockSize.zとの積に等しい。少なくとも1つの実施例では、カーネルを実行する各スレッドは、組み込み変数(たとえば、「threadIdx」)を通してカーネル内でアクセス可能である一意のスレッドIDを与えられる。
【0289】
少なくとも1つの実施例では、及びCUDAカーネル起動シンタックス3410に関して、「SharedMemorySize」は、静的に割り振られたメモリに加えて、所与のカーネル・コールについてスレッド・ブロックごとに動的に割り振られる共有メモリ中のバイトの数を指定する随意の引数である。少なくとも1つの実施例では、及びCUDAカーネル起動シンタックス3410に関して、SharedMemorySizeは0にデフォルト設定される。少なくとも1つの実施例では、及びCUDAカーネル起動シンタックス3410に関して、「Stream」は、関連するストリームを指定する随意の引数であり、デフォルト・ストリームを指定するために0にデフォルト設定される。少なくとも1つの実施例では、ストリームは、イン・オーダーで実行する(場合によっては、異なるホスト・スレッドによって発行された)コマンドのシーケンスである。少なくとも1つの実施例では、異なるストリームは、互いに対してアウト・オブ・オーダーで、又は同時に、コマンドを実行し得る。
【0290】
少なくとも1つの実施例では、CUDAソース・コード3310は、限定はしないが、例示的なカーネル「MatAdd」のためのカーネル定義とメイン関数とを含む。少なくとも1つの実施例では、メイン関数は、ホスト上で実行し、限定はしないが、カーネルMatAddにデバイス上で実行させるカーネル・コールを含む、ホスト・コードである。少なくとも1つの実施例では、及び示されているように、カーネルMatAddは、Nが正の整数である、サイズN×Nの2つの行列AとBとを加算し、結果を行列Cに記憶する。少なくとも1つの実施例では、メイン関数は、threadsPerBlock変数を16×16として定義し、numBlocks変数をN/16×N/16として定義する。少なくとも1つの実施例では、メイン関数は、次いで、カーネル・コール「MatAdd<<<numBlocks,threadsPerBlock>>>(A,B,C);」を指定する。少なくとも1つの実施例では、及びCUDAカーネル起動シンタックス3410通りに、カーネルMatAddは、寸法N/16×N/16を有する、スレッド・ブロックのグリッドを使用して実行され、ここで、各スレッド・ブロックは、16×16の寸法を有する。少なくとも1つの実施例では、各スレッド・ブロックは、256個のスレッドを含み、グリッドは、行列要素ごとに1つのスレッドを有するのに十分なブロックで作成され、そのようなグリッド中の各スレッドは、1つのペアワイズ加算を実施するためにカーネルMatAddを実行する。
【0291】
少なくとも1つの実施例では、CUDAソース・コード3310をHIPソース・コード3330にトランスレートする間、CUDAからHIPへのトランスレーション・ツール3320は、CUDAソース・コード3310中の各カーネル・コールを、CUDAカーネル起動シンタックス3410からHIPカーネル起動シンタックス3420にトランスレートし、ソース・コード3310中の任意の数の他のCUDAコールを、任意の数の他の機能的に同様のHIPコールにコンバートする。少なくとも1つの実施例では、HIPカーネル起動シンタックス3420は、「hipLaunchKernelGGL(KernelName,GridSize,BlockSize,SharedMemorySize,Stream,KernelArguments);」として指定される。少なくとも1つの実施例では、KernelName、GridSize、BlockSize、ShareMemorySize、Stream、及びKernelArgumentsの各々は、HIPカーネル起動シンタックス3420において、(本明細書で前に説明された)CUDAカーネル起動シンタックス3410の場合と同じ意味を有する。少なくとも1つの実施例では、引数SharedMemorySize及びStreamは、HIPカーネル起動シンタックス3420では必要とされ、CUDAカーネル起動シンタックス3410では随意である。
【0292】
少なくとも1つの実施例では、図34に図示されたHIPソース・コード3330の一部分は、カーネルMatAddにデバイス上で実行させるカーネル・コールを除いて、図34に図示されたCUDAソース・コード3310の一部分と同一である。少なくとも1つの実施例では、カーネルMatAddは、カーネルMatAddがCUDAソース・コード3310において定義される、同じ「__global__」宣言指定子を用いて、HIPソース・コード3330において定義される。少なくとも1つの実施例では、HIPソース・コード3330中のカーネル・コールは、「hipLaunchKernelGGL(MatAdd,numBlocks,threadsPerBlock,0,0,A,B,C);」であるが、CUDAソース・コード3310中の対応するカーネル・コールは、「MatAdd<<<numBlocks,threadsPerBlock>>>(A,B,C);」である。
【0293】
少なくとも1つの実施例では、図34に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図34に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図34に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0294】
図35は、少なくとも1つの実施例による、図33CのCUDA非対応GPU3392をより詳細に示す。少なくとも1つの実施例では、GPU3392は、サンタクララのAMD corporationによって開発される。少なくとも1つの実施例では、GPU3392は、高度並列様式でコンピュート動作を実施するように構成され得る。少なくとも1つの実施例では、GPU3392は、描画コマンド、ピクセル動作、幾何学的算出、及びディスプレイに画像をレンダリングすることに関連する他の動作など、グラフィックス・パイプライン動作を実行するように構成される。少なくとも1つの実施例では、GPU3392は、グラフィックに関係しない動作を実行するように構成される。少なくとも1つの実施例では、GPU3392は、グラフィックに関係する動作とグラフィックに関係しない動作の両方を実行するように構成される。少なくとも1つの実施例では、GPU3392は、HIPソース・コード3330中に含まれるデバイス・コードを実行するように構成され得る。
【0295】
少なくとも1つの実施例では、GPU3392は、限定はしないが、任意の数のプログラマブル処理ユニット3520と、コマンド・プロセッサ3510と、L2キャッシュ3522と、メモリ・コントローラ3570と、DMAエンジン3580(1)と、システム・メモリ・コントローラ3582と、DMAエンジン3580(2)と、GPUコントローラ3584とを含む。少なくとも1つの実施例では、各プログラマブル処理ユニット3520は、限定はしないが、ワークロード・マネージャ3530と、任意の数のコンピュート・ユニット3540とを含む。少なくとも1つの実施例では、コマンド・プロセッサ3510は、1つ又は複数のコマンド・キュー(図示せず)からコマンドを読み取り、ワークロード・マネージャ3530にコマンドを分散させる。少なくとも1つの実施例では、各プログラマブル処理ユニット3520について、関連するワークロード・マネージャ3530は、プログラマブル処理ユニット3520中に含まれるコンピュート・ユニット3540にワークを分散させる。少なくとも1つの実施例では、各コンピュート・ユニット3540は、任意の数のスレッド・ブロックを実行し得るが、各スレッド・ブロックは、単一のコンピュート・ユニット3540上で実行する。少なくとも1つの実施例では、ワークグループは、スレッド・ブロックである。
【0296】
少なくとも1つの実施例では、各コンピュート・ユニット3540は、限定はしないが、任意の数のSIMDユニット3550と、共有メモリ3560とを含む。少なくとも1つの実施例では、各SIMDユニット3550は、SIMDアーキテクチャを実装し、動作を並列に実施するように構成される。少なくとも1つの実施例では、各SIMDユニット3550は、限定はしないが、ベクトルALU3552とベクトル・レジスタ・ファイル3554とを含む。少なくとも1つの実施例では、各SIMDユニット3550は、異なるワープを実行する。少なくとも1つの実施例では、ワープは、スレッドのグループ(たとえば、16個のスレッド)であり、ここで、ワープ中の各スレッドは、単一のスレッド・ブロックに属し、命令の単一のセットに基づいて、データの異なるセットを処理するように構成される。少なくとも1つの実施例では、ワープ中の1つ又は複数のスレッドを無効にするために、プレディケーションが使用され得る。少なくとも1つの実施例では、レーンはスレッドである。少なくとも1つの実施例では、ワーク・アイテムはスレッドである。少なくとも1つの実施例では、ウェーブフロントはワープである。少なくとも1つの実施例では、スレッド・ブロック中の異なるウェーブフロントは、互いに同期し、共有メモリ3560を介して通信し得る。
【0297】
少なくとも1つの実施例では、プログラマブル処理ユニット3520は、「シェーダ・エンジン」と呼ばれる。少なくとも1つの実施例では、各プログラマブル処理ユニット3520は、限定はしないが、コンピュート・ユニット3540に加えて、任意の量の専用グラフィックス・ハードウェアを含む。少なくとも1つの実施例では、各プログラマブル処理ユニット3520は、限定はしないが、(ゼロを含む)任意の数のジオメトリ・プロセッサと、(ゼロを含む)任意の数のラスターライザと、(ゼロを含む)任意の数のレンダー・バック・エンドと、ワークロード・マネージャ3530と、任意の数のコンピュート・ユニット3540とを含む。
【0298】
少なくとも1つの実施例では、コンピュート・ユニット3540は、L2キャッシュ3522を共有する。少なくとも1つの実施例では、L2キャッシュ3522は区分けされる。少なくとも1つの実施例では、GPUメモリ3590は、GPU3392中のすべてのコンピュート・ユニット3540によってアクセス可能である。少なくとも1つの実施例では、メモリ・コントローラ3570及びシステム・メモリ・コントローラ3582は、GPU3392とホストとの間のデータ転送を容易にし、DMAエンジン3580(1)は、GPU3392とそのようなホストとの間の非同期メモリ転送を可能にする。少なくとも1つの実施例では、メモリ・コントローラ3570及びGPUコントローラ3584は、GPU3392と他のGPU3392との間のデータ転送を容易にし、DMAエンジン3580(2)は、GPU3392と他のGPU3392との間の非同期メモリ転送を可能にする。
【0299】
少なくとも1つの実施例では、GPU3392は、限定はしないが、GPU3392の内部又は外部にあり得る、任意の数及びタイプの直接又は間接的にリンクされた構成要素にわたるデータ及び制御送信を容易にする、任意の量及びタイプのシステム相互接続を含む。少なくとも1つの実施例では、GPU3392は、限定はしないが、任意の数及びタイプの周辺デバイスに結合される、任意の数及びタイプのI/Oインターフェース(たとえば、PCIe)を含む。少なくとも1つの実施例では、GPU3392は、限定はしないが、(ゼロを含む)任意の数のディスプレイ・エンジンと、(ゼロを含む)任意の数のマルチメディア・エンジンとを含み得る。少なくとも1つの実施例では、GPU3392は、限定はしないが、1つの構成要素に専用であるか又は複数の構成要素の間で共有され得る、任意の量及びタイプのメモリ・コントローラ(たとえば、メモリ・コントローラ3570及びシステム・メモリ・コントローラ3582)及びメモリ・デバイス(たとえば、共有メモリ3560)を含む、メモリ・サブシステムを実装する。少なくとも1つの実施例では、GPU3392は、限定はしないが、1つ又は複数のキャッシュ・メモリ(たとえば、L2キャッシュ3522)を含む、キャッシュ・サブシステムを実装し、1つ又は複数のキャッシュ・メモリは、各々、任意の数の構成要素(たとえば、SIMDユニット3550、コンピュート・ユニット3540、及びプログラマブル処理ユニット3520)に対してプライベートであるか、又は任意の数の構成要素間で共有され得る。
【0300】
少なくとも1つの実施例では、図35に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図35に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図35に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0301】
図36は、少なくとも1つの実施例による、例示的なCUDAグリッド3620のスレッドが図35の異なるコンピュート・ユニット3540にどのようにマッピングされるかを示す。少なくとも1つの実施例では、及び単に説明目的のために、グリッド3620は、BX×BY×1のGridSizeと、TX×TY×1のBlockSizeとを有する。少なくとも1つの実施例では、グリッド3620は、したがって、限定はしないが、(BX*BY)個のスレッド・ブロック3630を含み、各スレッド・ブロック3630は、限定はしないが、(TX*TY)個のスレッド3640を含む。スレッド3640は、曲がりくねった矢印(squiggly arrow)として図36に図示されている。
【0302】
少なくとも1つの実施例では、グリッド3620は、限定はしないが、コンピュート・ユニット3540(1)~3540(C)を含むプログラマブル処理ユニット3520(1)にマッピングされる。少なくとも1つの実施例では、及び示されているように、(BJ*BY)個のスレッド・ブロック3630が、コンピュート・ユニット3540(1)にマッピングされ、残りのスレッド・ブロック3630が、コンピュート・ユニット3540(2)にマッピングされる。少なくとも1つの実施例では、各スレッド・ブロック3630は、限定はしないが、任意の数のワープを含み得、各ワープは、図35の異なるSIMDユニット3550にマッピングされる。
【0303】
少なくとも1つの実施例では、所与のスレッド・ブロック3630中のワープは、互いに同期し、関連するコンピュート・ユニット3540中に含まれる共有メモリ3560を通して通信し得る。たとえば、及び少なくとも1つの実施例では、スレッド・ブロック3630(BJ,1)中のワープは、互いに同期し、共有メモリ3560(1)を通して通信することができる。たとえば、及び少なくとも1つの実施例では、スレッド・ブロック3630(BJ+1,1)中のワープは、互いに同期し、共有メモリ3560(2)を通して通信することができる。
【0304】
少なくとも1つの実施例では、図36に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図36に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図36に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0305】
図37は、少なくとも1つの実施例による、既存のCUDAコードをData Parallel C++コードにどのようにマイグレートするかを示す。Data Parallel C++(DPC++)は、単一アーキテクチャ・プロプライエタリ言語に対するオープンな規格ベースの代替を指し得、これは、開発者が、ハードウェア・ターゲット(CPU並びにGPU及びFPGAなどのアクセラレータ)にわたってコードを再使用し、また、特定のアクセラレータのためのカスタム調整を実施することを可能にする。DPC++は、開発者が精通していることがあるISO C++に従う、同様の及び/又は同一のC及びC++構築物を使用する。DPC++は、データ並列処理及び異種プログラミングをサポートするためにクロノス・グループからの標準SYCLを組み込む。SYCLは、OpenCLの基礎をなす概念、ポータビリティ及び効率に基づく、クロスプラットフォーム抽象化層を指し、これは、異種プロセッサのためのコードが、標準C++を使用して「単一ソース」スタイルで書かれることを可能にする。SYCLは、C++テンプレート関数が、ホスト・コードとデバイス・コードの両方を含んでおり、OpenCL加速を使用する複雑なアルゴリズムを構築し、次いで、それらを、異なるタイプのデータに関するそれらのソース・コード全体にわたって再使用することができる、単一ソース開発を可能にし得る。
【0306】
少なくとも1つの実施例では、DPC++コンパイラは、多様なハードウェア・ターゲットにわたって導入され得るDPC++ソース・コードをコンパイルするために使用される。少なくとも1つの実施例では、DPC++コンパイラは、多様なハードウェア・ターゲットにわたって導入され得るDPC++アプリケーションを生成するために使用され、DPC++互換性ツールは、CUDAアプリケーションをDPC++のマルチプラットフォーム・プログラムにマイグレートするために使用され得る。少なくとも1つの実施例では、DPC++ベース・ツール・キットは、多様なハードウェア・ターゲットにわたってアプリケーションを導入するためのDPC++コンパイラと、CPU、GPU、及びFPGAにわたって生産性及び性能を増加させるためのDPC++ライブラリと、CUDAアプリケーションをマルチプラットフォーム・アプリケーションにマイグレートするためのDPC++互換性ツールと、それらの任意の好適な組合せとを含む。
【0307】
少なくとも1つの実施例では、DPC++プログラミング・モデルは、Data Parallel C++と呼ばれるプログラミング言語を用いて並列処理を表現するための現代のC++特徴を使用することによって、単に、CPU及びアクセラレータをプログラムすることに関係する1つ又は複数の態様に対して利用される。DPC++プログラミング言語は、ホスト(たとえば、CPU)及びアクセラレータ(たとえば、GPU又はFPGA)のためのコード再使用に対して利用され、単一のソース言語を使用し、実行及びメモリ依存性が明確に通信され得る。DPC++コード内でのマッピングは、アプリケーションを移行させて、ワークロードを最も良く加速するハードウェア又はハードウェア・デバイスのセット上で稼働するために、使用され得る。利用可能なアクセラレータを有しないプラットフォーム上でも、デバイス・コードの開発及びデバッギングを簡略化するために、ホストが利用可能であり得る。
【0308】
少なくとも1つの実施例では、人間が読み取れるDPC++3704を生成するために、DPC++互換性ツール3702への入力として、CUDAソース・コード3700が提供される。少なくとも1つの実施例では、人間が読み取れるDPC++3704は、DPC++互換性ツール3702によって生成されたインライン・コメントを含み、これは、コーディングと所望の性能への調整とを完了3706するために、DPC++コードをどのように及び/又はどこで修正すべきかに関して開発者をガイドし、それにより、DPC++ソース・コード3708を生成する。
【0309】
少なくとも1つの実施例では、CUDAソース・コード3700は、CUDAプログラミング言語の人間が読み取れるソース・コードの集合であるか、又はその集合を含む。少なくとも1つの実施例では、CUDAソース・コード3700は、CUDAプログラミング言語の人間が読み取れるソース・コードである。少なくとも1つの実施例では、CUDAプログラミング言語は、限定はしないが、デバイス・コードを定義し、デバイス・コードとホスト・コードとを区別するための機構を含む、C++プログラミング言語の拡張である。少なくとも1つの実施例では、デバイス・コードは、コンパイルの後に、デバイス(たとえば、GPU又はFPGA)上で実行可能であり、デバイスの1つ又は複数のプロセッサ・コア上で実行され得る、又はより並列化可能なワークフローを含み得る、ソース・コードである。少なくとも1つの実施例では、デバイスは、CUDA対応GPU、GPU、又は別のGPGPUなど、並列命令処理のために最適化されるプロセッサであり得る。少なくとも1つの実施例では、ホスト・コードは、コンパイルの後にホスト上で実行可能であるソース・コードである。少なくとも1つの実施例では、ホスト・コード及びデバイス・コードの一部又は全部は、CPU及びGPU/FPGAにわたって並列に実行され得る。少なくとも1つの実施例では、ホストは、CPUなど、連続命令処理のために最適化されるプロセッサである。図37に関して説明されるCUDAソース・コード3700は、本明細書の他の場所で説明されるCUDAソース・コードに従い得る。
【0310】
少なくとも1つの実施例では、DPC++互換性ツール3702は、DPC++ソース・コード3708へのCUDAソース・コード3700のマイグレーションを容易にするために使用される、実行可能ツール、プログラム、アプリケーション、又は任意の他の好適なタイプのツールを指す。少なくとも1つの実施例では、DPC++互換性ツール3702は、既存のCUDAソースをDPC++に移植するために使用されるDPC++ツール・キットの一部として利用可能なコマンド・ライン・ベースのコード・マイグレーション・ツールである。少なくとも1つの実施例では、DPC++互換性ツール3702は、CUDAアプリケーションの一部又は全部のソース・コードをCUDAからDPC++にコンバートし、人間が読み取れるDPC++3704と呼ばれる、少なくとも部分的にDPC++で書かれる得られたファイルを生成する。少なくとも1つの実施例では、人間が読み取れるDPC++3704は、ユーザ介入がどこで必要であり得るかを示すためにDPC++互換性ツール3702によって生成されるコメントを含む。少なくとも1つの実施例では、ユーザ介入は、CUDAソース・コード3700が、類似するDPC++APIを有しないCUDA APIをコールするとき、必要であり、ユーザ介入が必要とされる他の実例は、後でより詳細に説明される。
【0311】
少なくとも1つの実施例では、CUDAソース・コード3700(たとえば、アプリケーション又はそれの部分)をマイグレートするためのワークフローは、1つ又は複数のコンパイル・データベース・ファイルを作成することと、DPC++互換性ツール3702を使用してCUDAをDPC++にマイグレートすることと、マイグレーションを完了し、正当性を確認し、それにより、DPC++ソース・コード3708を生成することと、DPC++アプリケーションを生成するためにDPC++コンパイラを用いてDPC++ソース・コード3708をコンパイルすることとを含む。少なくとも1つの実施例では、互換性ツールは、Makefileが実行するときに使用されるコマンドをインターセプトし、それらをコンパイル・データベース・ファイルに記憶する、ユーティリティを提供する。少なくとも1つの実施例では、ファイルは、JSONフォーマットで記憶される。少なくとも1つの実施例では、intercept-builtコマンドは、MakefileコマンドをDPC互換性コマンドにコンバートする。
【0312】
少なくとも1つの実施例では、intercept-buildは、ビルド・プロセスをインターセプトして、コンパイル・オプション、マクロ定義(macro defs)、及びインクルード・パス(include paths)をキャプチャし、このデータをコンパイル・データベース・ファイルに書き込む、ユーティリティ・スクリプトである。少なくとも1つの実施例では、コンパイル・データベース・ファイルは、JSONファイルである。少なくとも1つの実施例では、DPC++互換性ツール3702は、コンパイル・データベースを構文解析し、入力ソースをマイグレートするときにオプションを適用する。少なくとも1つの実施例では、intercept-buildの使用は、随意であるが、Make又はCMakeベースの環境について大いに推奨される。少なくとも1つの実施例では、マイグレーション・データベースは、コマンドとディレクトリとファイルとを含み、コマンドは、必要なコンパイル・フラグを含み得、ディレクトリは、ヘッダ・ファイルへのパスを含み得、ファイルは、CUDAファイルへのパスを含み得る。
【0313】
少なくとも1つの実施例では、DPC++互換性ツール3702は、可能な場合はいつでもDPC++を生成することによって、CUDAで書かれたCUDAコード(たとえば、アプリケーション)をDPC++にマイグレートする。少なくとも1つの実施例では、DPC++互換性ツール3702は、ツール・キットの一部として利用可能である。少なくとも1つの実施例では、DPC++ツール・キットは、intercept-buildツールを含む。少なくとも1つの実施例では、intercept-builtツールは、CUDAファイルをマイグレートするためにコンパイル・コマンドをキャプチャするコンパイル・データベースを作成する。少なくとも1つの実施例では、intercept-builtツールによって生成されたコンパイル・データベースは、CUDAコードをDPC++にマイグレートするためにDPC++互換性ツール3702によって使用される。少なくとも1つの実施例では、非CUDA C++コード及びファイルは、そのままマイグレートされる。少なくとも1つの実施例では、DPC++互換性ツール3702は、人間が読み取れるDPC++3704を生成し、これは、DPC++互換性ツール3702によって生成されたとき、DPC++コンパイラによってコンパイルされないことがあり、正しくマイグレートされなかったコードの部分を確認するための追加のプラミング(plumbing)を必要とする、DPC++コードであり得、開発者によってなど、手動の介入を伴い得る。少なくとも1つの実施例では、DPC++互換性ツール3702は、自動的にマイグレートされないことがある追加のコードを開発者が手動でマイグレートするのを助けるために、コード中に埋め込まれたヒント又はツールを提供する。少なくとも1つの実施例では、マイグレーションは、ソース・ファイル、プロジェクト、又はアプリケーションのための1回のアクティビティである。
【0314】
少なくとも1つの実施例では、DPC++互換性ツール37002は、CUDAコードのすべての部分をDPC++に正常にマイグレートすることが可能であり、単に、生成されたDPC++ソース・コードの性能を手動で確認及び調整するための随意のステップがあり得る。少なくとも1つの実施例では、DPC++互換性ツール3702は、DPC++互換性ツール3702によって生成されたDPC++コードを修正するための人間の介入を必要とするか又は利用することなしに、DPC++コンパイラによってコンパイルされるDPC++ソース・コード3708を直接生成する。少なくとも1つの実施例では、DPC++互換性ツールは、コンパイル可能なDPC++コードを生成し、これは、性能、読みやすさ、維持可能性、他の様々な考慮事項、又はそれらの任意の組合せについて、開発者によって随意に調整され得る。
【0315】
少なくとも1つの実施例では、1つ又は複数のCUDAソース・ファイルは、少なくとも部分的にDPC++互換性ツール3702を使用してDPC++ソース・ファイルにマイグレートされる。少なくとも1つの実施例では、CUDAソース・コードは、CUDAヘッダ・ファイルを含み得る1つ又は複数のヘッダ・ファイルを含む。少なくとも1つの実施例では、CUDAソース・ファイルは、<cuda.h>ヘッダ・ファイルと、テキストをプリントするために使用され得る<stdio.h>ヘッダ・ファイルとを含む。少なくとも1つの実施例では、ベクトル加算カーネルCUDAソース・ファイルの一部分は、以下のように書かれるか、又は以下に関係し得る。
【数2-1】

【数2-2】

【数2-3】
【0316】
少なくとも1つの実施例では、及び上記で提示されたCUDAソース・ファイルに関して、DPC++互換性ツール3702は、CUDAソース・コードを構文解析し、ヘッダ・ファイルを、適切なDPC++ヘッダ・ファイル及びSYCLヘッダ・ファイルと置き換える。少なくとも1つの実施例では、DPC++ヘッダ・ファイルは、ヘルパー宣言(helper declaration)を含む。CUDAでは、スレッドIDの概念があり、対応して、DPC++又はSYCLでは、各要素について、ローカル識別子がある。
【0317】
少なくとも1つの実施例では、及び上記で提示されたCUDAソース・ファイルに関して、初期化される2つのベクトルA及びBがあり、ベクトル加算結果が、VectorAddKernel()の一部として、ベクトルCに入れられる。少なくとも1つの実施例では、DPC++互換性ツール3702は、CUDAコードをDPC++コードにマイグレートすることの一部として、ワーク要素をインデックス付けするために使用されるCUDAスレッドIDを、ローカルIDを介したワーク要素のためのSYCL標準アドレッシングにコンバートする。少なくとも1つの実施例では、DPC++互換性ツール3702によって生成されたDPC++コードは、たとえば、nd_itemの次元を低減し、それにより、メモリ及び/又はプロセッサ利用率を増加させることによって、最適化され得る。
【0318】
少なくとも1つの実施例では、及び上記で提示されたCUDAソース・ファイルに関して、メモリ割振りがマイグレートされる。少なくとも1つの実施例では、cudaMalloc()は、プラットフォーム、デバイス、コンテキスト、及びキューなど、SYCL概念に依拠して、デバイス及びコンテキストが渡される、統一共有メモリSYCLコールmalloc_device()にマイグレートされる。少なくとも1つの実施例では、SYCLプラットフォームは、複数のデバイス(たとえば、ホスト及びGPUデバイス)を有することができ、デバイスは、ジョブがサブミットされ得る複数のキューを有し得、各デバイスは、コンテキストを有し得、コンテキストは、複数のデバイスを有し、共有メモリ・オブジェクトを管理し得る。
【0319】
少なくとも1つの実施例では、及び上記で提示されたCUDAソース・ファイルに関して、main()関数は、2つのベクトルAとBとを互いに加算し、結果をベクトルCに記憶するための、VectorAddKernel()を呼び出すか又はコールする。少なくとも1つの実施例では、VectorAddKernel()を呼び出すためのCUDAコードは、実行のためにカーネルをコマンド・キューにサブミットするためのDPC++コードによって置き換えられる。少なくとも1つの実施例では、コマンド・グループ・ハンドラcghは、キューにサブミットされる、データ、同期、及び算出を渡し、parallel_forは、VectorAddKernel()がコールされるワーク・グループ中の、グローバル要素の数及びワーク・アイテムの数についてコールされる。
【0320】
少なくとも1つの実施例では、及び上記で提示されたCUDAソース・ファイルに関して、デバイス・メモリをコピーし、次いで、ベクトルA、B、及びCのためのメモリを解放するためのCUDAコールが、対応するDPC++コールにマイグレートされる。少なくとも1つの実施例では、C++コード(たとえば、浮動小数点変数のベクトルをプリントするための標準ISO C++コード)は、DPC++互換性ツール3702によって修正されることなしに、そのままマイグレートされる。少なくとも1つの実施例では、DPC++互換性ツール3702は、加速デバイス上でカーネルを実行するために、メモリ・セットアップ及び/又はホスト・コールのためのCUDA APIを修正する。少なくとも1つの実施例では、及び上記で提示されたCUDAソース・ファイルに関して、(たとえば、コンパイルされ得る)対応する人間が読み取れるDPC++3704は、以下のように書かれるか、又は以下に関係する。
【数3-1】

【数3-2】

【数3-3】
【0321】
少なくとも1つの実施例では、人間が読み取れるDPC++3704は、DPC++互換性ツール3702によって生成された出力を指し、ある様式又は別の様式で最適化され得る。少なくとも1つの実施例では、DPC++互換性ツール3702によって生成された人間が読み取れるDPC++3704は、それをより維持可能にすること、性能、又は他の考慮事項のために、マイグレーションの後に開発者によって手動で編集され得る。少なくとも1つの実施例では、開示されるDPC++などのDPC++互換性ツール37002によって生成されたDPC++コードは、各malloc_device()コールのためのget_current_device()及び/又はget_default_context()への繰返しコールを削除することによって最適化され得る。少なくとも1つの実施例では、上記で生成されるDPC++コードは、3次元のnd_rangeを使用し、これは、単一次元のみを使用し、それにより、メモリ使用量を低減するために、再ファクタ化され得る。少なくとも1つの実施例では、開発者は、DPC++互換性ツール3702によって生成されたDPC++コードを手動で編集し、統一共有メモリの使用をアクセッサと置き換えることができる。少なくとも1つの実施例では、DPC++互換性ツール3702は、それがCUDAコードをDPC++コードにどのようにマイグレートするかを変更するためのオプションを有する。少なくとも1つの実施例では、DPC++互換性ツール3702は、それが、CUDAコードを、多数の場合について機能するDPC++コードにマイグレートするための一般的なテンプレートを使用しているので、冗長である。
【0322】
少なくとも1つの実施例では、CUDAからDPC++へのマイグレーション・ワークフローは、intercept-buildスクリプトを使用してマイグレーションの準備をするためのステップと、DPC++互換性ツール3702を使用してDPC++へのCUDAプロジェクトのマイグレーションを実施するためのステップと、完了及び正当性のために、マイグレートされたソース・ファイルを手動で検討及び編集するためのステップと、DPC++アプリケーションを生成するために最終DPC++コードをコンパイルするためのステップとを含む。少なくとも1つの実施例では、DPC++ソース・コードの手動の検討は、限定はしないが、マイグレートされたAPIがエラー・コードを返さないこと(CUDAコードは、エラー・コードを返すことができ、エラー・コードは、次いで、アプリケーションよって消費され得るが、SYCLは、エラーを報告するために例外を使用し、したがって、エラーを表面化させるためのエラー・コードを使用しない)、CUDAコンピュート能力依存論理がDPC++によってサポートされないこと、ステートメントが削除されないことがあることを含む、1つ又は複数のシナリオにおいて必要とされ得る。少なくとも1つの実施例では、DPC++コードが手動の介入を必要とするシナリオは、限定はしないが、エラー・コード論理が(*,0)コードと置き換えられるか又はコメント・アウトされる、等価なDPC++APIが利用可能でない、CUDAコンピュート能力依存論理、ハードウェア依存API(clock())、欠落した特徴、サポートされていないAPI、実行時間測定論理、組み込みベクトル・タイプ競合に対処すること、cuBLAS APIのマイグレーションなどを含み得る。
【0323】
少なくとも1つの実施例では、図37に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにAPIを実施するために利用される。少なくとも1つの実施例では、図37に図示された1つ又は複数のシステムは、不完全なグラフ・コードの1つ又は複数の部分を修正するためにAPIを実施するために利用される。少なくとも1つの実施例では、図37に図示された1つ又は複数のシステムは、図1図5に関して説明されたものなど、1つ又は複数のシステム及び/又はプロセスを実装するために利用される。
【0324】
少なくとも1つの実施例では、本明細書で説明される1つ又は複数の技法は、oneAPIプログラミング・モデルを利用する。少なくとも1つの実施例では、oneAPIプログラミング・モデルは、様々なコンピュート・アクセラレータ・アーキテクチャと対話するためのプログラミング・モデルを指す。少なくとも1つの実施例では、oneAPIは、様々なコンピュート・アクセラレータ・アーキテクチャと対話するように設計されたアプリケーション・プログラミング・インターフェース(API)を指す。少なくとも1つの実施例では、oneAPIプログラミング・モデルは、DPC++プログラミング言語を利用する。少なくとも1つの実施例では、DPC++プログラミング言語は、データ並列プログラミング生産性のための高水準言語を指す。少なくとも1つの実施例では、DPC++プログラミング言語は、C及び/又はC++プログラミング言語に少なくとも部分的に基づく。少なくとも1つの実施例では、oneAPIプログラミング・モデルは、カリフォルニア州サンタクララのIntel Corporationによって開発されたものなどのプログラミング・モデルである。
【0325】
少なくとも1つの実施例では、oneAPI及び/又はoneAPIプログラミング・モデルは、様々なアクセラレータ・アーキテクチャ、GPUアーキテクチャ、プロセッサ・アーキテクチャ、及び/又はそれらの変形形態のアーキテクチャと対話するために利用される。少なくとも1つの実施例では、oneAPIは、様々な機能性を実装するライブラリのセットを含む。少なくとも1つの実施例では、oneAPIは、少なくとも、oneAPI DPC++ライブラリ、oneAPIマス・カーネル・ライブラリ、oneAPIデータ分析ライブラリ、oneAPI深層ニューラル・ネットワーク・ライブラリ、oneAPI集合通信ライブラリ、oneAPIスレッディング・ビルディング・ブロック・ライブラリ、oneAPIビデオ処理ライブラリ、及び/又はそれらの変形形態を含む。
【0326】
少なくとも1つの実施例では、oneDPLとも呼ばれるoneAPI DPC++ライブラリは、DPC++カーネル・プログラミングを加速するためのアルゴリズム及び機能を実装するライブラリである。少なくとも1つの実施例では、oneDPLは、1つ又は複数の標準テンプレート・ライブラリ(STL:standard template library)機能を実装する。少なくとも1つの実施例では、oneDPLは、1つ又は複数の並列STL機能を実装する。少なくとも1つの実施例では、oneDPLは、並列アルゴリズム、イテレーター、関数オブジェクト・クラス、範囲ベースのAPI、及び/又はそれらの変形形態など、ライブラリ・クラス及び関数のセットを提供する。少なくとも1つの実施例では、oneDPLは、C++標準ライブラリの1つ又は複数のクラス及び/又は関数を実装する。少なくとも1つの実施例では、oneDPLは、1つ又は複数の乱数生成器関数を実装する。
【0327】
少なくとも1つの実施例では、oneMKLとも呼ばれるoneAPIマス・カーネル・ライブラリは、様々な数学関数及び/又は演算のための様々な最適化及び並列化されたルーチンを実装するライブラリである。少なくとも1つの実施例では、oneMKLは、1つ又は複数の基本線形代数サブプログラム(BLAS)及び/又は線形代数パッケージ(LAPACK:linear algebra package)高密度線形代数ルーチンを実装する。少なくとも1つの実施例では、oneMKLは、1つ又は複数のスパースBLAS線形代数ルーチンを実装する。少なくとも1つの実施例では、oneMKLは、1つ又は複数の乱数生成器(RNG:random number generator)を実装する。少なくとも1つの実施例では、oneMKLは、ベクトルに関する数学演算のための1つ又は複数のベクトル数学(VM:vector mathematics)ルーチンを実装する。少なくとも1つの実施例では、oneMKLは、1つ又は複数の高速フーリエ変換(FFT)関数を実装する。
【0328】
少なくとも1つの実施例では、oneDALとも呼ばれるoneAPIデータ分析ライブラリは、様々なデータ分析アプリケーション及び分散算出を実装するライブラリである。少なくとも1つの実施例では、oneDALは、バッチ、オンライン、及び算出の分散処理モードにおける、データ分析のための前処理、変換、分析、モデリング、確認、及び意思決定のための、様々なアルゴリズムを実装する。少なくとも1つの実施例では、oneDALは、様々なC++及び/又はJava APIと、1つ又は複数のデータ・ソースへの様々なコネクタとを実装する。少なくとも1つの実施例では、oneDALは、旧来のC++インターフェースに対するDPC++API拡張を実装し、様々なアルゴリズムのためのGPU使用を可能にする。
【0329】
少なくとも1つの実施例では、oneDNNとも呼ばれるoneAPI深層ニューラル・ネットワーク・ライブラリは、様々な深層学習機能を実装するライブラリである。少なくとも1つの実施例では、oneDNNは、様々なニューラル・ネットワーク、機械学習、及び深層学習機能、アルゴリズム、並びに/又はそれらの変形形態を実装する。
【0330】
少なくとも1つの実施例では、oneCCLとも呼ばれるoneAPI集合通信ライブラリは、深層学習及び機械学習ワークロードのための様々なアプリケーションを実装するライブラリである。少なくとも1つの実施例では、oneCCLは、メッセージ・パッシング・インターフェース(MPI:message passing interface)及びlibfabricなど、下位レベル通信ミドルウェア上に築かれる。少なくとも1つの実施例では、oneCCLは、優先順位、永続的な動作、アウト・オブ・オーダー実行、及び/又はそれらの変形形態など、深層学習固有の最適化のセットを可能にする。少なくとも1つの実施例では、oneCCLは、様々なCPU及びGPU機能を実装する。
【0331】
少なくとも1つの実施例では、oneTBBとも呼ばれるoneAPIスレッディング・ビルディング・ブロック・ライブラリは、様々なアプリケーションのための様々な並列化されたプロセスを実装するライブラリである。少なくとも1つの実施例では、oneTBBは、ホスト上でのタスク・ベース共有並列プログラミングのために利用される。少なくとも1つの実施例では、oneTBBは、一般並列アルゴリズムを実装する。少なくとも1つの実施例では、oneTBBは、同時コンテナを実装する。少なくとも1つの実施例では、oneTBBは、スケーラブル・メモリ・アロケータを実装する。少なくとも1つの実施例では、oneTBBは、ワークスティーリング(work-stealing)・タスク・スケジューラを実装する。少なくとも1つの実施例では、oneTBBは、低レベル同期プリミティブを実装する。少なくとも1つの実施例では、oneTBBは、コンパイラ依存せず、GPU、PPU、CPU、及び/又はそれらの変形形態など、様々なプロセッサ上で使用可能である。
【0332】
少なくとも1つの実施例では、oneVPLとも呼ばれるoneAPIビデオ処理ライブラリは、1つ又は複数のアプリケーションにおけるビデオ処理を加速するために利用されるライブラリである。少なくとも1つの実施例では、oneVPLは、様々なビデオ復号、符号化、及び処理機能を実装する。少なくとも1つの実施例では、oneVPLは、CPU、GPU、及び他のアクセラレータ上のメディア・パイプラインのための様々な機能を実装する。少なくとも1つの実施例では、oneVPLは、メディア中心及びビデオ分析ワークロードにおけるデバイス発見及び選択を実装する。少なくとも1つの実施例では、oneVPLは、ゼロコピー・バッファ共有のためのAPIプリミティブを実装する。
【0333】
少なくとも1つの実施例では、oneAPIプログラミング・モデルは、DPC++プログラミング言語を利用する。少なくとも1つの実施例では、DPC++プログラミング言語は、限定はしないが、デバイス・コードを定義し、デバイス・コードとホスト・コードとを区別するための、機能的に同様のバージョンのCUDA機構を含むプログラミング言語である。少なくとも1つの実施例では、DPC++プログラミング言語は、CUDAプログラミング言語の機能性のサブセットを含み得る。少なくとも1つの実施例では、1つ又は複数のCUDAプログラミング・モデル動作は、DPC++プログラミング言語を使用するoneAPIプログラミング・モデルを使用して実施される。
【0334】
本明細書で説明される例示的な実施例はCUDAプログラミング・モデルに関し得るが、本明細書で説明される技法は、任意の好適なプログラミング・モデル、そのようなHIP、oneAPI(たとえば、本明細書で開示される方法を実施又は実装するためにoneAPIベース・プログラミングを使用する)、及び/又はそれらの変形形態とともに利用され得ることに留意されたい。
【0335】
少なくとも1つの実施例では、上記で開示されたシステム及び/又はプロセッサの1つ又は複数の構成要素は、たとえば、画像をアップスケールするためのアップスケーラ又はアップサンプラ、画像を一緒にブレンド、ミックス、又は加算するための画像ブレンダ又は画像ブレンダ構成要素、(たとえば、DSPの一部として)画像をサンプリングするためのサンプラ、(たとえば、低解像度画像から高解像度画像に)画像をアップスケールするためのアップスケーラを実施するように構成されたニューラル・ネットワーク回路、或いは、画像、フレーム、又はビデオを、それの解像度、サイズ、又はピクセルを調整するために、修正又は生成するための他のハードウェアを含む、1つ又は複数のCPU、ASIC、GPU、FPGA、或いは他のハードウェア、回路要素、又は集積回路構成要素と通信することができ、上記で開示されたシステム及び/又はプロセッサの1つ又は複数の構成要素は、画像を生成又は修正する方法、動作、又は命令を実施するために、本開示で説明される構成要素を使用することができる。
【0336】
本開示の少なくとも1つの実施例は、以下の条項を考慮して説明され得る。
条項1.
不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにアプリケーション・プログラミング・インターフェース(API)を実施するための1つ又は複数の回路
を備える、プロセッサ。
条項2. 1つ又は複数の回路が、少なくとも、不完全なグラフ・コードに対応するハンドルを取得することによって、ロケーションを識別するためのものである、条項1に記載のプロセッサ。
条項3. 1つ又は複数の回路が、さらに、ロケーションに少なくとも部分的に基づいて不完全なグラフ・コードを修正するためのものである、条項1又は2に記載のプロセッサ。
条項4. 不完全なグラフ・コードが、1つ又は複数のプロセスを通して生成されているグラフ・コードである、条項1から3までのいずれか一項に記載のプロセッサ。
条項5. APIがランタイムAPIである、条項1から4までのいずれか一項に記載のプロセッサ。
条項6. 不完全なグラフ・コードが、1つ又は複数のグラフィックス処理ユニット(GPU)によって実行可能な1つ又は複数の動作を示す、条項1から5までのいずれか一項に記載のプロセッサ。
条項7.
不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにアプリケーション・プログラミング・インターフェース(API)を実施するための1つ又は複数のプロセッサを有する1つ又は複数のコンピュータ
を備える、システム。
条項8. 1つ又は複数のプロセッサが、さらに、ロケーションに少なくとも部分的に基づいて不完全なグラフ・コードに対して1つ又は複数の動作を実施するためのものである、条項7に記載のシステム。
条項9. 1つ又は複数のプロセッサが、さらに、不完全なグラフ・コードに関連するノードのセットへの参照を取得するためのものである、条項7又は8に記載のシステム。
条項10. 不完全なグラフ・コードが、1つ又は複数の動作と、1つ又は複数の動作の間の依存性とを示す、条項7から9までのいずれか一項に記載のシステム。
条項11. ロケーションがロケーションへの参照によって識別される、条項7から10までのいずれか一項に記載のシステム。
条項12. 不完全なグラフ・コードが、1つ又は複数の汎用グラフィックス処理ユニット(GPGPU)によって実行可能な動作のセットを符号化する、条項7から11までのいずれか一項に記載のシステム。
条項13. 1つ又は複数のプロセッサによって実施された場合、1つ又は複数のプロセッサに、少なくとも、
不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにアプリケーション・プログラミング・インターフェース(API)を実施すること
を行わせる命令のセットを記憶した、機械可読媒体。
条項14. 命令のセットが、1つ又は複数のプロセッサによって実施された場合、1つ又は複数のプロセッサに、
不完全なグラフ・コードに少なくとも部分的に基づいてグラフ・コードを取得することと、
グラフ・コードに基づいて1つ又は複数の動作を実施することと
を行わせる命令をさらに含む、条項13に記載の機械可読媒体。
条項15. 不完全なグラフ・コードが1つ又は複数のカーネルを符号化する、条項13又は14に記載の機械可読媒体。
条項16. 1つ又は複数の部分が、1つ又は複数の並列処理ユニット(PPU)によって実行可能な動作を符号化する、条項13から15までのいずれか一項に記載の機械可読媒体。
条項17. APIがドライバAPIである、条項13から16までのいずれか一項に記載の機械可読媒体。
条項18. 命令のセットが、1つ又は複数のプロセッサによって実施された場合、1つ又は複数のプロセッサに、ロケーションに少なくとも部分的に基づいて不完全なグラフ・コード中の動作のセットを符号化させる命令をさらに含む、条項13から17までのいずれか一項に記載の機械可読媒体。
条項19.
不完全なグラフ・コードの1つ又は複数の部分のロケーションを識別するためにアプリケーション・プログラミング・インターフェース(API)を実施するステップ
を含む、方法。
条項20. APIを実施するステップの結果としてステータス指示を取得するステップをさらに含む、条項19に記載の方法。
条項21. 1つ又は複数の部分が、1つ又は複数の動作に対応する1つ又は複数のグラフ・コード・ノードを含む、条項19又は20に記載の方法。
条項22. 不完全なグラフ・コードに関連するノードのセットのサイズを示す値を取得するステップをさらに含む、条項19から21までのいずれか一項に記載の方法。
条項23. ロケーションに少なくとも部分的に基づいて不完全なグラフ・コードに1つ又は複数のグラフ・コード・ノードを追加するステップをさらに含む、条項19から22までのいずれか一項に記載の方法。
条項24. 不完全なグラフ・コードが、1つ又は複数の中央処理ユニット(CPU)によって実行可能な動作を符号化する、条項19から23までのいずれか一項に記載の方法。
条項25.
不完全なグラフ・コードの1つ又は複数の部分を修正するためにアプリケーション・プログラミング・インターフェース(API)を実施するための1つ又は複数の回路
を備える、プロセッサ。
条項26. 1つ又は複数の回路が、少なくとも、不完全なグラフ・コードに関連する1つ又は複数の信頼性を修正することによって、1つ又は複数の部分を修正するためのものである、条項25に記載のプロセッサ。
条項27. 1つ又は複数の回路が、不完全なグラフ・コードに対応する識別子に少なくとも部分的に基づいて1つ又は複数の部分を修正するためのものである、条項25又は26に記載のプロセッサ。
条項28. 不完全なグラフ・コードが、1つ又は複数のグラフィックス処理ユニット(GPU)によって実行可能な1つ又は複数の動作を符号化する、条項25から27までのいずれか一項に記載のプロセッサ。
条項29. APIがランタイムAPIである、条項25から28までのいずれか一項に記載のプロセッサ。
条項30. 1つ又は複数の回路が、さらに、APIを実施した結果としてステータス指示を取得するためのものである、条項25から29までに記載のプロセッサ。
条項31.
不完全なグラフ・コードの1つ又は複数の部分を修正するためにアプリケーション・プログラミング・インターフェース(API)を実施するための1つ又は複数のプロセッサを有する1つ又は複数のコンピュータ
を備える、システム。
条項32. 1つ又は複数のプロセッサが、少なくとも、第1のグラフ・コード・ノードに、不完全なグラフ・コードに関連する第2のグラフ・コード・ノードに依存させることによって、1つ又は複数の部分を修正するためのものである、条項31に記載のシステム。
条項33. 1つ又は複数のプロセッサが、グラフ・コード・ノードのセットを示す1つ又は複数のパラメータ値に少なくとも部分的に基づいてAPIを実施するためのものである、条項31又は32に記載のシステム。
条項34. 不完全なグラフ・コードが、1つ又は複数の動作と、1つ又は複数の動作の間の依存性とを示す、条項31から33までのいずれか一項に記載のシステム。
条項35. 1つ又は複数のプロセッサが、1つ又は複数のデータ・タイプを示す1つ又は複数のパラメータ値に少なくとも部分的に基づいてAPIを実施するためのものである、条項31から34までのいずれか一項に記載のシステム。
条項36. 不完全なグラフ・コードが、1つ又は複数の汎用グラフィックス処理ユニット(GPGPU)によって実行可能な動作のセットを示す、条項31から35までのいずれか一項に記載のシステム。
条項37. 1つ又は複数のプロセッサによって実施された場合、1つ又は複数のプロセッサに、少なくとも、
不完全なグラフ・コードの1つ又は複数の部分を修正するためにアプリケーション・プログラミング・インターフェース(API)を実施すること
を行わせる命令のセットを記憶した、機械可読媒体。
条項38. 命令のセットが、1つ又は複数のプロセッサによって実施された場合、1つ又は複数のプロセッサに、1つ又は複数の部分に関連する依存性のセットを修正させる命令をさらに含む、条項37に記載の機械可読媒体。
条項39. 命令のセットが、1つ又は複数のプロセッサによって実施された場合、1つ又は複数のプロセッサに、APIに関連する1つ又は複数のパラメータ値によって示された1つ又は複数のフラグに少なくとも部分的に基づいてAPIを実施させる命令をさらに含む、条項37又は38に記載の機械可読媒体。
条項40. APIがドライバAPIである、条項37から39までのいずれか一項に記載の機械可読媒体。
条項41. 1つ又は複数の部分が1つ又は複数のメモリ割振り動作を示す、条項37から40までのいずれか一項に記載の機械可読媒体。
条項42. 不完全なグラフ・コードが、1つ又は複数の中央処理ユニット(CPU)によって実行可能な動作を符号化する、条項37から41までのいずれか一項に記載の機械可読媒体。
条項43.
不完全なグラフ・コードの1つ又は複数の部分を修正するためにアプリケーション・プログラミング・インターフェース(API)を実施するステップ
を含む、方法。
条項44. 少なくとも、不完全なグラフ・コードに対応するグラフ・コード・ノードのセットに関連する依存性を修正することによって、1つ又は複数の部分を修正するステップをさらに含む、条項43に記載の方法。
条項45. 不完全なグラフ・コードに関連する依存性のセットを置き換えるべきなのかそのセットに追加すべきなのかを示すフラグに少なくとも部分的に基づいてAPIを実施するステップをさらに含む、条項43又は44に記載の方法。
条項46. 不完全なグラフ・コードが、1つ又は複数のプロセスを通して生成されているグラフ・コードである、条項43から45までのいずれか一項に記載の方法。
条項47. APIを実施するステップの結果を示す1つ又は複数のステータス指示を取得するステップをさらに含む、条項43から46までのいずれか一項に記載の方法。
条項48. 不完全なグラフ・コードが、1つ又は複数の並列処理ユニット(PPU)によって実行可能な動作のセットを符号化する、条項43から47までのいずれか一項に記載の方法。
【0337】
他の変形形態は、本開示の範囲内にある。したがって、開示される技法は、様々な修正及び代替構築が可能であるが、それらのいくつかの例示的な実施例が図面に示され、上記で詳細に説明された。しかしながら、特定の1つ又は複数の開示された形態に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲において定義されるように、開示の趣旨及び範囲に入るすべての修正形態、代替構築、及び等価物を網羅することを意図していることが理解されるべきである。
【0338】
開示される実施例を説明する文脈において(特に、以下の特許請求の範囲の文脈において)「a」及び「an」及び「the」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「含む、備える(comprising)」、「有する(having)」、「含む(including)」、及び「含んでいる(containing)」という用語は、別段の記載のない限り、オープンエンドの用語(「限定はしないが、~を含む(including, but not limited to,)」を意味する)と解釈されるべきである。「接続される」という用語は、修飾されず、物理的接続を指しているとき、何か介在するものがある場合でも、部分的に又は完全に中に含まれているか、取り付けられるか、又は互いに接合されるものとして解釈されるべきである。本明細書で値の範囲を詳述することは、本明細書に別段の記載のない限り、及び各別個の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に入る各別個の値を個々に参照する簡潔な方法として働くことを単に意図しているにすぎない。「セット」(たとえば、「項目のセット」)又は「サブセット」という用語の使用は、文脈によって別段の記載がないか又は否定されない限り、1つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がないか又は否定されない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すとは限らず、サブセットと、対応するセットとは、等しくなり得る。
【0339】
「A、B、及びCのうちの少なくとも1つ」又は「A、B及びCのうちの少なくとも1つ」という形態の言い回しなどの結合語は、別段の具体的な記載がないか又はさもなければ文脈によって明確に否定されない限り、別様に、項目、用語などが、A又はB又はCのいずれか、或いはAとBとCとのセットの任意の空でないサブセットであり得ることを提示するために一般に使用される文脈で、理解される。たとえば、3つの部材を有するセットの説明的な実例では、「A、B、及びCのうちの少なくとも1つ」並びに「A、B及びCのうちの少なくとも1つ」という結合句は、次のセットのいずれかを指す:{A}、{B}、{C}、{A、B}、{A、C}、{B、C}、{A、B、C}。したがって、そのような結合語は、いくつかの実施例が、Aのうちの少なくとも1つ、Bのうちの少なくとも1つ、及びCのうちの少なくとも1つの各々が存在することを必要とすることを全体的に暗示するものではない。さらに、別段の記載がないか又は文脈によって否定されない限り、「複数(plurality)」という用語は、複数である状態を示す(たとえば、「複数の項目(a plurality of items)」は複数の項目(multiple items)を示す)。複数である項目の数は、少なくとも2つであるが、明示的に、又は文脈によってのいずれかでそのように示されているとき、それよりも多いことがある。さらに、別段の記載がないか又はさもなければ文脈から明らかでない限り、「~に基づいて」という言い回しは、「少なくとも部分的に~に基づいて」を意味し、「~のみに基づいて」を意味しない。
【0340】
本明細書で説明されるプロセスの動作は、本明細書に別段の記載がないか又はさもなければ文脈によって明確に否定されない限り、任意の好適な順序で実施され得る。少なくとも1つの実施例では、本明細書で説明されるプロセス(又はその変形形態及び/又は組合せ)などのプロセスは、実行可能命令で構成された1つ又は複数のコンピュータ・システムの制御下で実施され、1つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行するコード(たとえば、実行可能命令、1つ又は複数のコンピュータ・プログラム、又は1つ又は複数のアプリケーション)として実装される。少なくとも1つの実施例では、コードは、たとえば、1つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも1つの実施例では、コンピュータ可読記憶媒体は、一時的信号(たとえば、伝搬する一時的な電気又は電磁送信)を除外するが、一時的信号のトランシーバ内の非一時的データ・ストレージ回路要素(たとえば、バッファ、キャッシュ、及びキュー)を含む非一時的コンピュータ可読記憶媒体である。少なくとも1つの実施例では、コード(たとえば、実行可能コード又はソース・コード)は、1つ又は複数の非一時的コンピュータ可読記憶媒体のセットに記憶され、この記憶媒体は、コンピュータ・システムの1つ又は複数のプロセッサによって実行されたときに(たとえば、実行された結果として)、コンピュータ・システムに本明細書で説明される動作を実施させる実行可能命令を記憶している(又は、実行可能命令を記憶するための他のメモリを有する)。非一時的コンピュータ可読記憶媒体のセットは、少なくとも1つの実施例では、複数の非一時的コンピュータ可読記憶媒体を備え、複数の非一時的コンピュータ可読記憶媒体の個々の非一時的記憶媒体のうちの1つ又は複数は、コードのすべてがないが、複数の非一時的コンピュータ可読記憶媒体は、集合的にコードのすべてを記憶している。少なくとも1つの実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的コンピュータ可読記憶媒体は命令を記憶し、メイン中央処理ユニット(「CPU」)は命令のいくつかを実行し、グラフィックス処理ユニット(「GPU」)は他の命令を実行する。少なくとも1つの実施例では、コンピュータ・システムの異なる構成要素は、別個のプロセッサを有し、異なるプロセッサが命令の異なるサブセットを実行する。
【0341】
したがって、少なくとも1つの実施例では、コンピュータ・システムは、本明細書で説明されるプロセスの動作を単独で又は集合的に実施する1つ又は複数のサービスを実装するように構成され、そのようなコンピュータ・システムは、動作の実施を可能にする適用可能なハードウェア及び/又はソフトウェアで構成される。さらに、本開示の少なくとも1つの実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、分散型コンピュータ・システムが本明細書で説明される動作を実施するように、及び単一のデバイスがすべての動作を実施しないように、異なるやり方で動作する複数のデバイスを備える分散型コンピュータ・システムである。
【0342】
本明細書で提供されるあらゆる実例、又は例示的な言葉(たとえば、「など、などの(such as)」)の使用は、本開示の実施例をより明らかにすることのみを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。
【0343】
本明細書で引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。
【0344】
明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用され得る。これらの用語は、互いに同義語として意図されていないことがあることが理解されるべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、2つ又はそれ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用され得る。「結合される」はまた、2つ又はそれ以上の要素が直接互いに接触していないが、それでもなお互いに連動又は対話することを意味し得る。
【0345】
別段の具体的な記載がない限り、明細書全体を通して、「処理する(processing)」、「算出する(computing)」、「計算する(calculating)」、又は「決定する(determining)」などの用語は、コンピューティング・システムのレジスタ及び/又はメモリ内の、電子的などの物理的な量として表されるデータを、コンピューティング・システムのメモリ、レジスタ又は他のそのような情報ストレージ、送信、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるように操作及び/又は変換する、コンピュータ又はコンピューティング・システム、或いは同様の電子コンピューティング・デバイスのアクション及び/又はプロセスを指すことが諒解され得る。
【0346】
同様に、「プロセッサ」という用語は、レジスタ及び/又はメモリからの電子データを処理し、その電子データを、レジスタ及び/又はメモリに記憶され得る他の電子データに変換する任意のデバイス、又はデバイスの一部分を指し得る。非限定的な実例として、「プロセッサ」は、CPU又はGPUであり得る。「コンピューティング・プラットフォーム」は、1つ又は複数のプロセッサを備え得る。本明細書で使用される「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実施するソフトウェア及び/又はハードウェア・エンティティを含み得る。また、各プロセスは、命令を直列で又は並列で、連続的に又は断続的に行うための複数のプロセスを指し得る。「システム」及び「方法」という用語は、1つ又は複数の方法をシステムが具体化し得、方法がシステムと考えられ得る場合に限り、本明細書において交換可能に使用される。
【0347】
少なくとも1つの実施例では、算術論理ユニットは、結果を作り出すために1つ又は複数の入力をとる組合せ論理回路要素のセットである。少なくとも1つの実施例では、算術論理ユニットは、加算、減算、又は乗算などの数学演算を実装するためにプロセッサによって使用される。少なくとも1つの実施例では、算術論理ユニットは、論理AND/OR又はXORなどの論理演算を実装するために使用される。少なくとも1つの実施例では、算術論理ユニットは、ステートレスであり、論理ゲートを形成するように構成された半導体トランジスタなど、物理的切替え構成要素から作られる。少なくとも1つの実施例では、算術論理ユニットは、関連するクロックをもつステートフル論理回路として、内部で動作し得る。少なくとも1つの実施例では、算術論理ユニットは、関連するレジスタ・セット中で維持されない内部状態をもつ非同期論理回路として構築され得る。少なくとも1つの実施例では、算術論理ユニットは、プロセッサの1つ又は複数のレジスタに記憶されたオペランドを組み合わせ、別のレジスタ又はメモリ・ロケーションにプロセッサによって記憶され得る出力を作り出すために、プロセッサによって使用される。
【0348】
少なくとも1つの実施例では、プロセッサによって取り出された命令を処理した結果として、プロセッサは、1つ又は複数の入力又はオペランドを算術論理ユニットに提示し、算術論理ユニットに、算術論理ユニットの入力に提供された命令コードに少なくとも部分的に基づく結果を作り出させる。少なくとも1つの実施例では、プロセッサによってALUに提供された命令コードは、プロセッサによって実行された命令に少なくとも部分的に基づく。少なくとも1つの実施例では、ALUにおける組合せ論理は、入力を処理し、プロセッサ内のバス上に置かれる出力を作り出す。少なくとも1つの実施例では、プロセッサは、プロセッサをクロック制御することにより、ALUによって作り出された結果が所望のロケーションに送出されるように、宛先レジスタ、メモリ・ロケーション、出力デバイス、又は出力バス上の出力ストレージ・ロケーションを選択する。
【0349】
本明細書では、アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、或いはそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及し得る。アナログ・データ及びデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、関数コール、又はアプリケーション・プログラミング・インターフェースへのコールのパラメータとしてデータを受信することによってなど、様々なやり方で実現され得る。いくつかの実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、直列又は並列インターフェースを介してデータを転送することによって実現され得る。別の実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、提供するエンティティから獲得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現され得る。アナログ・データ又はデジタル・データを提供すること、出力すること、送信すること、送出すること、又は提示することにも言及し得る。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送出する、又は提示するプロセスは、関数コールの入力又は出力パラメータ、アプリケーション・プログラミング・インターフェース又はプロセス間通信機構のパラメータとしてデータを転送することによって実現され得る。
【0350】
上記の説明は、説明された技法の例示的な実装形態について述べているが、他のアーキテクチャが、説明された機能性を実装するために使用され得、本開示の範囲内にあることが意図される。さらに、説明を目的として、責任の具体的な分散が上記で定義されたが、様々な機能及び責任は、状況に応じて異なるやり方で分散及び分割され得る。
【0351】
さらに、主題は、構造的特徴及び/又は方法論的行為に特有の言語で説明されたが、添付の特許請求の範囲で特許請求される主題は、説明された特有の特徴又は行為に必ずしも限定されるとは限らないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15A
図15B
図16A
図16B
図17A
図17B
図17C
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33A
図33B
図33C
図34
図35
図36
図37
【国際調査報告】