特表 2024-511765 マルチアクセラレータ計算ディスパッチ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-15

(54)【発明の名称】マルチアクセラレータ計算ディスパッチ

(51)【国際特許分類】

   G06F 9/38 20180101AFI20240308BHJP

【ＦＩ】

G06F9/38 370C

G06F9/38 370A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023557715

(86)(22)【出願日】2022-03-08

(85)【翻訳文提出日】2023-10-19

(86)【国際出願番号】 US2022019396

(87)【国際公開番号】W WO2022211993

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】17/218,421

(32)【優先日】2021-03-31

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】591016172

【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド

【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】ミリンド エヌ． ネムレカール

(72)【発明者】

【氏名】マキシム ヴィー． カザコフ

(72)【発明者】

【氏名】プレリット ダック

【テーマコード（参考）】

5B013

【Ｆターム（参考）】

5B013DD01

5B013DD03

(57)【要約】

複数のチップレットによってコンピューティングワークを実行するための技術が提供される。本技術は、カーネルディスパッチパケットのワークグループをチップレットに割り当てることと、各チップレットが、チップレットに割り当てられたワークグループを実行することと、各チップレットが、チップレットに割り当てられたカーネルディスパッチパケットの全てのワークグループが完了すると、かかる完了を他のチップレットに通知することと、カーネルディスパッチパケットの全てのワークグループが完了すると、かかる完了をクライアントに通知し、後続のカーネルディスパッチパケットのワークグループの処理に進むことと、を含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

複数のチップレットによってコンピューティングワークを実行するための方法であって、
カーネルディスパッチパケットのワークグループを前記複数のチップレットに割り当てることと、
各チップレットが、チップレットに割り当てられたワークグループを実行することと、
各チップレットが、前記カーネルディスパッチパケットのワークグループのうちチップレットに割り当てられた全てのワークグループを完了すると、かかる完了を他のチップレットに通知することと、
前記複数のチップレットのうち何れかのチップレットが、前記カーネルディスパッチパケットの全てのワークグループが完了すると、かかる完了をクライアントに通知し、後続のカーネルディスパッチパケットに進むことと、を含む、
方法。

【請求項2】

各チップレットには、前記カーネルディスパッチパケットのワークグループの異なる相互排他的なセットが割り当てられる、
請求項１の方法。

【請求項3】

各チップレットに割り当てられるワークグループは、予め指定された方法で割り当てられる、
請求項１の方法。

【請求項4】

前記かかる完了を他のチップレットに通知することは、カウンタをブロードキャストすることを含む、
請求項１の方法。

【請求項5】

前記カウンタは、ハードウェアコマンドキューを通過する進捗の指標である、
請求項４の方法。

【請求項6】

前記クライアントに通知することは、通知機能チップレットとして指定された前記複数のチップレットのうち何れかのチップレットによって実行される、
請求項１の方法。

【請求項7】

前記カーネルディスパッチパケット及び前記後続のカーネルディスパッチパケットは、前記複数のチップレットの各々のハードウェアコマンドキューに記憶される、
請求項１の方法。

【請求項8】

前記カーネルディスパッチパケットのワークグループを前記複数のチップレットに割り当てること、及び、前記かかる完了を他のチップレットに通知することは、前記複数のチップレットの各チップレットのコマンドプロセッサによって実行される、
請求項１の方法。

【請求項9】

前記複数のチップレットの各チップレットから通知を受信したと判定することによって、前記カーネルディスパッチパケットの全てのワークグループが完了したと判定することを更に含み、
前記通知は、チップレットが前記カーネルディスパッチパケットの全てのワークグループを完了したことを示す、
請求項１の方法。

【請求項10】

チップレットであって、
ワークグループを実行するように構成された計算ユニットと、
コマンドプロセッサと、を備え、
前記コマンドプロセッサは、
前記チップレットに割り当てられたカーネルディスパッチパケットのワークグループを識別することと、
前記チップレットに割り当てられた前記ワークグループを前記計算ユニットに実行させることと、
前記チップレットに割り当てられた前記カーネルディスパッチパケットの全てのワークグループが完了すると、かかる完了を複数のチップレットのうち他のチップレットに通知することと、
前記複数のチップレットの全てのチップレットに割り当てられた前記カーネルディスパッチパケットの全てのワークグループが完了すると、かかる完了をクライアントに通知し、後続のカーネルディスパッチパケットのワークグループの処理に進むことと、
を行うように構成されている、
チップレット。

【請求項11】

前記複数のチップレットの各チップレットには、前記カーネルディスパッチパケットのワークグループの異なる相互排他的なセットが割り当てられる、
請求項１０のチップレット。

【請求項12】

各チップレットに割り当てられるワークグループは、予め指定された方法で割り当てられる、
請求項１０のチップレット。

【請求項13】

前記かかる完了を他のチップレットに通知することは、カウンタをブロードキャストすることを含む、
請求項１０のチップレット。

【請求項14】

前記カウンタは、ハードウェアコマンドキューを通過する進捗の指標である、
請求項１３のチップレット。

【請求項15】

前記カーネルディスパッチパケット及び前記後続のカーネルディスパッチパケットを記憶するように構成されたハードウェアコマンドキューを更に備える、
請求項１０のチップレット。

【請求項16】

前記コマンドプロセッサは、前記複数のチップレットの各チップレットから通知を受信したと判定することによって、前記カーネルディスパッチパケットの全てのワークグループが完了したと判定するように更に構成されており、
前記通知は、チップレットが前記カーネルディスパッチパケットの全てのワークグループを完了したことを示す、
請求項１０のチップレット。

【請求項17】

デバイスであって、
複数のチップレットを備え、
前記複数のチップレットの各チップレットは、
ワークグループを実行するように構成された計算ユニットと、
コマンドプロセッサと、を含み、
前記コマンドプロセッサは、
前記チップレットに割り当てられたカーネルディスパッチパケットのワークグループを識別することと、
前記チップレットに割り当てられた前記ワークグループを前記計算ユニットに実行させることと、
前記チップレットに割り当てられた前記カーネルディスパッチパケットの全てのワークグループが完了すると、かかる完了を複数のチップレットのうち他のチップレットに通知することと、
を行うように構成されており、
前記複数のチップレットのうち何れかのチップレットは、前記複数のチップレットの全てのチップレットに割り当てられた前記カーネルディスパッチパケットの全てのワークグループが完了すると、かかる完了をクライアントに通知し、後続のカーネルディスパッチパケットのワークグループの処理に進むように構成されている、
デバイス。

【請求項18】

前記複数のチップレットの各チップレットには、前記カーネルディスパッチパケットのワークグループの異なる相互排他的なセットが割り当てられる、
請求項１７のデバイス。

【請求項19】

各チップレットに割り当てられるワークグループは、予め指定された方法で割り当てられる、
請求項１７のデバイス。

【請求項20】

前記かかる完了を他のチップレットに通知することは、カウンタをブロードキャストすることを含む、
請求項１７のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２１年３月３１日に出願された「ＭＵＬＴＩ－ＡＣＣＥＬＥＲＡＴＯＲ ＣＯＭＰＵＴＥ ＤＩＳＰＡＴＣＨ」と題する係属中の米国特許出願第１７／２１８，４２１号の利益を主張し、その全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

汎用計算シェーダは、高度に並列化可能なワークロードを実行するためにますます普及している方法である。汎用計算シェーダに対する改良が絶えず行われている。

【0003】

添付の図面と共に例として与えられる以下の説明から、より詳細な理解を得ることができる。

【図面の簡単な説明】

【0004】

【図1】本開示の１つ以上の特徴を実装することができる例示的なデバイスのブロック図である。

【図2】追加の詳細を示す図１のデバイスのブロック図である。

【図3】一例による、複数のチップレットによるコマンドキューのコマンドの実行を示す加速処理デバイスの態様のブロック図である。

【図4】チップレットにわたってカーネルを協調的に実行するための動作の例示的なセットを示すブロック図である。

【図5】一例による、複数のチップレットにわたってカーネルを実行する方法のフロー図である。

【発明を実施するための形態】

【0005】

複数のチップレットによってコンピューティングワークを実行するための技術が提供される。本技術は、カーネルディスパッチパケット（kernel dispatch packet）のワークグループをチップレットに割り当てること、各チップレットによって、そのチップレットに割り当てられたワークグループを実行すること、チップレットごとに、カーネルディスパッチパケットの、そのチップレットに割り当てられた全てのワークグループが完了すると、かかる完了を他のチップレットに通知すること、及び、カーネルディスパッチパケットの全てのワークグループが完了すると、かかる完了をクライアントに通知し、後続のカーネルディスパッチパケットのワークグループの処理に進むことを含む。

【0006】

図１は、本開示の１つ以上の特徴を実装することができる例示的なデバイス１００のブロック図である。デバイス１００は、例えば、コンピュータ、ゲームデバイス、ハンドヘルドデバイス、セットトップボックス、テレビ、携帯電話、又は、タブレットコンピュータを含み得る。デバイス１００は、プロセッサ１０２、メモリ１０４、記憶装置１０６、１つ以上の入力デバイス１０８、及び、１つ以上の出力デバイス１１０を含む。また、デバイス１００は、オプションで、入力ドライバ１１２及び出力ドライバ１１４を含み得る。デバイス１００は、図１に示されていない追加の構成要素を含むことができることを理解されたい。

【0007】

様々な代替例では、プロセッサ１０２は、中央処理ユニット（central processing unit、ＣＰＵ）、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）、同じダイ上に位置するＣＰＵ及びＧＰＵ、又は、１つ以上のプロセッサコアを含み、各プロセッサコアは、ＣＰＵ又はＧＰＵとすることができる。様々な代替例では、メモリ１０４は、プロセッサ１０２と同じダイ上に位置するか、又は、プロセッサ１０２とは別に位置する。メモリ１０４は、揮発性又は不揮発性メモリ（例えば、ランダムアクセスメモリ（random access memory、ＲＡＭ）、ダイナミックＲＡＭ、キャッシュ）を含む。

【0008】

記憶装置１０６は、固定又はリムーバブル記憶装置（例えば、ハードディスクドライブ、ソリッドステートドライブ、光ディスク、フラッシュドライブ）を含む。入力デバイス１０８は、キーボード、キーパッド、タッチスクリーン、タッチパッド、検出器、マイクロフォン、加速度計、ジャイロスコープ、生体認証スキャナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２シグナルの送信及び／又は受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。出力デバイス１１０は、ディスプレイ、スピーカ、プリンタ、触覚フィードバックデバイス、１つ以上の光、アンテナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２シグナルの送信及び／又は受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。

【0009】

入力ドライバ１１２は、プロセッサ１０２及び入力デバイス１０８と通信し、プロセッサ１０２が入力デバイス１０８から入力を受信できるようにする。出力ドライバ１１４は、プロセッサ１０２及び出力デバイス１１０と通信し、プロセッサ１０２が出力デバイス１１０に出力を送信できるようにする。入力ドライバ１１２及び出力ドライバ１１４は、オプションの構成要素であること、並びに、デバイス１００は、入力ドライバ１１２及び出力ドライバ１１４が存在しない場合に、同じ方式で動作することに留意されたい。出力ドライバ１１４は、ディスプレイデバイス１１８に連結された加速処理デバイス（accelerated processing device、ＡＰＤ）１１６を含む。ＡＰＤは、プロセッサ１０２から計算コマンド、及び、いくつかの実施形態ではグラフィックスレンダリングコマンドを受け入れて、それらのコマンドを処理し、表示のためにピクセル出力をディスプレイデバイス１１８に提供する。以下で更に詳細に説明するように、ＡＰＤ１１６は、単一命令複数データ（single-instruction-multiple-data、ＳＩＭＤ）パラダイムに従って計算を行う１つ以上の並列処理ユニットを含む。こうして、様々な機能は、本明細書では、ＡＰＤ１１６によって又はＡＰＤ１１６と併せて行われるものとして説明されているが、様々な代替例では、ＡＰＤ１１６によって行われるものとして説明される機能は、追加的又は代替的に、ホストプロセッサ（例えば、プロセッサ１０２）によってドライブされない同様の能力を有する他のコンピューティングデバイスによって行われ、ディスプレイデバイス１１８にグラフィック出力を提供する。例えば、ＳＩＭＤパラダイムに従って処理タスクを行う任意の処理システムが、本明細書に説明される機能を行い得ることが企図される。代替的に、ＳＩＭＤパラダイムに従って処理タスクを行わないコンピューティングシステムが、本明細書に説明される機能を行うことが企図される。

【0010】

図２は、ＡＰＤ１１６上の処理タスクの実行に関する追加の詳細を示すデバイス１００のブロック図である。プロセッサ１０２は、システムメモリ１０４内で、プロセッサ１０２による実行のための１つ以上の制御論理モジュールを維持する。制御論理モジュールは、オペレーティングシステム１２０、ドライバ１２２及びアプリケーション１２６を含む。これらの制御論理モジュールは、プロセッサ１０２及びＡＰＤ１１６の動作の様々な特徴を制御する。例えば、オペレーティングシステム１２０は、ハードウェアと直接通信し、プロセッサ１０２上で実行される他のソフトウェアのためのハードウェアへのインターフェースを提供する。ドライバ１２２は、例えば、プロセッサ１０２上で実行されるソフトウェア（例えば、アプリケーション１２６）にアプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）を提供して、ＡＰＤ１１６の様々な機能にアクセスすることによって、ＡＰＤ１１６の操作を制御する。また、ドライバ１２２は、ＡＰＤ１１６の処理構成要素（以下で更に詳細に説明されるＳＩＭＤユニット１３８等）によって実行するためのプログラムをコンパイルするジャストインタイムコンパイラを含む。

【0011】

ＡＰＤ１１６は、並列処理に適し得るグラフィック動作及び非グラフィック動作等の選択された機能のためのコマンド及びプログラムを実行する。ＡＰＤ１１６は、プロセッサ１０２から受信したコマンドに基づいて、ピクセル動作、幾何学計算及びディスプレイデバイス１１８への画像のレンダリング等のグラフィックスパイプライン動作を実行するために使用することができる。また、ＡＰＤ１１６は、プロセッサ１０２から受信したコマンドに基づいて、ビデオ、物理シミュレーション、計算流体力学又は他のタスクに関連する動作等のように、グラフィックス動作に直接関連しない計算処理動作を実行する。

【0012】

ＡＰＤ１１６は、複数のチップレット２０１を含む。各チップレット２０１は、図示されるような処理ハードウェアのインスタンスである。いくつかの実施形態では、ＡＰＤ１１６は、複数のチップレット２０１が存在する処理デバイスである。

【0013】

各チップレット２０１は、プロセッサ１０２の要求で、ＳＩＭＤパラダイムに従って並列の方式で動作を行う１つ以上のＳＩＭＤユニット１３８を含む１つ以上の計算ユニット１３２を含む。ＳＩＭＤパラダイムは、複数の処理要素が単一のプログラム制御フローユニット及びプログラムカウンタを共有し、したがって同じプログラムを実行するが、そのプログラムを異なるデータで実行することができるものである。一例では、各ＳＩＭＤユニット１３８は、１６個のレーンを含み、各レーンは、ＳＩＭＤユニット１３８内の他のレーンと同時に同じ命令を実行するが、その命令を異なるデータで実行することができる。レーンは、全てのレーンが所定の命令を実行する必要がない場合、予測でオフに切り替えることができる。また、予測は、分岐制御フローを有するプログラムを実行するために使用することができる。より具体的には、制御フローが個々のレーンによって行われる計算に基づいている条件付き分岐又は他の命令を有するプログラムについては、現在実行されていない制御フローパスに対応するレーンの予測及び異なる制御フローパスのシリアル実行が、任意の制御フローを可能にする。

【0014】

計算ユニット１３２内の実行の基本的単位は、ワークアイテムである。各ワークアイテムは、特定のレーンにおいて並列で実行されるプログラムの単一のインスタンス化を表す。ワークアイテムは、単一のＳＩＭＤユニット１３８上の「ウェーブフロント（wavefront）」として同時に実行することができる。１つ以上のウェーブフロントが「ワークグループ」に含まれ、これは、同じプログラムを実行するように指定されたワークアイテムの集合体を含む。ワークグループは、ワークグループを構成するウェーブフロントの各々を実行することによって実行することができる。代替例では、ウェーブフロントは、単一のＳＩＭＤユニット１３８上で連続して、又は、異なるＳＩＭＤユニット１３８上で部分的に若しくは完全に並列で実行される。ウェーブフロントは、単一のＳＩＭＤユニット１３８上で同時に実行することができるワークアイテムの最大集合体と考えることができる。したがって、プロセッサ１０２から受信されたコマンドが、特定のプログラムを単一のＳＩＭＤユニット１３８上で同時に実行させることができない程度にプログラムが並列化されることを示す場合、そのプログラムは、２つ以上のＳＩＭＤユニット１３８上に並列化されるか、又は、同じＳＩＭＤユニット１３８上で直列化される（又は必要に応じて並列化及び直列化の両方が行われる）ウェーブフロントに分けられる。コマンドプロセッサ１３６は、異なる計算ユニット１３２及びＳＩＭＤユニット１３８上の様々なワークグループのスケジューリングに関連する動作を行う。概して、コマンドプロセッサ１３６は、プロセッサ１０２等のエンティティからコマンドを受信し、コマンドは、グラフィックスレンダリング、汎用シェーダの実行等のタスクを実行するようにチップレット２０１に命令する。

【0015】

計算ユニット１３２によって与えられる並列処理は、ピクセル値計算、頂点変換及び他のグラフィック動作等のグラフィック関連動作に好適である。したがって、場合によっては、プロセッサ１０２からのグラフィックス処理コマンドを受け入れるグラフィックス処理パイプライン１３４は、並列で実行するために計算タスクを計算ユニット１３２に提供する。

【0016】

また、計算ユニット１３２は、グラフィックに関連しないか又はグラフィックス処理パイプライン１３４の「通常の」動作の一部（例えば、グラフィックス処理パイプライン１３４の動作に対して行われる処理を補足するために行われるカスタム動作）として行われない計算タスクを行うために使用される。プロセッサ１０２上で実行されるアプリケーション１２６又は他のソフトウェアは、そのような計算タスクを定義するプログラムを、実行のためにＡＰＤ１１６に送信する。

【0017】

ＡＰＤ１１６は、グラフィックス動作を実行することができるグラフィックス処理パイプライン１３４を含むものとして説明されてきたが、本開示は、ＡＰＤ１１６がグラフィックス処理パイプライン１３４を含まない実施形態を企図する。そのような実施形態では、ＡＰＤ１１６は、少なくとも計算ユニット１３２及びコマンドプロセッサ１３６を含む。コマンドプロセッサ１３６は、汎用コンピューティングシェーダプログラムを実行するように計算ユニット１３２に命令するが、グラフィックス処理パイプラインを通して処理を制御しない。

【0018】

各チップレット２０１は、プロセッサ１０２等のホストからのコマンド（「パケット」と呼ばれることもある）を記憶する１つ以上のハードウェアコマンドキュー１３７を含む。一例において、プロセッサ１０２は、ソフトウェアコマンドキュー（図示せず）にコマンドを書き込み、これらのコマンドが書き込まれたことをＡＰＤ１１６に示す。この指標に応じて、ＡＰＤ１１６は、コマンドを１つ以上のハードウェアコマンドキュー１３７にロードし、それらのコマンドを実行する。

【0019】

いくつかのコマンドは、計算シェーダを実行するための命令を含む。計算シェーダは、１つ以上の計算ユニット１３２上で実行する汎用シェーダプログラムである。計算シェーダは、本明細書では「カーネル（kernel）」、「計算カーネル（compute kernel）」、又は、「計算シェーダカーネル（compute shader kernel）」と呼ばれることがある。計算シェーダカーネルを実行するためのコマンドは、本明細書では「カーネルパケット（kernel packet）」又は「計算シェーダパケット（compute shader packet）」と呼ばれることがある。カーネルパケットに応じた計算シェーダプログラムの実行は、本明細書では「計算シェーダディスパッチ（compute shader dispatch）」又は「カーネルディスパッチ（kernel dispatch）」と呼ばれることがある。

【0020】

計算シェーダパケットは、カーネルディスパッチの「サイズ」を指定する。サイズは、カーネルディスパッチのワークアイテムの番号を指す。いくつかの例では、計算シェーダパケットは、カーネルディスパッチに対するワークグループの番号を示すが、他の例では、計算シェーダパケット以外の情報は、カーネルディスパッチに対するワークグループの番号を示す。カーネルディスパッチの実行は、カーネルディスパッチに対するワークアイテム（したがってワークグループ）の全てを実行することを含む。

【0021】

ＡＰＤ１１６は、ハードウェアコマンドキュー１３７のコマンドを順番に実行する。したがって、ＡＰＤ１１６は、第１のコマンドを実行し、次いで第２のコマンドを実行し、以下同様である。チップレット２０１の各々は、特定のソフトウェアコマンドキューの同じコマンドの少なくともいくつかをトラバースする。より具体的には、任意の特定のソフトウェアコマンドキューについて、そのソフトウェアコマンドキューのコマンドを実行するように共に協働するチップレット２０１の各々は、チップレット２０１の異なるハードウェアコマンドキュー１３７にコマンドを配置する。チップレット２０１は、ハードウェアコマンドキュー１３７のコマンドを実行するように協働する。より具体的には、チップレット２０１は、実行のためにカーネルパケットのワークグループを分割する。各チップレット２０１は、そのチップレット２０１に割り当てられたワークグループを実行するが、他のチップレット２０１に割り当てられたワークグループは実行しない。チップレット２０１は、そのチップレット２０１に割り当てられたそのパケットに対する全てのワークグループを完了すると、特定のカーネルパケットで「完了」したと見なされる。

【0022】

図３は、一例による、複数のチップレット２０１によるコマンドキューのコマンドの実行を示すＡＰＤ１１６の態様のブロック図である。ハードウェアコマンドキュー１３７が示されている。ハードウェアコマンドキュー１３７は、実行のためにカーネルディスパッチパケット３０２を記憶する。本明細書の他の箇所で説明されるように、複数のチップレット２０１は、単一のソフトウェアキューをそれらのそれぞれのハードウェアコマンドキュー１３７に「ミラーリング」する（同じコンテンツを記憶する）。したがって、これらの異なるチップレット２０１は、同じカーネルディスパッチパケット３０２をそれぞれのハードウェアコマンドキュー１３７に記憶する。

【0023】

チップレット２０１は、チップレット２０１間でワークグループを分割することによって、カーネルディスパッチパケット３０２を実行するように協働する。より具体的には、特定のカーネルディスパッチパケット３０２が実行されるべきであると判定すると、複数のチップレット２０１内のコマンドプロセッサ１３６は、何れのワークグループ３０６が実行のために異なるチップレット２０１に割り当てられるべきかを判定する。次いで、異なるチップレット２０１は、それらのチップレットに割り当てられたワークグループ３０６を実行する。任意の特定のチップレット２０１について、カーネルディスパッチは、そのカーネルディスパッチからそのチップレット２０１に割り当てられた全てのワークグループ３０６がそのチップレット２０１によって完了された場合に完了する。ＡＰＤ１１６の場合、カーネルディスパッチは、そのカーネルディスパッチに対する全てのワークグループ３０６が完了した場合に完了し、これは、ワークグループ３０６が割り当てられた全てのチップレット２０１が、それらの割り当てられたワークグループの実行を完了した場合でもある。

【0024】

このようにして、カーネルディスパッチのワークを異なるチップレット２０１に分割することにより、プログラマ（プロセッサ１０２上で実行するためのソフトウェアを書き込むプログラマ等）がこのスケーリングについて知ること、又は、このスケーリングに対処することを必要とせずに、ワークグループの実行に充てられる処理リソースを容易にスケーリングすることが可能になる。より具体的には、本明細書の他の場所で説明されるように、プロセッサ１０２（又は別のプロセッサ）上で実行するソフトウェアは、カーネルディスパッチパケット３０２をソフトウェアキューに入れ、そのようなカーネルディスパッチパケット３０２が実行の準備ができていることをＡＰＤ１１６に（例えば、ドライバ１２２を通して）通知する。チップレット２０１自体が各カーネルディスパッチパケット３０２のワークグループを分割するので、ソフトウェアは、単一のアクタのみ、すなわち、ＡＰＤ１１６がソフトウェアコマンドキューのカーネルディスパッチパケット３０２を処理しているかのように書き込むことができる。

【0025】

チップレット２０１は、任意の技術的に妥当な様式でワークグループ３０６を分割することができる。一例では、チップレット２０１の各々は、特定のワークグループ番号を実行するように事前に構成されている。別の例では、チップレット２０１は、ラウンドロビン様式でワークグループを割り当てるように構成されている。別の例では、チップレット２０１は、ワークグループ番号によって隣接する複数のワークグループのセット内のワークグループを割り当てるように構成されている。カーネルディスパッチのワークグループ３０６は、本明細書でワークグループ番号とも呼ばれるワークグループ識別子を有することを理解されたい。他の例では、ワークグループ３０６をチップレット２０１間で分割するための任意の他の技術的に実現可能な様式が可能である。

【0026】

図３に示す例では、カーネルディスパッチ３０３（カーネルディスパッチパケット３０２の実行を表す）は、いくつかのワークグループ３０６を含む。ワークグループ３０６がチップレット２０１間で分割されるこれらの様式は、ワークグループセット３０４と共に示される。３つのそのようなワークグループセット３０４がある。ワークグループセット１ ３０４（１）は、ワークグループ３０６（１）～３０６（Ｎ）を含む。ワークグループセット２ ３０４（２）は、ワークグループ３０６（Ｎ＋１）～３０６（２Ｎ）を含む。ワークグループセット３ ３０４（３）は、ワークグループ３０６（２Ｎ＋１）～３０６（３Ｎ）を含む。ワークグループセット１ ３０４（１）は、チップレット１ ２０１（１）に割り当てられる。ワークグループセット２ ３０４（２）は、チップレット２ ２０１（２）に割り当てられる。ワークグループセット３ ３０４（３）は、チップレット３ ２０１（３）に割り当てられる。特定の方法で（例えば、チップレット２０１間で等しく）分割されて示されているが、カーネルディスパッチ３０２のワークグループ３０６を分割する任意の様式が本開示の範囲内にあることを理解されたい。

【0027】

説明したように、ＡＰＤ１１６のチップレット２０１は、カーネルディスパッチパケット３０２の複数のワークグループ３０６を実行するように協働する。カーネルディスパッチパケット３０２が完了すると、ＡＰＤ１１６は、カーネルディスパッチパケット３０２の実行を要求したエンティティ（「クライアント」、例えば、プロセッサ１０２）に対して、カーネルディスパッチパケット３０２が実行を完了したことを通知する。いくつかの例では、この通知を実行するために、単一のチップレット２０１がクライアント通知機能２０１として指定される。各チップレット２０１は、そのチップレットに割り当てられたワークグループ３０６がいつ完了したかをクライアント通知機能チップレットに通知する。クライアント通知機能チップレット２０１が、全てのワークグループ３０６が実行を完了したと判定した場合、クライアント通知機能チップレット２０１は、カーネルディスパッチパケット３０２が完了したことをクライアントに通知する。

【0028】

いくつかの例では、チップレット２０１は、ハードウェアコマンドキュー１３７内のカーネルディスパッチパケット３０２の実行を同期させる。一例では、この同期は以下のように行われる。チップレット２０１がカーネルディスパッチパケット３０２に対する全てのワークグループ３０６の実行を完了すると、チップレット２０１は、同期に参加している他の全てのチップレット２０１にこの完了を通知する。いくつかの例では、同期に参加している全てのチップレットが、同期に参加している他の全てのチップレットから、そのような全てのチップレット２０１が現在のカーネルディスパッチパケット３０２に対するワークグループ３０６の実行を完了したという指標を受信するまで、後続のカーネルディスパッチパケット３０２に進むチップレット２０１が存在しない。いくつかの実施形態において、いくつかのチップレット２０１は、他のチップレット２０１のワークグループ３０６が完了したという通知を他のチップレット２０１から受信することなく、「現在の」カーネルディスパッチパケット３０２を過ぎて進むことが許可される。いくつかのそのような実施形態では、少なくともいくつかのチップレット２０１は、後続のカーネルディスパッチパケット３０２に進む前に、他の全てのチップレット２０１が特定のカーネルディスパッチパケット３０２の全てのワークグループ３０６を完了するのを待機する。

【0029】

いくつかの例では、上述した同期は、カウンタ機構を用いて行われる。カウンタ機構によれば、各チップレット２０１はカウンタを維持する。チップレット２０１のグループが新しいソフトウェアコマンドキューの処理を開始すると、チップレット２０１のグループはこのカウンタをリセットする。チップレット２０１がカーネルディスパッチパケット３０２の処理を完了する毎に、チップレット２０１は、それ自体のカウンタをインクリメントし、新しい値を他の各チップレット２０１にブロードキャストする。動作を同期させるために、チップレットがカーネルディスパッチパケット３０２の処理を完了すると、チップレット２０１は、他の全てのチップレット２０１から受信したカウンタ値がそのチップレット２０１のカウンタ値に少なくとも等しくなるまで待機する。これが行われると、チップレット２０１は、後続のカーネルディスパッチパケット３０２に進む。

【0030】

カウンタが使用される実施形態では、通知機能チップレット２０１は、カーネルディスパッチパケット３０２の処理に参加している他の全てのチップレット２０１からカーネルディスパッチパケット３０２に対応するカウンタ値を受信すると、カーネルディスパッチパケット３０２の完了をクライアントに通知する。

【0031】

単一のＡＰＤ１１６が、異なるクライアント又は異なるソフトウェアコマンドキューにサービスを提供するために複数のグループにグループ化されるいくつかのチップレット２０１を含むことが可能である。そのようなチップレット２０１の各グループは、クライアントには単一のＡＰＤ１１６として「見える」。言い換えれば、チップレット２０１のそのような各グループは、本明細書の他の箇所で説明される、ワークグループを異なるチップレット２０１間で分配する技術を使用して、ソフトウェアコマンドキューのコンテンツを実行するように共に調整する。したがって、複数のチップレット２０１を含む単一のデバイスは、多くの異なるクライアントにサービスを提供することができる。加えて、各々が１つ以上のチップレット２０１を含む複数のデバイスを組み合わせて、本明細書で説明される技術を利用して１つ以上のソフトウェアコマンドキューのコンテンツを実行することが可能である。したがって、そのようなダイの組み合わせは、それらのダイのチップレット２０１を任意の組み合わせでグループ化することによって、１つ以上の異なるクライアントにサービスを提供することができる。様々な例において、オペレーティングシステム又はハイパーバイザ等の任意の技術的に実現可能なエンティティは、チップレット２０１をグループに割り当て、グループをクライアントに割り当てるエンティティである。

【0032】

いくつかの例では、各チップレット２０１は、複数のハードウェアコマンドキュー１３７を有する。各ハードウェアコマンドキュー１３７は、識別番号によって識別される。いくつかのそのような例では、グループの一部である各チップレット２０１は、所定のソフトウェアコマンドキューを、同じ識別番号を有するハードウェアコマンドキュー１３７に割り当てる。これにより、同期に関する通信に必要なデータが簡略化される。より具体的には、本明細書の他の場所で説明されるように、同期は、特定のカーネルディスパッチパケット３０２の実行を完了すると通信するグループの一部であるチップレット２０１を伴う。ソフトウェアコマンドキューを同じハードウェアコマンドキュー番号に割り当てることによって、通信は、かかる完了に関して通信する場合にソフトウェアコマンドキュー識別子を明示的に示す必要がない。ハードウェアコマンドキューの指標は、同期通信が何れのソフトウェアコマンドキューに対するものであるかを暗示的に示す。したがって、いくつかの実施形態では、チップレット２０１は、カーネルディスパッチパケット３０２の完了の指標と共にハードウェアコマンドキュー１３７の番号を通信する。

【0033】

図４は、チップレット２０１にわたってカーネルを協調的に実行するための動作の例示的なセットを示すブロック図である。動作は、カーネルディスパッチパケット３０２（１）～３０２（Ｎ）を有するハードウェアコマンドキュー１３７から始まる。このハードウェアコマンドキュー１３７は、異なるチップレット２０１（すなわち、チップレット２０１（１）、２０１（２）、２０１（３））のハードウェアコマンドキューのコンテンツを表すことを理解されたい。しかしながら、異なるチップレット２０１が、任意の所定の時点において必ずしも同一のコンテンツを記憶していない可能性があることも理解されたい。例えば、異なるチップレット２０１が異なるサイズのハードウェアコマンドキュー１３７を有すること、又は、任意の所定の時点でハードウェアコマンドキュー１３７を「バック」するソフトウェアコマンドキューの異なる部分を記憶することが可能である。しかしながら、図４は、同じソフトウェアコマンドキューのコンテンツを実行するための協働を示すことを理解されたい。

【0034】

図４に示された動作は、ハードウェアコマンドキュー１３７が図示したようにカーネルディスパッチパケット３０２を記憶することから始まる。プロセッサ１０２は、これらのカーネルディスパッチパケット３０２を対応するソフトウェアコマンドキューに既に書き込んでおり、これにより、チップレット２０１は、図示されたカーネルディスパッチパケット３０２をそれらのそれぞれのハードウェアコマンドキュー１３７にロードしていることを理解されたい。図示されたハードウェアコマンドキュー１３７は、チップレット２０１の各々のハードウェアコマンドキュー１３７のコンテンツを表すことも理解されたいが、動作中、異なるそのようなハードウェアコマンドキュー１３７のコンテンツは異なってもよいことを理解されたい。加えて、図４は、一連の時点を示す。これらの時点は、ワークの漸進的な処理を示す。

【0035】

カーネルディスパッチパケット３０２（１）は、ワークグループ１～９を含む。これらのワークグループ３０６は、以下のようにチップレット２０１に割り当てられる。チップレット２０１（１）にワークグループ１～３が割り当てられ、チップレット２０１（２）にワークグループ４～６が割り当てられ、チップレット２０１（３）にワークグループ７～９が割り当てられる。時間１の前に、チップレット２０１は、カーネルディスパッチパケット３０２（１）のワークグループを処理する。時間１において、チップレット１ ２０１（１）は、ワークグループ３０６（１）及び３０６（２）を処理しており、チップレット２０１（２）は、何れのワークグループも処理しておらず、チップレット２０１（３）は、ワークグループ７ ３０６（７）を処理している。この時点で、カーネルディスパッチパケット３０２（１）からのワークグループ３０６の割り当て全体を完了したチップレット２０１は存在しない。

【0036】

時間２において、チップレット２０１（２）は、ワークグループ４ ３０６（４）、ワークグループ５ ３０６（５）及びワークグループ６ ３０６（６）の処理を完了する。この時点で、チップレット２０１（２）は、カーネルディスパッチパケット３０２（１）に対する全ての割り当てられたワークグループ３０６の処理を完了している。したがって、チップレット２０１（２）は、カーネルディスパッチパケット３０２（１）のチップレット２０１（２）による完了をチップレット２０１（１）に通知し、いくつかの実施形態では、チップレット２０１（３）に通知する。図４の例では、チップレット２０１（１）は、カーネルディスパッチパケット３０２の完了をプロセッサ１０２に通知するチップレット２０１である。

【0037】

時間３において、チップレット２０１（３）は、カーネルディスパッチパケット３０２（１）の全てのワークグループ３０６を完了し、かかる完了をチップレット２０１（１）に通知し、いくつかの実施形態では、チップレット２０１（２）に通知する。時間４において、チップレット２０１（１）は、カーネルディスパッチパケット３０２（１）の全てのワークグループ３０６を完了する。チップレット２０１（１）は、全てのチップレット２０１がカーネルディスパッチパケット３０２（１）に対する全てのワークグループ３０６を完了したという指標を、全ての他のチップレット２０１に送信する。加えて、全てのチップレット２０１に対する全てのワークグループ３０６がカーネルディスパッチパケット３０２（１）に対して完了するので、通知機能チップレットであるチップレット２０１（１）は、カーネルディスパッチパケット３０２（１）が完了したことをクライアント（プロセッサ１０２）に通知する。時間５において、カーネルディスパッチパケット３０２（１）が完了しているので、チップレット２０１は、カーネルディスパッチパケット３０２（２）の処理を開始する。時間５において、各チップレット２０１は、カーネルディスパッチパケット３０２（１）が完了したという知識を有することに留意されたい。いくつかの実施形態では、チップレット２０１がカーネルディスパッチパケット３０２で完了した場合に、各チップレット２０１が他の各チップレット２０１にブロードキャストするので、チップレット２０１は、この知識を得る。したがって、第１のチップレット２０１が、チップレット２０１がカーネルディスパッチパケット３０２の処理を完了したという指標を他の各チップレット２０１から受信した場合に、第１のチップレット２０１は、後続のカーネルディスパッチパケット３０２に進むことを知っている。

【0038】

図５は、複数のチップレットにわたってカーネルを実行する方法５００のフロー図である。図１～図４のシステムに関して説明したが、当業者であれば、任意のシステムが、任意の技術的に実現可能な順序で図５のステップを実行するように構成されていることを理解するであろう。

【0039】

ステップ５０２において、チップレット２０１のグループは、カーネルディスパッチパケットのワークグループをチップレット２０１の間で分配する。様々な例では、各チップレット２０１は、チップレット２０１がカーネルディスパッチパケット３０２を実行しているソフトウェアコマンドキューにカーネルディスパッチパケット３０２が追加されたという指標をプロセッサ１０２等のクライアントから受信するコマンドプロセッサ１３６を有する。これに続いて、チップレット２０１は、追加されたカーネルディスパッチパケット３０２を、ソフトウェアコマンドキューに関連付けられているチップレット２０１のハードウェアコマンドキュー１３７にロードする。チップレット２０１は、それぞれのハードウェアコマンドキュー１３７から実行のためのカーネルディスパッチパケット３０２を選択する。チップレット２０１は、これらのカーネルディスパッチパケット３０２のワークグループを技術的に実現可能な様式で分配する。一例では、各チップレット２０１のコマンドプロセッサ１３６は、カーネルディスパッチパケット３０２に対する全てのワークグループのリストを繰り返し、そのチップレット２０１に割り当てられていないワークグループ番号を無視する。様々な例では、ワークグループのチップレット２０１への分配は、「ワークグループチャンクサイズ」と呼ばれる番号に基づいており、この番号は、特定のチップレット２０１に割り当てるために連続して番号付けされたワークグループの番号、及び、特定のチップレット２０１のチップレットＩＤ２０１を示す。一例では、チップレット２０１の各々は、これらのワークグループの予め指定された異なる番号のセットである。一例では、ワークグループは、ワークグループ識別子によってラウンドロビン様式で異なるチップレット２０１に割り当てられる。例えば、３つのチップレット２０１が存在する場合、次いで、第１のチップレット２０１は、ワークグループ番号１、４、７等を取得し、第２のチップレット２０１は、ワークグループ番号２、５、８等を取得し、第３のチップレット２０１は、ワークグループ番号３、６、９等を取得する。他の例では、チップレット２０１は、ランタイム中に通信して、何れのワークグループ３０６が何れのチップレット２０１に割り当てられるかを判定する。ここでも、ワークグループ３０６を細分するための任意の技術的に実行可能な方法が可能である。ステップ５０２の「分配」は、任意の所定のチップレット２０１に対して、何れのワークグループを実行すべきかを識別する動作を指す。

【0040】

ステップ５０４において、チップレット２０１は、所定のカーネルディスパッチパケット３０２に対してそのチップレット２０１に割り当てられたワークグループの実行を完了し、かかる完了を１つ以上の他のチップレットに通知する。一例では、そのような通知は、完了したカーネルディスパッチパケット３０２の番号をカウントするカウンタのブロードキャストを含む。言い換えれば、チップレット２０１が、所定のカーネルディスパッチパケット３０２に対してそのチップレット２０１に割り当てられた全てのワークグループを完了する毎に、チップレット２０１はカウンタをインクリメントし、そのカウンタを他のチップレット２０１にブロードキャストする。このカウンタは、チップレット２０１があるハードウェアコマンドキュー１３７内の場所を識別する。このカウンタ値のブロードキャストは、ブロードキャストするチップレット２０１がカーネルディスパッチパケット３０２を完了したことの他のチップレット２０１への通知として機能する。

【0041】

ステップ５０６において、カーネルディスパッチパケット２０１の全てのチップレット２０１による全てのワークグループが完了すると、通知機能チップレット２０１は、かかる完了をクライアント（例えば、プロセッサ１０２）に通知する。いくつかの例では、ソフトウェアコマンドキューのコンテンツを実行するように協働するチップレット２０１のグループのうち単一のチップレット２０１が、通知機能チップレット２０１として指定される。通知機能チップレット２０１が、全てのチップレット２０１が所定のカーネルディスパッチパケット３０２のワークグループを完了したと判定すると、通知機能チップレット２０１は、かかる完了をクライアントに通知する。いくつかの例では、この判定は、通知機能チップレット２０１が、所定のカーネルディスパッチパケット３０２に対応するカウンタ値を、そのカーネルディスパッチパケット３０２の実行に参加している他の各チップレット２０１から受信したと判定する通知機能チップレットによって行われる。加えて、各チップレット２０１は、他の各参加チップレット２０１がカーネルディスパッチパケット３０２を完了したと判定すると、次のカーネルディスパッチパケット２０１に進む。この場合も、この判定は、いくつかの例では、チップレット２０１が、発行中のカーネルディスパッチパケット３０２に対応するカウンタ値を受信したと判定することによって行われる。

【0042】

様々な例では、カーネルディスパッチパケット３０２の実行に参加している各チップレット２０１は、コマンドプロセッサ１３６を有し、このコマンドプロセッサは、各チップレット２０１について方法５００のステップを実行する。

【0043】

本明細書の開示に基づいて、多くの変形が可能であることを理解されたい。特徴及び要素が特定の組み合わせで上述されているが、各特徴又は要素は、他の特徴及び要素を用いずに単独で、又は、他の特徴及び要素を用いて若しくは用いずに様々な組み合わせで使用することができる。

【0044】

各図に示され及び／又は本明細書に記載された様々な機能ユニット（プロセッサ１０２、入力ドライバ１１２、入力デバイス１０８、出力ドライバ１１４、出力デバイス１１０、加速処理デバイス１１６、コマンドプロセッサ１３６、グラフィックス処理パイプライン１３４、計算ユニット１３２、ＳＩＭＤユニット１３８、ハードウェアコマンドキュー１３７を含むが、これらに限定されない）は、汎用コンピュータ、プロセッサ若しくはプロセッサコアとして、又は、汎用コンピュータ、プロセッサ若しくはプロセッサコアによって実行可能な非一時的なコンピュータ可読記憶媒体若しくは別の記憶媒体に記憶されているプログラム、ソフトウェア若しくはファームウェアとして実装することができる。提供される方法は、汎用コンピュータ、プロセッサ又はプロセッサコアにおいて実装することができる。好適なプロセッサとしては、例として、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ（digital signal processor、ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、ＦＰＧＡ）回路、任意の他のタイプの集積回路（integrated circuit、ＩＣ）、及び／又は、状態マシンが挙げられる。そのようなプロセッサは、処理されたハードウェア記述言語（hardware description language、ＨＤＬ）命令及びネットリストを含む他の中間データ（コンピュータ可読媒体に記憶させることが可能な命令）の結果を使用して製造プロセスを構成することによって製造することができる。そのような処理の結果はマスクワークとすることができ、このマスクワークをその後の半導体製造プロセスにおいて使用して、本開示の特徴を実装するプロセッサを製造する。

【0045】

本明細書に提供される方法又はフロー図は、汎用コンピュータ又はプロセッサによる実行のために非一時的なコンピュータ可読記憶媒体に組み込まれるコンピュータプログラム、ソフトウェア又はファームウェアにおいて実装することができる。非一時的なコンピュータ可読記憶媒体の例としては、読み取り専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及びリムーバブルディスク等の磁気媒体、磁気光学媒体、並びに、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（digital versatile disk、ＤＶＤ）等の光学媒体が挙げられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】