特許 7450728 協調ワークスティーリングスケジューラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-07

(45)【発行日】2024-03-15

(54)【発明の名称】協調ワークスティーリングスケジューラ

(51)【国際特許分類】

   G06F 9/50 20060101AFI20240308BHJP

   G06F 9/52 20060101ALI20240308BHJP

【ＦＩ】

G06F9/50 120A

G06F9/50 150E

G06F9/52 150A

【請求項の数】 20

(21)【出願番号】P 2022542128

(86)(22)【出願日】2021-03-01

(65)【公表番号】

(43)【公表日】2023-03-09

(86)【国際出願番号】 US2021020192

(87)【国際公開番号】W WO2021188287

(87)【国際公開日】2021-09-23

【審査請求日】2022-07-08

(31)【優先権主張番号】62/991,871

(32)【優先日】2020-03-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/152,021

(32)【優先日】2021-01-19

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503455363

【氏名又は名称】レイセオン カンパニー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】シャンピニー，マイケル

【審査官】坂東 博司

(56)【参考文献】

【文献】米国特許出願公開第２０１７／００６８５７１（ＵＳ，Ａ１）

【文献】特表２０１７－５３３５３２（ＪＰ，Ａ）

【文献】特表２０２０－５０３５９３（ＪＰ，Ａ）

【文献】特表２０１７－５３８２１２（ＪＰ，Ａ）

【文献】特表２０２０－５２５９１３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１５４６７７（ＵＳ，Ａ１）

【文献】特表２０１８－５３１４５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／５０

Ｇ０６Ｆ ９／５２

(57)【特許請求の範囲】

【請求項1】

中央処理ユニット（CPU）及びグラフィック処理ユニット（GPU）を有するコンピューティングシステム内で使用される方法であって、当該方法は、
第１メモリ部分及び第２メモリ部分を、（ｉ）前記CPU上で実行されるワークスティーリングスケジューラのワーカスレッド、及び（ｉｉ）前記GPUの部分である実行ユニットに割り当てるステップと、
前記ワーカスレッドに関連付けられたキューからタスクを読み出すステップと、
前記ワーカスレッドにより、前記タスクを実際に実行するコストの大部分を前記ワークスティーリングスケジューラのオーバヘッドが占めるカットオフ条件が満たされるかどうかを検出するステップと、
前記カットオフ条件が満たされないとき、前記タスクを２つ以上の追加タスクに分割し、前記２つ以上の追加タスクを前記キューに追加するステップと、
前記カットオフ条件が満たされるとき、前記タスクに対応する第１データを前記第２メモリ部分に格納するステップであって、前記第１データは、前記ワーカスレッドにより、前記第２メモリ部分に格納される、ステップと、
前記第１データが前記第２メモリ部分に格納された後に、メモリフェンス取得命令を発行するステップと、
第１値を前記第１メモリ部分に格納するステップであって、前記第１値は、前記メモリフェンス取得命令が発行された後に、前記ワーカスレッドにより格納される、ステップと、
を含み、前記第１値を前記第１メモリ部分に格納するステップは、前記実行ユニットに、前記第１データを第２メモリ部分から読み出させ、前記第１データに基づき前記タスクを実行させる、方法。

【請求項2】

前記第１メモリ部分はドアベルレジスタを含み、前記第２メモリ部分はタスクレジスタを含む、請求項１に記載の方法。

【請求項3】

前記実行ユニットは、複数のGPUコアと、前記複数のGPUコアの間で共有される同期メカニズムと、を含む、請求項１に記載の方法。

【請求項4】

前記第１データは、前記タスクに対応するオペコード及び前記タスクを実行するための引数のうちの１つ以上を含む、請求項１に記載の方法。

【請求項5】

第２値が前記実行ユニットにより前記第１メモリ部分に格納されると、前記タスクが完了したことを検出するステップ、を更に含み、前記検出するステップは、前記ワーカスレッドにより実行される、請求項１に記載の方法。

【請求項6】

前記第２メモリ部分から、前記実行ユニットにより前記タスクを実行した結果として生成される第２データを読み取るステップ、を更に含み、前記第２データは、第２値が前記実行ユニットにより前記第１メモリ部分に格納されていることを検出することに応答して、前記ワーカスレッドにより読み出される、請求項１に記載の方法。

【請求項7】

前記第２メモリ部分から前記第１データを読み取るステップであって、前記第１データは、前記第１値が前記ワーカスレッドにより前記第１メモリ部分に格納されていることを検出することに応答して、前記実行ユニットにより読み出される、ステップと、
前記タスクを実行するステップであって、前記タスクは、前記第１データに基づき前記実行ユニットにより実行される、ステップと、
を更に含む請求項１に記載の方法。

【請求項8】

前記第２メモリ部分に、前記タスクを実行した結果として前記実行ユニットにより生成された第２データを格納するステップと、
前記第２データが前記第２メモリ部分に格納された後に、メモリフェンスリリース命令を発行するステップと、
前記第１メモリ部分に、前記タスクが完了したことを示す第２値を格納するステップであって、前記第２値は、前記メモリフェンスリリース命令が発行された後に、前記実行ユニットにより格納される、ステップと、
を更に含む請求項７に記載の方法。

【請求項9】

システムであって、
実行ユニットを有するグラフィック処理ユニット（GPU）と、
第１メモリ部分及び第２メモリ部分を有するランダムアクセスメモリと、
ワークスティーリングスケジューラを実行するよう構成される中央処理ユニット（CPU）と、
を含み、
前記ワークスティーリングスケジューラはワーカスレッドを有し、前記ワーカスレッドは、以下：
前記ワーカスレッドに関連付けられたキューからタスクを読み出す動作と、
前記タスクを実際に実行するコストの大部分を前記ワークスティーリングスケジューラのオーバヘッドが占めるカットオフ条件が満たされるかどうかを検出する動作と、
前記カットオフ条件が満たされないとき、前記タスクを２つ以上の追加タスクに分割し、前記２つ以上の追加タスクを前記キューに追加する動作と、
前記カットオフ条件が満たされるとき、前記タスクに対応する第１データを前記第２メモリ部分に格納する動作と、
前記第１データが前記第２メモリ部分に格納された後に、メモリフェンス取得命令を発行する動作と、
前記メモリフェンス取得命令が発行された後に、第１値を前記第１メモリ部分に格納する動作と、
を実行するよう構成され、
前記第１値を前記第１メモリ部分に格納する動作は、前記実行ユニットに、前記第１データを第２メモリ部分から読み出させ、前記第１データに基づき前記タスクを実行させる、システム。

【請求項10】

前記第１メモリ部分はドアベルレジスタを含み、前記第２メモリ部分はタスクレジスタを含む、請求項９に記載のシステム。

【請求項11】

前記実行ユニットは、複数のGPUコアと、前記複数のGPUコアの間で共有される同期メカニズムと、を含む、請求項９に記載のシステム。

【請求項12】

前記第１データは、前記タスクに対応するオペコード及び前記タスクを実行するための引数のうちの１つ以上を含む、請求項９に記載のシステム。

【請求項13】

前記ワーカスレッドは、第２値が前記実行ユニットにより前記第１メモリ部分に格納されると、前記タスクが完了したことを検出する動作を実行するよう更に構成される、請求項９に記載のシステム。

【請求項14】

前記ワーカスレッドは、前記第２メモリ部分から、前記タスクを実行した結果として生成される第２データを読み出す動作を実行するよう更に構成され、前記第２データは、第２値が前記実行ユニットにより前記第１メモリ部分に格納されていることを検出することに応答して、読み出される、請求項９に記載のシステム。

【請求項15】

前記実行ユニットは、
前記第２メモリ部分から前記第１データを読み出す動作であって、前記第１データは、前記第１値が前記ワーカスレッドにより前記第１メモリ部分に格納されていることを検出することに応答して、読み出される、動作と、
前記第１データに基づき前記タスクを実行する動作と、
を実行するよう更に構成される、請求項９に記載のシステム。

【請求項16】

前記実行ユニットは、
前記第２メモリ部分に、前記タスクを実行した結果として前記実行ユニットにより生成された第２データを格納する動作と、
前記第２データが前記第２メモリ部分に格納された後に、メモリフェンスリリース命令を発行する動作と、
前記第１メモリ部分に、前記タスクが完了したことを示す第２値を格納する動作であって、前記第２値は、前記メモリフェンスリリース命令が発行された後に、格納される、動作と、
を実行するよう更に構成される、請求項１５に記載のシステム。

【請求項17】

１つ以上のプロセッサ実行可能命令を格納するよう構成される非一時的コンピュータ可読媒体であって、前記１つ以上のプロセッサ実行可能命令は、少なくとも１つのプロセッサにより処理されると、前記プロセッサに、
ワーカスレッドを有するワークスティーリングスケジューラを実行させ、前記ワーカスレッドは、グラフィック処理ユニット（GPU）の部分である実行ユニットと第１メモリ部分及び第２メモリ部分を共有するよう構成され、前記ワーカスレッドは、以下：
前記ワーカスレッドに関連付けられたキューからタスクを読み出す動作と、
前記タスクを実際に実行するコストの大部分を前記ワークスティーリングスケジューラのオーバヘッドが占めるカットオフ条件が満たされるかどうかを検出する動作と、
前記カットオフ条件が満たされないとき、前記タスクを２つ以上の追加タスクに分割し、前記２つ以上の追加タスクを前記キューに追加する動作と、
前記カットオフ条件が満たされるとき、前記タスクに対応する第１データを前記第２メモリ部分に格納する動作と、
前記第１データが前記第２メモリ部分に格納された後に、メモリフェンス取得命令を発行する動作と、
前記メモリフェンス取得命令が発行された後に、第１値を前記第１メモリ部分に格納する動作と、
を実行するよう構成され、
前記第１値を前記第１メモリ部分に格納する動作は、前記実行ユニットに、前記第１データを第２メモリ部分から読み出させ、前記第１データに基づき前記タスクを実行させる、非一時的コンピュータ可読媒体。

【請求項18】

前記第１メモリ部分はドアベルレジスタを含み、前記第２メモリ部分はタスクレジスタを含む、請求項１７に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記実行ユニットは、複数のGPUコアと、前記複数のGPUコアの間で共有される同期メカニズムと、を含む、請求項１７に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記第１データは、前記タスクに対応するオペコード及び前記タスクを実行するための引数のうちの１つ以上を含む、請求項１７に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【背景技術】

【0001】

GPUデバイスは、応答時間（つまり、遅延）ではなく、計算スループットについて最適化される。GPUのアーキテクチャ及び関連ソフトウェアにおける従来の設計選択は、算術演算の高い持続スループットを重視している。特に、GPUは比較的小さく簡易なキャッシュ、及びソフトウェアにより管理されるスクラッチパッドメモリを有し、これらは膨大なデータセットの並列処理のために膨大な数の算術論理ユニット（arithmetic logic unit （ALU））のためにチップ面積を最大にする。しかしながら、GPUの現在のバルク同期プログラミングモデルは、特定レベルのタスクスケジューリングを必要とする柔軟なアプリケーションに対応するそれらの適用可能性を制限する。知られているGPUスケジューリングポリシは、ハードウェアで定義され、GPUマルチプロセッサにおいて手動でアルゴリズムを配置することができない。例えば、プロデューサ－消費者のパターンのように、同じマルチプロセッサ上でマルチプロセッサ同期を必要とするアプリケーションを実行することは、デッドロックをもたらし得る。従来のシステムでは、ローカルGPUキャッシュをより良好に利用するような、局所性からの利益を得るために、同様のタスクが同じマルチプロセッサ上で同じスケジューリングされ得るタスクを処理する環境を提供することも困難である。

【0002】

NVIDIA CORPのCUDA（Compute Unified Device Architecture）フレームワークは、GPU自体においてグローバルバリアを通じて同期されることができる、GPU上の協調スレッドグリッドを開始する能力を提供する（GPU上のバリアと同期する必要がない）。この特徴は、ユーザがGPUにカーネル（つまり、GPUプログラム）のパイプラインをスケジューリングすることを可能にする。しかしながら、既製のGPUスケジューラは、GPU全体に渡りスレッドブロックをスケジューリングする定義された方法が未だない。これは、GPUマルチプロセッサ上でスレッドブロックの手動配置を妨げる。この制限により、GPUリソースを十分に活用できない可能性がある。

【発明の概要】

【0003】

実施形態では、中央処理ユニット（CPU）及びグラフィック処理ユニット（GPU）を有するコンピューティングシステム内で使用される方法であって、前記方法は、
第１メモリ部分及び第２メモリ部分を、（ｉ）前記CPU上で実行されるワークスティーリングスケジューラのワーカスレッド、及び（ｉｉ）前記GPUの部分である実行ユニットに割り当てるステップと、
前記ワーカスレッドに関連付けられたキューからタスクを読み出すステップと、
前記ワーカスレッドにより、前記タスクのカットオフ条件が満たされるかどうかを検出するステップと、
前記カットオフ条件が満たされないとき、前記タスクを２つ以上の追加タスクに分割し、前記２つ以上の追加タスクを前記キューに追加するステップと、
を含む方法が提供される。

【0004】

実施形態では、前記第１メモリ部分はドアベルレジスタを含み、前記第２メモリ部分はタスクレジスタを含む。

【0005】

実施形態では、前記実行ユニットは、複数のGPUコアと、前記複数のGPUコアの間で共有される同期メカニズムと、を含む。

【0006】

実施形態では、前記第１データは、前記タスクに対応するオペコード及び前記タスクを実行するための引数のうちの１つ以上を含む。

【0007】

実施形態では、前記方法は、第２値が前記実行ユニットにより前記実施形態では、前記メモリ部分に格納されると、前記タスクが完了したことを検出するステップ、を更に含み、前記検出するステップは、前記ワーカスレッドにより実行される。

【0008】

実施形態では、前記方法は、前記第２メモリ部分から、前記実行ユニットにより前記タスクを実行した結果として生成される第２データを読み取るステップ、を更に含み、前記第２データは、第２値が前記実行ユニットにより前記実施形態では、前記メモリ部分に格納されていることを検出することに応答して、前記ワーカスレッドにより読み出される。

【0009】

実施形態では、前記方法は、前記第２メモリ部分から前記第１データを読み取るステップであって、前記第１データは、前記第１値が前記ワーカスレッドにより前記第１メモリ部分に格納されていることを検出することに応答して、前記実行ユニットにより読み出される、ステップと、
前記タスクを実行するステップであって、前記タスクは、前記第１データに基づき前記実行ユニットにより実行される、ステップと、
を更に含む。

【0010】

実施形態では、前記方法は、前記第２メモリ部分に、前記タスクを実行した結果として前記実行ユニットにより生成された第２データを格納するステップと、
前記第２データが前記第２メモリ部分に格納された後に、メモリフェンスリリース命令を発行するステップと、
前記第１メモリ部分に、前記タスクが完了したことを示す第２値を格納するステップであって、前記第２値は、前記メモリフェンスリリース命令が発行された後に、前記実行ユニットにより格納される、ステップと、
を更に含む。

【0011】

実施形態では、システムであって、
実行ユニットを有するグラフィック処理ユニット（GPU）と、
第１メモリ部分及び第２メモリ部分を有するランダムアクセスメモリと、
ワークスティーリングスケジューラを実行するよう構成される中央処理ユニット（CPU）と、
を含み、前記ワークスティーリングスケジューラは、以下：
前記ワーカスレッドに関連付けられたキューからタスクを読み出す動作と、
前記タスクのカットオフ条件が満たされるかどうかを検出する動作と、
前記カットオフ条件が満たされないとき、前記タスクを２つ以上の追加タスクに分割して、前記２つ以上の追加タスクを前記キューに追加する動作と、
を実行するよう構成される、システムが提供される。

【0012】

実施形態では、前記第１メモリ部分はドアベルレジスタを含み、前記第２メモリ部分はタスクレジスタを含む。

【0013】

実施形態では、前記実行ユニットは、複数のGPUコアと、前記複数のGPUコアの間で共有される同期メカニズムと、を含む。

【0014】

実施形態では、前記第１データは、前記タスクに対応するオペコード及び前記タスクを実行するための引数のうちの１つ以上を含む。

【0015】

実施形態では、前記ワーカスレッドは、第２値が前記実行ユニットにより前記第１メモリ部分に格納されると、前記タスクが完了したことを検出する動作を実行するよう更に構成される。

【0016】

実施形態では、前記ワーカスレッドは、前記第２メモリ部分から、前記タスクを実行した結果として生成される第２データを読み出す動作を実行するよう更に構成され、前記第２データは、第２値が前記実行ユニットにより前記第１メモリ部分に格納されていることを検出することに応答して、読み出される。

【0017】

実施形態では、前記実行ユニットは、
前記第２メモリ部分から前記第１データを読み出す動作であって、前記第１データは、前記第１値が前記ワーカスレッドにより前記第１メモリ部分に格納されていることを検出することに応答して、読み出される、動作と、
前記第１データに基づき前記タスクを実行する動作と、
を実行するよう更に構成される。

【0018】

実施形態では、前記実行ユニットは、
前記第２メモリ部分に、前記タスクを実行した結果として前記実行ユニットにより生成された第２データを格納する動作と、
前記第２データが前記第２メモリ部分に格納された後に、メモリフェンスリリース命令を発行する動作と、
前記第１メモリ部分に、前記タスクが完了したことを示す第２値を格納する動作であって、前記第２値は、前記メモリフェンスリリース命令が発行された後に、格納される、動作と、
を実行するよう更に構成される。

【0019】

本開示の態様によると、１つ以上のプロセッサ実行可能命令を格納するよう構成される非一時的コンピュータ可読媒体であって、前記１つ以上のプロセッサ実行可能命令は、少なくとも１つのプロセッサにより処理されると、前記プロセッサに、
ワーカスレッドを有するワークスティーリングスケジューラを実行させ、前記ワーカスレッドは、第１メモリ部分及び第２メモリ部分をグラフィック処理ユニット（GPU）の部分である実行ユニットと共有するよう構成され、
前記ワーカスレッドは、以下：
前記ワーカスレッドに関連付けられたキューからタスクを読み出す動作と、
前記タスクのカットオフ条件が満たされるかどうかを検出する動作と、
を実行するよう構成される、非一時的コンピュータ可読媒体が提供される。

【0020】

実施形態では、前記第１メモリ部分はドアベルレジスタを含み、前記第２メモリ部分はタスクレジスタを含む。

【0021】

実施形態では、前記実行ユニットは、複数のGPUコアと、前記複数のGPUコアの間で共有される同期メカニズムと、を含む。

【0022】

実施形態では、前記第１データは、前記タスクに対応するオペコード及び前記タスクを実行するための引数のうちの１つ以上を含む。

【図面の簡単な説明】

【0023】

前述の特徴は、図面の以下の説明からより完全に理解され得る。

【0024】

【図1】本開示の態様によるコンピューティングシステムの例の図である。

【0025】

【図2A】本開示の態様によるワークスティーリングスケジューラの例の図である。

【0026】

【図2B】本開示の態様による図２Aのワークスティーリングスケジューラにより使用されるキューの例の図である。

【0027】

【図3A】本開示の態様によるグラフィック処理ユニット（GPU）の例の図である。

【0028】

【図3B】本開示の態様による図３AのGPUの部分である実行ユニットの例の図である。

【0029】

【図4A】本開示の態様による図２Aのワークスティーリングスケジューラの動作を示す図である。

【0030】

【図4B】本開示の態様による共有メモリセクションの例の図である。

【0031】

【図5A】本開示の態様によるプロセスの例のフローチャートである。

【0032】

【図5B】本開示の態様によるプロセスの例のフローチャートである。

【0033】

【図6A】本開示の態様によるプロセスの例のフローチャートである。

【0034】

【図6B】本開示の態様によるプロセスの例のフローチャートである。

【0035】

【図6C】本開示の態様によるプロセスの例のフローチャートである。

【発明を実施するための形態】

【0036】

ワークスティーリングは、中央処理ユニット（central processing unit （CPU））上で広く利用される効率的な動的スケジューリングポリシである。ワークスティーリングスケジューラは、各々が処理コア上で実行するワーカスレッドに関連付けられる両端キュー（double-ended queue、以後「デキュー（deque）」と呼ぶ）のセットに渡りタスクを分散することにより並列プロセッサ上で負荷バランシングを実行する。各デキューは、該デキューに関連付けられたローカルスレッドが、シリアル実行と同じ順序（つまり、スタック順序）でワーク（つまり、タスク）をスケジューリング及びスケジューリング解除することを可能にするプッシュ及びポップ動作をサポートできる。各デキューは、非ローカルスレッド（チーフスレッド（thief thread）とも呼ばれる）が、それらのローカルデキューを実行するために、それらがタスクを使い果たしたときに利用するスティール動作（steal operation）もサポートできる。スティール動作は、チーフスレッドによる実行のために犠牲者（victim）のデキューの（ローカルスレッドに対して）反対の端からタスクを除去してよい。タスクが実行されるとき、タスクの実行は、頻繁に追加タスクを生成することがある。追加タスクは、次にローカルデキューに置かれる。

【0037】

ワークスティーリングスケジューラは、ランタイムに有向非巡回グラフ（directed acyclic graph （DAG））を形成するタスクを生成し処理する。それらは、各親タスクについて１つ以上のより精細な子タスクが生成される（つまり、分岐する）分割統治循環法（divide-and-conquer recurrence）として表現されるアルゴリズムを実行する。これらのアルゴリズムは、スレッドが分岐した子タスクが実行を終了するのを待機（つまり、参加）しなければならないことも示す。循環の基本的なケースでは（シーケンシャルカットオフと呼ばれる）、シーケンシャルアルゴリズムが実行される（つまり、リーフタスク）ポイントで、分割されるべきタスクが小さすぎて、子タスクに有利にパーティションできない。有利性は、子タスクをパーティションしスケジューリングするために必要なオーバヘッドがどれ位かの指標である。特に、アルゴリズムワークの全部がリーフタスクの中で実行される。

【0038】

本開示によると、タスクを実際に実行するコストの大部分をスケジューラオーバヘッドが占めるシーケンシャルカットオフに達するまで、CPUがタスクを繰り返し分割するワークスティーリングスケジューラの部分を実行し、改良されたワークスティーリングスケジューラが開示される。その点において、CPU上でシーケンシャルコードを実行する代わりに、改良されたワークスティーリングスケジューラは、利用可能なグラフィック処理ユニット（GPU）上で実行するために、タスクをオフロードする。例により、幾つかの実装では、本開示は、GPUをサポートし既存の汎用ワークスティーリングスケジューラの実行セマンティクスを維持する異種の協調ワークスティーリングスケジューラ設計を提示することにより、（CPUのみを利用する）既存のワークスティーリングスケジューラに拡張を提供できる。

【0039】

図１は、本開示の態様によるコンピューティングシステム１００の例の図である。コンピューティングシステム１００は、中央処理ユニット（CPU）１０９と、グラフィック処理ユニット（GPU）１２０と、メモリ１３０と、共有メモリ１４０と、を含んでよい。CPU１０９は、任意の適切な種類のプロセッサ、例えばx８９プロセッサ、縮小命令セットコンピュータ（reduced instruction set computer （RISC））プロセッサ、ARMベースプロセッサ、等を含んでよい。本例によると、CPU１０９は、ワークスティーリングスケジューラ２００（図２に示す）の異なるワーカスレッド２２０を並列に実行するよう構成される複数のCPUコア１１０A～１１０Dを含む。図１の例では、CPU１０９は４個のCPUコアを有するが、CPUが任意の数（例えば、１、８、等）のコアを有する代替の実装が可能である。

【0040】

GPU１２０は、メモリ範囲をCPU１０９のアドレス空間からGPU１２０のアドレス空間まで直接マッピングする能力を有する任意の適切な種類のグラフィック処理ユニットを含んでよい。従って、単一の仮想アドレス空間が共有される。幾つかの実装では、GPU１２０は、CUDA（Compute Unified Device Architecture）フレームワークをサポートするGPUを含んでよい。追加又は代替として、幾つかの実装では、GPU１２０は、OpenCL（Open Computing Language）フレームワークをサポートするGPUを含んでよい。GPU１２０は、複数のGPUコアを含んでよい。本例では、GPU１２０は、１０２４個のGPUコアを含むが、本開示は任意の特定の数のGPUコア１３２がGPU１２０上に設けられることに限定されないことが理解されるだろう。

【0041】

メモリ１３０は、任意の適切な種類のランダムアクセスメモリ（RAM）、例えばDDR SRAM（Double Data Rate Synchronous Dynamic Random-Access Memory）を含んでよい。共有メモリ１４０は、各々GPU１２０のメモリ空間にマッピングされるメモリ１３０の部分を含んでよい。共有メモリ１４０は、GPU１２０のメモリ空間にマッピングされるので、CPU１０９及びGPU１２０の各々は、共有メモリ１４０に直接アクセスできる。例によると、幾つかの実装では、共有メモリ１４０は、CUDAフレームワーク又はOpenCLフレームワークを用いてGPU１２０のメモリ空間にマッピングされてよい。幾つかの実装では、GPU１２０は、共有メモリ１４０へのポインタを受け取り、このポインタを用いて、GPUカーネル内から共有メモリ１４０を直接参照するよう構成されてよい。同様に、CPUコア１１０のうちの少なくとも幾つかも、ポインタを用いて共有メモリ１４０を直接参照するよう構成されてよい。

【0042】

図２Aは、CPU１０９上で実行されるワークスティーリングスケジューラ２００の例の図である。ワークスティーリングスケジューラ２００は任意の適切な種類の並列コンピューティングソフトウェア及び／又はマイクロコードの部分であってよい。ワークスティーリングスケジューラ２００は、複数のキュー２１０及び複数のワーカスレッド２２０を含んでよい。ワーカスレッド２２０の各々は、異なるキュー２１０に関連付けられてよい。本例によると、ワーカスレッド２２０Aはキュー２１０Aに関連付けられ、ワーカスレッド２２０Bはキュー２１０Bに関連付けられ、ワーカスレッド２２０Cはキュー２１０Cに関連付けられ、ワーカスレッド２２０Dはキュー２１０Dに関連付けられる。図２Bを参照して以下に更に議論されるように、キュー２１０は、タスクを格納し及び読み出すために、スレッド２２０により使用される。図２Aの例によると、キュー２１０の各々は、両端キューである。しかしながら、別の種類のキュー及び／又は別の種類のデータ構造がタスクを格納する代替の実装が可能である。本例では、ワークスティーリングスケジューラ２００はソフトウェアで実装されるが、ワークスティーリングスケジューラ２００がハードウェアで及び／又はソフトウェア（若しくはマイクロコード）又はハードウェアの組合せとして実装される代替の実装が可能である。

【0043】

図２Bは、本開示の態様によるキュー２１０の図である。番号付けが示唆するように、キュー２１０は、ワークスティーリングスケジューラ２００の部分であるキュー２１０A～Bのいずれかと同じ又は同様であってよい。図示のように、キュー２１０は１つ以上のタスクを格納するよう構成されてよい。タスクの各々は、実行されることを望まれる特定の動作を表してよい。キュー２１０内のタスクは、一緒に、ワークスティーリングスケジューラ２００により実施される並列コンピューティングアルゴリズムにより実行されている特定アクションのDAG（Direct Acyclic Graph）の部分であってよい。本開示を通じて使用されるように、及び文脈に依存して、用語「タスク」は、動作（operation）又は動作に対応する記述子（descriptor）を表してよい。例えば、幾つかの実装では、用語「タスク」は、動作を実行するために必要な任意の適切な種類のデータを表してよい。例により、「タスク」は、動作に対応するオペコード、動作を実行するための入力パラメータ、動作に関連付けられた関数呼び出しへの引数、動作が実行されるために参照される必要のある他のデータへのポインタ、及び／又は動作を実行するために必要な任意の他の適切な種類のデータ、のうちの１つ以上を含んでよい。

【0044】

図３Aは、本開示の態様によるGPU１２０の論理的編成の例の図である。本例によると、GPU３００は、実行ユニット（又はタイル）３１０A、実行ユニット（又はタイル）３１０B、実行ユニット（又はタイル）３１０C、及び実行ユニット（又はタイル）３１０Dを実行するよう構成される。図３Aの例では、GPU１２０は４個の実行ユニットを実装するよう構成されるが、本開示は、GPU１２０上の任意の特定の数の実行ユニットを実装することに限定されないことが理解されるだろう。幾つかの実装では、実行ユニット３１０のうちのいずれかは、NVIDIA CUDA（商標）フレームワークにおいて「ブロック」又は「ラップ」として知られているものを含んでよい。幾つかの実装では、各実行ユニット３１０は、同期点として使用するために実行ユニット内のGPUコアのハードウェアバリアメカニズムを含んでよい。本開示の原理及び思想に従い使用できる実行ユニットの例は、参照によりその全体がここに組み込まれる米国特許出願番号第１６/３７２,６１８号、名称「ACCELERATING DATAFLOW SIGNAL PROCESSING APPLICATIONS ACROSS HETEROGENEOUS CPU/GPU SYSTEMS」から分かる。

【0045】

図３Bは、本開示の態様による実行ユニット３１０の例の図である。番号付けが示唆するように、実行ユニット３１０は、図３Aに関して上述した実行ユニット３１０A～Dのいずれかと同じ又は同様であってよい。図３Bに示すように、実行ユニット３１０は、GPUコア１３２のセットと、該セット内のGPUコア１３２の全部の間で共有される同期バリア３２０と、を含んでよい。本例によると、実行ユニット３１０は、３２個のGPUコア１３２を含むが、実行ユニット３１０が任意の数のGPUコア１３２（例えば、１、４、８、１６、６４、等）を含む代替の実装が可能である。図３Bの例では、実行ユニット３１０は同期バリアを含むが、別の種類の同期メカニズムが代わりに使用される代替の実装が可能である。簡潔に言うと、本開示は、任意の特定の種類の同期メカニズムが実行ユニット３１０内に存在することに限定されない。

【0046】

実行ユニット３１０は、ワークスティーリングスケジューラ２００内のワーカスレッド２２０の代わりにタスクを実行するために使用されてよい。実行ユニット３１０内のGPUコア１３２のうちの１つは、１次状態を割り当てられてよく、ここでは「実行ユニット３１０の１次GPUコア」と呼ばれる。例えば、幾つかの実装では、「０」のランクを有する（実行ユニット３１０内の）GPUコアは、実行ユニット３１０の１次GPUコアとして指定されてよい。実行ユニット３１０内の残りの全部のGPUコア１３２は、２次状態を割り当てられてよく、ここでは「実行ユニット３１０の２次GPUコア」と呼ばれる。実行ユニット３１０の２次GPUコア１３２は、（ｉ）ワーカスレッド２２０のうちの所与の１つからタスクを取得する、（ｉｉ）タスクをタスク部分に分割する、（ｉｉｉ）タスク部分のうちの１つを実行し、残りのタスク部分を２次GPUコアに提供する、及び（ｉｖ）タスクが完了すると、ワーカスレッドに通知する、よう構成されてよい。

【0047】

１つの特定の例では、同期バリア３２０は、ハードウェアで実装されてよく、実行ユニット３１０内のGPUコア１３２の間で共有同期点として機能するよう構成されてよい。より具体的には、同期バリア３２０は、GPUコア１３２の各々（例えば、２次GPUコア３２０及び／又は１次GPUコア１３２の各々）に、それら各々のタスク部分の実行が終了し、バリア３２０に到達した後に、待機状態に入らせてよい。待機状態に入ることは、GPUコア１３２が次のタスクの部分を直ぐに実行し始めること、場合によっては、現在タスクの完了データがワーカスレッド２２０のうちの１つにより読み出される前に、現在タスクの完了データが格納されているタスクレジスタ（例えば、図４Bに示されるタスクレジスタ４３０を参照）を上書きすることを効率的に防ぐことができる。本例では、同期バリア３２０はソフトウェアで実装されるが、同期バリア３２０がソフトウェアで及び／又はハードウェアとソフトウェアの組合せとして実装される代替の実装が可能である。簡潔に言うと、本開示は、任意の特定の実装の同期バリア３２０に限定されない。

【0048】

図４Aは、本開示の態様によるコンピューティングシステム１００の動作を示す概略図である。本開示の態様によると、共有メモリはM個のセクション４１０に分割され、Mは、ワークスティーリングスケジューラ２００に割り当てられている実行ユニット３１０の数に等しい正の整数（つまり、本例では４）である。共有メモリセクション４１０は、各々のワーカスレッド２２０と各々の実行ユニット３１０との間でデータを交換するために使用されてよい。図４Bに示すように、セクション４１０の各々は、ドアベルレジスタ及びタスクレジスタ４３０を含む。ドアベルレジスタ４２０は、１本のワード線であってよく、タスクがタスクレジスタ４３０に格納されたときをシグナリングするために使用されてよい。タスクレジスタ４３０は、特定のタスクを格納するよう構成されてよい。上述のように、用語「タスク」は、本開示を通じて使用されるように、動作を実行するために必要な任意のデータを表してよい。例えば、タスクレジスタ２３０に格納される「タスク」は、特定の動作に関連付けられたオペコード、動作を実行するための入力パラメータ、動作に関連付けられた関数呼び出しへの引数、動作が実行されるために参照される必要のある他のデータへのポインタ、のうちの１つ以上を含んでよい。

【0049】

図４Aに戻ると、実行ユニット３１０の各々は、共有メモリセクション４１０のうちの各々１つに割り当てられてよい。より具体的には、実行ユニット３１０Aは、実行ユニット３１０AによりデータをCPUコア１１０A（及び／又はワーカスレッド２２０A）へ送信し及びそれから受信するために使用される共有メモリセクション４１０Aに割り当てられてよい。実行ユニット３１０Bは、実行ユニット３１０BによりデータをCPUコア１１０B（及び／又はワーカスレッド２２０B）へ送信し及びそれから受信するために使用される共有メモリセクション４１０Bに割り当てられてよい。実行ユニット３１０Cは、実行ユニット３１０CによりデータをCPUコア１１０C（及び／又はワーカスレッド２２０C）へ送信し及びそれから受信するために使用される共有メモリセクション４１０Cに割り当てられてよい。実行ユニット３１０Dは、実行ユニット３１０DによりデータをCPUコア１１０D（及び／又はワーカスレッド２２０D）へ送信し及びそれから受信するために使用される共有メモリセクション４１０Dに割り当てられてよい。

【0050】

更に、CPUコア１１０の各々（及び／又はワーカスレッド２２０の各々）は、共有メモリセクション４１０のうちの各々１つに割り当てられてよい。具体的には、CPUコア１１０A（及び／又はワーカスレッド２２０A）は、CPUコア１１０A（及び／又はワーカスレッド２２０A）によりデータを実行ユニット３１０Aへ送信する又はそれから受信するために使用される共有メモリセクション４１０Aに割り当てられてよい。CPUコア１１０B（及び／又はワーカスレッド２２０B）は、CPUコア１１０B（及び／又はワーカスレッド２２０B）によりデータを実行ユニット３１０Bへ送信する又はそれから受信するために使用される共有メモリセクション４１０Bに割り当てられてよい。CPUコア１１０C（及び／又はワーカスレッド２２０C）は、CPUコア１１０C（及び／又はワーカスレッド２２０C）によりデータを実行ユニット３１０Cへ送信する又はそれから受信するために使用される共有メモリセクション４１０Cに割り当てられてよい。CPUコア１１０D（及び／又はワーカスレッド２２０D）は、CPUコア１１０D（及び／又はワーカスレッド２２０D）によりデータを実行ユニット３１０Dへ送信する又はそれから受信するために使用される共有メモリセクション４１０Dに割り当てられてよい。

【0051】

CPUコア１１０の各々（及び／又はワーカスレッド２２０の各々）は、各々の実行ユニット３１０にマッピングされてよい。図４Aの例によると、CPUコア１１０A（及び／又はワーカスレッド２２０A）は実行ユニット３１０Aにマッピングされ、CPUコア１１０B（及び／又はワーカスレッド２２０B）は実行ユニット３１０Bにマッピングされ、CPUコア１１０C（及び／又はワーカスレッド２２０C）は実行ユニット３１０Cにマッピングされ、CPUコア１１０D（及び／又はワーカスレッド２２０D）は実行ユニット３１０Dにマッピングされる。CPUコア１１０と対応する実行ユニットとの間のマッピングは、同じ共有メモリセクション４１０をCPUコア及び対応する実行ユニット３１０に割り当てることにより達成されてよい。しかしながら、本開示は、CPUコアを各々の実行ユニットにマッピングする任意の特定の方法に限定されないことが理解される。

【0052】

幾つかの実装では、CPUコア１１０（及び／又はワーカスレッド２２０）の各々は、CPUコア１１０及び／又はワーカスレッド２２０にマッピングされる実行ユニット３１０上でタスクを実行してよい。例えば、CPUコア１１０A（及び／又はワーカスレッド２２０A）は実行ユニット３１０A上でタスクを実行してよく、CPUコア１１０B（及び／又はワーカスレッド２２０B）は実行ユニット３１０B上でタスクを実行してよく、CPUコア１１０C（及び／又はワーカスレッド２２０C）は実行ユニット３１０C上でタスクを実行してよく、CPUコア１１０D（及び／又はワーカスレッド２２０D）は実行ユニット３１０D上でタスクを実行してよい。例えば、ワーカスレッド２２０のうちの任意の所与の１つがタスクのシーケンシャルカットオフ条件が満たされることを検出すると、所与のワーカスレッド２２０は、所与のワーカスレッド２２０にマッピングされた各々の実行ユニット３１０を識別してよい。次に、所与のワーカスレッド２２０は、所与のワーカスレッド２２０及び各々の実行ユニット３１０の両方に割り当てられた共有メモリセクション４１０を用いて、タスクを各々の実行ユニット３１０に提供してよい。次に、各々の実行ユニット３１０は、共有メモリセクション４１０からタスクを読み出す。次に、各々の実行ユニット３１０は、タスクを実行し、タスクを実行した結果として生成されたデータを、共有メモリセクション４１０に戻す。最後に、所与のワーカスレッドは、タスクを実行した結果として生成されたデータを、共有メモリセクションから読み出してよい。

【0053】

図４Aの例では、CPUコア１１０（及び／又はワーカスレッド２２０）の各々が単一の共有メモリセクション４１０に割り当てられるが、CPUコア１１０のうちの任意のものが複数の共有メモリセクション４１０に割り当てられる代替の実装が可能である。図４Bの例では、CPUコア１１０（及び／又はワーカスレッド２２０）の各々が単一の実行ユニット３１０にマッピングされるが、CPUコア１１０（及び／又はワーカスレッド２２０）のうちの任意のものが複数の実行ユニットにマッピングされる代替の実装が可能である。そのような実装では、CPUコア１１０（及び／又はワーカスレッド）の各々は、同じ数の実行ユニット３１０にマッピングされてよい。実行ユニット３１０の数がCPUコア１１０（及び／又はワーカスレッド）の数により均等に分割されない場合、CPUコア１１０（及び／又はワーカスレッド）のうちの１つは、より少ない実行ユニット３１０にマッピングされてよい。

【0054】

図５Aは、本開示の態様によるワークスティーリングスケジューラ２００の動作を開始する処理５００Aの例のフローチャートである。本例によると、処理５００AはCPUコア１１０Aにより実行される。しかしながら、処理５００AがCPUコア１１０のうちの別の１つにより実行される代替の実装が可能である。

【0055】

ステップ５０２で、CPUコア１１０Aは、ワークスティーリングスケジューラ２００のキュー２１０及びワーカスレッド２２０をインスタンス化する。ステップ５０４で、CPUコア１１０Aは、共有メモリ１４０と、共有メモリ１４０内の複数の共有メモリセクション４１０とを割り当てる。ステップ５０６で、CPUコア１１０Aは、ワーカスレッド２２０Aの各々を、CPU１０９のCPUコア１１０のうちの異なる１つに割り当てる。上述のように、ステップ５０６を実行した結果、ワーカスレッド２２０AはCPUコア１１０Aに割り当てられ、ワーカスレッド２２０BはCPUコア１１０Bに割り当てられ、ワーカスレッド２２０CはCPUコア１１０Cに割り当てられ、ワーカスレッド２２０DはCPUコア１１０Dに割り当てられる。ステップ５０８で、コア１１０Aは、ワーカスレッド２２０の各々を、実行ユニット３１０のうちそれぞれ異なる１つにマッピングする。上述のように、ステップ５０８を実行した結果として、ワーカスレッド２２０A（及び／又はCPUコア１１０A）は、実行ユニット３１０Aにマッピングされる。ワーカスレッド２２０B（及び／又はCPUコア１１０B）は、実行ユニット３１０Bにマッピングされる。ワーカスレッド２２０C（及び／又はCPUコア１１０C）は、実行ユニット３１０Cにマッピングされる。及びワーカスレッド２２０D（及び／又はCPUコア１１０D）は、実行ユニット３１０Dにマッピングされる。幾つかの実装では、ワーカスレッド２２０のうちのいずれかといずれかの実行ユニット３１０との間のマッピングは、同じ共有メモリセクション４１０をワーカスレッド２２０及び実行ユニット３１０に割り当てることにより実行できる。ステップ５１０で、CPUコア１１０Aは、ワーカスレッド２２０を実行し始める。幾つかの実装では、ワーカスレッド２２０のうちのいずれかは、図５Bに関して更に後述する処理５００Bに従い実行されてよい。

【0056】

図５Bは、本開示の態様による処理５００Aのステップ５１０により指定されるようなワークスティーリングスケジューラのワーカスレッドを実行する処理５００Aの例のフローチャートである。図５Bの例によると、処理５００Bは、ワーカスレッド２２０Aにより実行されるが、代替として、処理５００Bはワーカスレッド２２０のいずれにより実行できることが理解される。ステップ５２２で、ワーカスレッド２２０Aは、キュー２１０Aからタスクを読み出す（及び／又は削除する）。ステップ５２４で、ワーカスレッド２２０Aは、所定のカットオフ条件が満たされるかどうかを決定する。条件が満たされる場合、処理５００Bはステップ５２６に進む。その他の場合、条件が満たされない場合、処理５００Bはステップ５２８に進む。ステップ５２６で、処理５００Bは、タスクを追加タスクに分割し、タスクをキュー２１０Aに追加して戻す。ステップ５２８で、ワーカスレッド２２０Aは、GPU１２０の実行ユニット３１０Aを用いてタスクを実行する。タスクが実行される方法は、図６A～６Cに関して更に後述される。具体的には、図６Aは、実行ユニット３１０A上でタスクを実行する目的で、ワーカスレッド２２０Aにより実行される処理の例を提供する。図６Bは、タスクの異なる部分の実行を協調させる目的で、実行ユニット３１０Aの１次GPUコアにより実行される処理６００Bの例を提供する。そして、図６Cは、タスク部分を実行する目的で、実行ユニット３１０A内の１次GPUコア及び２次GPUコアのいずれかにより実行される処理６００Cの例を提供する。

【0057】

図６Aは、処理５００Bのステップ５２８により指定されるような、GPUを用いてタスクを実行する処理６００Aのフローチャートである。ステップ６０２で、ワーカスレッド２２０Aは、タスク（例えば、ステップ５２２で読み出したタスク）を共有メモリセクション４１０Aのタスクレジスタ４３０に格納する。ステップ６０４で、ワーカスレッド２２０Aは、メモリフェンス取得命令を発行する。ステップ６０６で、ワーカスレッド２２０Aは第１値（例えば、「１」）を共有メモリセクション４１０Aのドアベルレジスタ４２０に格納する。図６Bに関して更に後述されるように、第１値をドアベルレジスタ４２０に格納することは、実行ユニット３１０Aに、実行されるために待機しているタスクがタスクレジスタ４３０内に存在することを効率的に知らせる。ステップ６０８で、ワーカスレッド２２０Aは、共有メモリセクション４１０Aのドアベルレジスタ４２３０が第２値（例えば「０」）に設定されているかどうかを検出する。ドアベルレジスタ４２０が第２値に設定されている場合、処理６００Aはステップ６１０に進む。その他の場合、ドアベルレジスタ４２０は、第２値に設定されず、ステップ６０８が再び実行される。言い換えると、ステップ６０６で、ワーカスレッド２２０Aは、ステップ６１０に進む前に、ドアベルレジスタ４２０が（実行ユニット３１０Aにより）第２値に設定されるまで待つ。図６Bに関して更に後述されるように、ドアベルレジスタ４２０が第２値に設定されると、これは、ワーカスレッド２２０Aに、タスクが実行ユニット３１０Aにより完了されたことを効率的に知らせる。ステップ６１０で、ワーカスレッド２２０Aは、共有メモリセクション４１０Aのタスクレジスタ４３０から、実行ユニット３１０A内の１つ以上のGPUコアにより格納された完了状態ワード（及び／又はエラーコード）を読み出す。

【0058】

図６Bは、処理５００Bのステップ５２８により指定されるようなタスクを実行する処理６００Bの例のフローチャートである。ステップ６１２で、実行ユニット３１０Aの１次GPUコアは、共有メモリセクション４１０Aのドアベルレジスタ４２０が第１値に設定されたかどうかを検出する。ドアベルレジスタ４２０が第１値に設定されている場合、処理６００Bはステップ６１４に進む。その他の場合、ステップ６１２は再び繰り返される。ステップ６１４で、実行ユニット３１０Aの１次GPUコアは、共有メモリセクション４１０Aのタスクレジスタ４３０からタスクを読み出す。ステップ６１６で、実行ユニット３１０Aの１次GPUコアは、タスクを複数のタスク部分に分割する。ステップ６１８で、実行ユニット３１０Aの１次GPUコアは、複数のタスク部分の各々を、実行ユニット３１０A内のGPUコアのうちの異なる１つに割り当てる。例えば、１次GPUコアは、各々のタスク部分を、自身に、及び実行ユニット３１０A内の２次GPUコアの各々に割り当ててよい。代替として、実行ユニット３１０A内に存在するGPUコアよりも少ないタスク部分が存在するとき、１次GPUコア３１０Aは、各々のタスク部分を、実行ユニット３１０A内のGPUコアの一部にのみ割り当ててよい。ステップ６２０で、実行ユニット３１０Aの１次GPUコア１３２は、実行ユニット３１０A内の（タスク部分に割り当てられた）２次GPUコア１３２の各々に、それら各々のタスク部分の実行を開始させる。ステップ６２２で、１次GPUコア１３２は、自身が自身に割り当てたタスク部分を実行する。直ちに理解できるように、幾つかの実装では、１次GPUコア１３２は、自身にタスク部分を割り当てなくてよい。この場合、ステップ６２２は省略できる。ステップ６２２で、実行ユニット３１０Aの１次GPUコアは、実行ユニット３１０A内の（タスク部分を割り当てられた）GPUコアの各々が、それら各々のタスク部分の実行を終了したかどうかを検出する。例えば、GPUコアの各々がそれら各々のタスク部分の実行を終了したかどうかを検出することは、GPUコアの各々が実行ユニット３１０Aの同期バリア３２０に達し、現在待機状態であるかどうかを検出することを含んでよい。GPUコアの各々がそれら各々のタスク部分の実行を終了している場合、処理６００Bはステップ６２６へ進む。その他の場合、ステップ６２４が再び繰り返される。ステップ６２６で、実行ユニット３１０Aの１次GPUコアは、メモリフェンスリリース命令を発行する。ステップ６２８で、実行ユニット３１０Aの１次GPUコアは、共有メモリセクション４１０Aのドアベルレジスタ４２０を第２値（例えば「０」）に設定する。

【0059】

図６Cは、処理５００Bのステップ５０６により指定されるようなタスクを実行する処理６００Bの例のフローチャートである。ステップ６２４で、実行ユニット３１０AのGPUコア１３２は、（ステップ６１８で割り当てられた）タスク部分のうちの１つを取得する。ステップ６４４で、GPUコア１３２は、タスク部分を実行する。ステップ６４６で、GPUコア１３２は、完了指示子を共有メモリセクション４１０Aのタスクレジスタに格納する。例えば、GPUコア１３２がタスクの実行に成功した場合、GPUコア１３２は、メモリセクション４１０のタスクレジスタ内のビットのうちの１つを「１」に設定してよい。別の例として、GPUコア１３２がタスクの実行に失敗した場合、GPUコア１３２は、同じビットを「０」に設定してよい。追加又は代替として、幾つかの実装では、GPUコア１３２がタスクの実行に失敗すると、GPUコア１３２は、タスク部分が成功裏に完了できない理由を識別するエラーコードをタスクレジスタに格納してよい。本例では、完了指示子は１ビット幅であるが、完了状態指示子がより大きなサイズを有する代替の実装が可能である。タスク６４８で、GPUコア１３２は、実行ユニット３１０Aのバリア同期バリア３２０に達した結果として、待機状態に入る。

【0060】

幾つかの実装では、タスクが完了すると、タスクの完了状態を識別するワードが、（共有メモリセクション４１０の）タスクレジスタ４３０に格納されてよい。ワードは、複数のビットを含んでよい。ビットの各々は、実行ユニット３１０内の異なるGPUコアによりタスクレジスタに格納されてよく、GPUコアがGPUコアにより実行されたタスクの部分の実行に成功したかどうかを示してよい。ビットが「１」に等しい場合、これは、GPUコアがタスクの自身の部分の実行に成功したことを示してよい。その他の場合、ビットが「０」に設定される場合、これは、GPUコアがタスクの自身の部分の完了に失敗したことを示してよい。従って、ワードが全部「１」を含むとき、これは、タスクが実行ユニット３１０により成功裏に完了したことを示してよい。これに対して、ワードが少なくとも１つの「０」を含むとき、これは、タスクが実行ユニット３１０により成功裏に完了しなかったことを示してよい。図１～６Cは、共有メモリセクション４１０Aを、実行ユニット３１０Aとワーカスレッド２２０Aとの間で共有される唯一のメモリとして示すが、追加メモリが実行ユニット３１０Aとワーカスレッド２２０Aとの間で共有され、ワーカスレッド２２０Aに結果データを提供するために使用される代替の実装が可能である。

【0061】

本開示の態様によると、メモリフェンス取得命令及びメモリフェンスリリース命令は、CPU１０９（及び／又はCPU１０９条で実行するコンパイラ）に、データが共有メモリ４１０のドアベルレジスタ４２０及びタスクレジスタ４３０に格納される順序を強制させるバリア命令であってよい。具体的に、ステップ６０４でメモリフェンス取得命令を発行することは、（ステップ６０６で）第１値が共有メモリセクション４１０Aｎドアベルレジスタ４２０に格納される前に、（ステップ６０２で）タスクが共有メモリセクション４１０Aのタスクレジスタ４３０に格納されることを保証する。同様に、ステップ６２６でメモリフェンスリリース命令を発行することは、（ステップ６３２で）共有メモリセクション４１０Aのドアベルレジスタ４２０が第２値に設定される前に、（ステップ６２４で）タスクに関連付けられた全部の完了データが共有メモリセクション４１０Aのタスクレジスタ４３０にコピーされることを保証する。本開示によると、（アトミック操作とは反対に）メモリフェンス命令を用いて（共有メモリセクション４１０の）ドアベルレジスタ及びタスクレジスタへの書き込みを同期化することは、（図６A～Cに関して記載した）プロトコルのオーバヘッドを大幅に削減し、（ステップ６１４で取得された）タスクが実行される効率を向上できる。

【0062】

幾つかの実装では、メモリフェンス命令が発行されると、共有メモリセクション４１０Aのドアベルレジスタ４２０内の第１値（例えば「１」）を見ることは、実行ユニット３１０Aに、有効なタスクがメモリセクション４１０のタスクレジスタ４３０内に存在することを保証できる。同様に、メモリフェンスリリース命令が発行されると、共有メモリセクション４１０Aのドアベルレジスタ４２０内の第２値（例えば「０」）を見ることは、CPUコア１１０A（及び／又はワーカスレッド２２０A）に、有効なタスクがメモリセクション４１０のタスクレジスタ４３０内に存在することを保証できる。幾つかの実装では、CPUコア１１０A（及び／又はワーカスレッド２２０A）が複数の実行ユニット３１０にマッピングされるとき、CPUコア１１０A（及び／又はワーカスレッド２２０A）は、（ステップ５２２で取得された）タスクを複数のタスク（例えば、タスク部分）に分割でき、（図６Aに関して議論した方法で）各タスク部分を実行ユニット３１０のうちの異なる１つにより実行してよい。

【0063】

図５B及び６Aの例によると、ステップ５２２で、タスクは、キュー２１０Aから読み出され、ステップ６０２で、タスクは共有メモリセクション４１０Aのタスクレジスタに格納される。しかしながら、ステップ５２２及び６０２は、必ずしも、キュー２１０Aから読み出された同じデータが共有メモリセクション４１０Aのタスクレジスタ４３０にも格納されることを意味しない。例えば、幾つかの実装では、（ステップ５２２で）１つ以上の第１データアイテムが、キュー２１０Aから読み出されてよく、（ステップ６０２で）１つ以上の第２データアイテムがタスクレジスタ４３０に格納されてよい。そのような実装では、第２データアイテムは、第１データアイテムと同じ又は異なってよい。追加又は代替として、幾つかの実装では、第２データアイテムのうちの少なくとも１つは、第１データアイテムに基づき少なくとも部分的に生成されてよい。

【0064】

幾つかの実装では、ワークスティーリングスケジューラ２００は、実行ユニット３１０のタスクレジスタ４３０内に「切断（disconnect）」オペコードを置くことにより、実行ユニット３１０のうちの１つ以上を切断してよい。「切断（disconnect）」オペコードを受信すると、実行ユニットの１次GPU１３２（及び／又はGPU１２０内の他のハードウェア）は、ワークスティーリングスケジューラ２００から実行ユニットを切断してよい。

【0065】

本開示は、ワークスティーリングスケジューラ２００内で任意の特定の並列処理アルゴリズムを使用することに限定されない。これに関して、本開示は、（ステップ５２４で）任意の特定のカットオフ条件を評価することに限定されないことが理解される。図１～６Cの例はワークスティーリングスケジューラの文脈で提示されたが、本開示は、任意の特定の種類のスケジューラに限定されない。

【0066】

ここに記載される処理は、図１のハードウェア及びソフトウェアを使用することに限定されず、任意の計算又は処理環境において、及びコンピュータプログラムを実行可能な任意の種類のマシン若しくはマシンのセットと共に適用できる。ここの記載される処理は、ハードウェア、ソフトウェア、又は両者の組合せで実装されてよい。ここに記載される処理は、各々がプロセッサとプロセッサにより読み取り可能な非一時的機械可読媒体又は別の製品（揮発性及び不揮発性メモリ及び／又は記憶要素を含む）と、少なくとも１つの入力装置と、１つ以上の出力装置と、を含む、プログラマブルコンピュータ／マシン上で実行されるコンピュータプログラム内に実装されてよい。プログラムコードは、入力装置を用いて入力されたデータに適用されて、本願明細書に記載した処理のうちのいずれかを実行し、及び出力情報を生成してよい。

【0067】

システムは、データ処理機器（例えば、プログラマブルプロセッサ、コンピュータ、又は複数のコンピュータ）による実行のため又はその動作を制御するために、少なくとも部分的に（例えば非一時的コンピュータ可読媒体のような、例えば非一時的機械可読記憶媒体の中の）コンピュータプログラムプロダクトにより実装されてよい。各々のそのようなプログラムは、コンピュータに基づくシステムの残りの部分と共に動作するために、高レベル手続き型又はオブジェクト指向プログラミング言語で実装されてよい。しかしながら、プログラムは、アセンブリ、機械言語、又はHardware Description Languageで実装されてよい。言語は、コンパイルされ、又はインタープリットされた言語であってよく、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、若しくはコンピューティング環境で使用するために適する別のユニットを含む任意の形式で展開されてよい。コンピュータプログラムは、１つのコンピュータ又は１つの場所に置かれた若しくは複数の場所に分散されて通信ネットワークにより相互接続される１つのコンピュータ又は複数のコンピュータ上で、実行されるよう展開されてよい。コンピュータプログラムは、非一時的機械可読媒体がコンピュータにより読み取られると、本願明細書に記載した処理を実行するために、コンピュータを構成し及び作動させるために汎用又は専用プログラマブルコンピュータにより読み取り可能である非一時的機械可読媒体に格納されてよい。例えば、本願明細書に記載の処理は、コンピュータプログラムにより構成される非一時的機械可読記憶媒体として実装されてもよく、コンピュータプログラムは、実行されると、コンピュータプログラム内の命令が、コンピュータを処理に従い作動させる。非一時的機械可読媒体は、限定されないが、ハードドライブ、コンパクトディスク、フラッシュメモリ、不揮発性メモリ、揮発性メモリ、磁気ディスク、等を含んでよいが、過渡的信号自体を含まない。

【0068】

本特許の主題である種々の概念、構造及び技術の説明を提供する好適な実施形態を記載したが、これらの概念、構造、及び技術を組み込んでいる他の実施形態が使用されてよいことが明らかになった。従って、本特許の範囲は、記載された実施形態に限定されるべきではなく、むしろ以下の請求の範囲及び精神によってのみ限定されるべきである。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】