知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126002
(43)【公開日】2024-09-19
(54)【発明の名称】並列演算作業オフローディング装置および方法
(51)【国際特許分類】
G06F 9/50 20060101AFI20240911BHJP
G06F 9/46 20060101ALI20240911BHJP
G06F 9/38 20180101ALI20240911BHJP
【ＦＩ】
G06F9/50 120B
G06F9/46 410
G06F9/38 370C
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2024008199
(22)【出願日】2024-01-23
(31)【優先権主張番号】10-2023-0029137
(32)【優先日】2023-03-06
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】596180076
【氏名又は名称】韓國電子通信研究院
【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ
【住所又は居所原語表記】２１８，Ｇａｊｅｏｎｇ－ｒｏ Ｙｕｓｅｏｎｇ－ｇｕ Ｄａｅｊｅｏｎ ３４１２９，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(72)【発明者】
【氏名】アン、シン－ヨン
(72)【発明者】
【氏名】キム、ヨン－ホ
(72)【発明者】
【氏名】イム、ウン－ジ
(72)【発明者】
【氏名】ハン、ウ－ジョン
(72)【発明者】
【氏名】パク、ユ－ミ
(72)【発明者】
【氏名】ジュン、ソン－イク
【テーマコード（参考）】
5B013
【Ｆターム（参考）】
5B013DD02
5B013DD03
(57)【要約】 （修正有）
【課題】並列演算作業オフローディング装置および方法を提供する。
【解決手段】並列演算作業は、複数の並列スレッドグループ１３の実行要請を少なくとも一つ以上の並列スレッドグループキューに挿入する。実行要求は既に設定された優先順位が存在する場合、既に設定された優先順位によって優先順位に対応する少なくとも一つ以上の並列スレッドグループキューに挿入される。優先順位によって並列スレッドグループキューから抽出した並列スレッドグループ実行要請エントリーを用いて並列スレッドグループの並列スレッド１２を実行し、実行スタートアップルチンコードにスケジューリングされた実行手順によって並列スレッドの実行が終了すると、実行結果を実行結果キューに挿入し、実行結果キューを確認して、並列スレッドグループの実行終了状態を確認する。
【選択図】図１
【解決手段】並列演算作業は、複数の並列スレッドグループ１３の実行要請を少なくとも一つ以上の並列スレッドグループキューに挿入する。実行要求は既に設定された優先順位が存在する場合、既に設定された優先順位によって優先順位に対応する少なくとも一つ以上の並列スレッドグループキューに挿入される。優先順位によって並列スレッドグループキューから抽出した並列スレッドグループ実行要請エントリーを用いて並列スレッドグループの並列スレッド１２を実行し、実行スタートアップルチンコードにスケジューリングされた実行手順によって並列スレッドの実行が終了すると、実行結果を実行結果キューに挿入し、実行結果キューを確認して、並列スレッドグループの実行終了状態を確認する。
【選択図】図１
【特許請求の範囲】
【請求項1】
一つ以上のプロセッサと、
前記一つ以上のプロセッサによって実行される少なくとも一つ以上のプログラムを保存するメモリーと、を含み、
前記少なくとも一つ以上のプログラムは、
複数の並列スレッドグループの実行要請を少なくとも一つ以上の並列スレッドグループキューに挿入し、前記実行要求は既に設定された優先順位が存在する場合、前記既に設定された優先順位によって前記優先順位に対応する前記少なくとも一つ以上の並列スレッドグループキューに挿入される、
前記優先順位によって並列スレッドグループキューから抽出した並列スレッドグループ実行要請エントリーを用いて並列スレッドグループの並列スレッドを実行し、
前記並列スレッドの実行が終了すると、実行結果を実行結果キューに挿入し、
前記実行結果キューで報告される前記実行結果を確認して前記並列スレッドグループの実行終了状態を確認し、
前記実行終了状態に対応する並列スレッドグループの並列スレッドを実行することを特徴とする、並列演算作業オフローディング装置。
前記一つ以上のプロセッサによって実行される少なくとも一つ以上のプログラムを保存するメモリーと、を含み、
前記少なくとも一つ以上のプログラムは、
複数の並列スレッドグループの実行要請を少なくとも一つ以上の並列スレッドグループキューに挿入し、前記実行要求は既に設定された優先順位が存在する場合、前記既に設定された優先順位によって前記優先順位に対応する前記少なくとも一つ以上の並列スレッドグループキューに挿入される、
前記優先順位によって並列スレッドグループキューから抽出した並列スレッドグループ実行要請エントリーを用いて並列スレッドグループの並列スレッドを実行し、
前記並列スレッドの実行が終了すると、実行結果を実行結果キューに挿入し、
前記実行結果キューで報告される前記実行結果を確認して前記並列スレッドグループの実行終了状態を確認し、
前記実行終了状態に対応する並列スレッドグループの並列スレッドを実行することを特徴とする、並列演算作業オフローディング装置。
【請求項2】
前記少なくとも一つ以上のプログラムは、
前記優先順位に対応する並列スレッドグループキューでプログラマブルタイマーを用いて、既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけることを特徴とする、請求項１に記載の並列演算作業オフローディング装置。
前記優先順位に対応する並列スレッドグループキューでプログラマブルタイマーを用いて、既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけることを特徴とする、請求項１に記載の並列演算作業オフローディング装置。
【請求項3】
前記少なくとも一つ以上のプログラムは、
前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけた場合、前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を、次上位の優先順位の並列スレッドグループキューの最後実行要請エントリーに移動させることを特徴とする、請求項２に記載の並列演算作業オフローディング装置。
前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけた場合、前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を、次上位の優先順位の並列スレッドグループキューの最後実行要請エントリーに移動させることを特徴とする、請求項２に記載の並列演算作業オフローディング装置。
【請求項4】
前記少なくとも一つ以上のプログラムは、
前記並列スレッドグループの各並列スレッド別に実行スタートアップルチンコードを実行して実行状態情報から並列演算カーネルコードの実行に必要な情報を加速コアのレジスターに先にロードし、並列演算カーネルコードを実行することを特徴とする、請求項１に記載の並列演算作業オフローディング装置。
前記並列スレッドグループの各並列スレッド別に実行スタートアップルチンコードを実行して実行状態情報から並列演算カーネルコードの実行に必要な情報を加速コアのレジスターに先にロードし、並列演算カーネルコードを実行することを特徴とする、請求項１に記載の並列演算作業オフローディング装置。
【請求項5】
前記実行状態情報は、
前記並列スレッドグループを識別するための共通状態情報、および前記並列スレッドグループが含む並列スレッドを識別するための個別の並列スレッド状態情報を含むことを特徴とする、請求項４に記載の並列演算作業オフローディング装置。
前記並列スレッドグループを識別するための共通状態情報、および前記並列スレッドグループが含む並列スレッドを識別するための個別の並列スレッド状態情報を含むことを特徴とする、請求項４に記載の並列演算作業オフローディング装置。
【請求項6】
前記少なくとも一つ以上のプログラムは、
スレッドスイチングロジッグを用いて、前記並列スレッドグループのうち、並列スレッドの総個数が加速コアグループに含まれたハードウェアスレッドの個数よりも大きい場合、停止された並列スレッドのコンテキストブロックをスクラッチメモリーでスイチングすることを特徴とする、請求項１に記載の並列演算作業オフローディング装置。
スレッドスイチングロジッグを用いて、前記並列スレッドグループのうち、並列スレッドの総個数が加速コアグループに含まれたハードウェアスレッドの個数よりも大きい場合、停止された並列スレッドのコンテキストブロックをスクラッチメモリーでスイチングすることを特徴とする、請求項１に記載の並列演算作業オフローディング装置。
【請求項7】
前記少なくとも一つ以上のプログラムは、
前記並列スレッドのうち、前記並列スレッドグループに含まれる並列スレッドの中で事前に設定された代表並列スレッドが、前記並列スレッドグループ実行結果を前記実行結果キューに挿入することを特徴とする、請求項１に記載の並列演算作業オフローディング装置。
前記並列スレッドのうち、前記並列スレッドグループに含まれる並列スレッドの中で事前に設定された代表並列スレッドが、前記並列スレッドグループ実行結果を前記実行結果キューに挿入することを特徴とする、請求項１に記載の並列演算作業オフローディング装置。
【請求項8】
前記少なくとも一つ以上のプログラムは、
複数の並列スレッドグループのいずれか一つの一番目の並列スレッドグループをいずれか一つの加速コアグループに実行するステップを含むことを特徴とする、請求項１に記載の並列演算作業オフローディング装置。
複数の並列スレッドグループのいずれか一つの一番目の並列スレッドグループをいずれか一つの加速コアグループに実行するステップを含むことを特徴とする、請求項１に記載の並列演算作業オフローディング装置。
【請求項9】
前記少なくとも一つ以上のプログラムは、
前記加速コアグループのＩＤＬＥ状態レジスターの値を読み出し、前記加速コアグループがＩＤＬＥ状態であることを確認すると、前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドを実行することを特徴とする、請求項８に記載の並列演算作業オフローディング装置。
前記加速コアグループのＩＤＬＥ状態レジスターの値を読み出し、前記加速コアグループがＩＤＬＥ状態であることを確認すると、前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドを実行することを特徴とする、請求項８に記載の並列演算作業オフローディング装置。
【請求項10】
前記少なくとも一つ以上のプログラムは、
前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドが実行されると、前記ＩＤＬＥ状態レジスターの値をＩＤＬＥからＢＵＳＹに変更し、前記全ての並列スレッドの実行が終了すると、前記ＩＤＬＥ状態レジスターの値をＢＵＳＹからＩＤＬＥに変更することを特徴とする、請求項９に記載の並列演算作業オフローディング装置。
前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドが実行されると、前記ＩＤＬＥ状態レジスターの値をＩＤＬＥからＢＵＳＹに変更し、前記全ての並列スレッドの実行が終了すると、前記ＩＤＬＥ状態レジスターの値をＢＵＳＹからＩＤＬＥに変更することを特徴とする、請求項９に記載の並列演算作業オフローディング装置。
【請求項11】
並列演算作業オフローディング装置の並列演算作業オフローディング方法において、
複数の並列スレッドグループの実行要請を少なくとも一つ以上の並列スレッドグループキューのいずれか一つに挿入するステップと、前記実行要求は既に設定された優先順位が存在する場合、前記既に設定された優先順位によって前記優先順位に対応する前記少なくとも一つ以上の並列スレッドグループキューに挿入される、
前記優先順位によって並列スレッドグループキューから抽出した並列スレッドグループ実行要請エントリーを用いて並列スレッドグループの並列スレッドを実行するステップと、
前記並列スレッドの実行が終了すると、実行結果を実行結果キューに挿入するステップと、
前記実行結果キューで報告される前記実行結果を確認して前記並列スレッドグループの実行終了状態を確認するステップと、
前記実行終了状態に対応する並列スレッドグループの並列スレッドを実行するステップと、
を含むことを特徴とする、並列演算作業オフローディング方法。
複数の並列スレッドグループの実行要請を少なくとも一つ以上の並列スレッドグループキューのいずれか一つに挿入するステップと、前記実行要求は既に設定された優先順位が存在する場合、前記既に設定された優先順位によって前記優先順位に対応する前記少なくとも一つ以上の並列スレッドグループキューに挿入される、
前記優先順位によって並列スレッドグループキューから抽出した並列スレッドグループ実行要請エントリーを用いて並列スレッドグループの並列スレッドを実行するステップと、
前記並列スレッドの実行が終了すると、実行結果を実行結果キューに挿入するステップと、
前記実行結果キューで報告される前記実行結果を確認して前記並列スレッドグループの実行終了状態を確認するステップと、
前記実行終了状態に対応する並列スレッドグループの並列スレッドを実行するステップと、
を含むことを特徴とする、並列演算作業オフローディング方法。
【請求項12】
前記実行するステップは、
前記優先順位に対応する並列スレッドグループキューでプログラマブルタイマーを用いて、既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけることを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
前記優先順位に対応する並列スレッドグループキューでプログラマブルタイマーを用いて、既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけることを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
【請求項13】
前記実行するステップは、
前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけた場合、前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を、次上位の優先順位の並列スレッドグループキューの最後実行要請エントリーに移動させることを特徴とする、請求項１２に記載の並列演算作業オフローディング方法。
前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけた場合、前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を、次上位の優先順位の並列スレッドグループキューの最後実行要請エントリーに移動させることを特徴とする、請求項１２に記載の並列演算作業オフローディング方法。
【請求項14】
前記実行するステップは、
前記並列スレッドグループの各並列スレッド別に実行スタートアップルチンコードを実行して実行状態情報から並列演算カーネルコードの実行に必要な情報を加速コアのレジスターに先にロードし、並列演算カーネルコードを実行することを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
前記並列スレッドグループの各並列スレッド別に実行スタートアップルチンコードを実行して実行状態情報から並列演算カーネルコードの実行に必要な情報を加速コアのレジスターに先にロードし、並列演算カーネルコードを実行することを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
【請求項15】
前記実行状態情報は、
前記並列スレッドグループを識別するための共通状態情報、および前記並列スレッドグループが含む並列スレッドを識別するための個別の並列スレッド状態情報を含むことを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
前記並列スレッドグループを識別するための共通状態情報、および前記並列スレッドグループが含む並列スレッドを識別するための個別の並列スレッド状態情報を含むことを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
【請求項16】
前記実行するステップは、
スレッドスイチングロジッグを用いて、前記並列スレッドグループのうち、並列スレッドの総個数が加速コアグループに含まれたハードウェアスレッドの個数よりも大きい場合、停止された並列スレッドのコンテキストブロックをスクラッチメモリーでスイチングすることを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
スレッドスイチングロジッグを用いて、前記並列スレッドグループのうち、並列スレッドの総個数が加速コアグループに含まれたハードウェアスレッドの個数よりも大きい場合、停止された並列スレッドのコンテキストブロックをスクラッチメモリーでスイチングすることを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
【請求項17】
前記挿入するステップは、
前記並列スレッドグループに含まれる並列スレッドの中で事前に設定された代表並列スレッドが、前記並列スレッドグループ実行結果を前記実行結果キューに挿入することを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
前記並列スレッドグループに含まれる並列スレッドの中で事前に設定された代表並列スレッドが、前記並列スレッドグループ実行結果を前記実行結果キューに挿入することを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
【請求項18】
前記並列演算作業オフローディング方法は、
前記並列スレッドグループキューのいずれか一つに挿入するステップ以前に、
複数の並列スレッドグループのいずれか一つの一番目の並列スレッドグループをいずれか一つの加速コアグループに実行するステップを含むことを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
前記並列スレッドグループキューのいずれか一つに挿入するステップ以前に、
複数の並列スレッドグループのいずれか一つの一番目の並列スレッドグループをいずれか一つの加速コアグループに実行するステップを含むことを特徴とする、請求項１１に記載の並列演算作業オフローディング方法。
【請求項19】
前記いずれか一つに加速コアグループに実行するステップは、
前記加速コアグループのＩＤＬＥ状態レジスターの値を読み出し、前記加速コアグループがＩＤＬＥ状態であることを確認すると、前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドを実行することを特徴とする、請求項１８に記載の並列演算作業オフローディング方法。
前記加速コアグループのＩＤＬＥ状態レジスターの値を読み出し、前記加速コアグループがＩＤＬＥ状態であることを確認すると、前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドを実行することを特徴とする、請求項１８に記載の並列演算作業オフローディング方法。
【請求項20】
前記いずれか一つに加速コアグループに実行するステップは、
前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドが実行されると、前記ＩＤＬＥ状態レジスターの値をＩＤＬＥからＢＵＳＹに変更し、前記全ての並列スレッドの実行が終了すると、前記ＩＤＬＥ状態レジスターの値をＢＵＳＹからＩＤＬＥに変更することを特徴とする、請求項１９に記載の並列演算作業オフローディング方法。
前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドが実行されると、前記ＩＤＬＥ状態レジスターの値をＩＤＬＥからＢＵＳＹに変更し、前記全ての並列スレッドの実行が終了すると、前記ＩＤＬＥ状態レジスターの値をＢＵＳＹからＩＤＬＥに変更することを特徴とする、請求項１９に記載の並列演算作業オフローディング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、並列演算作業技術に関するものであって、より詳細には、並列演算作業オフローディング技術に関するものである。
【背景技術】
【0002】
コンピューティング装置の中央処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）は、益々増大する高性能コンピューティング要求に応えるために、マルチコア（Ｍｕｌｔｉｃｏｒｅ）、またはメニーコア（ｍａｎｙｃｏｒｅ）プロセッサに進化した。しかし、ＣＰＵのコアを増やす方法だけでは要求される高性能コンピューティング要求を満たすことができない。コンピューティングシステムは、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＰＵ（Ａｃｃｅｌｅｒａｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）など多様なタイプの並列処理に特化した一つ以上のプロセッサをさらに有する方向に発展した。このような並列処理特化プロセッサを一般的にアクセラレータ（Ａｃｃｅｌｅｒａｔｏｒ）と呼ぶ。アクセラレータは、ＣＰＵで実行される演算の中で並列性が非常に高い演算を委任（ｏｆｆｌｏａｄ）され、より迅速に処理するために用いられる。ＣＰＵとアクセラレータとは別途のＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）で作られていたが、一つのＳｏＣにＣＰＵのコアとアクセラレータのコアとを統合する異種メニーコアプロセッサが出現した。このような異種アーキテクチャーの結合は、ホストコアと異種加速コア間の物理的距離の減少および帯域幅の増加を通じて通信費用を減少させ、全域メモリーの共有が可能になるので、並列演算作業のオフローディングオーバーヘッドを節減して高性能を達成できるようにする。
【0003】
前記のようなアクセラレータに並列演算作業をオフローディングするために、ＣＵＤＡ（Ｃｏｍｐｕｔｅ Ｕｎｉｆｉｅｄ Ｄｅｖｉｃｅ Ａｒｃｈｉｔｅｃｔｕｒｅ）、ＨＩＰ（Ｈｅｔｅｒｏｇｅｎｅｏｕｓ－Ｃｏｍｐｕｔｅ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｏｒｔａｂｉｌｉｔｙ）のような装置固有の私設（ｐｒｉｖａｔｅ）プログラミングモデルや、ＯｐｅｎＣＬ、ＯｐｅｎＭＰ、ＯｐｅｎＡＣＣなどのような産業界の開放型標準プログラミングモデルが用いられる。
【0004】
そのうち、普遍的に多く用いられる業界標準プログラミングモデルであるＯｐｅｎＣＬ（Ｏｐｅｎ Ｃｏｍｐｕｔｉｎｇ Ｌａｎｇｕａｇｅ）を用いると、多様なアクセラレータプラットホームで動作可能な互換性に優れたプログラムを作成することができる。その上、ＯｐｅｎＣＬプログラムは、ＣＰＵでも実行可能であり、ＧＰＵ、ＦＰＧＡなど多様なアクセラレータプラットホームでユーザーの演算を加速することができるデータ並列スレッドを大量で実行する方法を提供する。ＯｐｅｎＣＬは、Ｃと類似のプログラミングモデルであり、アクセラレータで実行可能な並列演算カーネルプログラムの作成を支援し、またＯｐｅｎＣＬランタイムを通じてＯｐｅｎＣＬ ＡＰＩを提供してホストプログラムの作成も支援する。このように作成されたＯｐｅｎＣＬプログラムは、コンパイラーによってホスト実行コードとアクセラレータ実行コードにコンパイルされ、ＯｐｅｎＣＬランタイムライブラリおよびアクセラレータドライバーの助けを借りてホストとアクセラレータで実行可能である。
【0005】
ＣＰＵとアクセラレータとは、多様なハードウェアアーキテクチャーに設計される。例えば、最近のＣＰＵは、一般的にＳＭＴ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｍｕｌｔｉ－Ｔｈｒｅａｄｉｎｇ）デザインパターンを有し、アクセラレータは、ＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ、Ｍｕｌｔｉｐｌｅ Ｄａｔａ）、ＳＩＭＴ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ、Ｍｕｌｔｉｐｌｅ Ｔｈｒｅａｄｓ）、ＭＩＭＤ（Ｍｕｌｔｉｐｌｅ Ｉｎｓｔｒｕｃｔｉｏｎｓ、Ｍｕｌｔｉｐｌｅ Ｔｈｒｅａｄｓ）のような多様なデータレベル並列性（Ｄａｔａ Ｌｅｖｅｌ Ｐａｒａｌｌｅｌｉｓｍ）またはスレッドレベル並列性（Ｔｈｒｅａｄ Ｌｅｖｅｌ Ｐａｒａｌｌｅｌｉｓｍ）を支援するハードウェアデザインパターンを有してもよい。ＭＩＭＤは、非常に多くの単一コア（Ｓｃａｌａｒ ｃｏｒｅ）または多重スレッドコア（Ｍｕｌｔｉ－ｔｈｒｅａｄｅｄ ｃｏｒｅ）を有し、このコアにデータ並列タスクを柔軟にマッピングすることができるが、ＳＩＭＤに比べてデータレベル並列性の効率が落ちるというデメリットを有する。逆にＳＩＭＤは、データレベル並列性に優れているが、不正規的な（ｉｒｒｅｇｕｌａｒ）データ並列性が弱い。ＳＩＭＴは、ＳＩＭＤとＭＩＭＤの中間特性を有するデザインパターンであり、プログラマビリティと演算効率性との間の代案を提示する方式でＮｖｉｄｉａ ＧＰＧＰＵに適用され、その効用性を証明した。
【0006】
前記のように、アクセラレータは、アーキテクチャーデザインパターン別に多様な形態のコアと多様な形態の制御構造を有し、その外にも多様なメモリー階層構造を有することができる。したがって、多様な形態のアクセラレータハードウェアデザインに適するように並列演算作業（例、ＯｐｅｎＣＬカーネル）を効果的に実行する方法が必要となる。
【0007】
ＮｖｉｄｉａおよびＡＭＤのＧＰＵは、前記並列演算作業の効率的な実行および管理のために、多様なレベルのハードウェアスケジューラを備えている。Ｎｖｉｄｉａは、ハードウェアとして構成されるスレッドグループスケジューラを提供しており、また各Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ（ＯｐｅｎＣＬコンピュートユニットに該当）にスケジューリングされたスレッドグループのスレッドをＷａｒｐというＳＩＭＤ演算単位でスケジューリングするＷａｒｐ Ｓｃｈｅｄｕｌｅｒを含む。
【0008】
一方、韓国公開特許第１０－２０１８－００７６０５１号の「ＯｐｅｎＣＬカーネルを処理する方法と、これを行うコンピュータ装置」は、メニーコアに並列演算作業を実行するための階層的な制御コア構造に関して開示している。
【0009】
しかし、韓国公開特許第１０－２０１８－００７６０５１号は、専用のＨＷを通じるスケジューリングメカニズムを開示しているが、アクセラレータＨＷ構造とこのため制御構造が複雑となり、新しいスケジューリング方法を柔軟に開発して適用し難いというデメリットがある。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明は、ハードウェアスケジューラがない異種加速コアを有する異種コアプロセッサシステムで並列演算作業を迅速に実行させることを目的とする。
【0011】
また、本発明は、大規模の並列処理環境で効果的に実現できるＨＷおよびＳＷ実行支援構造とフローを提供することを目的とする。
【0012】
また、本発明は、大規模の並列処理演算器の実行性能と多様なワークロードに対応する柔軟性を同時に提供することを目的とする。
【0013】
また、本発明は、ＳＷの介入なしに低い優先順位のスケジューリング項目が、無限待機状態（ｓｔａｒｖａｔｉｏｎ）に陷ることを防止することを目的とする。
【課題を解決するための手段】
【0014】
前記の目的を達成するための本発明の一実施例に係る並列演算作業オフローディング装置は、一つ以上のプロセッサと、前記一つ以上のプロセッサによって実行される少なくとも一つ以上のプログラムを保存するメモリーと、を含み、前記少なくとも一つ以上のプログラムは、複数の並列スレッドグループの実行要請を少なくとも一つ以上の並列スレッドグループキューに挿入し、前記実行要求は既に設定された優先順位が存在する場合、前記既に設定された優先順位によって前記優先順位に対応する前記少なくとも一つ以上の並列スレッドグループキューに挿入される、前記優先順位によって並列スレッドグループキューから抽出した並列スレッドグループ実行要請エントリーを用いて並列スレッドグループの並列スレッドを実行し、前記並列スレッドの実行が終了すると、実行結果を実行結果キューに挿入し、前記実行結果キューで報告される前記実行結果を確認して前記並列スレッドグループの実行終了状態を確認し、前記実行終了状態に対応する並列スレッドグループの並列スレッドを実行することができる。
【0015】
このとき、前記少なくとも一つ以上のプログラムは、前記優先順位に対応する並列スレッドグループキューでプログラマブルタイマーを用いて、既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけることができる。
【0016】
このとき、前記少なくとも一つ以上のプログラムは、前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけた場合、前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を、次上位の優先順位の並列スレッドグループキューの最後実行要請エントリーに移動させることができる。
【0017】
このとき、前記少なくとも一つ以上のプログラムは、前記並列スレッドグループの各並列スレッド別に実行スタートアップルチンコードを実行して実行状態情報から並列演算カーネルコードの実行に必要な情報を加速コアのレジスターに先にロードし、並列演算カーネルコードを実行することができる。
【0018】
このとき、前記実行状態情報は、前記並列スレッドグループを識別するための共通状態情報、および前記並列スレッドグループが含む並列スレッドを識別するための個別の並列スレッド状態情報を含むことができる。
【0019】
このとき、前記少なくとも一つ以上のプログラムは、スレッドスイチングロジッグを用いて、前記並列スレッドグループのうち、並列スレッドの総個数が加速コアグループに含まれたハードウェアスレッドの個数よりも大きい場合、停止された並列スレッドのコンテキストブロックをスクラッチメモリーでスイチングすることができる。
【0020】
このとき、前記少なくとも一つ以上のプログラムは、前記並列スレッドグループに含まれる並列スレッドの中で事前に設定された代表並列スレッドが、前記並列スレッドグループ実行結果を前記実行結果キューに挿入することができる。
【0021】
このとき、前記少なくとも一つ以上のプログラムは、複数の並列スレッドグループのいずれか一つの一番目の並列スレッドグループをいずれか一つの加速コアグループに実行するステップを含むことができる。
【0022】
このとき、前記少なくとも一つ以上のプログラムは、前記加速コアグループのＩＤＬＥ状態レジスターの値を読み出し、前記加速コアグループがＩＤＬＥ状態であることを確認すると、前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドを実行することができる。
【0023】
このとき、前記少なくとも一つ以上のプログラムは、前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドが実行されると、前記ＩＤＬＥ状態レジスターの値をＩＤＬＥからＢＵＳＹに変更し、前記全ての並列スレッドの実行が終了すると、前記ＩＤＬＥ状態レジスターの値をＢＵＳＹからＩＤＬＥに変更することができる。
【0024】
また、前記の目的を達成するための本発明の一実施例に係る並列演算作業オフローディング方法は、並列演算作業オフローディング装置の並列演算作業オフローディング方法において、複数の並列スレッドグループの実行要請を少なくとも一つ以上の並列スレッドグループキューのいずれか一つに挿入するステップと、前記実行要求は既に設定された優先順位が存在する場合、前記既に設定された優先順位によって前記優先順位に対応する前記少なくとも一つ以上の並列スレッドグループキューに挿入される、前記優先順位によって並列スレッドグループキューから抽出した並列スレッドグループ実行要請エントリーを用いて並列スレッドグループの並列スレッドを実行するステップと、前記並列スレッドの実行が終了すると、実行結果を実行結果キューに挿入するステップと、前記実行結果キューで報告される前記実行結果を確認して前記並列スレッドグループの実行終了状態を確認するステップと、前記実行終了状態に対応する並列スレッドグループの並列スレッドを実行するステップと、を含む。
【0025】
このとき、前記実行するステップは、前記優先順位に対応する並列スレッドグループキューでプログラマブルタイマーを用いて、既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけることができる。
【0026】
このとき、前記実行するステップは、前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけた場合、前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を、次上位の優先順位の並列スレッドグループキューの最後実行要請エントリーに移動させることができる。
【0027】
このとき、前記実行するステップは、前記並列スレッドグループの各並列スレッド別に実行スタートアップルチンコードを実行して実行状態情報から並列演算カーネルコードの実行に必要な情報を加速コアのレジスターに先にロードし、並列演算カーネルコードを実行することができる。
【0028】
このとき、前記実行状態情報は、前記並列スレッドグループを識別するための共通状態情報、および前記並列スレッドグループが含む並列スレッドを識別するための個別の並列スレッド状態情報を含むことができる。
【0029】
このとき、前記実行するステップは、スレッドスイチングロジッグを用いて、前記並列スレッドグループのうち、並列スレッドの総個数が加速コアグループに含まれたハードウェアスレッドの個数よりも大きい場合、停止された並列スレッドのコンテキストブロックをスクラッチメモリーでスイチングすることができる。
【0030】
このとき、前記挿入するステップは、前記前記並列スレッドグループに含まれる並列スレッドの中で事前に設定された代表並列スレッドが、前記並列スレッドグループ実行結果を前記実行結果キューに挿入することができる。
【0031】
このとき、前記並列演算作業オフローディング方法は、前記並列スレッドグループキューのいずれか一つに挿入するステップ以前に、複数の並列スレッドグループのいずれか一つの一番目の並列スレッドグループをいずれか一つの加速コアグループに実行するステップを含むことができる。
【0032】
このとき、前記いずれか一つに加速コアグループに実行するステップは、前記加速コアグループのＩＤＬＥ状態レジスターの値を読み出し、前記加速コアグループがＩＤＬＥ状態であることを確認すると、前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドを実行することができる。
【0033】
このとき、前記いずれか一つに加速コアグループに実行するステップは、前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドが実行されると、前記ＩＤＬＥ状態レジスターの値をＩＤＬＥからＢＵＳＹに変更し、前記全ての並列スレッドの実行が終了すると、前記ＩＤＬＥ状態レジスターの値をＢＵＳＹからＩＤＬＥに変更することができる。
【発明の効果】
【0034】
本発明は、ハードウェアスケジューラがない異種加速コアを有する異種コアプロセッサシステムで並列演算作業を迅速に実行させることができる。
【0035】
また、本発明は、大規模の並列処理環境で効果的に実現可能なＨＷおよびＳＷ実行支援構造とフローを提供することができる。
【0036】
また、本発明は、大規模の並列処理演算器の実行性能と多様なワークロードに対応する柔軟性を同時に提供することができる。
【0037】
また、本発明は、ＳＷの介入なしに低い優先順位項目が無限待機状態（ｓｔａｒｖａｔｉｏｎ）に陷ることを防止できる。
【図面の簡単な説明】
【0038】
【発明を実施するための形態】
【0039】
本発明を添付の図面を参照して詳しく説明すると、次の通りである。ここで、繰り返される説明、本発明の要旨を不要に曖昧にすることができる公知機能、および構成に関する詳細な説明は省略する。本発明の実施形態は、当業界で平均的な知識を有した者に本発明をより完全に説明するために提供されるものである。したがって、図面での要素の形象および大きさなどはより明確な説明のために誇張することがある。
【0040】
明細書全体で、ある部分がある構成要素を「含む」とするとき、これは特に反対される記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいことを意味する。
【0041】
以下、本発明に係る好ましい実施例を添付の図面を参照して詳細に説明する。
【0042】
本発明では、ＧＰＧＰＵに対して相対的にコア当たり少数のマルチスレッドを支援するＭＩＭＤスタイルの異種メニーコアを含む異種コアプロセッサで、並列演算作業（例、ＯｐｅｎＣＬカーネル）の非常に多くのスレッドを、前記異種メニーコアに効果的にマッピングして迅速に並列演算作業を実行する方法を提示する。
【0043】
図１は、本発明の一実施例に係る並列演算作業（Ｐａｒａｌｌｅｌ Ｃｏｍｐｕｔａｔｉｏｎ Ｔａｓｋｓ：ＰＣＴ）を示した図である。
【0044】
図１を参照すると、並列演算作業は、ＣＵＤＡまたはＯｐｅｎＣＬのオフローディング作業と類似の概念で、スレッドレベル並列性を基盤にした演算作業を意味する。ＯｐｅｎＭＰのようなマルチスレッド基盤プログラミングモデルは、一つのスレッドがルーフを用いて繰り返しデータを順次処理する方式で比較的多い演算を行うことができる。
【0045】
本発明で開示する並列演算作業は、図１に示された並列演算カーネル１１の一実施例のように、比較的小規模の演算を行うカーネル関数を行うことが分かる。並列演算作業（Ｐａｒａｌｌｅｌ Ｃｏｍｐｕｔａｔｉｏｎ Ｔａｓｋ、ＰＣＴ）は、ＯｐｅｎＣＬ ＮＤＲａｇｎｇｅを例として挙げることができる。
【0046】
非常に多くの並列スレッド（Ｐａｒａｌｌｅｌ Ｔｈｒｅａｄｓ、ＰＴ）１２は、並列演算カーネル１１コードを実行して並列演算作業を行うことができる。前記並列スレッド１２は、ＯｐｅｎＣＬ ｗｏｒｋ－ｉｔｅｍを例として挙げることができる。
【0047】
並列演算作業の並列スレッド１２は、ＭＩＭＤコアを対象にするので、各スレッドの制御フローを発散することができ、不正規的な（ｉｒｒｅｇｕｌａｒ）データ並列性を要求する作業により効果的である。
【0048】
並列スレッド１２を個別の的に異種のＭＩＭＤコアに実行することは非常に多くのオーバーヘッドを誘発させ得る。
【0049】
したがって、並列スレッド１２を並列スレッドグループ（Ｐａｒａｌｌｅｌ ＴｈｒｅａｄＧｒｏｕｐ、ＰＴＧ）１３に束ねてスレッドグループ単位の集合スケジューリングが必要となる。並列スレッドグループ１３は、ＯｐｅｎＣＬ ｗｏｒｋ－ｇｒｏｕｐを例として挙げることができる。
【0050】
並列演算作業（ＰＣＴ）の実行モデルは、ＣＵＤＡまたはＯｐｅｎＣＬ実行モデルのように二つの部分に分けられる。ＰＣＴカーネル（ｋｅｒｎｅｌｓ）は異種加速コアで実行され、ホストプログラム（ＰＣＴ Ａｐｐ．）はホストコアで実行される。ホストプログラムは、アクセラレータ装置ドライバー（Ａｃｃｅｌｅｒａｔｏｒ Ｄｅｖｉｃｅ Ｄｒｉｖｅｒ）と連動して、ＰＣＴカーネルのためのＰＣＴコンテキストをメモリーに構成し、異種加速コアにＰＣＴカーネルの実行を要請して管理する。このとき、ＰＣＴカーネルスレッドは、アクセラレータの並列処理構造を最大限に活用して並列実行され、これら並列スレッドの個数が大きくなるにつれて、増加するスケジューリングオーバーヘッドを減少させるために、多数のＰＴを束ねて並列スレッドグループを形成することができる。一般的にＰＣＴカーネルには、ＰＴが特定のアクセラレータ演算コアで実行開始するように管理する実行スタートアップルチン（Ｅｘｅｃｕｔｉｏｎ Ｓｔａｒｔｕｐ Ｒｏｕｔｉｎｅ、ｃｒｔ０と類似）が含まれてもよい。
【0051】
図２は、本発明の一実施例に係る並列演算作業オフローディング装置を示したブロック図である。
【0052】
図２を参照すると、本発明の一実施例に係る並列演算作業オフローディング装置は、並列演算作業をオフローディングする対象異種コアプロセッサシステムに対応することが分かる。
【0053】
このとき、異種コアは、ＯＳが運用されるホストコアと区別される演算用コアに対応することができる。
【0054】
本発明の一実施例に係る並列演算作業オフローディング装置は、少なくとも一つ以上のホストコア１１０、少なくとも一つ以上の加速コアグループ（Ａｃｃｅｌｅｒａｔｉｎｇ Ｃｏｒｅ Ｇｒｏｕｐ、ＡＣＧ）１２０、少なくとも一つ以上のアクセラレータメモリー管理ユニット（Ａｃｃｅｌ．ＭＭＵ）１３０およびメモリーコントローラー１４０を含むことができる。
【0055】
加速コアグループ１２０は、少なくとも一つ以上のハードウェアスレッド（Ｈａｒｄｗａｒｅ Ｔｈｒｅａｄ、ＨＴ）を同時に駆動させる並列スレッドグループスケジューリング支援レジスター（ＰＴＧ Ｓｃｈｅｄｕｌｉｎｇ Ｒｅｇｉｓｔｅｒｓ、ＰＳＲ）１２１、少なくとも一つ以上の加速コア１２２および実行効率を高めるためのスクラッチメモリー（Ｓｃｒａｔｃｈｐａｄ Ｍｅｍｏｒｙ、ＳＭ）１２３を含むことができる。
【0056】
このとき、加速コアグループ１２０は、少なくとも一つ以上の加速コア１２２をグルーピングして構成されてもよい。
【0057】
前記加速コアは、少なくとも一つ以上のハードウェアスレッド（Ｈａｒｄｗａｒｅ Ｔｈｒｅａｄ、ＨＴ）を提供することができ、ＨＴ同士が共有する一つ以上のＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）演算器を含むことができる。
【0058】
このとき、前記ＨＴで実行された少なくとも一つのＰＴの実行が一時待機（ｓｔａｌｌ）状態に入る場合、加速コアは、当該の加速コアに割り当てられた他のＰＴを行えるようにスレッドスイチング機能を提供することができる。
【0059】
一つ以上のＡＣＧ１２０は、一つのアクセラレータメモリー管理ユニット（Ａｃｃｅｌ．ＭＭＵ）１３０を共有してもよい。前記Ａｃｃｅｌ．ＭＭＵ１３０は、ＡＣＧ１２０の各ＡＣで実行される並列スレッドを仮想アドレス空間で実行可能に仮想アドレスと物理アドレス間の変換機能を提供することができる。ホストコア１１０と加速コアグループ１２０とはメモリーを共有し、オペレーティングシステム、アクセラレータ装置ドライバーおよび並列演算作業実行に必要なコンテキストなどが必要に応じて配置されてもよい。
【0060】
ＡＣＧ１２０は、ホストコア１１０で実行される並列演算作業ホストプログラム（ＰＣＴ Ａｐｐ．）から図１に開示されているように、一定の大きさの並列スレッドの個数が指定された並列スレッドグループ（ＰＴＧ）の実行を要請されてもよい。
【0061】
一般的に、並列演算作業の並列スレッドの数字は、全体加速コアが特定の時点で同時に実行できる最大スレッドの数字よりも大きい。このように非常に多くの並列スレッドを個別の的に加速コア（ＡＣ）にスケジューリングすることになると、スケジューリングすべき並列スレッドの個数が非常に多くなって、スケジューリングの負荷および遅延によって、アクセラレータの計算性能が低下することがある。そのため、並列スレッドは、並列スレッドグループ（ＰＴＧ）単位でＡＣＧにスケジューリングすることになる。このとき、前記スケジューリングは、ＡＣにＰＴを実行するために、複数のＰＳＲをセッティングすることに対応できる。
【0062】
本発明の一実施例に係る並列演算作業オフローディング装置は、複数のＡＣのために、複数のＰＴを集合スケジューリング可能なデータ構造（ＰＴＧ Ｓｃｈｅｄｕｌｉｎｇ Ｒｅｇｉｓｔｅｒ、ＰＳＲ）を用いて、スケジューリングを支援および実行し、管理レジスターを含むことができる。
【0063】
図３は、本発明の一実施例に係るホストの装置ドライバーとＡＣＧ間の一つの並列スレッドグループ実行過程を示した図である。
【0064】
図３を参照すると、ＰＣＴ Ｈｏｓｔ Ｐｒｏｃｅｓｓは、装置ドライバーに並列演算作業を要請しながら並列スレッドのバイナリー実行コード（並列演算カーネル）をドライバーに伝達することができる。並列演算カーネルは、ユーザー定義演算コードと前記ユーザー定義演算コードが加速コアで並列スレッドとして実行できるように並列スレッドの開始および終了を管理し、後続の並列スデドグル－ムを加速コアグループにスケジューリングする実行スタートアップルチンで構成されてもよい。
【0065】
図３を参照すると、一つのＰＴＧを一つのＡＣＧに行う過程を示したことが分かる。このために、ＰＳＲは、スケジューリング支援レジスター（Ｓｃｈｅｄｕｌｉｎｇ Ｓｕｐｐｏｒｔ Ｒｅｇｉｓｔｅｒｓ、ＳＳＲ）と、実行制御レジスター（Ｅｘｅｃｕｔｉｏｎ Ｃｏｎｔｒｏｌ Ｒｅｇｉｓｔｅｒｓ、ＥＣＲ）とを含むことが分かる。
【0066】
スケジューリング支援レジスター（ＳＳＲ）は、スケジューリング関連多様なオプションを指定することができるスケジューリング制御レジスター（Ｓｃｈｅｄｕｌｉｎｇ Ｃｏｎｔｒｏｌ Ｒｅｇｉｓｔｅｒ、ＳＣＲ）と、ＡＣＧの使用（並列スレッドによって占有中）の状態を指示するＩＤＬＥ状態レジスターとを含むことができる。装置ドライバーは、スケジューリング制御レジスターを通じて実行スタートアップルチンが多様なスケジューリング政策を選択的に適用するようにすることができる。
【0067】
実行制御レジスター（ＥＣＲ）は、実行される並列スレッドグループまたは実行中の並列スレッドグループを区別する識別子レジスター、ＰＴＧ実行に必要なデータ構造レジスター、実行コードを指定するレジスターおよびＰＴＧのＰＴ同時実行レジスター、ＰＴＧ終了状態を制御して報告するレジスターを含むことができる。
【0068】
実行制御レジスターの一部は、ＡＣＧの全ての加速コアに並列スレッドを同時実行するロジッグが連動されてもよい。
【0069】
１）先に、ホストコア１１０の装置ドライバーは、任意のＡＣＧのＩＤＬＥ状態レジスターの値を読み出し、前記ＡＣＧがＩＤＬＥ状態であることを確認することができる。
【0070】
このとき、２）装置ドライバーは、実行制御レジスターの中でＰＴＧ識別子、実行に必要なコードおよびデータ構造を指定するレジスターなどに有効な値を設定して前記ＰＴＧ実行を準備することができる。
【0071】
このとき、３）装置ドライバーは、実行制御レジスターの中でＰＴ同時実行レジスターに有効な値を設定してＰＴＧの全てのＰＴを実行することができる。
【0072】
このとき、４）ＡＣＧは、実行制御レジスターのうち、ＰＴ同時実行レジスターの値が変わる瞬間、ＰＴ同時実行レジスターとＨａｒｄｗｉｒｅｄで連結されたＩＤＬＥ状態レジスターの値をＩＤＬＥからＢＵＳＹに変更することができる。
【0073】
このとき、５）全てのＡＣ１２２は、ＰＴを実行してＰＣＴカーネル関数を行うことができる。
【0074】
このとき、６）前記実行された全てのＰＴは、実行が終了すると、ＰＴのうち、代表ＰＴがＰＴＧ終了レジスターを通じて成功／失敗などの終了状態を報告することができる。代表ＰＴは、事前に状態確認を担当するように設定されたスレッドあるいは最後に完了したスレッドに対応することができる。
【0075】
このとき、７）前記代表ＰＴは、ＩＤＬＥ状態レジスターの値を更新してＩＤＬＥ状態をＢＵＳＹからＩＤＬＥに変更することができる。
【0076】
このとき、８）装置ドライバーは、割り込みまたはＩＤＬＥ状態レジスターのポーリングを通じてＰＴＧ実行終了を確認することができる。
【0077】
このとき、９）装置ドライバーは、ＰＴＧ終了レジスターから実行されたＰＴＧの実行結果を確認することができる。
【0078】
また、並列演算作業オフローディング過程は、前記手続きを繰り返して新しいＰＴＧを実行することができる。
【0079】
図４は、本発明の一実施例に係るホストコアの装置ドライバーとＡＣＧ間の連続的な並列スレッドグループスケジューリング過程を示した図である。
【0080】
図４を参照すると、多数のＰＴＧを効果的にスケジューリングするために、連続的にＰＴＧをＡＣＧにスケジューリングする過程を示したことが分かる。
【0081】
このために、装置ドライバーと代表ＰＴとは、ＰＳＲ１２１のキュー管理レジスター（Ｑｕｅｕｅ Ｍａｎａｇｅｍｅｎｔ Ｒｅｇｉｓｔｅｒｓ）を用いて、スケジューリングを行うことができる。キュー管理レジスターは、キューのベースポインタレジスター、ヘッドオフセットレジスター、テールオフセットレジスターを含むことができる。
【0082】
このとき、装置ドライバーは、スケジューリング制御レジスターを通じて前記代表ＰＴの実行スタートアップルチンコードに並列スレッドグループキュー（ＰＴＧＱ）を用いて、連続的なＰＴＧを実行させるように政策を設定することができる。
【0083】
先に、１）連続的なＰＴＧの中で一番目のＰＴＧの実行は、図３に開示したような過程に従うが、一番目のＰＴＧの実行終了後、正確には終了結果を報告する方法から新しいＰＴＧを実行する手続きは異に行われることもある。
【0084】
このとき、２）代表ＰＴの実行スタートアップルチンコードは、一番目のＰＴＧの実行終了後、ＩＤＬＥ状態レジスターの値は変更せず（引き続き「ＢＵＳＹ」の状態を維持）、終了レジスターではなく、実行結果キュー（ＲｅｓｕｌｔＱ）を通じて実行結果を報告することができる。
【0085】
このとき、３）代表ＰＴの実行スタートアップルチンコードは、終了したＰＴＧの結果エントリーをＲｅｓｕｌｔＱに挿入することができる。
【0086】
このとき、４）代表ＰＴの実行スタートアップルチンコードは、ＰＴＧＱが空いていない場合、一つのＰＴＧの実行終了時に、ＰＴＧＱから一つのＰＴＧ実行要請エントリーを抽出することができる。
【0087】
このとき、５）代表ＰＴの実行スタートアップルチンコードは、実行制御レジスターを設定して抽出したＰＴＧ実行要請エントリーに対応するＰＴＧを実行することができる。
【0088】
このとき、代表ＰＴの実行スタートアップルチンコードは、ＰＴＧＱがＥＭＰＴＹ状態であるかを確認し、ＥＭＰＴＹ状態ではない場合、前記２）～５）の過程をＰＴＧＱがＥＭＰＴＹ状態になるまで繰り返すことができる。
【0089】
また、１－１）装置ドライバーは、一番目のＰＴＧの実行を開始した後、直ちに複数のＰＴＧ実行要請（Ｅｘｅｃｕｔｉｏｎ Ｒｅｑｕｅｓｔ、ＥＲ）をＰＴＧＱに挿入し、ＰＴＧＱ管理レジスターに対する適切な状態監視を通じてＰＴＧＱに空いているスロットが発生すると、ＰＴＧ実行要請をさらに挿入することができる。
【0090】
また、１－２）装置ドライバーは、ＲｅｓｕｌｔＱ管理レジスターに対する適切な状態監視を通じてＲｅｓｕｌｔＱをチェックし、できるだけ早くＰＴＧの結果エントリーをキューから抽出して後続の処理を行うことができる。
【0091】
このとき、ＡＣ１２２は、スレッドスイチングロジッグを用いて、ＰＴＧのＰＴの総個数がＡＣＧの総ＨＴの個数よりも大きい場合には、メモリーアクセスなどの原因でしばらく停止された（ｓｔａｌｌ）並列スレッドのコンテキストブロック（Ｐａｒａｌｌｅｌ Ｔｈｒｅａｄ Ｃｏｎｔｅｘｔ Ｂｌｏｃｋ、ＰＴＣＢ）をスクラッチメモリー（Ｓｃｒａｔｃｈｐａｄ Ｍｅｍｏｒｙ、ＳＭ）１２３でスイチング（Ｉｎ／Ｏｕｔ）することができる。
【0092】
このとき、代表ＰＴの実行スタートアップルチンコードは、ＰＴＧＱにこれ以上行うＰＴＧ実行要請エントリーがないか、既に設定された割合以下に落ちると、スケジューリング制御レジスターの設定有無によって装置ドライバーが実行されるホストコア１１０に割り込みを伝達することができる。
【0093】
前記割り込みを受信したホストコア１１０の装置ドライバーは、追加的なＰＴＧ実行要請エントリーをＰＴＧＱに挿入することができる。
【0094】
このとき、代表ＰＴの実行スタートアップルチンコードは、ＲｅｓｕｌｔＱがＦｕｌｌであるか、一定の比率以上であるとき、ホストコア１１０に割り込みを伝達することができる。
【0095】
このとき、前記割り込みを受信したホストコア１１０の装置ドライバーは、ＰＴＧ実行結果確認を含んだ後続の処理を直ちに行うことができる。
【0096】
図５は、本発明の一実施例に係るホストコアの装置ドライバーとＡＣＧ間の優先順位が適用された多数の並列スレッドグループ実行過程を示した図である。
【0097】
図５を参照すると、ＡＣＧ１２０ごとに多数の優先順位のＰＴＧＱに基盤したＰＴＧスケジューリング過程を示したことが分かる。
【0098】
このとき、優先順位が適用されたＰＴＧスケジューリング過程は、既に設定された優先順位によって他の優先順位のＰＴＧを別途の優先順位キューを通じてスケジューリングすることができる。
【0099】
このとき、優先順位が適用されたＰＴＧスケジューリング過程は、複数のＰＴＧの実行要請を既に設定された優先順位によって前記優先順位に対応するＰＴＧＱのいずれか一つに挿入することができる。
【0100】
例えば、既に設定された優先順位は、ＰＣＴホストプロセスの優先順位、一つのＰＣＴホストプロセスが実行する多数の並列演算作業間の優先順位などを例として挙げることができる。
【0101】
図５に示された複数のＰＴＧＱと一つのＲｅｓｕｌｔＱは、ＳＭ１２３またはメモリーに構成されることが分かる。
【0102】
優先順位基盤のＰＴＧＱは、ＨＷ的にｌｉｎｋを構成して維持することができる。
【0103】
各ＰＴＧＱの有効エントリー数は、ＳＷがプログラミングする別途のレジスター値によって可変することができる。
【0104】
装置ドライバーと代表ＰＴの実行スタートアップルチンコードは、多数のＰＴＧＱ管理レジスターセットを用いて複数のＰＴＧＱを運営することができる。
【0105】
また、代表ＰＴの実行スタートアップルチンコードは、ＰＴＧスケジューリング制御レジスター１２１の設定によって多重キューからＰＴＧ実行要請を抽出する多様なスケジューリング政策を選択することができる。
【0106】
また、各ＡＣＧ１２０は、下位の優先順位のＰＴＧＱに存在する実行要請が無限待機状態（ｓｔａｒｖａｔｉｏｎ）に陷らないように、優先順位のＰＴＧＱ別にプログラマブルタイマーを用いて、既に設定された時間の間スケジューリングされていないＰＴＧ実行要請を見つけることができる。
【0107】
このとき、各ＡＣＧ１２０は、スケジューリングされていないＰＴＧ実行要請を見つけると、当該のＰＴＧ実行要請を、次上位の優先順位のＰＴＧＱの最後実行要請エントリーに移動させる自動ＰＴＧＱ管理ＨＷを含むことができる。
【0108】
図３に示された一つのＰＴＧ実行過程は、カーネルコードデバギングのように、ホストコアとインタラクティブにカーネルを実行する時に用いることができる。
【0109】
図４に示された連続的なＰＴＧスケジューリング過程は、少ないＨＷ費用で高性能を達成するために用いることができる。
【0110】
図６は、本発明の一実施例に係る装置ドライバーと代表ＰＴの実行スタートアップルチン間のＰＴＧ実行要請と、実行結果報告パイプライニングを示した図である。
【0111】
【0112】
装置ドライバーによってスケジューリング制御レジスターにＰＴＧＱを用いるように指定された場合、図４および図５のように、ＰＴＧの全ての並列スレッドの実行が完了すると、ＰＴＧの指定された代表ＰＴは、実行スタートアップルチンコードを実行し、並列スレグル－ム実行完了情報（図６のＰＴＧｘＲｓｌｔに該当）をＲｅｓｕｌｔＱのエントリーに保存し、ＲｅｑｕｌｔＱのキュー管理レジスター値を修正することができる。
【0113】
また、前記代表ＰＴの実行スタートアップルチンコードは、前記ＰＴＧＱで一つのＰＴ実行要請情報（ＰＴＧ Ｅｘｅｃｕｔｉｏｎ Ｒｅｑｅｕｓｔ、図６のＰＴＧｘＥＲに該当）を読み出し、前記実行制御レジスターに設定することによって、低遅延で後続のＰＴＧを前記ＡＣＧにスケジューリングすることができる。
【0114】
ホストコアの装置ドライバーは、ＰＴＧ実行要請情報をＰＴＧＱに連続的に挿入することができる。
【0115】
このとき、加速コアの代表ＰＴは、ＰＴＧ実行完了情報をＲｅｓｕｌｔＱに挿入することができる。
【0116】
このとき、加速コアの代表ＰＴは、一つのＰＴＧ実行要請情報をＰＴＧＱから取り出して低遅延で自分が実行しているＡＣＧに後続のＰＴＧを実行することができる。
【0117】
図７は、本発明の一実施例に係る並列演算作業コンテキストを示した図である。
【0118】
図７を参照すると、メモリーに構成されるＰＣＴコンテキスト（Ｃｏｎｔｅｘｔ）を示したことが分かる。ＰＣＴ Ｃｏｎｔｅｘｔは、メモリー上に個別のＰＣＴ別に生成されるデータ客体の集合であって、コンテキスト管理情報、ページテーブル、ＰＣＴカーネルバイナリー、ＰＣＴが用いるデータバッファーなどの客体と、ＰＴＧの個別のＰＴ実行に必要な実行状態（Ｅｘｅｃｕｔｉｏｎ Ｓｔａｔｅｓ）情報客体が含まれてもよい。前記のように、ＡＣＧに並列スレッドグループを実行するためには、装置ドライバーで各並列スレッドグループ別に並列スレッドの実行のための事前準備作業が必要となる。前記ＡＣＧのＰＴＧスケジューリングレジスター設定だけで、前記ＰＣＴの並列スレッドを実行するため、各並列スレッドの個別のスレッドコンテキストに対応する実行状態（Ｅｘｅｃｕｔｉｏｎ Ｓｔａｔｅｓ）情報がメモリーに予め準備されなければならない。
【0119】
実行状態情報は、並列スレッドグループ共通状態（ｐａｒａｌｌｅｌ＿ｔｈｒｅａｄ＿ｇｒｏｕｐ＿ｃｏｍｍｏｎ＿ｓｔａｔｅ）情報と、当該の並列スレッドグループに含まれる全ての並列スレッドに対する個別の並列スレッド状態（ｐａｒａｌｌｅｌ＿ｔｈｒｅａｄ＿ｓｔａｔｅ）情報を含むことができる。
【0120】
このとき、実行状態情報は、連続的なメモリー空間に割り当てられてもよい。
【0121】
並列スレッドグループ共通状態（ｐａｒａｌｌｅｌ＿ｔｈｒｅａｄ＿ｇｒｏｕｐ＿ｃｏｍｍｏｎ＿ｓｔａｔｅ）情報は、インデックス空間上で並列スレッドグループのＩＤ、並列スレッドグループの大きさ、並列演算作業（インデックス空間）の大きさ、全体並列スレッドグループの個数、カーネル因子情報などを含むことができる。
【0122】
個別の並列スレッド状態（ｐａｒａｌｌｅｌ＿ｔｈｒｅａｄ＿ｓｔａｔｅ）情報は、並列スレッドのローカルＩＤ、全域ＩＤなどを含むことができる。
【0123】
このとき、実行状態情報は、各ＡＣのハードウェアスレッド（ＨＴ）に一つの並列スレッド（ＰＴ）が実行されると、各ハードウェアスレッド（ＨＴ）の制御および状態（Ｃｏｎｔｒｏｌ ａｎｄ Ｓｔａｔｕｓ）レジスターにロードされ、保存することができる。以後、ＰＣＴカーネルのユーザー関数コードが実行され、ＰＣＴカーネルのユーザー関数コードの実行が完了すると、実行スタートアップルチンによるホストコアへの割り込みを発行、またはＩＤＬＥ状態レジスターのアップデート、または次の並列スレッドグループスケジューリングが実行されてもよい。実際にＰＣＴ Ｃｏｎｔｅｘｔは、本発明のフローを支援する範囲で多様に用いることができる。
【0124】
図８は、本発明の一実施例に係る並列演算作業オフローディング方法を示した動作フローチャートである。
【0125】
図８を参照すると、本発明の一実施例に係る並列演算作業オフローディング方法は、図３に示されたホストの装置ドライバーとＡＣＧ間の一つの並列スレッドグループの実行過程を動作フローチャートに示したことが分かる。
【0126】
本発明の一実施例に係る並列演算作業オフローディング方法は、ＩＤＬＥ状態を確認することができる（Ｓ２１０）。
【0127】
すなわち、ステップＳ２１０は、ホストコア１１０の装置ドライバーが任意のＡＣＧのＩＤＬＥ状態レジスターの値を読み出し、前記ＡＣＧがＩＤＬＥ状態であることを確認することができる。
【0128】
また、本発明の一実施例に係る並列演算作業オフローディング方法は、ＰＴＧ実行を準備することができる（Ｓ２２０）。
【0129】
すなわち、ステップＳ２２０は、装置ドライバーが実行制御レジスターの中でＰＴＧ識別子、実行に必要なコードおよびデータ構造を指定するレジスターなどに有効な値を設定して前記ＰＴＧ実行を準備することができる。
【0130】
また、本発明の一実施例に係る並列演算作業オフローディング方法は、ＰＴＧを実行することができる（Ｓ２３０）。
【0131】
すなわち、ステップＳ２３０は、ＡＣＧが実行制御レジスターの中でＰＴ同時実行レジスターの値が変わる瞬間、ＰＴ同時実行レジスターとＨａｒｄｗｉｒｅｄで連結されたＩＤＬＥ状態レジスターの値をＩＤＬＥからＢＵＳＹに変更することができる。
【0132】
このとき、ステップＳ２３０は、全てのＡＣ１２２がＰＴを実行してＰＣＴカーネル関数を行うことができる。
【0133】
また、本発明の一実施例に係る並列演算作業オフローディング方法は、ＰＴＧ実行終了状態を報告することができる（Ｓ２４０）。
【0134】
すなわち、ステップＳ２４０は、前記実行された全てのＰＴは、実行が終了すると、ＰＴの中で事前に設定された代表ＰＴがＰＴＧ終了レジスターを通じて成功／失敗などの終了状態を報告することができる。代表ＰＴは、事前に状態確認を担当するように設定されたスレッドあるいは最後に完了したスレッドに対応することができる。
【0135】
このとき、ステップＳ２４０は、代表ＰＴがＩＤＬＥ状態レジスターの値を更新してＩＤＬＥ状態をＢＵＳＹからＩＤＬＥに変更することができる。
【0136】
また、本発明の一実施例に係る並列演算作業オフローディング方法は、ＰＴＧ実行結果を確認することができる（Ｓ２５０）。
【0137】
すなわち、ステップＳ２５０は、装置ドライバーが割り込みまたはＩＤＬＥ状態レジスターのポーリングを通じてＰＴＧ実行終了を確認することができる。
【0138】
このとき、ステップＳ２５０は、装置ドライバーがＰＴＧ終了レジスターから実行されたＰＴＧの実行結果を確認することができる。
【0139】
また、本発明の一実施例に係る並列演算作業オフローディング方法は、前記手続きを繰り返して新しいＰＴＧを実行することができる。
【0140】
図９は、本発明の一実施例に係る多数のＰＴＧに対する並列演算作業オフローディング方法を示した動作フローチャートである。図１０は、図９に示されたＰＴＧＱにＰＴＧ実行要請を挿入するステップの一例を細部的に示した動作フローチャートである。
【0141】
図９を参照すると、本発明の一実施例に係る多数のＰＴＧに対する並列演算作業オフローディング方法は、図５に示されたホストコアの装置ドライバーとＡＣＧ間の優先順位が適用された多数の並列スレッドグループスケジューリング過程を動作フローチャートに示したことが分かる。
【0142】
本発明の一実施例に係る並列演算作業オフローディング方法は、ＩＤＬＥ状態を確認することができる（Ｓ３１０）。
【0143】
すなわち、ステップＳ３１０は、ホストコア１１０の装置ドライバーが任意のＡＣＧのＩＤＬＥ状態レジスターの値を読み出し、前記ＡＣＧがＩＤＬＥ状態であることを確認することができる。
【0144】
また、本発明の一実施例に係る並列演算作業オフローディング方法は、ＰＴＧ実行を準備することができる（Ｓ３２０）。
【0145】
すなわち、ステップＳ３２０は、装置ドライバーが実行制御レジスターの中でＰＴＧ識別子、実行に必要なコードおよびデータ構造を指定するレジスターなどに有効な値を設定して前記ＰＴＧ実行を準備することができる。
【0146】
また、本発明の一実施例に係る多数のＰＴＧに対する並列演算作業オフローディング方法は、一番目のＰＴＧを実行することができる（Ｓ３３０）。
【0147】
すなわち、ステップＳ３３０は、ＡＣＧが実行制御レジスターの中でＰＴ同時実行レジスターの値が変わる瞬間、ＰＴ同時実行レジスターとＨａｒｄｗｉｒｅｄで連結されたＩＤＬＥ状態レジスターの値をＩＤＬＥからＢＵＳＹに変更することができる。
【0148】
このとき、ステップＳ３３０は、全てのＡＣらがＰＴを実行してＰＣＴカーネル関数を行うことができる。
【0149】
また、本発明の一実施例に係る多数のＰＴＧに対する並列演算作業オフローディング方法は、ＰＴＧＱにＰＴＧ実行要請を挿入することができる（Ｓ３４０）。
【0150】
図１０を参照すると、ステップ３４０は、先にＰＴＧのＰＴを実行することができる（Ｓ３４１）。
【0151】
すなわち、ステップＳ３４１は、代表ＰＴの実行スタートアップルチンコードが一番目のＰＴＧの実行終了後、ＩＤＬＥ状態レジスターの値は変更せず（引き続き「ＢＵＳＹ」状態を維持）、後続のＰＴＧのＰＴを実行することができる。
【0152】
このとき、ステップＳ３４１は、ＡＣ１２２がスレッドスイチングロジッグを用いて、ＰＴＧの中でＰＴの総個数がＡＣＧに含まれた総ＨＴの個数よりも大きい場合には、メモリーアクセスなどの原因でしばらく停止された（ｓｔａｌｌ）並列スレッドのコンテキストブロック（Ｐａｒａｌｌｅｌ Ｔｈｒｅａｄ Ｃｏｎｔｅｘｔ Ｂｌｏｃｋ、ＰＴＣＢ）をスクラッチメモリー（Ｓｃｒａｔｃｈｐａｄ Ｍｅｍｏｒｙ、ＳＭ）１２３でスイチング（Ｉｎ／Ｏｕｔ）することができる。
【0153】
また、ステップＳ３４０は、ＲｅｓｕｌｔＱに終了したＰＴＧ結果エントリーを挿入することができる（Ｓ３４２）。
【0154】
すなわち、ステップＳ３４２は、ＰＴＧの実行終了後、ＩＤＬＥ状態レジスターの値は変更せず、終了レジスターではなく、実行結果キュー（ＲｅｓｕｌｔＱ）を通じて実行結果を報告することができる。
【0155】
このとき、ステップＳ３４２は、代表ＰＴの実行スタートアップルチンコードが終了したＰＴＧの結果エントリーをＲｅｓｕｌｔＱに挿入することができる。
【0156】
このとき、ステップＳ３４２は、ＲｅｓｕｌｔＱがＦｕｌｌであるか、一定の比率以上であるとき、ホストコア１１０に割り込みを伝達することができる。
【0157】
また、ステップＳ３４０は、ＰＴＧＱが空いている（ＥＭＰＴＹ）状態であるかを確認することができる（Ｓ３４３）。
【0158】
すなわち、ステップＳ３４３は、ＰＴＧＱが空いていない場合、一つのＰＴＧの実行終了時に、ＰＴＧＱから一つのＰＴＧ実行要請エントリーを抽出および挿入することができ（Ｓ３４４）、ＰＴＧＱが空いている場合、ＰＴＧ実行手続きを終了してＰＴＧ実行結果を報告することができる（Ｓ３５０）。
【0159】
また、ステップＳ３４０は、ＰＴＧＱでＰＴＧ実行要請を抽出および挿入することができる（Ｓ３４４）。
【0160】
すなわち、このとき、ステップＳ３４４は、キュー管理レジスターが、ＰＴＧＱが空いていない場合、一つのＰＴＧの実行終了時に、ＰＴＧＱから一つのＰＴＧ実行要請エントリーを抽出することができる。
【0161】
このとき、ステップＳ３４４は、代表ＰＴの実行スタートアップルチンコードがＰＴＧ実行要請エントリーを抽出することができる。
【0162】
このとき、ステップＳ３４４は、ＰＴＧ実行要請を既に設定された優先順位によって前記優先順位に対応するＰＴＧＱのいずれか一つから抽出することができる。
【0163】
このとき、ステップＳ３４４は、ホストコア１１０が追加的なＰＴＧ実行要請エントリーをＰＴＧＱに挿入することができる。
【0164】
このとき、ステップＳ３４４は、装置ドライバーが複数のＰＴＧ実行要請（Ｅｘｅｃｕｔｉｏｎ Ｒｅｑｕｅｓｔ、ＥＲ）をＰＴＧＱに挿入し、適切な状態監視を通じてＰＴＧＱに空いているスロットが発生すると、ＰＴＧ実行要請をさらに挿入することができる。
【0165】
また、ステップＳ３４４は、各ＡＣＧ１２０が下位の優先順位のＰＴＧＱに存在するＰＴＧ実行要請が無限待機状態（ｓｔａｒｖａｔｉｏｎ）に陷らないように、優先順位のＰＴＧＱ別にプログラマブルタイマーを用いて、既に設定された時間の間スケジューリングされていないＰＴＧ実行要請を見つけることができる。
【0166】
このとき、ステップＳ３４４は、各ＡＣＧ１２０が、スケジューリングされていないＰＴＧ実行要請を見つけると、当該のＰＴＧ実行要請を、次上位の優先順位のＰＴＧＱの最後実行要請エントリーに移動させることができる。
【0167】
このとき、ステップＳ３４４は、ＡＣＧ１２０が並列スレッドグループキューにこれ以上行う実行要請エントリーがないか、ＰＴＧが既に設定された割合以下に落ちると、スケジューリング制御レジスターの設定有無によって装置ドライバーが実行されるホストコア１１０に割り込みを伝達することができる。
【0168】
また、ステップＳ３４５は抽出された後続のＰＴＧスケジューリングを行うことができる。
【0169】
すなわち、ステップＳ３４５は、事前にメモリーに保存された並列演算作業コンテキストに含まれた並列スレッドグループ実行状態情報を用いて、ＰＴＧをスケジューリングすることができる。
【0170】
このとき、実行状態情報は、前記並列スレッドグループを識別するための共通状態情報、および前記並列スレッドグループが含む並列スレッドを識別するための個別の並列スレッド状態情報を含むことができる。
【0171】
また、ステップＳ３４５は、実行制御レジスターを通じてＰＴＧを実行することができる。
【0172】
このとき、ステップＳ３４５は、前記実行スタートアップルチンコードがスケジューリングしたＰＴＧのＰＴを実行することができる。
【0173】
このとき、ステップＳ３４５は、ＰＴＧＱから代表ＰＴの実行スタートアップルチンが抽出したＰＴＧ実行要請エントリーに対応するＰＴＧを実行することができる。
【0174】
このとき、ステップＳ３４５は、スケジューリングされたＰＴＧがＰＴを実行することができる。
【0175】
また、本発明の一実施例に係る多数のＰＴＧに対する並列演算作業オフローディング方法は、ＰＴＧ実行結果を確認することができる（Ｓ３５０）。
【0176】
このとき、ステップＳ３５０は、前記実行結果キューを確認して前記ＰＴＧの実行終了状態を確認することができる。
【0177】
このとき、ステップＳ３５０は、装置ドライバーが適切な状態監視を通じてＲｅｓｕｌｔＱをチェックし、できるだけ早くＰＴＧの実行結果エントリーをキューから抽出して後続の処理を行うことができる。
【0178】
また、本発明の一実施例に係る多数のＰＴＧに対する並列演算作業オフローディング方法は、ＰＣＴで未実行のＰＴＧが存在するかを確認することができる（Ｓ３６０）。
【0179】
すなわち、ステップＳ３６０は、ＰＣＴで未実行のＰＴＧが存在するかを確認し、未実行のＰＴＧが存在する場合、未実行のＰＴＧに対してＰＴＧＱにＰＴＧ実行要請を挿入し（Ｓ３４０）、ＰＧＴ実行結果を確認（Ｓ３５０）するステップをＰＣＴに未実行のＰＴＧが存在しないまで前記実行終了状態に対応する並列スレッドグループの並列スレッドの実行を繰り返すことができる。
【0180】
これを通じて、本発明は、異種加速コアグループの同時実行ロジッグと個別の並列演算スレッドを実行させる実行スタートアップルチンソフトウェアを用いて、一つのＰＴＧの終了後に他のＰＴＧを連続的に実行させるスケジューリングを行うことができる。
【0181】
前記実行スタートアップルチンソフトウェアは、ＰＣＴ Ｈｏｓｔ Ｐｒｏｃｅｓｓが装置ドライバーに提供する並列演算カーネルをコンパイルする時に並列演算カーネルの一部分として作成されてもよい。したがって、コンパイルタイムに追加的なスケジューリングアルゴリズムを、この実行スタートアップルチンコードとして追加することができ、これを通じて多様なワークロードに対応するスケジューリング柔軟性を確保することができる。
【0182】
図１１は、本発明の一実施例に係るコンピューターシステムを示した図である。
【0183】
図１１を参照すると、本発明の一実施例に係る並列演算作業オフローディング装置は、コンピューターで読み出し可能な記録媒体のようなコンピューターシステム１１００で具現することができる。図１１に示されたように、コンピュータ・システム１１００は、バス１１２０を通じて互いに通信する一つ以上のプロセッサ１１１０、メモリー１１３０、ユーザーインターフェース入力装置１１４０、ユーザーインターフェース出力装置１１５０およびストレージ１１６０を含むことができる。また、コンピュータ・システム１１００は、ネットワーク１１８０に連結されるネットワークインターフェース１１７０をさらに含むことができる。プロセッサ１１１０は、中央処理装置またはメモリー１１３０やストレージ１１６０に保存されたプロセッシングインストラクションを実行する半導体装置であってもよい。メモリー１１３０およびストレージ１１６０は、多様な形態の揮発性または非揮発性保存媒体であってもよい。例えば、メモリーは、ＲＯＭ１１３１やＲＡＭ１１３２を含むことができる。
【0184】
本発明の一実施例に係る並列演算作業オフローディング装置は、一つ以上のプロセッサ１１１０と、前記一つ以上のプロセッサ１１１０によって実行される少なくとも一つ以上のプログラムを保存するメモリー１１３０とを含み、前記少なくとも一つ以上のプログラムは、複数の並列スレッドグループの実行要請を少なくとも一つ以上の並列スレッドグループキューに挿入し、前記実行要求は既に設定された優先順位が存在する場合、前記既に設定された優先順位によって前記優先順位に対応する前記少なくとも一つ以上の並列スレッドグループキューに挿入される、前記優先順位によって並列スレッドグループキューから抽出した並列スレッドグループ実行要請エントリーを用いて並列スレッドグループの並列スレッドを実行し、前記並列スレッドの実行が終了すると、実行結果を実行結果キューに挿入し、前記実行結果キューで報告される前記実行結果を確認して前記並列スレッドグループの実行終了状態を確認し、前記実行終了状態に対応する並列スレッドグループの並列スレッドを実行することができる。
【0185】
このとき、前記一つ以上のプロセッサ１１１０は、一つ以上のホストコア１１０、一つ以上の加速コア１２０、アクセラレータメモリー管理ユニット１３０およびメモリーコントローラー１４０を含むことができる。
【0186】
このとき、前記少なくとも一つ以上のプログラムは、前記優先順位に対応する並列スレッドグループキューでプログラマブルタイマーを用いて、既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけることができる。
【0187】
このとき、前記少なくとも一つ以上のプログラムは、前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を見つけた場合、前記既に設定された時間の間スケジューリングされていない並列スレッドグループ実行要請を、次上位の優先順位の並列スレッドグループキューの最後実行要請エントリーに移動させることができる。
【0188】
このとき、前記少なくとも一つ以上のプログラムは、事前にメモリーに保存された並列演算作業コンテキストに含まれた並列スレッドグループ実行状態情報を用いて、前記優先順位によって実行手順をスケジューリングすることができる。
【0189】
このとき、前記実行状態情報は、前記並列スレッドグループを識別するための共通状態情報、および前記並列スレッドグループが含む並列スレッドを識別するための個別の並列スレッド状態情報を含むことができる。
【0190】
このとき、前記少なくとも一つ以上のプログラムは、スレッドスイチングロジッグを用いて、前記並列スレッドグループのうち、並列スレッドの総個数が加速コアグループに含まれたハードウェアスレッドの個数よりも大きい場合、停止された並列スレッドのコンテキストブロックをスクラッチメモリーでスイチングすることができる。
【0191】
このとき、前記少なくとも一つ以上のプログラムは、前記並列スレッドグループに含まれる並列スレッドの中で事前に設定された代表並列スレッドが、前記並列スレッドグループ実行結果を前記実行結果キューに挿入することができる。
【0192】
このとき、前記少なくとも一つ以上のプログラムは、複数の並列スレッドグループのいずれか一つの一番目の並列スレッドグループをいずれか一つの加速コアグループに実行するステップを含むことができる。
【0193】
このとき、前記少なくとも一つ以上のプログラムは、前記加速コアグループのＩＤＬＥ状態レジスターの値を読み出し、前記加速コアグループがＩＤＬＥ状態であることを確認すると、前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドを実行することができる。
【0194】
このとき、前記少なくとも一つ以上のプログラムは、前記いずれか一つの一番目の並列スレッドグループに含まれた全ての並列スレッドが実行されると、前記ＩＤＬＥ状態レジスターの値をＩＤＬＥからＢＵＳＹに変更し、前記全ての並列スレッドの実行が終了すると、前記ＩＤＬＥ状態レジスターの値をＢＵＳＹからＩＤＬＥに変更することができる。
【0195】
以上のように、本発明の一実施例に係る並列演算作業オフローディング装置および方法は、前記のように説明された実施例の構成と方法が限定的に適用されるものではなく、前記実施例は多様な変形が行われるように各実施例の全部または一部が選択的に組合されて構成されてもよい。
【符号の説明】
【0196】
１１：並列演算カーネル
１２：並列スレッド
１３：並列スレッドグループ
１１０：ホストコア
１２０：加速コアグループ
１３０：アクセラレータメモリー管理ユニット
１４０：メモリーコントローラー
１１００：コンピュータ・システム
１１１０：プロセッサ
１１２０：バス
１１３０：メモリー
１１３１：ロム
１１３２：ラム
１１４０：ユーザーインターフェース入力装置
１１５０：ユーザーインターフェース出力装置
１１６０：ストレージ
１１７０：ネットワークインターフェース
１１８０：ネットワーク
１２：並列スレッド
１３：並列スレッドグループ
１１０：ホストコア
１２０：加速コアグループ
１３０：アクセラレータメモリー管理ユニット
１４０：メモリーコントローラー
１１００：コンピュータ・システム
１１１０：プロセッサ
１１２０：バス
１１３０：メモリー
１１３１：ロム
１１３２：ラム
１１４０：ユーザーインターフェース入力装置
１１５０：ユーザーインターフェース出力装置
１１６０：ストレージ
１１７０：ネットワークインターフェース
１１８０：ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
