特表2022-539956 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 上▲海▼商▲湯▼智能科技有限公司の特許一覧

特表2022-539956メモリ管理方法及び関連製品

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-14

(54)【発明の名称】メモリ管理方法及び関連製品

(51)【国際特許分類】

G06F 9/50 20060101AFI20220907BHJP

【ＦＩ】

G06F9/50 120A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021570921

(86)(22)【出願日】2021-03-05

(85)【翻訳文提出日】2022-01-26

(86)【国際出願番号】 CN2021079390

(87)【国際公開番号】W WO2021253875

(87)【国際公開日】2021-12-23

(31)【優先権主張番号】202010561183.X

(32)【優先日】2020-06-18

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520180323

【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩＳＥＮＳＥＴＩＭＥＩＮＴＥＬＬＩＧＥＮＴＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ１６０５Ａ，Ｂｕｉｌｄｉｎｇ３，３９１ＧｕｉｐｉｎｇＲｏａｄ，ＸｕｈｕｉＤｉｓｔｒｉｃｔ，Ｓｈａｎｇｈａｉ２００２３３Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人ユニアス国際特許事務所

(72)【発明者】

【氏名】李周洋

(57)【要約】

本願の実施例は、メモリ管理方法及び関連製品を開示する。該方法は、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てるステップと、前記第１処理機器は、第２処理機器が第２タスクと前記第１タスクとを順に実行する必要があると決定した場合、前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるステップであって、前記第２キャッシュブロックの少なくとも一部が前記第１キャッシュブロックに含まれるステップとを含む。本願の実施例では、第１処理機器は、第２処理機器が第２タスクと第１タスクを順に実行する必要があると決定した場合、該第１タスクと該第２タスクとは、一部のキャッシュブロックを再利用でき、メモリ利用率を向上できる。
【選択図】図２

【特許請求の範囲】

【請求項1】

メモリ管理方法であって、
第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てるステップと、
前記第１処理機器は、第２処理機器が第２タスクと前記第１タスクとを順に実行する必要があると決定した場合、前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるステップであって、前記第２キャッシュブロックの少なくとも一部が前記第１キャッシュブロックに含まれるステップと、を含む、
ことを特徴とするメモリ管理方法。

【請求項2】

前記第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てるステップの後に、
前記第１処理機器は、前記第１タスクを前記第２処理機器に送信したことに応じて、前記第１キャッシュブロックを前記キャッシュプールに再び入れるステップをさらに含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てるステップの後に、
前記第１処理機器は、前記第１キャッシュブロックに対応する前記第１タスクの位置する第１操作キューを記録するステップをさらに含み、
前記第２処理機器が第２タスクと前記第１タスクとを順に実行する必要があると決定するステップは、
前記第１処理機器は、記録された前記第１タスクの位置する前記第１操作キューに基づいて、前記第１タスクと前記第２タスクとの位置する操作キューが同じであると決定するステップを含む、
ことを特徴とする請求項１又は２に記載の方法。

【請求項4】

前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるステップは、
前記第１処理機器は、前記第２処理機器による前記第１タスクの実行中に、前記キャッシュプールの前記第２キャッシュブロックを前記第２タスクに割り当てるステップを含む、
ことを特徴とする請求項１～３のいずれかに記載の方法。

【請求項5】

前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるステップの前に、
前記第１処理機器は、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記キャッシュプールから検索するステップをさらに含み、
前記第１処理機器は、第２処理機器が第２タスクと前記第１タスクとを順に実行する必要があると決定した場合、前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるステップは、
前記第１処理機器は、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係に基づいて、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てるステップを含む、
ことを特徴とする請求項１～４のいずれかに記載の方法。

【請求項6】

前記第１処理機器は、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記キャッシュプールから検索するステップは、
前記第１処理機器は、前記キャッシュプールから、前記第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックを検索するステップと、
前記第１処理機器は、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記少なくとも１つの候補キャッシュブロックから検索するステップと、を含む、
ことを特徴とする請求項５に記載の方法。

【請求項7】

前記第１処理機器は、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係に基づいて、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てるステップは、
第１処理機器は、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係、及び前記少なくとも１つの候補キャッシュブロックのサイズに基づいて、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てるステップを含む、
ことを特徴とする請求項５又は６に記載の方法。

【請求項8】

前記第１処理機器は、前記少なくとも１つの候補キャッシュブロックが前記第２タスクの要求を満たすキャッシュブロックを含まないと決定した場合、前記キャッシュプールに含まれる、タスクが現在割り当てられていない少なくとも１つのキャッシュブロックから、前記第２タスクに割り当てられるターゲットキャッシュブロックを決定するステップをさらに含む、
ことを特徴とする請求項５～７のいずれかに記載の方法。

【請求項9】

前記第１処理機器は、前記キャッシュプールから、前記第２タスクの要求を満たすキャッシュブロックが検索できなかった場合、前記キャッシュプールを拡張するステップと、
前記第１処理機器は、拡張後の前記キャッシュプールから、前記第２タスクに割り当てられるターゲットキャッシュブロックを検索するステップと、をさらに含む、
ことを特徴とする請求項１～８のいずれかに記載の方法。

【請求項10】

データ処理装置であって、
キャッシュプールの第１キャッシュブロックを第１タスクに割り当てるためのメモリ割り当てユニットと、
第２処理機器が第２タスクと前記第１タスクとを順に実行する必要があるか否かを決定するための処理ユニットとを含み、
前記メモリ割り当てユニットは、さらに、前記第２処理機器が前記第２タスクと前記第１タスクとを順に実行する必要があることが前記処理ユニットによって決定された場合、前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるために用いられ、第２キャッシュブロックの少なくとも一部は前記第１キャッシュブロックに含まれる、
ことを特徴とするデータ処理装置。

【請求項11】

前記処理ユニットは、さらに、前記第１タスクを前記第２処理機器に送信するために用いられ、
前記メモリ割り当てユニットは、さらに、前記第１タスクを前記第２処理機器に送信したことに応じて、前記第１キャッシュブロックを前記キャッシュプールに再び入れるために用いられる、
ことを特徴とする請求項１０に記載のデータ処理装置。

【請求項12】

前記処理ユニットは、さらに前記第１キャッシュブロックに対応する前記第１タスクの位置する第１操作キューを記録するために用いられ、
前記処理ユニットは、記録された前記第１タスクの位置する前記第１操作キューに基づいて、前記第１タスクと前記第２タスクとの位置する操作キューが同じであると決定するために用いられる、
ことを特徴とする請求項１０又は１１に記載のデータ処理装置。

【請求項13】

前記メモリ割り当てユニットは、さらに、前記第２処理機器による前記第１タスクの実行中に、前記キャッシュプールの前記第２キャッシュブロックを前記第２タスクに割り当てるために用いられる、
ことを特徴とする請求項１０～１２のいずれかに記載のデータ処理装置。

【請求項14】

前記メモリ割り当てユニットは、さらに、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記キャッシュプールから検索するために用いられ、
前記メモリ割り当てユニットは、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係に基づいて、前記第２処理機器が前記第２タスクと前記第１タスクとを順に実行する必要があると処理ユニットが決定した場合、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てるために用いられる、
ことを特徴とする請求項１０～１３のいずれかに記載のデータ処理装置。

【請求項15】

前記メモリ割り当てユニットは、前記キャッシュプールから、前記第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックを検索し、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記少なくとも１つの候補キャッシュブロックから検索するために用いられる、
ことを特徴とする請求項１４に記載のデータ処理装置。

【請求項16】

前記メモリ割り当てユニットは、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係に基づいて、前記第２処理機器が前記第２タスクと前記第１タスクとを順に実行する必要があると前記処理ユニットが決定した場合、前記少なくとも１つの候補キャッシュブロックのサイズに基づいて、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てるために用いられる、
ことを特徴とする請求項１４又は１５に記載のデータ処理装置。

【請求項17】

前記メモリ処理ユニットは、さらに、前記少なくとも１つの候補キャッシュブロックが前記第２タスクの要求を満たすキャッシュブロックを含まないことが処理ユニットによって決定された場合、前記キャッシュプールに含まれる、タスクが現在割り当てられていない少なくとも１つのキャッシュブロックから、前記第２タスクに割り当てられるターゲットキャッシュブロックを決定するために用いられる、
ことを特徴とする請求項１４～１６のいずれかに記載のデータ処理装置。

【請求項18】

前記メモリ処理ユニットは、さらに、前記キャッシュプールから、前記第２タスクの要求を満たすキャッシュブロックが検索できなかった場合、前記キャッシュプールを拡張し、拡張後の前記キャッシュプールから、前記第２タスクに割り当てられるターゲットキャッシュブロックを検索するために用いられる、
ことを特徴とする請求項１０～１７のいずれかに記載のデータ処理装置。

【請求項19】

メモリと第１プロセッサとを含む電子機器であって、前記メモリは、命令を記憶するために用いられ、前記第１プロセッサは、前記メモリに記憶された命令を実行し、請求項１～９のいずれかに記載の方法を実行させるために用いられる、
ことを特徴とする電子機器。

【請求項20】

前記電子機器は、第２プロセッサをさらに含み、前記第２プロセッサは、前記第１プロセッサによって割り当てられたキャッシュブロックを用いて、前記第１プロセッサによって送信されたタスクを実行するために用いられる、
ことを特徴とする請求項１９に記載の電子機器。

【請求項21】

コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムは、プログラム命令を含み、前記プログラム命令がプロセッサによって実行されると、前記プロセッサに請求項１～９のいずれかに記載の方法を実行させる、ことを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願はコンピュータ分野に関し、特にメモリ管理方法及び関連製品に関する。

【背景技術】

【0002】

中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＣＰＵ）及び加速機器からなる異種加速システムでは、加速機器におけるメモリ管理戦略がシステム全体の性能と効率に大きく影響する。加速機器とは、ＣＰＵ以外の、加速計算用の機器、たとえば、グラフィックスプロセッシングユニット（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＧＰＵ）、ニューラルネットワークプロセシングユニット（Ｎｅｕｒａｌ－ｎｅｔｗｏｒｋＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＮＰＵ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、ＦＰＧＡ）などである。現在採用されているメモリ管理戦略は、メモリ利用率が低いため、メモリ利用率の高いメモリ管理戦略を研究する必要がある。

【発明の概要】

【0003】

本願の実施例は、メモリ管理方法及び関連製品を開示する。

【0004】

第１態様では、本願の実施例は、メモリ管理方法を提供し、該方法は、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てるステップと、前記第１処理機器は、第２処理機器が第２タスクと前記第１タスクとを順に実行する必要があると決定した場合、前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるステップであって、前記第２キャッシュブロックの少なくとも一部が前記第１キャッシュブロックに含まれるステップと、を含む。

【0005】

第１処理機器は、第２処理機器が第２タスクと第１タスクを順に実行する必要があると決定した場合とは、該第１処理機器は、該第２処理機器が該第１タスクと該第２タスクを並列実行しないことである。つまり、第２処理機器は、該第１タスクと該第２タスクを同時に実行しない。第２処理機器は、第２タスクと第１タスクを順に実行する場合、該第１タスクと該第２タスクを実行するに、同一のキャッシュブロックを同時に占めることが不可能である。従って、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当て、第２タスクに第２キャッシュブロックを割り当て、すなわち、該第１タスクと該第２タスクは、一部のキャッシュブロックを再利用することができる。

【0006】

本願の実施例では、第１処理機器は、第２処理機器が第２タスクと第１タスクを順に実行する必要があると決定した場合、該第１タスクと該第２タスクが一部のキャッシュブロックを再利用することができ、メモリ利用率を向上させることができる。

【0007】

１つの可能な実施形態では、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てるステップの後に、前記方法は、前記第１処理機器は、前記第１タスクを前記第２処理機器に送信したことに応じて、前記第１キャッシュブロックを前記キャッシュプールに再び入れるステップをさらに含む。

【0008】

前記第１処理機器は、前記第１タスクを前記第２処理機器に送信することは、前記第１処理機器は、第２処理機器を呼び出して前記第１タスクを実行することであってもよいし、前記第１タスクを第２処理機器処理のあるタスクキューに提出することであってもよい。前記第１処理機器は、前記第１タスクを前記第２処理機器に送信した直後、前記第１キャッシュブロックを前記キャッシュプールに再び入れることができる。

【0009】

該実施形態では、第１処理機器は、該第１キャッシュプールを再利用するために、直ちに第１キャッシュブロックをキャッシュプールに再び入れることができる。

【0010】

１つの可能な実施形態では、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てるステップの後に、前記方法は、前記第１処理機器は、前記第１キャッシュブロックに対応する前記第１タスクの位置する第１操作キューを記録するステップを含み、第２処理機器が第２タスクと前記第１タスクとを順に実行する必要があると決定するステップは、前記第１処理機器は、記録された前記第１タスクの位置する前記第１操作キューに基づいて、前記第１タスクと前記第２タスクとの位置する操作キューが同じであると決定するステップを含む。

【0011】

任意選択的には、前記第１処理機器は、前記第１タスクを前記第２処理機器に送信したことに応じて、前記第１キャッシュブロックに対応する前記第１タスクの位置する第１操作キューを記録する。任意選択的には、前記第１処理機器が、前記第１キャッシュブロックを前記キャッシュプールに再び入れる操作と、前記第１キャッシュブロックに対応する前記第１タスクの位置する第１操作キューを記録する操作とは、同時に実行されるとしてもよい。つまり、第１処理機器が第１キャッシュブロックをキャッシュプールに再び入れる操作と、該第１キャッシュブロックに対応する第１タスクの位置する第１操作キューを記録する操作とは、バインディングされてもよい。前記第１処理機器は、前記第２タスクをキャッシュブロックに割り当てる前、前記第２タスクの位置する操作キューを知っている。従って、第１処理機器は、記録された第１タスクの位置する第１操作キューに基づいて、該第１タスクと第２タスクとの位置する操作キューが同じであるか否かを決定することができる。

【0012】

該実施形態では、第１処理機器は、記録した第１タスクの位置する第１操作キューに基づいて、該第１タスクと第２タスクの位置する操作キューが同じであると正確かつ迅速に決定することができる。

【0013】

１つの可能な実施形態では、前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるステップは、前記第１処理機器は、前記第２処理機器による前記第１タスクの実行中に、前記キャッシュプールの前記第２キャッシュブロックを前記第２タスクに割り当てるステップを含む。

【0014】

該実施形態では、第１処理機器と第２処理機器とは、並列動作し、作業効率が高い。

【0015】

１つの可能な実施形態では、前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるステップの前に、前記方法は、前記第１処理機器は、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記キャッシュプールから検索するステップをさらに含み、前記第１処理機器は、第２処理機器が第２タスクと前記第１タスクとを順に実行する必要があると決定した場合、前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるステップは、前記第１処理機器は、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係に基づいて、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てるステップを含む。

【0016】

該実施形態では、第１処理機器は、少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと第２タスクとの実行順序関係に基づいて、該少なくとも１つの候補キャッシュブロックから決定された第２キャッシュブロックを該第２タスクに割り当てることによって、該第２タスクは、割り当てられたキャッシュブロックを再利用し、メモリ利用率を向上できる。

【0017】

１つの可能な実施形態では、前記第１処理機器は、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記キャッシュプールから検索するステップは、前記第１処理機器は、前記キャッシュプールから、前記第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックを検索するステップと、前記第１処理機器は、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記少なくとも１つの候補キャッシュブロックから検索するステップとを含む。前記少なくとも１つの候補キャッシュブロックは、いずれも現在タスクが割り当てられているキャッシュブロックであってもよいし、タスクが現在割り当てられているキャッシュブロックを含むとともに、タスクが現在割り当てられていないキャッシュブロックをさらに含むものであってもよい。

【0018】

該実施形態では、少なくとも１つの候補キャッシュブロックから、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを優先的に検索することによって、タスクが現在割り当てられておりかつ第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックを迅速に検索できる。

【0019】

１つの可能な実施形態では、前記第１処理機器は、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記キャッシュプールから検索するステップは、前記第１処理機器は、前記キャッシュプールにおける、タスクが現在割り当てられているキャッシュブロックから、前記第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックを検索するステップを含む。

【0020】

該実施形態では、第１処理機器は、キャッシュプールにおける、タスクが現在割り当てられているキャッシュブロックから、第２タスクに必要なキャッシュサイズを満たすキャッシュブロックを直接検索し、さらに現在タスクが割り当てられているキャッシュブロックを該第２タスクに再びに割り当てることによって、メモリ利用率を向上できる。

【0021】

１つの可能な実施形態では、前記第１処理機器は、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係に基づいて、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てるステップは、第１処理機器は、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係、及び前記少なくとも１つの候補キャッシュブロックのサイズに基づいて、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てるステップを含む。

【0022】

第１処理機器は、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係、及び前記少なくとも１つの候補キャッシュブロックのサイズに基づいて、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てることは、前記第１処理機器は、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクを順に実行すると決定した場合、前記少なくとも１つの候補キャッシュブロックのサイズに基づいて、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てることであってもよい。

【0023】

該実施形態では、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックから決定された第２キャッシュブロックを第２タスクに割り当てることによって、タスクが現在割り当てられているキャッシュブロックを再利用し、メモリ再利用率を向上させることができる。

【0024】

１つの可能な実施形態では、前記方法は、前記第１処理機器は、前記少なくとも１つの候補キャッシュブロックが前記第２タスクの要求を満たすキャッシュブロックを含まないと決定した場合、前記キャッシュプールに含まれる、タスクが現在割り当てられていない少なくとも１つのキャッシュブロックから、前記第２タスクに割り当てられるターゲットキャッシュブロックを決定するステップをさらに含む。

【0025】

該実施形態では、キャッシュプールに含まれる、タスクが現在割り当てられていない少なくとも１つのキャッシュブロックから、第２タスクに割り当てられるターゲットキャッシュブロックを決定することによって、該第２タスクを成功して実行できる。

【0026】

１つの可能な実施形態では、前記方法は、前記第１処理機器は、前記キャッシュプールから、前記第２タスクの要求を満たすキャッシュブロックが検索できなかった場合、前記キャッシュプールを拡張するステップと、前記第１処理機器は、拡張後の前記キャッシュプールから、前記第２タスクに割り当てられるターゲットキャッシュブロックを検索するステップとをさらに含む。

【0027】

該実施形態では、拡張後のキャッシュプールから、第２タスクの要求を満たすキャッシュブロックを検索することによって、第２タスクにその要求を満たすキャッシュブロックを迅速に割り当てることができる。

【0028】

第２形態では、本願の実施例は、データ処理装置を提供し、該データ処理装置は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てるためのメモリ割り当てユニットと、第２処理機器が第２タスクと前記第１タスクとを順に実行する必要があるか否かを決定するための処理ユニットとを含み、前記メモリ割り当てユニットは、さらに、前記第２処理機器が前記第２タスクと前記第１タスクとを順に実行する必要があることが前記処理ユニットにより決定された場合、前記キャッシュプールの第２キャッシュブロックを前記第２タスクに割り当てるために用いられ、前記第２キャッシュブロックの少なくとも一部は、前記第１キャッシュブロックに含まれる。

【0029】

前記処理ユニットと前記メモリ割り当てユニットとは、同一のユニットであってもよいし、２つの独立したユニットであってもよい。いくつかの可能な実施の形態では、処理ユニットは、ＣＰＵなどのプロセッサであり、メモリ割り当てユニットはハードウェアである。いくつかの可能な実施の形態では、処理ユニットは、ＣＰＵなどのプロセッサであり、メモリ割り当てユニットの機能は、プロセッサにより実行されるソフトウェア又はプログラムによって実現される。つまり、処理ユニットの機能及びメモリ割り当てユニットの機能は、いずれも、プロセッサによって実現される。

【0030】

１つの可能な実施形態では、前記処理ユニットは、さらに、前記第１タスクを前記第２処理機器に送信するために用いられ、前記メモリ割り当てユニットは、さらに前記第１タスクを前記第２処理機器に送信したことに応じて、前記第１キャッシュブロックを前記キャッシュプールに再び入れるために用いられる。

【0031】

１つの可能な実施形態では、前記処理ユニットは、さらに、前記第１キャッシュブロックに対応する前記第１タスクの位置する第１操作キューを記録するために用いられ、前記処理ユニットは、記録された前記第１タスクの位置する前記第１操作キューに基づいて、前記第１タスクと前記第２タスクとの位置する操作キューが同じであると決定するために用いられる。

【0032】

１つの可能な実施形態では、前記メモリ割り当てユニットは、さらに、前記第２処理機器による前記第１タスクの実行中に、前記キャッシュプールの前記第２キャッシュブロックを前記第２タスクに割り当てる。

【0033】

１つの可能な実施形態では、前記メモリ割り当てユニットは、さらに、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記キャッシュプールから検索するために用いられ、前記メモリ割り当てユニットは、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係に基づいて、前記第２処理機器が前記第２タスクと前記第１タスクとを順に実行する必要があると処理ユニットが決定した場合、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てるために用いられる。

【0034】

１つの可能な実施形態では、前記メモリ割り当てユニットは、前記キャッシュプールにおける、タスクが現在割り当てられているキャッシュブロックから、前記第２タスクに必要なキャッシュサイズを満たす前記少なくとも１つの候補キャッシュブロックを検索するために用いられる。

【0035】

１つの可能な実施形態では、前記メモリ割り当てユニットは、前記キャッシュプールから、前記第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックを検索し、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを前記少なくとも１つの候補キャッシュブロックから検索するために用いられる。

【0036】

１つの可能な実施形態では、前記メモリ割り当てユニットは、前記少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと前記第２タスクとの実行順序関係に基づいて、前記第２処理機器が前記第２タスクと前記第１タスクとを順に実行する必要があると前記処理ユニットが決定した場合、前記少なくとも１つの候補キャッシュブロックのサイズに基づいて、前記少なくとも１つの候補キャッシュブロックから決定された前記第２キャッシュブロックを前記第２タスクに割り当てるために用いられる。

【0037】

１つの可能な実施形態では、前記メモリ処理ユニットは、さらに、前記少なくとも１つの候補キャッシュブロックが前記第２タスクの要求を満たすキャッシュブロックを含まないことが処理ユニットにより決定された場合、前記キャッシュプールに含まれる、タスクが現在割り当てられていない少なくとも１つのキャッシュブロックから、前記第２タスクに割り当てられるターゲットキャッシュブロックを決定するために用いられる。

【0038】

１つの可能な実施形態では、前記メモリ処理ユニットは、さらに、前記キャッシュプールから、前記第２タスクの要求を満たすキャッシュブロックが検索できなかった場合、前記キャッシュプールを拡張し、拡張後の前記キャッシュプールから、前記第２タスクに割り当てられるターゲットキャッシュブロックを検索するために用いられる。

【0039】

第２態様または様々な可能な実施形態がもたらす技術的効果については、第１態様または対応する実施形態の技術的効果についての説明を参照することができる。

【0040】

第３態様では、本願の実施例は、メモリと第１プロセッサとを含む電子機器を提供し、前記メモリは、命令を記憶するために用いられ、前記第１プロセッサは、前記メモリに記憶された命令を実行し、第１態様及びいずれかの可能な実施形態の方法を実行させるために用いられる。

【0041】

１つの可能な実施形態では、前記電子機器は、第２プロセッサをさらに含み、前記第２プロセッサは、前記第１プロセッサによって割り当てられたキャッシュブロックを用いて、前記第１プロセッサによって送信されたタスクを実行するために用いられる。例示的には、第１プロセッサはＣＰＵであり、第２プロセッサはＧＰＵである。

【0042】

第４態様では、本願の実施例は、第１処理機器、メモリ及び第２処理機器を含む電子機器を提供し、前記メモリは、命令及びデータを記憶するために用いられ、前記第１プロセッサは、前記メモリに記憶された命令を実行し、前記第１プロセッサに第１態様及びいずれかの可能な実施形態の方法を実行させるために用いられ、前記第２処理機器は、前記第１処理機器よって割り当てられたキャッシュブロックを用いて、前記第１プロセッサよって送信されたタスクを実行するために用いられる。例示的には、第１処理機器は、ＣＰＵであり、第２処理機器はＧＰＵである。

【0043】

第５態様では、本願の実施例は、データインタフェース及び第１態様に記載の第１処理機器を含むチップを提供し、前記第１処理機器は、第１態様又は第１態様のいずれかの可能な実施形態における方法を実行するために用いられる。

【0044】

第６態様では、本願の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、該コンピュータプログラムは、プログラム命令を含み、該プログラム命令がプロセッサよって実行されると、該プロセッサに第１態様及びいずれかの任意選択的な実施形態の方法を実行させる。

【0045】

第７態様では、本願の実施例は、プログラム命令を含むコンピュータプログラム製品を提供し、前記プログラム命令がプロセッサによって実行されると、前記プロセッサに第１態様及びいずれかの任意選択的な実施形態の方法を実行させる。

【図面の簡単な説明】

【0046】

本願の実施形態又は背景技術における技術的態様をより明確に説明するために、本願の実施形態又は背景技術において必要とされる図面について説明する。

【図1】本願の実施例に係るデータ処理装置の構造模式図である。

【図2】本願の実施例に係るメモリ管理方法のフローチャートである。

【図3】本願の実施例に係る別のメモリ管理方法のフローチャートである。

【図4】本願の実施例に係る別のメモリ管理方法のフローチャートである。

【図5】本願の実施例に係る別のメモリ管理方法のフローチャートである。

【図6】本願の実施例に係るメモリ管理方法のタイミングチャートである。

【図7】本願の実施例に係る別のメモリ管理方法のフローチャートである。

【図8】本願の実施例に係る別のメモリ管理方法のタイミングチャートである。

【図9】本願の実施例に係るデータ処理装置の構造模式図である。

【図10】本願の実施例に係る別のデータ処理装置の構造模式図である。

【発明を実施するための形態】

【0047】

本願の明細書の実施形態及び特許請求の範囲と図面における用語の「第１」、「第２」、及び「第３」などは、特定の順序または前後の順序を記述するのではなく、類似の対象を区別するために使用される。さらに、用語の「含む」、「有する」及びそれらの任意の変形は、非排他的な包含を含むことを意図し、例えば、一連のステップ又はユニットを含む。方法、システム、製品又は機器は、明確に列挙されたそれらのステップ又はユニットに限定されるものではなく、明確に列挙されていない又はこれらのプロセス、方法、製品又は装置に固有の他のステップ又はユニットを含むことができる。

【0048】

背景技術に記載されているように、異種（ｈｅｔｅｒｏｇｅｎｅｏｕｓ）加速システムにおいて現在採用されているメモリ管理戦略は、メモリ利用率が通常低いため、メモリ利用率の高いメモリ管理戦略を研究する必要がある。本願の実施例は、第１処理機器（たとえば、ＣＰＵ）及び第２処理機器（加速機器に対応する）を有するデータ処理装置（異種加速システムに対応する）に適用される、メモリ利用率の高いメモリ管理方法を提供する。以下、本願の実施例に係るメモリ管理方法が適用されるデータ処理装置の構造を説明し、本願の実施例に係るメモリ管理方法をより容易に説明する。

【0049】

図１は、本願の実施例に係るデータ処理装置の構造模式図である。図１に示すように、該データ処理装置は、第１処理機器１０１、メモリアロケータ１０２、第２処理機器１０３及び機器メモリ１０４を含み、該第１処理機器１０１とメモリアロケータ１０２とは、独立して設けられるか、又は、同一の機器に集成され、第２処理機器１０３と第１処理機器１０１とは、異なる種類の処理機器であり、機器メモリ１０４は、第２処理機器１０３の一部であってもよいし、又は、第２処理機器１０３とは独立して設けられていてもよいが、本開示の実施形態はこれについて限定しない。いくつかの例では、第１処理機器１０１は処理ユニットに対応し、メモリアロケータ１０２はメモリ割り当てユニットに対応する。第１処理機器１０１は、ＣＰＵ又は他の種類のプロセッサであってもよい。いくつかの実施例では、第１処理機器１０１は、ＣＰＵなどのメイン処理機器であってもよく、第２処理機器１０３は、ＧＰＵなどの加速機器であってもよい。第２処理機器１０３は、ＧＰＵ、ＮＰＵ、ＦＰＧＡ、デジタル信号プロセッサ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、専用集積回路（ａｐｐｌｉｃａｔｉｏｎｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ、ＡＳＩＣ）などの、第１処理機器１０１と異なるプロセッサ又は処理装置であってもよい。いくつかの可能な実施の形態では、第１処理機器１０１はＣＰＵであり、メモリ割り当てユニットは、ＣＰＵと互いに独立したハードウェアである。いくつかの可能な実施の形態では、第１処理機器１０１はＣＰＵであり、メモリアロケータ１０２の機能は、第１処理機器１０１で実行されるソフトウェア又はプログラムによって実現される。つまり、いくつかの可能な実施の形態では、メモリアロケータ１０２に対応するエンティティハードウェアは、第１処理機器１０１である。機器メモリ１０４は、第２処理機器１０３が利用可能なメモリであってもよい。例示的には、第２処理機器１０３はＧＰＵであり、機器メモリ１０４は第２処理機器１０３のビデオメモリである。いくつかの実施例では、機器メモリ１０４は第２処理機器１０３の一部である。

【0050】

以下、データ処理装置が本願の実施例に係るメモリ管理方法を実施するとき、第１処理機器１０１、メモリアロケータ１０２、第２処理機器１０３及び機器メモリ１０４の機能についてそれぞれ説明する。

【0051】

第１処理機器（たとえば、ＣＰＵ）１０１は、第２処理機器１０３にタスクを提出し、メモリアロケータ１０２がキャッシュプールにおけるキャッシュを割り当てる及び／又は解放するように制御し、すなわち、メモリアロケータ１０２を介して第２処理機器１０３の機器メモリ１０４を管理するために用いられる。第１処理機器１０１が第２処理機器１０３にタスクを提出することは、第１処理機器１０１がタスクを、第２処理機器１０３の処理すべき操作キューに追加することであってもよいし、タスクを第２処理機器１０３に送信し、たとえば、あるタスクの実行を指示する命令を第２処理機器１０３に送信することであってもよいし、タスクを、第１処理機器１０１が第２処理機器１０３のインターフェースを呼び出して行わせる必要がある操作キューに追加することであってもよいし、他の方式で、第２処理機器１０３にタスクの実行を通知することであってもよい。第１処理機器１０１は、さらに、第２処理機器１０３のインターフェースを呼び出してタスクを実行させるために用いられる。例示的には、操作キューは、並列コンピューティングアーキテクチャ（ｃｏｍｐｕｔｅｕｎｉｆｉｅｄｄｅｖｉｃｅａｒｃｈｉｔｅｃｔｕｒｅ、ＣＵＤＡ）におけるｃｕｄａＳｔｒｅａｍである。同一のｃｕｄａＳｔｒｅａｍにおけるタスクは、提出された順序に従って実行され、異なるｃｕｄａＳｔｒｅａｍにおけるタスクは前後の順序がなく、並列に実行されてもよい。例示的には、操作キューは、オープン計算言語（ＯｐｅｎＣｏｍｐｕｔｉｎｇＬａｎｇｕａｇｅ、ＯｐｅｎＣＬ）におけるｃｌ＿ｃｏｍｍａｎｄ＿ｑｕｅｕｅである。ＯｐｅｎＣＬは、異種プラットフォームに対してプログラムを作成するフレームワークであり、この異種プラットフォームは、ＣＰＵ、ＧＰＵ又は他の種類のプロセッサを含んでもよい。例示的には、操作キューは、Ｃ＋＋ＡＭＰにおけるａｃｃｅｌｅｒａｔｏｒ＿ｖｉｅｗである。Ｃ＋＋ＡＭＰは、マイクロソフトＶｉｓｕａｌＳｔｕｄｉｏ及びＣ＋＋プログラミング言語の新しい拡張であり、開発者が現在と将来の高度並列・異種の計算環境に十分に適することを助けるために使用される。

【0052】

メモリアロケータ１０２は、機器メモリ１０４の管理を担当している。メモリアロケータ１０２は、エンティティハードウェアであってもよい。あるいは、メモリアロケータ１０２の機能は、第１処理機器１０１が実行するソフトウェア又はプログラムによって実現されてもよい。

【0053】

第２処理機器１０３は、機器メモリ１０４を介してデータを読み書きし、第１処理機器１０１により提出されたタスクを実行し、又は第１処理機器１０１によって少なくとも１つのインターフェースが呼び出されることでタスクを完了するように構成される。第２処理機器１０３は、ＧＰＵ、ＮＰＵ、ＡＳＩＣ、ＦＰＧＡなどのＣＰＵ以外の加速機器として理解できる。

【0054】

機器メモリ１０４とは、第２処理機器１０３における記憶デバイス（メモリ空間に対応）であり、第２処理機器１０３によって使用され、たとえば、ＧＰＵ（第２処理機器１０３に対応）のビデオメモリである。

【0055】

いくつかの実施例では、メモリアロケータ１０２には、機器メモリを予め割り当ててキャッシュするためのキャッシュプールが設けられている。このキャッシュプールは、１つの完全な機器メモリであってもよいし、任意のサイズの複数の機器メモリを組み合わせたものであってもよい。第２処理機器１０３がタスクを実行するために機器メモリを使用する必要があると、メモリアロケータ１０２は、直接キャッシュプールからキャッシュを第２処理機器１０３に割り当てることができ、第２処理機器１０３が割り当てられたキャッシュを使用する必要がなくなると、メモリアロケータ１０２は、キャッシュをキャッシュプールに再び入れ、すなわち、キャッシュをキャッシュプールに返却する。いくつかの実施例では、第１処理機器１０１はＣＰＵであり、第２処理機器１０３はＧＰＵであり、機器メモリ１０４は第２処理機器１０３におけるビデオメモリである。ＣＰＵ及びＧＰＵを含む異種計算システムでは、ＣＰＵは、タスク（たとえば、計算タスク又は画像処理タスクなど）の準備と開始を担当し、ＧＰＵは、タスクの実際の実行を担当している。ＣＰＵは、タスクを開始する前に、ＧＰＵがタスクを実行するために使用するビデオメモリを指定する必要がある。ＣＰＵによるビデオメモリに対する割り当て及び解放は、メモリアロケータ１０２によって実際に行われる。メモリアロケータ１０２は、ＧＰＵにおけるビデオメモリの管理を実際に担当している。ＧＰＵは、タスクを実行するとき、ＣＰＵがメモリアロケータ１０２を介して割り当てられた一部のビデオメモリを直接使用する。

【0056】

以下、図２を併せて、データ処理装置が本願の実施例に係るメモリ管理方法を実行するとき、各部材が実行する操作について説明する。図２は、本願の実施例に係るメモリ管理方法のフローチャートである。図２に示すように、該メモリ管理方法は、ステップ２０１と２０２を含む。

【0057】

ステップ２０１において、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てる。

【0058】

第１処理機器は、ＣＰＵ又は他の種類のプロセッサであってもよい。いくつかの実施例では、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てることは、第１処理機器は、メモリアロケータを介してキャッシュプールの第１キャッシュブロックを第１タスクに割り当てることであってもよい。メモリアロケータの機能は、第１処理機器により実行されるソフトウェア又はプログラムによって実現される。第１タスクは、画像処理タスク、計算タスクなどの、第２処理機器（たとえば、ＧＰＵ）が実行すべきタスク、又は、第２処理機器を呼び出して実行させるべきタスクであってもよい。第１キャッシュブロックは、キャッシュプールにおけるいずれかのキャッシュブロックであってもよい。キャッシュプールは、メモリアロケータの内部に設けられるキャッシュ機器メモリ（たとえば、ビデオメモリ）のプールとして理解され得る。例を挙げると、メモリアロケータにより管理されるビデオメモリは、プール（すなわち、キャッシュプール）にキャッシュされる。メモリアロケータは、第２処理機器がビデオメモリを必要とすると、プールから割り当て、該第２処理機器に割り当てされたビデオメモリが使い果たされた後、該第２処理機器がタスクを完了するのを待たず、該ビデオメモリを解放する。このように、キャッシュプールを利用することによって、機器メモリの割り当てと解放中の機器同期を解消できる。機器同期は、第１処理機器（たとえば、ＣＰＵ）がプログラムの実行を停止し、第２処理機器（加速機器に対応）がタスクを完了するのを待つこととして理解され得る。いくつかの実施例では、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てることは、第１タスクの要求を満たすキャッシュブロックをキャッシュプールから優先的に割り当てるが、該キャッシュプールには、該第１タスクの要求を満たすキャッシュブロックがないと、ｃｕｄａＭａｌｌｏｃを呼び出して機器メモリからより多くのメモリを割り当て、キャッシュプールを拡張することであってもよい。ｃｕｄａＭａｌｌｏｃは、ＣＵＤＡにおける、ビデオメモリを割り当てるインターフェースである。

【0059】

いくつかの実施例では、第１タスクは、ある計算タスク又は画像処理タスク又は他の種類の深層学習タスクであってもよい。いくつかの実施例では、第１処理機器は、ステップ２０１を実行する前、次のような操作を実行することができる。第１処理機器は、大きなタスクを分割して、第１タスクを取得することができる。本願の実施例におけるデータ処理装置は、異種計算システムであってもよい。異種計算システムは、計算タスクの並列性種類（ｃｏｎｃｕｒｒｅｎｃｙｔｙｐｅ）を解析した上で、同じ種類のコードセグメントを同一のサブタスクに分割し、そして、異なる並列性種類に応じて、各サブタスクをその実行に最適な計算リソース（たとえば、第２処理機器）に割り当てて実行させ、計算タスクの総実行時間を最小にすることを実現する。このように、第１タスクは、第１処理機器が大きなタスクを分割ことによって得られた、第２処理機器が実行すべきサブタスク又は第２処理機器を呼び出して実行させるサブタスクとして理解され得る。あるいは、第１タスクは、第１処理機器により決定される実行すべきタスク自体であるが、本開示の実施例はこれについて限定しない。

【0060】

いくつかの実施例では、第１処理機器は、ステップ２０１を実行した後、次のような操作を実行することができる。第１処理機器は、第１タスクを第２処理機器に送信したことに応じて、第１キャッシュブロックをキャッシュプールに再び入れる（返却とも呼ばれる）。第１処理機器は、第１タスクを第２処理機器に送信することは、第１処理機器は、タスクを、第２処理機器の処理すべき操作キューに追加することであってもよいし、あるタスクの実行を指示する命令を、第２処理機器に送信することであってもよいし、タスクを、第２処理機器のインターフェースを呼び出して行わせる必要がある操作キューに追加することであってもよいし、他の方式で、第２処理機器にタスクの実行を通知することであってもよいが、本開示の実施例は、これについて限定しない。

【0061】

いくつかの実施例では、第１処理機器は、第１タスクを第２処理機器に送信した後、第２処理機器が第１キャッシュブロックを使用して第１タスクを実行完了するのを待つことなく、直ちに第１キャッシュブロックをキャッシュプールに再び入れることができる。本開示の実施例では、該第１キャッシュブロックの再利用（ｒｅｕｓｅ）を容易にするために、第１処理機器は、第１キャッシュブロックをキャッシュプールに直ちに再び入れることができる。

【0062】

いくつかの実施例では、第１処理機器又はメモリアロケータは、キャッシュプールにおける各キャッシュブロックに対して識別子を設定して、キャッシュブロックの現在状態を表すことができる。一例として、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てることは、該第１処理機器は、該キャッシュプールの該第１キャッシュブロックを第１タスクに割り当て、該第１キャッシュブロックの状態を使用不可に設定し、該第１キャッシュブロックが他のタスクを割り当てることができないことを表すことであってもよい。第１キャッシュブロックをキャッシュプールに再び入れる（返却とも呼ばれる）ことは、該第１キャッシュブロックの状態を使用可能に設定し、該第１キャッシュブロックが他のタスクに割り当てることを表すことであってもよい。本開示の実施例は、さらに、各キャッシュブロックが現在使用可能であるか否かを他の方式で表してもよい。たとえば、第１処理機器は、第１キャッシュブロックを第１タスクに割り当てることは、該第１キャッシュブロックをキャッシュプールに含まれるキャッシュリソースから除去することであってもよい。第１キャッシュブロックをキャッシュプールに再び入れることは、第１キャッシュブロックをキャッシュプールに含まれるキャッシュリソースに再追加することであってもよい。

【0063】

ステップ２０２において、第１処理機器は、第２処理機器が第２タスクと第１タスクとを順に実行する必要があると決定した場合、キャッシュプールの第２キャッシュブロックを第２タスクに割り当てる。

【0064】

第２キャッシュブロックの少なくとも一部は、第１キャッシュブロックに含まれる。第２タスクは、画像処理タスク、計算タスクなどの、第２処理機器（たとえば、ＧＰＵ）が実行すべきタスク又は第２処理機器を呼び出して実行させるべきタスクであってもよい。

【0065】

第１処理機器は、第２処理機器が第２タスクと第１タスクを順に実行する必要があると決定することは、該第１処理機器は、該第２処理機器が該第１タスクと該第２タスクを並列実行しないと決定することである。つまり、第２処理機器は、該第１タスクと該第２タスクを同時に実行しない。該第１タスクと第２タスクとは、同一または異なる種類のタスクであってもよく、たとえば、同一のタスクの異なるサブタスクであってもよいし、異なるタスクのサブタスクであってもよい。本開示の実施例は、これについて限定しない。第２処理機器は、第２タスクと第１タスクを順に実行する場合、該第１タスクと該第２タスクを実行するとき、キャッシュブロックを同時に使用することは不可能であることを理解されたい。従って、第１処理機器は、第２処理機器が第２タスクと第１タスクを順に実行する必要があると決定した場合、第２タスクに第２キャッシュブロックを割り当ててもよく、つまり、該第１タスクと該第２タスクとは、一部のキャッシュブロックを再利用してもよい。以下、第１処理機器は、第２処理機器が第２タスクと第１タスクを順に実行する必要があると決定する実施形態についてさらに詳細に説明する。

【0066】

いくつかの実施例では、第１処理機器のメモリ割り当てと、第２処理機器のタスク処理とを並列に実行でき、それにより、処理効率を向上させる。例を挙げると、第１処理機器は、第２処理機器による第１タスクの実行中に、キャッシュプールの第２キャッシュブロックを第２タスクに割り当てる。

【0067】

本願の実施例では、第１処理機器は、第２処理機器が第２タスクと第１タスクを順に実行する必要があると決定した場合、該第１タスクと該第２タスクとは、一部のキャッシュブロックを再利用でき、メモリ利用率を向上させることができる。

【0068】

以下、第２処理機器が第２タスクと第１タスクを順に実行する必要がある任意選択的な例を説明する。

【0069】

第１処理機器は、第１キャッシュブロックをキャッシュプールに再び入れた後、又は、第１キャッシュブロックをキャッシュプールに再び入れる過程において、第１キャッシュブロックに対応する第１タスクの位置する第１操作キューを記録する。第２タスクにキャッシュブロックを割り当てる過程において、記録された第１タスクの位置する第１操作キューに基づいて、第１タスクと第２タスクとの位置する操作キューが同じであると決定する。第１操作キューは、第２処理機器が実行すべき操作キュー又は第２タスクの位置する操作キューであってもよい。例を挙げると、第１処理機器は、タスクを第２処理機器の第１操作キューに提出し、該第２処理機器は、各タスクが該第１操作キューに提出された順に、該第１操作キューにおけるタスクを実行する。第１操作キューは、第１処理機器が第２処理機器のインターフェースを呼び出して行わせる必要がある操作キューであってもよい。例を挙げると、第１処理機器は、第２処理機器のインターフェースを呼び出して行わせる必要がある操作キューにタスクを追加し、各タスクが該操作キューに追加された順に、第２処理機器のインターフェースを呼び出して各タスクを実行させる。

【0070】

いくつかの実施例では、第１処理機器が第１キャッシュブロックをキャッシュプールに再び入れる操作と、第１キャッシュブロックに対応する第１タスクの位置する第１操作キューを記録する操作とは、同時にまたは任意の順序で実行することができ、たとえば、第１キャッシュブロックをキャッシュプールに再び入れた後、第１キャッシュブロックの今回のタスク割り当て情報を記録し、該タスク割り当て情報は、第１タスクの位置する操作キューの情報を含む。またたとえば、第１処理機器は、第１キャッシュブロックに対応する第１タスクの位置する第１操作キューを記録した直後、第１キャッシュブロックをキャッシュプールに再び入れる。

【0071】

そして、第２タスクにキャッシュブロックを割り当てる過程において、第１処理機器は、記録された第１タスクの位置する第１操作キューに基づいて、たとえば、第１キャッシュブロックのタスク割り当て情報を照会することによって、該第１タスクと第２タスクの位置する操作キューが同じであるか否か、すなわち、割り当てすべき第２タスクと第１キャッシュブロックに割り当てられた第１タスクとが同一の操作キューに属するか否かを決定できる。このように、同一の操作キューにおける異なるタスクは、特定の順序に従って実行され、第１タスクと第２タスクとが同一の操作キューに位置することは、第１タスクと第２タスクとを同時に実行しないことを示す。

【0072】

図３は、本願の実施例に係る別のメモリ管理方法のフローチャートである。図２に示す実施例と同様の点についての説明は簡略化される。

【0073】

ステップ３０１において、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てる。

【0074】

ステップ３０２において、第１処理機器は、第１キャッシュブロックをキャッシュプールに再び入れ、第１キャッシュブロックに対応する第１タスクの位置する第１操作キューを記録する。

【0075】

いくつかの実施例では、第１処理機器は、キャッシュプールに再び入れる各々のキャッシュブロックに対応するタスクの位置する操作キューを記録することができる。つまり、第１処理機器は、キャッシュプールにおける、タスクが現在割り当てられている各キャッシュブロックに対応する操作キューを記録することができる。１つのキャッシュブロックに対応する操作キューは、該キャッシュブロックに割り当てられたタスクが位置する操作キューである。

【0076】

いくつかの実施例では、第１処理機器は、第１キャッシュブロックをキャッシュプールに再び入れる前、該第１キャッシュブロックを解放することができる。例を挙げると、キャッシュプールにおけるキャッシュブロックは、第２処理機器のビデオメモリであり、第１処理機器は、第１キャッシュブロックをキャッシュプールに再び入れる前、メモリアロケータのインターフェースを呼び出すことによって該第１キャッシュブロックを解放する。ｃｕｄａＦｒｅｅインターフェースはＣＵＤＡにおける、ビデオメモリを解放するインターフェースである。いくつかの実施例では、第１キャッシュブロックを解放するということは、該第１キャッシュブロックをキャッシュプールに入れることであり、しかし、該第１キャッシュブロックの割り当てができないことであり、たとえば、該第１キャッシュブロックの状態を使用不可に設定する。第１キャッシュブロックをキャッシュプールに再び入れるということは、該第１キャッシュブロックの割り当てができることであり、たとえば、該第１キャッシュブロックの状態を使用可能に設定することであってもよい。

【0077】

ステップ３０３において、第１処理機器は、記録された第１タスクの位置する第１操作キューに基づいて、第１タスクと第２タスクとの位置する操作キューが同じであると決定した場合、キャッシュプールの第２キャッシュブロックを第２タスクに割り当てる。

【0078】

ステップ３０３は、ステップ２０２の１つの可能な実施形態である。第２キャッシュブロックの少なくとも一部は第１キャッシュブロックに含まれる。

【0079】

いくつかの実施例では、第１処理機器は、キャッシュプールの第２キャッシュブロックを第２タスクに割り当てる前、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックをキャッシュプールから検索することができる。ステップ３０３の一実施形態は、以下のとおりである。少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと第２タスクとの実行順序関係に基づいて、少なくとも１つの候補キャッシュブロックから決定された第２キャッシュブロックを第２タスクに割り当てる。

【0080】

第１処理機器は、キャッシュプールから、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを検索することは、第１処理機器は、キャッシュプールから、第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックを検索し、第１処理機器は、少なくとも１つの候補キャッシュブロックから、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを検索することであってもよい。例示的には、第１処理機器は、少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと第２タスクとの実行順序関係に基づいて、少なくとも１つの候補キャッシュブロックから決定された第２キャッシュブロックを第２タスクに割り当てることは、少なくとも１つの候補キャッシュブロックから、現在割り当てられているタスクと第２タスクとを順に実行する１つ又は複数のターゲットキャッシュブロックを選択し、１つ又は複数のターゲットキャッシュブロックから決定された第２キャッシュブロックを第２タスクに割り当てることであってもよい。例を挙げると、第１処理機器は、キャッシュプールから、第２タスクに必要なキャッシュサイズを満たす１０個の候補キャッシュブロックが検索され、該１０個の候補キャッシュブロックから、現在割り当てられているタスクと第２タスクを順に実行する候補キャッシュブロックを選択し、ターゲットキャッシュブロックを得、該ターゲットキャッシュブロックから決定された第２キャッシュブロックを該第２タスクに割り当てる。本願の実施例では、候補キャッシュブロックは、第２タスクに必要なキャッシュサイズを満たすキャッシュブロックであり、候補キャッシュブロックには、第２タスクに必要なキャッシュサイズを満たすだけではなく、タスクが現在割り当てられている。

【0081】

本願の実施例では、記録された第１タスクの位置する第１操作キューに基づいて、該第１タスクと第２タスクとの位置する操作キューが同じであることを正確かつ迅速に決定し、さらに該第２タスクに第２キャッシュブロックを割り当てることができ、メモリ利用率を向上させることができる。

【0082】

図４は、本願の実施例に係る別のメモリ管理方法のフローチャートである。図２に示す実施例と同様の点についての説明は簡略化される。

【0083】

ステップ４０１において、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てる。

【0084】

ステップ４０２において、第１処理機器は、第１キャッシュブロックをキャッシュプールに再び入れ、第１キャッシュブロックに対応する第１タスクの位置する第１操作キューを記録する。

【0085】

ステップ４０３において、第１処理機器は、キャッシュプールから、第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックを検索する。

【0086】

第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックが検索できた場合、ステップ４０４を実行し、第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックが検索できなかった場合、ステップ４０８を実行する。

【0087】

ステップ４０４において、第１処理機器は、少なくとも１つの候補キャッシュブロックから、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを検索する。

【0088】

タスクが割り当てられている少なくとも１つの候補キャッシュブロックが検索できた場合、ステップ４０５を実行し、タスクが割り当てられている候補キャッシュブロックが検索できなかった場合、ステップ４０６を実行する。

【0089】

ステップ４０５において、第１処理機器は、少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと第２タスクとの実行順序関係に基づいて、少なくとも１つの候補キャッシュブロックから、第２タスクに割り当てられる第２キャッシュブロックを決定する。

【0090】

例示的には、ステップ４０５の１つの可能な実施形態は、以下のとおりである。少なくとも１つの候補キャッシュブロックから、現在割り当てられているタスクと第２タスクを順に実行する候補キャッシュブロックを選択し、１つ又は複数のターゲットキャッシュブロック（例えば、上記第１キャッシュブロック）を取得し、１つ又は複数のターゲットキャッシュブロックから、第２タスクに割り当てられる第２キャッシュブロックを決定する。ステップ４０５は、図２におけるステップ２０２に対応する。

【0091】

例示的には、ステップ４０５の１つの可能な実施形態は、以下のとおりである。第１処理機器は、少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと第２タスクとの実行順序関係、及び少なくとも１つの候補キャッシュブロックのサイズに基づいて、少なくとも１つの候補キャッシュブロックから、第２タスクに割り当てられる第２キャッシュブロックを決定する。例を挙げると、少なくとも１つの候補キャッシュブロックから、現在割り当てられているタスクと第２タスクを順に実行する候補キャッシュブロックを選択し、１つ又は複数のターゲットキャッシュブロック（例えば、上記第１キャッシュブロック）を取得し、１つ又は複数のターゲットキャッシュブロックから、第２タスクに必要なキャッシュサイズを満たす第２キャッシュブロックを選択し、第２タスクに第２キャッシュブロックを割り当てる。一例として、第２タスクに必要なキャッシュサイズを満たすターゲットキャッシュブロックが複数ある場合、第２タスクの要求を満たすターゲットキャッシュブロックから、最小のターゲットキャッシュブロックを第２キャッシュブロックとして選択するが、本開示の実施例は、これについて限定しない。

【0092】

ステップ４０６において、第１処理機器は、キャッシュプールに含まれる、タスクが現在割り当てられていない少なくとも１つの候補キャッシュブロックから、第２タスクに割り当てられる第３キャッシュブロックを決定する。

【0093】

ステップ４０７において、第１処理機器は、第２タスクに第３キャッシュブロックを割り当てる。

【0094】

ステップ４０８において、第１処理機器は、キャッシュプールを拡張し、拡張後のキャッシュプールから、第２タスクに割り当てられる第４キャッシュブロックを検索する。

【0095】

第４キャッシュブロックは、第２タスクに必要なキャッシュサイズを満たすキャッシュブロックであってもよい。例を挙げると、キャッシュプールには、第２タスクの要求を満たすキャッシュブロックがない場合、ｃｕｄａＭａｌｌｏｃインターフェースを呼び出して、機器メモリからより多くのビデオメモリを割り当て、キャッシュプールを拡張する。ｃｕｄａＭａｌｌｏｃインターフェースは、ＣＵＤＡにおける、ビデオメモリを割り当てるインターフェースである。第２タスクの要求を満たすとは、第２タスクに必要なキャッシュサイズを満たすことである。

【0096】

ステップ４０９において、第１処理機器は、第２タスクに第４キャッシュブロックを割り当てる。

【0097】

このように、第２タスクに対するキャッシュの割り当てが完了する。いくつかの実施例では、該方法は、さらに、ステップ４１０を含んでもよい。

【0098】

ステップ４１０において、第１処理機器は、キャッシュプールを空にする。

【0099】

いくつかの実施例では、第１処理機器は、第２処理機器を呼び出してタスクを実行させる必要がない場合、キャッシュプールにおけるキャッシュを第２処理機器の機器メモリに返却することができる。例を挙げると、第１処理機器は、ｃｕｄａＦｒｅｅインターフェースを呼び出してキャッシュプールにおけるビデオメモリをＧＰＵ（すなわち、第２処理機器）に返却し、すなわち、キャッシュプールを空にする。

【0100】

本願の実施例では、第１処理機器は、まず、第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックを決定し、そして、該少なくとも１つの候補キャッシュブロックから、タスクが現在割り当てられており、かつ割り当てられているタスクと第２タスクとを順に実行する少なくとも１つの候補キャッシュブロックを優先的に選択することによって、第２タスクにその要求を満たすキャッシュブロックを迅速に割り当てることができ、メモリ利用率を向上させることができる。

【0101】

図５は、本願の実施例に係る別のメモリ管理方法のフローチャートである。

【0102】

ステップ５０１において、第１処理機器は、キャッシュプールの第１キャッシュブロックを第１タスクに割り当てる。

【0103】

ステップ５０２において、第１処理機器は、第１キャッシュブロックをキャッシュプールに再び入れ、第１キャッシュブロックに対応する第１タスクの位置する第１操作キューを記録する。

【0104】

ステップ５０３において、第１処理機器は、キャッシュプールから、タスクが現在割り当てられておりかつ第２タスクの要求を満たす候補キャッシュブロックが検索できたか否かを決定する。

【0105】

タスクが現在割り当てられておりかつ第２タスクの要求を満たす少なくとも１つの候補キャッシュブロックが検索できた場合、ステップ５０４を実行し、タスクが現在割り当てられておりかつ第２タスクの要求を満たす候補キャッシュブロックが検索できなかった場合、ステップ５０５を実行する。

【0106】

ステップ５０４において、第１処理機器は、少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと第２タスクとの実行順序関係に基づいて、少なくとも１つの候補キャッシュブロックから決定された第２キャッシュブロックを第２タスクに割り当てる。

【0107】

ステップ５０４の実施形態は、ステップ４０５の実施形態と同じであってもよい。

【0108】

ステップ５０５において、第１処理機器は、キャッシュプールから、タスクが現在割り当てられておらずかつ第２タスクの要求を満たすキャッシュブロックが検索できたか否かを決定する。

【0109】

第１処理機器は、キャッシュプールから、タスクが現在割り当てられておらずかつ第２タスクの要求を満たすキャッシュブロックが検索できた場合、ステップ５０６を実行し、第１処理機器は、キャッシュプールから、タスクが現在割り当てられておらずかつ第２タスクの要求を満たすキャッシュブロックが検索できなかった場合、ステップ５０７を実行する。

【0110】

ステップ５０６において、第１処理機器は、検索できた、タスクが現在割り当てられておらずかつ第２タスクの要求を満たすキャッシュブロックから、第２タスクに割り当てられる第３キャッシュブロックを決定する。

【0111】

ステップ５０７において、第１処理機器は、キャッシュプールを拡張し、拡張後のキャッシュプールから、第２タスクに割り当てられる第４キャッシュブロックを検索する。

【0112】

本願の実施例では、タスクが現在割り当てられておりかつ第２タスクの要求を満たすキャッシュブロックから優先的に検索し、第２タスクにキャッシュブロックを割り当てることによって、検索速度を向上させることができるとともに、メモリ再利用率を向上させることができる。

【0113】

以下、図６におけるメモリ管理方法のタイミングチャートを併せて、図２～図５におけるメモリ管理方法についてさらに説明する。図６は、図２～図５におけるメモリ管理方法に対応する、本願の実施例に係るメモリ管理方法のタイミングチャートである。図６に示すように、第１処理機器は、割り当て１、タスク提出１（第１タスクに対応）、解放１、割り当て２、タスク提出２（第２タスクに対応）及び解放２を順に実行する。第２処理機器は、タスク実行１及びタスク実行２を順に実行する。割り当て１は、第１処理機器がタスク１に第１キャッシュブロックを割り当てることを表し、割り当て２は、第１処理機器がタスク２に第２キャッシュブロックを割り当てることを表し、タスク提出１は、第１処理機器が該タスク１を第２処理機器の操作キューに提出することを表し、タスク提出２は、第１処理機器がタスク２を第２処理機器の操作キューに提出することを表し、解放１は、第１処理機器が、メモリアロケータが第１キャッシュブロックを解放して、該第１キャッシュブロックをキャッシュプールに再び入れるように制御することを表し、解放２は、第１処理機器が、メモリアロケータが第２キャッシュブロックを解放して、該第２キャッシュブロックをキャッシュプールに再び入れるように制御することを表し、タスク実行１は、第２処理機器が該タスク１を実行することを表し、タスク実行２は、第２処理機器がタスク２を実行することを表す。図６では、第１処理機器が割り当て１を実行して割り当てられる第１キャッシュブロックと、第１処理機器が割り当て２を実行して割り当てられる第２キャッシュブロックとは、同一であるかまたは重複している。つまり、第２処理機器によって実行される同一操作キューのタスクについて、キャッシュブロックを再利用してもよい。いくつかの実施例では、第２処理機器が第１タスクを実行して使用される第１キャッシュブロックと、第２タスクを実行して使用される第２キャッシュブロックとは、同一であることが理解されたい。例を挙げると、第２処理機器はＧＰＵであり、ＧＰＵは、同一の操作キューの計算タスクを実行するときに、同一のブロックのビデオメモリを再利用してもよい。図６に示すように、第１処理機器は、タスク提出１、解放１、割り当て２及びタスク提出２の操作を実行すると同時に、第２処理機器は、タスク１を実行する。第２処理機器は、タスク２を実行するとき、第１処理機器は、解放２の操作を実行する。これから分かるように、第１処理機器は、第２処理機器がタスク１を完了するのを待つことなく、解放１、割り当て２及びタスク提出２の操作を実行する。つまり、第１処理機器と第２処理機器とを同期させる必要がなく、非同期計算モードを実現し、計算性能を向上させることができる。

【0114】

本願の実施例では、第２処理機器は、タスクが実行される順にキャッシュを再利用でき、第１処理機器と第２処理機器とは、非同期計算モードを実現することができ、メモリ利用率を向上させるとともに、計算効率を向上させることができる。

【0115】

図７は、本願の実施例に係る別のメモリ管理方法のフローチャートである。図７に示すように、該方法は、ステップ７０１～ステップ７０６を含む。

【0116】

ステップ７０１において、第１処理機器は、第３タスクにキャッシュプールにおける第５キャッシュブロックを割り当てる。

【0117】

ステップ７０１の実施形態は、ステップ３０１の実施形態と同様であってもよい。

【0118】

ステップ７０２において、第１処理機器は、第３タスクを第２処理機器の操作キューに提出する。

【0119】

いくつかの実施例では、第１処理機器は、第３タスクを第２処理機器の操作キューに提出した直後、第５キャッシュブロックを解放する。

【0120】

ステップ７０３において、第１処理機器は、第３タスクが完了したかどうかを検査する。

【0121】

そうである場合、ステップ７０４を実行し、そうではない場合、ステップ７０３を再実行する。いくつかの実施例では、第１処理機器は、第３タスクが完了したかどうかを定期的に（たとえば、５ｍｓ、１０ｍｓなどおきに）検査することができる。第３タスクが完了したことを検査した場合、メモリアロケータを呼び出して第５キャッシュブロックをキャッシュプールに再び入れ、そうではない場合、定期検査を続行する。いくつかの実施例では、ステップ７０３は、毎回キャッシュブロック（たとえば、第５キャッシュブロック）を解放する前に、第３タスクが完了したかどうかを検査することに置き換えられる。いくつかの実施例では、ステップ７０３は、毎回キャッシュブロック（たとえば、第５キャッシュブロック）を申し込む前、第３タスクが完了したかどうかを検査することに置き換えられる。第１処理機器は、第３タスクが完了したかどうかを他の方式で検査してもよいが、本願の実施例は限定しない。

【0122】

ステップ７０４において、第１処理機器は、第５キャッシュブロックをキャッシュプールに再び入れる。

【0123】

ステップ７０５において、第１処理機器は、第４タスクにキャッシュプールにおける第６キャッシュブロックを割り当てする。

【0124】

第５キャッシュブロックと、第６キャッシュブロックとは、重複していない。

【0125】

ステップ７０６において、第１処理機器は、第４タスクを第２処理機器の操作キューに提出する。

【0126】

第２処理機器は、第５キャッシュブロックを占有して第３タスクを実行し、第６キャッシュブロックを占有して第４タスクを実行することを理解されたい。

【0127】

本願の実施例では、第１処理機器は、第２処理機器におけるタスクが完了したか否かを定期的に検査し、いずれかの計算タスクが完了すると、第２処理機器におけるすべての計算タスクが完了するのを待つことなく、該いずれかの計算タスクに対応するキャッシュを解放することによって、処理効率を向上させることができる。

【0128】

以下、図８におけるメモリ管理方法のタイミングチャートを併せて、図７のメモリ管理方法についてさらに説明する。図８は、図７におけるメモリ管理方法に対応する、本願の実施例に係るメモリ管理方法のタイミングチャートである。図８に示すように、第１処理機器は、割り当て１、タスク提出１（第３タスクに対応）、解放１、割り当て２、タスク提出２（第４タスクに対応）及び解放２を順に実行し、第２処理機器は、タスク実行１及びタスク実行２を順に実行する。図８では、割り当て１は、第１処理機器がタスク１にキャッシュプールにおける第５キャッシュブロックを割り当てることを表し、割り当て２は、第１処理機器がタスク２にキャッシュプールにおける第６キャッシュブロックを割り当てることを表し、タスク提出１は、第１処理機器が該タスク１を第２処理機器の操作キューに提出することを表し、タスク提出２は、第１処理機器が該タスク２を第２処理機器の操作キューに提出することを表し、解放１は、第１処理機器が第５キャッシュブロックを解放することを表し、解放２は、第１処理機器が第６キャッシュブロックを解放することを表し、タスク実行１は、第２処理機器が該タスク１を実行することを表し、タスク実行２は、第２処理機器がタスク２を実行することを表す。図８では、第１処理機器が割り当て１を実行して割り当てられる第５キャッシュブロックと、割り当て２を実行して割り当てられる第６キャッシュブロックとは、いかなる同一のキャッシュもない。つまり、第２処理機器によって実行される同一操作キューの計算タスクについて、キャッシュブロックを再利用することはでない。図６のタイミングチャートについての説明と比較すると、図８のタイミングチャートにおける解放１の操作は、第１処理機器が第５キャッシュブロックを解放することである一方、図６のタイミングチャートにおける解放１の操作は、第１処理機器が第１キャッシュブロックを解放し、該第１キャッシュブロックをキャッシュプールに再び入れることである。図８のタイミングチャートにおける解放２の操作は、第１処理機器が第６キャッシュブロックを解放することである一方、図６のタイミングチャートにおける解放２の操作は、第１処理機器が第２キャッシュブロックを解放し、該第２キャッシュブロックをキャッシュプールに再び入れることである。図７のメモリ管理方法では、第１処理機器が、いずれかの計算タスクを第２処理機器の操作キューに提出した後、該いずれかの計算タスクが第２処理機器によって完了されたかどうかを定期的に検査し、該いずれかの計算タスクが完了されると、該いずれかの計算タスクが占有するメモリ空間をキャッシュプールに再び入れる。つまり、第１処理機器は、ある計算タスクを実行するキャッシュブロックを第２処理機器に割り当て、該計算タスクが完了されるまで、該キャッシュブロックをキャッシュプールに再び入れる。図８に示すように、第１処理機器は、タスク提出１、解放１、割り当て２及びタスク２の操作を実行すると同時に、第２処理機器は、タスク１を実行する。第２処理機器は、タスク２を実行するとき、第１処理機器は、解放２の操作を実行する。これから分かるように、第１処理機器は、第２処理機器がタスク１を完了するのを待つことなく、解放１、割り当て２及びタスク提出２の操作を実行する。つまり、第１処理機器と第２処理機器とを同期させる必要がなく、非同期計算モードを実現し、計算性能を向上させることができる。

【0129】

本願の実施例では、第１処理機器と第２処理機器は、非同期計算モードを実現することができ、メモリ利用率を向上させることができる。

【0130】

以下、上述した実施例に係るメモリ管理方法を実現できるデータ処理装置の構造について説明する。

【0131】

図９は、本願の実施例に係るデータ処理装置の構造模式図であり、図９に示すように、該データ処理装置は、
キャッシュプールの第１キャッシュブロックを第１タスクに割り当てるためのメモリ割り当てユニット９０１と、
第２処理機器が第２タスクと第１タスクを順に実行する必要があるか否かを決定するための処理ユニット９０２とを含み、
メモリ割り当てユニット９０１は、さらに、第２処理機器が第２タスクと第１タスクを順に実行する必要があると処理ユニットが決定した場合、キャッシュプールの第２キャッシュブロックを第２タスクに割り当てるために用いられ、前記第２キャッシュブロックの少なくとも一部は第１キャッシュブロックに含まれる。

【0132】

処理ユニットとメモリ割り当てユニットとは、同一のユニットであってもよいし、２つの独立したユニットであってもよい。いくつかの可能な実施の形態では、処理ユニットは、ＣＰＵなどのプロセッサであり、メモリ割り当てユニットはハードウェアである。いくつかの可能な実施の形態では、処理ユニットは、ＣＰＵなどのプロセッサであり、メモリ割り当てユニットの機能は、プロセッサにより実行されるソフトウェア又はプログラムによって実現される。つまり、処理ユニットの機能及びメモリ割り当てユニットの機能は、いずれも、プロセッサによって実現される。

【0133】

１つの可能な実施形態では、処理ユニット９０２は、さらに、第１タスクを第２処理機器に送信するために用いられる、メモリ割り当てユニット９０１は、さらに、第１タスクを第２処理機器に送信したことに応じて、第１キャッシュブロックをキャッシュプールに再び入れるために用いられる。

【0134】

１つの可能な実施形態では、処理ユニット９０２は、さらに、第１キャッシュブロックに対応する第１タスクの位置する第１操作キューを記録するために用いられ、処理ユニット９０２は、記録された第１タスクの位置する第１操作キューに基づいて、第１タスクと第２タスクとの位置する操作キューが同じであると決定するために用いられる。

【0135】

１つの可能な実施形態では、メモリ割り当てユニット９０１は、さらに、第２処理機器による第１タスクの実行中に、キャッシュプールの第２キャッシュブロックを第２タスクに割り当てるために用いられる。

【0136】

１つの可能な実施形態では、メモリ割り当てユニット９０１は、さらに、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックをキャッシュプールから検索するために用いられ、メモリ割り当てユニット９０１は、処理ユニットが少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと第２タスクとの実行順序関係に基づいて、第２処理機器が第２タスクと第１タスクを順に実行する必要があると決定した場合、少なくとも１つの候補キャッシュブロックから決定された第２キャッシュブロックを第２タスクに割り当てるために用いられる。

【0137】

１つの可能な実施形態では、メモリ割り当てユニット９０１は、キャッシュプールから、第２タスクに必要なキャッシュサイズを満たす少なくとも１つの候補キャッシュブロックを検索し、少なくとも１つの候補キャッシュブロックから、タスクが現在割り当てられている少なくとも１つの候補キャッシュブロックを検索するために用いられる。

【0138】

１つの可能な実施形態では、メモリ割り当てユニット９０１は、処理ユニットが少なくとも１つの候補キャッシュブロックに現在割り当てられているタスクと第２タスクとの実行順序関係に基づいて、第２処理機器が第２タスクと第１タスクを順に実行する必要があると決定した場合、少なくとも１つの候補キャッシュブロックのサイズに基づいて、少なくとも１つの候補キャッシュブロックから決定された第２キャッシュブロックを第２タスクに割り当てるために用いられる。

【0139】

１つの可能な実施形態では、メモリ処理ユニット９０１は、さらに、処理ユニットが少なくとも１つの候補キャッシュブロックが第２タスクの要求を満たすキャッシュブロックを含まないと決定した場合、キャッシュプールに含まれる、タスクが現在割り当てられていない少なくとも１つのキャッシュブロックから、第２タスクに割り当てられるターゲットキャッシュブロックを決定するために用いられる。

【0140】

１つの可能な実施形態では、メモリ処理ユニット９０１は、さらに、キャッシュプールから、第２タスクの要求を満たすキャッシュブロックが検索できなかった場合、キャッシュプールを拡張し、拡張後のキャッシュプールから、第２タスクに割り当てられるターゲットキャッシュブロックを検索するために用いられる。

【0141】

図１０は、本願の実施例に係る別のデータ処理装置の構造模式図であり、図１０に示すように、該データ処理装置は、第１プロセッサ１００１、第２プロセッサ１００２、及びメモリ１００３を含み、メモリは、命令及びデータを記憶するために用いられ、第１プロセッサは、メモリに記憶された命令を実行し、第１プロセッサに上記いずれかの実施例に記載のメモリ管理方法を実行させるために用いられ、第２処理機器は、第１処理機器により割り当てられたキャッシュブロックを用いて、第１プロセッサにより送信されたタスクを実行するために用いられる。メモリ１００３は、第２プロセッサ１００２により使用される機器メモリ、及び第１プロセッサ１００１のメモリを含むことができる。例示的には、第１処理機器は、ＣＰＵであり、第２処理機器はＧＰＵであり、メモリ１００３は、ＧＰＵのビデオメモリを含む。

【0142】

本願の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、コンピュータプログラムがプロセッサにより実行されると、上記いずれかの実施例に記載のメモリ管理方法を実現する。該コンピュータ読み取り可能な記憶媒体は、非一時的なコンピュータ読み取り可能な記憶媒体を含む。

【0143】

本願の実施例は、命令を含むコンピュータプログラム製品をさらに提供し、コンピュータ上で実行されると、コンピュータに上記実施例に係るメモリ管理方法を実行させる。

【0144】

本願の実施例は、メモリ及び第１プロセッサを含む電子機器をさらに提供し、前記メモリは、命令を記憶するために用いられ、前記第１プロセッサは、前記メモリに記憶された命令を実行し、前記第１プロセッサに上記いずれかの実施例に記載のメモリ管理方法を実行させるために用いられる。前記電子機器は、第２プロセッサをさらに含むことができ、前記第２プロセッサは、前記第１プロセッサにより割り当てられたキャッシュブロックを用いて、前記第１プロセッサにより送信されたタスクを実行するために用いられる。

【0145】

本願の実施例は、データインタフェース及び第１態様に記載の第１処理機器を含むチップを提供し、前記第１処理機器は、上記いずれかの実施例に記載のメモリ管理方法を実行するために用いられる。

【0146】

上記したものは、本出願の具体的な実施形態に過ぎず、本出願の保護範囲はこれに限定されず、当業者は本出願に開示された技術的範囲内で、様々な等価の修正や置換を容易に想到することができ、これらの修正や置換はいずれも本出願の保護範囲内に含まれるべきである。したがって、本願の保護範囲は特許請求の範囲を基準とすべきである。

【図1】