特許 7164733 データ記憶

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-24

(45)【発行日】2022-11-01

(54)【発明の名称】データ記憶

(51)【国際特許分類】

   G06F 12/02 20060101AFI20221025BHJP

   G06F 12/084 20160101ALI20221025BHJP

【ＦＩ】

G06F12/02 510B

G06F12/084

【請求項の数】 20

(21)【出願番号】P 2021557735

(86)(22)【出願日】2020-12-16

(65)【公表番号】

(43)【公表日】2022-08-23

(86)【国際出願番号】 CN2020136966

(87)【国際公開番号】W WO2021232769

(87)【国際公開日】2021-11-25

【審査請求日】2021-09-28

(31)【優先権主張番号】202010420206.5

(32)【優先日】2020-05-18

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520291939

【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１－１１１７，１１ｔｈ Ｆｌｏｏｒ Ｎｏ．５８ Ｎｏｒｔｈｗｅｓｔ ４ｔｈ Ｒｉｎｇ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００８０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】▲張▼ 峰

(72)【発明者】

【氏名】周 乃彪

(72)【発明者】

【氏名】胡 英俊

(72)【発明者】

【氏名】王 文▲強▼

(72)【発明者】

【氏名】蒋 科

【審査官】後藤 彰

(56)【参考文献】

【文献】特開２００７－３１０６２６（ＪＰ，Ａ）

【文献】国際公開第２０１９／０３８８５９（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０９１１７２７３（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０４２７３９４（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０５５５８９０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １２／０２

Ｇ０６Ｆ １２／０８４

(57)【特許請求の範囲】

【請求項1】

データを記憶するための方法であって、
記憶待ちデータに必要なストレージスペースの大きさに基づいて目標メモリ中の少なくとも２つの候補ストレージスペースを確定することと、
前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することと、
前記複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みに基づいて、前記記憶待ちデータの目標ストレージソリューションを確定することと、を含み、
各候補ストレージスペースは、少なくとも１つの候補ストレージソリューションに対応する
ことを特徴とするデータを記憶するための方法。

【請求項2】

前記候補ストレージスペースに対応する候補ストレージソリューションは、第１候補ストレージソリューションおよび第２候補ストレージソリューションの中の少なくとも１つを含み、
前記第１候補ストレージソリューション中の開始記憶アドレスは、前記候補ストレージスペースの開始アドレスであり、前記第２候補ストレージソリューション中の終了記憶アドレスは、前記候補ストレージスペースの終了アドレスである
ことを特徴とする請求項１に記載のデータを記憶するための方法。

【請求項3】

前記記憶待ちデータに対応する第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することは、
複数の候補ストレージソリューションに対して、前記記憶待ちデータの第１データリリース時間および第２データリリース時間に基づいて、当該候補ストレージソリューションの目標重みを確定することを含み、
前記第２データリリース時間は、前記記憶待ちデータの前記候補ストレージソリューションにおける記憶位置に隣接するストレージスペースに記憶されたデータのデータリリース時間である
ことを特徴とする請求項１または２に記載のデータを記憶するための方法。

【請求項4】

当該候補ストレージソリューションの前記目標重みは、前記第１データリリース時間と前記第２データリリース時間との間の時間間隔と負の相関関係を有する
ことを特徴とする請求項３に記載のデータを記憶するための方法。

【請求項5】

前記記憶待ちデータに対応する第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することは、
複数の候補ストレージソリューションに対して、前記記憶待ちデータのライフサイクルおよび前記候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスに基づいて、当該候補ストレージソリューションの目標重みを確定することを含み
ことを特徴とする請求項１または２に記載のデータを記憶するための方法。

【請求項6】

前記複数の候補ストレージソリューションに対して、前記記憶待ちデータのライフサイクルおよび当該候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスに基づいて、当該候補ストレージソリューションの目標重みを確定することは、
前記記憶待ちデータに対応する最大ライフサイクルを確定することと、
前記記憶待ちデータのライフサイクルと前記最大ライフサイクルとの間の第１比率値を確定することと、
当該候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスと前記目標メモリの終了アドレスとの間の第２比率値を確定することと、
前記第１比率値および前記第２比率値に基づいて当該候補ストレージソリューションの前記目標重みを確定することと、を含む
ことを特徴とする請求項５に記載のデータを記憶するための方法。

【請求項7】

前記候補ストレージソリューションの前記目標重みは、前記第１比率値と前記第２比率値との間の差分の絶対値と負の相関関係を有する
ことを特徴とする請求項６に記載のデータを記憶するための方法。

【請求項8】

前記記憶待ちデータに対応する第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することは、
複数の候補ストレージソリューションに対して、前記記憶待ちデータに対応する第１データリリース時間および第２データリリース時間に基づいて、当該候補ストレージソリューションの第１重みを確定することと、
前記記憶待ちデータのライフサイクルおよび当該候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスに基づいて、当該候補ストレージソリューションの第２重みを確定することと、
前記第１重みと前記第２重みの加重和に基づいて、当該候補ストレージソリューションの目標重みを得ることと、を含み、
前記第２データリリース時間は、前記記憶待ちデータの当該候補ストレージソリューションにおける記憶位置に隣接するストレージスペースに記憶されたデータのデータリリース時間である
ことを特徴とする請求項１または２に記載のデータを記憶するための方法。

【請求項9】

前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することは、
複数の候補ストレージソリューションに対して、前記記憶待ちデータの第１データリリース時間、ライフサイクル、および、当該候補ストレージソリューションに対応するストレージスペースの大きさに基づいて、当該候補ストレージソリューションの目標重みを確定することを含む
ことを特徴とする請求項１または２に記載のデータを記憶するための方法。

【請求項10】

前記当該候補ストレージソリューションの目標重みを確定することは、
前記記憶待ちデータに対応する第１データリリース時間および第２データリリース時間に基づいて、当該候補ストレージソリューションの第１重みを確定することと、
前記記憶待ちデータのライフサイクルおよび当該候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスに基づいて、当該候補ストレージソリューションの第２重みを確定することと、
前記候補ストレージソリューションに対応する候補ストレージスペースの大きさおよび前記目標メモリの合計ストレージスペースの大きさに基づいて、当該候補ストレージソリューションの第３重みを確定することと、
前記第１重みと前記第２重みと前記第３重みの加重和に基づいて、当該候補ストレージソリューションの前記目標重みを得ることと、を含み、
前記第２データリリース時間は、前記記憶待ちデータの当該候補ストレージソリューションにおける記憶位置に隣接するストレージスペースに記憶されたデータのデータリリース時間である
ことを特徴とする請求項９に記載のデータを記憶するための方法。

【請求項11】

前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することは、
複数の候補ストレージソリューションに対して、前記記憶待ちデータの第１データリリース時間および当該候補ストレージソリューションに対応するストレージスペースの大きさに基づいて、当該候補ストレージソリューションの目標重みを確定することを含む
ことを特徴とする請求項１または２に記載のデータを記憶するための方法。

【請求項12】

前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することは、
複数の候補ストレージソリューションに対して、前記記憶待ちデータのライフサイクルおよび当該候補ストレージソリューションに対応するストレージスペースの大きさに基づいて、当該候補ストレージソリューションの目標重みを確定することを含む
ことを特徴とする請求項１または２に記載のデータを記憶するための方法。

【請求項13】

前記記憶待ちデータを前記目標ストレージソリューションに対応する候補ストレージスペースの第１アドレスから第２アドレスに記憶することと、
前記第１アドレスから前記第２アドレスに対応するストレージスペースをすでに割り当てたストレージスペースに設定することと、をさらに含み、
ここで、前記第１アドレスおよび前記第２アドレスの中の１つは、前記目標ストレージソリューションに対応する候補ストレージスペースの開始アドレスであり、または、前記第１アドレスおよび前記第２アドレスの中の１つは、前記目標ストレージソリューションに対応する候補ストレージスペースの終了アドレスである
ことを特徴とする請求項１～１２のいずれか１項に記載のデータを記憶するための方法。

【請求項14】

前記記憶待ちデータに対応する第１データリリース時間に達した後に、前記第１アドレスから前記第２アドレスに対応するストレージスペースをリリースすることと、
前記第１アドレスから前記第２アドレスに対応するストレージスペースを割り当てなかったストレージスペースに設定することと、をさらに含む
ことを特徴とする請求項１３に記載のデータを記憶するための方法。

【請求項15】

前記複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みに基づいて、前記記憶待ちデータの目標ストレージソリューションを確定することは、
前記複数の候補ストレージソリューションのそれぞれの目標重みのうちで、一番大きい目標重みに対応する候補ストレージソリューションを前記記憶待ちデータの前記目標ストレージソリューションに確定すること、または
前記複数の候補ストレージソリューションのそれぞれの目標重みのうちで、所定の重み閾値を超える任意の目標重みに対応する候補ストレージソリューションを前記目標ストレージソリューションに確定することを含む
ことを特徴とする請求項１～１４のいずれか１項に記載のデータを記憶するための方法。

【請求項16】

前記目標メモリは、人工知能（ＡＩ）チップの共有キャッシュである
ことを特徴とする請求項１～１５のいずれか１項に記載のデータを記憶するための方法。

【請求項17】

データ処理装置であって、
記憶待ちデータに必要なストレージスペースの大きさに基づいて目標メモリ中の少なくとも２つの候補ストレージスペースを確定するための第１確定ユニットと、
前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定するための第２確定ユニットと、
前記複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みに基づいて、前記記憶待ちデータの目標ストレージソリューションを確定するための第３確定ユニットと、を備え、
各候補ストレージスペースは、少なくとも１つの候補ストレージソリューションに対応する
ことを特徴とするデータ処理装置。

【請求項18】

コンピュータープログラムが記録されているコンピューター可読記録媒体であって、
前記コンピュータープログラムは、プログラム命令を含み、
前記プログラム命令が電子デバイスのプロセッサによって実行されるときに、前記プロセッサが請求項１～１６のいずれか１項に記載の方法に実行するようにする
ことを特徴とするコンピューター可読記録媒体。

【請求項19】

電子デバイスであって、
プロセッサによって実行可能な命令が記憶されているメモリと、目標メモリと、プロセッサと、含み、
前記プロセッサによって前記命令が実行されるときに、請求項１～１６のいずれか１項に記載の方法が実装される
ことを特徴とする電子デバイス。

【請求項20】

前記電子デバイスは、ＡＩチップであり、
前記目標メモリは、前記ＡＩチップの共有キャッシュである
ことを特徴とする請求項１９に記載の電子デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピューター分野に関し、特に、データを記憶するための方法および関連製品に関する。

【背景技術】

【0002】

人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）チップは、一般的に、異なる機能を有する複数の計算ユニット、限られたスペースを備えた高速共有キャッシュ、および、ダブルデータレート同期ダイナミックランダムアクセスメモリ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＤＲ ＳＤＲＡＭ、ＤＤＲ）から構成される。

【発明の概要】

【0003】

本発明の実施例は、データを記憶するための方法および関連製品を開示する。

【0004】

第１態様によると、本発明の実施例は、データを記憶するための方法を提供し、当該方法は、記憶待ちデータに必要なストレージスペースの大きさに基づいて目標メモリ中の少なくとも２つの候補ストレージスペースを確定することと、前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することと、前記複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みに基づいて、前記記憶待ちデータの目標ストレージソリューションを確定することと、を含み、各候補ストレージスペースは、少なくとも１つの候補ストレージソリューションに対応する。

【0005】

第２の態様によると、本発明の実施例は、データ処理装置を提供し、当該装置は、記憶待ちデータに必要なストレージスペースの大きさに基づいて目標メモリ中の少なくとも２つの候補ストレージスペースを確定するための第１確定ユニットと、前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定するための第２確定ユニットと、前記複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みに基づいて、前記記憶待ちデータの目標ストレージソリューションを確定するための第３確定ユニットと、を備え、各候補ストレージスペースは、少なくとも１つの候補ストレージソリューションに対応する。

【0006】

第３態様によると、本発明の実施例は、電子デバイスを提供し、当該電子デバイスは、プロセッサによって実行可能な命令が記憶されているメモリと、目標メモリと、プロセッサと、を含み、ここで、前記プロセッサによって前記命令が実行されるときに、前記第１態様および任意のオプションの実施形態の方法が実装される。

【0007】

第４態様によると、本発明の実施例は、チップを提供し、当該チップは、プロセッサと、データインターフェースと、前記第１態様に記載の目標メモリと、含み、ここで、プロセッサは、第１態様または第１態様の任意の実装可能な形態の方法を実行する。

【0008】

第５態様によると、本発明の実施例は、コンピューター可読記録媒体を提供し、当該コンピューター記録媒体には、コンピュータープログラムが記憶されており、当該コンピュータープログラムは、プログラム命令を含み、当該プログラム命令が電子デバイスのプロセッサによって実行されるときに、当該プロセッサが前記第１態様および任意のオプションの実施形態の方法を実行するようにする。

【0009】

第６態様によると、本発明の実施例は、コンピュータープログラム製品を提供し、当該コンピュータープログラム製品は、プログラム命令を含み、前記プログラム命令がプロセッサによって実行されるときに、前記プロセッサが前記第１態様および任意のオプションの実施形態の方法を実行するようにする。

【0010】

本発明の実施例において、前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することによって、複数の候補ストレージソリューションの中からメモリの断片化を効果的に削減できるストレージソリューションを確定することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例によって提供されるデータを記憶するための方法のフローチャートである。

【図2】本発明の実施例によって提供される目標重みを計算する過程の模式図である。

【図3】本発明の実施例によって提供されるデータを記憶するためのもう１方法のフローチャートである。

【図4】本発明の実施例によって提供されるデータ処理装置の構成の模式図である。

【図5】本発明の実施例によって提供されるもう１データ処理装置の構成の模式図である。

【図6】本発明の実施例によって提供される電子デバイスの構成を示す模式図である。

【発明を実施するための形態】

【0012】

本発明の明細書の実施例および特許請求の範囲および前記図面における「第１」、「第２」、及び「第３」などの用語は、類似の対象を区別するために使用されるが、必ずしも特定の順序または優まず順位を説明するために使用されるとは限らない。なお、「含む」および「備える」という用語およびそれらの任意の変形は、たとえば、一連のステップまたはユニットを含む、非排他的な包含をカバーすることを意図している。方法、システム、製品、またはデバイスは、必ずしもそれらの明確にリストされたステップまたはユニットに限定されないが、明確にリストされていない、またはこれら過程、方法、製品またはデバイスに固有の他のステップまたはユニットを含み得る。

【0013】

ＡＩチップの高速共有キャッシュの大きさは、一般的に数ＭＢであり、現在の一般的なものは８ＭＢまたは１２ＭＢである。ＣＰＵのレジスタは、ＡＩチップの命令および中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）命令とは異なり、ＣＰＵのレジスタは、固定の大きさを有し、たとえば３２ビットＣＰＵのレジスタは３２ビットに固定されている。ただし、ＡＩチップには、レジスタがなく、またニューラルネットワークのテンソル（ｔｅｎｓｏｒ）の大きさも固定されておらず、固定のストレージスペースをｔｅｎｓｏｒに割り当てることができない。限られた共有キャッシュ空間および割り当て待ちのｔｅｎｓｏｒの固定されない大きさを考慮すると、割り当て戦略が効果的でない場合、メモリの断片化が非常に容易に発生され、これらメモリの断片化は小さな不連続な形で異なる位置に出現され、これら空きメモリが使用できなくなり、速共有キャッシュの役割を十分に果たすことができない。実際には、これら空きメモリの断片化が存在する形は、内部断片化および外部断片化のような２種がある。

【0014】

内部断片化の発生：すべてのメモリ割り当ては、４、８、または１６で割り切れる（プロセッサアーキテクチャによって異なる）のアドレスから開始する必要があるため、またはメモリ管理ユニット（ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ、ＭＭＵ）のページングメカニズムに限られるため、メモリ割り当てアルゴリズムは所定の大きさのメモリブロックのみをデータに対して割り当てることができる。特定のデータを記憶するときに４３バイトのメモリブロックを占有する必要があると仮定すると、適切な大きさのメモリがないため、４４バイト、４８バイトなどのわずかに大きいバイトが得られる。したがって、必要なサイズから丸めによって発生される余分な空間を内部断片化と呼ぶ。

【0015】

外部断片化の発生：頻繁な割り当ておよび物理ページの再利用により、大量の連続した小さなページブロックがすでに割り当てたページ中に散在し、外部断片化が発生することになる。１ブロックの合計１００個の単位（たとえば１つのアドレス）の連続した空きメモリ空間があり、範囲が０～９９であると仮定する。その中から１ブロックのメモリ、たとえば１０個の単位を申請する場合、申請されたメモリブロックは０～９の区間を占有することができる。このとき、もし５個の単位などの１ブロックのメモリを引き続き申請すると、申請された２番目のブロックのメモリブロックは１０～１４の区間を占有することになる。１番目のブロックのメモリブロックをリリースしてから、さらに、２０個の単位などの１０個の単位より大きい１ブロックのメモリブロックを申請すると、前にリリースしたメモリブロックが新たな要件を満たすことができないため、１５から開始して２０個の単位のメモリブロックを割り当てることになる。現在のメモリ空間の全体の状態は、０～９が空きであり、１０～１４が占有され、１５～２４が占有され、２５～９９が空きである。ここで、０～９が１つのメモリの断片である。１０～１４が常に占有され、またその後に申請する空間がいずれも１０個の単位より大きいと、０～９の区間を使用することができなく、０～９区間が外部断片化になる。

【0016】

本発明の実施例は、高速共有キャッシュの役割を十分に果たすために、断片化を低減することができるデータを記憶するための方法を提供する。

【0017】

本発明の実施例によって提供されるデータを記憶するための方法は、主にＡＩチップ中の共有キャッシュを割り当てるシナリオに適用される。ＡＩチップにより、テキスト識別、画像識別、画像超解像処理、音声識別、テキスト翻訳などの、データ処理タスクを実行するためには、いずれも、共有キャッシュを占有する必要があることを理解すべきである。つまり、本発明の実施例によって提供されるデータを記憶するための方法は、主に、ＡＩチップによりデータ処理タスクを実行するシナリオに適用されるが、本発明の実施例によって提供される記憶するための方法は、他のメモリまたはキャッシュを割り当てるシーンにも適用され、本発明の実施例はこれに対して限定しない。

【0018】

本発明の実施例によって提供されるデータを記憶するための方法は、さらに、ＡＩモデルのコンパイルシーンにも適用され得、すなわち、ＡＩモデルを、コンパイルソフトウェアを利用してＡＩチップによって実行可能な命令シーケンスにコンパイルするシーンにも適用される。ＡＩモデルのコンパイルシーンにおいて、データ処理装置は、本発明の実施例によって提供されるデータを記憶するための方法を実行することによって、ＡＩモデルが処理操作を実行するときの共有キャッシュの割り当てをシミュレートし、さらに、ＡＩモデルをコンパイルして共有キャッシュのメモリ割り当ておよびリリースを指示することができる命令シーケンスを得ることができる。ＡＩチップがＡＩモデルをコンパイルして命令シーケンスを得るときに、共有キャッシュのメモリ割り当ておよびリリースの流れは本発明の実施例によって提供されるデータを記憶するための方法を実行して得られるメモリ割り当ておよびリリースの流れと同様である。このようなシーンにおいて、ＡＩチップは、データ処理タスクを実行するときに本発明の実施例によって提供されるデータを記憶するための方法をリアルタイムに実行する必要がなく、命令シーケンスを実行するだけでよく、より少ない時間で済む。

【0019】

前記シーンにおいて、データ処理装置中のＡＩチップは、データ処理タスクを実行するときに、メモリの断片化の発生を減らし、キャッシュ割り当ての成功率を向上させることができる。

【0020】

以下、まず本発明の実施例に現れるいくつかの用語の意味を紹介する。

【0021】

ＡＩチップの共有キャッシュは、データ処理装置のプログラムが運行されるときに動的に割り当てられる。ここで、共有キャッシュは、キャッシュブロックなどの、複数のストレージスペースに分割されることができる。異なるキャッシュブロックの大きさは、同じまたは異なり、キャッシュデータの要件に応じて決定され得る。本発明の実施例において、キャッシュブロックの状態をマークすることができ、たとえば、すでに割り当てたブロックをｕｓｅｄ_ｉｔｅｍにマークし、割り当てなかったブロックをｆｒｅｅ_ｉｔｅｍにマークすることができる。初期状態は、共有キャッシュ全体が１つのｆｒｅｅ_ｉｔｅｍであり、一定の回数のメモリ割り当ておよびリリースを通じた後、複数のｕｓｅｄ_ｉｔｅｍがある可能性があり、これらｕｓｅｄ_ｉｔｅｍ間には１個のまたは０個のｆｒｅｅ_ｉｔｅｍがある可能性がある。すでに割り当てたブロックとは、占有されたストレージスペースを指し、割り当てなかったブロックとは、占有されなかったストレージスペースを指す。

【0022】

いくつかの実施例において、コンパイラは、ＡＩチップに命令シーケンスを生成し、各命令の命令シーケンスにおけるシリアルナンバーを命令シリアルナンバーと呼ぶ。コンパイラは、データ処理装置によって運行される１つのソフトウェアまたは１セグメントのプログラムコードである。各ｔｅｎｓｏｒ（データとして理解できる）は、複数の命令によって（命令の出力または命令の入力として）使用されることができ、これら命令中の最小のシリアルナンバーがｔｅｎｓｏｒの開始シリアルナンバー（ｓｔａｒｔ ｐｒｏｇｒａｍ ｃｏｕｎｔｅｒ、ｓｔａｒｔ_ｐｃ）と呼ばれ、一番大きいシリアルナンバーがｔｅｎｓｏｒの終了シリアルナンバー（ｅｎｄ ｐｒｏｇｒａｍ ｃｏｕｎｔｅｒ、ｅｎｄ_ｐｃ）と呼ばれ、ｅｎｄ_ｐｃとｓｔａｒｔ_ｐｃとの間の差値がｔｅｎｓｏｒのライフサイクルと呼ばれ得る。データのデータリリース時間とは、当該データによって占有されたアドレスがリリースされる時間、すなわちデータがリリースされる時間を指す。

【0023】

図１は、本発明の実施例によって提供されるデータを記憶するための方法を示すフローチャートである。

【0024】

１０１において、データ処理装置により、記憶待ちデータに必要なストレージスペースの大きさに基づいて目標メモリ中の少なくとも２つの候補ストレージスペースを確定する。

【0025】

オプションとして、記憶待ちデータは、入力画像データ、または、ニューラルネットワークを利用して入力画像に対して処理を実行して発生された中間結果および／または最終結果であり得る。たとえば、記憶待ちデータは、特徴マップの少なくとも一部、または、モデルの重みなどのモデルデータであり得、本発明の実施例はこれに対して限定しない。

【0026】

各候補ストレージスペース（ｆｒｅｅ_ｉｔｅｍに対応する）の大きさは、前記記憶待ちデータを記憶するために占有する必要があるストレージスペースの大きさ以上である。データ処理装置は、サーバ、デスクトップコンピューター、ノートブックコンピューター、携帯電話、タブレットコンピューターなどの、データ処理操作を実行できるデバイスであり得る。オプションとして、前記目標メモリは、人工知能（ＡＩ）チップの共有キャッシュである。

【0027】

データ処理装置は、前記目標メモリの割り当てなかった複数の個別のストレージスペース（すなわちｆｒｅｅ_ｉｔｅｍ）から、前記記憶待ちデータを記憶できる２つまたは２つ以上の候補ストレージスペースを確定することができる。実際の適用において、データ処理装置中のプロセッサは、共有キャッシュのすべてのストレージスペース（すなわちｉｔｅｍ）を線形にスキャンして、記憶待ちデータ（たとえばｔｅｎｓｏｒ）によって占有する必要があるストレージスペース以上のｆｒｅｅ_ｉｔｅｍを、候補ストレージスペースとして、前記少なくとも２つの候補ストレージスペースを得る。

【0028】

１０２において、前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定する。

【0029】

ここで、各候補ストレージスペースは、少なくとも１つの候補ストレージソリューションに対応する。前記記憶待ちデータの第１データリリース時間は、前記記憶待ちデータがリリースされる時間であり得、すなわち前記記憶待ちデータが占めるストレージスペースがリリースされる時間であり得る。前記記憶待ちデータのライフサイクルは、前記記憶待ちデータがリリースされる時間と前記記憶待ちデータが記憶される時間との間の間隔であり得る。例示的に、各候補ストレージソリューションの目標重みは、前記記憶待ちデータの第１データリリース時間と第２データリリース時間との間の間隔と、負の相関関係を有する、ここで、前記第２データリリース時間は、前記記憶待ちデータの前記候補ストレージソリューションにおける記憶位置に隣接するストレージスペースに記憶されたデータのデータリリース時間である。後続でステップ１０２の実施形態をさらに詳細に説明する。

【0030】

１０３において、前記複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みに基づいて、前記記憶待ちデータの目標ストレージソリューションを確定する。

【0031】

前記複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みに基づいて、前記記憶待ちデータの目標ストレージソリューションを確定することは、データ処理装置により、前記複数の候補ストレージソリューションのそれぞれの目標重みのうちで、一番大きい目標重みに対応する候補ストレージソリューションを前記記憶待ちデータの目標ストレージソリューションに確定することであってもよいし、データ処理装置により、前記複数の候補ストレージソリューションのそれぞれの目標重みのうちで、所定の重み閾値を超える任意の目標重みに対応する候補ストレージソリューションを前記記憶待ちデータの目標ストレージソリューションに確定することであってもよく、ここで、前記重み閾値は０.６、０.７５、０.８などであり得る。

【0032】

オプションとして、データ処理装置は、ステップ１０３を実行した後に、前記記憶待ちデータを前記目標ストレージソリューションに対応する候補ストレージスペースの第１アドレスから第２アドレスに記憶することと、前記第１アドレスから前記第２アドレスに対応するストレージスペースをすでに割り当てたストレージスペース（すなわちｕｓｅｄ_ｉｔｅｍ）に設定することと、をさらに実行することができる。オプションとして、前記第１アドレスおよび前記第２アドレスの中の１つは、前記目標ストレージソリューションに対応する候補ストレージスペースの開始アドレスであり、または、前記第１アドレスおよび前記第２アドレスの中の１つは、前記目標ストレージソリューションに対応する候補ストレージスペースの終了アドレスである。いくつかの実施例において、データ処理装置は、前記記憶待ちデータに対応する第１データリリース時間に達した後に、前記第１アドレスから前記第２アドレスに対応するストレージスペースをリリースすることと、前記第１アドレスから前記第２アドレスに対応するストレージスペースを割り当てなかったストレージスペース（すなわちｆｒｅｅ_ｉｔｅｍ）に設定することと、をさらに実行することができる。いくつかの実施例において、データ処理装置は、特定のメモリ管理ソフトウェアを利用して図１の方法の流れを実行する。

【0033】

いくつかの実施例において、目標ストレージソリューションに対応する候補ストレージスペースが記憶待ちデータに必要なストレージスペースよりも大きいと、記憶待ちデータを前記第１アドレスから第２アドレスに記憶した後に、目標ストレージソリューションに対応する候補ストレージスペース中の記憶待ちデータを記憶しなかった空間を依然として割り当てなかったストレージスペース（すなわちｆｒｅｅ_ｉｔｅｍ）に設定する。たとえば、第１アドレスが目標ストレージソリューションに対応する候補ストレージスペースの開始アドレスであると仮定すると、第２アドレスの次のアドレスから目標ストレージソリューションに対応する候補ストレージスペースの終了アドレスまでの間のストレージスペースを、割り当てなかったストレージスペースに設定する。また、たとえば、第２アドレスが目標ストレージソリューションに対応する候補ストレージスペースの終了アドレスであると仮定すると、目標ストレージソリューションに対応する候補ストレージスペースの開始アドレスから第１アドレスの前の１つのアドレスまでの間のストレージスペースを、割り当てなかったストレージスペースに設定する。

【0034】

本発明の実施例において、前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定し、複数の目標重みに基づいて、複数の候補ストレージソリューションの中からメモリの断片化を効果的に削減できるストレージソリューションを確定することができる。

【0035】

いくつかの実施例において、各候補ストレージスペースに対応する候補ストレージソリューションは、第１候補ストレージソリューションおよび第２候補ストレージソリューションの中の少なくとも１つを含み、ここで、前記第１候補ストレージソリューション中の開始記憶アドレスは、前記候補ストレージスペースの開始アドレスであり、前記第２候補ストレージソリューション中の終了記憶アドレスは、前記候補ストレージスペースの終了アドレスである。つまり、各候補ストレージスペースは、１つまたは２つの割り当て方法に対応し、つまり、左割り当て（第１候補ストレージソリューションに対応する）および右割り当て（第２候補ストレージソリューションに対応する）に対応し、それぞれこの２つの割り当て方法の目標重みを計算することができる。左割り当てとは、記憶待ちデータを特定の候補ストレージスペースの開始アドレスから特定のアドレスまでに記憶することを指し、すなわち、当該記憶待ちデータに対して当該候補ストレージスペースの開始アドレスからその後の連続した複数のアドレスを割り当てることを指す。右割り当てとは、記憶待ちデータを特定の候補ストレージスペースの特定のアドレスから終了アドレスまでに記憶することを指し、すなわち、当該記憶待ちデータに対して当該ストレージスペースの終了アドレスおよび当該終了アドレスの前の連続した複数のアドレスを割り当てることを指す。特定の候補ストレージスペースの大きさが記憶待ちデータを記憶するために必要なストレージスペースの大きさよりも大きいと、当該候補ストレージスペースは２つの割り当て方法（すなわち左割り当ておよび右割り当て）があり、特定の候補ストレージスペースの大きさが記憶待ちデータを記憶するために必要なストレージスペースの大きさと等しいと、当該候補ストレージスペースは１つの割り当て方法（すなわち左割り当てと右割り当てが同じである）のみがある。例を挙げて説明すると、１０個の候補ストレージスペースの大きさが記憶待ちデータを記憶するために必要なストレージスペースの大きさよりも大きいと、データ処理装置は２０回の目標重み計算を実行し、すなわち、各候補ストレージスペースに対して左割り当て方式に対応する目標重みおよび右割り当て方式に対応する目標重みを計算する。

【0036】

当該実施形態において、第１候補ストレージソリューションまたは第２候補ストレージソリューションを採用して記憶待ちデータを記憶した後に、当該記憶待ちデータが占めるストレージスペースがリリースされた後に、隣接するストレージスペースと１つのより大きいストレージスペースに合併されることができ、メモリの断片化を減らすことができる。

【0037】

図２は、本発明の実施例によって提供される候補ストレージソリューションの目標重みを計算する過程を示す模式図である。図２に示すように、２１１-２１６に示す黒の長方形の領域は、目標メモリ中のすでに割り当てたストレージスペース（すなわちｕｓｅｄ_ｉｔｅｍ）を表し、２０１-２０５に示す白の長方形の領域は、当該目標メモリ中の割り当てなかったストレージスペース（すなわちｆｒｅｅ_ｉｔｅｍ）を表す。ストレージスペース２０１、ストレージスペース２０３、ストレージスペース２０５がいずれも記憶待ちデータを記憶することができ、ストレージスペース２０１およびストレージスペース２０３の大きさが記憶待ちデータを記憶するために必要なストレージスペースの大きさよりも大きいし、ストレージスペース２０５の大きさが記憶待ちデータを記憶するために必要なストレージスペースの大きさと等しいと仮定する。図２に示すように、重み計算において、図面中の黒の長方形の領域はストレージスペースが占有された部分を表し、白の長方形の領域はストレージスペースが占有されなかった部分を表し、長方形の領域の上端は対応するストレージスペースの開始アドレスを表し、長方形の領域の下端は対応するストレージスペースの終了アドレスを表す。１回目の目標重み計算において、記憶待ちデータをストレージスペース２０１の開始アドレスから特定のアドレス（左割り当て）に記憶するときの目標重みを計算する。２回目の目標重み計算において、記憶待ちデータをストレージスペース２０１の特定のアドレスから終了アドレス（すなわち右割り当て）に記憶するときの目標重みを計算する。３回目の目標重み計算において、記憶待ちデータをストレージスペース２０３の開始アドレスから特定のアドレス（左割り当て）に記憶するときの目標重みを計算する。４回目の目標重み計算において、記憶待ちデータをストレージスペース２０３の特定のアドレスから終了アドレス（右割り当て）に記憶するときの目標重みを計算する。５回目の目標重み計算において、記憶待ちデータをストレージスペース２０５の開始アドレスから終了アドレス（すなわち左割り当てと右割り当てが同じである）に記憶するときの目標重みを計算し、以下も同様である。

【0038】

いくつかの実施例において、データ処理装置は、Ｎ回目の目標重み計算において、前記記憶待ちデータを特定の候補ストレージスペースに記憶するときの目標重みを計算し、当該目標重みを第１目標重みに設定してから、さらに、現在の最大の目標重みが前記第１目標重み未満である場合、前記現在の最大の目標重みを前記第１目標重みに更新することができる。オプションとして、データ処理装置は、１回目の目標重み計算を実行して１つの目標重みを得た後に、当該目標重みを現在の最大の目標重みとして保存し、ｉ回目の目標重み計算によって得られた目標重みと保存した現在の最大の目標重みとを比較し、新たに計算して得た目標重みが現在の最大の目標重みよりも大きいと、現在の最大の目標重みを新たに計算して得た目標重みに更新し、そうではない場合は、現在の最大の目標重みをそのまま維持し、ここでｉは１よりおおきい正の整数である。

【0039】

前述した実施例では、記憶待ちデータを少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定する実施形態を詳細に説明しなかった。以下、参考候補ストレージソリューションの目標重みを計算する例をとって、目標重みオプションを計算するいくつかの実施形態を紹介する。前記参考候補ストレージソリューションは、前記少なくとも２つの候補ストレージスペースの中の任意の候補ストレージソリューションである。

【0040】

オプションの１実施形態において、記憶待ちデータの第１データリリース時間と第２データリリース時間との間の時間間隔に基づいて、候補ストレージソリューションの目標重みを確定することができる。参考候補ストレージソリューションに対応する目標重みは、前記記憶待ちデータの第１データリリース時間と第２データリリース時間との間の時間間隔と、負の相関関係と有する。ここで、前記第２データリリース時間は、前記記憶待ちデータの前記参考候補ストレージソリューションにおける記憶位置に隣接するストレージスペースに記憶されたデータのデータリリース時間である。例示的に、参考候補ストレージソリューションに対応する目標重みは、前記記憶待ちデータの第１データリリース時間と第２データリリース時間との間の間隔の逆数である。例を挙げて説明すると、第１データリリース時間がｔ１であり、第２データリリース時間がｔ２であると、参考候補ストレージソリューションに対応する目標重みは、１／｜ｔ１－ｔ２｜である。

【0041】

図２の例をとると、ストレージスペース２０１の場合、隣接するストレージスペースは２１１または２１２である。１回目の重みを計算するときに、左割り当てであるため、ストレージスペース２０１の隣接するストレージスペースは２１１であり、２回目の重みを計算するときに、右割り当てであるため、ストレージスペース２０１の隣接するストレージスペースは２１２であり。ストレージスペース２０５の場合、隣接するストレージスペースは２１５であってもよいし、２１６であってもよい。

【0042】

オプションの１実施形態において、前記記憶待ちデータに対応する第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することは、前記記憶待ちデータのライフサイクルおよび前記候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスに基づいて、前記候補ストレージソリューションの目標重みを確定することを含む。オプションとして、前記目標ストレージソリューションの確定は、前記目標メモリに記憶されたデータのライフサイクルが記憶アドレスとともに増加または減少するようにする。データ処理装置を利用して本発明の実施例によって提供されるデータを記憶するための方法を実行すると、前記目標メモリに記憶されたデータのライフサイクルが記憶アドレスとともに増加または減少するようにすることができることを理解できる。つまり、ライフサイクルが小さな記憶待ちデータをできるだけストレージスペースの片側（左側記憶など）に記憶し、ライフサイクルが長い記憶待ちデータをできるだけストレージスペースのもう反対側（右側記憶など）に記憶する。いくつかの実施例において、前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することは、前記記憶待ちデータに対応する最大ライフサイクルを確定することと、前記記憶待ちデータのライフサイクルと前記最大ライフサイクルとの間の第１比率値を確定することと、前記候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスと前記目標メモリの終了アドレスとの間の第２比率値を確定し、第１比率値および第２比率値に基づいて、前記候補ストレージソリューションの目標重みを確定することと、を含む。例示的に、前記候補ストレージソリューションの目標重みは、前記第１比率値と前記第２比率値との間の差分の絶対値と負の相関関係を有する。記憶待ちデータに対応する最大ライフサイクルは、命令シーケンス中の各命令それぞれに対応するデータのライフサイクルの中の一番大きいライフサイクルであり得、すなわち、記憶待ちデータに関連するデータが目標メモリの最大の持続時間を占有する。例示的に、記憶待ちデータに対応する最大ライフサイクルは、今回の画像処理過程で発生されたすべての記憶する必要があるデータのライフサイクルの最大値であり、すでに割り当てたメモリおよび割り当てなかったメモリのすべてのデータのライフサイクルの最大値を含むが、本発明の実施例はこれに対して限定しない。

【0043】

いくつかの実施例において、候補ストレージスペースの開始アドレスは、目標メモリの開始アドレスに対する候補ストレージスペースの開始アドレスのオフセット値として表すことができ、目標メモリの終了アドレスは、目標メモリの開始アドレスに対する目標メモリの終了アドレスのオフセット値として表すことができる。

【0044】

オプションの１実施形態において、候補ストレージスペースの開始アドレスと目標メモリの合計ストレージスペースの大きさとの間の第２比率値を確定し、当該第２比率値を当該候補ストレージスペースに対応する少なくとも１つの候補ストレージソリューションの第２比率値として使用することができるが、本発明の実施例はこれに限定されない。

【0045】

オプションの１実施形態において、前記記憶待ちデータに対応する第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することは、前記記憶待ちデータに対応する第１データリリース時間、および、前記候補ストレージソリューションに対応する記憶位置に隣接するストレージスペースに記憶されたデータの第２データリリース時間に基づいて、前記候補ストレージソリューションの第１重みを確定することと、前記記憶待ちデータのライフサイクルおよび前記候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスに基づいて、前記候補ストレージソリューションの第２重みを確定することと、前記第１重みと前記第２重みの加重和に基づいて、前記候補ストレージソリューションの目標重みを得ることと、を含む。

【0046】

当該実施形態において、記憶待ちデータの第１データリリース時間およびライフサイクルを総合的に考慮することで、メモリの断片化を効果的に減らすことができる。

【0047】

オプションの１実施形態において、前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することは、前記記憶待ちデータの第１データリリース時間、ライフサイクル、および、複数の候補ストレージソリューションの中の各候補ストレージソリューションに対応するストレージスペースの大きさに基づいて、前記複数の候補ストレージソリューションの目標重みを確定することを含む。ここで、候補ストレージソリューションに対応するストレージスペースの大きさは、当該候補ストレージソリューションに対応する候補ストレージスペースの大きさであり得る。

【0048】

いくつかの実施例において、前記候補ストレージソリューションに対応する目標重みは、第１指標と第２指標と第３指標との加重和を含む。ここで、前記第１指標は、前記記憶待ちデータの第１データリリース時間と第２データリリース時間との間の間隔に基づいて確定され、前記第２データリリース時間は、前記記憶待ちデータの前記候補ストレージソリューションにおける記憶位置に隣接するストレージスペースに記憶されたデータのデータリリース時間であり、前記第２指標は、第１比率値と第２比率値との間の差値に基づいて確定される。前記第１比率値は、前記記憶待ちデータ最大ライフサイクルと前記記憶待ちデータに対応する最大ライフサイクルとの間の比率値であり、前記第２比率値は、前記候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスと前記目標メモリの終了アドレスとの間の比率値であり、前記第３指標は、前記候補ストレージソリューションに対応するストレージスペースと前記目標メモリの合計ストレージスペースとの間の比率値に基づいて確定される。

【0049】

当該実施形態において、記憶待ちデータの第１データリリース時間、ライフサイクル、および、必要なストレージスペースの大きさを総合的に考慮することで、確定された目標ストレージソリューションがメモリの断片化をより効果的に減らすようにすることができ、占めるストレージスペースを減少することができる。

【0050】

オプションとして、前記候補ストレージソリューションに対応する目標重みは、以下の式（１）を満たす。

weight＝α＊ｗ１＋β＊ｗ２＋γ＊ｗ３ （１）

ここで、α、β、γは、いずれも、０以上の目標重み係数であり、かつ、α＋β＋γ＝１であり、ｗｅｉｇｈｔは、前記候補ストレージソリューションに対応する目標重みを表し、ｗ１は、第１指標を表し、ｗ２は、第２指標を表し、ｗ３は、第３指標を表す。オプションとして、ｃｏｓｔ１＝ａｂｓ（ｅ-ｅ１）であり、ｗ１＝１／ｃｏｓｔ１であり、ｅは、前記第１データリリース時間を表し、ｅ１は、前記第２データリリース時間を表し、ａｂｓ（ｅ-ｅ１）は、ｅとｅ１の差値の絶対値を表す。オプションとして、ｃｏｓｔ２＝ａｂｓ（（ｃ／ｃ_ｍａｘ）-（ｓｔａｒｔ／ｍｅｍ_ｓｉzｅ））であり、ｗ２＝１-ｃｏｓｔ２であり、ｃは、前記加重和を表し、ｃ_ｍａｘは、前記記憶待ちデータに対応する最大ライフサイクルを表し、ｓｔａｒｔは、前記候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスを表し、ｍｅｍ_ｓｉzｅは、目標メモリの合計ストレージスペースの大きさを表し、目標メモリの終了アドレスとして表すことができる。オプションとして、ｗ３＝１-ｓ_ｃａｎｄ／ｍｅｍ_ｓｉzｅであり、ｓ_ｃａｎｄは、候補ストレージソリューションに対応する候補ストレージスペースの大きさを表し、ｍｅｍ_ｓｉzｅは、前記目標メモリの合計ストレージスペースの大きさを表す。

【0051】

当該実施形態において、目標重み係数α、β、及びγは、テストを通じて得られた結果である。特定のステップでα、β、及びγの値を変更し、α＋β＋γ＝１であることを確保して、複数組の異なるパラメータの組み合わせのセットを取得し、１組のテストセットを運行し、各組パラメータの組み合わせのセットの当該テストセットでの結果に保存する。したがって、最終的に１組の性能の優れたパラメータの組み合わせのセットを選択する。

【0052】

当該実施形態において、候補ストレージソリューションの目標重みを計算する方法は、３つの割り当て原則の総合的な結果である。ｗ１は、第１の割り当て原則に対応し、当該原則は、できるだけｅｎｄ_ｐｃに近い位置を割り当てて、隣接するストレージスペースのリリース時間が近くなるようにして、大きな空きストレージスペースに合併して、メモリの断片化を減らす。各データは、１つのｅｎｄ_ｐｃに対応し、各データに対応するｅｎｄ_ｐｃは、当該データが占めるストレージスペースがリリースされる時点を表す。できるだけｅｎｄ_ｐｃに近い位置を割り当てると、記憶待ちデータを、できるだけ対応するｅｎｄ_ｐｃと当該記憶待ちデータに対応するｅｎｄ_ｐｃにより近いデータに隣接する位置に割り当てることができる。例を挙げて説明すると、目標メモリの特定のストレージスペースに記憶したデータに対応するｅｎｄ_ｐｃが、当該記憶待ちデータに対応するｅｎｄ_ｐｃとより近いと、当該記憶待ちデータを当該ストレージスペースに隣接する空間ストレージスペースに割り当てる。ｗ２は、第２の割り当て原則に対応し、当該原則は、ライフサイクルが短いデータ（割り当てとリリースが頻繁である）とライフサイクルが長いデータとを分けて割り当て、割り当てとリリースが頻繁なデータの位置をできるだけ近くすることによって、メモリの断片化を減らす。ｗ３は、第３の割り当て原則に対応し、当該原則は、要件を満たす最小の空きストレージスペースを記憶待ちデータに割り当てることである。当該実施形態において、様々な割り当て原則を組み合わせて割り当て待ちデータにアドレスを割り当てることによって、メモリの断片化を効果的に減らすことができる。

【0053】

データ処理装置は、この３つの割り当て原則の中の任意の２つを組み合わせて目標重みを計算してもよいし、第１の原則または第２の原則を採用しえ目標重みを計算してもよいことを理解すべきである。例を挙げて説明すると、前記候補ストレージソリューションに対応する目標重みは、以下の式（２）を満たす。

weight＝α＊ｗ１＋β＊ｗ２ （２）

ここで、式（２）中のｗ１、ｗ２は、それぞれ式（１）中のｗ１、ｗ２と同じであり、α、βは、いずれも、０より大きい重み係数であり、かつ、α＋β＝１である。

【0054】

さらに、例を挙げて説明すると、前記候補ストレージソリューションに対応する目標重みは、以下の式（３）を満たす。

weight＝α＊ｗ１＋γ＊ｗ３ （３）

ここで、式（３）中のｗ１、ｗ３は、それぞれ式（１）中のｗ１、ｗ３と同じであり、α、γは、いずれも、０より大きい重み係数であり、かつ、α＋γ＝１である。

【0055】

さらに、例を挙げて説明すると、前記候補ストレージソリューションに対応する目標重みは、以下の式（４）を満たす。
weight＝β＊ｗ２＋γ＊ｗ３ （４）
ここで、式（４）中のｗ２、ｗ３は、それぞれ式（１）中のｗ２、ｗ３と同じであり、β、γは、いずれも、０より大きい目標重み係数であり、かつ、β＋＝１である。

【0056】

さらに、例を挙げて説明すると、前記候補ストレージソリューションに対応する目標重みは、以下の式（５）を満たす。

weight＝ｗ２＝１－cost２ （５）

【0057】

さらに、例を挙げて説明すると、前記候補ストレージソリューションに対応する目標重みは、以下の式（６）を満たす。

weight＝ｗ１＝１／cost１ （６）

【0058】

当該実施形態において、様々な割り当て原則を組み合わせて割り当て待ちデータにアドレスを割り当てることで、メモリの断片化を効果的に減らすことができる。

【0059】

図３は、本発明の実施例によって提供されるデータを記憶するためのもう１方法を示すフローチャートである。図３に示すように、当該方法は、以下のステップを含み得る。

【0060】

３０１において、データ処理装置により、目標メモリの割り当てなかった複数の個別のストレージスペースから、記憶待ちデータを記憶できる２つまたは２つ以上の候補ストレージスペースを確定する。

【0061】

３０２において、Ｎ回目の目標重みを計算するときに、記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、記憶待ちデータを第１候補ストレージスペースに記憶する第１目標重みを計算する。

【0062】

オプションとして、前記第１候補ストレージスペースは、前記２つまたは２つ以上の候補ストレージスペースの中の任意の候補ストレージスペースである。記憶待ちデータを第１候補ストレージスペースに記憶する第１目標重みを計算するときに、式（１）～式（６）の中の任意の１つを採用して目標重みを計算することができる。データ処理装置は、記憶待ちデータを第１候補ストレージスペースに記憶すると仮定するときの目標重みを計算するだけであり、記憶待ちデータを第１候補ストレージスペースに記憶する操作を実行しないことを理解できる。前記Ｎは、０より大きい整数である。実際の適用において、データ処理装置は、各候補ストレージスペースに記憶待ちデータを記憶するとき対応する１つの目標重みまたは２つの目標重みを計算し、各回の目標重み計算は１つの目標重みを計算することができる。

【0063】

３０３において、現在の最大の目標重みを更新する。

【0064】

いくつかの実施例において、Ｎ＝１のときに、現在の最大の目標重みの更新は、１回目に計算して得られた目標重みを現在の最大の目標重みとして格納する。Ｎ＞１のときに、現在の最大の目標重みの更新は、Ｎ回目に計算して得られた目標重みが現在格納している現在の最大の目標重みよりも大きい場合、現在の最大の目標重みをＮ回目に計算して得られた目標重みに更新する。Ｎ回目に計算して得られた目標重みが現在格納している現在の最大の目標重み未満である場合、現在の最大の目標重みをそのまま維持する。

【0065】

３０４において、次回の目標重みの計算を停止するか否かを判断する。

【0066】

いくつかの実施例において、次回の目標重みの計算を停止するか否かを判断することは、現在複数の候補ストレージソリューションの目標重みを計算して得た場合、次回の目標重みの計算を停止すると判断し、現在複数の候補ストレージソリューションの目標重みを計算して得られなかった場合、次回の目標重みの計算を続くと判断する。次回の目標重み計算を停止しないと、Ｎ＋１として、ステップ３０２を実行し、次回の目標重み計算を停止すると、ステップ３０５を実行する。

【0067】

３０５において、現在の最大の目標重みに対応する候補ストレージソリューションを目標ストレージソリューションに設定して、記憶待ちデータを目標ストレージソリューションに対応する候補ストレージスペースの第１アドレスから第２アドレスに記憶する。

【0068】

３０６において、前記第１アドレスから前記第２アドレスに対応するストレージスペースをすでに割り当てたストレージスペースに設定する。

【0069】

３０７において、第１データリリース時間に達した後、前記第１アドレスから前記第２アドレスをリリースする。

【0070】

いくつかの実施例において、前記第１アドレスから前記第２アドレスに対応するストレージスペースを割り当てなかったストレージスペースに設定することができる。

【0071】

３０８において、第２アドレスが候補ストレージスペースの終了アドレスであると、前記第２アドレスの次のアドレスから第３アドレス（第３アドレスは第２アドレスの右側に位置する）にいずれもデータを記憶しなかった場合、前記第１アドレスから前記第３アドレスを割り当てなかった個別のストレージスペースに設定する。ここで、第３アドレスの次のアドレスを開始アドレスとするストレージスペースは、すでに割り当てたストレージスペース（ｕｓｅｄ_ｉｔｅｍ）である。

【0072】

ステップ３０８を以下に切り替えてもよく、すなわち、第１アドレスが候補ストレージスペースの開始アドレスであると、前記目標メモリの第４アドレス（第４アドレスは第１アドレスの左側に位置する）から前記第１アドレスの前のアドレスにいずれもデータを記憶しなかった場合、前記第４アドレスから前記第２アドレスまでを割り当てなかった個別のストレージスペースに設定する。ここで、第４アドレスの前のアドレスを終了アドレスとするストレージスペースは、すでに割り当てたストレージスペース（ｕｓｅｄ_ｉｔｅｍ）である。

【0073】

このようにすると、２つの隣接する割り当てなかったストレージスペースをより大きい１つの割り当てなかったストレージスペースにすばやく設定することができる。

【0074】

本発明の実施例によって提供される方法によると、メモリの断片化を効果的に減らすことができる。

【0075】

前述した実施例に説明したデータを記憶するための方法は、データ処理装置によりＡＩチップを利用してデータ処理タスクを実行するシーンに適用することができ、すなわち、共有キャッシュのアドレス割り当ておよびリリースのリアルタイムな管理に適用することができ、ＡＩモデルのコンパイルのシナリオに適用することもできる。ＡＩモデルのコンパイルのシナリオでは、データ処理装置は、本発明の実施例によって提供されるデータを記憶するための方法を実行することによって、ＡＩモデルが処理と操作を実行するときの共有キャッシュの割り当てをシミュレートすることができ、さらに、ＡＩモデルをコンパイルして共有キャッシュのメモリ割り当ておよびリリースを指示する命令シーケンスを得ることができる。データ処理装置のＡＩチップは、命令シーケンスを実行することによってデータ処理タスクを実行することができる。ＡＩチップは、命令シーケンスを実行してデータ処理タスクを実行する過程で、命令シーケンス中の命令に従ってデータを共有キャッシュに記憶し、また共有キャッシュ中のデータをリリースして、共有キャッシュの利用率を向上させることができる。

【0076】

図４は、本発明の実施例によって提供されるデータ処理装置の構成の模式図であり、図４に示すように、当該装置は、第１確定ユニット４０１と、第２確定ユニット４０２と、第３確定ユニット４０３と、備える。

【0077】

第１確定ユニット４０１は、記憶待ちデータに必要なストレージスペースの大きさに基づいて目標メモリ中の少なくとも２つの候補ストレージスペースを確定する。

【0078】

第２確定ユニット４０２は、前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定し、ここで、各候補ストレージスペースは、少なくとも１つの候補ストレージソリューションに対応する。

【0079】

第３確定ユニット４０３は、前記複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みに基づいて、前記記憶待ちデータの目標ストレージソリューションを確定する。

【0080】

オプションの１実施形態において、前記候補ストレージスペースに対応する候補ストレージソリューションは、第１候補ストレージソリューションおよび第２候補ストレージソリューションの中の少なくとも１つを含み、ここで、前記第１候補ストレージソリューション中の開始記憶アドレスは、前記候補ストレージスペースの開始アドレスであり、前記第２候補ストレージソリューション中の終了記憶アドレスは、前記候補ストレージスペースの終了アドレスである。

【0081】

オプションの１実施形態において、第２確定ユニット４０１は、さらに、複数の候補ストレージソリューションに対して、前記記憶待ちデータの第１データリリース時間および第２データリリース時間に基づいて、当該候補ストレージソリューションの目標重みを確定し、ここで、前記第２データリリース時間は、前記記憶待ちデータの前記候補ストレージソリューションにおける記憶位置に隣接するストレージスペースに記憶されたデータのデータリリース時間である。

【0082】

オプションの１実施形態において、前記候補ストレージソリューションに対応する目標重みは、前記記憶待ちデータの第１データリリース時間と第２データリリース時間との間の間隔と、負の相関関係を有する。

【0083】

オプションの１実施形態において、第２確定ユニット４０２は、さらに、複数の候補ストレージソリューションに対して、前記記憶待ちデータのライフサイクルおよび前記候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスに基づいて、前記候補ストレージソリューションの目標重みを確定する。

【0084】

オプションの１実施形態において、第２確定ユニット４０２は、さらに、前記記憶待ちデータに対応する最大ライフサイクルを確定し、前記記憶待ちデータのライフサイクルと前記最大ライフサイクルとの間の第１比率値を確定し、前記候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスと前記目標メモリの終了アドレスとの間の第２比率値を確定し、第１比率値および第２比率値に基づいて、前記候補ストレージソリューションの目標重みを確定する。

【0085】

オプションの１実施形態において、前記候補ストレージソリューションの目標重みは、前記第１比率値と前記第２比率値との間の差分の絶対値と負の相関関係を有する。

【0086】

オプションの１実施形態において、第２確定ユニット４０２は、さらに、複数の候補ストレージソリューションに対して、前記記憶待ちデータに対応する第１データリリース時間および第２データリリース時間に基づいて、前記候補ストレージソリューションの第１重みを確定し、ここで、第２データリリース時間は、記憶待ちデータの当該候補ストレージソリューションにおける記憶位置に隣接するストレージスペースに記憶されたデータのデータリリース時間であり、前記記憶待ちデータのライフサイクルおよび前記候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスに基づいて、前記候補ストレージソリューションの第２重みを確定し、前記第１重みと前記第２重みの加重和に基づいて、前記候補ストレージソリューションの目標重みを得る。

【0087】

オプションの１実施形態において、第２確定ユニット４０２は、さらに、複数の候補ストレージソリューションに対して、前記記憶待ちデータの第１データリリース時間、ライフサイクル、および、当該候補ストレージソリューションに対応するストレージスペースの大きさに基づいて、当該候補ストレージソリューションの目標重みを確定する。

【0088】

オプションの１実施形態において、第２確定ユニット４０２は、さらに、前記記憶待ちデータに対応する第１データリリース時間および第２データリリース時間に基づいて、当該候補ストレージソリューションの第１重みを確定し、前記記憶待ちデータのライフサイクルおよび当該候補ストレージソリューションに対応する候補ストレージスペースの開始アドレスに基づいて、当該候補ストレージソリューションの第２重みを確定し、前記候補ストレージソリューションに対応する候補ストレージスペースの大きさおよび前記目標メモリの合計ストレージスペースの大きさに基づいて、当該候補ストレージソリューションの第３重みを確定し、前記第１重みと前記第２重みと前記第３重みの加重和に基づいて、当該候補ストレージソリューションの前記目標重みを得、ここで、前記第２データリリース時間は、前記記憶待ちデータの当該候補ストレージソリューションにおける記憶位置に隣接するストレージスペースに記憶されたデータのデータリリース時間である。

【0089】

オプションの１実施形態において、第２確定ユニット４０２は、さらに、複数の候補ストレージソリューションに対して、前記記憶待ちデータの第１データリリース時間および当該候補ストレージソリューションに対応するストレージスペースの大きさに基づいて、当該候補ストレージソリューションの目標重みを確定する。

【0090】

オプションの１実施形態において、第２確定ユニット４０２は、さらに、複数の候補ストレージソリューションに対して、前記記憶待ちデータのライフサイクルおよび当該候補ストレージソリューションに対応するストレージスペースの大きさに基づいて、当該候補ストレージソリューションの目標重みを確定する。

【0091】

オプションの１実施形態において、前記装置は、前記記憶待ちデータを前記目標ストレージソリューションに対応する候補ストレージスペースの第１アドレスから第２アドレスに記憶し、前記第１アドレスから前記第２アドレスに対応するストレージスペースをすでに割り当てたストレージスペースに設定するための設定ユニット４０４をさらに備え、ここで、前記第１アドレスおよび前記第２アドレスの中の１つは、前記目標ストレージソリューションに対応する候補ストレージスペースの開始アドレスであり、または、前記第１アドレスおよび前記第２アドレスの中の１つは、前記目標ストレージソリューションに対応する候補ストレージスペースの終了アドレスである。

【0092】

オプションの１実施形態において、前記装置は、前記記憶待ちデータに対応する第１データリリース時間に達した後に、前記第１アドレスから前記第２アドレスに対応するストレージスペースをリリースするためのリリースユニット４０５をさらに備え、設定ユニット４０４は、さらに、前記第１アドレスから前記第２アドレスに対応するストレージスペースを割り当てなかったストレージスペースに設定する。

【0093】

オプションの１実施形態において、第３確定ユニット４０３は、さらに、前記複数の候補ストレージソリューションのそれぞれの目標重みのうちで、一番大きい目標重みに対応する候補ストレージソリューションを前記記憶待ちデータの前記目標ストレージソリューションに確定し、または、前記複数の候補ストレージソリューションのそれぞれの目標重みのうちで、所定の重み閾値を超える任意の目標重みに対応する候補ストレージソリューションを前記目標ストレージソリューションに確定することを含む。

【0094】

オプションの１実施形態において、前記目標メモリは、人工知能（ＡＩ）チップの共有キャッシュである。

【0095】

オプションの１実施形態において、第１確定ユニット４０１は、さらに、前記目標メモリの割り当てなかった複数の個別のストレージスペースから、前記記憶待ちデータを記憶できる前記少なくとも２つの候補ストレージスペースを確定し、ここで、前記候補ストレージスペースの大きさは、記憶待ちデータが占めるストレージスペース以上である。

【0096】

オプションの１実施形態において、設定ユニット４０４は、さらに、第２アドレスが候補ストレージスペースの終了アドレスであり、前記第２アドレスの次のアドレスから第３アドレスにいずれもデータを記憶しなかった場合、前記第１アドレスから前記第３アドレスを割り当てなかった個別のストレージスペースに設定する。ここで、第３アドレスの次のアドレスを開始アドレスとするストレージスペースは、すでに割り当てたストレージスペースである。

【0097】

オプションの１実施形態において、設定ユニット４０４は、さらに、第１アドレスが候補ストレージスペースの開始アドレスであり、前記目標メモリの第４アドレスから前記第１アドレスの前のアドレスにいずれもデータを記憶しなかった場合、前記第４アドレスから前記第２アドレスを割り当てなかった個別のストレージスペースに設定する。ここで、第４アドレスの前のアドレスを終了アドレスとするストレージスペースは、すでに割り当てたストレージスペースである。

【0098】

図５は、本発明の実施例によって提供されるデータ処理装置の構成を示す模式図である。図５に示すように、データ処理装置は、ＡＩチップ５１０とメモリ５２０とを備え、ＡＩチップ５１０は、メモリ５２０からデータおよび命令を取得し、最終の処理結果をメモリ５２０に出力することができる。ＡＩチップ５１０中の計算ユニット５０１は、処理タスクを実行し、計算ユニット５０１は、データを処理する過程でデータを共有キャッシュ５０２（すなわち目標メモリ）に記憶し、また、当該共有キャッシュ５０２からデータを取得する。共有キャッシュ５０２のアドレス割り当ておよびリリースは、前述した実施例のデータを記憶するための方法を採用することができる。いくつかの実施例において、メモリ５２０は、ＡＩチップ５１０の内部に位置する可能性がある。いくつかの実施例において、ＡＩチップが特定のデータ処理タスクを実行するときに、データ処理装置で運行される特定のメモリ管理ソフトウェアは、前述した実施例のデータを記憶するための方法を実行することによって、共有キャッシュのアドレス割り当ておよびリリースを管理する。いくつかの実施例において、ＡＩチップが特定のデータ処理タスクを実行するときに、メモリから読み取った命令を実行してデータ処理タスクを実装し、データ処理タスクを実装する過程でメモリから読み取った命令は、共有キャッシュのアドレス割り当ておよびリリースを指示する。つまり、ＡＩチップは、メモリから読み取った命令を実行して、前述した実施例のメモリ割り当ておよびリリースの流れを実装することができる。

【0099】

図６は、本発明の実施例によって提供される電子デバイスの構成の模式図であり、当該電子デバイス６００は、異なる構成または性能のために、比較的大きな差異を有し得る。当該電子デバイス６００は、１つまたは複数の中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ、ＣＰＵ）６２２（たとえば、１つまたは複数のプロセッサ）と、メモリ６３２と、アプリケーションプログラム６４２またはデータ６４４を格納するための１つまたは複数の記録媒体６３０（たとえば１つまたは複数の大容量記憶デバイス）と、１つまたは複数のＡＩチップ６２４と、を含み得る。ここで、メモリ６３２および記録媒体６３０は、短期記憶または永続記憶であり得る。記録媒体６３０に格納されたプログラムは、１つまたは複数のモジュール（図面には示されていない）を含み得、各モジュールは、電子デバイスに対する一連の命令操作を含み得る。さらに、中央処理装置６２２は、記録媒体６３０と通信して、電子デバイス６００上で記録媒体６３０中の一連の命令操作を実行する。ＡＩチップ６２４は、ＣＰＵ６２２によって割り当てられた様々なデータ処理タスクを実行することができる。電子デバイス６００は、本発明によって提供されるデータ処理装置であり得る。

【0100】

電子デバイス６００は、１つまたは複数の電源６２６、１つまたは複数の有線または無線ネットワークインターフェース６５０、１つまたは複数の入出力インターフェース６５８、および／または、Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ^ＴＭ、Ｍａｃ ＯＳ Ｘ^ＴＭ、Ｕｎｉｘ^ＴＭ、 Ｌｉｎｕｘ^ＴＭ、ＦｒｅｅＢＳＤ^ＴＭなどの１つまたは複数の操作システム６４１をさらに含み得る。

【0101】

前記実施例中のデータ処理装置によって実行されるステップは、当該図６に示す電子デバイスによって構成され得る。具体的に、中央処理装置６２２は、図４中の各ユニットの機能を実現することができる。

【0102】

本発明の実施例は、コンピュータープログラムが記憶されているコンピューター可読記録媒体を提供し、前記コンピュータープログラムは、プログラム命令を含み、前記コンピュータープログラムがプロセッサによって実行されるときに、記憶待ちデータに必要なストレージスペースの大きさに基づいて目標メモリ中の少なくとも２つの候補ストレージスペースを確定することと、前記記憶待ちデータの第１データリリース時間およびライフサイクルの中の少なくとも１つに基づいて、前記記憶待ちデータを前記少なくとも２つの候補ストレージスペースに記憶する複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みを確定することと、前記複数の候補ストレージソリューションの中の各候補ストレージソリューションの目標重みに基づいて、前記記憶待ちデータの目標ストレージソリューションを確定することと、が実装され、ここで、各候補ストレージスペースは、少なくとも１つの候補ストレージソリューションに対応する。当該コンピューター可読記録媒体は、不揮発性の記録媒体であり得る。

【0103】

本発明の実施例は、命令を含むコンピュータープログラム製品を提供し、当該製品がコンピューター上で運行されるときに、コンピューターが前記実施例によって提供されるデータを記憶するための方法が実装される。

【0104】

上記は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲はこれに限定されない。当業者は、本発明に開示されている技術範囲内の様々な同等の変更または置換を容易に考えることができる。これら変更または置換は、本発明の保護範囲内にカバーされるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】