特表 2023-531439 改善されたスーパータイリング機械学習処理のための分析技法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-24

(54)【発明の名称】改善されたスーパータイリング機械学習処理のための分析技法

(51)【国際特許分類】

   G06N 3/10 20060101AFI20230714BHJP

【ＦＩ】

G06N3/10

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022578583

(86)(22)【出願日】2021-06-07

(85)【翻訳文提出日】2023-02-20

(86)【国際出願番号】 US2021036203

(87)【国際公開番号】W WO2021257313

(87)【国際公開日】2021-12-23

(31)【優先権主張番号】202041025785

(32)【優先日】2020-06-18

(33)【優先権主張国・地域又は機関】IN

(31)【優先権主張番号】17/327,869

(32)【優先日】2021-05-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507107291

【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド

(74)【代理人】

【識別番号】230129078

【弁護士】

【氏名又は名称】佐藤 仁

(72)【発明者】

【氏名】リシャブ ガルグ

(72)【発明者】

【氏名】プラモド クマール スワミ

(72)【発明者】

【氏名】クマール デサッパン

(72)【発明者】

【氏名】アンシュ ジェイン

(57)【要約】

機械学習（ＭＬ）モデル実行を拡張するための技法。この技法は、複数の層を有する機械学習ネットワークの層（６０２）を処理するために用いられるメモリ量（６０４）を判定することと、層の数に基づいて機械学習ネットワークの層を処理するために用いられるメモリの量（６５２）を平滑化することと、用いられるメモリ量の平滑化された変化層がメモリ変化閾値量より多く変化する変化層（６５４）を識別することと、識別された変化層に基づいて、機械学習ネットワークの層を第１の層グループ分けにグループ化することと、第１の層グループ分けを出力することとを含む。

【特許請求の範囲】

【請求項1】

方法であって、
複数の層を有する機械学習ネットワークの層を処理するために用いられるメモリの量を判定することと、
層の数に基づいて前記機械学習ネットワークの前記層を処理するために用いられるメモリの量を平滑化することと、
用いられるメモリの前記平滑化された量が、メモリ変化閾値量より多く変化する、変化層を識別することと、
前記機械学習ネットワークの前記層を、前記識別された変化層に基づいて第１の層グループ分けにグループ化することと、
前記第１の層グループ分けを出力することと、
を含む、方法。

【請求項2】

請求項１に記載の方法であって、
前記第１の層グループ分けに基づいて前記機械学習ネットワークをモデル化することと、
第１のコストを前記第１の層グループ分けに関連付けることと、
前記第１の層グループ分けのグループ境界を調整することによって第２の層グループ分けを生成することと、
前記第２の層グループ分けに基づいて前記機械学習ネットワークをモデル化することと、
第２のコストを前記第２の層グループ分けに関連付けることと、
前記第１のコストと前記第２のコストとの比較に基づいて、より低いコスト層グループ分けを出力することと、
を更に含む、方法。

【請求項3】

請求項２に記載の方法であって、前記第１及び第２のコストが、メモリアクセス又は処理サイクルの予期される数のうちの少なくとも１つに基づく、方法。

【請求項4】

請求項２に記載の方法であって、前記グループ境界が、前記グループ境界の周りの所定の値の範囲内で調整される、方法。

【請求項5】

請求項１に記載の方法であって、前記第１の層グループ分けが、層の第１のセット及び第２の層のセットを含む、方法。

【請求項6】

請求項５に記載の方法であって、層の前記第１のセットのうちの第１の数の層が、層の前記第２のセットのうちの第２の数の層と異なる、方法。

【請求項7】

請求項１に記載の方法であって、
前記第１の層グループ分けの前記層のためのタイルの最小数を、層によって用いられるメモリの量に基づいて判定することと、
前記タイルの最小数に基づいて、前記第１の層グループ分けの最後の層のためのタイル数を判定することと、
前記最後の層の前記タイル数に基づいて、前記第１の層グループ分けの他の層のタイル数を判定することと、
を更に含む、方法。

【請求項8】

非一時的プログラムストレージデバイスであって、１つ又は複数のプロセッサに、
複数の層を有する機械学習ネットワークの層を処理するために用いられるメモリの量を判定することと、
層の数に基づいて前記機械学習ネットワークの前記層を処理するために用いられるメモリの量を平滑化することと、
用いられるメモリの前記平滑化された量がメモリ変化閾値量より多く変化する変化層を識別することと、
前記機械学習ネットワークの前記層を、前記識別された変化層に基づいて第１の層グループ分けにグループ化することと、
前記第１の層グループ分けを出力することと、
をさせるための格納された命令を含む非一時的プログラムストレージデバイス。

【請求項9】

請求項８に記載の非一時的プログラムストレージデバイスであって、前記命令が更に、前記１つ又は複数のプロセッサに、
前記第１の層グループ分けに基づいて前記機械学習ネットワークをモデル化することと、
第１のコストを前記第１の層グループ分けに関連付けることと、
前記第１の層グループ分けのグループ境界を調整することによって第２の層グループ分けを生成することと、
前記第２の層グループ分けに基づいて前記機械学習ネットワークをモデル化することと、
第２のコストを前記第２の層グループ分けに関連付けることと、
前記第１のコストと前記第２のコストとの比較に基づいてより低いコスト層グループ分けを出力することと、
をさせる、非一時的プログラムストレージデバイス。

【請求項10】

請求項９に記載の非一時的プログラムストレージデバイスであって、前記第１及び第２のコストが、予期される数のメモリアクセス又は処理サイクルのうちの少なくとも１つに基づく、非一時的プログラムストレージデバイス。

【請求項11】

請求項９に記載の非一時的プログラムストレージデバイスであって、前記グループ境界が、前記グループ境界の周りの所定の値の範囲内で調整される、非一時的プログラムストレージデバイス。

【請求項12】

請求項８に記載の非一時的プログラムストレージデバイスであって、前記第１の層グループ分けが、層の第１のセットと層の第２のセットとを含む、非一時的プログラムストレージデバイス。

【請求項13】

請求項１２に記載の非一時的プログラムストレージデバイスであって、前記層の第１のセットの第１の数の層が、前記層の第２のセットの第２の数の層とは異なる、非一時的プログラムストレージデバイス。

【請求項14】

請求項８に記載の非一時的プログラムストレージデバイスであって、前記命令が更に、前記１つ又は複数のプロセッサに、
前記層によって用いられるメモリの前記量に基づいて、前記第１の層グループ分けの前記層のためのタイルの最小数を判定することと、
前記タイルの最小数に基づいて、前記第１の層グループ分けの最後の層に対するタイルの数を判定することと、
前記最後の層に対するタイルの前記数に基づいて、前記第１の層グループ分けの他の層のためのタイルの数を判定することと、
をさせる、非一時的プログラムストレージデバイス。

【請求項15】

デバイスであって、
メモリと、
前記メモリに動作可能に結合された１つ又は複数のプロセッサと、
を含み、
前記１つ又は複数のプロセッサが、前記１つ又は複数のプロセッサに、
複数の層を有する機械学習ネットワークの層を処理するために用いられるメモリの量を判定することと、
層の数に基づいて前記機械学習ネットワークの前記層を処理するために用いられる前記メモリの量を平滑化することと、
用いられたメモリの前記平滑化された量がメモリ変化閾値量より多く変化する変化層を識別することと、
前記機械学習ネットワークの前記層を、前記識別された変化層に基づいて第１の層グループ分けにグループ化することと、
前記第１の層グループ分けを出力することと、
をさせる非一時的命令を実行するように構成される、
デバイス。

【請求項16】

請求項１５に記載のデバイスであって、前記命令が更に、前記１つ又は複数のプロセッサに、
前記第１の層グループ分けに基づいて前記機械学習ネットワークをモデル化することと、
第１コストを前記第１の層グループ分けに関連付けることと、
前記第１の層グループ分けのグループ境界を調整することによって第２の層グループ分けを生成することと、
前記第２の層グループ分けに基づいて前記機械学習ネットワークをモデル化することと、
第２のコストを前記第２の層グループ分けに関連付けることと、
前記第１のコストと前記第２のコストとの比較に基づいてより低いコスト層グループを出力することと、
をさせる、デバイス。

【請求項17】

請求項１６に記載のデバイスであって、前記第１及び第２のコストが、メモリアクセス又は処理サイクルの予期される数のうちの少なくとも１つに基づく、デバイス。

【請求項18】

請求項１６に記載のデバイスであって、前記グループ境界が、前記グループ境界の周りの所定の値の範囲内で調整される、デバイス。

【請求項19】

請求項１５に記載のデバイスであって、前記第１の層グループ分けが、層の第１のセット及び層の第２のセットを含む、デバイス。

【請求項20】

請求項１５に記載のデバイスであって、前記命令が更に、前記１つ又は複数のプロセッサに、
前記層によって用いられるメモリの量に基づいて、前記第１の層グループ分けの前記層のためのタイルの最小数を判定することと、
前記タイルの最小数に基づいて、前記第１の層グループ分けの最後の層のためのタイルの数を判定することと、
前記最後の層のための前記タイルの数に基づいて、前記第１の層グループ分けの他の層のタイルの数を判定することと、
をさせる、
デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

機械学習（ＭＬ）は、計算環境のますます重要な部分となっている。機械学習は人工知能（ＡＩ）の一つのタイプであり、ＭＬは、ソフトウェアシステムが直接プログラムされることなく、データからパターンを認識することを学習することを可能にするのを助ける。ニューラルネットワーク（ＮＮ）は、入力データを評価するために重み付けされる、リンクされ階層化された関数（例えば、ノード、ニューロンなど）のセットを利用するＭＬの一つのタイプである。畳み込みニューラルネットワーク（ＣＮＮ）と呼ばれることがある幾つかのＮＮでは、受信された入力及び重みに基づいてＮＮ個の層において畳み込み演算が実施され得る。畳み込み演算は、１つの関数の形状が第２の関数によってどのように改変されるかを表す第３の関数を生成するために２つの関数に適用される数学的変換である。ＣＮＮの例には、逆畳み込みニューラルネットワーク、プーリングニューラルネットワーク、アップサンプルニューラルネットワーク、ディープニューラルネットワークなどが含まれ、ＣＮＮは、典型的には、画像認識及び分類、予測及び推奨システム、音声及び言語認識及び翻訳などの認識及び分類のために、幅広い用途でよく用いられる。

【0002】

ＭＬがますます有用になるにつれて、ＮＮ及びＣＮＮなどの複雑なＭＬ技法を、埋め込み又は他の低電力デバイスなどの比較的限られた計算及びメモリリソースを有するデバイスにおいて効率的に実行することが望まれている。ターゲットハードウェア資源上で所与のＭＬモデルを効率的に実行するのを助けるために、ＭＬモデルは、用いられるべきターゲットハードウェア資源のためにＭＬモデルを調整するために、スーパータイリングを用いて実行されるように分析及び最適化され得る。

【発明の概要】

【0003】

本開示は、ＭＬモデル実行を向上させる技法に関する。本技法は、複数の層を有する機械学習ネットワークの層を処理するために用いられるメモリの量を判定することと、層の数に基づいて機械学習ネットワークの層を処理するために用いられるメモリの量を平滑化することと、用いられるメモリの平滑化された量がメモリ変化閾値量より多く変化する変化層を識別することと、識別された変化層に基づいて機械学習ネットワークの層を第１の層グループ分けにグループ化することと、第１の層グループ分けを出力することとを含む。

【0004】

本開示の別の態様が、１つ又は複数のプロセッサに、下記行為を行わせるための命令が格納された非一時的プログラムストレージデバイスに関する。これらの行為は、複数の層を有する機械学習ネットワークの層を処理するために用いられるメモリの量を判定することと、層の数に基づいて機械学習ネットワークの層を処理するために用いられるメモリの量を平滑化することと、用いられるメモリの平滑化された量がメモリ変化閾値量より多く変化する変化層を識別することと、識別された変化層に基づいて機械学習ネットワークの層を第１の層グループ分けにグループ化することと、第１の層グループ分けを出力することである。

【0005】

本開示の別の態様がデバイスに関し、デバイスは、メモリと、メモリに動作可能に結合される１つ又は複数のプロセッサとを含み、１つ又は複数のプロセッサは、１つ又は複数のプロセッサに、下記行為を行わせる非一時的命令を実行するように構成され、これらの行為は、複数の層を有する機械学習ネットワークの層を処理するために用いられるメモリの量を判定することと、層の数に基づいて機械学習ネットワークの層を処理するために用いられるメモリの量を平滑化することと、用いられるメモリの平滑化された量がメモリ変化閾値量より多く変化する変化層を識別することと、識別された変化層に基づいて機械学習ネットワークの層を第１の層グループ分けにグループ化することと、第１の層グループ分けを出力することである。

【図面の簡単な説明】

【0006】

種々の例の詳細な説明のため、ここで、添付の図面を参照する。

【0007】

【図1】本開示の態様に従った、例示のＣＮＮを介するデータフローを図示する。

【0008】

【図2】本開示の態様に従った、テンソルのタイリングを図示する。

【0009】

【図3A】本開示の態様に従った、スーパータイル処理を示すブロック図である。

【0010】

【図3B】本開示の態様に従った、スーパータイル処理リソース使用を図示するブロック図である。

【0011】

【図4】本開示の態様に従った、複数のスーパータイルパスのためのスーパータイル処理を図示する。

【0012】

【図5A】本開示の態様に従った、複数のスーパータイルグループにわたる複数のスーパータイルパスのためのスーパータイル処理を図示する。

【図5B】本開示の態様に従った、複数のスーパータイルグループにわたる複数のスーパータイルパスのためのスーパータイル処理を図示する。

【0013】

【図6A】本開示の態様に従った、ＣＮＮの各層に用いられるメモリの総量をプロットする折れ線グラフである。

【0014】

【図6B】本開示の態様に従った、ＣＮＮの層のためのメモリのウィンドウ化された総量をプロットする折れ線グラフである。

【0015】

【図7A】本開示の態様に従った、グループ境界判定を図示するフローチャートである。

【図7B】本開示の態様に従った、グループ境界判定を図示するフローチャートである。

【0016】

【図8】本開示の態様に従った、層グループ分けを判定するための技法を図示するフローチャートである。

【0017】

【図9】本開示の態様に従った、コンピュータデバイスのブロック図である。

【発明を実施するための形態】

【0018】

図１は、本開示の態様に従った、例示のＣＮＮ１００を介するデータフローを図示する。ここに示されるＣＮＮ１００は、２つの層、すなわち第１の層１０２及び第２の層１０４を含む。この例のＣＮＮは２つの層を含むが、他のＣＮＮが任意の数の層を含むことができることを理解されたい。層は、入力テンソルに対して実施される数学的関数を表し、出力テンソルをもたらす。数学的関数の例には、畳み込み／逆畳み込み関数、プーリング、要素ごとの加算、連結などが含まれる。テンソルは、Ｎ次元の一般化された行列であり、値を含む１つ又は複数のノードを含む。一例として、画像の場合、ノードは、画素を記述することができ、画素のｘ及びｙ座標の値、並びに画素の色を記述するＲ、Ｇ、及びＢチャネルの値を含み得る。テンソルは、画像の次元に対応する、ここでは、ＨＩ、Ｈ２、Ｈ３によって表される高さ軸と、幅軸Ｗ１、Ｗ２、及びＷ３と、色チャネル情報（ＲＧＢ情報）に対応する、Ｃ１、Ｃ２、及びＣ３によって表されるチャネル軸とを有し得る。この例では、第１のテンソル１０６が、動作パラメータのセット１０８と共に第１の層１０２に入力されて第２のテンソル１１０を生成する。同様に、第２のテンソル１１０は、第２の層１０４に入力され、動作パラメータ１１２に基づいて処理され、第３のテンソル１１４を出力し得る。動作パラメータ１０８及び１１２は、例えば、所与の層の処理に適用するための重みを含み得る。概して、第１のテンソル１０６などの初期テンソルはＣＮＮ１００への入力であり、最後のテンソル、ここでは、第３のテンソル１１４は、ＣＮＮ１００からの出力である。入力テンソルと出力テンソルとの間のテンソル、ここでは、第２のテンソル１１０は、中間テンソルと呼ばれることがある。

【0019】

或る場合において、図２のテンソル２００に示されるように、或るテンソルが処理のためにタイルに分割され得、タイルは、例えば、プロセッサのパイプライン設計に基づいてサイズ判定され得る。例えば、或るタイルが、プロセッサ上で利用可能な幾つかの並列パイプラインに基づいて１つ又は複数のノードを含み得る。今後、テンソルは、明確にするために２次元構造として示されることに留意されたい。一般的な実装において、処理が次のテンソル及び層上で開始する前に、所与のテンソルのすべてのタイルが、特定の層によって処理される。例えば、図１に戻って参照すると、第１の層１０２内の第１のテンソル１０６の処理は第１のテンソル１０６全体について完了し得、第２の層１０４内の第２のテンソル１１０の処理の前に、第２のテンソル１１０に出力され得る。

【0020】

概して、ＣＮＮを実行するために必要とされるできるだけ多くの情報をプロセッサにできる限り近いメモリに格納して、性能を向上させることができることが有利である。概して、プロセッサに近いメモリはオンチップメモリと呼ばれることがあり、一方、プロセッサから比較的遠いメモリは、システムメモリ、メインメモリ、又はランダムアクセスメモリ（ＲＡＭ）と呼ばれることがあり、更に遠くのメモリは、ストレージ、ディスク、又はハードディスクドライブと呼ばれることがある。オンチップメモリの例には、スタティックランダムアクセスメモリ（ＳＲＡＭ）及びキャッシュメモリが含まれる。キャッシュメモリは、レベル１（Ｌ１）、レベル２（Ｌ２）、及びレベル３（Ｌ３）などのレベルに更に分割され得、より大きい数は、概して、キャッシュがプロセッサからより遠くに離れている（例えば、アクセスがより遅い）ことを示す。中間入力テンソルを対応する層において処理する例として、入力テンソルは、レベル３（Ｌ３）メモリキャッシュに格納され、一方、重み、ＣＮＮモデル、並びに、入力タイル及び出力情報は、レベル２（Ｌ２）キャッシュに格納される。テンソルの一部が処理されると、出力は、Ｌ２キャッシュに一時的に格納され得、次いで、入力テンソルが処理されると、別の中間テンソル、例えば、Ｌ３キャッシュに出力され得る。次のテンソルをＬ３キャッシュに出力すると、システムは次の層を処理する準備ができる。或る場合において、初期入力テンソル及び最終出力はシステムメモリに格納され得る。中間テンソルを完全にキャッシュに格納しアクセスすることは、データを待つ間にプロセッサがストールする必要があり得るときに、幾つかのクロックサイクル（例えば、処理サイクル）を要し、処理効率を低減し得る、ダブルデータレート（ＤＤＲ）メモリなどのシステムメモリなどの外部メモリにアクセスする必要性を低減するのに役立つ。

【0021】

メモリのサイズは固定され得るが、中間テンソルによって必要とされるサイズは変化し得る。例えば、ＣＮＮは、ハーフメガバイト（ＭＢ）サイズの入力テンソルを有し得、それぞれ５ＭＢ及び１２ＭＢの２つの中間テンソルに関連付けられ得る。例えば、Ｌ３キャッシュなどのニアプロセッサメモリがわずか８ＭＢである場合、１２ＭＢの中間テンソルは、Ｌ３キャッシュ内に完全に収まることができず、１２ＭＢの中間テンソルの一部はシステムメモリに格納される可能性が高い。システムメモリへのメモリアクセスはキャッシュメモリへのアクセスよりも実質的に長いので、この場合、１２ＭＢの中間テンソルの処理時間は、メモリ入力／出力時間によってボトルネックになる。

【0022】

図３Ａは、本開示の態様に従った、スーパータイル処理３００を図示するブロック図である。次のテンソル及び層を処理する前に層を通してタンソル全体を処理するのではなく、テンソルの一部が、次のスーパータイルが処理される前に、スーパータイルとして複数層にわたって処理され得る。例えば、図３に示すように、第１のテンソル３０２は、３つの部分又はスーパータイル、スーパータイル３０４、３０６、及び３０８、に分割され得る。スーパータイル３０４は、第１の層３１０において処理されて、第２のテンソル３１２の一部であるスーパータイル３０４を出力することができる。同様に、第２のテンソル３１２のスーパータイル３０４は、次いで、第２の層３１４において処理されて、第３のテンソル３１６のスーパータイル３０４を出力し得る。そのため、スーパータイル３０４は、スーパータイル３０６が処理される前に、複数の層にわたって処理される。この例では、スーパータイルは、高さ軸又は次元にわたって実施される。他の場合において、スーパータイリングが、テンソルの１つの次元から値を除去することによって、水平軸又は垂直軸などの他の軸において実施され得る。スーパータイル３０４が層のセットによって処理された後、スーパータイル３０６が層のセットによって処理される。スーパータイル３０６の処理が完了した後、スーパータイル３０８は、次いで層のセットによって処理される。

【0023】

或る場合において、入力信号テンソルの一部が、入力信号テンソルのその部分を処理する対応する出力によって上書きされる。図３Ｂは、本開示の態様に従った、スーパータイル処理リソース用途３２０を図示するブロック図である。この例は、オンチップメモリ３２２と、プロセッサ３２４と、別のメモリ３２６とを図示する。この例では、メモリ３２２は、第１のテンソルの第１の部分３２８を含む。第１の部分３２８は、この例では、前の層（図示せず）からの中間テンソル出力であり得る。第１の部分３２８は、第１の層出力３３４を生成するために、モデル及び／又は重み情報を有する第１のＭＬネットワーク情報３３２と共に第１の層３３０において処理され得る。第１の出力３３４は、オンチップメモリ３２２に書き戻され、第１の部分３２８を格納していたオンチップメモリ３２２の部分を上書きして、第２のテンソルの第２の部分３３６を取得する。或る場合において、第２の部分３３６が第１の部分３２８とは異なるサイズであってもよい。第２の部分３３６が第１の部分３２８と比較して小さいサイズであるとき、第１の部分３２８の残りの部分３３８は廃棄され得る。場合によっては、第１の層３３２からの出力は、出力が生成されるにつれて、オンチップ３２２内の第１の部分３２８の対応する部分の上に動的に書き込まれ得る。生成されると、第２の部分３３６は、第２のＭＬネットワーク情報３４２と共に第２の層３４０において処理されて、オンチップメモリ３２２に書き戻される第２の層出力３４４を生成し、第２の部分３３６を格納していたオンチップメモリ３２２の部分を上書きして、第３のテンソルの第３の部分３４６を取得する。

【0024】

図４は、本開示の態様に従った、複数のスーパータイルパス４００のためのスーパータイル処理を図示する。この例には、少なくとも４つの中間テンソルを有する層群、第１のテンソル４０２Ａ－４０２Ｄ、第２のテンソル４０４Ａ－４０４Ｄ、第３のテンソル４０６Ａ－４０６Ｄ、及び第４のテンソル４０８Ａ－４０８Ｄが含まれ、これらは、ここでは、２０のタイルを有する単一の次元で示され、明瞭にするため他の次元は省略される。この例では層も省略されている。この例におけるテンソル４０２～４０８は中間テンソルであるので、第１のテンソル４０２は、別個の入力テンソル（図示せず）及び対応する層からの出力テンソルであることに留意されたい。前述のように、第１のテンソル４０２は、第１の層に入力されて第２のテンソル４０４を生成し、これは第２の層に入力されて第３のテンソル４０６を生成し、これは第３の層に入力されて第４のテンソル４０８を生成する。４つのスーパータイルパスが完全な第４のテンソル４０８を生成するために使用され、これは、別の層、例えば、この層グループの外側の別の層に入力され得る。

【0025】

この例で論じた各層は、３×３畳み込み層である。３×３畳み込み層では、各タイルが層の各次元において１つの隣接するタイルと共に処理される。各テンソルは、－１及び２０エントリによって表される２つのゼロパッドを含む。これらのゼロパッドは、所与のテンソルのエッジ上のタイルを処理するとき、隣接するタイルとして使用され得る。ここで、各スーパータイルパスの端部において、第４のテンソル４０８は５つの完了タイル４１０を有する。各層が３×３畳み込み層であるので、第３のテンソル４０６Ａのタイル５は、第４のテンソル４０８Ａのタイル４を生成するために用いられる。同様に、第２のテンソル４０４Ａのタイル６は、第３のテンソル４０６Ａのタイル５を生成するために用いられる、などである。第１のスーパータイルパスが完了した後、第２のスーパータイルパスが実施される。第１のスーパータイルパスと同様に、第２のスーパータイルパスが完了した後に、５つの完了したタイル４１２が生成される。図４に関連して説明したように、スーパータイルパス間に重複領域が存在し得る。例えば、第３のテンソル４０６Ｂに対するタイル４及び５は、第４のテンソル４０８Ｂの５つの完了したタイル４１２を生成するために使用され得る。第３のテンソル４０６Ｂのタイル４及び５は、第１のスーパータイルパスにおいて前もって計算され、格納された。第３のテンソル４０６Ｂを生成するとき、第３のテンソル４０６Ｂのタイル４及び５は、再計算されるのではなく、再ロードされる。同様に、第２のテンソル４０４Ｂのタイル５及び６、並びに、第１のテンソル４０２Ｂのタイル６及び７も再ロードされ得る。或る場合において、スーパータイル内に含まれる幾つかのタイルが、スーパータイルパスにわたって変化し得る。例えば、第４のスーパータイルパスの場合、第１のテンソル４０２Ｄは、他のスーパータイルパスの場合のように８つのタイルではなく２つのタイルを有し得る。テンソルのサイズが層グループにわたって変化する場合、最大テンソルのサイズは、スーパータイルのサイズを判定することの一部として使用され得る。この例では、各先行層が次のものよりも多くのタイルを計算する必要があるので、第１のパスのために第１のテンソル４０２Ａのタイルを計算するのに必要なサイズ及び従ってメモリ空間は、スーパータイル全体のサイズに対する制限要因となる。すなわち、スーパータイルのサイズ（例えば、タイル高さ）は、第１のパスにおいて第１のテンソル４０２ＡがＬ３キャッシュなどのメモリに適合するために必要とされる計算を可能とするように選択され得る。

【0026】

図５Ａ及び図５Ｂは、本開示の態様に従った、複数のスーパータイルグループにわたる複数のスーパータイルパスのためのスーパータイル処理５００を図示する。概して、ＣＮＮは、任意の数の層を有することができ、場合によっては、特定のＣＮＮが単一のスーパータイルとして実際に実行することができるよりも多くの層を有し得る。例えば、比較的大きな入力テンソル及び比較的小さい出力テンソルを有するＣＮＮは、単一のスーパータイルではなく、複数のスーパータイル内のＣＮＮの層を実行することが有益であり得る。幾つかのケースでは、ＣＮＮの層が各スーパータイルグループ５０２にグループ化された１つ以上の層を有する、スーパータイルグループ５０２Ａ及び５０２Ｂ（全体として５０２）にグループ化され得る。

【0027】

各スーパータイルグループは、或るスーパータイルグループ特性に関連付けられ得る。これらのスーパータイルグループ特性は、スーパータイルグループ内の層の数、層に関連するタイル高さ、及びコンテキストメモリなどの特性を含み得る。この例では、第１のスーパータイルグループ５０２Ａ内の層の数は、ここでは層１、２、３、及び４である４つの層５０４を含む。この例では、第２のスーパータイルグループ５０２Ｂも、ここでは、層５、６、７、及び８である、４つの層５１８を含む。各スーパータイルグループは、異なる数の層を有し得ることが理解され得る。各層は複数のタイル高さに関連付けられ得る。場合によっては、各層は、第１のタイル高さ、通常のタイル高さ、及び最後のタイル高さに関連付けられ得る。第１のタイル高さは、第１の実行中の各層のタイルの数を示し得る。場合によっては、第１の実行がここでは、パス０ ５０６と標示された、仮想又は予熱スーパータイルパスであってもよい。仮想スーパータイルパスは、層グループの最後のテンソルにおいて完了したタイルを生成しなくてもよい。そうではなく、仮想スーパータイルパスは、次の通常のスーパータイルパスのタイルと重複するタイルのセットを計算し、次のパスのためにこれらの（例えば、バックアップされた）計算されたタイルを格納する。この例では、第１の層について、第１のタイル高さは３であり、第２の層は２であり、第３の層は１であり、第４の層は０である。

【0028】

通常のタイル高さは、スーパータイルパスの定常状態実行中の各層のタイルの数を示すことができ、ここでは、パス１ ５０８、パス２ ５１０、及びパス３ ５１２と標示される。この例では、すべての層の通常のタイル高さは５である。各層の通常のタイル高さは異なっていてもよいことが理解されよう。最後のタイル高さは、スーパータイル実行の最後のパス、ここではパス４ ５１４、に対する各層のタイルの数を示す。この例では、第１の層の最後のタイル高さは２であり、第２の層は３であり、第３の層は４であり、第４の層は５である。

【0029】

コンテキストメモリスーパータイルグループ特性は、パスのための格納又はバックアップされたタイル５１６を指す。この例では、コンテキストメモリサイズは６タイルである。

【0030】

スーパータイルグループ及び関連するスーパータイルグループ特性は、或るハードウェアリソースのためのＣＮＮの実行を調整するのを助けるために、ＣＮＮに対して定義され得る。各ＣＮＮは、層の数、各層のテンソル次元、及び各層が何を行っているかの一意の組合せを有し得る。例えば、プーリング関数、畳み込み関数などを実施する層などの或る層が、ダウンサンプリング特性に関連付けられ得、層は、或る次元の入力テンソルを取得し、低減された次元を有するテンソルを出力する。リサイズ関数、逆畳み込み関数などを実施する層などの他の層が、アップサンプリング特性に関連付けられ得、層は、或る次元の入力テンソルを取得し、増加した次元を有するテンソルを出力する。

【0031】

所与のハードウェアリソースに対するＣＮＮの実行を調整するのを助けるために、ＣＮＮは、ＣＮＮの各層に必要とされるメモリの総量（例えば、メモリの量）を判定するようにモデル化され得る。メモリのこの総量は、入力テンソル、出力テンソル、バックアップされたタイル、層に必要な動作パラメータなどを含む、ＣＮＮの層を実行するために必要とされるすべてのメモリを含み得る。スーパータイルグループは、メモリのこの総量に基づいて定義され得る。

【0032】

図６Ａは、本開示の態様に従った、ＣＮＮの各層に用いられるメモリの総量をプロットする折れ線グラフ６００である。図６Ａでは、ＣＮＮの６４個の層６０２がＸ軸上に示され、Ｙ軸上に、１層当たり用いられるメモリの総量６０４が単位メガバイトで示されている。この例では、ＣＮＮの層によって用いられるメモリの総量は、層間でかなり変動し得る。本開示の態様に従って、このローカルノイズは、ウィンドウ内の層にわたって用いられるメモリの合計値を平滑化することによって対処され得る。

【0033】

図６Ｂは、本開示の態様に従った、ＣＮＮの層のためのメモリのウィンドウ化された総量をプロットする線グラフ６５０である。ウィンドウ化は、プロット６５２によって示されるウィンドウ化された総量データを生成するために、ＣＮＮの層にわたって実施される。場合によっては、層ｉについてのウィンドウ化された合計値が層ｉから層ｉ+Ｗまでの最大総量であり得、ここで、Ｗはウィンドウサイズである。例えば、図の６５０では、ウィンドウサイズが８に設定され得、従って、層１のウィンドウ化された総量は、層１～９の最大総値である。再び折れ線グラフ６００を参照すると、層５は、２５ＭＢにおいて、層１～９の最大合計値を有し、従って、層１のウィンドウ化された総量は２５ＭＢである。別の例として、層６では、層６のウィンドウ化された総量は、層６～１４の最大合計値、又は層８、９、及び１２に基づく約９ＭＢである。場合によっては、Ｗは所定の値であってもよい。例えば、Ｗは、コード化されたデフォルト値、ユーザーから受信されたものなどであり得る。場合によっては、Ｗが、１つ又は複数の要因に基づいて、例えば、ＣＮＮ内の層の総数、層のタイプ（例えば、畳み込み、逆畳み込み、プーリングなど）の関数として、幾つかの特定のタイプの層の関数として、層の順序付け、コスト関数及びモデル化に基づいて、判定され得る。

【0034】

ウィンドウ化された総量データに基づいて、ボリューム変化係数と呼ばれ得る、総量が或る量だけ変化された点が識別され得る。これらの識別された点は、スーパータイリンググループの初期境界を判定するために用いられ得る。例示の折れ線グラフ６５０では、点は、層５及び６、層１２及び１３、層２４及び３５、並びに層４９及び５０の間で識別され得る。この例では、層３３及び３４と、層５４及び５５との間に総量変化があるが、これらの点における総量変化はボリューム変化率未満であり得、従って、これらの点は識別されない。従って、５つのスーパータイリンググループは、層［１：５］、［６：１２］、［１３：２４］、［２５：４９］、及び［５０：６４］を含むものとして定義され得る。比較的小さいボリューム変化率が用いられた場合、［１：５］、［６：１２］、［１３：２４］、［２５：４９］、［５０：５４］、［５５：６４］、又は、［１：５］、［６：１２］、［１３：２４］、［２５：３３］、［３４：４９］、［５０：５４］、［５５：６４］などの付加的なスーパータイリンググループが定義され得る。場合によっては、ボリューム変化率は、例えば、ユーザーから受信されたデフォルト値などとして事前判定され得る。他の場合において、ボリューム変化係数は、１つ又は複数の要因に基づいて、例えば、キャッシュ又はメモリサイズ、すべての層にわたる最大総量、最大合計値対最小合計値の比などに基づいて判定され得る。ボリューム変化率は、ノイズ低減と識別された点の数とのバランスをとるように選択され得る。場合によっては、複数のボリューム変化率を用いて、例えば性能シミュレーション（例えば、モデル化）を介して、比較のためにスーパータイリンググループの複数のセットを判定することができる。

【0035】

スーパータイリンググループが識別された後、スーパータイリンググループは改良され得る。場合によっては、スーパータイリンググループは、スーパータイリンググループ変形物にわたって実施されるコスト最小化に基づいて改良され得る。例えば、初期のスーパータイリンググループ変形物は、総量変化に基づいて識別されるスーパータイリンググループであってもよい。コストファクタが判定され、この初期のスーパータイリンググループ変形物に関連付けられ得る。このコストファクタは、初期スーパータイリンググループ変形物を用いて実行されているＣＮＮの性能シミュレーション（例えば、モデル化）に基づいて判定され得る。性能シミュレーションは、ターゲットハードウェア資源（例えば、それに対してハードウェア資源ＣＮＮ実行が最適化されている）のメモリアクセスレイテンシ、処理速度、及び電力消費を考慮し得る。次いで、コストファクタは、初期スーパータイリンググループ変形物に関連付けられる。スーパータイリンググループの変形物は、初期グループ境界の改良範囲Ｎ内でスーパータイリンググループの１つ又は複数のグループ境界を移動させることによって判定される。場合によっては、改良範囲は、正及び負の両方であってもよく、この範囲は比較的小さいてもよい。一例として、初期グループ境界６５４は、初期スーパータイリンググループ［１３：２４］と［２５：３３］との間の層２４と層２５との間で識別され得、Ｎ＝１の範囲である。次いで、初期グループ境界の２つの判定された変形物は、［１３、２３］、［２４、３３］、及び［１３、２５］、［２６、３３］であり得、次いで、これらの判定された変形物は、性能シミュレーションを介して評価され、コストファクタに関連付けられ得る。比較的最小のコストファクタを有する変形物は、最終的なスーパータイリンググループ構成として選択され得る。場合によっては、初期グループ境界の各グループ境界が改良され得る。幾つかの場合には、或る閾値一定サイズの上又は下の総量変化を伴う１つのグループ境界が改良され得る。２つのスーパータイリンググループが互いの改良範囲内にある場合など、幾つかのケースでは、２つのスーパータイリンググループはマージされ得る。場合によっては、例えば、１つの層ではなく２つの層によってグループ境界を調整するなど、改良範囲のための異なるステップサイズが用いられ得る。

【0036】

本開示の態様に従って、タイル高さ及びタイルの数は、スーパータイリンググループのために構成され得る。場合によっては、この判定は、図５に示される例の層４など、スーパータイリンググループの最後の層のタイル高さからの逆伝播に基づき得る。逆伝搬を介してタイルの高さを判定するために、各層に必要なメモリのボリュームが判定され得る。各層に必要とされるメモリのボリューム及びターゲットハードウェア資源上で利用可能なメモリの量に基づいて、ターゲットハードウェア資源上で利用可能なメモリの量内でタイルのメモリ使用量を維持しながら層を処理するために必要とされる最小数のタイル（例えば、パス）が判定され得る。各層についてタイルの最小数が判定されると、その層についてのタイルの最小数の最大数が識別される。場合によっては、グループの層のためのタイルの数は、最初及び最後のパスを除いて、一定であり得る。タイルの最小数のこの最大数に基づいて、最後の層のタイル高さは、最初のパス、パス、及び通常のパスについて判定され得る。最後の層のタイル高さに基づいて、最後の層の前の層のタイル高さを判定することができる。次いで、このプロセスは、第１の層のタイル高さが判定されるまで繰り返される。

【0037】

図７Ａ及び図７Ｂは、本開示の態様に従った、グループ境界判定を図示するフローチャートである。ブロック７０２において、ウィンドウサイズが判定される。場合によっては、ウィンドウサイズは、事前に判定さ
れ、例えば、メモリから取り出され得る。場合によっては、ウィンドウサイズは、ＣＮＮの層の総数、コスト関数などの１つ又は複数の要因に基づいて判定され得る。ブロック７０４において、ＣＮＮの層のウィンドウ化された総量が、ウィンドウのサイズに基づいて判定され得る。例えば、層は、その層のウィンドウ数内の他の層の最大合計値に基づいて、ウィンドウ化された総量を有し得る。ブロック７０６において、層と次の層との間のウィンドウ化された総量の変化が、ボリューム変化率と比較される。ブロック７０８において、ウィンドウ処理された総量変化がボリューム変化率未満である場合、ブロック７０６において、次の層、及び次の層の後の層が評価される。ウィンドウ化された総量変化がボリューム変化率よりも大きい場合、ブロック７１０において、層間の境界が初期スーパータイル境界としてマーキングされる。ブロック７１２において、付加的な層がある場合、付加的な層はループスルーされる。ブロック７１４において、考慮すべき付加的なボリューム変化率がある場合、ＣＮＮの層は、付加的なボリューム変化率を用いて再度ループスルーされる。ブロック７１６において、マーキングされた初期スーパータイルグループ境界の１つ又は複数のセットが出力され得る。

【0038】

ブロック７１８において、改良されていないスーパータイルグループのセットがある場合、ブロック７２０において、ＣＮＮをモデル化して、改良範囲内のスーパータイルグループ境界のコスト係数を判定することができる。例えば、ＣＮＮは、シミュレートされた入力でＣＮＮを実行することと、モデル化されるスーパータイルグループ分けを用いることとによってモデル化され得る。モデル化は、仮想マシンを使用することによるなど、シミュレートされたターゲットハードウェアを使用し、メモリ使用量、使用されているメモリのレイテンシー、プロセッサ使用量、電力消費量などの動作情報を記録することができる。場合によっては、改良範囲内のスーパータイルグループ境界の各変形物がシミュレートされ得、コストファクタがその変形物に関連付けられ得る。ブロック７２２において、改良範囲内のスーパータイルグループ境界の変形物の最も低いコストファクタを有する変形物が、スーパータイルグループ境界として選択され得る。ブロック７２４において、評価すべき付加的なスーパータイルグループ境界がある場合、実行は７２０に戻り、それらの付加的なスーパータイルグループ境界を評価する。評価すべきスーパータイルグループ境界もう存在しない場合、実行は７１８に戻る。ブロック７１８で評価すべきスーパータイルグループの付加的なセットが存在しない場合、ブロック７２６で、改良されたスーパータイルグループの複数のセットがある場合、改良されたスーパータイルグループの複数のセットにわたるコストファクタが比較されて、ブロック７２８で、最も低いコストファクタを有する改良されたスーパータイルグループのセットが選択される。そうでない場合、ブロック７３０において、改良されたスーパータイルグループが出力される。

【0039】

図８は、本開示の態様に従った、層グループ分けを判定するための技法８００を示すフローチャートである。ブロック８０２において、複数の層を有する機械学習ネットワークの層を処理するために用いられるメモリの量が判定される。例えば、ＣＮＮは、ＣＮＮの層によるメモリ使用量を判定するために、シミュレートされた入力を用いて実行され得る。ブロック８０４において、機械学習ネットワークの層を処理するために用いられるメモリの量は、層の数に基づいて平滑化され得る。例えば、ＣＮＮの層を処理するために用いられるメモリの量は、ウィンドウを用いて平滑化され得る。ウィンドウは、ウィンドウに含まれる層の数を示すウィンドウサイズを有し得る。場合によっては、メモリの平滑化された量は、ローリングウィンドウ内の任意の層によって用いられるメモリの最大量に基づき得る。ブロック８０６において、用いられるメモリの平滑化された量がメモリ変化閾値量よりも多く変化する層が識別される。例えば、用いられるメモリの平滑化された量がボリューム変化係数より多く変化する点は、境界として識別され得る。ブロック８０８において、機械学習ネットワークの層は、識別された層に基づいて第１の層グループ分けにグループ化され得る。例えば、スーパータイリンググループは、識別された境界に基づいて定義され得る。ブロック８１０において、第１の層グループ分けが出力される。

【0040】

図９に示すように、デバイス９００は、１つ又は複数のハードウェアプロセッサを含むプロセッサ９０５などの処理要素を含み、各ハードウェアプロセッサは、単一又は複数のプロセッサコアを有し得る。プロセッサの例は、中央処理装置（ＣＰＵ）又はマイクロプロセッサを含むが、これらに限定されない。図９には示されていないが、プロセッサ９０５を構成する処理要素はまた、グラフィックス処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び／又はデジタルシグナルプロセッサ（ＤＳＰ）などの、１つ又は複数の他のタイプのハードウェア処理構成要素を含み得る。場合によっては、プロセッサ９０５は、図７～図８に関連して説明したタスクを実施するように構成され得る。

【0041】

プロセッサ９０５は、キャッシュメモリ、ＳＲＡＭ、レジスタなどのオンチップメモリ９２５に動作可能かつ通信可能に結合される。キャッシュメモリに関して、キャッシュメモリは、１つ又は複数のＬ１キャッシュ、１つ又は複数のＬ２キャッシュ、及び、１つ又は複数のＬ３キャッシュを含み得る。Ｌ１キャッシュは、プロセッサ９０５と共にパッケージに統合され得る。Ｌ２及び／又はＬ３キャッシュは、プロセッサパッケージ内に統合され得、又はプロセッサパッケージとは別個のパッケージ内にあってもよい。或る場合において、Ｌ２及び／又はＬ３キャッシュ、又はその一部分は、プロセッサ９０５へのメモリトラフィックを管理するのに役立つメモリコントローラと統合され得る。

【0042】

図９は、メモリ９１０がプロセッサ９０５に動作可能かつ通信可能に結合され得ることを図示する。メモリ９１０は、様々なタイプのデータを格納するように構成された非一時的コンピュータ可読記憶媒体（例えば、非一時的プログラムストレージデバイス）であり得る。例えば、メモリ９１０は、ランダムアクセスメモリ（ＲＡＭ）などの１つ又は複数の揮発性デバイスを含み得る。場合によっては、図４～８に記載されるようなＳＲＡＭ及び回路は、メモリ９１０の一部であってもよい。不揮発性ストレージデバイス９２０（例えば、非一時的プログラムストレージデバイス）は、１つ又は複数のディスクドライブ、光学ドライブ、ソリッドステートドライブ（ＳＳＤ）、タップドライブ、フラッシュメモリ、電気的プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、及び／又は、電力損失又はシャットダウン動作後の時間期間にわたってデータを維持するように設計された任意の他のタイプのメモリを含み得る。不揮発性ストレージデバイス９２０はまた、そのようなプログラムが実行されるときにＲＡＭにロードされるプログラムを格納するために用いられ得る。

【0043】

当業者は、ソフトウェアプログラムが様々なソフトウェアプラットフォーム及び／又はオペレーティングシステムのための様々なコンピューティング言語で開発、符号化、及びコンパイルされ、その後、プロセッサ９０５によってロードされ、実行され得ることを認識している。一例において、ソフトウェアプログラムのコンパイルプロセスは、プロセッサ９０５がプログラミングコードを実行できるように、或るプログラミング言語で書かれたプログラムコードを別のコンピュータ言語に変換することができる。例えば、ソフトウェアプログラムのコンパイル処理は、ＭＬネットワークを動作させる実行可能プログラムを生成してもよい。

【0044】

コンパイル処理の後、符号化された命令は、コンピュータ実行可能命令又は処理工程として、ストレージ９２０から、メモリ９１０から、プロセッサ９０５にロードされ得、及び／又は（例えば、キャッシュ又はオンボードＲＯＭを介して）プロセッサ９０５内に埋め込まれ得る。プロセッサ９０５は、コンピューティングデバイスを非汎用の、特に、特別にプログラムされた機械又はデバイスに変換するための命令又は処理工程を実施するために、格納された命令又は処理工程を実行するように構成され得る。格納されたデータ、例えば、ストレージデバイス９２０によって格納されたデータは、コンピュータ実行可能命令又は処理工程の実行中にプロセッサ９０５によってアクセスされて、コンピューティングデバイス９００内の１つ又は複数の構成要素に命令することができる。ストレージ９２０は、異なるソフトウェアプログラムによってアクセスされ得る複数のセクションに区分又は分割され得る。例えば、ストレージ９２０は、コンピューティングデバイス９００のソフトウェアを更新するためのプログラム命令又はデータを格納するなど、特定の目的のために指定されたセクションを含み得る。一例では、更新されるソフトウェアは、コンピューティングデバイスのＲＯＭ又はファームウェアを含む。或る場合において、コンピューティングデバイス９００は、複数のオペレーティングシステムを含む。例えば、コンピューティングデバイス９００は、通常動作に利用される汎用オペレーティングシステムを含み得る。コンピューティングデバイス９００はまた、汎用オペレーティングシステムのアップグレード及び回復などの特定のタスクを実施し、汎用オペレーティングシステムを介して一般に利用可能ではないレベルでコンピューティングデバイス９００へのアクセスを可能にするための、ブートローダなどの別のオペレーティングシステムを含み得る。汎用オペレーティングシステム及び別のオペレーティングシステムの両方が、特定の目的のために指定されたストレージ９２０のセクションにアクセスすることができる。

【0045】

１つ又は複数の通信インターフェースは、１つ又は複数の無線通信デバイスとインターフェースするための無線通信インターフェースを含み得る。場合によっては、プロセッサに結合された要素が、プロセッサと共有されるハードウェア上に含まれ得る。例えば、通信インターフェース９２５、ストレージ９２０、及びメモリ９１０は、デジタル無線などの他の要素と共に、システムオンチップ（ＳＯＣ）などの単一のチップ又はパッケージに含まれてもよい。コンピューティングデバイスはまた、図示されていない入力及び／又は出力デバイスを含み得、その例には、センサや、カメラや、マウス、キーボード、タッチスクリーン、モニタ、表示スクリーン、触覚又は動き生成器、スピーカー、ライトなどの人間が入力するデバイスが含まれる。

【0046】

本明細書では、「結合する」という用語が、本明細書と一貫する機能的関係を可能にする接続、通信、又は信号経路を包含し得る。例えば、デバイスＡがデバイスＢを制御して或るアクションを行なうための信号を生成する場合、（Ａ）第１の例において、デバイスＡが直接接続によってデバイスＢに結合されるか、又は、（ｂ）第２の例において、介在構成要素ＣがデバイスＡとデバイスＢとの間の機能的関係を変化しない場合に、デバイスＡが介在構成要素Ｃを介してデバイスＢに結合され、デバイスＢがデバイスＡによって生成された制御信号を介してデバイスＡによって制御される。

【0047】

本発明の特許請求の範囲内で、説明した例示の実施例に改変が成され得、他の実施例が可能である。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【国際調査報告】