特表 2024-536663 １つまたは複数のテンソルを再フォーマットすることによりニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための方法、装置および製造品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-08

(54)【発明の名称】１つまたは複数のテンソルを再フォーマットすることによりニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための方法、装置および製造品

(51)【国際特許分類】

   G06F 17/10 20060101AFI20241001BHJP

【ＦＩ】

G06F17/10 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023568735

(86)(22)【出願日】2022-07-28

(85)【翻訳文提出日】2023-12-22

(86)【国際出願番号】 US2022038710

(87)【国際公開番号】W WO2023048824

(87)【国際公開日】2023-03-30

(31)【優先権主張番号】17/484,661

(32)【優先日】2021-09-24

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

２．ＶＥＲＩＬＯＧ

(71)【出願人】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ブレイディ、ケビン

(72)【発明者】

【氏名】パワー、マーティン

(72)【発明者】

【氏名】ハンラハン、ニアル

(72)【発明者】

【氏名】パッラ、アレッサンドロ

(72)【発明者】

【氏名】グライメル、マーティン－トーマス

(72)【発明者】

【氏名】ベルナルド、デイヴィッド

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056BB26

5B056BB38

5B056BB71

5B056HH03

(57)【要約】

１つまたは複数のテンソルを再フォーマットすることによりニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げる方法、装置、システムおよび製造品が、開示される。例示的な装置は、重みカーネルの幅を決定し、第１のテンソルの深さを決定するためのパラメータ決定回路を含む。例示的な装置は、第１のテンソルの１番目のＸＹ位置から、重みカーネルの幅と重なる連続するＸＹ位置の、第１のテンソルの深さまで、１つまたは複数のＺ値をコピーし、１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードするための記憶制御回路も含む。

【特許請求の範囲】

【請求項1】

ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための装置であって、
第１のテンソルにアクセスするためのインタフェース回路；および
プロセッサ回路
を備え、
前記プロセッサ回路は、
中央処理ユニット、グラフィックスプロセッサユニットまたはデジタル信号プロセッサのうちの少なくとも１つ、前記中央処理ユニット、前記グラフィックスプロセッサユニットまたは前記デジタル信号プロセッサのうちの前記少なくとも１つは、前記プロセッサ回路内のデータ移動を制御するための制御回路、命令に対応する１つまたは複数の第１の演算を実行するための算術および論理回路、および前記１つまたは複数の第１の演算の結果および前記命令を前記装置に記憶するための１つまたは複数のレジスタを含む；
フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、前記ＦＰＧＡは、論理ゲート回路、複数の構成可能な相互接続および記憶回路を含み、前記論理ゲート回路および前記相互接続は、１つまたは複数の第２の演算を実行し、前記記憶回路は、前記１つまたは複数の第２の演算の結果を記憶する；または
１つまたは複数の第３の演算を実行するための論理ゲート回路を含む特定用途向け集積回路（ＡＳＩＣ）；
のうちの１つまたは複数を有し、
前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、
パラメータ決定回路を、
重みカーネルの幅を決定すること；および
前記第１のテンソルの深さを決定すること
を行うようインスタンス化する；および
記憶制御回路を、
前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーすること；および
前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードすること
を行うようインスタンス化する、
装置。

【請求項2】

前記装置前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、パディング回路を、
前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断すること；
外部パディングが適用される、という判断に応答して、
前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードすること；および
前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードすること
を行うようインスタンス化する、
請求項１に記載の装置。

【請求項3】

前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、前記記憶制御回路を、
前記第１のテンソルの１番目のＹ位置を選択すること；
前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択すること；および
前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択すること
を行うようインスタンス化する、
請求項１に記載の装置。

【請求項4】

前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、前記記憶制御回路を、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択することを行うようインスタンス化する、
請求項１から３のいずれか一項に記載の装置。

【請求項5】

前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である、請求項１に記載の装置。

【請求項6】

前記第１のテンソルは、前記ＮＮへの入力画像に対応する、請求項１に記載の装置。

【請求項7】

前記重みカーネルは、第１の重みカーネルであり、前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、前記パラメータ決定回路を、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択することを行うようインスタンス化する、請求項１に記載の装置。

【請求項8】

実行された場合、少なくとも、
重みカーネルの幅を決定する手順；
第１のテンソルの深さを決定する手順；
前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーする手順；および
前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードする手順
をプロセッサ回路に実行させる命令を備えるコンピュータ可読記憶媒体。

【請求項9】

前記命令は、実行された場合、
前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断する手順；
外部パディングが適用される、という判断に応答して、
前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードする手順；および
前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードする手順
を前記プロセッサ回路に実行させる、
請求項８に記載のコンピュータ可読記憶媒体。

【請求項10】

前記命令は、実行された場合、
前記第１のテンソルの１番目のＹ位置を選択する手順；
前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択する手順；および
前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択する手順
を前記プロセッサ回路に実行させる、
請求項８に記載のコンピュータ可読記憶媒体。

【請求項11】

前記命令は、実行された場合、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択する手順を前記プロセッサ回路に実行させる、請求項８から１０のいずれか一項に記載のコンピュータ可読記憶媒体。

【請求項12】

前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である、請求項８に記載のコンピュータ可読記憶媒体。

【請求項13】

前記第１のテンソルは、ニューラルネットワークへの入力画像に対応する、請求項８に記載のコンピュータ可読記憶媒体。

【請求項14】

前記重みカーネルは、第１の重みカーネルであり、前記命令は、実行された場合、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択する手順を前記プロセッサ回路に実行させる、請求項８に記載のコンピュータ可読記憶媒体。

【請求項15】

ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための装置であって、
重みカーネルの幅を決定すること；および
第１のテンソルの深さを決定すること；
を行う、１つまたは複数のパラメータを決定するための手段；および
前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーすること；および
前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードすること
を行う、記憶を制御するための手段
を備える、装置。

【請求項16】

前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断すること；
外部パディングが適用される、という判断に応答して、
前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードすること；および
前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードすること
を行う、パディングするための手段をさらに備える、請求項１５に記載の装置。

【請求項17】

前記記憶を制御するための手段は、
前記第１のテンソルの１番目のＹ位置を選択すること；
前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択すること；および
前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択すること
を行う、
請求項１５に記載の装置。

【請求項18】

前記記憶を制御するための手段は、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択することを行う、請求項１５から１７のいずれか一項に記載の装置。

【請求項19】

前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である、請求項１５に記載の装置。

【請求項20】

前記第１のテンソルは、前記ＮＮへの入力画像に対応する、請求項１５に記載の装置。

【請求項21】

前記重みカーネルは、第１の重みカーネルであり、前記１つまたは複数のパラメータを決定するための手段は、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択することを行う、請求項１５に記載の装置。

【請求項22】

ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための方法であって、
重みカーネルの幅を決定する段階；
第１のテンソルの深さを決定する段階；
前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーする段階；および
前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードする段階
を備える、方法。

【請求項23】

前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断する段階；
外部パディングが適用される、という判断に応答して、
前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードする段階；および
前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードする段階
をさらに備える、請求項２２に記載の方法。

【請求項24】

前記第１のテンソルの１番目のＹ位置を選択する段階；
前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択する段階；および
前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択する段階
をさらに備える、請求項２２に記載の方法。

【請求項25】

前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択する段階をさらに備える、請求項２２から２４のいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、アクセラレータ回路に関し、より具体的には、１つまたは複数のテンソルを再フォーマットすることによりニューラルネットワーク（ＮＮ）の利用率をＮＮの浅い層のアクセラレータ回路について上げるための方法、装置および製造品に関する。

【背景技術】

【0002】

画像処理能力に対する需要が、高出力の専用デスクトップハードウェア以外にも広がっており、パーソナルおよび／またはそうでなければモバイルデバイスに対する期待になっている。モバイルデバイスは、典型的には、サイズの制約、温度管理の制約および／または電力の制約により制限される処理能力を有する。

【図面の簡単な説明】

【0003】

【図1】ニューラルネットワークの深さが増すと入力テンソルの次元がどのように変化するかを示すグラフ図である。

【0004】

【図2】例示的な中央処理ユニット（ＣＰＵ）、例示的なシステムメモリ、例示的なダイレクトメモリアクセス（ＤＭＡ）回路および例示的な人工知能（ＡＩ）アクセラレータ回路を含む例示的なシステムオンチップ（ＳｏＣ）のブロック図である。

【0005】

【図3】例示的なテンソルを示す。

【0006】

【図4】図２のシステムメモリに記憶された例示的なテンソルデータを示す。

【0007】

【図5】例示的なポインタテーブルおよび対応するテンソルデータを含む例示的なメモリを示す。

【0008】

【図6】記憶要素ポインタがないメモリにおけるデータレイアウトを示すグラフ図である。

【0009】

【図7】記憶要素ポインタがあるメモリにおけるデータレイアウトを示すグラフ図である。

【0010】

【図8】図２の例示的なデータ複製前処理回路の例示的な実装を示すブロック図である。

【0011】

【図9】（ａ）例示的な出力テンソルを決定するための、例示的な入力テンソルと例示的な重みセットとの畳み込みから（ｂ）例示的な出力テンソルを決定するための、例示的な再フォーマットされた入力テンソルと例示的な再フォーマットされた重みセットとの畳み込みへの例示的な再形成を示すデータフロー図である。

【0012】

【図10】図２の例示的なフラクショナルストライド前処理回路の例示的な実装を示すブロック図である。

【0013】

【図11】図２の例示的なＭＡＣ回路の例示的な実装を示すブロック図である。

【0014】

【図12】例示的な出力テンソルを決定するための、パディングがない例示的な入力テンソルと１のストライドを有する３×３×３重みカーネルの例示的なセットとの例示的な畳み込みを示すデータフロー図である。

【0015】

【図13】図１２の例示的な出力テンソルを決定するための、パディングがない例示的な再フォーマットされた入力テンソルと１のストライドを有する再フォーマットされた１×３×９重みカーネルの例示的なセットとの例示的な畳み込みを示すデータフロー図である。

【0016】

【図14】洗練されたフラクショナルストライディングを容易にするための、パディングがない例示的な再フォーマットされた入力テンソルと１のストライドおよび１つまたは複数の重みスパース性ビットマップを有する例示的な３×３×３重みカーネルとの例示的な畳み込みを示すデータフロー図である。

【0017】

【図15】例示的な出力テンソルを決定するための、パディングがない例示的な入力テンソルと２のストライドを有する３×３×３重みカーネルの例示的なセットとの例示的な畳み込みを示すデータフロー図である。

【0018】

【図16】図１５の例示的な出力テンソルを決定するための、パディングがない例示的な再フォーマットされた入力テンソルと２のストライドを有する再フォーマットされた１×３×９重みカーネルの例示的なセットとの例示的な畳み込みを示すデータフロー図である。

【0019】

【図17】洗練されたフラクショナルストライディングを容易にするための、パディングがない例示的な再フォーマットされた入力テンソルと２のストライドおよび１つまたは複数の重みスパース性ビットマップを有する例示的な３×３×３重みカーネルとの例示的な畳み込みを示すデータフロー図である。

【0020】

【図18】例示的な出力テンソルを決定するための、パディングがある例示的な入力テンソルと１のストライドを有する３×３×３重みカーネルの例示的なセットとの例示的な畳み込みを示すデータフロー図である。

【0021】

【図19】図１８の例示的な出力テンソルを決定するための、パディングがある例示的な再フォーマットされた入力テンソルと１のストライドを有する再フォーマットされた１×３×９重みカーネルの例示的なセットとの例示的な畳み込みを示すデータフロー図である。

【0022】

【図20】洗練されたフラクショナルストライディングを容易にするための、パディングがある例示的な再フォーマットされた入力テンソルと１のストライドおよび１つまたは複数の重みスパース性ビットマップを有する例示的な３×３×３重みカーネルとの例示的な畳み込みを示すデータフロー図である。

【0023】

【図21】図２および／または図８のデータ複製前処理回路を実装するためにプロセッサ回路により実行および／またはインスタンス化され得る例示的な機械可読命令および／または例示的な動作のフローチャート代表図である。

【0024】

【図22】図２および／または図１０のフラクショナルストライド前処理回路を実装するためにプロセッサ回路により実行および／またはインスタンス化され得る例示的な機械可読命令および／または例示的な動作のフローチャート代表図である。

【0025】

【図23】図２および／または図８のデータ複製前処理回路を実装するための図２１の例示的な機械可読命令および／または図２および／または図１０のフラクショナルストライド前処理回路を実装するための図２２の例示的な機械可読命令を実行するように構造化されたプロセッサ回路を含む例示的な処理プラットフォームのブロック図である。

【0026】

【図24】図２３のプロセッサ回路の例示的な実装のブロック図である。

【0027】

【図25】図２３のプロセッサ回路の別の例示的な実装のブロック図である。

【0028】

【図26】エンドユーザおよび／または消費者（例えば、ライセンス、販売および／または使用のために）、小売業者（例えば、販売、再販売、ライセンスおよび／またはサブライセンスのために）および／または相手先商標製品製造者（ＯＥＭ）（例えば、小売業者へ、および／または直接購入顧客などの他のエンドユーザへ配布される製品に含めるためになど）に関連付けられたクライアントデバイスへソフトウェア（例えば、図２１および／または図２２の例示的な機械可読命令に対応するソフトウェア）を配布するための例示的なソフトウェア配布プラットフォーム（例えば、１つまたは複数のサーバ）のブロック図である。

【0029】

図面は縮尺通りではない。概して、同じまたは同様の部分を指すために、図面および付随する明細書の全体にわたって同じ参照番号が用いられる。本明細書において用いられる場合、別段の記載がない限り、接続についての言及（例えば、取り付けられ、結合され、接続され、および接合され）は、接続についての言及により参照される要素の間の中間部材、および／またはそれらの要素の間の相対移動を含み得る。したがって、接続についての言及は、２つの要素が互いに直接接続され、および／または固定されていることを必ずしも推論するわけではない。

【0030】

別段の明示的な記載がない限り、例えば、「第１の」、「第２の」、「第３の」等の記述子は、本明細書では、優先順位、物理的順序、リスト内の配置および／または任意の態様での順序付けのいかなる意味も否定し、または別様に示すことなく用いられるが、開示されている例を理解しやすくするために、要素を区別するためのラベルおよび／または任意の名前として用いられているに過ぎない。いくつかの例において、「第１の」という記述子は、詳細な説明におけるある要素を指すために用いられ得るが、同じ要素が、「第２の」または「第３の」のような異なる記述子が記載された請求項において参照され得る。そのような場合、そのような記述子は、そうでなければ例えば同じ名前を共有し得る要素を明確に識別するために用いられているに過ぎないことを理解されたい。本明細書において用いられる場合、「通信している」という、その変形を含む文言は、１つまたは複数の中間コンポーネントを通じた直接的な通信および／または間接的な通信を包含しており、直接的な物理（例えば、有線）通信および／または絶え間ない通信を必要としないが、むしろ、周期的間隔、スケジューリングされた間隔、非周期的な間隔および／または１回限りのイベントでの選択的な通信を追加的に含む。

【0031】

本明細書において用いられる場合、「プロセッサ回路」は、（ｉ）特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含んでいる１つまたは複数の専用電気回路、および／または（ｉｉ）特定の動作を実行するように命令でプログラミングされており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含んでいる１つまたは複数の汎用半導体ベース電気回路を含むように定義されている。プロセッサ回路の例は、プログラミングされたマイクロプロセッサ、命令をインスタンス化し得るフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、中央処理ユニット（ＣＰＵ）、グラフィックスプロセッサユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ＸＰＵまたはマイクロコントローラ、および、特定用途向け集積回路（ＡＳＩＣ）のような集積回路を含む。例えば、ＸＰＵが、複数のタイプのプロセッサ回路（例えば、１つまたは複数のＦＰＧＡ、１つまたは複数のＣＰＵ、１つまたは複数のＧＰＵ、１つまたは複数のＤＳＰ等、および／またはそれらの組み合わせ）を含む異種のコンピューティングシステムにより実装されてよく、複数のタイプの処理回路のどれにでもコンピューティングタスクを割り当て得るアプリケーションプログラミングインタフェース（ＡＰＩ）が、コンピューティングタスクの実行に最適である。

【発明を実施するための形態】

【0032】

パーソナルコンピュータおよび／またはモバイルデバイスを含む典型的なコンピューティングシステムは、高度画像処理またはコンピュータビジョンアルゴリズムを使用して、ヒューマンビジョンが実行できるタスクを自動化する。コンピュータビジョンタスクは、デジタル画像の取得、処理、分析および／または理解を含む。そのようなタスクは、デジタル画像からの次元データの抽出を部分的に容易にして、数値および／または記号情報を生成する。コンピュータビジョンアルゴリズムは、数値および／または記号情報を用いて、とりわけ３次元（３Ｄ）姿勢推定、イベント検出、オブジェクト認識、ビデオ追跡等に関連付けられた決定を行い、および／またはそうでなければ、それらに関連付けられた動作を実行できる。したがって、拡張現実（ＡＲ）、仮想現実（ＶＲ）、ロボット工学および／または他の用途をサポートするために、そのようなタスクを迅速に（例えば、リアルタイムまたは準リアルタイムで）かつ効率的に実行することが重要である。

【0033】

高度画像処理またはコンピュータビジョンアルゴリズムは、畳み込みニューラルネットワーク（ＣＮＮ）を使用することがある。ＣＮＮは、ディープ人工ニューラルネットワークであり、画像の分類、類似度による画像のクラスタ化（例えば、画像検索）、および／または畳み込みを用いた画像内のオブジェクト認識の実行に典型的に用いられる。本明細書において用いられる場合、畳み込みは、２つの所与の関数のうちの一方の形状が他方の関数の形状によってどのように修正されるかを表す積分によりこれらの関数から導出される関数であると定義される。したがって、ＣＮＮは、入力画像の画像特徴（例えば、横方向線、２次元（２Ｄ）形状等）に対応する１つまたは複数のフィルタの出力を渡すことにより、入力画像に含まれる顔、個人、道路標識、動物等を識別して、入力画像内の画像特徴のマッチを識別するために用いられ得る。ＣＮＮは、１つまたは複数の関数を実行するために計算において記憶および／または使用される必要があるベクトル（例えば、多次元アレイから細分化される）を取得する。したがって、ＣＮＮは、１つまたは複数の画像に対応するデータを含む多次元アレイ（例えば、テンソル）を受信し得る。畳み込みを実行するために、プロセッサ回路は、１つまたは複数のフィルタ、および活性化関数を入力テンソル（例えば、多次元アレイ、３Ｄアレイ等）適用して、出力テンソルを生成する。本明細書において用いられる場合、テンソルという用語は、データの次元セットを指す。テンソルは、ランクによりカテゴリ化されてよく、ランクは、テンソルの次元数とは無関係である。例えば、ランクゼロのテンソルがスカラ値に対応し、ランク１のテンソルがベクトル値に対応し、ランク２のテンソルが行列値に対応し、ランク３以上のテンソルがテンソル値に対応する。

【0034】

ニューラル計算エンジン（ＮＣＥ）およびニューラルネットワークアクセラレータ（ＮＮＡ）を含む人工知能（ＡＩ）アクセラレータ回路は、ＡＩモデル（例えば、ニューラルネットワーク（ＮＮ）モデル）の動作を実行するための専用ハードウェア回路である。例えば、そのような動作は、学習／トレーニングフェーズおよび推論フェーズという２つのフェーズへ分割され得る。学習／トレーニングフェーズでは、例えばトレーニングデータに基づくパターンおよび／または関連付けに従って動作するようにモデルをトレーニングするために、トレーニングアルゴリズムが用いられる。概して、モデルは、入力データを出力データへ変換するためのモデル内の一連のノードおよび接続を通じてなど、入力データがどのように出力データへ変換されるかをガイドする内部パラメータを含む。

【0035】

モデルは、ひとたびトレーニングおよび展開されると、データを処理するために推論フェーズで動作させられ得る。推論フェーズでは、分析されるデータ（例えば、実データ）がモデルへ入力され、モデルは、出力を作成するように実行される。この推論フェーズは、ＡＩモデルがトレーニングから学習したことに基づいて出力を（例えば、モデルを実行して、学習されたパターンおよび／または関連付けを実データへ適用することにより）生成しようと「思っている」ものと考えられ得る。いくつかの例において、入力データは、ＡＩモデルへの入力として用いられる前に、前処理を経る。さらに、いくつかの例において、出力を有用な結果（例えば、データ、機械により実行される命令の表示等）へ変換するために、出力データは、ＡＩモデルにより生成された後に後処理を経ることがある。

【0036】

コンピュータビジョン、音声認識、および画像およびビデオ処理を含む様々なユースケースにわたって、ＮＮ用のアーキテクチャの数が増えている。例示的なＮＮアーキテクチャは、ＲｅｓＮｅｔ－５０、ＭｏｂｉｌｅＮｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔおよびＴｉｎｙＹｏｌｏを含む。これらの例示的なＮＮアーキテクチャの各々は、各処理層が非常に高い計算要件を有する多くの処理層を含み、多くの乗算および加算（ＭＡＣ）演算を含む。追加的に、ＮＮアーキテクチャ内の各層は、１つまたは複数のチャネルを含む入力テンソルを受信する。１つまたは複数のチャネルは、対応する入力テンソルの深さに対応する。

【0037】

ほとんどのＮＮアーキテクチャの共通の特徴は、ＮＮへの初期入力層が３つのチャネルを含むことである。例えば、いくつかのＣＮＮ（例えば、コンピュータビジョン用、画像およびビデオ処理用等）では、入力層は、実行された場合、画像に対して畳み込みを実行する。そのような例において、画像画素は、ＣＮＮへ供給され、典型的には、ＣＮＮの後続の層への入力テンソルと比較して非常に浅いとみなされる３つのチャネル（例えば、赤、緑、青（ＲＧＢ）値）のみを含む。

【0038】

現代のＣＮＮは、実行された場合、典型的には、３２個、６４個または９６個のフィルタを入力画像へ適用する。したがって、ＣＮＮの次の層への入力テンソルは、入力画像よりもはるかに深くなり、深さは、フィルタの数（例えば、３２個、６４個９６個等）に対応する。ＣＮＮが深くなると、入力テンソルのチャネル深さは、典型的には、２５６から２，０４８チャネルに及ぶ。逆に、テンソルの空間次元（例えば、高さおよび幅）は、ＣＮＮが深くなると減る傾向がある。図１は、ＮＮの深さが増すと入力テンソルの次元がどのように変化するかを示すグラフ図１００である。グラフ図１００は、ＲｅｓＮｅｔ－５０ ＮＮの深さが増すと入力テンソルの次元がどのように変化するかを示す。

【0039】

図１の示されている例において、グラフ図１００は、例示的な第１のプロット１０２および例示的な第２のプロット１０４を含む。図１の例において、第１のプロット１０２は、ＲｅｓＮｅｔ－５０ ＮＮの深さが増すときの入力テンソルの空間次元を表す。図１の例において、第２のプロット１０４は、ＲｅｓＮｅｔ－５０ ＮＮの深さが増すときの入力テンソルの深さを表す。ＲｅｓＮｅｔ－５０ ＮＮの例示的な最初の層において、入力画像は、３（点１０８）のチャネル深さを有する５０，１７６画素（点１０６）の空間次元をもたらす２２４×２２４画素である。第１のプロット１０２が５６×５６画素、２８×２８画素、１４×１４画素および７×７画素へ進行する間に、第２のプロット１０４は、ＲｅｓＮｅｔ－５０ ＮＮの深さが増すと６４チャネルから２，０４８チャネルへ増える。ＲｅｓＮｅｔ－５０ ＮＮの最終層（例えば、最も深い層）は、畳み込み層に対向する完全に接続された層である。したがって、第１のプロット１０２は、７×７画素から３２×３２画素（ブロック１１０）へ増える。

【0040】

図１に示されるように、最初の層から離れて、ＮＮのほとんどの層への入力テンソルは、かなりの深さを有する。深い入力テンソルがＡＩアクセラレータ回路の計算のほとんどを含むので、業界全体の動向として、ＡＩアクセラレータ回路が深いテンソルの処理においてますます効率的になっている。例えば、ＡＩアクセラレータ回路は、アレイで配置され、かつ、より深い入力テンソルを処理するために最適化された多数のＭＡＣ回路を含む。高利用率を実現するために、例示的なＡＩアクセラレータ回路のそのようなＭＡＣ回路は、対応する入力テンソルにおいて最小数のチャネルを必要とする。３２以上の深さを有する入力テンソルを含むほとんどの畳み込み層は、１００％近くの利用率を実現しており、処理オーバヘッドに起因する劣化の割合は、１桁台の前半である。対照的に、より深い入力テンソルを有するこれらの層と同じ態様で処理された場合における入力層の利用率は、＜３０％というＭＡＣ利用率を実現している。

【0041】

したがって、ＮＮの最初の層への入力テンソルの深さが不足していることで、ＡＩアクセラレータ回路の効率が低減し、ＭＡＣ回路の利用率の低下がもたらされる。（幅および高さに関して）比較的大きいサイズの最初の入力テンソルと結合されたＭＡＣ回路の利用率が低いので、ＮＮへの最初の入力テンソルにより、ＮＮ全体の処理時間のうちのかなりの割合がもたらされる。したがって、ＮＮの最初の層への入力テンソルに深さを追加すると、最初の層の処理の性能を改善できる。

【0042】

既存のＡＩアクセラレータ回路は、専ら最初の入力テンソルを処理して比較的浅い入力テンソルの処理効率を改善するハードウェア論理回路を用いている。このハードウェア論理回路は、利用率を上げるために再使用される入力活性化の重複がカーネルの次元およびストライドにより可能になる構成に依存している。そのようなハードウェア論理回路は、プレーナフォーマットでフォーマットされる最初の入力テンソルを必要とする。したがって、既存のＡＩアクセラレータ回路は、構成依存型であり、この結果、最初の入力テンソルの処理が遅くなる。

【0043】

追加的に、専用ハードウェア論理回路は、面積を消費し、既存のＡＩアクセラレータ回路内のＭＡＣ回路およびメモリの間に専用相互接続を必要とする。そのような専用相互接続により、ルーティングボトルネックがもたらされ、ＭＡＣアレイが動作し得る最大周波数が限定される。追加的に、専用ハードウェア論理回路および相互接続は、最初の入力テンソルの処理のみに用いられるが、ネットワーク内のより深い層への入力テンソルは、異なる回路により処理される。大きいＭＡＣアレイを有するＡＩアクセラレータ回路に対する業界の動向として、専用相互接続を必要とするそのような専用ハードウェア論理回路のスケーリングは、現実的ではない。

【0044】

既存のＡＩアクセラレータ回路とは異なり、本明細書において開示される例は、高利用率を実現するためにカーネルの次元およびストライドの重複に依存しない。追加的に、本明細書において開示される例は、有利なことに、ネットワーク内の全ての層に共通のテンソルフォーマット（例えば、Ｚメジャーフォーマット）を利用する。利用率を上げるために、本明細書において開示される例は、カーネルにおける複数の点の活性化がＭＡＣ回路のアレイへ同時に入力されるように、入力テンソルを再フォーマットする。したがって、本明細書において開示される例により、ＮＮの最初の層への入力テンソルのＭＡＣ回路利用率が上がる。例えば、開示される方法、装置および製造品は、ＮＮの最初の層への入力テンソルを処理するＡＩアクセラレータ回路の性能の大きな改善をもたらす。ＮＮの最初の層への入力テンソルの処理がネットワーク処理時間全体のうちのかなりの割合を占め得るので、そのような層を処理するための時間を減らすと、ネットワークレイテンシ全体が低減する。

【0045】

テンソルは、ＸＹＺ空間における３Ｄ構造であってよい。テンソルの各ＸＹ面は、チャネルに対応し、Ｚ軸に沿った各ステップは、異なるチャネルに対応する。本明細書において開示される例示的なメモリにおいて、テンソルは、Ｚメジャーフォーマットとも称されるＺＸＹフォーマットで記憶される。メモリにおいて、ＺＸＹフォーマットデータは、Ｚ次元、続いてＸ次元、それに続いてＹ次元に記憶される。つまり、例示的なテンソルは、メモリに連続的に記憶されるＺＸ面へ分割される。したがって、ＭＡＣ回路は、複数のチャネルにわたる各ＸＹ位置のデータを同時に読み取ることができる。

【0046】

本明細書において開示される例示的な方法、装置および製造品は、テンソルデータ複製を含み、この複製では、重みカーネルの幅と重なる、入力テンソルのＸＹ位置のＺ値が、再フォーマットされたテンソルへ連続的にコピーおよびロードされ、入力テンソルの深さが増す。追加的に、本明細書において開示される例示的な方法、装置および製造品は、フラクショナルストライティングを含み、フラクショナルストライドでは、異なるスパース性パターンを有する複数の重みスパース性ビットマップが、同じ重みカーネルについて生成され、入力テンソルを効果的に深くする入力テンソルの活性化データが選択的に処理される。

【0047】

図２は、例示的な中央処理ユニット（ＣＰＵ）２０２、例示的なシステムメモリ２０４、例示的なダイレクトメモリアクセス（ＤＭＡ）回路２０６および例示的な人工知能（ＡＩ）アクセラレータ回路２０８を含む例示的なシステムオンチップ（ＳｏＣ）２００のブロック図である。図２の例において、ＣＰＵ２０２は、例示的なコンパイラ２１０、例示的なデータ複製前処理回路２１２および例示的なフラクショナルストライド前処理回路２１４を含む。追加的に、図２の例において、ＡＩアクセラレータ回路２０８は、例示的なローカルメモリ２１６、例示的なデータ読み取り回路２１８、例示的な乗算および加算（ＭＡＣ）回路２２０、および例示的なデータ書き込み回路２２２を含む。

【0048】

図２の示されている例において、ＣＰＵ２０２は、ＤＭＡ回路２０６に結合されている。図２の例において、ＣＰＵ２０２は、特定の動作を実行するよう命令を用いてプログラミングされており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路により実装される。例えば、ＣＰＵ２０２は、コンパイラ２１０の動作、データ複製前処理回路２１２の動作および／またはフラクショナルストライド前処理回路２１４の動作を実行するよう、命令を用いてプログラミングされている。追加的に、ＣＰＵ２０２は、１つまたは複数のＡＩまたは画像処理関連機能を実行するために記憶されまたは計算において用いられるデータ（例えば、入力テンソルおよび／または１つまたは複数の重みカーネル）を取得し得る。例えば、ＳｏＣ２００は、処理される画像を表す１つまたは複数の入力テンソルにアクセスするためのインタフェース回路を含んでよく、ＣＰＵ２０２は、インタフェース回路から１つまたは複数の入力テンソルを取得してよい。したがって、ＣＰＵ２０２は、１つまたは複数の画像に対応するデータを含む多次元アレイ（例えば、ベクトルのテンソルまたは行）を受信し得る。図２の例において、ＣＰＵ２０２は、データ（例えば、１つまたは複数のテンソルおよび／または１つまたは複数の重みカーネル）の記憶が、ＤＭＡ回路２０６を介してシステムメモリ２０４内のＡＩアクセラレータ回路２０８により処理されるようにする。システムメモリ２０４内のＡＩアクセラレータ回路２０８により処理されるデータをＣＰＵ２０２が記憶する場合、データは、１つまたは複数のスパース性ビットマップ（本明細書においてさらに説明される）を含むスパースフォーマットで記憶される。いくつかの例において、入力テンソルが浅い（例えば、３、４、５等の深さを有する）場合、ＣＰＵ２０２は、入力テンソルをシステムメモリ２０４に密なフォーマットで記憶する。追加的に、ＣＰＵ２０２は、１つまたは複数のＡＩワークロード（例えば、コンパイラ２１０によりコンパイルされる）を処理のためにＡＩアクセラレータ回路２０８へオフロードする。

【0049】

図２の示されている例において、ＣＰＵ２０２は、例示的なコンパイラ２１０を含む。図２の例において、コンパイラ２１０は、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路に対して特定の動作を実行するための１つまたは複数の命令（例えば、ソフトウェア）により実装される。図２の例において、コンパイラ２１０は、とりわけ、ＡＩアクセラレータ回路２０８上での実装のために、ＴｅｎｓｏｒＦｌｏｗ、Ｋｅｒａｓ、ＰｙＴｏｒｃｈなど、ＡＩおよび／または他のＮＮプログラムからの出力をコンパイルする。例示的なコンパイラ２１０は、ＡＩプログラムの変数を処理することで、１つまたは複数のテンソルを再フォーマットすることによりＮＮの浅い層のＭＡＣ回路２２０の利用率を上げるようどのようにＡＩアクセラレータ回路２０８を構成するかを決定する。

【0050】

図２の示されている例において、コンパイラ２１０は、少なくとも２つの構成に従って動作するようＡＩアクセラレータ回路２０８を構成し得る。そのような一例において、少なくとも２つの構成は、テンソルデータ複製構成およびフラクショナルストライティング構成を含む。例示的なコンパイラ２１０は、ＡＩアクセラレータ回路２０８の１つまたは複数の構成レジスタにおける１つまたは複数の構成ビットを設定することにより、構成を設定する。いくつかの例において、ＡＩアクセラレータ回路２０８に関連付けられたプログラムマニュアルは、ＮＮの浅い層のＭＡＣ回路２２０の利用率を上げるようどのようにＡＩアクセラレータ回路２０８を構成するかを説明する。

【0051】

図２の示されている例において、システムメモリ２０４は、ＤＭＡ回路２０６に結合されている。図２の例において、システムメモリ２０４は、ＡＩワークロードのための入力データ（例えば、入力テンソル）および／またはＡＩワークロードからの出力データ（例えば、出力テンソル）を記憶する。例えば、ＡＩワークロードのための入力データは、１つまたは複数の活性化テンソルおよび１つまたは複数の重みセットを含む。重みセットは、追加的に、または代替的に、重みカーネルと称され得る。図２の例において、システムメモリ２０４は、ＤＲＡＭにより実装される。追加のまたは代替的な例において、システムメモリ２０４は、他の揮発性メモリ（例えば、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ＲＡＭＢＵＳダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）等）および／または不揮発性メモリ（例えば、フラッシュメモリ）により実装される。例示的なシステムメモリ２０４は、追加的に、または代替的に、例えば、ＤＤＲ、ＤＤＲ２、ＤＤＲ３、ＤＤＲ４、モバイルＤＤＲ（ｍＤＤＲ）等、１つまたは複数のダブルデータレート（ＤＤＲ）メモリにより実装され得る。追加のまたは代替的な例において、例示的なシステムメモリ２０４は、例えば、ＳｏＣ２００の外部のハードディスクドライブ、コンパクトディスクドライブ、デジタル多用途ディスクドライブ、ソリッドステートディスクドライブ等、１つまたは複数の大容量ストレージデバイスにより実装され得る。

【0052】

図２の示されている例において、システムメモリ２０４に記憶されているデータは、スパーステンソルなど、スパースデータとして記憶されている。上述のように、いくつかの例において（例えば、入力テンソルが浅い場合）、システムメモリ２０４に記憶されているデータは、密なデータである。本明細書において定義されるように、スパースデータ（例えば、スパーステンソル）は、密なデータと同じ順序で密なデータの非０要素の全てを含むが、密なデータの全てのゼロ要素を除外したデータである。本明細書において定義されるように、密なデータ（例えば、密なテンソル）は、ゼロおよび非０要素の両方を含むデータである。したがって、密なベクトル［０，０，５，０，１８，０，４，０］は、スパースベクトル［５，１８，４］に対応する。いくつかの例において、密なデータは、アンパックされたデータおよび／または圧縮されていないデータと称され得る。追加的に、いくつかの例において、スパースデータは、パックされたデータおよび／または圧縮されたデータと称され得る。

【0053】

密なデータは、対応するスパースデータおよびスパース性ビットマップに基づいて生成および／または決定され得る。本明細書において定義されるように、スパース性ビットマップは、密なデータのそれぞれの要素がゼロまたは非０のいずれであるかを識別する１ビット要素を含むベクトルである。したがって、スパース性ビットマップは、密なデータの非０値を「１」へマッピングしてよく、密なデータのゼロ値を「０」へマッピングしてよい。上記の密なベクトル［０，０，５，０，１８，０，４，０］について、スパース性ビットマップは、（例えば、密なベクトルの３番目、５番目および７番目の要素が非０なので、）［０，０，１，０，１，０，１，０］であってよい。スパースデータおよびスパース性ビットマップの組み合わせは、対応する密なデータを表す（例えば、密なデータは、対応するスパースデータおよびスパース性ビットマップに基づいて生成および／または再構築され得る）。

【0054】

図２の示されている例において、ＤＭＡ回路２０６は、ＣＰＵ２０２、システムメモリ２０４およびローカルメモリ２１６に結合されている。図２の例において、ＤＭＡ回路２０６は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。図２の例において、ＤＭＡ回路２０６は、システムメモリ２０４にアクセスするための（例えば、メモリ２０４との間でデータの読み取りおよび／または書き込みを行うための）コントローラとして動作する。このように、ＣＰＵ２０２およびＡＩアクセラレータ回路２０８は、互いに独立してシステムメモリ２０４にアクセスし得る。例えば、ＡＩアクセラレータ回路２０８は、ローカルメモリ２１６と直接通信して、入力活性化テンソルおよび／または重みセットを取得する。ローカルメモリ２１６は、必要に応じて、システムメモリ２０４から入力テンソルおよび／または重みセットを取得し得る。追加的に、例えば、ＡＩアクセラレータ回路２０８は、ローカルメモリ２１６と直接通信して、出力テンソルを記憶できる。ローカルメモリ２１６は、そのような出力テンソルを記憶したものを、それらが利用可能になるとシステムメモリ２０４へ転送してよく、および／またはそのような出力テンソルを、それらが利用可能になるとＭＡＣ回路２２０へフィードバックしてよい。

【0055】

図２の示されている例において、ＡＩアクセラレータ回路２０８は、ＤＭＡ回路２０６に結合されている。図２の例において、ＡＩアクセラレータ回路２０８は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。図２の例において、ＡＩアクセラレータ回路２０８は、ＭＡＣ回路２２０の利用率が上がるように、再フォーマットされた入力テンソルを処理する。

【0056】

図２の示されている例において、ＣＰＵ２０２は、データ複製前処理回路２１２を含む。図２の例において、データ複製前処理回路２１２は、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路に対して特定の動作を実行するための１つまたは複数の命令（例えば、ソフトウェア）により実装される。いくつかの例において、データ複製前処理回路２１２は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。例えば、いくつかのそのような例において、ＡＩアクセラレータ回路２０８は、データ複製前処理回路２１２を実装する。図２の例において、データ複製前処理回路２１２は、ＡＩアクセラレータ回路２０８によりシステムメモリ２０４から入力テンソルが読み取られる前に、入力テンソルを前処理する。例えば、データ複製前処理回路２１２は、入力テンソルを再フォーマットして、再フォーマットされていない入力テンソルよりも深い再フォーマットされた入力テンソルを生成する。図８に関連して、データ複製前処理回路２１２をさらに説明する。

【0057】

図２の示されている例において、ＣＰＵ２０２は、フラクショナルストライド前処理回路２１４を含む。図２の例において、フラクショナルストライド前処理回路２１４は、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路に対して特定の動作を実行するための１つまたは複数の命令（例えば、ソフトウェア）により実装される。いくつかの例において、フラクショナルストライド前処理回路２１４は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。例えば、いくつかのそのような例において、ＡＩアクセラレータ回路２０８は、フラクショナルストライド前処理回路２１４を実装する。図２の例において、フラクショナルストライド前処理回路２１４は、記憶要素ポインタおよびスパース性を用いて、フラクショナルストライティングを介して入力テンソルを再フォーマットする。図１０に関連して、フラクショナルストライド前処理回路２１４をさらに説明する。

【0058】

図２の示されている例において、ＡＩアクセラレータ回路２０８は、ローカルメモリ２１６を含む。例示的なローカルメモリ２１６は、ＤＭＡ回路２０６およびデータ読み取り回路２１８に結合されている。図２の例において、ローカルメモリ２１６は、ＡＩワークロードの圧縮された入力データ（例えば、圧縮された入力テンソル、圧縮された活性化テンソル、圧縮された重みセット等）および出力データ（例えば、出力テンソル）を記憶する。ローカルメモリ２１６は、比較するとシステムメモリ２０４よりもはるかに小さい。例えば、ローカルメモリ２１６は、典型的には、１および２メガバイト（ＭＢ）の間である。図２の例において、ローカルメモリ２１６は、ＳＲＡＭにより実装される。追加のまたは代替的な例において、ローカルメモリ２１６は、他の揮発性メモリ（例えば、ＤＲＡＭ、ＳＤＲＡＭ、ＲＤＲＡＭ等）および／または不揮発性メモリ（例えば、フラッシュメモリ）により実装される。例示的なローカルメモリ２１６は、追加的にまたは代替的に、例えば、ＤＤＲ、ＤＤＲ２、ＤＤＲ３、ＤＤＲ４、ｍＤＤＲ等、１つまたは複数のＤＤＲメモリにより実装され得る。図２の示されている例において、ローカルメモリ２１６に記憶されているデータは、スパースデータおよび対応するスパース性ビットマップを含む圧縮されたデータとして記憶されている。

【0059】

図２の示されている例において、システムメモリ２０４および／またはローカルメモリ２１６は、ＡＩアクセラレータ回路２０８の構成に応じて、データを異なるように記憶する。例えば、テンソルデータ複製構成がアクティブであることをコンパイラ２１０が示した場合、システムメモリ２０４および／またはローカルメモリ２１６は、図３および図４に示されるテンソルデータを記憶する。図３は、例示的なテンソル３００を示す。図３の示されている例において、テンソル３００は、３次元である。本明細書において開示される例は、例示的なＸ軸３０２、例示的なＹ軸３０４および例示的なＺ軸３０６に沿って、テンソル３００を横断する。いくつかの例において、テンソル３００は、圧縮された（例えば、スパース）フォーマットで記憶される。他の例において（例えば、テンソル３００が浅い場合）、テンソル３００は、圧縮されていない（例えば、密な）フォーマットで記憶される。図３の例において、テンソル３００は、システムメモリ２０４にＺＸＹフォーマットで記憶される。

【0060】

いくつかの例において、テンソル３００は、Ｘ＝４、Ｙ＝２かつＺ＝Ｎという次元を有する。いくつかの例において、テンソル３００の各点のデータ幅は、８ビットである。いくつかの例において、ＣＰＵ２０２は、例示的な表１に示されるように、テンソル３００をシステムメモリ２０４にＺＸＹフォーマットかつ１６バイトアライメント記憶で記憶することを決定する。
［表１］

【表1】

【0061】

つまり、ＣＰＵ２０２は、ＺＸ面（例えば、０、１、２、３等）に沿ってテンソル３００を横断する。各ＸＹ位置のＺ値は、システムメモリ２０４の専用１６バイトである。ＤＭＡ回路２０６がテンソル３００および／またはその一部分をローカルメモリ２１６へロードする場合、ＤＭＡ回路２０６は同様に、ローカルメモリ２１６の１６バイトをテンソル３００の各ＸＹ位置のＺ値に割り当てる。図３の示されている例において、太字のデータ点インデックスは、Ｚ＝０のＸＹ面（例えば、前側ＸＹ面）のデータ点に対応する。

【0062】

図４は、図２のシステムメモリ２０４に記憶されている例示的なテンソルデータを示す。例えば、システムメモリ２０４は、テンソル３００をＺＸＹフォーマットかつ１６バイトアライメント記憶で記憶する。しかしながら、追加のまたは代替的な例において、システムメモリ２０４は、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方であってよい（例えば、そうである）。つまり、テンソル３００は、連続的に記憶されるＺＸ面へ分割される。例えば、システムメモリ２０４は、例示的な第１のＺＸ面４０２、例示的な第２のＺＸ面４０４および例示的な第３のＺＸ面４０６を記憶する。例示的な第１のＺＸ面４０２は、Ｙ＝０である場合のテンソル３００のテンソルデータに対応し、例示的な第２のＺＸ面４０４は、Ｙ＝１である場合のテンソル３００のテンソルデータに対応し、例示的な第３のＺＸ面４０６は、Ｙ＝２である場合のテンソル３００のテンソルデータに対応する。図４の示されている例は３つのＺＸ面４０２、４０４、４０６を含んでいるが、本明細書において開示される例は、（例えば、テンソル３００のＹ次元に対応する）より少ないまたはより多い数のＺＸ面を含み得る。

【0063】

図４の示されている例において、ＣＰＵ２０２がデータをシステムメモリ２０４に記憶する場合、ＣＰＵ２０２は、テンソル３００のＺ軸を横断する。例えば、ＣＰＵ２０２は、Ｘ＝０，Ｙ＝０のＺ軸の横断に基づいて、データの例示的な１番目の行４０８を記憶する。ＣＰＵ２０２がＺ軸の横断を終了した場合、ＣＰＵ２０２は、Ｘを１だけインクリメントし、Ｚ軸（例えば、Ｘ＝１，Ｙ＝０）を横断して、例示的な２番目の行４１０等を生成する。例示的なＣＰＵ２０２は、テンソル３００のデータを図２のシステムメモリ２０４に連続的に記憶する。重みカーネルもシステムメモリ２０４に連続的に記憶される（不図示）。例えば、各重みカーネルは、重み値の２７×１アレイとして記憶される。

【0064】

図２に戻ると、上述のように、システムメモリ２０４は、ＡＩアクセラレータ回路２０８の構成に応じて異なるようにデータを記憶する。例えば、フラクショナルストライティング構成がアクティブであることをコンパイラ２１０が示している場合、システムメモリ２０４は、図５に示されるテンソルデータを記憶する。図５は、例示的なポインタテーブル５０２および対応するテンソルデータ５０４を含む例示的なメモリ５００を示す。いくつかの例において、メモリ５００は、システムメモリ２０４に対応する。

【0065】

図５の示されている例において、例示的なポインタテーブル５０２は、例示的な１番目の記憶要素ポインタ５０６（ＳＥ＿ＰＴＲ＿０）、例示的な２番目の記憶要素ポインタ５０８（ＳＥ＿ＰＴＲ＿１）、例示的な３番目の記憶要素ポインタ５１０（ＳＥ＿ＰＴＲ＿２）、例示的な４番目の記憶要素ポインタ５１２（ＳＥ＿ＰＴＲ＿３）および例示的なＮ番目の記憶要素ポインタ５１４を含む。図５の例において、ＣＰＵ２０２は、テンソルデータ５０４を例示的な１番目の記憶要素５１６、例示的な２番目の記憶要素５１８、例示的な３番目の記憶要素５２０、例示的な４番目の記憶要素５２２および例示的なＮ番目の記憶要素５２４へパーティション化済みである。記憶要素の各々は、テンソルのＸＹ位置におけるテンソルのＺ値を表す。例えば、１番目の記憶要素５１６は、テンソルの１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）におけるテンソルのＺ値に対応する。

【0066】

図５の示されている例において、ポインタテーブル５０２は、記憶要素の各々の開始位置をメモリ５００に記憶する。例えば、１番目の記憶要素ポインタ５０６は、１番目の記憶要素５１６の開始位置に対応し、２番目の記憶要素ポインタ５０８は、２番目の記憶要素５１８の開始位置に対応する。追加的に、例えば、３番目の記憶要素ポインタ５１０は、３番目の記憶要素５２０の開始位置に対応し、４番目の記憶要素ポインタ５１２は、４番目の記憶要素５２２の開始位置に対応する。また、例えば、Ｎ番目の記憶要素ポインタ５１４は、Ｎ番目の記憶要素５２４の開始位置に対応する。したがって、記憶要素５１６、５１８、５２０、５２２、５２４の各々は、メモリ５００内の任意の箇所で始まり得る。

【0067】

図５の示されている例において、ポインタテーブル５０２は、連続するテーブルとしてメモリ５００に記憶されている密な構造であり、この構造において、各記憶要素ポインタがメモリ５００のメモリワード長の一部分を占有している。例えば、メモリ５００のメモリワード長が１６バイトである場合、ポインタテーブル５０２の各行に４つの記憶要素ポインタが存在するので、記憶要素の各々は、メモリ５００の４バイト（例えば、３２ビット）を占有する。しかしながら、他の例では、メモリ５００のメモリワード長は、異なり得る（例えば、３２バイト、６４バイト等）。上述のように、ポインタテーブル５０２の各記憶要素ポインタは、テンソルデータ５０４におけるＸＹ位置を指し示している。概して、個々の記憶要素がスパース性に起因してより少ないデータを含む場合でも、記憶要素は、メモリ５００のメモリワード長と一致するサイズになっている。概して、記憶要素ポインタの粒度は、メモリワードサイズに基づく。いくつかの例において、ＣＰＵ２０２は、記憶要素が空である（例えば、記憶要素がゼロのみを含んでいる）旨のインジケーションを記憶する。

【0068】

図６は、記憶要素ポインタがないメモリにおけるデータレイアウトを示すグラフ図６００である。グラフ図６００は、例示的な１番目の静的記憶要素６０２および例示的な２番目の静的記憶要素６０４を含む。記憶要素ポインタなしに、１番目の静的記憶要素６０２および２番目の静的記憶要素６０４で構成されるテンソルが、メモリ内のデータの連続するストリームとして配置されている。したがって、２Ｎ個のチャネル（例えば、Ｚ＝２）を有するテンソルの場合、メモリ内のデータレイアウトは、図６に示されるように配置される。

【0069】

図７は、記憶要素ポインタを有するメモリにおけるデータレイアウトを示すグラフ図７００である。グラフ図７００は、例示的な１番目の動的記憶要素７０２、例示的な２番目の動的記憶要素７０４および例示的な３番目の動的記憶要素７０６を含む。記憶要素ポインタにより１番目の動的記憶要素７０２、２番目の動的記憶要素７０４および３番目の動的記憶要素７０６がメモリ内の任意の箇所で始まることが可能になるので、連続するＸＹ位置におけるデータが繰り返される場合、記憶要素ポインタにより、データを複製することなく、例示的なテンソルをより深く再フォーマットすることが可能になる。例えば、記憶要素ポインタが追加されると、各ＸＹ位置（例えば、１番目の動的記憶要素７０２、２番目の動的記憶要素７０４および３番目の動的記憶要素７０６の各々）のＺ値が前のＸＹ位置と重なるので、データを複製することなくテンソルの深さを増すために、フラクショナルストライティングが適用され得る。フラクショナルストライド長は、テンソルの連続するＸＹ位置の重複を定義する。図７の例では、５０％のフラクショナルストライドである。

【0070】

スパース性を実装することにより、入力テンソルまたは重みカーネルのいずれかがゼロである場合にＭＡＣ演算をスキップすることにより実行されるＭＡＣ演算の数をＭＡＣ回路２２０が低減することが可能になる。一般的に、入力テンソルおよび重みの対応する活性化の両方が非０であることを入力テンソルスパース性ビットマップおよび重みスパース性ビットマップが示している場合、ＭＡＣ回路２２０は、計算サイクルを実行する。スパース性ビットマップが活性化または重みデータの全てのバイトの１ビットを含むので、スパース性ビットマップは、密なデータと比較した場合、１２．５％のオーバヘッドを有する。

【0071】

図２に戻ると、ＡＩアクセラレータ回路２０８は、データ読み取り回路２１８を含む。例示的なデータ読み取り回路２１８は、ローカルメモリ２１６およびＭＡＣ回路２２０に結合されている。図２の例において、データ読み取り回路２１８は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。図２の例において、データ読み取り回路２１８は、ローカルメモリ２１６に記憶されている圧縮されたデータを読み取る。

【0072】

図２の示されている例において、ＡＩアクセラレータ回路２０８は、ＭＡＣ回路２２０を含む。例示的なＭＡＣ回路２２０は、データ読み取り回路２１８およびデータ書き込み回路２２２に結合されている。図２の例において、ＭＡＣ回路２２０は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。例えば、ＭＡＣ回路２２０は、１つまたは複数のバッファ、圧縮解除回路、１つまたは複数のＭＡＣ回路および制御論理回路を含む。図２の示されている例において、ＭＡＣ回路２２０は、１つまたは複数の入力テンソルおよび１つまたは複数の重みカーネルを読み取り、１つまたは複数の入力テンソルおよび１つまたは複数の重みセットを処理して、１つまたは複数の出力テンソルを生成する。図１１に関連して、ＭＡＣ回路２２０をさらに説明する。

【0073】

図２の示されている例において、ＡＩアクセラレータ回路２０８は、データ書き込み回路２２２を含む。例示的なデータ書き込み回路２２２は、ＭＡＣ回路２２０およびローカルメモリ２１６に結合されている。図２の例において、データ書き込み回路２２２は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。図２の例において、データ書き込み回路２２２は、ＭＡＣ回路２２０により生成される結果をローカルメモリ２１６へ書き込む。例えば、データ書き込み回路２２２は、圧縮された出力テンソルおよび対応するスパース性ビットマップをローカルメモリ２１６へ書き込む。

【0074】

図８は、図２の例示的なデータ複製前処理回路２１２の例示的な実装を示すブロック図である。上述のように、データ複製前処理回路２１２は、再フォーマットされていない入力テンソルよりも深い再フォーマットされた入力テンソルを生成する。図８の示されている例において、データ複製前処理回路２１２は、例示的なパラメータ決定回路８０２、例示的なパディング回路８０４および例示的な記憶制御回路８０６を含む。図８の例において、パラメータ決定回路８０２、パディング回路８０４および／または記憶制御回路８０６のいずれも、例示的な通信バス８０８を介して通信できる。本明細書に開示される例において、通信バス８０８は、任意の適切な有線および／または無線通信を用いて実装され得る。追加のまたは代替的な例において、通信バス８０８は、ソフトウェア、機械可読命令および／または通信プロトコルを含み、これらにより、パラメータ決定回路８０２、パディング回路８０４および／または記憶制御回路８０６の間で情報が通信される。

【0075】

図８の示されている例において、パラメータ決定回路８０２は、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路に対して特定の動作を実行するための１つまたは複数の命令（例えば、ソフトウェア）により実装される。図８の例において、パラメータ決定回路８０２は、入力テンソルおよび重みカーネルの１つまたは複数のパラメータを決定する。例えば、パラメータ決定回路８０２は、処理される重みカーネルを選択し、重みカーネルの幅、高さおよびストライドを決定する。パラメータ決定回路８０２は、選択された重みカーネルと畳み込まれる入力テンソルの幅、高さおよび深さを追加的に決定する。

【0076】

図８の示されている例において、パディング回路８０４は、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路に対して特定の動作を実行するための１つまたは複数の命令（例えば、ソフトウェア）により実装される。図８の例において、パディング回路８０４は、外部パディングが入力テンソルに適用されるかどうかを判断する。例えば、パディング回路８０４は、外部パディングが入力テンソルに適用されるかどうかを重みカーネルの次元および／または出力テンソルの所望の次元に基づいて判断する。そのような例において、重みカーネルが１よりも大きい幅を有しており、かつ、出力テンソルの所望の次元が入力テンソルのものと同じである場合、パディング回路８０４は、外部パディングが入力テンソルに適用される、と判断する。

【0077】

図８の示されている例において、外部パディングは、パディング回路８０４が入力テンソルの左および右側に１つまたは複数のパッドを追加することに対応する。例えば、パディングが入力テンソルに適用されるという判断に応答して、パディング回路８０４は、入力テンソルの１番目のＹ位置における１番目のＸ位置（Ｘ＝－１，Ｙ＝０）の前に（例えば、重みカーネルの次元に基づく入力テンソルの左側に）１つまたは複数のパッドをロードする。追加的に、パディング回路８０４は、入力テンソルの１番目のＹ位置における最後のＸ位置（例えば、最後の点）（Ｘ＝ｉ＋１，Ｙ＝０）の後に（例えば、入力テンソルの右側に）１つまたは複数のパッドをロードする。図８の例において、入力テンソルに適用される外部パッドは、入力テンソル（例えば、３個のチャネル、３バイト等）の深さに等しい。外部パッドをシステムメモリ２０４へロードするために、パディング回路８０４は、入力テンソルのデータをコピーする場合に１つまたは複数のバイトオフセットを実装するようＤＭＡ回路２０６に命令する。本明細書において開示される例において、外部パッドは、テンソルの縁部の周囲に挿入されるヌル値を有するデータである。本明細書において開示される外部パッドバイトは、メモリへロードされない場合、スパース性として実装され、メモリ内のいかなる空間も占有しない。例えば、パディング回路８０４がメモリ内の入力テンソルの右および左に外部パッドを挿入している間、ＣＰＵ２０２は、スパース性を介して入力テンソルの上および下に外部パッドを実装するようＡＩアクセラレータ回路２０８に命令する。したがって、上および下の外部パッドがＡＩアクセラレータ回路２０８によりスパース性を介して実装されるので、パディング回路８０４は、外部パディングが入力テンソルに適用されるかどうかを判断する場合に重みカーネルの高さを考慮しない。

【0078】

図８の示されている例において、記憶制御回路８０６は、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路に対して特定の動作を実行するための１つまたは複数の命令（例えば、ソフトウェア）により実装される。図８の例において、パディングが適用されない、とパディング回路８０４が判断したことに応答して、記憶制御回路８０６は、再フォーマットされる入力テンソルの１番目のＹ位置を選択する。追加的に、記憶制御回路８０６は、選択されたＹ位置における入力テンソルの１番目のＸ位置を選択する。

【0079】

図８の示されている例において、記憶制御回路８０６は、選択されたＸＹ位置から、入力テンソルと畳み込まれる重みカーネルの幅と重なる連続するＸＹ位置の、入力テンソルの深さまで、Ｚ値をコピーする。本明細書において開示されるいくつかの例において、ＸＹ位置は、第１のテンソルの第１の次元に沿った１番目の点および第１のテンソルの第２の次元に沿った１番目の点の交点と称される。追加的に、本明細書において開示されるいくつかの例において、１つまたは複数のＺ値は、第１のテンソルの第３の次元に沿った１つまたは複数の値と称される。また、本明細書において開示されるいくつかの例において、重みカーネルの幅と重なる連続するＸＹ位置は、重みカーネルの幅と重なる第１の次元および第２の次元に沿った複数の点の連続する交点と称される。

【0080】

図８の示されている例において、記憶制御回路８０６は、コピーされたＺ値を再フォーマットされたテンソルの次のＸＹ位置に連続的にロードする。例えば、第１の反復において、記憶制御回路８０６は、コピーされたＺ値を再フォーマットされたテンソルの１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）に連続的にロードする。本明細書において開示されるいくつかの例において、コピーされたＺ値を再フォーマットされたテンソルの次のＸＹ位置に連続的にロードすることは、第１のテンソルの第３の次元に沿った１つまたは複数の値を第２のテンソルの第１の次元に沿った１番目の点および第２のテンソルの第２の次元に沿った１番目の点の１番目の交点に連続的にロードすることと称される。後続の反復において、記憶制御回路８０６は、コピーされたＺ値を、最初の反復の後の反復回数に等しい再フォーマットされたテンソルの次のＸＹ位置へロードする。例えば、記憶制御回路８０６は、最初の反復の後の反復回数を追跡するためのカウンタを実装し得る。

【0081】

図８の示されている例において、記憶制御回路８０６は、再フォーマットされた入力テンソルの別の列を生成するために重みカーネルの幅の外側に十分な入力テンソルデータが存在しているかどうかを判断する。例えば、重みカーネルのストライドに応じて、再フォーマットされた入力テンソルの別の列を生成するために、追加の１つよりも多くのＸ位置が必要とされ得る。重みカーネルのストライドが１である場合、記憶制御回路８０６は、重みカーネルの幅の外側に入力テンソルの追加のＸ位置（例えば、追加の点）が存在しているかどうかを判断する。重みカーネルの幅の外側に十分な入力テンソルデータが存在しているという判断に応答して、記憶制御回路８０６は、重みカーネルのストライドに従って、選択されたＹ位置における入力テンソルの次のＸ位置を選択する。重みカーネルの幅の外側に十分な入力テンソルデータが存在していないという判断に応答して、記憶制御回路８０６は、再フォーマットされた入力テンソルの別の行を生成するために重みカーネルの高さの外側に十分な入力テンソルデータが存在しているかどうかを判断する。例えば、重みカーネルのストライドに応じて、再フォーマットされた入力テンソルの別の行を生成するために、追加の１つよりも多くのＹ位置が必要とされ得る。

【0082】

図８の示されている例において、重みカーネルのストライドが１である場合、記憶制御回路８０６は、重みカーネルの高さの外側に入力テンソルの追加のＹ位置（例えば、追加の点）が存在しているかどうかを判断する。重みカーネルの高さの外側に十分な入力テンソルデータが存在している、と記憶制御回路８０６が判断したことに応答して、記憶制御回路８０６は、重みカーネルのストライドに従って、入力テンソルの次のＹ位置を選択する。重みカーネルの高さの外側に十分な入力テンソルデータが存在していない、と記憶制御回路８０６が判断したことに応答して、処理が進み、パラメータ決定回路８０２は、処理される追加の重みカーネルが存在しているかどうかを判断する。

【0083】

図９は、（ａ）例示的な出力テンソル９０６を決定するための、例示的な入力テンソル９０２と例示的な重みセット９０４との畳み込みから（ｂ）例示的な出力テンソル９０６を決定するための、例示的な再フォーマットされた入力テンソル９０８と例示的な再フォーマットされた重みセット９１０との畳み込みへの例示的な再形成を示すデータフロー図９００である。図９の例において、入力テンソル９０２は、２２４×２２４×３テンソルであり、重みセットは、２のストライドを有する６４個の７×７×３重みカーネルを含む。例示的な出力テンソル９０６は、１１２×１１２×６４テンソルである。

【0084】

図９の示されている例において、テンソルデータ複製構成に従って、データ複製前処理回路２１２は、入力テンソル９０２および重みセット９０４を再フォーマットして、再フォーマットされた入力テンソル９０８および再フォーマットされた重みセット９１０を生成する。再フォーマットされた入力テンソル９０８および再フォーマットされた重みセット９１０は、入力テンソル９０２および重みセット９０４とは異なる次元（すなわち、深さ）を有するが、再フォーマットされたテンソルを畳み込むことにより、同一の定数（例えば、出力テンソル９０６）と同等の出力テンソルがもたらされる。

【0085】

図９の示されている例において、データ複製前処理回路２１２は、深さが３である７×７個のフィルタから深さが２１である１×７個のフィルタへ重みセット９０４の個々の重みカーネルを再フォーマットするために重みカーネルの各々のＸ次元がＺ次元に沿って再パックされるように、重みセット９０４の重みカーネルを再フォーマットする（例えば、再フォーマットされた重みセット９１０）。重みセット９０４の値は、変更されない。図９の例において、重みセット９０４の重みカーネルの形状が再フォーマットされた重みセット９１０へ再フォーマットされるが、重みセット９０４がメモリに記憶される方式は、変わらない。代わりに、重みセット９０４を再フォーマットするために、ＭＡＣ回路２２０は、図１１のＭＡＣ回路を通じて重みセット９０４を順序付けて、再フォーマットされた入力テンソル９０８の新しい次元に適応させる。

【0086】

図９の示されている例において、データ複製前処理回路２１２は、再フォーマットされた重みセット９１０の深さと一致するように入力テンソル９０２を再フォーマットする。そのような再フォーマットは、再フォーマットされた重みセット９１０の深さと一致させるための既存の画素のいくつかの複製およびＺ次元に沿ったそのような画素の再パックを含む。図９に示されるように、再フォーマットされた入力テンソル９０８を再フォーマットされた重みセット９１０と畳み込むことにより、入力テンソル９０２を重みセット９０４と畳み込んだものと同じ出力テンソル（例えば、出力テンソル９０６）がもたらされるが、前者の畳み込みは、より深い入力テンソルを利用し、したがって、後者の畳み込みと比較して改善された性能がもたらされる。

【0087】

図１０は、図２の例示的なフラクショナルストライド前処理回路２１４の例示的な実装を示すブロック図である。上述のように、フラクショナルストライド前処理回路２１４は、記憶要素ポインタおよびスパース性を用いて、フラクショナルストライティングを介して入力テンソルを再フォーマットする。図１０の示されている例において、フラクショナルストライド前処理回路２１４は、例示的なテンソルおよび重み制御回路１００２、例示的なパディング制御回路１００４、例示的なスパース性生成回路１００６および例示的なポインタ制御回路１００８を含む。図１０の例において、テンソルおよび重み制御回路１００２、パディング制御回路１００４、スパース性生成回路１００６および／またはポインタ制御回路１００８のいずれも、例示的な通信バス１０１０を介して通信できる。本明細書に開示される例において、通信バス１０１０は、任意の適切な有線および／または無線通信を用いて実装され得る。追加のまたは代替的な例において、通信バス１０１０は、ソフトウェア、機械可読命令および／または通信プロトコルを含み、これらにより、テンソルおよび重み制御回路１００２、パディング制御回路１００４、スパース性生成回路１００６および／またはポインタ制御回路１００８の間で情報が通信される。

【0088】

上述のように、記憶要素ポインタは、図１０の例では１６バイトであるメモリワードサイズに基づく粒度を有する。ＮＮの最初の層への入力テンソルが記憶要素ポインタの粒度よりも少ない（例えば、３＜１６）チャネルを有するので、フラクショナルストライド前処理回路２１４は、スパース性および入力テンソル操作を利用してフラクショナルストライティングを洗練させることにより、入力テンソルの効果的な深さを増す。

【0089】

図１０の示されている例において、テンソルおよび重み制御回路１００２は、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路に対して特定の動作を実行するための１つまたは複数の命令（例えば、ソフトウェア）により実装される。図１０の例において、テンソルおよび重み制御回路１００２は、入力テンソルおよび重みカーネルの１つまたは複数のパラメータを決定する。例えば、テンソルおよび重み制御回路１００２は、処理される重みカーネルを選択し、重みカーネルの幅、高さおよびストライドを決定する。テンソルおよび重み制御回路１００２は、選択された重みカーネルと畳み込まれる入力テンソルの幅、高さおよび深さを追加的に決定する。

【0090】

図１０の示されている例において、テンソルおよび重み制御回路１００２はまた、選択された重みカーネルを複製して、再フォーマットされた入力テンソルのＸＹ位置毎に生成され得る出力テンソルの点の数と一致するようにＮ個の重みカーネルを生成する。記憶要素ポインタおよびスパース性を用いてフラクショナルストライティングを介して入力テンソルが再フォーマットされた後、テンソルおよび重み制御回路１００２は、処理され、および／またはメモリに記憶される入力テンソル、１つまたは複数の重みカーネルおよび１つまたは複数の重みスパース性ビットマップをオフロードする。入力テンソルが浅い一例において、重み制御回路１００２は、入力テンソルを密なデータとしてオフロードする。

【0091】

図１０の示されている例において、パディング制御回路１００４は、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路に対して特定の動作を実行するための１つまたは複数の命令（例えば、ソフトウェア）により実装される。図１０の例において、パディング制御回路１００４は、外部パディングが入力テンソルに適用されるかどうかを判断する。例えば、パディング制御回路１００４は、外部パディングが入力テンソルに適用されるかどうかを重みカーネルの次元および／または出力テンソルの所望の次元に基づいて判断する。そのような例において、重みカーネルが１よりも大きい幅を有しており、かつ、出力テンソルの所望の次元が入力テンソルのものと同じである場合、パディング制御回路１００４は、外部パディングが入力テンソルに適用される、と判断する。

【0092】

図１０の示されている例において、外部パディングは、パディング制御回路１００４が入力テンソルの左および右側に１つまたは複数のパッドを追加することに対応する。例えば、パディングが入力テンソルに適用されるという判断に応答して、パディング制御回路１００４は、入力テンソルの１番目のＹ位置における１番目のＸ位置（Ｘ＝－１，Ｙ＝０）の前に（例えば、重みカーネルの次元に基づく入力テンソルの左側に）１つまたは複数のパッドをロードする。追加的に、パディング制御回路１００４は、入力テンソルの１番目のＹ位置における最後のＸ位置（例えば、最後の点）（Ｘ＝ｉ＋１，Ｙ＝０）の後に（例えば、入力テンソルの右側に）１つまたは複数のパッドをロードする。例えば、１のストライドを有する３×３重みカーネルについて、パディング制御回路１００４は、１つの外部パッドをＸＹ面の左に、１つの外部パッドをＸＹ面の右に追加する。図１０の例において、入力テンソルに適用される外部パッドは、入力テンソルの深さに等しい。したがって、そのような一例において、パディング制御回路１００４は、３バイトの深さを有する外部パッドを入力テンソルの左に、３バイトの深さを有する外部パッドを入力テンソルの右に追加する。別の例において、１のストライドを有する５×５重みカーネルについて、パディング制御回路１００４は、２つの外部パッドをＸＹ面の左に、２つの外部パッドをＸＹ面の右に追加する。そのような一例において、パディング制御回路１００４は、３バイトの深さを各々が有する２つの外部パッドを入力テンソルの左に、３バイトの深さを各々が有する２つの外部パッドを入力テンソルの右に追加する。

【0093】

図１０の示されている例において、外部パッドをシステムメモリ２０４へロードするために、パディング制御回路１００４は、入力テンソルのデータをコピーする場合に１つまたは複数のバイトオフセットを実装するようＤＭＡ回路２０６に命令する。本明細書において開示される外部パッドバイトは、メモリへロードされない場合、スパース性として実装され、メモリ内のいかなる空間も占有しない。例えば、パディング制御回路１００４がメモリ内の入力テンソルの右および左に外部パッドを挿入している間、ＣＰＵ２０２は、スパース性を介して入力テンソルの上および下に外部パッドを実装するようＡＩアクセラレータ回路２０８に命令する。したがって、上および下の外部パッドがＡＩアクセラレータ回路２０８によりスパース性を介して実装されるので、パディング制御回路１００４は、外部パディングが入力テンソルに適用されるかどうかを判断する場合に重みカーネルの高さを考慮しない。

【0094】

図１０の示されている例において、スパース性生成回路１００６は、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路に対して特定の動作を実行するための１つまたは複数の命令（例えば、ソフトウェア）により実装される。図１０の例において、スパース性生成回路１００６は、内部パディングが入力テンソルに適用されるかどうかを判断する。例えば、スパース性生成回路１００６は、記憶要素の粒度を入力テンソルの深さで除算することにより内部パディングが入力テンソルに適用されるかどうかを判断する。除算演算の剰余がゼロではない場合、スパース性生成回路１００６は、内部パディングが適用され、逆も然り、と判断する。

【0095】

図１０の示されている例において、内部パディングが入力テンソルに適用されるという判断に応答して、スパース性生成回路１００６は、入力テンソルの各ＸＹ位置のＺ値をパッドの数により分離する。パッドの数を決定するために、スパース性生成回路１００６はまず、入力テンソルの深さを、記憶要素の粒度へ除算された場合に剰余ゼロを戻す４の最も近い倍数までラウンドする。例えば、記憶要素の粒度が１６バイトであり、入力テンソルの深さが３である場合、４が１６へ均一に分割するので、スパース性生成回路１００６は、３を４までラウンドする。次に、スパース性生成回路１００６は、入力テンソルのラウンドされた値および深さの間の差を見出して、パッドの数を決定する。例えば、記憶要素の粒度が１６であり、入力テンソルの深さが３である場合、スパース性生成回路１００６は、パッドの数を１（例えば、４－３＝１）と決定する。本明細書において開示される例において、入力テンソルの内部パッドの長さは、１バイトである。

【0096】

図１０の示されている例において、スパース性生成回路１００６は、Ｎ個の重みスパース性ビットマップを生成する。各重みスパース性ビットマップは、選択された重みカーネルのストライドの数と入力テンソルの深さおよび内部パッドの数の和との積だけそれぞれの重みスパース性ビットマップの開始からずらされるスパース性パターンを含む。図１０の例において、Ｎは、再フォーマットされた入力テンソルのＸＹ位置毎に生成され得る出力テンソルの点の数と一致する重みカーネルの数に等しい。それぞれのスパース性パターンのオフセットは、入力テンソルの深さおよび内部パッドの数によって決まる。例えば、入力テンソルの深さが３であり、内部パッドの数が１である場合、オフセットは、選択された重みカーネルのストライドの数と４との積に等しい。図１０の例において、各重みスパース性ビットマップのスパース性パターンは、ｄ個の連続する１ビットのｗ_Ｋセットを含む。ｗ_Ｋは、重みカーネルの幅であり、ｄは、入力テンソルの深さである。内部パディングが入力テンソルに適用される場合、ｗ_Ｋセットの各々には、内部パッドの数に等しい１つまたは複数のゼロビットが付加される。したがって、３の幅を有する重みカーネル、および３の深さおよび１の内部パディングを有する入力テンソルについて、各重みスパース性ビットマップのスパース性パターンは、３つの連続する１ビットの３つのセットを含む。各セットには、１つのゼロビットが付加される（例えば、［１，１，１，０，１，１，１，０，１，１，１，０］）。Ｎ個のスパース性ビットマップについてスパース性生成回路１００６により生成される１ビットの総数は、重みカーネルの幅、重みカーネルの高さと入力テンソルの深さとの積に等しい。

【0097】

図１０の示されている例において、ポインタ制御回路１００８は、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の汎用半導体ベース電気回路に対して特定の動作を実行するための１つまたは複数の命令（例えば、ソフトウェア）により実装される。図１０の例において、ポインタ制御回路１００８は、適用される場合、Ｎ、入力テンソルの深さ、重みカーネルのストライドおよび内部パッド長に基づいてフラクショナルストライドオフセットを連続する記憶要素ポインタに適用することを決定する。例えば、ポインタ制御回路１００８は、以下の式１に従って、フラクショナルストライドオフセットを決定する。
ＦＳ_{ＯＦＦＳＥＴ}＝Ｎ＋（ＮＵＭ＿ＣＨＡＮＮＥＬＳ＋ＰＡＤ）＊ＳＴＲＩＤＥ
式１

【0098】

図１０の示されている例において、Ｎは、再フォーマットされた入力テンソルのＸＹ位置毎に生成され得る出力テンソルの点の数と一致する重みカーネルの数に等しい。１つの例において、１のストライドを有する３×３カーネルが深さ３の入力チャネルと畳み込みされている場合、内部パッドは、長さが１になる。そのような例において、再フォーマットされた入力テンソルのＸＹ位置毎に生成され得る出力テンソルの点の数。したがって、フラクショナルストライドオフセットは、４×（３バイト＋１パッドバイト）×１＝１６バイトに等しい。図１０の示されている例において、ポインタ制御回路１００８は、フラクショナルストライティングオフセットを決定した後、連続する記憶要素ポインタをこのオフセットの分だけずらす。

【0099】

図１１は、図２の例示的なＭＡＣ回路２２０の例示的な実装を示すブロック図である。図１１の例において、ＭＡＣ回路２２０は、例示的な制御論理回路１１０２、例示的な重みバッファ１１０４、例示的な重み圧縮解除回路１１０６、例示的な入力テンソルバッファ１１０８、例示的な入力テンソル圧縮解除回路１１１０、および、ＭＡＣ回路１１１２_１，１から１１１２_１，Ｍ、１１１４_２，１から１１１４_２，Ｍおよび１１１６_Ｎ，１から１１１６_Ｎ，Ｍの例示的なアレイを含む。図１１の例において、制御論理回路１１０２は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。例示的な制御論理回路１１０２は、重みバッファ１１０４、重み圧縮解除回路１１０６、入力テンソルバッファ１１０８および入力テンソル圧縮解除回路１１１０に結合されている。

【0100】

図１１の示されている例において、制御論理回路１１０２は、１つまたは複数の重みカーネルおよび対応する重みスパース性ビットマップを受信する。追加的に、例示的な制御論理回路１１０２は、１つまたは複数の入力テンソルおよび入力テンソルスパース性ビットマップを受信する。入力テンソルが浅い例では、スパース性を利用するには入力テンソルが浅過ぎるので、制御論理回路１１０２は、入力テンソルスパース性ビットマップを受信しない。図１１の例において、制御論理回路１１０２は、１つまたは複数の重みカーネルを、そのようなデータを処理した後に重みバッファ１１０４へ転送し、対応する重みスパース性ビットマップを、そのようなデータを処理した後に重み圧縮解除回路１１０６へ転送する。追加的に、制御論理回路１１０２は、１つまたは複数の入力テンソルを、そのようなデータを処理した後に入力テンソルバッファ１１０８へ転送する。ニューラルネットワーク内の後の層について（例えば、入力テンソルが深い場合）、制御論理回路１１０２はまた、対応する入力テンソルスパース性ビットマップを、そのようなデータを処理した後に入力テンソル圧縮解除回路１１１０へ転送する。いくつかの例において、制御論理回路１１０２は、データ複製前処理回路２１２および／またはフラクショナルストライド前処理回路２１４を実装する。

【0101】

図１１の示されている例において、重みバッファ１１０４および入力テンソルバッファ１１０８の各々は、ＳＲＡＭにより実装される。追加のまたは代替的な例において、重みバッファ１１０４および入力テンソルバッファ１１０８の各々は、他の揮発性メモリ（例えば、ＤＲＡＭ、ＳＤＲＡＭ、ＲＤＲＡＭ等）および／または不揮発性メモリ（例えば、フラッシュメモリ）により実装される。図１１の例において、重みバッファ１１０４は、制御論理回路１１０２および重み圧縮解除回路１１０６に結合されている。

【0102】

図１１の示されている例において、重み圧縮解除回路１１０６は、制御論理回路１１０２、重みバッファ１１０４、ＭＡＣ回路１１１２_１、１から１１１２_１，Ｍの１番目の列、ＭＡＣ回路１１１４_１，１から１１１４_１，Ｍの２番目の列およびＭＡＣ回路１１１６_Ｎ，１から１１１６_Ｎ，ＭのＮ番目の列に結合されている。図１１の例において、重み圧縮解除回路１１０６は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。図１１の例において、例示的な重み圧縮解除回路１１０６は、圧縮された重みデータ（例えば、スパース重みカーネルおよび対応する重みスパース性ビットマップ）を処理し、スパース重みデータを密な重みデータへ変換する。重み圧縮解除回路１１０６は、圧縮された重みデータを圧縮解除した後、密な重みデータをＭＡＣ回路１１１２_１，１から１１１２_１，Ｍの１番目の列、ＭＡＣ回路１１１４_１，１から１１１４_１，Ｍの２番目の列およびＭＡＣ回路１１１６_Ｎ，１から１１１６_Ｎ，ＭのＮ番目の列へ伝送する。

【0103】

図１１の示されている例において、入力テンソルバッファ１１０８は、制御論理回路１１０２および入力テンソル圧縮解除回路１１１０に結合されている。図１１の例において、入力テンソル圧縮解除回路１１１０は、制御論理回路１１０２、入力テンソルバッファ１１０８、ＭＡＣ回路１１１２_１，１、１１１４_２，１および１１１６_Ｎ，１の１番目の行、ＭＡＣ回路１１１２_１，２、１１１４_２，２および１１１６_Ｎ，２の２番目の行、およびＭＡＣ回路１１１２_１，Ｍ、１１１４_２，Ｍおよび１１１６_Ｎ，ＭのＭ番目の行に結合されている。図１１の例において、入力テンソル圧縮解除回路１１１０は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。図１１の例において、例示的な入力テンソル圧縮解除回路１１１０は、圧縮された入力テンソルデータ（例えば、スパース入力テンソルおよび対応する入力テンソルスパース性ビットマップ）を処理し、スパース入力テンソルデータを密な入力テンソルデータへ変換する。入力テンソル圧縮解除回路１１１０は、圧縮された入力テンソルデータを圧縮解除した後、密な入力テンソルデータをＭＡＣ回路１１１２_１，１、１１１４_２，１および１１１６_Ｎ，１の１番目の行、ＭＡＣ回路１１１２_１，２、１１１４_２，２および１１１６_Ｎ，２の２番目の行、およびＭＡＣ回路１１１２_１，Ｍ、１１１４_２，Ｍおよび１１１６_Ｎ，ＭのＭ番目の行へ伝送する。入力テンソルスパース性ビットマップが受信されない場合、入力テンソルデータが既に密なので、入力テンソル圧縮解除回路１１１０は、入力テンソルデータをＭＡＣ回路１１１２_１，１、１１１４_２，１および１１１６_Ｎ，１の１番目の行、ＭＡＣ回路１１１２_１，２、１１１４_２，２および１１１６_Ｎ，２の２番目の行、およびＭＡＣ回路１１１２_１，Ｍ、１１１４_２，Ｍおよび１１１６_Ｎ，ＭのＭ番目の行へ伝送する。

【0104】

図１１の示されている例において、ＭＡＣ回路１１１２_１，１、１１１２_１，２、１１１２_１，Ｍ、１１１４_２，１、１１１４_２，２、１１１４_２，Ｍ、１１１６_Ｎ，１、１１１６_Ｎ，２および１１１６_Ｎ，Ｍ（総称して、図１１のＭＡＣ回路）の各々は、特定の動作を実行するように構造化されており、かつ、１つまたは複数の半導体ベース論理デバイス（例えば、１つまたは複数のトランジスタにより実装される電気ハードウェア）を含む１つまたは複数の専用電気回路により実装される。図１１の例において、図１１のＭＡＣ回路の各々は、重み圧縮解除回路１１０６から重みデータを、入力テンソル圧縮解除回路１１１０から入力テンソルデータを受信する。図１１のＭＡＣ回路の各々は、１サイクル毎に複数回のＭＡＣ演算を実行する。例えば、図１１のＭＡＣ回路の各々は、１サイクル毎に８回のＭＡＣ演算を実行する。図１１の例において、図１１のＭＡＣ回路のそれぞれにより実行される各ＭＡＣ演算は、入力テンソルのＸＹ位置の活性化データを処理する、図１１のＭＡＣ回路の各々に対応する。図１１のＭＡＣ回路は、１クロックサイクル毎に３２チャネルまでの活性化データを受信することで、入力テンソルのチャネル深さが（例えば、１６よりも大きい、またはそれに等しい深さを有する入力テンソルについて）高い場合にＭＡＣ回路２２０の効率的な利用率を可能にするように構成されている。

【0105】

図１２は、例示的な出力テンソル１２０６を決定するための、パディングがない例示的な入力テンソル１２０２と１のストライドを有する３×３×３重みカーネル１２０４の例示的なセットとの例示的な畳み込み１２００を示すデータフロー図である。図１２の例において、入力テンソル１２０２は、Ｘ＝４、Ｙ＝４かつＺ＝３の次元を有する。入力テンソル１２０２は、３個のチャネルを用いたＺメジャーフォーマットでメモリに記憶される。図１２の例において、入力テンソル１２０２上の各ＸＹ位置は、位置合わせされた１６バイトであるメモリ内の位置を占有する。したがって、入力テンソル１２０２（例えば、Ｚ＞２）のチャネルの後のメモリは、未使用のバイトである。いくつかの例では、未使用のバイトにデータが記憶されないが、追加のまたは代替的な例では、未使用のバイトは、ゼロという対応するスパース性ビットマップを有するデータを含み得る。図１２の例において、１６バイトアライメント（例えば、１６－３＝１３）の結果として、メモリには、ＸＹ位置毎に１３個の未使用バイトが存在している。

【0106】

図１２の示されている例において、入力テンソル１２０２は、入力テンソル１２０２の１番目のＸＹ位置における第１のＺ値１２０８、入力テンソル１２０２の２番目のＸＹ位置における第２のＺ値１２１０、入力テンソル１２０２の３番目のＸＹ位置における第３のＺ値１２１２および入力テンソル１２０２の４番目のＸＹ位置における第４のＺ値１２１４を含む。図１２の例において、３×３×３重みカーネル１２０４のセットは、例示的な第１の重みカーネル１２１６、例示的な第２の重みカーネル１２１８、例示的な第３の重みカーネル１２２０および例示的な第４の重みカーネル１２２２を含む。第１の重みカーネル１２１６、第２の重みカーネル１２１８、第３の重みカーネル１２２０および第４の重みカーネル１２２２の各々は、３の深さを有する。したがって、第１の重みカーネル１２１６、第２の重みカーネル１２１８、第３の重みカーネル１２２０および第４の重みカーネル１２２２の各々は、メモリ内の２７バイト（例えば、Ｘ_{ＫＥＲＮＥＬ}＊Ｙ_{ＫＥＲＮＥＬ}＊ＮＵＭ＿ＣＨＡＮＮＥＬＳ）を占有する。したがって、ＭＡＣ回路は、２７回のＭＡＣ演算を実行して、出力テンソル１２０６の出力点１２２４、１２２６の各々を生成する。図１２の例において、第１の重みカーネル１２１６、第２の重みカーネル１２１８、第３の重みカーネル１２２０および第４の重みカーネル１２２２の各々は、出力テンソル１２０６内の単一のチャネル（例えば、Ｋにおけるステップ）を生成するために、４回用いられる。

【0107】

図１２の例において、第１の重みカーネル１２１６、第２の重みカーネル１２１８、第３の重みカーネル１２２０および第４の重みカーネル１２２２の各々は、メモリに連続的に記憶される。つまり、第１の重みカーネル１２１６、第２の重みカーネル１２１８、第３の重みカーネル１２２０および第４の重みカーネル１２２２の各々は、２７×１アレイとしてメモリに記憶される。図１２の例において、第１の重みカーネル１２１６、第２の重みカーネル１２１８、第３の重みカーネル１２２０および第４の重みカーネル１２２２は、３×３×３重みカーネル１２０４のセットが入力テンソル１２０２にどのようにマッピングするかを示すために、３×３×３個のテンソルとして示されている。

【0108】

図１３は、図１２の例示的な出力テンソル１２０６を決定するための、パディングがない例示的な再フォーマットされた入力テンソル１３０２と１のストライドを有する再フォーマットされた１×３×９重みカーネル１３０４の例示的なセットとの例示的な畳み込み１３００を示すデータフロー図である。図１３の例において、再フォーマットされた入力テンソル１３０２は、Ｘ＝２、Ｙ＝４かつＺ＝９の次元を有する。再フォーマットされた入力テンソル１３０２のＺ次元は、第１の重みカーネル１２１６の幅と入力テンソル１２０２のチャネルの数との積として決定され得る（例えば、Ｚ_{ＲＥＦＯＲＭＡＴＴＥＤ}＝Ｘ_{ＫＥＲＮＥＬ}＊ＮＵＭ＿ＣＨＡＮＮＥＬＳ）。図１３の例において、再フォーマットされた入力テンソル１３０２上の各ＸＹ位置は、位置合わせされた１６バイトであるメモリ内の位置を占有する。したがって、再フォーマットされた入力テンソル１３０２（例えば、Ｚ＞８）のチャネルの後のメモリは、未使用のバイトである。図１３の例において、データ複製前処理回路２１２は、入力テンソル１２０２をテンソルデータ複製構成に従って再フォーマットして、再フォーマットされた入力テンソル１３０２を生成する。

【0109】

図１３の示されている例において、再フォーマットされた１×３×９重みカーネル１３０４のセットは、例示的な第１の重みカーネル１３０６、例示的な第２の重みカーネル１３０８、例示的な第３の重みカーネル１３１０および例示的な第４の重みカーネル１３１２を含む。図１３の例において、入力テンソル１２０２は、それぞれの重みカーネルの次元がＸ_{ＫＥＲＮＥＬ}＊Ｙ_{ＫＥＲＮＥＬ}から１＊Ｙ_{ＫＥＲＮＥＬ}へ変更され得るように再フォーマットされる。例えば、第１の重みカーネル１３０６、第２の重みカーネル１３０８、第３の重みカーネル１３１０および第４の重みカーネル１３１２の各々は、９の深さを有する１×３カーネルである。

【0110】

図１３の例において、３×３×３重みカーネル１２０４のセットのそれぞれの形状が再フォーマットされた１×３×９重みカーネル１３０４のセットへ再フォーマットされるが、３×３×３重みカーネル１２０４のセットがメモリに記憶される方式は、変わらない。代わりに、３×３×３重みカーネル１２０４のセットを再フォーマットするために、ＭＡＣ回路２２０は、図１１のＭＡＣ回路を通じて３×３×３重みカーネル１２０４のセットを順序付けて、再フォーマットされた入力テンソル１３０２の新しい次元に適応させる。

【0111】

図１３の示されている例において、パラメータ決定回路８０２は、第１の重みカーネル１２１６の幅（例えば、３）、高さ（例えば、３）およびストライド（例えば、１）を決定する。パラメータ決定回路８０２は、入力テンソル１２０２の幅（例えば、４）、高さ（例えば、４）および深さ（例えば、３）を追加的に決定する。その後、記憶制御回路８０６は、入力テンソル１２０２の１番目のＹ位置（例えば、Ｙ＝０）を選択する。記憶制御回路８０６は、選択されたＹ位置における入力テンソル１２０２の１番目のＸ位置（例えば、Ｘ＝０，Ｙ＝０）を追加的に選択する。

【0112】

図１３の示されている例において、記憶制御回路８０６は、選択されたＸＹ位置から、第１の重みカーネル１２１６の幅と重なる連続するＸＹ位置の、入力テンソル１２０２の深さまで、１つまたは複数のＺ値をコピーする。例えば、記憶制御回路８０６が入力テンソル１２０２の１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）から始まっており、第１の重みカーネル１２１６の幅が３なので、記憶制御回路８０６は、第１のＺ値１２０８、第２のＺ値１２１０および第３のＺ値１２１２をコピーする。記憶制御回路８０６は、コピーされた１つまたは複数のＺ値を再フォーマットされた入力テンソル１３０２の次のＸＹ位置へロードする。これが第１のロード動作である場合、記憶制御回路８０６は、コピーされた１つまたは複数のＺ値を再フォーマットされた入力テンソル１３０２の１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）へロードし、後続の反復のためにＸ位置をインクリメントする。

【0113】

したがって、記憶制御回路８０６は、再フォーマットされた入力テンソル１３０２の１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）へ第１のＺ値１２０８を、続いて第２のＺ値１２１０を、次に第３のＺ値１２１２ロードする。次に、記憶制御回路８０６は、第１の重みカーネル１２１６の幅の外側に入力テンソル１２０２の十分なデータ（例えば、追加のＸ位置）が存在しているかどうかを判断する。入力テンソル１２０２の４番目のＸＹ位置（Ｘ＝３，Ｙ＝０）が第１の重みカーネル１２１６の幅の外側にあるので、記憶制御回路８０６は、第１の重みカーネル１２１６のストライドに従って、選択されたＹ位置における入力テンソル１２０２の次のＸ位置を選択する。第１の重みカーネル１２１６のストライドが１なので、記憶制御回路８０６は、入力テンソル１２０２の２番目のＸＹ位置（Ｘ＝１，Ｙ＝０）を選択する。

【0114】

図１３の示されている例において、記憶制御回路８０６は、選択されたＸＹ位置から、第１の重みカーネル１２１６の幅と重なる連続するＸＹ位置の、入力テンソル１２０２の深さまで、１つまたは複数のＺ値をコピーする。例えば、記憶制御回路８０６が入力テンソル１２０２の２番目のＸＹ位置（Ｘ＝１，Ｙ＝０）から始まっており、第１の重みカーネル１２１６の幅が３なので、記憶制御回路８０６は、第２のＺ値１２１０、第３のＺ値１２１２および第４のＺ値１２１４をコピーする。記憶制御回路８０６は、コピーされた１つまたは複数のＺ値を再フォーマットされた入力テンソル１３０２の次のＸＹ位置へロードする。

【0115】

したがって、例えば、以前にロードされたＸＹ位置が、再フォーマットされた入力テンソル１３０２の１番目のＸＹ位置だったので、記憶制御回路８０６は、再フォーマットされた入力テンソル１３０２の２番目のＸＹ位置（Ｘ＝１，Ｙ＝０）へ第２のＺ値１２１０を、続いて第３のＺ値１２１２を、次に第４のＺ値１２１４をロードする。処理は、第１の重みカーネル１２１６の垂直ストライドについて、同様に続く。

【0116】

図１３の例に示されるように、１のストライドを有する３×３×３重みカーネル１２０４のセットについて、再フォーマットされた入力テンソル１３０２は、入力テンソル１２０２と比較した場合により小さいメモリフットプリントを有する。例えば、Ｘ／（Ｘ＋２）の係数だけ、メモリフットプリントが低減する。いくつかの例において（例えば、モデルへの入力層について）、Ｘが実際には大きいので、メモリフットプリントの限定された低減が提供される。追加的に、１のストライドを有する３×３×３重みカーネル１２０４のセットについて、再フォーマットされた入力テンソル１３０２は、入力テンソルメモリ読み取り数の３３％の低減を提供する（例えば、３×３カーネルの代わりに３×１カーネルとの畳み込みが行われる）。メモリ読み取り数の低減により、より少ないデータ移動およびより少ないメモリ帯域幅要件がもたらされ、これらの両方により、より低い電力消費および改善された性能がもたらされる。したがって、データ複製前処理回路２１２は、出力テンソル１２０６を生成するための動作の性能を改善する。データ複製前処理回路２１２は、全てのカーネルサイズに適用可能であり、重みカーネルの幅（例えば、Ｘ_{ＫＥＲＮＥＬ}）は、１へ変更され、再フォーマットされた入力テンソルのＺ次元は、重みカーネルの幅と入力テンソルのチャネルの数との積へ変更される（例えば、Ｚ_{ＲＥＦＯＲＭＡＴＴＥＤ}＝Ｘ_{ＫＥＲＮＥＬ}＊ＮＵＭ＿ＣＨＡＮＮＥＬＳ）。

【0117】

図１４は、洗練されたフラクショナルストライディングを容易にするための、パディングがない例示的な再フォーマットされた入力テンソル１４０２と１のストライドおよび１つまたは複数の重みスパース性ビットマップ１４０４を有する例示的な３×３×３重みカーネルとの例示的な畳み込み１４００を示すデータフロー図である。図１４の例において、フラクショナルストライド前処理回路２１４は、重みスパース性を転用して、フラクショナルストライドを洗練させ、４バイトの粒度で選択される入力テンソルの活性化を可能にする。フラクショナルストライド前処理回路２１４は、スパース性を記憶要素ポインタと組み合わせることにより、再フォーマットされた入力テンソル１４０２を例示的な入力テンソル１４０６から生成する。図１４の例において、入力テンソル１４０６は、Ｘ＝１２、Ｙ＝４かつＺ＝３の次元を有する。

【0118】

図１４の示されている例において、入力テンソル１４０６は、入力テンソル１４０６１番目のＸＹ位置における第１のＺ値１４０８、入力テンソル１４０６２番目のＸＹ位置における第２のＺ値１４１０、入力テンソル１４０６の３番目のＸＹ位置における第３のＺ値１４１２および入力テンソル１４０６４番目のＸＹ位置における第４のＺ値１４１４を含む。入力テンソル１４０６は、入力テンソル１４０６の５番目のＸＹ位置における第５のＺ値１４１６、入力テンソル１４０６の６番目のＸＹ位置における第６のＺ値１４１８、入力テンソル１４０６の７番目のＸＹ位置における第７のＺ値１４２０および入力テンソル１４０６の８番目のＸＹ位置における第８のＺ値１４２２も含む。追加的に、入力テンソル１４０６は、入力テンソル１４０６の９番目のＸＹ位置における第９のＺ値１４２４、入力テンソル１４０６の１０番目のＸＹ位置における第１０のＺ値１４２６、入力テンソル１４０６の１１番目のＸＹ位置における第１１のＺ値１４２８および入力テンソル１４０６の１２番目のＸＹ位置における第１２のＺ値１４３０を含む。

【0119】

図１４の示されている例において、スパース性生成回路１００６は、内部パディングが入力テンソル１４０６に適用されるかどうかを判断する。例えば、スパース性生成回路１００６は、記憶要素の粒度を入力テンソル１４０６の深さで除算することにより内部パディングが入力テンソル１４０６に適用されるかどうかを判断する。除算演算の剰余がゼロではない場合、スパース性生成回路１００６は、内部パディングが適用され、逆も然り、と判断する。

【0120】

図１４の示されている例において、内部パディングが入力テンソル１４０６に適用されるという判断に応答して、スパース性生成回路１００６は、入力テンソル１４０６の各ＸＹ位置のＺ値をパッドの数により分離する。パッドの数を決定するために、スパース性生成回路１００６はまず、入力テンソル１４０６の深さを、記憶要素の粒度（例えば、１６）へ除算された場合に剰余ゼロを戻す４の最も近い倍数までラウンドする。次に、スパース性生成回路１００６は、入力テンソル１４０６のラウンドされた値および深さの間の差を見出して、パッドの数を決定する。

【0121】

図１４の示されている例において、記憶要素の粒度は１６であり、入力テンソル１４０６の深さは３である。したがって、スパース性生成回路１００６は、パッドの数が１（例えば、４－３＝１）である、と判断する。本明細書において開示される例において、入力テンソルの内部パッドの長さは、１バイトである。したがって、入力テンソル１４０６のチャネルが、４バイトへ内部でパディングされ、３つのチャネルのグループが記憶要素の粒度へ位置合わせされる（例えば、４×（３チャネルバイト＋１パッドバイト）＝１６バイト）。重みスパース性ビットマップが内部パッドバイトについてゼロなので、内部パッドバイトは処理されない。

【0122】

図１４の示されている例において、テンソルおよび重み制御回路１００２は、入力テンソル１４０６と畳み込まれる各重みカーネルを複製して、各重みカーネルのＮ個の重みカーネルを生成する。Ｎは、再フォーマットされた入力テンソル１４０２のＸＹ位置毎に生成され得る出力テンソルの点の数と一致する。図１４の例において、ＭＡＣ回路２２０は、再フォーマットされた入力テンソル１４０２のＸＹ位置毎に出力テンソルの４つの点を生成できる。例えば、ＭＡＣ回路２２０は、第１のＺ値１４０８、第２のＺ値１４１０および第３のＺ値１４１２に基づいて出力テンソルの１番目の点を；、第２のＺ値１４１０、第３のＺ値１４１２および第４のＺ値１４１４に基づいて出力テンソルの２番目の点を；第３のＺ値１４１２、第４のＺ値１４１４および第５のＺ値１４１６に基づいて出力テンソルの３番目の点を；および、第４のＺ値１４１４、第５のＺ値１４１６および第６のＺ値１４１８に基づいて出力テンソルの第４の点を生成する。したがって、テンソルおよび重み制御回路１００２は、各重みカーネルを複製して、各重みカーネルの４つの重みカーネルを生成する。追加的に、スパース性生成回路１００６は、１つまたは複数の重みスパース性ビットマップ１４０４を生成する。各重みスパース性ビットマップは、異なる重みスパース性パターン（例えば、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ａ、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ｂ、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ｃ、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ｄ）を含む。

【0123】

図１４の示されている例において、１つまたは複数の重みスパース性ビットマップ１４０４は、Ｎ個の重みスパース性ビットマップを含む。図１４の例において、スパース性生成回路１００６は、１つまたは複数の重みスパース性ビットマップ１４０４を生成する。各重みスパース性ビットマップは、選択された重みカーネルのストライドの数と入力テンソル１４０６の深さおよび内部パッドの数の和との積だけそれぞれの重みスパース性ビットマップの開始からずらされるスパース性パターンを含む。図１４の例において、入力テンソル１４０６の深さは３であり、内部パッドの数は１である。したがって、図１４の例において、それぞれのスパース性パターンは、選択された重みカーネルのストライドの数と４との積だけずらされる。

【0124】

図１４の例において、各重みスパース性ビットマップのスパース性パターンは、ｄ個の連続する１ビットのｗ_Ｋセットを含む。ｗ_Ｋは、重みカーネルの幅であり、ｄは、入力テンソルの深さである。内部パディングが入力テンソル１４０６に適用されるので、スパース性生成回路１００６は、ｗ_Ｋセットの各々に１つのゼロビットを付加して、内部パッドの数と一致させる。上述のように、Ｎ個のスパース性ビットマップについてスパース性生成回路１００６により生成される１ビットの総数は、重みカーネルの幅と、重みカーネルの高さと、入力テンソルの深さとの積に等しい。図１４の１のストライドを有する３×３×３重みカーネルと入力テンソル１４０６との畳み込みの場合、スパース性生成回路１００６は、１つまたは複数の重みスパース性ビットマップ１４０４の１番目のもの（例えば、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ａ）を重みカーネルの高さに等しい回数だけ複製する。したがって、スパース性生成回路１００６は、１つまたは複数の重みスパース性ビットマップ１４０４の１番目のものを３回複製する。したがって、複製された重みスパース性ビットマップは、合計で９６ビットを含む。各重みスパース性ビットマップは、３２ビットを含む。重みスパース性ビットマップの各々は、９個の１ビットおよび２３個のゼロビットを含む。したがって、複製された重みスパース性ビットマップは、合計で２７個の１ビットおよび合計で６９個のゼロビットを含む。

【0125】

図１４の示されている例において、ポインタ制御回路１００８は、適用される場合、入力テンソル１４０６の深さ、選択された重みカーネルのストライドおよび内部パッド長に基づいてフラクショナルストライドオフセットを連続する記憶要素ポインタに適用することを決定する。例えば、ポインタ制御回路１００８は、上記の式１に従って、フラクショナルストライドオフセットを決定する。図１４の例において、ポインタ制御回路１００８は、フラクショナルストライティングオフセットを決定した後、連続する記憶要素ポインタをこのオフセットの分だけずらす。

【0126】

記憶要素の粒度および適用されたフラクショナルストライドオフセットと位置合わせされた入力テンソル１４０６のチャネルを用いて、図１１のＭＡＣ回路は、異なる重みスパース性ビットマップで入力テンソル１４０６の活性化を処理して、各畳み込みの所望の入力活性化を選択する。例えば、フラクショナルストライド前処理回路２１４のスパース性および記憶要素ポインタは、図１１のＭＡＣ回路に、入力テンソル１４０６を３２チャネル入力テンソルとして処理させて、入力テンソル１４０６を再フォーマットされた入力テンソル１４０２へ効果的に再フォーマットする。追加的に、フラクショナルストライド前処理回路２１４のスパース性および記憶要素ポインタは、図１１のＭＡＣ回路に、３×３×３重みカーネルを１×３×９重みカーネルとして処理させる。例えば、１つまたは複数の重みスパース性ビットマップ１４０４は、入力テンソル１４０６の所望のバイトを選択し、５０％のフラクショナルストライドが、重複する記憶要素を用いて提供される。再フォーマットされた入力テンソル１４０２の深さは、以下の式２を介して決定され得る。式２は、全てのカーネルサイズに適用可能である。
Ｄ_{ＲＥＦＯＲＭＡＴＴＥＤ}＝ＲＯＵＮＤ＿ＵＰＴＯ＿ＮＥＡＲＥＳＴ＿１６（３＊［ＮＵＭ＿ＣＨＡＮＮＥＬＳ＋ＰＡＤ］＊ＳＴＲＩＤＥ＋Ｘ_{ＫＥＲＮＥＬ}＊［ＮＵＭ＿ＣＨＡＮＮＥＬＳ＋ＰＡＤ］）
式２

【0127】

図１５は、例示的な出力テンソル１５０６を決定するための、パディングがない例示的な入力テンソル１５０２と２のストライドを有する３×３×３重みカーネル１５０４の例示的なセットとの例示的な畳み込み１５００を示すデータフロー図である。図１５の例において、入力テンソル１５０２は、Ｘ＝５、Ｙ＝５かつＺ＝３の次元を有する。入力テンソル１５０２は、３個のチャネルを用いたＺメジャーフォーマットでメモリに記憶される。図１５の例において、入力テンソル１５０２上の各ＸＹ位置は、位置合わせされた１６バイトであるメモリ内の位置を占有する。したがって、入力テンソル１５０２（例えば、Ｚ＞２）のチャネルの後のメモリは、未使用のバイトである。いくつかの例では、未使用のバイトにデータが記憶されないが、追加のまたは代替的な例では、未使用のバイトは、ゼロという対応するスパース性ビットマップを有するデータを含み得る。図１５の例において、１６バイトアライメント（例えば、１６－３＝１３）の結果として、メモリには、ＸＹ位置毎に１３個の未使用バイトが存在している。

【0128】

図１５の示されている例において、入力テンソル１５０２は、入力テンソル１５０２の１番目のＸＹ位置における第１のＺ値１５０８、入力テンソル１５０２の２番目のＸＹ位置における第２のＺ値１５１０、入力テンソル１５０２の３番目のＸＹ位置における第３のＺ値１５１２、入力テンソル１５０２の４番目のＸＹ位置における第４のＺ値１５１４および入力テンソル１５０２の５番目のＸＹ位置における第５のＺ値１５１６を含む。図１５の例において、３×３×３重みカーネル１５０４のセットは、例示的な第１の重みカーネル１５１８、例示的な第２の重みカーネル１５２０、例示的な第３の重みカーネル１５２２および例示的な第４の重みカーネル１５２４を含む。第１の重みカーネル１５１８、第２の重みカーネル１５２０、第３の重みカーネル１５２２および第４の重みカーネル１５２４の各々は、３の深さを有する。したがって、第１の重みカーネル１５１８、第２の重みカーネル１５２０、第３の重みカーネル１５２２および第４の重みカーネル１５２４の各々は、メモリ内の２７バイト（例えば、Ｘ_{ＫＥＲＮＥＬ}＊Ｙ_{ＫＥＲＮＥＬ}＊ＮＵＭ＿ＣＨＡＮＮＥＬＳ）を占有する。したがって、ＭＡＣ回路は、２７回のＭＡＣ演算を実行して、出力テンソル１５０６の出力点１５２６、１５２８、１５３０の各々を生成する。図１５の例において、第１の重みカーネル１５１８、第２の重みカーネル１５２０。第３の重みカーネル１５２２および第４の重みカーネル１５２４の各々は、出力テンソル１５０６内の単一のチャネル（例えば、Ｋにおけるステップ）を生成するために、４回用いられる。

【0129】

図１５の例において、第１の重みカーネル１５１８、第２の重みカーネル１５２０、第３の重みカーネル１５２２および第４の重みカーネル１５２４の各々は、メモリに連続的に記憶される。つまり、第１の重みカーネル１５１８、第２の重みカーネル１５２０、第３の重みカーネル１５２２および第４の重みカーネル１５２４の各々は、２７×１アレイとしてメモリに記憶される。図１５の例において、第１の重みカーネル１５１８、第２の重みカーネル１５２０、第３の重みカーネル１５２２および第４の重みカーネル１５２４は、３×３×３重みカーネル１５０４のセットが入力テンソル１５０２にどのようにマッピングするかを示すために、３×３×３個のテンソルとして示されている。

【0130】

図１６は、図１５の例示的な出力テンソル１５０６を決定するための、パディングがない例示的な再フォーマットされた入力テンソル１６０２と２のストライドを有する再フォーマットされた１×３×９重みカーネル１６０４の例示的なセットとの例示的な畳み込み１６００を示すデータフロー図である。図１６の例において、再フォーマットされた入力テンソル１６０２は、Ｘ＝２、Ｙ＝５かつＺ＝９の次元を有する。再フォーマットされた入力テンソル１６０２のＺ次元は、第１の重みカーネル１５１８の幅と入力テンソル１５０２のチャネルの数との積として決定され得る（例えば、Ｚ_{ＲＥＦＯＲＭＡＴＴＥＤ}＝Ｘ_{ＫＥＲＮＥＬ}＊ＮＵＭ＿ＣＨＡＮＮＥＬＳ）。図１６の例において、再フォーマットされた入力テンソル１６０２上の各ＸＹ位置は、位置合わせされた１６バイトであるメモリ内の位置を占有する。したがって、再フォーマットされた入力テンソル１６０２（例えば、Ｚ＞８）のチャネルの後のメモリは、未使用のバイトである。図１６の例において、データ複製前処理回路２１２は、入力テンソル１５０２をテンソルデータ複製構成に従って再フォーマットして、再フォーマットされた入力テンソル１６０２を生成する。

【0131】

図１６の示されている例において、再フォーマットされた１×３×９重みカーネル１６０４のセットは、例示的な第１の重みカーネル１６０６、例示的な第２の重みカーネル１６０８、例示的な第３の重みカーネル１６１０および例示的な第４の重みカーネル１６１２を含む。図１６の例において、入力テンソル１５０２は、それぞれの重みカーネルの次元がＸ_{ＫＥＲＮＥＬ}＊Ｙ_{ＫＥＲＮＥＬ}から１＊Ｙ_{ＫＥＲＮＥＬ}へ変更され得るように再フォーマットされる。例えば、第１の重みカーネル１６０６、第２の重みカーネル１６０８、第３の重みカーネル１６１０および第４の重みカーネル１６１２の各々は、９の深さを有する１×３カーネルである。

【0132】

図１６の例において、３×３×３重みカーネル１５０４のセットのそれぞれの形状が再フォーマットされた１×３×９重みカーネル１６０４のセットへ再フォーマットされるが、３×３×３重みカーネル１５０４のセットがメモリに記憶される方式は、変わらない。代わりに、３×３×３重みカーネル１５０４のセットを再フォーマットするために、ＭＡＣ回路２２０は、図１１のＭＡＣ回路を通じて３×３×３重みカーネル１５０４のセットを順序付けて、再フォーマットされた入力テンソル１６０２の新しい次元に適応させる。

【0133】

図１６の示されている例において、パラメータ決定回路８０２は、第１の重みカーネル１５１８の幅（例えば、３）、高さ（例えば、３）およびストライド（例えば、２）を決定する。パラメータ決定回路８０２は、入力テンソル１５０２の幅（例えば、５）、高さ（例えば、５）および深さ（例えば、３）を追加的に決定する。その後、記憶制御回路８０６は、入力テンソル１５０２の１番目のＹ位置（例えば、Ｙ＝０）を選択する。記憶制御回路８０６は、選択されたＹ位置における入力テンソル１５０２の１番目のＸ位置（例えば、Ｘ＝０，Ｙ＝０）を追加的に選択する。

【0134】

図１６の示されている例において、記憶制御回路８０６は、選択されたＸＹ位置から、第１の重みカーネル１５１８の幅と重なる連続するＸＹ位置の、入力テンソル１５０２の深さまで、１つまたは複数のＺ値をコピーする。例えば、記憶制御回路８０６が入力テンソル１５０２１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）から始まっており、第１の重みカーネル１５１８の幅が３なので、記憶制御回路８０６は、第１のＺ値１５０８、第２のＺ値１５１０および第３のＺ値１５１２をコピーする。記憶制御回路８０６は、コピーされた１つまたは複数のＺ値を再フォーマットされた入力テンソル１６０２の次のＸＹ位置へロードする。これが第１のロード動作である場合、記憶制御回路８０６は、コピーされた１つまたは複数のＺ値を再フォーマットされた入力テンソル１６０２の１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）へロードし、後続の反復のためにＸ位置をインクリメントする。

【0135】

したがって、記憶制御回路８０６は、再フォーマットされた入力テンソル１６０２の１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）へ第１のＺ値１５０８を、続いて第２のＺ値１５１０を、次に第３のＺ値１５１２ロードする。次に、記憶制御回路８０６は、第１の重みカーネル１５１８の幅の外側に入力テンソル１５０２の十分なデータ（例えば、追加のＸ位置）が存在しているかどうかを判断する。入力テンソル１５０２の４番目のＸＹ位置（Ｘ＝３，Ｙ＝０）および入力テンソル１５０２の５番目のＸＹ位置（Ｘ＝４，Ｙ＝０）が第１の重みカーネル１５１８の幅の外側にあるので、記憶制御回路８０６は、第１の重みカーネル１５１８のストライドに従って、選択されたＹ位置における入力テンソル１５０２の次のＸ位置を選択する。第１の重みカーネル１５１８のストライドが２なので、記憶制御回路８０６は、入力テンソル１５０２の３番目のＸＹ位置（Ｘ＝２，Ｙ＝０）を選択する。

【0136】

図１６の示されている例において、記憶制御回路８０６は、選択されたＸＹ位置から、第１の重みカーネル１５１８の幅と重なる連続するＸＹ位置の、入力テンソル１５０２の深さまで、１つまたは複数のＺ値をコピーする。例えば、記憶制御回路８０６が入力テンソル１５０２の３番目のＸＹ位置（Ｘ＝２，Ｙ＝０）から始まっており、第１の重みカーネル１５１８の幅が３なので、記憶制御回路８０６は、第３のＺ値１５１２、第４のＺ値１５１４および第５のＺ値１５１６をコピーする。記憶制御回路８０６は、コピーされた１つまたは複数のＺ値を再フォーマットされた入力テンソル１６０２の次のＸＹ位置へロードする。

【0137】

したがって、例えば、以前にロードされたＸＹ位置が、再フォーマットされた入力テンソル１６０２の１番目のＸＹ位置だったので、記憶制御回路８０６は、再フォーマットされた入力テンソル１６０２の２番目のＸＹ位置（Ｘ＝１，Ｙ＝０）へ第３のＺ値１５１２を、続いて第４のＺ値１５１４を、次に第５のＺ値１５１６ロードする。次に、記憶制御回路８０６は、第１の重みカーネル１５１８の幅の外側に入力テンソル１５０２の十分なデータ（例えば、追加のＸ位置）が存在しているかどうかを判断する。第１の重みカーネル１５１８の幅の外側にＸ位置がないので、記憶制御回路８０６は、第１の重みカーネル１５１８の高さの外側に入力テンソル１５０２の十分なデータ（例えば、追加のＹ位置）が存在しているかどうかを判断する。入力テンソル１５０２の１６番目のＸＹ位置（Ｘ＝０，Ｙ＝４）および入力テンソル１５０２の２１番目のＸＹ位置（Ｘ＝０，Ｙ＝５）が第１の重みカーネル１５１８の高さの外側にあるので、記憶制御回路８０６は、第１の重みカーネル１５１８のストライドに従って、入力テンソル１５０２の次のＹ位置を選択する。第１の重みカーネル１５１８のストライドが２なので、記憶制御回路８０６は、入力テンソル１５０２の１６番目のＸＹ位置（Ｘ＝０，Ｙ＝４）を選択する。次に、記憶制御回路８０６は、入力テンソルの選択されたＹ位置における入力テンソル１５０２の１番目のＸ位置（例えば、Ｘ＝０，Ｙ＝０）を選択し、処理は、上述のように同様に続く。

【0138】

図１６の例に示されるように、２のストライドを有する３×３×３重みカーネル１５０４のセットについて、再フォーマットされた入力テンソル１６０２は、入力テンソル１５０２と比較した場合により小さいメモリフットプリントを有する。例えば、Ｘ／（２Ｘ＋１）の係数だけ、メモリフットプリントが低減する。図１６の例において、メモリフットプリントは、約５０％だけ低減される。追加的に、再フォーマットされた入力テンソル１６０２のメモリフットプリントは、さらに低減され得る。例えば、ＭＡＣ回路２２０が独立のＸストライドおよび独立のＹストライドとの畳み込みを実行するように構成されている場合、ＭＡＣ回路２２０は、再フォーマットされた入力テンソル１６０２にわたって１をストライドでき、再フォーマットされた入力テンソル１６０２の下に２をストライドできる。したがって、データ複製前処理回路２１２は、出力テンソル１５０６を生成するための動作の性能を改善する。データ複製前処理回路２１２は、全てのカーネルサイズに適用可能であり、重みカーネルの幅（例えば、Ｘ_{ＫＥＲＮＥＬ}）は、１へ変更され、再フォーマットされた入力テンソルのＺ次元は、重みカーネルの幅と入力テンソルのチャネルの数との積へ変更される（例えば、Ｚ_{ＲＥＦＯＲＭＡＴＴＥＤ}＝Ｘ_{ＫＥＲＮＥＬ}＊ＮＵＭ＿ＣＨＡＮＮＥＬＳ）。

【0139】

図１７は、洗練されたフラクショナルストライディングを容易にするための、パディングがない例示的な再フォーマットされた入力テンソル１７０２と２のストライドおよび１つまたは複数の重みスパース性ビットマップ１７０４を有する例示的な３×３×３重みカーネルとの例示的な畳み込み１７００を示すデータフロー図である。図１７の例において、フラクショナルストライド前処理回路２１４は、重みスパース性を転用して、フラクショナルストライドを洗練させ、４バイトの粒度で選択される入力テンソルの活性化を可能にする。フラクショナルストライド前処理回路２１４は、スパース性を記憶要素ポインタと組み合わせることにより、再フォーマットされた入力テンソル１７０２を例示的な入力テンソル１７０６から生成する。図１７の例において、入力テンソル１７０６は、Ｘ＝１２、Ｙ＝４かつＺ＝３の次元を有する。

【0140】

図１７の示されている例において、入力テンソル１７０６は、入力テンソル１７０６の１番目のＸＹ位置における第１のＺ値１７０８、入力テンソル１７０６の２番目のＸＹ位置における第２のＺ値１７１０、入力テンソル１７０６の３番目のＸＹ位置における第３のＺ値１７１２および入力テンソル１７０６の４番目のＸＹ位置における第４のＺ値１７１４を含む。入力テンソル１７０６は、入力テンソル１７０６の５番目のＸＹ位置における第５のＺ値１７１６、入力テンソル１７０６の６番目のＸＹ位置における第６のＺ値１７１８、入力テンソル１７０６の７番目のＸＹ位置における第７のＺ値１７２０および入力テンソル１７０６の８番目のＸＹ位置における第８のＺ値１７２２も含む。追加的に、入力テンソル１７０６は、入力テンソル１７０６の９番目のＸＹ位置における第９のＺ値１７２４、入力テンソル１７０６の１０番目のＸＹ位置における第１０のＺ値１７２６、入力テンソル１７０６の１１番目のＸＹ位置における第１１のＺ値１７２８および入力テンソル１７０６の１２番目のＸＹ位置における第１２のＺ値１７３０を含む。

【0141】

図１７の示されている例において、スパース性生成回路１００６は、内部パディングが入力テンソル１７０６に適用されるかどうかを判断する。例えば、スパース性生成回路１００６は、記憶要素の粒度を入力テンソル１７０６の深さで除算することにより内部パディングが入力テンソル１７０６に適用されるかどうかを判断する。除算演算の剰余がゼロではない場合、スパース性生成回路１００６は、内部パディングが適用され、逆も然り、と判断する。

【0142】

図１７の示されている例において、内部パディングが入力テンソル１７０６に適用されるという判断に応答して、スパース性生成回路１００６は、入力テンソル１７０６の各ＸＹ位置のＺ値をパッドの数により分離する。パッドの数を決定するために、スパース性生成回路１００６はまず、入力テンソル１７０６の深さを、記憶要素の粒度（例えば、１６）へ除算された場合に剰余ゼロを戻す４の最も近い倍数までラウンドする。次に、スパース性生成回路１００６は、入力テンソル１７０６のラウンドされた値および深さの間の差を見出して、パッドの数を決定する。

【0143】

図１７の示されている例において、記憶要素の粒度は１６であり、入力テンソル１７０６の深さは３である。したがって、スパース性生成回路１００６は、パッドの数が１（例えば、４－３＝１）である、と判断する。本明細書において開示される例において、入力テンソルの内部パッドの長さは、１バイトである。したがって、入力テンソル１７０６のチャネルが、４バイトへ内部でパディングされ、３つのチャネルのグループが記憶要素の粒度へ位置合わせされる（例えば、４×（３チャネルバイト＋１パッドバイト）＝１６バイト）。重みスパース性ビットマップが内部パッドバイトについてゼロなので、内部パッドバイトは処理されない。

【0144】

図１７の示されている例において、テンソルおよび重み制御回路１００２は、入力テンソル１７０６と畳み込まれる各重みカーネルを複製して、各重みカーネルのＮ個の重みカーネルを生成する。Ｎは、再フォーマットされた入力テンソル１４０２のＸＹ位置毎に生成され得る出力テンソルの点の数と一致する。図１７の例において、ＭＡＣ回路２２０は、再フォーマットされた入力テンソル１７０２のＸＹ位置毎に出力テンソルの４つの点を生成できる。したがって、テンソルおよび重み制御回路１００２は、各重みカーネルを複製して、各重みカーネルの４つの重みカーネルを生成する。追加的に、スパース性生成回路１００６は、１つまたは複数の重みスパース性ビットマップ１７０４を生成する。各重みスパース性ビットマップは、異なる重みスパース性パターン（例えば、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ａ、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ｂ、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ｃ、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ｄ）を含む。図１７の例において、１つまたは複数の重みスパース性ビットマップ１７０４は、Ｎ個の重みスパース性ビットマップを含む。図１７の例において、スパース性生成回路１００６は、１つまたは複数の重みスパース性ビットマップ１７０４を生成する。各重みスパース性ビットマップは、選択された重みカーネルのストライドの数と入力テンソル１７０６の深さおよび内部パッドの数の和との積だけそれぞれの重みスパース性ビットマップの開始からずらされるスパース性パターンを含む。図１７の例において、入力テンソル１７０６の深さは３であり、内部パッドの数は１である。したがって、図１７の例において、それぞれのスパース性パターンは、選択された重みカーネルのストライドの数と４との積だけずらされる。各重みスパース性ビットマップのスパース性パターンは、ｄ個の連続する１ビットのｗ_Ｋセットを含む。ｗ_Ｋは、重みカーネルの幅であり、ｄは、入力テンソルの深さである。内部パディングが入力テンソル１７０６に適用されるので、スパース性生成回路１００６は、ｗ_Ｋセットの各々に１つのゼロビットを付加して、内部パッドの数と一致させる。

【0145】

図１７の示されている例において、ポインタ制御回路１００８は、適用される場合、入力テンソル１７０６の深さ、選択された重みカーネルのストライドおよび内部パッド長に基づいてフラクショナルストライドオフセットを連続する記憶要素ポインタに適用することを決定する。例えば、ポインタ制御回路１００８は、上記の式１に従って、フラクショナルストライドオフセットを決定する。図１７の例において、ポインタ制御回路１００８は、フラクショナルストライティングオフセットを決定した後、連続する記憶要素ポインタをこのオフセットの分だけずらす。

【0146】

記憶要素の粒度および適用されたフラクショナルストライドオフセットと位置合わせされた入力テンソル１７０６のチャネルを用いて、図１１のＭＡＣ回路は、異なる重みスパース性ビットマップで入力テンソル１７０６の活性化を処理して、各畳み込みの所望の入力活性化を選択する。例えば、フラクショナルストライド前処理回路２１４のスパース性および記憶要素ポインタは、図１１のＭＡＣ回路に、入力テンソル１７０６を４８チャネル入力テンソルとして処理させて、入力テンソル１７０６を再フォーマットされた入力テンソル１７０２へ効果的に再フォーマットする。追加的に、フラクショナルストライド前処理回路２１４のスパース性および記憶要素ポインタは、図１１のＭＡＣ回路に、３×３×３重みカーネルを１×３×９重みカーネルとして処理させる。例えば、１つまたは複数の重みスパース性ビットマップ１７０４は、入力テンソル１７０６の所望のバイトを選択し、６６％のフラクショナルストライドが、重複する記憶要素を用いて提供される。再フォーマットされた入力テンソル１７０２の深さは、上記の式２を介して決定され得る。

【0147】

図１８は、例示的な出力テンソル１８０６を決定するための、外部パディングがある例示的な入力テンソル１８０２と１のストライドを有する３×３×３重みカーネル１８０４の例示的なセットとの例示的な畳み込み１８００を示すデータフロー図である。図１８の例において、入力テンソル１８０２は、Ｘ＝４、Ｙ＝４かつＺ＝３の次元を有する。入力テンソル１８０２は、３個のチャネルを用いたＺメジャーフォーマットでメモリに記憶される。図１８の例において、入力テンソル１８０２上の各ＸＹ位置は、位置合わせされた１６バイトであるメモリ内の位置を占有する。したがって、入力テンソル１８０２（例えば、Ｚ＞２）のチャネルの後のメモリは、未使用のバイトである。いくつかの例では、未使用のバイトにデータが記憶されないが、追加のまたは代替的な例では、未使用のバイトは、ゼロという対応するスパース性ビットマップを有するデータを含み得る。図１８の例において、１６バイトアライメント（例えば、１６－３＝１３）の結果として、メモリには、ＸＹ位置毎に１３個の未使用バイトが存在している。

【0148】

図１８の示されている例において、非１×１カーネルが用いられる場合に入力テンソル１８０２および出力テンソル１８０６が同じサイズになることを可能にするために、外部パディングが入力テンソル１８０２に追加される。上述のように、外部パッドは、ヌルデータである。図１８の例において、１つの外部パッドバイトは、入力テンソル１８０２の上、下、右および左に追加される。追加的に、上述のように、外部パッドバイトは、メモリへロードされない場合、活性化スパース性として実装され、メモリ内の空間を占有しない。

【0149】

図１８の示されている例において、入力テンソル１８０２は、入力テンソル１８０２の１番目のＸＹ位置における第１のＺ値１８０８、入力テンソル１８０２の２番目のＸＹ位置における第２のＺ値１８１０、入力テンソル１８０２の３番目のＸＹ位置における第３のＺ値１８１２および入力テンソル１８０２の４番目のＸＹ位置における第４のＺ値１８１４を含む。図１８の例において、３×３×３重みカーネル１８０４のセットは、例示的な第１の重みカーネル１８１６、例示的な第２の重みカーネル１８１８、例示的な第３の重みカーネル１８２０および例示的な第４の重みカーネル１８２２を含む。第１の重みカーネル１８１６、第２の重みカーネル１８１８、第３の重みカーネル１８２０および第４の重みカーネル１８２２の各々は、３の深さを有する。したがって、第１の重みカーネル１８１６、第２の重みカーネル１８１８、第３の重みカーネル１８２０および第４の重みカーネル１８２２の各々は、メモリ内の２７バイト（例えば、Ｘ_{ＫＥＲＮＥＬ}＊Ｙ_{ＫＥＲＮＥＬ}＊ＮＵＭ＿ＣＨＡＮＮＥＬＳ）を占有する。したがって、ＭＡＣ回路は、２７回のＭＡＣ演算を実行して、出力テンソル１８０６の出力点１８２４、１８２６の各々を生成する。図１８の例において、第１の重みカーネル１８１６、第２の重みカーネル１８１８。第３の重みカーネル１８２０および第４の重みカーネル１８２２の各々は、出力テンソル１８０６内の単一のチャネル（例えば、Ｋにおけるステップ）を生成するために、４回用いられる。

【0150】

図１８の例において、第１の重みカーネル１８１６、第２の重みカーネル１８１８、第３の重みカーネル１８２０および第４の重みカーネル１８２２の各々は、メモリに連続的に記憶される。つまり、第１の重みカーネル１８１６、第２の重みカーネル１８１８、第３の重みカーネル１８２０および第４の重みカーネル１８２２の各々は、２７×１アレイとしてメモリに記憶される。図１８の例において、第１の重みカーネル１８１６、第２の重みカーネル１８１８、第３の重みカーネル１８２０および第４の重みカーネル１８２２は、３×３×３重みカーネル１８０４のセットが入力テンソル１８０２にどのようにマッピングするかを示すために、３×３×３個のテンソルとして示されている。

【0151】

図１９は、図１８の例示的な出力テンソル１８０６を決定するための、外部パディングがある例示的な再フォーマットされた入力テンソル１９０２と１のストライドを有する再フォーマットされた１×３×９重みカーネル１９０４の例示的なセットとの例示的な畳み込み１９００を示すデータフロー図である。図１９の例において、再フォーマットされた入力テンソル１９０２は、Ｘ＝４、Ｙ＝４かつＺ＝９の次元を有する。再フォーマットされた入力テンソル１９０２のＺ次元は、第１の重みカーネル１８１６の幅と入力テンソル１８０２のチャネルの数との積として決定され得る（例えば、Ｚ_{ＲＥＦＯＲＭＡＴＴＥＤ}＝Ｘ_{ＫＥＲＮＥＬ}＊ＮＵＭ＿ＣＨＡＮＮＥＬＳ）。図１９の例において、再フォーマットされた入力テンソル１９０２上の各ＸＹ位置は、位置合わせされた１６バイトであるメモリ内の位置を占有する。したがって、再フォーマットされた入力テンソル１９０２（例えば、Ｚ＞８）のチャネルの後のメモリは、未使用のバイトである。図１９の例において、データ複製前処理回路２１２は、入力テンソル１８０２をテンソルデータ複製構成に従って再フォーマットして、再フォーマットされた入力テンソル１９０２を生成する。

【0152】

図１９の示されている例において、再フォーマットされた１×３×９重みカーネル１９０４のセットは、例示的な第１の重みカーネル１９０６、例示的な第２の重みカーネル１９０８、例示的な第３の重みカーネル１９１０および例示的な第４の重みカーネル１９１２を含む。図１９の例において、入力テンソル１８０２は、それぞれの重みカーネルの次元がＸ_{ＫＥＲＮＥＬ}＊Ｙ_{ＫＥＲＮＥＬ}から１＊Ｙ_{ＫＥＲＮＥＬ}へ変更され得るように再フォーマットされる。例えば、第１の重みカーネル１９０６、第２の重みカーネル１９０８、第３の重みカーネル１９１０および第４の重みカーネル１９１２の各々は、９の深さを有する１×３カーネルである。

【0153】

図１９の例において、３×３×３重みカーネル１８０４のセットのそれぞれの形状が再フォーマットされた１×３×９重みカーネル１９０４のセットへ再フォーマットされるが、３×３×３重みカーネル１８０４のセットがメモリに記憶される方式は、変わらない。代わりに、３×３×３重みカーネル１８０４のセットを再フォーマットするために、ＭＡＣ回路２２０は、図１１のＭＡＣ回路を通じて３×３×３重みカーネル１８０４のセットを順序付けて、再フォーマットされた入力テンソル１９０２の新しい次元に適応させる。

【0154】

図１９の示されている例において、パラメータ決定回路８０２は、第１の重みカーネル１８１６の幅（例えば、３）、高さ（例えば、３）およびストライド（例えば、１）を決定する。パラメータ決定回路８０２は、入力テンソル１８０２の幅（例えば、４）、高さ（例えば、４）および深さ（例えば、３）を追加的に決定する。図１９の例において、パディング回路８０４は、外部パディングが入力テンソル１８０２に適用されるかどうかを判断する。外部パディングが適用されるという判断に応答して、パディング回路８０４は、入力テンソル１８０２の１番目のＹ位置における１番目のＸ位置の前に（例えば、入力テンソル１８０２の左に）第１の外部パッド１９１４をロードする。追加的に、パディング回路８０４は、入力テンソル１８０２の１番目のＹ位置における最後のＸ位置の後に（例えば、入力テンソル１８０２の右に）第２の外部パッド１９１６をロードする。その後、記憶制御回路８０６は、入力テンソル１８０２の１番目のＹ位置（例えば、Ｙ＝０）を選択する。記憶制御回路８０６は、選択されたＹ位置における入力テンソル１８０２の１番目のＸ位置を追加的に選択する。１番目のＹ位置における最後のＸ位置の後の１番目のＸ位置および第２の外部パッド１９１６の前にパディング回路８０４が第１の外部パッド１９１４を追加するので、入力テンソル１８０２は、６のＸ次元を有するように見える。したがって、記憶制御回路８０６は、選択されたＹ位置における１番目のＸ位置（例えば、Ｘ＝１，Ｙ＝０）を選択する場合、第１の外部パッド１９１４のＸ位置を選択する。

【0155】

図１９の示されている例において、記憶制御回路８０６は、選択されたＸＹ位置から、第１の重みカーネル１８１６の幅と重なる連続するＸＹ位置の、入力テンソル１８０２の深さまで、１つまたは複数のＺ値をコピーする。例えば、記憶制御回路８０６が入力テンソル１８０２の１番目のＸＹ位置（Ｘ＝－１，Ｙ＝０）から始まっており、第１の重みカーネル１８１６の幅が３なので、記憶制御回路８０６は第１の外部パッド１９１４、第１のＺ値１８０８および第２のＺ値１８１０をコピーする。記憶制御回路８０６は、コピーされた１つまたは複数のＺ値を再フォーマットされた入力テンソル１９０２の次のＸＹ位置へロードする。これが第１のロード動作である場合、記憶制御回路８０６は、コピーされた１つまたは複数のＺ値を再フォーマットされた入力テンソル１９０２の１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）へロードし、後続の反復のためにＸ位置をインクリメントする。

【0156】

したがって、記憶制御回路８０６は、再フォーマットされた入力テンソル１９０２の１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）へ第１の外部パッド１９１４を、続いて第１のＺ値１８０８を、次に第２のＺ値１８１０ロードする。したがって、再フォーマットされた入力テンソル１９０２と畳み込まれるカーネルのＹ位置のデータは、同じメモリ位置に存在する。次に、記憶制御回路８０６は、第１の重みカーネル１２１６の幅の外側に入力テンソル１８０２の十分なデータ（例えば、追加のＸ位置）が存在しているかどうかを判断する。入力テンソル１８０２の３番目のＸＹ位置（Ｘ＝２，Ｙ＝０）入力テンソル１８０２の４番目のＸＹ位置および第２の外部パッド１９１６が第１の重みカーネル１８１６の幅の外側にあるので、記憶制御回路８０６は、第１の重みカーネル１８１６のストライドに従って、選択されたＹ位置における入力テンソル１８０２の次のＸ位置を選択する。第１の重みカーネル１８１６のストライドが１なので、記憶制御回路８０６は、入力テンソル１８０２の１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）を選択する。

【0157】

図１９の示されている例において、記憶制御回路８０６は、選択されたＸＹ位置から、第１の重みカーネル１８１６の幅と重なる連続するＸＹ位置の、入力テンソル１８０２の深さまで、１つまたは複数のＺ値をコピーする。例えば、記憶制御回路８０６が入力テンソル１８０２の１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）から始まっており、第１の重みカーネル１８１６の幅が３なので、記憶制御回路８０６は、第１のＺ値１８０８、第２のＺ値１８１０および第３のＺ値１８１２をコピーする。記憶制御回路８０６は、コピーされた１つまたは複数のＺ値を再フォーマットされた入力テンソル１９０２の次のＸＹ位置へロードする。

【0158】

したがって、例えば、以前にロードされたＸＹ位置が、再フォーマットされた入力テンソル１９０２の１番目のＸＹ位置だったので、記憶制御回路８０６は、再フォーマットされた入力テンソル１９０２の２番目のＸＹ位置（Ｘ＝１，Ｙ＝０）へ第１のＺ値１８０８を、続いてに第２のＺ値１８１０を、次に第３のＺ値１８１２ロードする。処理は、第１の重みカーネル１８１６の垂直ストライドについて、同様に続く。

【0159】

図２０は、洗練されたフラクショナルストライディングを容易にするための、パディングがある例示的な再フォーマットされた入力テンソル２００２と１のストライドおよび１つまたは複数の重みスパース性ビットマップ２００４を有する例示的な３×３×３重みカーネルとの例示的な畳み込みを示すデータフロー図である。図２０の例において、フラクショナルストライド前処理回路２１４は、重みスパース性を転用して、フラクショナルストライドを洗練させ、４バイトの粒度で選択される入力テンソルの活性化を可能にする。フラクショナルストライド前処理回路２１４は、スパース性を記憶要素ポインタと組み合わせることにより、再フォーマットされた入力テンソル２００２を例示的な入力テンソル２００６から生成する。図２０の例において、入力テンソル２００６は、Ｘ＝８、Ｙ＝１かつＺ＝３の次元を有するが、Ｘ＝１０、Ｙ＝３かつＺ＝３の次元を有するようにパディングされる。

【0160】

図２０の示されている例において、パディング制御回路１００４は、外部パディングが入力テンソル２００６に適用されるかどうかを判断する。外部パディングが入力テンソル２００６に適用されるという判断に応答して、パディング制御回路１００４は、入力テンソル２００６の１番目のＹ位置における１番目のＸ位置の前に（例えば、入力テンソル２００６の左に）第１の外部パッド２００８をロードする。したがって、入力テンソル２００６と畳み込まれるカーネルのＹ位置のデータは、同じメモリ位置に存在する。追加的に、パディング制御回路１００４は、入力テンソル２００６の１番目のＹ位置における最後のＸ位置の後に（例えば、入力テンソル２００６の右に）第２の外部パッド２０１０をロードする。したがって、入力テンソル２００６と畳み込まれるカーネルのＹ位置のデータは、同じメモリ位置に存在する。入力テンソル２００６の上および下のパッドは、実行中、ＡＩアクセラレータ回路２０８によりスパース性として挿入される。

【0161】

したがって、図２０の示されている例において、入力テンソル２００６は、第１の外部パッド２００８、入力テンソル２００６の１番目のＸＹ位置における第１のＺ値２０１２、入力テンソル２００６の２番目のＸＹ位置における第２のＺ値２０１４、入力テンソル２００６の３番目のＸＹ位置における第３のＺ値２０１６および入力テンソル２００６の４番目のＸＹ位置における第４のＺ値２０１８を含む。入力テンソル２００６は、入力テンソル２００６の５番目のＸＹ位置における第５のＺ値２０２０、入力テンソル２００６の６番目のＸＹ位置における第６のＺ値２０２２、入力テンソル２００６の７番目のＸＹ位置における第７のＺ値２０２４、入力テンソル２００６の８番目のＸＹ位置における第８のＺ値２０２６および第２の外部パッド２０１０も含む。図２０の例において、スパース性生成回路１００６は、内部パディングが入力テンソル２００６に適用されるかどうかを判断する。例えば、スパース性生成回路１００６は、記憶要素の粒度を入力テンソル２００６の深さで除算することにより内部パディングが入力テンソル２００６に適用されるかどうかを判断する。除算演算の剰余がゼロではない場合、スパース性生成回路１００６は、内部パディングが適用され、逆も然り、と判断する。

【0162】

図２０の示されている例において、内部パディングが入力テンソル２００６に適用されるという判断に応答して、スパース性生成回路１００６は、入力テンソル２００６の各ＸＹ位置のＺ値をパッドの数により分離する。パッドの数を決定するために、スパース性生成回路１００６はまず、入力テンソル２００６の深さを、記憶要素の粒度（例えば、１６）へ除算された場合に剰余ゼロを戻す４の最も近い倍数までラウンドする。次に、スパース性生成回路１００６は、入力テンソル２００６のラウンドされた値および深さの間の差を見出して、パッドの数を決定する。

【0163】

図２０の示されている例において、記憶要素の粒度は１６であり、入力テンソル２００６の深さは３である。したがって、スパース性生成回路１００６は、パッドの数が１（例えば、４－３＝１）である、と判断する。本明細書において開示される例において、入力テンソルの内部パッドの長さは、１バイトである。したがって、入力テンソル２００６のチャネルが、４バイトへ内部でパディングされ、３つのチャネルのグループが記憶要素の粒度へ位置合わせされる（例えば、４×（３チャネルバイト＋１パッドバイト）＝１６バイト）。重みスパース性ビットマップが内部パッドバイトについてゼロなので、内部パッドバイトは処理されない。

【0164】

図２０の示されている例において、テンソルおよび重み制御回路１００２は、入力テンソル２００６と畳み込まれる各重みカーネルを複製して、各重みカーネルのＮ個の重みカーネルを生成する。Ｎは、再フォーマットされた入力テンソル２００２のＸＹ位置毎に生成され得る出力テンソルの点の数と一致する。図２０の例において、ＭＡＣ回路２２０は、再フォーマットされた入力テンソル２００２のＸＹ位置毎に出力テンソルの４つの点を生成できる。したがって、テンソルおよび重み制御回路１００２は、各重みカーネルを複製して、各重みカーネルの４つの重みカーネルを生成する。追加的に、スパース性生成回路１００６は、１つまたは複数の重みスパース性ビットマップ２００４を生成する。各重みスパース性ビットマップは、異なる重みスパース性パターン（例えば、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ａ、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ｂ、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ｃ、ＷＥＩＧＨＴ＿ＳＥＴ０＿Ｄ）を含む。図２０の例において、１つまたは複数の重みスパース性ビットマップ２００４は、Ｎ個の重みスパース性ビットマップを含む。図２０の例において、スパース性生成回路１００６は、１つまたは複数の重みスパース性ビットマップ２００４を生成する。各重みスパース性ビットマップは、選択された重みカーネルのストライドの数と入力テンソル２００６の深さおよび内部パッドの数の和との積だけそれぞれの重みスパース性ビットマップの開始からずらされるスパース性パターンを含む。図２０の例において、入力テンソル２００６の深さは３であり、内部パッドの数は１である。したがって、図２０の例において、それぞれのスパース性パターンは、選択された重みカーネルのストライドの数と４との積だけずらされる。各重みスパース性ビットマップのスパース性パターンは、ｄ個の連続する１ビットのｗ_Ｋセットを含む。ｗ_Ｋは、重みカーネルの幅であり、ｄは、入力テンソルの深さである。内部パディングが入力テンソル２００６に適用されるので、スパース性生成回路１００６は、ｗ_Ｋセットの各々に１つのゼロビットを付加して、内部パッドの数と一致させる。

【0165】

図２０の示されている例において、ポインタ制御回路１００８は、適用される場合、入力テンソル２００６の深さ、選択された重みカーネルのストライドおよび内部パッド長に基づいてフラクショナルストライドオフセットを連続する記憶要素ポインタに適用することを決定する。例えば、ポインタ制御回路１００８は、上記の式１に従って、フラクショナルストライドオフセットを決定する。図２０の例において、ポインタ制御回路１００８は、フラクショナルストライティングオフセットを決定した後、連続する記憶要素ポインタをこのオフセットの分だけずらす。

【0166】

記憶要素の粒度および適用されたフラクショナルストライドオフセットと位置合わせされた入力テンソル２００６のチャネルを用いて、図１１のＭＡＣ回路は、異なる重みスパース性ビットマップで入力テンソル２００６の活性化を処理して、各畳み込みの所望の入力活性化を選択する。例えば、フラクショナルストライド前処理回路２１４のスパース性および記憶要素ポインタは、図１１のＭＡＣ回路に、入力テンソル２００６を３２チャネル入力テンソルとして処理させて、入力テンソル２００６を再フォーマットされた入力テンソル２００２へ効果的に再フォーマットする。追加的に、フラクショナルストライド前処理回路２１４のスパース性および記憶要素ポインタは、図１１のＭＡＣ回路に、３×３×３重みカーネルを１×３×９重みカーネルとして処理させる。例えば、１つまたは複数の重みスパース性ビットマップ２００４は、入力テンソル２００６の所望のバイトを選択し、５０％のフラクショナルストライドが、重複する記憶要素を用いて提供される。再フォーマットされた入力テンソル２００２の深さは、上記の式２を介して決定され得る。

【0167】

表２は、通常の処理と比較した場合のテンソルデータ複製構成およびフラクショナルストライティング構成のためのＲｅｓＮｅｔ－５０およびＭｏｂｉｌｅＮｅｔのＭＡＣ利用率を示す。表１の例において、ＲｅｓＮｅｔ－５０は、２のストライドを有する７×７重みカーネルを利用し、ＭｏｂｉｌｅＮｅｔは、２のストライドを有する３×３重みカーネルを利用する。
［表２］

【表2】

【0168】

ＲｅｓＮｅｔ－５０について、表２は、テンソルデータ複製およびフラクショナルストライティングについてそれぞれ、２．８倍および１．８倍の利用率の上昇を示す。ＭｏｂｉｌｅＮｅｔについて、表２は、テンソルデータ複製およびフラクショナルストライティングについてそれぞれ、１．２倍および１．６倍のＭＡＣ利用率の上昇を示す。表２の例において、ＭＡＣ利用率の上昇は、１８％および６５％の間の層を処理するためのサイクル数の低減へ変換される。これは、既存の技術と比較すると、入力層についての大きな改善である。

【0169】

上で言及したように、ＡＩアクセラレータ回路は、ネットワーク内のより深い層について非常に効率的であるが、浅い層は、そのような効率を低減し得る。追加的に、そのような層の活性化および重みデータの両方におけるスパース性の上昇により、ネットワーク全体の計算時間の大きな割合を占める浅い層（例えば、入力層）がもたらされ得る。例えば、ＲｅｓＮｅｔ－５０ネットワークへの入力層は、本明細書において開示される例の利点なく、実行するのにネットワークの時間全体の１０．７％を占める。逆に、本明細書において開示される例は、ＭＡＣ利用率を１．８倍および２．８倍の間で上昇させ、これにより、４．８％および６．９％の間だけ、ネットワークの全体的な処理が低減する。

【0170】

表２は、ＭｏｂｉｌｅＮｅｔについてフラクショナルストライティングよりも良好にテンソルデータ複製が実行されること、およびＲｅｓＮｅｔ－５０についてテンソルデータ複製よりも良好にフラクショナルストライティングが実行されることを示す。これらの差は、部分的に、異なる構成がＡＩアクセラレータ回路によりどのように処理されるかに起因する。そのような差は、各構成に関連付けられたコストテーブルを実装しており、かつ、最適な解決手段を選ぶコンパイラ（例えば、コンパイラ２１０）により軽減され得る。

【0171】

表３は、ＲｅｓＮｅｔ－５０およびＭｏｂｉｌｅＮｅｔのためのテンソルデータ複製およびフラクショナルストライティングについての活性化および重みフットプリントを示す。ＭｏｂｉｌｅＮｅｔおよびＲｅｓＮｅｔ－５０の両方について、メモリフットプリントは、テンソルデータ複製を実装する場合、通常の処理のものの約５０である。追加的に、メモリフットプリントは、フラクショナルストライティングを実装する場合、通常の処理のものの約２５である。メモリが限られたリソースであるエッジデバイスについて、メモリフットプリントの低減は、本明細書において開示される例により実現される大きな利益である。
［表３］

【表3】

【0172】

いくつかの例において、データ複製前処理回路２１２は、１つまたは複数のパラメータを決定するための手段を含む。例えば、１つまたは複数のパラメータを決定するための手段は、パラメータ決定回路８０２により実装され得る。いくつかの例において、パラメータ決定回路８０２は、図２３の例示的なプロセッサ回路２３１２、図２４の例示的なプロセッサ回路２４００および／または図２５の例示的なフィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路２５００により実装され得るプロセッサ回路によって実行される図２１の最後のブロック２１０２、２１０４、２１０６、２１３０および２１３２により実装されるものなど、機械実行可能命令により実装され得る。他の例において、パラメータ決定回路８０２は、他のハードウェア論理回路、ハードウェア実装ステートマシン、および／または、ハードウェア、ソフトウェアおよび／またはファームウェアの任意の他の組み合わせにより実装される。例えば、パラメータ決定回路８０２は、ソフトウェアまたはファームウェアを実行することなく対応する動作を実行するように構造化された少なくとも１つまたは複数のハードウェア回路（例えば、プロセッサ回路、ディスクリートおよび／または統合アナログおよび／またはデジタル回路、ＦＰＧＡ、特定用途向け集積回路（ＡＳＩＣ）、コンパレータ、演算増幅器（オペアンプ）、論理回路等）により実装され得るが、他の構造も同様に適切である。

【0173】

いくつかの例において、データ複製前処理回路２１２は、パディングするための手段を含む。例えば、パディングするための手段は、パディング回路８０４により実装され得る。いくつかの例において、パディング回路８０４は、図２３の例示的なプロセッサ回路２３１２、図２４の例示的なプロセッサ回路２４００および／または図２５の例示的なフィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路２５００により実装され得るプロセッサ回路によって実行される図２１の最後のブロック２１０８、２１１０および２１１２により実装されるものなど、機械実行可能命令により実装され得る。他の例において、パディング回路８０４は、他のハードウェア論理回路、ハードウェア実装ステートマシン、および／または、ハードウェア、ソフトウェアおよび／またはファームウェアの任意の他の組み合わせにより実装される。例えば、パディング回路８０４は、ソフトウェアまたはファームウェアを実行することなく対応する動作を実行するように構造化された少なくとも１つまたは複数のハードウェア回路（例えば、プロセッサ回路、ディスクリートおよび／または統合アナログおよび／またはデジタル回路、ＦＰＧＡ、特定用途向け集積回路（ＡＳＩＣ）、コンパレータ、演算増幅器（オペアンプ）、論理回路等）により実装され得るが、他の構造も同様に適切である。

【0174】

いくつかの例において、データ複製前処理回路２１２は、記憶を制御するための手段を含む。例えば、記憶を制御するための手段は、記憶制御回路８０６により実装され得る。いくつかの例において、記憶制御回路８０６は、図２３の例示的なプロセッサ回路２３１２、図２４の例示的なプロセッサ回路２４００および／または図２５の例示的なフィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路２５００により実装され得るプロセッサ回路によって実行される図２１の最後のブロック２１１４、２１１６、２１１８、２１２０、２１２２、２１２４、２１２６および２１２８により実装されるものなど、機械実行可能命令により実装され得る。他の例において、記憶制御回路８０６は、他のハードウェア論理回路、ハードウェア実装ステートマシン、および／または、ハードウェア、ソフトウェアおよび／またはファームウェアの任意の他の組み合わせにより実装される。例えば、記憶制御回路８０６は、ソフトウェアまたはファームウェアを実行することなく対応する動作を実行するように構造化された少なくとも１つまたは複数のハードウェア回路（例えば、プロセッサ回路、ディスクリートおよび／または統合アナログおよび／またはデジタル回路、ＦＰＧＡ、特定用途向け集積回路（ＡＳＩＣ）、コンパレータ、演算増幅器（オペアンプ）、論理回路等）により実装され得るが、他の構造も同様に適切である。

【0175】

いくつかの例において、フラクショナルストライド前処理回路２１４は、１つまたは複数のテンソルを制御するための手段を含む。例えば、１つまたは複数のテンソルを制御するための手段は、テンソルおよび重み制御回路１００２により実装され得る。いくつかの例において、テンソルおよび重み制御回路１００２は、図２３の例示的なプロセッサ回路２３１２、図２４の例示的なプロセッサ回路２４００および／または図２５の例示的なフィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路２５００により実装され得るプロセッサ回路によって実行される図２２の最後のブロック２２０２、２２０４、２２０６、２２１８、２２２６、２２２８および２２３０により実装されるものなど、機械実行可能命令により実装され得る。他の例において、テンソルおよび重み制御回路１００２は、他のハードウェア論理回路、ハードウェア実装ステートマシン、および／または、ハードウェア、ソフトウェアおよび／またはファームウェアの任意の他の組み合わせにより実装される。例えば、テンソルおよび重み制御回路１００２は、ソフトウェアまたはファームウェアを実行することなく対応する動作を実行するように構造化された少なくとも１つまたは複数のハードウェア回路（例えば、プロセッサ回路、ディスクリートおよび／または統合アナログおよび／またはデジタル回路、ＦＰＧＡ、特定用途向け集積回路（ＡＳＩＣ）、コンパレータ、演算増幅器（オペアンプ）、論理回路等）により実装され得るが、他の構造も同様に適切である。

【0176】

いくつかの例において、フラクショナルストライド前処理回路２１４は、パディングするための手段を含む。例えば、パディングするための手段は、パディング制御回路１００４により実装され得る。いくつかの例において、パディング制御回路１００４は、図２３の例示的なプロセッサ回路２３１２、図２４の例示的なプロセッサ回路２４００および／または図２５の例示的なフィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路２５００により実装され得るプロセッサ回路によって実行される図２２の最後のブロック２２０８、２２１０および２２１２により実装されるものなど、機械実行可能命令により実装され得る。他の例において、パディング制御回路１００４は、他のハードウェア論理回路、ハードウェア実装ステートマシン、および／または、ハードウェア、ソフトウェアおよび／またはファームウェアの任意の他の組み合わせにより実装される。例えば、パディング制御回路１００４は、ソフトウェアまたはファームウェアを実行することなく対応する動作を実行するように構造化された少なくとも１つまたは複数のハードウェア回路（例えば、プロセッサ回路、ディスクリートおよび／または統合アナログおよび／またはデジタル回路、ＦＰＧＡ、特定用途向け集積回路（ＡＳＩＣ）、コンパレータ、演算増幅器（オペアンプ）、論理回路等）により実装され得るが、他の構造も同様に適切である。

【0177】

いくつかの例において、フラクショナルストライド前処理回路２１４は、スパース性を生成するための手段を含む。例えば、スパース性を生成するための手段は、スパース性生成回路１００６により実装され得る。いくつかの例において、スパース性生成回路１００６は、図２３の例示的なプロセッサ回路２３１２、図２４の例示的なプロセッサ回路２４００および／または図２５の例示的なフィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路２５００により実装され得るプロセッサ回路によって実行される図２２の最後のブロック２２１４および２２１６により実装されるものなど、機械実行可能命令により実装され得る。他の例において、スパース性生成回路１００６は、他のハードウェア論理回路、ハードウェア実装ステートマシン、および／または、ハードウェア、ソフトウェアおよび／またはファームウェアの任意の他の組み合わせにより実装される。例えば、スパース性生成回路１００６は、ソフトウェアまたはファームウェアを実行することなく対応する動作を実行するように構造化された少なくとも１つまたは複数のハードウェア回路（例えば、プロセッサ回路、ディスクリートおよび／または統合アナログおよび／またはデジタル回路、ＦＰＧＡ、特定用途向け集積回路（ＡＳＩＣ）、コンパレータ、演算増幅器（オペアンプ）、論理回路等）により実装され得るが、他の構造も同様に適切である。

【0178】

いくつかの例において、フラクショナルストライド前処理回路２１４は、１つまたは複数のポインタを制御するための手段を含む。例えば、１つまたは複数のポインタを制御するための手段は、ポインタ制御回路１００８により実装され得る。いくつかの例において、ポインタ制御回路１００８は、図２３の例示的なプロセッサ回路２３１２、図２４の例示的なプロセッサ回路２４００および／または図２５の例示的なフィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路２５００により実装され得るプロセッサ回路によって実行される図２２の最後のブロック２２２０、２２２２および２２２４により実装されるものなど、機械実行可能命令により実装され得る。他の例において、ポインタ制御回路１００８は、他のハードウェア論理回路、ハードウェア実装ステートマシン、および／または、ハードウェア、ソフトウェアおよび／またはファームウェアの任意の他の組み合わせにより実装される。例えば、ポインタ制御回路１００８は、ソフトウェアまたはファームウェアを実行することなく対応する動作を実行するように構造化された少なくとも１つまたは複数のハードウェア回路（例えば、プロセッサ回路、ディスクリートおよび／または統合アナログおよび／またはデジタル回路、ＦＰＧＡ、特定用途向け集積回路（ＡＳＩＣ）、コンパレータ、演算増幅器（オペアンプ）、論理回路等）により実装され得るが、他の構造も同様に適切である。

【0179】

図２のデータ複製前処理回路２１２を実装する例示的な方式が図８に示されているが、図８に示されている要素、処理および／またはデバイスのうちの１つまたは複数は、任意の他の態様で組み合わされ、分割され、再配置され、省略され、排除され、および／または実装され得る。追加的に、図２のフラクショナルストライド前処理回路２１４を実装する例示的な方式が図１０に示されているが、図１０に示されている要素、処理および／またはデバイスのうちの１つまたは複数は、任意の他の態様で組み合わされ、分割され、再配置され、省略され、排除され、および／または実装され得る。さらに、図２および／または図８の例示的なパラメータ決定回路８０２、例示的なパディング回路８０４、例示的な記憶制御回路８０６および／またはより一般的には例示的なデータ複製前処理回路２１２、および／または、図２および／または図１０の例示的なテンソルおよび重み制御回路１００２、例示的なパディング制御回路１００４、例示的なスパース性生成回路１００６、例示的なポインタ制御回路１００８および／またはより一般的には例示的なフラクショナルストライド前処理回路２１４は、ハードウェアにより単独で、または、ハードウェアによりソフトウェアおよび／またはファームウェアとの組み合わせで実装され得る。したがって、例えば、図２および／または図８の例示的なパラメータ決定回路８０２、例示的なパディング回路８０４、例示的な記憶制御回路８０６および／またはより一般的には例示的なデータ複製前処理回路２１２、および／または、図２および／または図１０の例示的なテンソルおよび重み制御回路１００２、例示的なパディング制御回路１００４、例示的なスパース性生成回路１００６、例示的なポインタ制御回路１００８および／またはより一般的には例示的なフラクショナルストライド前処理回路２１４のいずれも、プロセッサ回路、アナログ回路、デジタル回路、論理回路、プログラマブルプロセッサ、プログラマブルマイクロコントローラ、グラフィックスプロセッサユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、および／またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなフィールドプログラマブルロジックデバイス（ＦＰＬＤ）により実装され得る。またさらに、図２の例示的なデータ複製前処理回路２１２は、図８に示されるものに加えて、またはそれらの代わりに、１つまたは複数の要素、処理および／またはデバイスを含んでよく、および／または、示されている要素、処理およびデバイスのいずれかまたは全てのうちの１つよりも多くを含んでよい。追加的に、図２のフラクショナルストライド前処理回路２１４は、図１０に示されるものに加えて、またはそれらの代わりに、１つまたは複数の要素、処理および／またはデバイスを含んでよく、および／または、示されている要素、処理およびデバイスのいずれかまたは全てのうちの１つよりも多くを含んでよい。

【0180】

例示的なハードウェア論理回路、機械可読命令、ハードウェア実装ステートマシン、および／または、図２および／または図８のデータ複製前処理回路２１２を実装するためのそれらの任意の組み合わせのフローチャート代表図が、図２１に示される。機械可読命令は、図２３に関連して後述される例示的なプロセッサプラットフォーム２３００内に示されるプロセッサ回路２３１２および／または図２４および／または図２５に関連して後述される例示的なプロセッサ回路のようなプロセッサ回路による実行および／またはインスタンス化のための実行可能および／またはインスタンス化可能プログラムの１つまたは複数の実行可能および／またはインスタンス化可能プログラムまたは部分であってよい。このプログラムは、１つまたは複数のハードウェアデバイス内に位置するプロセッサ回路に関連付けられたＣＤ、フロッピディスク、ハードディスクドライブ（ＨＤＤ）、ＤＶＤ、ブルーレイディスク、揮発性メモリ（例えば、任意のタイプのランダムアクセスメモリ（ＲＡＭ）等）または不揮発性メモリ（例えば、フラッシュメモリ、ＨＤＤ等）など、１つまたは複数の非一時的コンピュータ可読記憶媒体に記憶されたソフトウェアにおいて具現化されてよいが、このプログラム全体および／またはその一部は、代替的に、このプロセッサ回路以外の１つまたは複数のハードウェアデバイスにより実行および／またはインスタンス化され、および／または、ファームウェアまたは専用ハードウェアにおいて具現化され得る。機械可読命令は、複数のハードウェアデバイスにわたって分散され、および／または、２つまたはそれよりも多くのハードウェアデバイス（例えば、サーバおよびクライアントハードウェアデバイス）により実行され、および／または、２つまたはそれよりも多くのハードウェアデバイスによりインスタンス化されてよい。例えば、クライアントハードウェアデバイスは、エンドポイントクライアントハードウェアデバイス（例えば、ユーザに関連付けられたハードウェアデバイス）または中間クライアントハードウェアデバイス（例えば、サーバおよびエンドポイントクライアントハードウェアデバイスの間の通信を容易にし得る無線アクセスネットワーク（ＲＡＮ）ゲートウェイ）により実装され得る。同様に、非一時的コンピュータ可読記憶媒体は、１つまたは複数のハードウェアデバイス内に位置する１つまたは複数の媒体を含み得る。さらに、図２１に示されるフローチャートを参照して例示的なプログラムが説明されているが、例示的なデータ複製前処理回路２１２を実装する多くの他の方法が、代替的に用いられ得る。例えば、ブロックの実行順序は、変更されてよく、および／または、説明されているブロックのいくつかは、変更され、排除され、または組み合わされてよい。追加的に、または代替的に、ブロックのいずれかまたは全てが、ソフトウェアまたはファームウェアを実行することなく対応する動作を実行するように構造化された１つまたは複数のハードウェア回路（例えば、プロセッサ回路、ディスクリートおよび／または統合アナログおよび／またはデジタル回路、ＦＰＧＡ、ＡＳＩＣ、コンパレータ、演算増幅器（オペアンプ）、論理回路等）により実装され得る。プロセッサ回路は、異なるネットワーク位置に分散され、および／または、１つまたは複数のハードウェアデバイス（例えば、シングルコアプロセッサ（例えば、シングルコア中央処理ユニット（ＣＰＵ）））、単一の機械内のマルチコアプロセッサ（例えば、マルチコアＣＰＵ等）、サーバラックの複数のサーバにわたって分散された複数のプロセッサ、１つまたは複数のサーバラックにわたって分散された複数のプロセッサ、同じパッケージ（例えば、同じ集積回路（ＩＣ）パッケージ、または２つまたはそれよりも多くの別個のハウジング等）内に位置するＣＰＵおよび／またはＦＰＧＡにローカルであってよい。

【0181】

例示的なハードウェア論理回路、機械可読命令、ハードウェア実装ステートマシン、および／または、図２および／または図１０のフラクショナルストライド前処理回路２１４を実装するためのそれらの任意の組み合わせのフローチャート代表図が、図２２に示される。機械可読命令は、図２３に関連して後述される例示的なプロセッサプラットフォーム２３００内に示されるプロセッサ回路２３１２および／または図２４および／または図２５に関連して後述される例示的なプロセッサ回路のようなプロセッサ回路による実行および／またはインスタンス化のための実行可能および／またはインスタンス化可能プログラムの１つまたは複数の実行可能および／またはインスタンス化可能プログラムまたは部分であってよい。このプログラムは、１つまたは複数のハードウェアデバイス内に位置するプロセッサ回路に関連付けられたＣＤ、フロッピディスク、ハードディスクドライブ（ＨＤＤ）、ＤＶＤ、ブルーレイディスク、揮発性メモリ（例えば、任意のタイプのランダムアクセスメモリ（ＲＡＭ）等）または不揮発性メモリ（例えば、フラッシュメモリ、ＨＤＤ等）など、１つまたは複数の非一時的コンピュータ可読記憶媒体に記憶されたソフトウェアにおいて具現化されてよいが、このプログラム全体および／またはその一部は、代替的に、このプロセッサ回路以外の１つまたは複数のハードウェアデバイスにより実行および／またはインスタンス化され、および／または、ファームウェアまたは専用ハードウェアにおいて具現化され得る。機械可読命令は、複数のハードウェアデバイスにわたって分散され、および／または、２つまたはそれよりも多くのハードウェアデバイス（例えば、サーバおよびクライアントハードウェアデバイス）により実行され、および／または、２つまたはそれよりも多くのハードウェアデバイスによりインスタンス化されてよい。例えば、クライアントハードウェアデバイスは、エンドポイントクライアントハードウェアデバイス（例えば、ユーザに関連付けられたハードウェアデバイス）または中間クライアントハードウェアデバイス（例えば、サーバおよびエンドポイントクライアントハードウェアデバイスの間の通信を容易にし得る無線アクセスネットワーク（ＲＡＮ）ゲートウェイ）により実装され得る。同様に、非一時的コンピュータ可読記憶媒体は、１つまたは複数のハードウェアデバイス内に位置する１つまたは複数の媒体を含み得る。さらに、図２２に示されるフローチャートを参照して例示的なプログラムが説明されているが、例示的なフラクショナルストライド前処理回路２１４を実装する多くの他の方法が、代替的に用いられ得る。例えば、ブロックの実行順序は、変更されてよく、および／または、説明されているブロックのいくつかは、変更され、排除され、または組み合わされてよい。追加的に、または代替的に、ブロックのいずれかまたは全てが、ソフトウェアまたはファームウェアを実行することなく対応する動作を実行するように構造化された１つまたは複数のハードウェア回路（例えば、プロセッサ回路、ディスクリートおよび／または統合アナログおよび／またはデジタル回路、ＦＰＧＡ、ＡＳＩＣ、コンパレータ、演算増幅器（オペアンプ）、論理回路等）により実装され得る。プロセッサ回路は、異なるネットワーク位置に分散され、および／または、１つまたは複数のハードウェアデバイス（例えば、シングルコアプロセッサ（例えば、シングルコア中央処理ユニット（ＣＰＵ）））、単一の機械内のマルチコアプロセッサ（例えば、マルチコアＣＰＵ等）、サーバラックの複数のサーバにわたって分散された複数のプロセッサ、１つまたは複数のサーバラックにわたって分散された複数のプロセッサ、同じパッケージ（例えば、同じ集積回路（ＩＣ）パッケージ、または２つまたはそれよりも多くの別個のハウジング等）内に位置するＣＰＵおよび／またはＦＰＧＡにローカルであってよい。

【0182】

本明細書において説明される機械可読命令は、圧縮形式、暗号化形式、断片化形式、コンパイル形式、実行可能形式、パッケージ形式等のうちの１つまたは複数で記憶され得る。本明細書において説明されるような機械可読命令は、機械実行可能命令を作成、製造および／または生成するために利用され得るデータまたはデータ構造（例えば、命令の各部分、コード、コードの表現等）として記憶され得る。例えば、機械可読命令は、ネットワークまたはネットワークの集合の同じまたは異なる位置（例えば、クラウド内、エッジデバイス内等）に位置する１つまたは複数のストレージデバイスおよび／またはコンピューティングデバイス（例えば、サーバ）にフラグメント化および記憶され得る。機械可読命令は、それらをコンピューティングデバイスおよび／または他の機械により直接読み取り可能、解釈可能および／または実行可能なものにすべく、インストール、修正、適合、更新、組み合わせ、補足、構成、復号、圧縮解除、アンパック、配布、再割り当て、コンパイル等のうちの１つまたは複数を、必要とし得る。例えば、機械可読命令は、別個のコンピューティングデバイスで個々に圧縮、暗号化および／または記憶された複数の部分に記憶され得る。これらの部分は、復号され、圧縮解除され、および／または組み合わされた場合、本明細書において説明されるもののようなプログラムを共に形成し得る１つまたは複数の動作を実装する機械実行可能命令のセットを形成する。

【0183】

別の例において、機械可読命令は、プロセッサ回路により読み取られ得る状態で記憶され得るが、特定のコンピューティングデバイスまたは他のデバイス上で機械可読命令を実行および／またはインスタンス化すべく、ライブラリ（例えば、ダイナミックリンクライブラリ（ＤＬＬ））、ソフトウェア開発キット（ＳＤＫ）、アプリケーションプログラミングインタフェース（ＡＰＩ）等の追加を必要とする。別の例において、機械可読命令は、機械可読命令および／または対応するプログラムが全体的または部分的に実行および／またはインスタンス化され得る前に、構成（例えば、設定の記憶、データの入力、ネットワークアドレスの記録等）される必要があり得る。したがって、本明細書において用いられる機械可読媒体は、記憶されている、またはそうでなければ、静止している、または送信中である場合、機械可読命令および／またはプログラムの特定のフォーマットまたは状態にかかわらず、機械可読命令および／またはプログラムを含み得る。

【0184】

本明細書において説明される機械可読命令は、任意の過去、現在または将来の命令言語、スクリプト言語、プログラミング言語等により表され得る。例えば、機械可読命令は、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｃ♯、Ｐｅｒｌ、Ｐｙｔｈｏｎ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ハイパーテキストマークアップ言語（ＨＴＭＬ）、構造化クエリ言語（ＳＱＬ）、Ｓｗｉｆｔ（登録商標）等の言語のいずれかを用いて表され得る。

【0185】

上で言及したように、図２１および／または図２２の例示的な動作は、任意の持続時間にわたって（例えば、延長された期間にわたって、永続的に、短期間にわたって、情報の一時的なバッファおよび／またはキャッシュのために）内部に情報が記憶される光学ストレージデバイス、磁気ストレージデバイス、ＨＤＤ、フラッシュメモリ、リードオンリメモリ（ＲＯＭ）、ＣＤ、ＤＶＤ、キャッシュ、任意のタイプのＲＡＭ、レジスタ、および／または任意の他のストレージデバイスまたはストレージディスクなど、１つまたは複数の非一時的コンピュータおよび／または機械可読媒体に記憶された実行可能命令（例えば、コンピュータおよび／または機械可読命令）を用いて実装され得る。本明細書において用いられる場合、非一時的コンピュータ可読媒体および非一時的コンピュータ可読記憶媒体という用語は、任意のタイプのコンピュータ可読ストレージデバイスおよび／またはストレージディスクを含み、伝搬信号を除外し、かつ、伝送媒体を除外するように、明示的に定義される。本明細書において開示されるいくつかの例において、非一時的コンピュータ可読記憶媒体に記憶されている命令は、実行された場合、本明細書において開示される動作をプロセッサ回路に実行させる。

【0186】

「含む（ｉｎｃｌｕｄｉｎｇ）」および「備える（ｃｏｍｐｒｉｓｉｎｇ）」（およびそれらの全ての形態および時制）は、本明細書において、オープンエンドの用語として用いられる。したがって、ある請求項が任意の形態の「含む（ｉｎｃｌｕｄｉｎｇ）」または「備える（ｃｏｍｐｒｉｓｉｎｇ）」（例えば、備える（ｃｏｍｐｒｉｓｅｓ）、含む（ｉｎｃｌｕｄｅｓ）、備える（ｃｏｍｐｒｉｓｉｎｇ）、含む（ｉｎｃｌｕｄｉｎｇ）、有する（ｈａｖｉｎｇ）等）をプリアンブルとして、または任意の種類の請求項の記載において使用している場合は必ず、対応する請求項または記載の範囲から外れることなく、追加の要素、用語等が存在し得ると理解されるべきである。本明細書において用いられるように、「少なくとも（ａｔ ｌｅａｓｔ）」という文言は、例えば請求項のプリアンブルにおいて、移行用語として用いられる場合、「備える（ｃｏｍｐｒｉｓｉｎｇ）」および「含む（ｉｎｃｌｕｄｉｎｇ）」という用語がオープンエンドであるのと同じようにオープンエンドである。「および／または」という用語は、例えば、Ａ、Ｂおよび／またはＣなどの形式で用いられる場合、（１）Ａのみ、（２）Ｂのみ、（３）Ｃのみ、（４）ＡとＢ、（５）ＡとＣ、（６）ＢとＣ、または（７）ＡとＢとＣなど、Ａ、Ｂ、Ｃの任意の組み合わせまたはサブセットを指す。構造、コンポーネント、アイテム、オブジェクトおよび／または物を説明する文脈で本明細書において用いられる場合、「ＡおよびＢのうちの少なくとも一方」という文言は、（１）少なくとも１つのＡ、（２）少なくとも１つのＢまたは（３）少なくとも１つのＡおよび少なくとも１つのＢのいずれかを含む実装を指すように意図されている。同様に、構造、コンポーネント、アイテム、オブジェクトおよび／または物を説明する文脈で本明細書において用いられる場合、「ＡまたはＢのうちの少なくとも一方」という文言は、（１）少なくとも１つのＡ、（２）少なくとも１つのＢまたは（３）少なくとも１つのＡおよび少なくとも１つのＢのいずれかを含む実装を指すように意図されている。処理、命令、動作、アクティビティおよび／またはステップの実行（ｐｅｒｆｏｒｍａｎｃｅ）または実行（ｅｘｅｃｕｔｉｏｎ）を説明する文脈で本明細書において用いられる場合、「ＡおよびＢのうちの少なくとも一方」という文言は、（１）少なくとも１つのＡ、（２）少なくとも１つのＢまたは（３）少なくとも１つのＡおよび少なくとも１つのＢのいずれかを含む実装を指すように意図されている。同様に、処理、命令、動作、アクティビティおよび／またはステップの実行（ｐｅｒｆｏｒｍａｎｃｅ）または実行（ｅｘｅｃｕｔｉｏｎ）を説明する文脈で本明細書において用いられる場合、「ＡまたはＢのうちの少なくとも一方」という文言は、（１）少なくとも１つのＡ、（２）少なくとも１つのＢまたは（３）少なくとも１つのＡおよび少なくとも１つのＢのいずれかを含む実装を指すように意図されている。

【0187】

本明細書において用いられる場合、単数形での言及（例えば、「１つの（ａ）」、「１つの（ａｎ）」、「第１の（ｆｉｒｓｔ）」、「第２の（ｓｅｃｏｎｄ）」等）は、複数を除外しない。本明細書において用いられる場合、「１つの（ａ）」または「１つの（ａｎ）」オブジェクトという用語は、そのオブジェクトのうちの１つまたは複数を指す。「１つの（ａ）」（または「１つの（ａｎ）」）、「１つまたは複数の」および「少なくとも１つの」という用語は、本明細書において同じ意味で用いられる。さらに、個々に記載されているが、複数の手段、要素または方法動作は、例えば、同じエンティティまたはオブジェクトにより実装され得る。追加的に、個々の特徴が、異なる例または請求項に含まれ得るが、これらは、場合によっては組み合わされてよく、異なる例または請求項における包含は、複数の特徴の組み合わせが実現可能および／または有利ではないことを示唆するわけではない。

【0188】

図２１は、図２および／または図８のデータ複製前処理回路２１２を実装するためにプロセッサ回路により実行および／またはインスタンス化され得る例示的な機械可読命令および／または例示的な動作２１００のフローチャート代表図である。機械可読命令および／または例示的な動作２１００は、パラメータ決定回路８０２がＡＩアクセラレータ回路により処理される第１の重みカーネルを選択するブロック２１０２において始まる。ブロック２１０４において、パラメータ決定回路８０２は、選択された重みカーネルの幅、高さおよびストライドを決定する。

【0189】

図２１の示されている例では、ブロック２１０６において、パラメータ決定回路８０２は、ＡＩアクセラレータ回路により処理される入力テンソルの幅、高さおよび深さを決定する。ブロック２１０８において、パディング回路８０４は、外部パディングが入力テンソルに適用されるかどうかを判断する。例えば、ブロック２１０８において、パディング回路８０４は、外部パディングが入力テンソルに適用されるかどうかを重みカーネルの次元および／または出力テンソルの所望の次元に基づいて判断する。パディングが入力テンソルに適用される（ブロック２１０８：はい）、とパディング回路８０４が判断したことに応答して、機械可読命令および／または動作２１００は、ブロック２１１０へ進む。ブロック２１１０において、パディング回路８０４は、入力テンソルの１番目のＹ位置における１番目のＸ位置の前に（例えば、入力テンソルの左に）第１の外部パッドをロードする。ブロック２１１２において、パディング回路８０４は、入力テンソルの１番目のＹ位置における最後のＸ位置の後に（例えば、入力テンソルの右に）第２のパッドをロードする。

【0190】

図２１の示されている例において、ブロック２１０８に戻ると、パディングが入力テンソルに適用されない（ブロック２１０８：いいえ）、とパディング回路８０４が判断したことに応答して、機械可読命令および／または動作２１００は、ブロック２１１４へ進む。ブロック２１１４において、記憶制御回路８０６は、再フォーマットされる入力テンソルの１番目のＹ位置を選択する。ブロック２１１６において、記憶制御回路８０６は、選択されたＹ位置における入力テンソルの１番目のＸ位置を選択する。

【0191】

図２１の示されている例では、ブロック２１１８において、記憶制御回路８０６は、選択されたＸＹ位置から、入力テンソルと畳み込まれる重みカーネルの幅と重なる入力テンソルの連続するＸＹ位置の、入力テンソルの深さまで、Ｚ値をコピーする。ブロック２１２０において、記憶制御回路８０６は、コピーされたＺ値を再フォーマットされたテンソルの次のＸＹ位置に連続的にロードする。例えば、ブロック２１２０の第１の反復において、記憶制御回路８０６は、コピーされたＺ値を再フォーマットされたテンソルの１番目のＸＹ位置（Ｘ＝０，Ｙ＝０）に連続的にロードする。ブロック２１２０の後続の反復において、記憶制御回路８０６は、コピーされたＺ値を最初の反復の後の反復回数に等しい再フォーマットされたテンソルの次のＸＹ位置へロードする。

【0192】

図２１の示されている例では、ブロック２１２２において、記憶制御回路８０６は、再フォーマットされたテンソルの別の列を生成するために重みカーネルの幅の外側に十分な入力テンソルデータが存在しているかどうかを判断する。例えば、ブロック２１２２において、記憶制御回路８０６は、重みカーネルの幅の外側に入力テンソルの追加のＸ位置が存在しているかどうかを判断する。再フォーマットされたテンソルの別の列を生成するために重みカーネルの幅の外側に十分な入力テンソルデータが存在している（ブロック２１２２：はい）、と記憶制御回路８０６が判断したことに応答して、機械可読命令および／または動作２１００は、ブロック２１２４へ進む。ブロック２１２４において、記憶制御回路８０６は、重みカーネルのストライドに従って、選択されたＹ位置における入力テンソルの次のＸ位置を選択する。ブロック２１２４の後、機械可読命令および／または動作２１００は、ブロック２１１８へ戻る。

【0193】

図２１の示されている例において、再フォーマットされたテンソルの別の列を生成するために重みカーネルの幅の外側に十分な入力テンソルデータが存在していない（ブロック２１２２：いいえ）、と記憶制御回路８０６が判断したことに応答して、機械可読命令および／または動作２１００は、ブロック２１２６へ進む。ブロック２１２６において、記憶制御回路８０６は、再フォーマットされたテンソルの別の行を生成するために重みカーネルの高さの外側に十分な入力テンソルデータが存在しているかどうかを判断する。例えば、ブロック２１２６において、記憶制御回路８０６は、重みカーネルの高さの外側に入力テンソルの追加のＹ位置が存在しているかどうかを判断する。再フォーマットされたテンソルの別の行を生成するために重みカーネルの高さの外側に十分な入力テンソルデータが存在している（ブロック２１２６：はい）、と記憶制御回路８０６が判断したことに応答して、機械可読命令および／または動作２１００は、ブロック２１２８へ進む。ブロック２１２８において、記憶制御回路８０６は、重みカーネルのストライドに従って、入力テンソルの次のＹ位置を選択する。ブロック２１２８の後、機械可読命令および／または動作２１００は、ブロック２１１６へ戻る。

【0194】

図２１の示されている例において、再フォーマットされたテンソルの別の行を生成するために重みカーネルの高さの外側に十分な入力テンソルデータが存在していない（ブロック２１２６：いいえ）、と記憶制御回路８０６が判断したことに応答して、機械可読命令および／または動作２１００は、ブロック２１３０へ進む。ブロック２１３０において、パラメータ決定回路８０２は、処理される追加の重みカーネルが存在しているかどうかを判断する。処理される追加の重みカーネルが存在している（ブロック２１３０：はい）、とパラメータ決定回路８０２が判断したことに応答して、機械可読命令および／または動作２１００は、処理される次の重みカーネルをパラメータ決定回路８０２が選択するブロック２１３２へ進む。ブロック２１３２の後、機械可読命令および／または動作２１００は、ブロック２１０４へ戻る。処理される追加の重みカーネルが存在していない（ブロック２１３０：いいえ）、とパラメータ決定回路８０２が判断したことに応答して、機械可読命令および／または動作２１００は、終了する。

【0195】

図２２は、図２および／または図１０のフラクショナルストライド前処理回路２１４を実装するためにプロセッサ回路により実行および／またはインスタンス化され得る例示的な機械可読命令および／または例示的な動作２２００のフローチャート代表図である。機械可読命令および／または動作２２００は、処理される第１の重みカーネルをテンソルおよび重み制御回路１００２が選択するブロック２２０２において始まる。ブロック２２０４において、テンソルおよび重み制御回路１００２は、選択された重みカーネルの幅、高さおよびストライドを決定する。ブロック２２０６において、テンソルおよび重み制御回路１００２は、選択された重みカーネルと畳み込まれる入力テンソルの幅、高さおよび深さを決定する。

【0196】

図２２の示されている例では、ブロック２２０８において、パディング制御回路１００４は、外部パディングが入力テンソルに適用されるかどうかを判断する。外部パディングが入力テンソルに適用される（ブロック２２０８：はい）、とパディング制御回路１００４が判断したことに応答して、機械可読命令および／または動作２２００は、ブロック２２１０へ進む。ブロック２２１０において、パディング制御回路１００４は、入力テンソルの１番目のＹ位置における１番目のＸ位置の前に（例えば、入力テンソルの左に）外部パッドをロードする。図２２の例では、ブロック２２１２において、パディング制御回路１００４は、入力テンソルの１番目のＹ位置における最後のＸ位置の後に（例えば、入力テンソルの右に）外部パッドをロードする。

【0197】

図２２の示されている例において、外部パディングが入力テンソルに適用されない（ブロック２２０８：いいえ）、とパディング制御回路１００４が判断したことに応答して、機械可読命令および／または動作２２００は、ブロック２２１４へ進む。ブロック２２１４において、スパース性生成回路１００６は、内部パディングが入力テンソルに適用されるかどうかを判断する。例えば、ブロック２２１４において、スパース性生成回路１００６は、記憶要素の粒度を入力テンソルの深さで除算することにより内部パディングが入力テンソルに適用されるかどうかを判断する。図２２の例において、内部パディングが入力テンソルに適用される（ブロック２２１４：はい）、とスパース性生成回路１００６が判断したことに応答して、機械可読命令および／または動作２２００は、ブロック２２１６へ進む。ブロック２２１６において、スパース性生成回路１００６は、入力テンソルの各ＸＹ位置のＺ値をパッドの数により分離する。内部パディングが入力テンソルに適用されない（ブロック２２１４：いいえ）、とスパース性生成回路１００６が判断したことに応答して、機械可読命令および／または動作２２００は、ブロック２２１８へ進む。

【0198】

図２２の示されている例では、ブロック２２１８において、テンソルおよび重み制御回路１００２は、選択された重みカーネルを複製して、再フォーマットされた入力テンソルのＸＹ位置毎に生成され得る出力テンソルの点の数と一致するようにＮ個の重みカーネルを生成する。例えば、ブロック２２１８において、テンソルおよび重み制御回路１００２は、選択された重みカーネルを複製して、４つの重みカーネルを生成する。図２２の例において、テンソルおよび重み制御回路１００２は、圧縮の前に、選択された重みカーネルを複製する（例えば、選択された重みカーネルは、密である）。
ブロック２２２０において、スパース性生成回路１００６は、Ｎ個の重みスパース性ビットマップを生成する。各重みスパース性ビットマップは、選択された重みカーネルのストライドの数と入力テンソルの深さおよび内部パッドの数の和との積だけそれぞれの重みスパース性ビットマップの開始からずらされるスパース性パターンを含む。例えば、入力テンソルの深さが３であり、内部パッドの数が１である場合、それぞれのスパース性パターンは、重みカーネルのストライドの数と４との積だけずらされる。図２２の例において、各重みスパース性ビットマップのスパース性パターンは、ｄ個の連続する１ビットのｗ_Ｋセットを含む。ｗ_Ｋは、重みカーネルの幅であり、ｄは、入力テンソルの深さである。内部パディングが入力テンソルに適用される場合、スパース性生成回路１００６は、ｗ_Ｋセットの各々に、内部パッドの数に等しい１つまたは複数のゼロビットを付加する。

【0199】

図２２の示されている例では、ブロック２２２２において、ポインタ制御回路１００８は、適用される場合、Ｎ、入力テンソルの深さ、重みカーネルのストライドおよび内部パッド長に基づいてフラクショナルストライドオフセットを連続する記憶要素ポインタに適用することを決定する。例えば、ポインタ制御回路１００８は、式１に従って、フラクショナルストライドオフセットを決定する。図２２の例では、ブロック２２２４において、ポインタ制御回路１００８は、フラクショナルストライドオフセットだけ記憶要素ポインタの連続するそれぞれをずらす。図２２の例では、ブロック２２２６において、テンソルおよび重み制御回路１００２は、処理される入力テンソル、１つまたは複数の重みカーネルおよび１つまたは複数の重みスパース性ビットマップをオフロードする。ブロック２２２８において、テンソルおよび重み制御回路１００２は、処理される追加の重みカーネルが存在しているかどうかを判断する。処理される追加の重みカーネルが存在している（ブロック２２２８：はい）、とテンソルおよび重み制御回路１００２が判断したことに応答して、機械可読命令および／または動作２２００は、処理される次の重みカーネルをテンソルおよび重み制御回路１００２が選択するブロック２２３０へ進む。処理される追加の重みカーネルが存在していない（ブロック２２２８：いいえ）、とテンソルおよび重み制御回路１００２が判断したことに応答して、機械可読命令および／または動作２２００は、終了する。

【0200】

図２３は、図２および／または図８のデータ複製前処理回路２１２を実装するための図２１の機械可読命令および／または動作２１００および／または図２および／または図１０のフラクショナルストライド前処理回路２１４を実装するための図２２の機械可読命令および／または動作２２００を実行および／またはインスタンス化するように構造化された例示的なプロセッサプラットフォーム２３００のブロック図である。プロセッサプラットフォーム２３００は、例えば、サーバ、パーソナルコンピュータ、ワークステーション、自己学習機械（例えば、ニューラルネットワーク）、モバイルデバイス（例えば、携帯電話、スマートフォン、ｉＰａｄ（登録商標）のようなタブレット）、パーソナルデジタルアシスタント（ＰＤＡ（登録商標））、インターネット機器、ＤＶＤプレーヤ、ＣＤプレーヤ、デジタルビデオレコーダ、ブルーレイプレーヤ、ゲーミングコンソール、パーソナルビデオレコーダ、セットトップボックス、ヘッドセット（例えば、拡張現実（ＡＲ）ヘッドセット、仮想現実（ＶＲ）ヘッドセット等）、または他のウェアラブルデバイスまたは任意の他のタイプのコンピューティングデバイスであり得る。

【0201】

示されている例のプロセッサプラットフォーム２３００は、プロセッサ回路２３１２を含む。示されている例のプロセッサ回路２３１２は、ハードウェアである。例えば、プロセッサ回路２３１２は、任意の所望のファミリまたは製造者の１つまたは複数の集積回路、論理回路、ＦＰＧＡ、マイクロプロセッサ、ＣＰＵ、ＧＰＵ、ＤＳＰおよび／またはマイクロコントローラにより実装され得る。プロセッサ回路２３１２は、１つまたは複数の半導体ベースの（例えば、シリコンベースの）デバイスにより実装され得る。この例において、プロセッサ回路２３１２は、例示的なパラメータ決定回路８０２、例示的なパディング回路８０４、例示的な記憶制御回路８０６および／またはより一般的にはデータ複製前処理回路２１２、および／または、例示的なテンソルおよび重み制御回路１００２、例示的なパディング制御回路１００４、例示的なスパース性生成回路１００６、例示的なポインタ制御回路１００８および／またはより一般的にはフラクショナルストライド前処理回路２１４を実装する。

【0202】

示されている例のプロセッサ回路２３１２は、ローカルメモリ２３１３（例えば、キャッシュ、レジスタ等）を含む。示されている例のプロセッサ回路２３１２は、揮発性メモリ２３１４および不揮発性メモリ２３１６を含むメインメモリと、バス２３１８により通信している。揮発性メモリ２３１４は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、 ＲＡＭＢＵＳ（登録商標）ダイナミックランダムアクセスメモリ（ＲＤＲＡＭ（登録商標））および／または任意の他のタイプのＲＡＭデバイスにより実装され得る。不揮発性メモリ２３１６は、フラッシュメモリおよび／または任意の他の所望のタイプのメモリデバイスにより実装され得る。示されている例のメインメモリ２３１４、２３１６へのアクセスは、メモリコントローラ２３１７により制御される。

【0203】

示されている例のプロセッサプラットフォーム２３００は、ＡＩアクセラレータ回路２０８も含む。例示的なＡＩアクセラレータ回路２０８は、例示的なローカルメモリ２１６、例示的なデータ読み取り回路２１８、例示的なＭＡＣ回路２２０および例示的なデータ書き込み回路２２２を含む。図２３の例において、例示的なＭＡＣ回路２２０は、例示的な制御論理回路１１０２、例示的な重みバッファ１１０４、例示的な重み圧縮解除回路１１０６、例示的な入力テンソルバッファ１１０８、例示的な入力テンソル圧縮解除回路１１１０、ＭＡＣ回路１１１２_１，１から１１１２_１，Ｍの例示的な１番目の列、ＭＡＣ回路１１１４_１，１から１１１４_１，Ｍの例示的な２番目の列およびＭＡＣ回路１１１６_Ｎ，１から１１１６_Ｎ，Ｍの例示的なＮ番目の列を含む。いくつかの例において、制御論理回路１１０２は、例示的なパラメータ決定回路８０２、例示的なパディング回路８０４、例示的な記憶制御回路８０６および／またはより一般的にはデータ複製前処理回路２１２、および／または、例示的なテンソルおよび重み制御回路１００２、例示的なパディング制御回路１００４、例示的なスパース性生成回路１００６、例示的なポインタ制御回路１００８および／またはより一般的にはフラクショナルストライド前処理回路２１４を実装する。上述のように、示されている例のＡＩアクセラレータ回路２０８は、ローカルメモリ２１６を含む。示されている例のＡＩアクセラレータ回路２０８は、揮発性メモリ２３１４および不揮発性メモリ２３１６を含むメインメモリと、バス２３１８により通信している。

【0204】

示されている例のプロセッサプラットフォーム２３００は、インタフェース回路２３２０も含む。インタフェース回路２３２０は、イーサネット（登録商標）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェース、近距離無線通信（ＮＦＣ）インタフェース、ＰＣＩインタフェースおよび／またはＰＣＩｅインタフェースなど、任意のタイプのインタフェース規格によるハードウェアにより実装され得る。

【0205】

示されている例において、１つまたは複数の入力デバイス２３２２が、インタフェース回路２３２０に接続されている。入力デバイス２３２２は、データおよび／またはコマンドをプロセッサ回路２３１２へ入力することをユーザに許可する。入力デバイス２３２２は、例えば、オーディオセンサ、マイク、カメラ（スチルまたはビデオ）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイントデバイスおよび／または音声認識システムにより実装され得る。

【0206】

１つまたは複数の出力デバイス２３２４も、示されている例のインタフェース回路２３２０に接続されている。出力デバイス２３２４は、例えば、ディスプレイデバイス（例えば、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、液晶ディスプレイ（ＬＣＤ）、陰極線管（ＣＲＴ）ディスプレイ、インプレーススイッチング（ＩＰＳ）ディスプレイ、タッチスクリーン等）、触覚出力デバイス、プリンタおよび／またはスピーカにより実装され得る。したがって、示されている例のインタフェース回路２３２０は、典型的には、グラフィックスドライバカード、グラフィックスドライバチップ、および／または、ＧＰＵなどのグラフィックスプロセッサ回路を含む。

【0207】

示されている例のインタフェース回路２３２０は、ネットワーク２３２６による外部の機械（例えば、任意の種類のコンピューティングデバイス）とのデータ交換を容易にするためのトランスミッタ、レシーバ、トランシーバ、モデム、レジデンシャルゲートウェイ、無線アクセスポイントおよび／またはネットワークインタフェースなど、通信デバイスも含む。通信は、例えば、イーサネット（登録商標）接続、デジタル加入者線（ＤＳＬ）接続、電話線接続、同軸ケーブルシステム、衛星システム、有視界無線システム、セルラ電話システム、光接続等によるものであり得る。

【0208】

示されている例のプロセッサプラットフォーム２３００は、ソフトウェアおよび／またはデータを記憶するための１つまたは複数の大容量ストレージデバイス２３２８も含む。そのような大容量ストレージデバイス２３２８の例は、磁気ストレージデバイス、光学ストレージデバイス、フロッピディスクドライブ、ＨＤＤ、ＣＤ、ブルーレイディスクドライブ、独立ディスク冗長アレイ（ＲＡＩＤ）システム、フラッシュメモリデバイスのようなソリッドステートストレージデバイス、およびＤＶＤドライブを含む。

【0209】

図２１および／または図２３の機械可読命令により実装され得る機械実行可能命令２３３２は、大容量ストレージデバイス２３２８、揮発性メモリ２３１４、不揮発性メモリ２３１６、および／または、ＣＤまたはＤＶＤのようなリムーバブル非一時的コンピュータ可読記憶媒体に記憶され得る。

【0210】

図２４は、図２３のプロセッサ回路２３１２の例示的な実装のブロック図である。この例において、図２３のプロセッサ回路２３１２は、マイクロプロセッサ２４００により実装される。例えば、マイクロプロセッサ２４００は、例えば、ＣＰＵ、ＤＳＰ、ＧＰＵ、ＸＰＵ等、マルチコアハードウェア回路を実装し得る。任意の数の例示的なコア２４０２（例えば、１つのコア）を含み得るが、この例のマイクロプロセッサ２４００は、Ｎ個のコアを含むマルチコア半導体デバイスである。マイクロプロセッサ２４００のコア２４０２は、独立して動作してよく、または機械可読命令を実行するために協働してよい。例えば、ファームウェアプログラム、埋め込みソフトウェアプログラムまたはソフトウェアプログラムに対応する機械コードが、コア２４０２のうちの１つにより実行されてよく、または、コア２４０２のうちの複数により同時に、または異なる時点で実行されてよい。いくつかの例において、ファームウェアプログラム、埋め込みソフトウェアプログラムまたはソフトウェアプログラムに対応する機械コードは、複数のスレッドへ分割され、コア２４０２のうちの２つまたはそれよりも多くにより並列に実行される。ソフトウェアプログラムは、図２１および／または図２２のフローチャートにより表される機械可読命令および／または動作の一部または全部に対応し得る。

【0211】

コア２４０２は、例示的なバス２４０４により通信し得る。いくつかの例において、バス２４０４は、通信バスを実装して、コア２４０２のうちの１つに関連付けられた通信を実現し得る。例えば、バス２４０４は、集積回路間（Ｉ２Ｃ）バス、シリアルペリフェラルインタフェース（ＳＰＩ）バス、ＰＣＩバスまたはＰＣＩｅバスのうちの少なくとも１つを実装し得る。追加的に、または代替的に、バス２４０４は、任意の他のタイプのコンピューティングまたは電気バスを実装し得る。コア２４０２は、例示的なインタフェース回路２４０６により、１つまたは複数の外部デバイスからデータ、命令および／または信号を取得し得る。コア２４０２は、インタフェース回路２４０６により、データ、命令および／または信号を１つまたは複数の外部デバイスへ出力し得る。この例のコア２４０２は、例示的なローカルメモリ２４２０（例えば、Ｌ１データキャッシュおよびＬ１命令キャッシュへ分割され得るレベル１（Ｌ１）キャッシュ）を含むが、マイクロプロセッサ２４００は、データおよび／または命令への高速アクセスのためにコア（例えば、レベル２（Ｌ２）キャッシュ）により共有され得る例示的な共有メモリ２４１０も含む。データおよび／または命令は、共有メモリ２４１０への書き込みおよび／または共有メモリ２４１０からの読み取りにより、転送（例えば、共有）され得る。コア２４０２および共有メモリ２４１０の各々のローカルメモリ２４２０は、複数のレベルのキャッシュメモリおよびメインメモリ（例えば、図２３）のメインメモリ２３１４、２３１６）を含むストレージデバイスの階層の一部であってよい。典型的には、階層内のより高いレベルのメモリが、より少ないアクセス時間を示し、より低いレベルのメモリよりも少ない記憶容量を有する。様々なレベルのキャッシュ階層における変更は、キャッシュコヒーレンシポリシーにより管理（例えば、調整）される。

【0212】

各コア２４０２は、ＣＰＵ、ＤＳＰ、ＧＰＵ等、または任意の他のタイプのハードウェア回路と称され得る。各コア２４０２は、制御ユニット回路２４１４、算術および論理（ＡＬ）回路（ＡＬＵ回路と称されることがある）２４１６、複数のレジスタ２４１８、Ｌ１キャッシュ２４２０および例示的なバス２４２２を含む。他の構造が存在し得る。例えば、各コア２４０２は、ベクトルユニット回路、単一命令多重データ（ＳＩＭＤ）ユニット回路、ロード／記憶ユニット（ＬＳＵ）回路、分岐／ジャンプユニット回路。浮動小数点ユニット（ＦＰＵ）回路等を含み得る。制御ユニット回路２４１４は、対応するコア２４０２内のデータ移動を制御する（例えば、データ移動を調整する）ように構造化された半導体ベースの回路を含む。ＡＬ回路２４１６は、対応するコア２４０２内のデータに対して１つまたは複数の数学および／または論理演算を実行するように構造化された半導体ベースの回路を含む。いくつかの例のＡＬ回路２４１６は、整数ベースの演算を実行する。他の例において、ＡＬ回路２４１６は、浮動小数点演算も実行する。さらに他の例において、ＡＬ回路２４１６は、整数ベースの演算を実行する第１のＡＬ回路および浮動小数点演算を実行する第２のＡＬ回路を含み得る。いくつかの例において、ＡＬ回路２４１６は、算術論理ユニット（ＡＬＵ）および／または算術および論理回路と称され得る。レジスタ２４１８は、対応するコア２４０２のＡＬ回路２４１６により実行される演算のうちの１つまたは複数の結果などのデータおよび／または命令を記憶するための半導体ベースの構造である。例えば、レジスタ２４１８は、ベクトルレジスタ、ＳＩＭＤレジスタ、汎用レジスタ、フラグレジスタ、セグメントレジスタ、機械固有レジスタ、命令ポインタレジスタ、制御レジスタ、デバッグレジスタ、メモリ管理レジスタ、機械チェックレジスタ等を含み得る。レジスタ２４１８は、図２４に示されるように、バンク内に配置され得る。代替的に、レジスタ２４１８は、アクセス時間を短縮するためにコア２４０２の全体にわたる分散を含む任意の他の構成、フォーマットまたは構造で編成され得る。バス２４２２は、Ｉ２Ｃバス、ＳＰＩバス、ＰＣＩバスまたはＰＣＩｅバスのうちの少なくとも１つを実装し得る。

【0213】

各コア２４０２、および／または、より一般的にはマイクロプロセッサ２４００は、図示された上述のものに対する追加のおよび／または代替的な構造を含み得る。例えば、１つまたは複数のクロック回路、１つまたは複数の電源、１つまたは複数の電力ゲート、１つまたは複数のキャッシュホームエージェント（ＣＨＡ）、１つまたは複数の集約／共通メッシュストップ（ＣＭＳ）、１つまたは複数のシフタ（例えば、バレルシフタ）および／または他の回路が存在し得る。マイクロプロセッサ２４００は、１つまたは複数のパッケージに含まれる１つまたは複数の集積回路（ＩＣ）内の上述の構造を実装するために多くのトランジスタ相互接続を含むように製造された半導体デバイスである。プロセッサ回路は、１つまたは複数のアクセラレータを含み、および／またはこれらと協働してよい。いくつかの例において、汎用プロセッサにより行われ得るものよりも迅速および／または効率的に特定のタスクを実行するために、論理回路によりアクセラレータが実装される。アクセラレータの例は、本明細書において説明されるものなど、ＡＳＩＣおよびＦＰＧＡを含む。ＧＰＵまたは他のプログラマブルデバイスも、アクセラレータであり得る。アクセラレータは、プロセッサ回路と同じチップパッケージおよび／またはプロセッサ回路とは別個の１つまたは複数のパッケージでプロセッサ回路に搭載され得る。

【0214】

図２５は、図２３のプロセッサ回路２３１２の別の例示的な実装のブロック図である。この例において、プロセッサ回路２３１２は、ＦＰＧＡ回路２５００により実装される。ＦＰＧＡ回路２５００は、例えば、対応する機械可読命令を実行する図２４の例示的なマイクロプロセッサ２４００により別様に実行され得る動作を実行するために用いられ得る。しかしながら、ＦＰＧＡ回路２５００は、ひとたび構成されると、ハードウェア内の機械可読命令をインスタンス化し、したがって、対応するソフトウェアを実行する汎用マイクロプロセッサにより実行され得るよりも速く動作を実行できることが多い。

【0215】

より具体的には、上述の図２４のマイクロプロセッサ２４００（図２１および／または図２２のフローチャートにより表される機械可読命令のいくつかまたは全てを実行するようにプログラミングされ得るが、ひとたび製造されると相互接続および論理回路が固定される汎用デバイスである）とは対照的に、図２５の例のＦＰＧＡ回路２５００は、例えば、図２１および／または図２２のフローチャートにより表される機械可読命令のいくつかまたは全てをインスタンス化するために製造後に異なる態様で構成および／または相互接続され得る相互接続および論理回路を含む。特に、ＦＰＧＡ回路２５００は、論理ゲート、相互接続およびスイッチのアレイと考えられ得る。スイッチは、相互接続により論理ゲートがどのように相互接続されるかを変更することで、１つまたは複数の専用論理回路を効果的に形成するようにプログラミングされ得る（ＦＰＧＡ回路２５００が再プログラミングされるまで）。構成された論理回路は、入力回路により受信されるデータに対して異なる動作を実行するために論理ゲートが異なる態様で協働することを可能にする。それらの動作は、図２１および／または図２２のフローチャートにより表されるソフトウェアのいくつかまたは全てに対応し得る（例えば、図２１および／または図２２のフローチャートにより表される命令に対応する動作）。したがって、ＦＰＧＡ回路２５００は、図２１および／または図２２のフローチャートの機械可読命令のいくつかまたは全てを、ＡＳＩＣと類似の専用方式でそれらのソフトウェア命令に対応する動作を実行するための専用論理回路として効果的にインスタンス化するように、構造化され得る。したがって、ＦＰＧＡ回路２５００は、図２１および／または図２２の機械可読命令のいくつかまたは全てに対応する動作を、汎用マイクロプロセッサがこれらの動作を実行できるよりも速く実行し得る。

【0216】

図２５の例において、ＦＰＧＡ回路２５００は、Ｖｅｒｉｌｏｇなどのハードウェア記述言語（ＨＤＬ）によってエンドユーザによりプログラミングされる（および／または、１回または複数回以上プログラミングされる）ように構造化されている。図２５のＦＰＧＡ回路２５００は、例示的な構成回路２５０４および／または外部ハードウェア（例えば、外部ハードウェア回路）２５０６からデータを取得し、および／またはそれらへデータを出力するための例示的な入力／出力（Ｉ／Ｏ）回路２５０２を含む。例えば、構成回路２５０４は、ＦＰＧＡ回路２５００またはその部分を構成するための機械可読命令を取得し得るインタフェース回路を実装し得る。いくつかのそのような例において、構成回路２５０４は、ユーザ、機械（例えば、人工知能／機械学習（ＡＩ／ＭＬ）モデルを実装して命令を生成し得るハードウェア回路（例えば、プログラミングされた、または専用の回路））等から機械可読命令を取得し得る。いくつかの例において、外部ハードウェア２５０６は、図２４のマイクロプロセッサ２４００を実装し得る。ＦＰＧＡ回路２５００は、例示的な論理ゲート回路２５０８、複数の例示的な構成可能相互接続２５１０および例示的な記憶回路２５１２のアレイも含む。論理ゲート回路２５０８および相互接続２５１０は、図２１および／または図２２の機械可読命令および／または他の所望の動作の少なくともいくつかに対応し得る１つまたは複数の動作をインスタンス化するように構成可能である。図２５に示される論理ゲート回路２５０８は、グループまたはブロックで製造される。各ブロックは、論理回路へと構成され得る半導体ベースの電気構造を含む。いくつかの例において、電気構造は、論理回路のための基本ビルディングブロックを提供する論理ゲート（例えば、ＡＮＤゲート、ＯＲゲート、ＮＯＲゲート等）を含む。所望の動作を実行するための回路を形成するための電気構造および／または論理ゲートの構成を可能にするために、論理ゲート回路２５０８の各々の内部には電気制御可能スイッチ（例えば、トランジスタ）が存在する。論理ゲート回路２５０８は、例えば、ルックアップテーブル（ＬＵＴ）、レジスタ（例えば、フリップフロップまたはラッチ）、マルチプレクサ等、他の電気構造を含み得る。

【0217】

示されている例の相互接続２５１０は、論理ゲート回路２５０８のうちの１つまたは複数の間の１つまたは複数の接続を活性化または非活性化して所望の論理回路をプログラミングするように（例えば、ＨＤＬ命令言語を用いて）プログラミングすることにより状態が変更され得る電気制御可能スイッチ（例えば、トランジスタ）を含み得る導電性経路、トレースまたはビア等である。

【0218】

示されている例の記憶回路２５１２は、対応する論理ゲートにより実行される動作のうちの１つまたは複数の結果を記憶するように構造化されている。記憶回路２５１２は、レジスタ等により実装され得る。示されている例において、記憶回路２５１２は、アクセスを容易にして実行速度を上げるために、論理ゲート回路２５０８の間で分散されている。

【0219】

図２５の例示的なＦＰＧＡ回路２５００は、例示的な専用動作回路２５１４も含む。この例において、専用動作回路２５１４は、一般的に用いられる機能を実装して当分野におけるそれらの機能をプログラミングする必要性を回避するために呼び出され得る専用回路２５１６を含む。そのような専用回路２５１６の例は、メモリ（例えば、ＤＲＡＭ）コントローラ回路、ＰＣＩｅコントローラ回路、クロック回路、トランシーバ回路、メモリ、および乗算器－アキュムレータ回路を含む。他のタイプの専用回路が存在し得る。いくつかの例において、ＦＰＧＡ回路２５００は、例示的なＣＰＵ２５２０および／または例示的なＤＳＰ２５２２など、例示的な汎用プログラマブル回路２５１８も含み得る。他の動作を実行するようにプログラミングされ得るＧＰＵ、ＸＰＵ等、他の汎用プログラマブル回路２５１８が、追加的に、または代替的に存在し得る。

【0220】

図２４および図２５は、図２３のプロセッサ回路２３１２の２つの例示的な実装を示しているが、多くの他の手法が考えられる。例えば、上で言及したように、現代のＦＰＧＡ回路は、図２５の例示的なＣＰＵ２５２０のうちの１つまたは複数など、オンボードＣＰＵを含み得る。したがって、図２３のプロセッサ回路２３１２は、図２４の例示的なマイクロプロセッサ２４００および図２５の例示的なＦＰＧＡ回路２５００を組み合わせることにより、追加的に実装され得る。いくつかのそのようなハイブリッドな例において、図２１および／または図２２のフローチャートにより表される機械可読命令の第１の部分は、図２４のコア２４０２のうちの１つまたは複数により実行されてよく、図２１および／または図２２のフローチャートにより表される機械可読命令の第２の部分は、図２５のＦＰＧＡ回路２５００により実行されてよい。

【0221】

いくつかの例において、図２３のプロセッサ回路２３１２は、１つまたは複数のパッケージ内にあってよい。例えば、図２４のマイクロプロセッサ２４００および／または図２５のＦＰＧＡ回路２５００は、１つまたは複数のパッケージ内にあってよい。いくつかの例において、ＸＰＵは、１つまたは複数のパッケージ内にあってよい図２３のプロセッサ回路２３１２により実装され得る。例えば、ＸＰＵは、１つのパッケージ内のＣＰＵ、別のパッケージ内のＤＳＰ、さらに別のパッケージ内のＧＰＵ、およびまたさらに別のパッケージ内のＦＰＧＡを含み得る。

【0222】

サードパーティにより所有および／または運用されるハードウェアデバイスへ図２３の例示的な機械可読命令２３３２などのソフトウェアを配布するための例示的なソフトウェア配布プラットフォーム２６０５を示すブロック図が、図２６に示される。例示的なソフトウェア配布プラットフォーム２６０５は、ソフトウェアを他のコンピューティングデバイスへ記憶および伝送できる任意のコンピュータサーバ、データファシリティ、クラウドサービス等により実装され得る。サードパーティは、ソフトウェア配布プラットフォーム２６０５を所有および／または運用するエンティティの顧客であってよい。例えば、ソフトウェア配布プラットフォーム２６０５を所有および／または運用するエンティティは、図２３の例示的な機械可読命令２３３２などのソフトウェアの開発者、販売者および／またはライセンサであってよい。サードパーティは、使用および／または再販売および／またはサブライセンスのためにソフトウェアを購入および／またはライセンスする消費者、ユーザ、小売業者、ＯＥＭ等であってよい。示されている例において、ソフトウェア配布プラットフォーム２６０５は、１つまたは複数のサーバおよび１つまたは複数のストレージデバイスを含む。ストレージデバイスは、上述の図２１の機械可読命令および／または動作２１００および／または図２２の機械可読命令および／または動作２２００に対応し得る機械可読命令２３３２を記憶する。例示的なソフトウェア配布プラットフォーム２６０５の１つまたは複数のサーバは、インターネットおよび／または上述の例示的なネットワークのいずれか、のいずれか１つまたは複数に対応し得るネットワーク２６１０と通信している。いくつかの例において、１つまたは複数のサーバは、商用トランザクションの一部として要求当事者へソフトウェアを伝送するための要求に応答する。ソフトウェアの配信、販売および／またはライセンスに対する支払いは、ソフトウェア配布プラットフォームの１つまたは複数のサーバにより、および／またはサードパーティ支払いエンティティにより処理され得る。サーバは、購入者および／またはライセンサがソフトウェア配布プラットフォーム２６０５から機械可読命令２３３２をダウンロードすることを可能にする。例えば、図２１の機械可読命令および／または動作２１００に対応し得るソフトウェアは、機械可読命令２３３２を実行して図２および／または図８のデータ複製前処理回路２１２を実装する例示的なプロセッサプラットフォーム２３００へダウンロードされ得る。追加的に、または代替的に、図２２の機械可読命令および／または動作２２００に対応し得るソフトウェアは、機械可読命令２３３２を実行して図２および／または図１０のフラクショナルストライド前処理回路２１４を実装する例示的なプロセッサプラットフォーム２３００によりダウンロードされ得る。いくつかの例において、ソフトウェア配布プラットフォーム２６０５の１つまたは複数のサーバは、ソフトウェア（例えば、図２３の例示的な機械可読命令２３３２）の更新を周期的に提供、伝送および／または強制して、改善、パッチ、更新等がエンドユーザデバイスにおけるソフトウェアへ配布および適用されることを保証する。

【0223】

上記から、１つまたは複数のテンソルを再フォーマットすることによりＮＮアクセラレータ回路の利用率をＮＮの浅い層について上げる例示的なシステム、方法、装置および製造品が開示されてきたことが理解されるであろう。本明細書において開示される例示的なシステム、方法、装置および製造品は、活性化データをＡＩアクセラレータ回路のＭＡＣアレイへ転送するための時間を低減し、ＭＡＣアレイ内のより多くのＭＡＣが並列に動作することを可能にする。したがって、本明細書において開示される例は、ＭＡＣ利用率を上げ、ＮＮへの入力層（例えば、画像）を処理するために必要とされる時間を低減する。既存の技術と比較すると、本明細書において開示される例は、カスタムハードウェアを必要とせず、全ての構成にわたってより良い性能を与え、設計を物理的な観点から大幅に簡略化する。したがって、本明細書において開示される例は、例えば、既存の技術に存在する専用相互接続を排除することによって、より高い周波数の動作およびより低い電力消費を可能にする。

【0224】

追加的に、開示されるシステム、方法、装置および製造品は、ＮＮの入力層への入力テンソルの処理性能を改善する。本明細書において開示される例は、性能を改善するためにテンソルデータがどのように複製されるかを説明するテンソルデータ複製、および、性能を改善するためにフラクショナルストライティングがどのように用いられるかを説明するフラクショナルストライティングを含む。本明細書において開示される例は、テンソル操作を用いることによりＭＡＣ利用率を上げて、ＭＡＣがより多くの活性化データを並列に受信することを可能にする。テンソルデータ複製により提供される利益に加え、フラクショナルストライティングは、活性化データを複製せず、これにより、ＮＮのための活性化データを前処理する計算負荷が低減する。前処理を低減することにより、全体的なレイテンシが低減し、フレーム毎秒（ＦＰＳ）が上がる。

【0225】

開示されているシステム、方法、装置および製造品は、電力消費を低減し、フレームレートを上げることにより、コンピューティングデバイスの使用効率を改善する。例えば、画像処理ＣＮＮの主要メトリックは、ＦＰＳの数である。本明細書において開示される例は、ＣＮＮの入力層を処理するための時間を低減し、これにより、ＣＮＮのレイテンシが低減し、ＦＰＳが直接改善される。追加的に、ＦＰＳ毎ワット（ＦＰＳ／Ｗ）は、ビジョン処理ユニットのようなエッジニューラルネットワークアクセラレータの主要メトリックである。本明細書において開示される例は、ＦＰＳを上げ、電力を低減して、主要メトリックの有意義な向上をもたらす。したがって、開示されているシステム、方法、装置および製造品は、コンピュータまたは他の電子および／または機械デバイスなど、機械の動作における１つまたは複数の改善に関連する。

【0226】

１つまたは複数のテンソルを再フォーマットすることによりニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための例示的な方法、装置、システムおよび製造品が、本明細書において開示される。
さらなる例およびそれらの組み合わせは、以下を含む。

【0227】

例１は、ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための装置であって、第１のテンソルにアクセスするためのインタフェース回路、およびプロセッサ回路を備え、前記プロセッサ回路は、中央処理ユニット、グラフィックスプロセッサユニットまたはデジタル信号プロセッサのうちの少なくとも１つ、前記中央処理ユニット、前記グラフィックスプロセッサユニットまたは前記デジタル信号プロセッサのうちの前記少なくとも１つは、前記プロセッサ回路内のデータ移動を制御するための制御回路、命令に対応する１つまたは複数の第１の演算を実行するための算術および論理回路、および前記１つまたは複数の第１の演算の結果および前記命令を前記装置に記憶するための１つまたは複数のレジスタを含む、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、前記ＦＰＧＡは、論理ゲート回路、複数の構成可能な相互接続および記憶回路を含み、前記論理ゲート回路および前記相互接続は、１つまたは複数の第２の演算を実行し、前記記憶回路は、前記１つまたは複数の第２の演算の結果を記憶する、または１つまたは複数の第３の演算を実行するための論理ゲート回路を含む特定用途向け集積回路（ＡＳＩＣ）、前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、パラメータ決定回路を、重みカーネルの幅を決定すること、および前記第１のテンソルの深さを決定することを行うようインスタンス化する、および記憶制御回路を、前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーすること、および前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードすることを行うようインスタンス化する、のうちの１つまたは複数を有する装置を含む。

【0228】

例２は、例１に記載の装置を含み、前記装置前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、パディング回路を、前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断すること、外部パディングが適用される、という判断に応答して、前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードすること、および前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードすることを行うようインスタンス化する。

【0229】

例３は、例１に記載の装置を含み、前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、前記記憶制御回路を、前記第１のテンソルの１番目のＹ位置を選択すること、前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択すること、および前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択することを行うようインスタンス化する。

【0230】

例４は、例３に記載の装置を含み、前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、前記記憶制御回路を、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択することを行うようインスタンス化する。

【0231】

例５は、例１に記載の装置を含み、前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である。

【0232】

例６は、例１に記載の装置を含み、前記第１のテンソルは、前記ＮＮへの入力画像に対応する。

【0233】

例７は、例１に記載の装置を含み、前記重みカーネルは、第１の重みカーネルであり、前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、前記パラメータ決定回路を、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択することを行うようインスタンス化する。

【0234】

例８は、実行された場合、少なくとも、重みカーネルの幅を決定する手順、第１のテンソルの深さを決定する手順、前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーする手順、および前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードする手順をプロセッサ回路に実行させる命令を備える非一時的コンピュータ可読記憶媒体を含む。

【0235】

例９は、例８に記載の非一時的コンピュータ可読記憶媒体を含み、前記命令は、実行された場合、前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断する手順、外部パディングが適用される、という判断に応答して、前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードする手順、および前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードする手順を前記プロセッサ回路に実行させる。

【0236】

例１０は、例８に記載の非一時的コンピュータ可読記憶媒体を含み、前記命令は、実行された場合、前記第１のテンソルの１番目のＹ位置を選択する手順、前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択する手順、および前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択する手順を前記プロセッサ回路に実行させる。

【0237】

例１１は、例１０に記載の非一時的コンピュータ可読記憶媒体を含み、前記命令は、実行された場合、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択する手順を前記プロセッサ回路に実行させる。

【0238】

例１２は、例８に記載の非一時的コンピュータ可読記憶媒体を含み、前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である。

【0239】

例１３は、例８に記載の非一時的コンピュータ可読記憶媒体を含み、前記第１のテンソルは、ニューラルネットワークへの入力画像に対応する。

【0240】

例１４は、例８に記載の非一時的コンピュータ可読記憶媒体を含み、前記重みカーネルは、第１の重みカーネルであり、前記命令は、実行された場合、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択する手順を前記プロセッサ回路に実行させる。

【0241】

例１５は、ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための装置であって、重みカーネルの幅を決定すること、および第１のテンソルの深さを決定すること、を行う、１つまたは複数のパラメータを決定するための手段、および前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーすること、および前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードすることを行う、記憶を制御するための手段を備える、装置を含む。

【0242】

例１６は、前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断すること、外部パディングが適用される、という判断に応答して、前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードすること、および前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードすることを行う、パディングするための手段をさらに備える、例１５に記載の装置を含む。

【0243】

例１７は、例１５に記載の装置を含み、前記記憶を制御するための手段は、前記第１のテンソルの１番目のＹ位置を選択すること、前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択すること、および前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択することを行う。

【0244】

例１８は、例１７に記載の装置を含み、前記記憶を制御するための手段は、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択することを行う。

【0245】

例１９は、例１５に記載の装置を含み、前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である。

【0246】

例２０は、例１５に記載の装置を含み、前記第１のテンソルは、前記ＮＮへの入力画像に対応する。

【0247】

例２１は、例１５に記載の装置を含み、前記重みカーネルは、第１の重みカーネルであり、前記１つまたは複数のパラメータを決定するための手段は、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択することを行う。

【0248】

例２２は、ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための方法であって、重みカーネルの幅を決定する段階、第１のテンソルの深さを決定する段階、前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーする段階、および前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードする段階を備える、方法を含む。

【0249】

例２３は、前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断する段階、外部パディングが適用される、という判断に応答して、前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードする段階、および前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードする段階をさらに備える、例２２に記載の方法を含む。

【0250】

例２４は、前記第１のテンソルの１番目のＹ位置を選択する段階、前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択する段階、および前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択する段階をさらに備える、例２２に記載の方法を含む。

【0251】

例２５は、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択する段階をさらに備える、例２４に記載の方法を含む。

【0252】

例２６は、例２２に記載の方法を含み、前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である。

【0253】

例２７は、例２２に記載の方法を含み、前記第１のテンソルは、前記ＮＮへの入力画像に対応する。

【0254】

例２８は、例２２に記載の方法を含み、前記重みカーネルは、第１の重みカーネルであり、前記方法は、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択する段階をさらに含む。

【0255】

例２９は、ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための装置であって、重みカーネルの幅を決定すること、および第１のテンソルの深さを決定することを行うパラメータ決定回路、および前記第１のテンソルの第１の次元に沿った１番目の点および前記第１のテンソルの第２の次元に沿った１番目の点の１番目の交点から、前記重みカーネルの前記幅と重なる前記第１の次元および前記第２の次元に沿った複数の点の連続する交点の、前記第１のテンソルの前記深さまで、前記第１のテンソルの第３の次元に沿った１つまたは複数の値をコピーすること、および前記第１のテンソルの前記第３の次元に沿った前記１つまたは複数の値を第２のテンソルの第１の次元に沿った１番目の点および第２のテンソルの第２の次元に沿った１番目の点の１番目の交点に連続的にロードすることを行う記憶制御回路を備える、装置を含む。

【0256】

例３０は、前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断すること、外部パディングが適用される、という判断に応答して、前記第１のテンソルの前記第２の次元に沿った前記１番目の点における前記第１のテンソルの前記第１の次元に沿った前記１番目の点の前に第１の外部パッドをロードすること、および前記第１のテンソルの前記第２の次元に沿った前記１番目の点における前記第１のテンソルの前記第１の次元に沿った最後の点の後に第２の外部パッドをロードすることを行う、パディング回路をさらに備える、例２９に記載の装置を含む。

【0257】

例３１は、例２９に記載の装置を含み、前記記憶制御回路は、前記第１のテンソルの前記第２の次元に沿った前記１番目の点を選択すること、前記第１のテンソルの前記第１の次元に沿った前記１番目の点および前記第１のテンソルの前記第２の次元に沿った前記１番目の点の前記１番目の交点を設定するために、前記第１のテンソルの前記第２の次元に沿った前記１番目の点における前記第１のテンソルの前記第１の次元に沿った前記１番目の点を選択すること、および前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記第１のテンソルの前記第２の次元に沿った前記１番目の点の前記第１のテンソルの前記第１の次元に沿った２番目の点を前記重みカーネルのストライドに従って選択することを行う。

【0258】

例３２は、例３１に記載の装置を含み、前記記憶制御回路は、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの前記第２の次元に沿った２番目の点を前記重みカーネルの前記ストライドに従って選択することを行う。

【0259】

例３３は、例２９に記載の装置を含み、前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である。

【0260】

例３４は、例２９に記載の装置を含み、前記第１のテンソルは、前記ＮＮへの入力画像に対応する。

【0261】

例３５は、例２９に記載の装置を含み、前記重みカーネルは、第１の重みカーネルであり、前記パラメータ決定回路は、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択することを行う。

【0262】

例３６は、ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための装置であって、重みカーネルのストライドを決定すること、１つまたは複数のポインタを有する１つまたは複数の記憶要素を含む第１のテンソルの深さを決定すること、および第２のテンソルのＸＹ位置毎に生成され得る出力テンソルの点の数と一致するように前記重みカーネルを第１の回数だけ複製することを行うテンソルおよび重み制御回路、前記第１の数に等しい重みスパース性ビットマップの第２の数を生成することであって、各重みスパース性ビットマップは、前記重みカーネルの前記ストライドの第３の数と前記第１のテンソルの前記深さとの積だけそれぞれの重みスパース性ビットマップの開始からずらされるスパース性パターンを含む、生成することを行うスパース性生成回路、およびフラクショナルストライドオフセットだけ前記ポインタの連続するそれぞれをずらして前記第２のテンソルを形成することを行うポインタ制御回路を備える、装置を含む。

【0263】

例３７は、例３６に記載の装置を含み、前記スパース性生成回路は、前記内部パディングが前記第１のテンソルに適用される、という判断に応答して、前記第１のテンソルの各ＸＹ位置のＺ値を内部パッドの数により分離する。

【0264】

例３８は、例３７に記載の装置を含み、各スパース性パターンは、前記重みカーネルの前記ストライドの前記第３の数と前記第１のテンソルの前記深さおよび前記内部パッドの数の和との積だけ前記それぞれの重みスパース性ビットマップの前記開始からずらされる。

【0265】

例３９は、例３７に記載の装置を含み、前記ポインタ制御回路は、前記第１の数、前記第１のテンソルの前記深さ、前記重みカーネルの前記ストライドおよび前記内部パッドの数に基づいて、前記フラクショナルストライドオフセットを決定する。

【0266】

例４０は、例３７に記載の装置を含み、前記スパース性生成回路は、ラウンドされた値を、記憶要素の粒度へ除算された場合に剰余ゼロを戻す最も近い４の倍数までラウンドすることにより決定し、前記内部パッドの数を前記ラウンドされた値および前記第１のテンソルの前記深さの間の差として決定することにより、前記内部パッドの数を決定する。

【0267】

例４１は、前記重みカーネルの幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断すること、外部パディングが適用される、という判断に応答して、前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードすること、および前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードすることを行う、パディング制御回路をさらに備える、例３６に記載の装置を含む。

【0268】

例４２は、例３６に記載の装置を含み、前記重みカーネルは、第１の重みカーネルであり、前記テンソルおよび重み制御回路は、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択することを行う。

【0269】

特定の例示的なシステム、方法、装置および製造品が本明細書において開示されてきたが、本特許の適用範囲は、これらに限定されない。反対に、本特許は、本特許の特許請求の範囲に公正に含まれる全てのシステム、方法、装置および製造品を包含する。

【0270】

以下の特許請求の範囲は、ここに、この参照により、この発明を実施するための形態へ組み込まれ、各請求項は、本開示の別個の実施形態として独立している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【手続補正書】

【提出日】2024-03-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための装置であって、
第１のテンソルにアクセスするためのインタフェース回路；および
プロセッサ回路
を備え、
前記プロセッサ回路は、
中央処理ユニット、グラフィックスプロセッサユニットまたはデジタル信号プロセッサのうちの少なくとも１つ、前記中央処理ユニット、前記グラフィックスプロセッサユニットまたは前記デジタル信号プロセッサのうちの前記少なくとも１つは、前記プロセッサ回路内のデータ移動を制御するための制御回路、命令に対応する１つまたは複数の第１の演算を実行するための算術および論理回路、および前記１つまたは複数の第１の演算の結果および前記命令を前記装置に記憶するための１つまたは複数のレジスタを含む；
フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、前記ＦＰＧＡは、論理ゲート回路、複数の構成可能な相互接続および記憶回路を含み、前記論理ゲート回路および前記相互接続は、１つまたは複数の第２の演算を実行し、前記記憶回路は、前記１つまたは複数の第２の演算の結果を記憶する；または
１つまたは複数の第３の演算を実行するための論理ゲート回路を含む特定用途向け集積回路（ＡＳＩＣ）；
のうちの１つまたは複数を有し、
前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、
パラメータ決定回路を、
重みカーネルの幅を決定すること；および
前記第１のテンソルの深さを決定すること
を行うようインスタンス化する；および
記憶制御回路を、
前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーすること；および
前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードすること
を行うようインスタンス化する、
装置。

【請求項2】

前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、パディング回路を、
前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断すること；
外部パディングが適用される、という判断に応答して、
前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードすること；および
前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードすること
を行うようインスタンス化する、
請求項１に記載の装置。

【請求項3】

前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、前記記憶制御回路を、
前記第１のテンソルの１番目のＹ位置を選択すること；
前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択すること；および
前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択すること
を行うようインスタンス化する、
請求項１に記載の装置。

【請求項4】

前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、前記記憶制御回路を、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択することを行うようインスタンス化する、
請求項３に記載の装置。

【請求項5】

前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である、請求項１に記載の装置。

【請求項6】

前記第１のテンソルは、前記ＮＮへの入力画像に対応する、請求項１に記載の装置。

【請求項7】

前記重みカーネルは、第１の重みカーネルであり、前記プロセッサ回路は、前記第１の演算、前記第２の演算または前記第３の演算のうちの少なくとも１つを実行して、前記パラメータ決定回路を、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択することを行うようインスタンス化する、請求項１に記載の装置。

【請求項8】

実行された場合、少なくとも、
重みカーネルの幅を決定する手順；
第１のテンソルの深さを決定する手順；
前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーする手順；および
前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードする手順
をプロセッサ回路に実行させる命令を備えるコンピュータプログラム。

【請求項9】

前記命令は、実行された場合、
前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断する手順；
外部パディングが適用される、という判断に応答して、
前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードする手順；および
前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードする手順
を前記プロセッサ回路に実行させる、
請求項８に記載のコンピュータプログラム。

【請求項10】

前記命令は、実行された場合、
前記第１のテンソルの１番目のＹ位置を選択する手順；
前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択する手順；および
前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択する手順
を前記プロセッサ回路に実行させる、
請求項８に記載のコンピュータプログラム。

【請求項11】

前記命令は、実行された場合、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択する手順を前記プロセッサ回路に実行させる、請求項１０に記載のコンピュータプログラム。

【請求項12】

前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である、請求項８に記載のコンピュータプログラム。

【請求項13】

前記第１のテンソルは、ニューラルネットワークへの入力画像に対応する、請求項８に記載のコンピュータプログラム。

【請求項14】

前記重みカーネルは、第１の重みカーネルであり、前記命令は、実行された場合、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択する手順を前記プロセッサ回路に実行させる、請求項８に記載のコンピュータプログラム。

【請求項15】

ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための装置であって、
重みカーネルの幅を決定すること；および
第１のテンソルの深さを決定すること；
を行う、１つまたは複数のパラメータを決定するための手段；および
前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーすること；および
前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードすること
を行う、記憶を制御するための手段
を備える、装置。

【請求項16】

前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断すること；
外部パディングが適用される、という判断に応答して、
前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードすること；および
前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードすること
を行う、パディングするための手段をさらに備える、請求項１５に記載の装置。

【請求項17】

前記記憶を制御するための手段は、
前記第１のテンソルの１番目のＹ位置を選択すること；
前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択すること；および
前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択すること
を行う、
請求項１５に記載の装置。

【請求項18】

前記記憶を制御するための手段は、前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択することを行う、請求項１７に記載の装置。

【請求項19】

前記第１のテンソルは、メモリに記憶され、前記メモリは、位置合わせされた１６バイトまたは位置合わせされた３２バイトのうちの少なくとも一方である、請求項１５に記載の装置。

【請求項20】

前記第１のテンソルは、前記ＮＮへの入力画像に対応する、請求項１５に記載の装置。

【請求項21】

前記重みカーネルは、第１の重みカーネルであり、前記１つまたは複数のパラメータを決定するための手段は、処理される追加の重みカーネルが存在している、という判断に応答して、第２の重みカーネルを選択することを行う、請求項１５に記載の装置。

【請求項22】

ニューラルネットワーク（ＮＮ）アクセラレータ回路の利用率をＮＮの浅い層について上げるための方法であって、
重みカーネルの幅を決定する段階；
第１のテンソルの深さを決定する段階；
前記第１のテンソルの１番目のＸＹ位置から、前記重みカーネルの前記幅と重なる連続するＸＹ位置の、前記第１のテンソルの前記深さまで、１つまたは複数のＺ値をコピーする段階；および
前記１つまたは複数のＺ値を第２のテンソルの１番目のＸＹ位置に連続的にロードする段階
を備える、方法。

【請求項23】

前記重みカーネルの前記幅に基づいて外部パディングが前記第１のテンソルに適用されるかどうかを判断する段階；
外部パディングが適用される、という判断に応答して、
前記第１のテンソルの１番目のＹ位置における１番目のＸ位置の前に第１の外部パッドをロードする段階；および
前記第１のテンソルの前記１番目のＹ位置における最後のＸ位置の後に第２の外部パッドをロードする段階
をさらに備える、請求項２２に記載の方法。

【請求項24】

前記第１のテンソルの１番目のＹ位置を選択する段階；
前記１番目のＸＹ位置を設定するために、前記１番目のＹ位置における前記第１のテンソルの１番目のＸ位置を選択する段階；および
前記第２のテンソルの別の列を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの前記幅の外側に存在している、という判断に応答して、前記１番目のＹ位置における２番目のＸ位置を前記重みカーネルのストライドに従って選択する段階
をさらに備える、請求項２２に記載の方法。

【請求項25】

前記第２のテンソルの別の行を生成するための前記第１のテンソルの十分なデータが前記重みカーネルの高さの外側に存在している、という判断に応答して、前記第１のテンソルの２番目のＹ位置を前記重みカーネルの前記ストライドに従って選択する段階をさらに備える、請求項２４に記載の方法。

【請求項26】

請求項８から１４のいずれかに一項に記載のコンピュータプログラムを格納するコンピュータ可読記憶媒体。

【国際調査報告】