特許 7586580 再粒状化されたタイル実行のための統合されたプログラミングインタフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】再粒状化されたタイル実行のための統合されたプログラミングインタフェース

(51)【国際特許分類】

   G06F 17/16 20060101AFI20241112BHJP

   G06F 9/50 20060101ALI20241112BHJP

   G06F 9/345 20180101ALI20241112BHJP

   G06F 17/10 20060101ALI20241112BHJP

【ＦＩ】

G06F17/16 K

G06F9/50 150E

G06F9/345 Z

G06F17/10 A

G06F17/16 P

【請求項の数】 31

【外国語出願】

(21)【出願番号】P 2020150856

(22)【出願日】2020-09-08

(65)【公開番号】P2021099780

(43)【公開日】2021-07-01

【審査請求日】2023-09-04

(31)【優先権主張番号】16/722,798

(32)【優先日】2019-12-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】サラ バーソヒ

(72)【発明者】

【氏名】ムハンマド アール．ハギハト

【審査官】坂東 博司

(56)【参考文献】

【文献】国際公開第２０１９／２１１２２６（ＷＯ，Ａ１）

【文献】特開２０１９－１９７４４５（ＪＰ，Ａ）

【文献】特開２０１８－１０６５９１（ＪＰ，Ａ）

【文献】Minjie Wang, Chien-chinHuang, Jinyang Li，Supporting Very Large Models using Automatic Dataflow Graph Partitioning，EuroSys '19: Proceedings of the Fourteenth EuroSys Conference 2019，EuroSys，2019年03月25日，pp.1-17，[online］，［令和6年9月18日検索］，インターネット ＜URL：https://dl.acm.org/doi/pdf/10.1145/33024224.3303953 ＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １７／１６

Ｇ０６Ｆ ９／５０

Ｇ０６Ｆ ９／３４５

Ｇ０６Ｆ １７／１０

(57)【特許請求の範囲】

【請求項1】

ネットワークコントローラと、
前記ネットワークコントローラに結合されたプロセッサと、
前記プロセッサに結合されたメモリと
を備える計算システムであって、
前記メモリは、前記プロセッサにより実行される場合、前記計算システムに、
アプリケーションにおけるテンソル演算を検出することであって、前記テンソル演算は、指定されていない入力テンソルサイズを有する、検出することと、
ランタイム時の前記入力テンソルサイズを決定することと、
前記入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいて前記テンソル演算の分割構成を選択することと
を実行させる、実行可能なプログラム命令のセットを有する、
計算システム。

【請求項2】

前記分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する、請求項１に記載の計算システム。

【請求項3】

前記分割構成はさらに、前記第１動作のハードウェアリソースの第１のセット、および前記第２の動作のハードウェアリソースの第２のセットを定義し、ハードウェアリソースの前記第１のセットとハードウェアリソースの前記第２のセットとは異なるタイプのリソースである、請求項２に記載の計算システム。

【請求項4】

前記１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む、請求項１に記載の計算システム。

【請求項5】

前記分割構成を選択するために、前記実行可能なプログラム命令は、実行される場合、前記計算システムに、前記入力テンソルサイズと前記１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索させる、請求項１に記載の計算システム。

【請求項6】

前記テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む、請求項１から５のいずれか一項に記載の計算システム。

【請求項7】

１または複数の基板と、
前記１または複数の基板に結合されたロジックを備える半導体装置であって、
前記ロジックは、１または複数の構成可能ロジックまたは固定機能ハードウェアロジックで少なくとも部分的に実装され、
前記ロジックは前記１または複数の基板に結合されて、
アプリケーションにおけるテンソル演算を検出し、前記テンソル演算は、指定されていない入力テンソルサイズを有し、
ランタイム時の前記入力テンソルサイズを決定し、
前記入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいて前記テンソル演算の分割構成を選択する、
半導体装置。

【請求項8】

前記分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する、請求項７に記載の半導体装置。

【請求項9】

前記分割構成はさらに、前記第１動作のハードウェアリソースの第１のセット、および前記第２の動作のハードウェアリソースの第２のセットを定義し、ハードウェアリソースの前記第１のセットとハードウェアリソースの前記第２のセットとは異なるタイプのリソースである、請求項８に記載の半導体装置。

【請求項10】

前記１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む、請求項７に記載の半導体装置。

【請求項11】

前記分割構成を選択するために、前記１または複数の基板に結合された前記ロジックは、前記入力テンソルサイズと前記１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索する、請求項７に記載の半導体装置。

【請求項12】

前記テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む、請求項７から１１のいずれか一項に記載の半導体装置。

【請求項13】

計算システムに、
アプリケーションにおけるテンソル演算を検出することであって、前記テンソル演算は、指定されていない入力テンソルサイズを有する、検出することと、
ランタイム時の前記入力テンソルサイズを決定することと、
前記入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいて前記テンソル演算の分割構成を選択することと
を実行させる、
プログラム。

【請求項14】

前記分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する、請求項１３に記載のプログラム。

【請求項15】

前記分割構成はさらに、前記第１動作のハードウェアリソースの第１のセット、および前記第２の動作のハードウェアリソースの第２のセットを定義し、ハードウェアリソースの前記第１のセットとハードウェアリソースの前記第２のセットとは異なるタイプのリソースである、請求項１４に記載のプログラム。

【請求項16】

前記１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む、請求項１３に記載のプログラム。

【請求項17】

前記分割構成を選択するために、前記計算システムに、前記入力テンソルサイズと前記１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索させる、請求項１３に記載のプログラム。

【請求項18】

前記テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む、請求項１３から１７のいずれか一項に記載のプログラム。

【請求項19】

請求項１３から１８のいずれか一項に記載のプログラムを格納する、コンピュータ可読記憶媒体。

【請求項20】

アプリケーションにおけるテンソル演算を検出する段階であって、前記テンソル演算は、指定されていない入力テンソルサイズを有する、検出する段階と、
ランタイム時の前記入力テンソルサイズを決定する段階と、
前記入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいて前記テンソル演算の分割構成を選択する段階とを備える、
方法。

【請求項21】

前記分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する、請求項２０に記載の方法。

【請求項22】

前記分割構成はさらに、前記第１動作のハードウェアリソースの第１のセット、および前記第２の動作のハードウェアリソースの第２のセットを定義し、ハードウェアリソースの前記第１のセットとハードウェアリソースの前記第２のセットとは異なるタイプのリソースである、請求項２１に記載の方法。

【請求項23】

前記１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む、請求項２０に記載の方法。

【請求項24】

前記分割構成を選択する段階は、前記入力テンソルサイズと前記１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索する段階を含む、請求項２０に記載の方法。

【請求項25】

前記テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む、請求項２０から２４のいずれか一項に記載の方法。

【請求項26】

アプリケーションにおけるテンソル演算を検出する段階であって、前記テンソル演算は、指定されていない入力テンソルサイズを有する、検出する段階を実行する手段と、
ランタイム時の前記入力テンソルサイズを決定する段階を実行する手段と、
前記入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいて前記テンソル演算の分割構成を選択する段階を実行する手段とを備える、
半導体装置。

【請求項27】

前記分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する、請求項２６に記載の半導体装置。

【請求項28】

前記分割構成はさらに、前記第１動作のハードウェアリソースの第１のセット、および前記第２の動作のハードウェアリソースの第２のセットを定義し、ハードウェアリソースの前記第１のセットとハードウェアリソースの前記第２のセットとは異なるタイプのリソースである、請求項２７に記載の半導体装置。

【請求項29】

前記１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む、請求項２６に記載の半導体装置。

【請求項30】

前記分割構成を選択する段階を実行する前記手段は、前記入力テンソルサイズと前記１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索することを実行する手段を含む、請求項２６に記載の半導体装置。

【請求項31】

前記テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む、請求項２６から３０のいずれか一項に記載の半導体装置。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は概して、アプリケーションプログラミングインタフェース（ＡＰＩ）に関する。より具体的には、実施形態は、再粒状化された（ｒｅｇｒａｉｎｅｄ）タイル実行のための統合されたプログラミングインタフェースに関する。

【背景技術】

【0002】

命令セットアーキテクチャ（ＩＳＡ）は概して、データ処理、メモリ演算、算術演算、制御フロー演算などのプロセッサの動作に対してサポートされるデータの種類、レジスタ、およびハードウェアサポートを定義する。最近の人工知能（ＡＩ）における発展は、ＩＳＡの拡張がニューラルネットワークのトレーニングおよび推論演算をより明示的にサポートするという結果に繋がったかもしれない。したがって、ソフトウェアの開発者は、ＡＩアプリケーションのコードをカスタマイズして、拡張されたＩＳＡによって促進された新たな計算機能のおよび加速された実行を利用し得る。しかしながら、コードのカスタマイズは、特に、異なるＩＳＡおよびプロセッサにわたってアプリケーションが配置されている場合に時間がかかり、高コストであり、非効率的であり得る。

【図面の簡単な説明】

【0003】

以下の明細書および添付の特許請求の範囲を読むことによって、且つ以下の図面を参照することによって、実施形態の様々な利点が当業者に明らかになる。

【0004】

【図1】実施形態に係る、アプリケーションの配置の例のブロック図である。

【0005】

【図2】実施形態に係る、性能強化計算システムを動作させる方法の例のフローチャートである。

【0006】

【図3】実施形態に係る、分割構成の例のブロック図である。

【0007】

【図4】実施形態に係る、行列の乗算演算のための分割構成の例の図である。

【0008】

【図5】実施形態に係る、性能強化計算システムの例のブロック図である。

【0009】

【図6】実施形態に係る、半導体装置の例の図である。

【0010】

【図7】実施形態に係る、プロセッサの例のブロック図である。

【0011】

【図8】実施形態に係る、マルチプロセッサベースの計算システムの例のブロック図である。

【発明を実施するための形態】

【0012】

図１を参照すると、配置シナリオ１０が示されている。ここで、アプリケーション開発者１２が、計算システム２０（例えば、１または複数のプロセッサコアを含むバックエンドプラットフォーム、図示せず）を有する実行環境１６に配置するためのアプリケーション１４を生成する。アプリケーション１４は、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク／ＣＮＮ、深層ニューラルネットワーク／ＤＮＮなど）のトレーニング（例えば、ネットワーク層の重みの反復選択）および／またはニューラルネットワークのリアルタイム動作（例えば、画像認識、自然言語処理／ＮＬＰなどに関する推論を引き出すため）を含み得る。実施形態において、アプリケーション１４は、計算システム２０にアクセス可能なフォルダに、アプリケーション１４の構成設定の読み出しおよび書き込みを行うように設計されている、ポータブルアプリケーションである。

【0013】

示される例において、アプリケーション１４は、１または複数の一般的なテンソル演算１８（１８ａ‐１８ｂ、例えば、行列乗算演算、畳み込み演算、正規化演算、正規化線形ユニット／ｒｅｌｕ演算、指数線形ユニット／ｅｌｕ演算、および／または、他の複合命令セットコンピュータ／ＣＩＳＣ演算）を含む。一般に、テンソルは、ニューラルネットワークによる入力データの自動分類を容易にする多次元データアレイであり得る。テンソルの多次元的性質は一般的に、行列ベースの数学的演算の使用を要求する。ここで、行列のサイズ（例えば、列および／または行の長さ）は変化する。アプリケーション開発者１２によりアプリケーション１４が作成される場合に入力テンソルサイズを指定することは不可能な場合がある。

【0014】

それに応じて、示されるテンソル演算１８は、アプリケーション１４がアプリケーション開発者１２により作成される場合に、指定されていないテンソル入力サイズを有する。むしろ、計算システム２０は、ランタイム時（例えば、ニューラルネットワークのトレーニングおよび／または推論の間）にテンソル演算１８のテンソル入力サイズ２２（例えば、入力された列および／または行の長さ）を決定し得る。実施形態において、計算システム２０はまた、１または複数のランタイム条件２４（例えば、予想される消費電力、行列のスパース性、ハードウェアリソースの利用可能性など）を決定し、テンソル入力サイズ２２に基づいてテンソル演算１８の分割構成２６を選択する。

【0015】

１つの例において、分割構成２６は、第１のテンソル演算１８ａ行列形状の第１のセット（例えば、「タイル」の列および幅の組み合わせ）および第２テンソル演算１８ｂの行列形状の第２のセットを定義する。分割構成２６はまた、第１のテンソル演算１８ａのハードウェアリソースの第１のセット（例えば、計算コアプール）および第２テンソル演算１８ｂのハードウェアリソースの第２のセットを定義し得る。ここで、ハードウェアリソースの第１のセットとハードウェアリソースの第２のセットとは、異なるタイプのハードウェアリソースである。例えば、ハードウェアリソースの第１のセットは、スカラコアを含む比較的軽量の（例えば、「軽い」）計算コアプールであり得る。一方、ハードウェアリソースの第２のセットは、比較的重い計算コアプールであり得る。計算システム２０は、分割構成２６を使用して、アプリケーション１４から、出力２８（例えば、ランタイムテンソルサイズと利用可能な計算リソースとに基づいて、トレーニングまたは推論を実行する最適化コードなど）を生成し得る。

【0016】

したがって、示される解決手段は、アプリケーション開発者１２の観点から、時間的コストがより低く、より安価であり、より効率的である。実際、最適化および変形が、アプリケーション開発者１２によって特定のテンソルサイズまたはテンソルコアに静的に結び付けられていないので、同じアプリケーション１４は、異なるＩＳＡおよびプロセッサにわたってはるかに容易に配置され得る。さらに、分割構成２６が生成される場合のランタイム条件２４を考慮することにより、性能が向上される。例えば、行列のスパース性（例えば、行列におけるゼロ値の分散）についての知識を利用することは、比較的軽い計算コアプールおよび／または演算のための異なる浮動小数点フォーマットを選択することを可能にし得る。

【0017】

図２は、性能強化計算システムを動作させる方法３０を示す。方法３０は、一組のロジック命令として１または複数のモジュールに実装されてよい。当該ロジック命令は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、ファームウェア、フラッシュメモリなどといった機械可読またはコンピュータ可読記憶媒体に、例えばプログラマブルロジックアレイ（ＰＬＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などの構成可能ロジックに、例えば特定用途向け集積回路（ＡＳＩＣ）、相補型金属酸化膜半導体（ＣＭＯＳ）技術もしくはトランジスタ－トランジスタロジック（ＴＴＬ）技術、またはそれらの任意の組み合わせなどの回路技術を使用する機能固定型ロジックハードウェアに格納される。

【0018】

例えば、方法３０に示す演算を実行するコンピュータプログラムコードは、１または複数のプログラミング言語の任意の組み合わせで記述されてよい。当該１または複数のプログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、またはＣ＋＋などのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む。さらに、ロジック命令は、アセンブラ命令、ＩＳＡ命令、機械命令、機械依存命令、マイクロコード、状態設定データ、統合回路の構成データ、電子回路をパーソナライズする状態情報、および／または、ハードウェア（例えば、ホストプロセッサ、中央処理装置／ＣＰＵ、マイクロコントローラなど）固有の他の構造コンポーネントを含み得る。

【0019】

示される処理ブロック３２は、アプリケーションにおけるテンソル演算を検出し、ここで、テンソル演算は、指定されていない入力テンソルサイズを有する。実施形態において、テンソル演算は一般的であり、行列乗算演算（例えば、ｍａｔｍｕｌ）、畳み込み演算（例えば、ｃｏｎｖ２ｄ、ｃｏｎｖ２ｄ＿ｔｒａｎｓｐｏｓｅ、ｃｏｎｖ３ｄ）、正規化演算（例えば、ｌ２＿ｎｏｒｍａｌｉｚｅ）、正規化線型単位演算、指数線型単位演算など、または、それらの任意の組み合わせを含む。テンソル演算は、実行のためにアプリケーション１４を解析および／またはコンパイルすることによって検出され得る。ブロック３４では、ランタイム時の入力テンソルサイズを決定する。実施形態において、入力テンソルサイズは、ニューラルネットワークへの入力データ（例えば、入力画像、発話など）を分析すること、およびニューラルネットワークにおいて先行する層から出力されたデータを分析することなどによって決定される。

【0020】

入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいて、ブロック３６におけるテンソル演算に対して分割構成が選択される。１つの例において、ランタイム条件は、予想される消費電力、行列のスパース性および／またはハードウェアリソースの利用可能性を含む。さらに、分割構成は、第１動作の行列形状の第１のセット（例えば、タイルサイズ）、第２の動作の行列形状の第２のセットなどを定義し得る。実施形態において、分割構成はさらに、第１動作のハードウェアリソースの第１のセット、第２の動作のハードウェアリソースの第２のセットなどを定義し、ここでハードウェアリソースの第１のセットとハードウェアリソースの第２のセットとは異なるタイプのリソースである。そのようなタイルサイズおよびリソース選択へのアプローチは、行列計算粒度がオンザフライで、且つリアルタイムで変更（例えば、再粒状化）されることを可能にする。

【0021】

ブロック３６は、入力テンソルサイズとランタイム条件の少なくとも１つとをルックアップテーブルで検索することを含み得る。これに関して、各テンソル演算は、計算、メモリおよび通信パターンの観点で一般的によく理解されているので、オフラインチューニング／ベンチマークプロセスが、異なるテンソルサイズおよび利用可能なリソースのセットに対して最適に近いマッピングをキャプチャすることが可能であり得る。したがって、ランタイム時に、検出されたテンソルサイズおよび利用可能なテンソルコアの列挙に基づいて、テーブルルックアップは、ランタイムエンジンにより実行され、任意の最適化テンソルコア内の最適化コードの生成（例えば、最適なタイルサイズなど）とともに、最も最適な／最適に近い実行／分割プランを取得し得る。チューニングプロセスがオフラインで行われるとき、ランタイムスケジューリングオーバーヘッドは最少になり得る。

【0022】

したがって、示される方法３０は、分割構成を生成する場合にランタイム条件を考慮することによって性能を向上させる、再粒状化されたタイル実行の解決手段を提供する。例えば、予想される消費電力についての知識を利用することは、テンソル演算をより電力効率の良いコアプールにマッピングすることを可能にし得る。示される方法３０はまた、アプリケーション開発者の観点から、時間的コストがより低く、より安価であり、より効率的である。実際、同じアプリケーションは、特定のテンソル入力サイズに結び付けられた最適化がアプリケーション開発者によってアプリケーションに組み込まれていないので、異なるＩＳＡおよびプロセッサにわたっての配置をはるかに容易にし得る。

【0023】

図３は、統合された動的ディスパッチ４２（例えば、「粒状化装置」）が計算粒状ポータブルアプリケーション４４を受信する分割構成４０を示す。動的ディスパッチ４２は、例えば、ディスパッチ４２がＯＮＥＡＰＩなどの統合されたプログラミングモデルを使用して、異種ハードウェアリソースのセット（例えば、ＣＰＵ、グラフィックス処理装置／ＧＰＵ、ＦＰＧＡ、専用アクセラレータなど）にわたって実行するようにアプリケーション４４を構成する程度まで「統合」されているとみなされ得る。実施形態において、ディスパッチ４２は、ランタイム時にアプリケーション４４の分割構成の選択を容易にするベンチマークデータを含むプリコンパイルプランルックアップテーブル４６を含む。さらに、プリコンパイル粒状最適化ライブラリ（「ｌｉｂｓ」）４８のセットは、例えば、ベクトル性能ライブラリ、１６×１６（例えば、１６要素×１６要素）の性能ライブラリ、３２×３２（例えば、３２要素×３２要素）性能ライブラリなどを含み得る。

【0024】

示される例において、分割構成は、スカラコア５０（例えば、統合された軽い計算コアプールから選択される）、１６ｗｉｄｅベクトル計算レーン５２（例えば、統合された重い計算ベクトルコアプールから選択される）、１６×１６テンソルコア５４（例えば、統合された媒体計算２次元／２Ｄテンソルコアプールから選択される）、３２×３２テンソルコア５６（例えば、統合された重い計算ＧＰＵ／２Ｄテンソルコアプールから選択される）などの使用を定義／指定する。実施形態において、ディスパッチ４２は、ランタイム時に、異種テンソルコアにおけるアプリケーション４４の最適な実行のために、潜在的には協働実行のために、カスタマイズされたモジュール５８（例えば、ベクトルモジュール、１６×１６モジュール、３２×３２モジュール）を生成する。

【0025】

図４は、活性化行列６０（例えば、ニューラルネットワーク層の活性化を表す行列Ｘ）と重み行列６２（例えば、活性化に適用される重みを表す行列Ｗ）との間の行列乗算（ｍａｔｍｕｌ）演算のための分割構成を示す。ここで、Ｙ＝Ｘ．Ｗである。特に、バッチサイズがより大きいトレーニングの間、活性化行列６０を読み込むことは、コアのメモリ帯域幅に圧力をかけ得る。これは、重み行列６２に関しても同様に当てはまってよい。生成されたオフラインチューニングプランに基づいて、ランタイムエンジンは、Ｘが５２×３２要素行列であり、Ｗが３２×６４要素行列であるＸ．Ｗ演算を、３つの部分に分割することを決定し得る。

【0026】

行列Ｘの０から３１の行は、行列Ｗとともに、「負荷の重い」３２×３２計算要素テンソルコアによって読み取られる。タイルｍａｔｍｕｌ演算は、出力行列６４の行０から３１を生成するために、２回行われる。

【0027】

行列Ｘの行３２から４７および列０から３１、ならびに行列Ｗの上半分は、１６×１６テンソルコアによって読み取られ、出力行列６４の上半分の部分和を生成する。

【0028】

同時に、行列Ｘの行３２から４７および列３２から６３、ならびに行列Ｗの下半分は、別の１６×１６テンソルコアによって読み取られ、出力行列６４の上半分の部分和を生成する。

【0029】

２つのコア間のリダクション段階の間、部分和のペアが追加され、出力行列６４の行３２から４７の最終結果を生成する。

【0030】

４つの１６ｗｉｄｅベクトルユニットは、行列Ｘの最後の４つの行を読み込み、各ベクトルユニットは、行列Ｗの列の４分の１を処理する。各ベクトルユニットは、出力行列６４の列の４分の１を生成し、行４８から５１に出力する。

【0031】

図５を参照すると、性能強化計算システム１５１が示されている。システム１５１は概して、計算機能（例えば、パーソナルデジタルアシスタント（ＰＤＡ）、ノートブックコンピュータ、タブレットコンピュータ、コンバーチブル型タブレット、サーバ）、通信機能（例えば、スマートフォン）、撮像機能（例えば、カメラ、カムコーダ）、メディア再生機能（例えば、スマートテレビ（ＴＶ））、ウェアラブル機能（例えば、腕時計、眼鏡、帽子、靴、装身具）、車両機能（例えば、車、トラック、バイク）、ロボット機能（例えば、自律ロボット）など、またはそれらの任意の組み合わせを有する、電子デバイス／プラットフォームの一部であってよい。示される例において、システム１５１は、システムメモリ１５７に結合されている統合メモリコントローラ（ＩＭＣ）１５５を有するホストプロセッサ１５３（例えば、複数のコアを有するＣＰＵ、図示せず）を含む。

【0032】

示されるシステム１５１はさらに、システムオンチップ（ＳｏＣ）として半導体ダイ１６３上に、ホストプロセッサ１５３と共に実装される入力出力（ＩＯ）モジュール１５９と、グラフィックスプロセッサ１６１とを含む。示されているＩＯモジュール１５９は、例えば、ディスプレイ１６５（例えば、タッチスクリーン、液体水晶ディスプレイ／ＬＣＤ、発光ダイオード／ＬＥＤディスプレイ）、ネットワークコントローラ１６７（例えば、有線および／または無線）、および大容量ストレージ１６９（例えば、ハードディスクドライブ／ＨＤＤ、光ディスク、ソリッドステートドライブ／ＳＳＤ、フラッシュメモリ）と通信する。

【0033】

実施形態において、ホストプロセッサ１５３、グラフィックスプロセッサ１６１および／またはＩＯモジュール１５９は、システムメモリ１５７および／または大容量ストレージ１６９から取得されたプログラム命令１７１を実行して、既に説明された方法３０（図２）の１または複数の態様を実行する。したがって、示される命令１７１の実行は、計算システム１５１に、アプリケーションにおけるテンソル演算を検出させ得る。ここでテンソル演算は、指定されていないテンソル入力サイズを有し、ランタイム時の入力テンソルサイズを決定し、入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいてテンソル演算の分割構成を選択する。実施形態において、分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する。また、分割構成は、第１動作のハードウェアリソースの第１のセット、および第２の動作のハードウェアリソースの第２のセットなどを定義し得、ここでハードウェアリソースの第１のセットとハードウェアリソースの第２のセットとは異なるタイプのリソースである。１つの例において、分割構成を選択するために、命令１７１は、実行させる場合、計算システム１５１に、入力テンソルサイズとランタイム条件の少なくとも１つとをルックアップテーブルで検索させる。

【0034】

したがって、示されるシステム１５１は、少なくとも分割構成を生成する場合にランタイム条件を考慮する、再粒状化されたタイル実行の解決手段を提供する程度まで性能強化されたとみなされる。例えば、予想されるハードウェアリソースの利用可能性についての知識を利用することは、実行時間を低減することを可能にし得る。また、示されるシステム１５１は、アプリケーションの開発時間を節約し、コストを低減し、効率性を向上させる。実際、同じアプリケーションは、特定のテンソル入力サイズまたは特定のテンソルコアに結び付けられた最適化がアプリケーション開発者によってアプリケーションに組み込まれていないので、異なるＩＳＡおよびプロセッサにわたっての配置をはるかに容易にし得る。

【0035】

図６は、半導体パッケージ装置１７３を示す。示される装置１７３は、１または複数の基板１７５（例えば、シリコン、サファイヤ、ヒ化ガリウム）と、１または複数の基板１７５に結合されたロジック１７７（例えば、トランジスタアレイおよび他の集積回路（ＩＣ）コンポーネント）とを含む。ロジック１７７は、少なくとも部分的に、構成可能ロジック、または機能固定型ロジックハードウェア内に実装されてよい。１つの例において、ロジック１７７は、既に説明された方法３０（図２）の１または複数の態様を実装する。したがって、ロジック１７７は、アプリケーションにおけるテンソル演算を検出し得る。ここで、テンソル演算は、指定されていないテンソル入力サイズを有し、ランタイム時の入力テンソルサイズを決定し、入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいてテンソル演算の分割構成を選択する。１つの例において、分割構成を選択するために、ロジック１７７は、入力テンソルサイズとランタイム条件の少なくとも１つとをルックアップテーブルで検索する。

【0036】

したがって、示される装置１７３は、少なくとも分割構成を生成する場合にランタイム条件を考慮する、再粒状化されたタイル実行の解決手段を提供する程度まで性能強化されたとみなされる。例えば、予想されるハードウェアリソースの利用可能性についての知識を利用することは、実行時間を低減することを可能にし得る。また、示される装置１７３は、アプリケーションの開発時間を節約し、コストを低減し、効率性を向上させる。実際、同じアプリケーションは、テンソル入力サイズがアプリケーション開発者によってアプリケーションに組み込まれていないので、異なるＩＳＡおよびプロセッサにわたっての配置をはるかに容易にし得る。

【0037】

１つの例では、ロジック１７７は、１または複数の基板１７５内に配置された（例えば、埋め込まれた）トランジスタチャネル領域を含む。したがって、ロジック１７７と、１または複数の基板１７５との間のインタフェースは、段階接合とならなくなり得る。ロジック１７７はさらに、１または複数の基板１７５の初期ウェハ上に成長するエピタキシャル層を含むとみなされ得る。

【0038】

図７は、一実施形態に係るプロセッサコア２００を示す。プロセッサコア２００は、マイクロプロセッサ、埋め込みプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、またはコードを実行する他のデバイスなどの任意の種類のプロセッサのコアであってよい。１つのプロセッサコア２００だけが図７において示されているが、処理要素は、図７に示されたプロセッサコア２００の１より多くのものを代替的に含んでよい。プロセッサコア２００は、シングルスレッドコアであってよく、または、少なくとも１つの実施形態については、プロセッサコア２００は、コアごとに１より多くのハードウェアスレッドコンテキスト（または、「論理プロセッサ」を含み得るという点で、マルチスレッドであってよい。

【0039】

図７はまた、プロセッサコア２００に結合されたメモリ２７０を示す。メモリ２７０は、当業者にとって既知である、またはそうでなければ当業者が入手可能な（メモリ階層の様々な層を含む）多種多様なメモリのうち任意のものであってよい。メモリ２７０は、プロセッサコア２００により実行される１または複数のコード２１３命令を含み得る。ここで、コード２１３は、既に説明された方法３０（図２）の１または複数の態様を実装し得る。プロセッサコア２００は、コード２１３によって示される命令のプログラムシーケンスに従う。各命令は、フロントエンドポーション２１０に入り、１または複数のデコーダ２２０によって処理されてよい。デコーダ２２０は、その出力として、固定幅マイクロオペレーションなどのマイクロオペレーションを予め定義されたフォーマットで生成してよく、または、他の命令、マイクロ命令、または元のコード命令を反映する制御信号を生成してよい。示されるフロントエンドポーション２１０はまた、レジスタリネーミングロジック２２５およびスケジューリングロジック２３０を含む。それらは概して、リソースを割り当て、変換命令に対応する動作を実行のためにキューに入れる。

【0040】

プロセッサコア２００は、実行ユニットのセット２５５‐１から２５５‐Ｎを有する実行ロジック２５０を含むよう示されている。いくつかの実施形態は、特定の機能または機能セット専用の複数の実行ユニットを含んでよい。他の実施形態は、１つの実行ユニットだけを含み得るか、または、特定の機能を実行できる１つの実行ユニットを含み得る。示される実行ロジック２５０は、コード命令によって指定される動作を実行する。

【0041】

コード命令によって指定される動作の実行完了後、バックエンドロジック２６０は、コード２１３の命令をリタイアさせる。一実施形態において、プロセッサコア２００はアウトオブオーダ実行を許可するが、命令のインオーダリタイアメントを必要とする。リタイアメントロジック２６５は、当業者にとって既知の様々な形態（例えば、リオーダバッファなど）をとり得る。このように、プロセッサコア２００は、少なくとも、デコーダによって生成される出力と、レジスタリネーミングロジック２２５によって利用されるハードウェアレジスタおよびテーブルと、実行ロジック２５０によって修正される任意レジスタ（図示せず）とに関して、コード２１３の実行中に変換される。

【0042】

図７には示されていないが、処理要素が、プロセッサコア２００を有するチップ上に他の要素を含んでよい。例えば、処理要素が、プロセッサコア２００とともにメモリ制御ロジックを含んでよい。処理要素は、Ｉ／Ｏ制御ロジックを含んでよく、および／または、メモリ制御ロジックと統合されたＩ／Ｏ制御ロジックを含んでよい。処理要素は、１または複数のキャッシュも含んでよい。

【0043】

ここで図８を参照すると、一実施形態に係る計算システム１０００の実施形態のブロック図が示されている。図８に示されているのは、第１の処理要素１０７０および第２の処理要素１０８０を備えるマルチプロセッサシステム１０００である。２つの処理要素１０７０および１０８０が示されているが、システム１０００の一実施形態はまた、そのような処理要素を１つだけしか含まなくてもよいことが理解されるべきである。

【0044】

システム１０００はポイントツーポイント相互接続システムとして示されている。ここで、第１の処理要素１０７０および第２の処理要素１０８０は、ポイントツーポイント相互接続１０５０を介して結合される。図８に示される相互接続の任意のものまたは全てのものは、ポイントツーポイント相互接続ではなくマルチドロップバスとして実装されてよいことが理解されたい。

【0045】

図８に示されるように、処理要素１０７０および１０８０の各々は、第１のプロセッサコアおよび第２のプロセッサコア（すなわち、プロセッサコア１０７４ａおよび１０７４ｂ、ならびにプロセッサコア１０８４ａおよび１０８４ｂ）を含むマルチコアプロセッサであってよい。そのようなコア１０７４ａ、１０７４ｂ、１０８４ａ、１０８４ｂは、図７に関連して上記において説明されたものと同様の方式で命令コードを実行するよう構成されてよい。

【0046】

処理要素１０７０、１０８０はそれぞれ、少なくとも１つの共有キャッシュ１８９６ａ、１８９６ｂを含んでよい。共有キャッシュ１８９６ａおよび１８９６ｂはそれぞれ、コア１０７４ａ、１０７４ｂおよび１０８４ａ、１０８４ｂなどの、プロセッサの１または複数のコンポーネントによって利用されるデータ（例えば、命令）を格納してよい。例えば、共有キャッシュ１８９６ａ、１８９６ｂは、プロセッサのコンポーネントがより高速にアクセスできるよう、メモリ１０３２、１０３４に格納されたデータをローカルにキャッシュしてよい。１または複数の実施形態において、共有キャッシュ１８９６ａ、１８９６ｂは、レベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）、または他のレベルのキャッシュなどの１または複数の中間レベルキャッシュ、最後レベルキャッシュ（ＬＬＣ）、および／またはそれらの組み合わせを含んでよい。

【0047】

２つの処理要素１０７０、１０８０だけで示されているが、実施形態の範囲はそのように限定されるものではないことが理解されるべきである。他の実施形態において、１または複数の追加の処理要素が所与のプロセッサに存在してよい。代替的に、処理要素１０７０、１０８０のうち１または複数は、アクセラレータまたはフィールドプログラマブルゲートアレイなどの、プロセッサ以外の要素であってよい。例えば、１または複数の追加の処理要素は、第１のプロセッサ１０７０と同じ１または複数の追加のプロセッサ、第１のプロセッサ１０７０とは異種または非対称のプロセッサである１または複数の追加のプロセッサ、アクセラレータ（例えば、グラフィックスアクセラレータもしくはデジタル信号処理（ＤＳＰ）ユニットなど）、フィールドプログラマブルゲートアレイ、または、任意の他の処理要素を含んでよい。アーキテクチャの特性、マイクロアーキテクチャの特性、熱特性、電力消費特性などを含む広範な価値基準に関して、処理要素１０７０と処理要素１０８０との間に様々な差異が存在し得る。これらの差異は、処理要素１０７０、１０８０間の非対称性および異種性として効果的に現れ得る。少なくとも１つの実施形態において、様々な処理要素１０７０、１０８０は、同一ダイパッケージに存在してよい。

【0048】

第１の処理要素１０７０はさらに、メモリコントローラロジック（ＭＣ）１０７２と、ポイントツーポイント（Ｐ－Ｐ）インタフェース１０７６および１０７８とを有してよい。同様に、第２の処理要素１０８０は、ＭＣ１０８２とＰ－Ｐインタフェース１０８６および１０８８とを含んでよい。図８に示されるように、ＭＣ１０７２および１０８２は、プロセッサをそれぞれのメモリ、すなわち、メモリ１０３２とメモリ１０３４とに結合する。それらのメモリは、それぞれのプロセッサにローカルに取り付けられたメインメモリの一部であってよい。ＭＣ１０７２および１０８２は処理要素１０７０および１０８０の中に統合されているものとして示されているが、代替の実施形態では、ＭＣロジックは、処理要素１０７０、１０８０に統合されるのではなく、処理要素１０７０、１０８０の外部の別個のロジックであってよい。

【0049】

第１の処理要素１０７０および第２の処理要素１０８０は、それぞれＰ－Ｐ相互接続１０７６、１０８６を介してＩ／Ｏサブシステム１０９０に結合されてよい。図８に示されるように、Ｉ／Ｏサブシステム１０９０は、Ｐ－Ｐインタフェース１０９４および１０９８を有する。さらに、Ｉ／Ｏサブシステム１０９０は、Ｉ／Ｏサブシステム１０９０を高性能グラフィックスエンジン１０３８と結合するインタフェース１０９２を有する。一実施形態において、グラフィックスエンジン１０３８をＩ／Ｏサブシステム１０９０に結合するためにバス１０４９が使用されてよい。代替的に、ポイントツーポイント相互接続がこれらのコンポーネントを結合してよい。

【0050】

同様に、インタフェース１０９６を介してＩ／Ｏサブシステム１０９０が第１のバス１０１６に結合されてよい。一実施形態において、第１のバス１０１６は、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、またはＰＣＩエクスプレスバスもしくは別の第３世代のＩ／Ｏ相互接続バスなどのバスであってよいが、本実施形態の範囲はそのように限定されるものではない。

【0051】

図８に示されるように、様々なＩ／Ｏデバイス１０１４（例えば、生体スキャナ、スピーカ、カメラ、センサ）がバスブリッジ１０１８とともに第１のバス１０１６に結合されてよい。バスブリッジ１０１８は、第１のバス１０１６を第２のバス１０２０に結合してよい。一実施形態において、第２のバス１０２０は、ローピンカウント（ＬＰＣ）バスであってよい。一実施形態において、例えば、キーボード／マウス１０１２、１または複数の通信デバイス１０２６、およびコード１０３０を含み得るディスクドライブまたはその他の大容量ストレージデバイスなどのデータストレージユニット１０１９を含む、様々なデバイスが第２のバス１０２０に結合されてよい。示されるコード１０３０は、既に説明された方法３０（図２）の１または複数の態様を実装し得る。さらに、オーディオＩ／Ｏ１０２４が第２のバス１０２０に結合されてよく、バッテリ１０１０が計算システム１０００に電力を供給してよい。

【0052】

他の実施形態が企図されることに留意されたい。例えば、図８のポイントツーポイントアーキテクチャの代わりに、システムは、マルチドロップバス、または別のそのような通信トポロジを実装してよい。また、図８の要素は、代替的に、図８に示されたものより多いまたはより少ない統合チップを使用して分割されてよい。

【0053】

追加の留意点および例

【0054】

例１は、ネットワークコントローラを含む性能強化計算システム、ネットワークコントローラに結合されたプロセッサ、およびプロセッサに結合されたメモリを含み、ここで、メモリは、プロセッサにより実行される場合、計算システムにアプリケーションにおけるテンソル演算を検出させる、実行可能なプログラム命令のセットを含み、ここで、テンソルアプリケーションは、指定されていない入力テンソルサイズを有し、ランタイム時の入力テンソルサイズを決定し、入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいてテンソル演算の分割構成を選択する。

【0055】

例２は、例１の計算システムを含み、ここで、分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する。

【0056】

例３は例２の計算システムを含み、ここで、分割構成はさらに、第１動作のハードウェアリソースの第１のセット、および第２の動作のハードウェアリソースの第２のセットを定義し、ここで、ハードウェアリソースの第１のセットとハードウェアリソースの第２のセットとは異なるタイプのリソースである。

【0057】

例４は例１の計算システムを含み、ここで、１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む。

【0058】

例５は、例１の計算システムを含み、ここで、分割構成を選択するために、命令は、実行される場合、計算システムに、入力テンソルサイズと１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索させる。

【0059】

例６は例１から例５のいずれか１つの計算システムを含み、ここで、テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む。

【0060】

例７は、１または複数の基板を含む半導体装置、および１または複数の基板に結合されたロジックを含み、ここで、ロジックは、１または複数の構成可能ロジックまたは固定機能ハードウェアロジックで少なくとも部分的に実装され、ロジックは１または複数の基板に結合されてアプリケーションにおけるテンソル演算を検出し、ここで、テンソル演算は、指定されていない入力テンソルサイズを有し、ランタイム時の入力テンソルサイズを決定し、入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいてテンソル演算の分割構成を選択する。

【0061】

例８は、例７の半導体装置を含み、ここで、分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する。

【0062】

例９は例８の半導体装置を含み、ここで、分割構成はさらに、第１動作のハードウェアリソースの第１のセット、および第２の動作のハードウェアリソースの第２のセットを定義し、ここで、ハードウェアリソースの第１のセットとハードウェアリソースの第２のセットとは異なるタイプのリソースである。

【0063】

例１０は例７の半導体装置を含み、ここで、１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む。

【0064】

例１１は例７の半導体装置を含み、ここで、分割構成を選択するために、１または複数の基板に結合されたロジックは、入力テンソルサイズと１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索する。

【0065】

例１２は例７から例１１のいずれか１つの半導体装置を含み、ここで、テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む。

【0066】

例１３は、実行可能なプログラム命令のセットを含む少なくとも１つのコンピュータ可読記憶媒体を備え、当該実行可能なプログラム命令のセットは、計算システムにより実行される場合、計算システムに、アプリケーションにおけるテンソル演算を検出することであって、ここで、テンソル演算は、指定されていない入力テンソルサイズを有する、検出することと、ランタイム時の入力テンソルサイズを決定することと、入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいてテンソル演算の分割構成を選択することとを実行させる。

【0067】

例１４は、例１３の少なくとも１つのコンピュータ可読記憶媒体を含み、ここで、分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する。

【0068】

例１５は例１４の少なくとも１つのコンピュータ可読記憶媒体を含み、ここで、分割構成はさらに、第１動作のハードウェアリソースの第１のセット、および第２の動作のハードウェアリソースの第２のセットを定義し、ここで、ハードウェアリソースの第１のセットとハードウェアリソースの第２のセットとは異なるタイプのリソースである。

【0069】

例１６は例１３の少なくとも１つのコンピュータ可読記憶媒体を含み、ここで、１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む。

【0070】

例１７は、例１３の少なくとも１つのコンピュータ可読記憶媒体を含み、ここで、分割構成を選択するために、命令は、実行される場合、計算システムに、入力テンソルサイズと１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索させる。

【0071】

例１８は例１３から例１７のいずれか１つの少なくとも１つのコンピュータ可読記憶媒体を含み、ここで、テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む。

【0072】

例１９は性能強化計算システムを動作させる方法を含み、方法は、アプリケーションにおけるテンソル演算を検出することであって、ここで、テンソル演算は、指定されていない入力テンソルサイズを有する、検出することと、ランタイム時の入力テンソルサイズを決定することと、入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいてテンソル演算の分割構成を選択することとを含む。

【0073】

例２０は、例１９の方法を含み、ここで、分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する。

【0074】

例２１は例２０の方法を含み、ここで、分割構成はさらに、第１動作のハードウェアリソースの第１のセット、および第２の動作のハードウェアリソースの第２のセットを定義し、ここで、ハードウェアリソースの第１のセットとハードウェアリソースの第２のセットとは異なるタイプのリソースである。

【0075】

例２２は例１９の方法を含み、ここで、１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む。

【0076】

例２３は例１９の方法を含み、ここで、分割構成を選択することは、入力テンソルサイズと１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索することを含む。

【0077】

例２４は例１９から例２３のいずれか１つの方法を含み、ここで、テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む。

【0078】

例２５は例１９から例２４のいずれか１つの方法を実行する手段を含む。

【0079】

したがって、本明細書に説明される技術は、一般的なテンソル演算をターゲットとする統合されたプログラミングインタフェースと、利用可能な計算リソースに基づいて計算アーキテクチャを再粒状化するランタイム手順とを提供する。結果として、アプリケーションは、利用可能なテンソルコアに適切にマッピングされ、一度だけ書き込まれる。

【0080】

実施形態は、全ての種類の半導体集積回路（「ＩＣ」）チップでの使用に適用可能である。これらＩＣチップの例としては、限定ではないが、プロセッサ、コントローラ、チップセットコンポーネント、プログラマブルロジックアレイ（ＰＬＡ）、メモリチップ、ネットワークチップ、システムオンチップ（ＳｏＣ）、ＳＳＤ／ＮＡＮＤコントローラＡＳＩＣなどが含まれる。加えて、図面のうちのいくつかにおいて、信号線が線で表されている。このいくつかは、より多くの成分信号パスを示すべく異なっていてよく、複数の成分信号パスを示すべく数字のラベルを有してよく、および／または、情報の主な流れ方向を示すべく１または複数の終点に矢印を有してよい。しかしながら、このことは限定的に解釈されるべきではない。むしろ、かかる追加の詳細は、１または複数の例示的な実施形態に関連して使用され、回路の理解をより容易にし得るものである。追加の情報を有するか否かにかかわらず、示されたあらゆる信号線は実際には、移動方向が複数あり得る１または複数の信号を含んでよく、例えば、差動ペアで実装されるデジタル線またはアナログ線、光ファイバ線、および／または、シングルエンド線といったあらゆる好適な種類の信号方式で実装されてよい。

【0081】

例示的な大きさ／モデル／値／範囲が与えられている場合があるが、実施形態はそれに限定されるものではない。時間を経て製造技術（例えば、フォトリソグラフィ）が成熟するにつれ、より小型のデバイスが製造され得ることが予期される。加えて、例示および説明を簡潔にするために、および、実施形態の特定の態様を不明瞭にしないように、ＩＣチップおよび他のコンポーネントへのよく知られた電源／グラウンド接続は、図中に示されていてもよく、または示されていなくてよい。さらに、実施形態を不明瞭にすることを回避すべく、構成は、ブロック図の形で示されてよく、また、かかるブロック図構成の実装に関する詳細は、実施形態が実装されるべき計算システムに大きく依存することに鑑みれば、すなわち、かかる詳細は、当業者の十分知見の範囲内である。例示的な実施形態を説明すべく、具体的な詳細（例えば、回路）が記載される場合、これらの具体的な詳細なしで、またはこれらの具体的な詳細の変形例によって、実施形態が実施され得ることが、当業者には、明らかである。したがって、詳細な説明は、限定的ではなく、例示的なものとしてみなされるべきである。

【0082】

「結合」という用語は、対象のコンポーネント間の任意の種類の直接的または間接的関係、を指すために本明細書において使用されてよく、電気的、機械的、流体的、光学的、電磁的、電子機械的、または他の接続に適用されてよい。加えて、「第１」、「第２」などの用語は、説明を容易にするためだけに本明細書において使用されてよく、別途記載がない限り、何ら特定の時間的または時系列的な意味を含まない。

【0083】

本願および特許請求の範囲において使用される「のうち１または複数」という用語によって結合される項目の列挙は、列挙された用語の任意の組み合わせを意味してよい。例えば、「Ａ、Ｂ、またはＣのうち１または複数」という文言は、Ａ；Ｂ；Ｃ；ＡおよびＢ；ＡおよびＣ；ＢおよびＣ；またはＡ、Ｂ、およびＣを意味してよい。

【0084】

当業者ならば、上述の説明から、実施形態の広範な技術が、様々な形態で実装され得ることを理解するであろう。したがって、実施形態はそれらの特定の例に関連して説明されてきたが、実施形態の真の範囲は、このように限定されるべきではない。なぜなら、図面、明細書、および以下の特許請求の範囲を精査すれば、当業者には他の修正形態が明らかになるからである。
［考えられる他の項目］
（項目１）
ネットワークコントローラと、
上記ネットワークコントローラに結合されたプロセッサと、
上記プロセッサに結合されたメモリと
を備える計算システムであって、
上記メモリは、上記プロセッサにより実行される場合、上記計算システムに
アプリケーションにおけるテンソル演算を検出させる、実行可能なプログラム命令のセットを含み、
上記テンソル演算は、
指定されていない入力テンソルサイズを有し、
ランタイム時の上記入力テンソルサイズを決定し、
上記入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいて上記テンソル演算の分割構成を選択する、
計算システム。
（項目２）
上記分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する、項目１に記載の計算システム。
（項目３）
上記分割構成はさらに、上記第１動作のハードウェアリソースの第１のセット、および上記第２の動作のハードウェアリソースの第２のセットを定義し、ここで、上記ハードウェアリソースの上記第１のセットと上記ハードウェアリソースの上記第２のセットとは異なるタイプのリソースである、項目２に記載の計算システム。
（項目４）
上記１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む、項目１に記載の計算システム。
（項目５）
上記分割構成を選択するために、上記命令は、実行される場合、上記計算システムに、上記入力テンソルサイズと上記１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索させる、項目１に記載の計算システム。
（項目６）
上記テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む、項目１に記載の計算システム。
（項目７）
１または複数の基板と、
上記１または複数の基板に結合されたロジックを備える半導体装置であって、
上記ロジックは、１または複数の構成可能ロジックまたは固定機能ハードウェアロジックで少なくとも部分的に実装され、
上記ロジックは上記１または複数の基板に結合されて、
アプリケーションにおけるテンソル演算を検出し、上記テンソル演算は、指定されていない入力テンソルサイズを有し、
ランタイム時の上記入力テンソルサイズを決定し、
上記入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいて上記テンソル演算の分割構成を選択する、
半導体装置。
（項目８）
上記分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する、項目７に記載の半導体装置。
（項目９）
上記分割構成はさらに、上記第１動作のハードウェアリソースの第１のセット、および上記第２の動作の上記ハードウェアリソースの上記第２のセットを定義し、上記ハードウェアリソースの上記第１のセットとハードウェアリソースの第２のセットとは異なるタイプのリソースである。項目８に記載の半導体装置。
（項目１０）
上記１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む、項目７に記載の半導体装置。
（項目１１）
上記分割構成を選択するために、上記１または複数の基板に結合された上記ロジックは、上記入力テンソルサイズと上記１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索する、項目７に記載の半導体装置。
（項目１２）
上記テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む、項目７に記載の半導体装置。
（項目１３）
実行可能なプログラム命令のセットを備える少なくとも１つのコンピュータ可読記憶媒体であって、上記実行可能なプログラム命令のセットは、計算システムにより実行される場合、上記計算システムに、
アプリケーションにおけるテンソル演算を検出することであって、上記テンソル演算は、指定されていない入力テンソルサイズを有する、検出することと、
ランタイム時の上記入力テンソルサイズを決定することと、
上記入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいて上記テンソル演算の分割構成を選択することと
を実行させる、少なくとも１つのコンピュータ可読記憶媒体。
（項目１４）
上記分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する、項目１３に記載の少なくとも１つのコンピュータ可読記憶媒体。
（項目１５）
上記分割構成はさらに、上記第１動作のハードウェアリソースの第１のセット、および上記第２の動作の上記ハードウェアリソースの上記第２のセットを定義し、上記ハードウェアリソースの上記第１のセットとハードウェアリソースの第２のセットとは異なるタイプのリソースである。項目１４に記載の少なくとも１つのコンピュータ可読記憶媒体。
（項目１６）
上記１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む、項目１３に記載の少なくとも１つのコンピュータ可読記憶媒体。
（項目１７）
上記分割構成を選択するために、上記命令は、実行される場合、上記計算システムに、上記入力テンソルサイズと上記１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索させる、項目１３に記載の少なくとも１つのコンピュータ可読記憶媒体。
（項目１８）
上記テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む、項目１３に記載の少なくとも１つのコンピュータ可読記憶媒体。
（項目１９）
アプリケーションにおけるテンソル演算を検出する段階であって、上記テンソル演算は、指定されていない入力テンソルサイズを有する、検出する段階と、
ランタイム時の上記入力テンソルサイズを決定する段階と、
上記入力テンソルサイズおよび１または複数のランタイム条件に少なくとも部分的に基づいて上記テンソル演算の分割構成を選択する段階とを備える、方法。
（項目２０）
上記分割構成は、第１動作の行列形状の第１のセット、および第２の動作の行列形状の第２のセットを定義する、項目１９に記載の方法。
（項目２１）
上記分割構成はさらに、上記第１動作のハードウェアリソースの第１のセット、および上記第２の動作の上記ハードウェアリソースの上記第２のセットを定義し、上記ハードウェアリソースの上記第１のセットとハードウェアリソースの第２のセットとは異なるタイプのリソースである。項目２０に記載の方法。
（項目２２）
上記１または複数のランタイム条件は、予想される消費電力、行列のスパース性またはハードウェアリソースの利用可能性のうち１または複数を含む、項目１９に記載の方法。
（項目２３）
上記分割構成を選択する段階は、上記入力テンソルサイズと上記１または複数のランタイム条件のうち少なくとも１つとをルックアップテーブルで検索する段階を含む、項目１９に記載の方法。
（項目２４）
上記テンソル演算は、行列乗算演算、畳み込み演算、正規化演算、正規化線型単位演算または指数線型単位演算のうち１または複数を含む、項目１９に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】