特表 2024-523093 サブテンソルを提供するためのテンソルの再フォーマット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-28

(54)【発明の名称】サブテンソルを提供するためのテンソルの再フォーマット

(51)【国際特許分類】

   G06F 17/16 20060101AFI20240621BHJP

【ＦＩ】

G06F17/16 B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023562572

(86)(22)【出願日】2022-06-09

(85)【翻訳文提出日】2023-10-11

(86)【国際出願番号】 EP2022065666

(87)【国際公開番号】W WO2022263280

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】17/350,528

(32)【優先日】2021-06-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(74)【復代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】リヒテナウ、セドリック

(72)【発明者】

【氏名】ゴパラクリシュナン、カイラッシュ

(72)【発明者】

【氏名】スリニヴァサン、ヴィジャヤラクシュミ

(72)【発明者】

【氏名】サポリト、アンソニー

(72)【発明者】

【氏名】シュクラ、スニル

(72)【発明者】

【氏名】ヴェンカタラマニ、スワガス

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056BB31

5B056DD12

5B056DD14

(57)【要約】

第２選択ディメンションの１又は複数のサブテンソルを提供するために第１選択ディメンションのテンソルが再フォーマットされる。再フォーマットは、テンソルを表すために使用される幾つかのサブテンソルを決定することを含む。再フォーマットは更に、幾つかのサブテンソルを生成することを含み、サブテンソルが、メモリユニットの境界上で開始する。テンソルのデータが、幾つかのサブテンソル内に収まるように再構成される。

【特許請求の範囲】

【請求項1】

コンピューティング環境内の処理を促進するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
第１選択ディメンションのテンソルを取得する手順；及び
前記テンソルを再フォーマットして、第２選択ディメンションの１又は複数のサブテンソルを提供する手順
を備える方法を実行するために１又は複数のコンピュータ可読記憶媒体にまとめて格納されるプログラム命令及び前記１又は複数のコンピュータ可読記憶媒体を備え、ここで、前記再フォーマットは、
前記テンソルを表すために使用される幾つかのサブテンソルを決定すること；
前記幾つかのサブテンソルを生成すること、ここで、サブテンソルは、メモリユニットの境界で開始する；及び
前記幾つかのサブテンソル内に収まるように前記テンソルのデータを再構成すること
を含む、
コンピュータプログラム製品。

【請求項2】

前記幾つかのサブテンソルを前記決定することは、少なくとも、前記テンソルに含まれる要素値の数及び前記メモリユニットのサイズに基づいて、１又は複数のｃｅｉｌ関数を使用することを含む、請求項１に記載のコンピュータプログラム製品。

【請求項3】

前記幾つかのサブテンソルの少なくとも１つのサブテンソルについてのデータを前記再構成することは、少なくとも１つのディメンションにおいて、前記幾つかのサブテンソルの前記少なくとも１つのサブテンソルをパディングして、前記少なくとも１つのサブテンソルを完成させることを含む、請求項１に記載のコンピュータプログラム製品。

【請求項4】

前記幾つかのサブテンソルの選択されたサブテンソルについてのデータを前記再構成することは、
前記テンソルを表す複数の行列における同一の位置のデータを選択すること；
前記選択されたサブテンソルの１つの行に選択された前記データを配置すること；及び
前記複数の行列の複数の位置について、前記選択すること及び前記配置することを反復すること
を含む、請求項１に記載のコンピュータプログラム製品。

【請求項5】

データを前記再構成することはさらに、
前記選択されたサブテンソルの１又は複数の行を、前記選択されたサブテンソルのサイズによって収容されるより少ないデータを前記１又は複数の行が有することに基づいて、パディングすること；及び
前記選択されたサブテンソルの前記サイズによって収容されるより少ない行を前記選択されたサブテンソルが有することに基づいて、前記選択されたサブテンソルを１又は複数の追加のパディングされた行でパディングすること
を含む、請求項４に記載のコンピュータプログラム製品。

【請求項6】

前記メモリユニットはメモリページであり、前記メモリユニットの前記境界はページ境界である、請求項１から５のいずれか一項に記載のコンピュータプログラム製品。

【請求項7】

前記方法はさらに、テンソルコンピュテーションにおいて使用するために、前記１又は複数のサブテンソルをプロセッサに提供する手順を備える、請求項１から６のいずれか一項に記載のコンピュータプログラム製品。

【請求項8】

前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報、及び、前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作で格納するために使用される前記プロセッサに提供することを含む、請求項７に記載のコンピュータプログラム製品。

【請求項9】

前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報、及び、前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作でロードするために使用される前記プロセッサに提供することを含む、請求項７に記載のコンピュータプログラム製品。

【請求項10】

前記第１選択ディメンションは４ディメンションであり、前記第２選択ディメンションは２ディメンションであり、ここで、１又は複数の２ディメンションサブテンソルは、１つの４ディメンションテンソルを表す、請求項１から９のいずれか一項に記載のコンピュータプログラム製品。

【請求項11】

コンピューティング環境内の処理を促進するためのコンピュータシステムであって、前記コンピュータシステムは、
メモリ；及び
前記メモリと通信する少なくとも１つのプロセッサ
を備え、ここで、前記コンピュータシステムは、
第１選択ディメンションのテンソルを取得する手順；及び
前記テンソルを再フォーマットして、第２選択ディメンションの１又は複数のサブテンソルを提供する手順
を備える方法を実行するように構成され、ここで、前記再フォーマットは、
前記テンソルを表すために使用される幾つかのサブテンソルを決定すること；
前記幾つかのサブテンソルを生成すること、ここで、サブテンソルが、メモリユニットの境界で開始する；及び
前記幾つかのサブテンソルに収まるように、前記テンソルのデータを再構成すること
を含む、コンピュータシステム。

【請求項12】

前記幾つかのサブテンソルの選択されたサブテンソルについてのデータを前記再構成することは、
前記テンソルを表す複数の行列における同一の位置のデータを選択すること；
前記選択されたサブテンソルの１つの行に選択された前記データを配置すること；及び
前記複数の行列の複数の位置について、前記選択すること及び前記配置することを反復すること
を含む、請求項１１に記載のコンピュータシステム。

【請求項13】

データを前記再構成することは更に、
前記選択されたサブテンソルの１又は複数の行を、前記選択されたサブテンソルのサイズによって収容されるより少ないデータを前記１又は複数の行が有することに基づいて、パディングすること；及び
前記選択されたサブテンソルの前記サイズによって収容されるより少ない行を前記選択されたサブテンソルが有することに基づいて、前記選択されたサブテンソルを１又は複数の追加のパディングされた行でパディングすること
を含む、請求項１２に記載のコンピュータシステム。

【請求項14】

前記方法は更に、テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する手順を備え、ここで、前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作で格納するために使用される前記プロセッサに提供することを含む、請求項１１に記載のコンピュータシステム。

【請求項15】

前記方法は更に、テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する手順を備え、ここで、前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作でロードするために使用される前記プロセッサに提供することを含む、請求項１１に記載のコンピュータシステム。

【請求項16】

コンピューティング環境内の処理を促進するコンピュータ実装方法であって、前記コンピュータ実装方法は、
第１選択ディメンションのテンソルを取得する段階；及び
前記テンソルを再フォーマットして、第２選択ディメンションの１又は複数のサブテンソルを提供する段階
を備え、ここで、前記再フォーマットは、
前記テンソルを表すために使用される幾つかのサブテンソルを決定すること；
前記幾つかのサブテンソルを生成すること、ここで、サブテンソルが、メモリユニットの境界上で開始する；及び
前記幾つかのサブテンソル内に収まるように前記テンソルのデータを再構成すること
を含む、コンピュータ実装方法。

【請求項17】

前記幾つかのサブテンソルの選択されたサブテンソルについてのデータを前記再構成することは、
前記テンソルを表す複数の行列における同一の位置のデータを選択すること；
前記選択されたサブテンソルの１つの行に選択された前記データを配置すること；及び
前記複数の行列の複数の位置について、前記選択すること及び前記配置することを反復すること
を含む、請求項１６に記載のコンピュータ実装方法。

【請求項18】

データを前記再構成することはさらに、
前記選択されたサブテンソルの１又は複数の行を、前記選択されたサブテンソルのサイズによって収容されるより少ないデータを前記１又は複数の行が有することに基づいて、パディングすること；及び
前記選択されたサブテンソルの前記サイズによって収容されるより少ない行を前記選択されたサブテンソルが有することに基づいて、前記選択されたサブテンソルを１又は複数の追加のパディングされた行でパディングすること
を含む、請求項１７に記載のコンピュータ実装方法。

【請求項19】

テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する段階を更に備え、ここで、前記１又は複数のサブテンソルを前記提供する段階は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作で格納するために使用される前記プロセッサに提供することを含む、請求項１６に記載のコンピュータ実装方法。

【請求項20】

テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する段階を更に備え、ここで、前記１又は複数のサブテンソルを前記提供する段階は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作でロードするために使用される前記プロセッサに提供することを含む、請求項１６に記載のコンピュータ実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

１又は複数の態様は概して、コンピューティング環境内の処理を促進すること、特に、そのような処理を改善することに関する。

【背景技術】

【0002】

データ及び／又は計算集約的であるコンピューティング環境における処理を強化するべく、人工知能アクセラレータ（ニューラルネットワークプロセッサ又はニューラルネットワークアクセラレータとも称される）などのコプロセッサが利用される。そのようなアクセラレータは、例えば、行列又はテンソルに対する計算など、複雑な計算の実行において使用される莫大な計算能力を提供する。

【0003】

テンソルコンピュテーションは、例として、機械学習のサブセットである深層学習を含む複雑な処理において使用される。人工知能の態様である深層学習又は機械学習は、限定されるものではないが、エンジニアリング、製造業、医療技術、自動車技術、コンピュータ処理などを含む、様々な技術で使用される。

【0004】

テンソル及びテンソルコンピュテーションは、大量のデータ及び／又は詳細なデータが深層学習処理に入力されることを可能にする。しかしながら、アクセラレータがアクセラレータとのデータ帯域幅によって制限されることが多い。以前、この制限に対処するために、アクセラレータにおけるデータ局所性及びデータ再使用が採用された。そのようなテンソルを使用するテンソル及び／又は処理の使用における発展は、コンピュータ処理を含む、機械学習を使用する技術を改善する。

【発明の概要】

【0005】

コンピューティング環境内の処理を促進するために、コンピュータプログラム製品のプロビジョニングを通じて、従来技術の短所が克服され、追加の利点が提供される。コンピュータプログラム製品は、方法を実行するために１又は複数のコンピュータ可読記憶媒体にまとめて格納された１又は複数のコンピュータ可読記憶媒体及びプログラム命令を含む。方法は、第１選択ディメンションのテンソルを取得することを含む。テンソルは、第２選択ディメンションの１又は複数のサブテンソルを提供するために再フォーマットされる。再フォーマットは、テンソルを表すために使用される幾つかのサブテンソルを決定すること、幾つかのサブテンソルを生成すること（サブテンソルはメモリユニットの境界で開始する）、及び、幾つかのサブテンソル内に収まるようにテンソルのデータを再構成することを含む。

【0006】

メモリユニットの境界上で開始するサブテンソルを生成することによって、処理は、アドレス変換要求の数を低減すること及びデータ転送速度を増加させることによって促進される。更に、サブテンソルについてのメモリアドレスは容易に計算可能であり、複雑なアドレス計算のオーバヘッドを低減する。

【0007】

一実施形態において、幾つかのサブテンソルを決定することは、少なくとも、テンソルに含まれる要素値の数、及び、メモリユニットのサイズに基づいて、１又は複数のｃｅｉｌ関数を使用することを含む。

【0008】

一実施形態において、幾つかのサブテンソルの少なくとも１つのサブテンソルについてのデータを再構成することは、少なくとも１つのディメンションにおいて、幾つかのサブテンソルの少なくとも１つのサブテンソルをパディングして、少なくとも１つのサブテンソルを完成させることを含む。パディングは、固定ディメンションのサブテンソルを提供し、アドレス計算及びデータ転送における効率を提供する。

【0009】

一実施形態において、幾つかのサブテンソルの選択されたサブテンソルについてのデータを再構成することは、テンソルを表す複数の行列における同一の位置のデータを選択すること；選択されたサブテンソルの１つの行に選択されたデータを配置すること；及び、複数の行列の複数の位置について、選択すること及び配置することを反復することを含む。

【0010】

更に、一実施形態において、データを再構成することは更に、選択されたサブテンソルの１又は複数の行を、選択されたサブテンソルのサイズによって収容されるより少ないデータを１又は複数の行が有することに基づいて、パディングすること；及び、選択されたサブテンソルのサイズによって収容されるより少ない行を選択されたサブテンソルが有することに基づいて、選択されたサブテンソルを１又は複数の追加のパディングされた行でパディングすることを含む。同様に、パディングは、固定ディメンションのサブテンソルを提供し、アドレス計算及びデータ転送における効率を提供する。

【0011】

例として、メモリユニットはメモリページであり、メモリユニットの境界はページ境界である。ページ境界上で開始するサブテンソルを生成することによって、アドレス変換要求の数を低減しデータ転送速度を増加させることによって処理が促進される。

【0012】

一実施形態において、１又は複数のサブテンソルが、テンソルコンピュテーションにおける使用のためにプロセッサに提供される。１又は複数のサブテンソルを提供することは、例えば、アドレス情報及び第２選択ディメンションに関連する情報を、１又は複数のサブテンソルのデータを１回の操作で格納するために使用されるプロセッサに提供することを含む。これにより、データ１回の操作のブロック格納を可能にし、システム性能を改善する。

【0013】

一実施形態において、１又は複数のサブテンソルを提供することは、アドレス情報、及び、第２選択ディメンションに関連する情報を、１又は複数のサブテンソルのデータを１回の操作でロードするために使用されるプロセッサに提供することを含む。これにより、１回の操作でデータをブロックロードすることを可能にし、システム性能を改善する。

【0014】

一例において、第１選択ディメンションは、４ディメンションであり、第２選択ディメンションは２ディメンションであり、ここで、１又は複数の２ディメンションサブテンソルは、１つの４ディメンションテンソルを表す。

【0015】

１又は複数の態様に関連するコンピュータ実装方法及びシステムも本明細書において説明及び請求される。さらに、１又は複数の態様に関連するサービスも、本明細書において説明されており、請求され得る。

【0016】

追加の機能及び利点が、本明細書に記載の技術を通して実現される。他の実施形態及び態様が本明細書において詳細に説明され、請求される態様の一部とみなされる。

【図面の簡単な説明】

【0017】

１又は複数の態様が特に指摘され、本明細書の最後にある請求項における例として、個別に請求される。上記、並びに、１又は複数の態様の目的、特徴、及び利点は、添付図面と併せて、以下の詳細な説明から明らかである。

【図1A】本発明の１又は複数の態様を組み込み使用するためのコンピューティング環境の一例を図示する。

【図1B】本発明の１又は複数の態様による、図１Ａのプロセッサの更なる詳細を図示する。

【図2A】本発明の１又は複数の態様による、２Ｄテンソルの一例を図示する。

【図2B】本発明の１又は複数の態様による、テンソルのサブテンソルを生成するのに使用される処理の一例を図示する。

【図2C】本発明の１又は複数の態様による、テンソルのサブテンソルを生成するのに使用される処理の一例を図示する。

【図3A】本発明の１又は複数の態様による、ニューラルネットワーク処理支援命令のフォーマットの一例を図示する。

【図3B】本発明の１又は複数の態様による、ニューラルネットワーク処理支援命令によって使用される汎用レジスタの一例を図示する。

【図3C】本発明の１又は複数の態様による、ニューラルネットワーク処理支援命令によってサポートされる関数コードの例を図示する。

【図3D】本発明の１又は複数の態様による、ニューラルネットワーク処理支援命令によって使用される別の汎用レジスタの一例を図示する。

【図3E】本発明の１又は複数の態様による、ニューラルネットワーク処理支援命令のクエリ関数によって使用されるパラメータブロックの一例を図示する。

【図3F】本発明の１又は複数の態様による、ニューラルネットワーク処理支援命令の１又は複数の非クエリ関数によって使用されるパラメータブロックの一例を図示する。

【図3G】本発明の１又は複数の態様による、ニューラルネットワーク処理支援命令によって使用されるテンソル記述子の一例を図示する。

【図4】本発明の１又は複数の態様による、ニューラルネットワーク処理（ＮＮＰ）データタイプ１データ型のフォーマットの一例を図示する。

【図5A】本発明の１又は複数の態様による、ニューラルネットワーク処理支援命令によって使用される入力データレイアウトの例を図示する。

【図5B】本発明の１又は複数の態様による、ニューラルネットワーク処理支援命令によって使用される入力データレイアウトの例を図示する。

【図5C】本発明の１又は複数の態様による、ニューラルネットワーク処理支援命令によって使用される入力データレイアウトの例を図示する。

【図6A】本発明の１又は複数の態様による、図５Ａ～図５Ｃの入力データレイアウトに対応する例示的出力を図示する。

【図6B】本発明の１又は複数の態様による、図５Ａ～図５Ｃの入力データレイアウトに対応する例示的出力を図示する。

【図6C】本発明の１又は複数の態様による、図５Ａ～図５Ｃの入力データレイアウトに対応する例示的出力を図示する。

【図7A】本発明の１又は複数の態様による、コンピューティング環境内の処理を促進する一例を図示する。

【図7B】本発明の１又は複数の態様による、コンピューティング環境内の処理を促進する一例を図示する。

【図8A】本発明の１又は複数の態様を組み込み使用するためのコンピューティング環境の別の例を図示する。

【図8B】本発明の１又は複数の態様による、図８Ａのメモリの更なる詳細の一例を図示する。

【図8C】本発明の１又は複数の態様による、図８Ａのメモリの更なる詳細の別の例を図示する。

【図9A】本発明の１又は複数の態様を組み込み使用するためのコンピューティング環境の更に別の例を図示する。

【図9B】本発明の１又は複数の態様による、図９Ａのメモリの更なる詳細を図示する。

【図10】本発明の１又は複数の態様による、クラウドコンピューティング環境の一実施形態を図示する。

【図11】本発明の１又は複数の態様による、抽象化モデル層の一例を図示する。

【発明を実施するための形態】

【0018】

本発明の１又は複数の態様によれば、コンピューティング環境内の処理を促進するための能力が提供される。例として、テンソルを再フォーマットしてサブテンソルを提供するための能力が提供され、ここで、１又は複数のサブテンソルは元のテンソルを表す。これにより、メモリアドレス計算、ロード／格納演算、及び／又は、プリフェッチを含むがこれらに限定されない処理を最適化する。例として、テンソルが再フォーマットされ、それにより、テンソルを表すサブテンソルは、メモリユニット（例えばメモリページ）の境界上で開始し、テンソルの情報は、１又は複数の選択ディメンション（例えば２Ｄ）のサブテンソル（すなわち、タイル）内に収まるように再構成される。サブテンソルは、再フォーマットに基づいて、容易に計算可能なアドレスを有し、ブロックロード及び／又は格納（例えば、１回の操作でロード／格納）され得、サブテンソルの使用において効率を提供する。

【0019】

サブテンソルを含む生成されたテンソルを使用するための命令の一例は、複数の関数を実行するように構成される単一命令（例えば、ハードウェア／ソフトウェアインタフェースにおけるシングルアーキテクチャハードウェアマシン命令）であるニューラルネットワーク処理支援命令である。関数の各々は、単一命令（例えば、シングルアーキテクチャ命令）の一部として構成され、システムリソースの使用及び複雑性を低減し、システム性能を改善する。

【0020】

命令は、汎用プロセッサなどのプロセッサ上でプログラムによってディスパッチされる汎用プロセッサ命令セットアーキテクチャ（ＩＳＡ）の一部であり得る。それは汎用プロセッサによって実行され得、及び／又は、命令の１又は複数の関数が、汎用プロセッサに結合された、又はその一部である、特定の関数について構成されているプロセッサなどの専用プロセッサによって実行され得る。他の変形例も適用可能である。

【0021】

本発明の１又は複数の態様を組み込み使用するためのコンピューティング環境の一実施形態が図１Ａを参照して説明される。例として、コンピューティング環境は、ニューヨーク州アーモンクのインターナショナルビジネスマシンズコーポレーションによって提供されるｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ（登録商標）命令セットアーキテクチャに基づく。ｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ命令セットアーキテクチャの一実施形態は、参照によって全体が本明細書に組み込まれる、２０１９年９月のＩＢＭ Ｐｕｂｌｉｃａｔｉｏｎ Ｎｏ． ＳＡ２２－７８３２－１２、第１３版、「ｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｏｐｅｒａｔｉｏｎ」と題する出版物において説明される。しかしながら、ｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ命令セットアーキテクチャは、１つの例示的なアーキテクチャに過ぎず、インターナショナルビジネスマシンズコーポレーション及び／又は他のエンティティ又の他のアーキテクチャ及び／又は他のタイプのコンピューティング環境又が、本発明の１又は複数の態様を含む及び／又は使用し得る。ｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ及びＩＢＭは、少なくも１つの法域において、インターナショナルビジネスマシンズコーポレーションの商標又は登録商標である。

【0022】

図１Ａを参照すると、例えば、コンピューティング環境１００は、例えば汎用コンピューティングデバイスの形態で示されるコンピュータシステム１０２を含む。コンピュータシステム１０２は、１又は複数の汎用プロセッサ又は処理ユニット１０４（例えば、中央処理装置（ＣＰＵ））、ニューラルネットワークプロセッサ１０５などの少なくとも１つの専用プロセッサ、メモリ１０６（すなわち、例としてシステムメモリ、メインメモリ、メインストレージ、中央ストレージ、又はストレージ）、及び、１又は複数のバス及び／又は他の接続を介して互いに結合された１又は複数の入出力（Ｉ／Ｏ）インタフェース１０８を含み得るが、これらに限定されない。例えば、プロセッサ１０４、１０５、及びメモリ１０６は、１又は複数のバス１１０を介してＩ／Ｏインタフェース１０８に結合され、プロセッサ１０４、１０５は、１又は複数のバス１１１を介して互いに結合される。

【0023】

バス１１１は、例えば、メモリ又はキャッシュコヒーレンスバスであり、バス１１０は例えば、様々なバスアーキテクチャのいずれかを使用するメモリバス又はメモリコントローラ、ペリフェラルバス、アクセラレーテッドグラフィックスポート、プロセッサ又はローカルバスを含む複数のタイプのバス構造のいずれかのうち１又は複数を表す。限定ではなく例として、そのようなアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＣＡ）、エンハンスドＩＳＡ（ＥＩＳＡ）、ビデオエレクトロニクススタンダードアソシエーション（ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）を含む。

【0024】

例として、１又は複数の特定用途向けプロセッサ（例えば、ニューラルネットワークプロセッサ）は、１又は複数の汎用プロセッサから分離されるが結合され得、及び／又は、１又は複数の汎用プロセッサ内に組み込まれ得る。多くの変形例が可能である。

【0025】

例えば、メモリ１０６は、プロセッサ１０４のローカルキャッシュ１１４及び／又はニューラルネットワークプロセッサ１０５に、例えば１又は複数のバス１１１を介して結合され得る共有キャッシュなどのキャッシュ１１２を含み得る。更に、メモリ１０６は、１又は複数のプログラム又はアプリケーション１１６及び少なくとも１つのオペレーティングシステム１１８を含み得る。例示的なオペレーティングシステムは、ニューヨーク州アーモンクのインターナショナルビジネスマシンズコーポレーションによって提供されるｚ／ＯＳ（登録商標）オペレーティングシステムを含む。ｚ／ＯＳは、少なくも１つの法域におけるインターナショナルビジネスマシンズコーポレーションの商標又は登録商標である。インターナショナルビジネスマシンズコーポレーション及び／又は他のエンティティによって提供される他のオペレーティングシステムも使用され得る。メモリ１０６はまた、本発明の態様の実施形態の関数を実行するように構成され得る１又は複数のコンピュータ可読プログラム命令１２０を含み得る。

【0026】

また、１又は複数の実施形態において、メモリ１０６はプロセッサファームウェア１２２を含む。プロセッサファームウェアは、例えば、プロセッサのマイクロコード又はミリコードを含む。それは、例えば、より高いレベルのマシンコードの実装において使用されるハードウェアレベル命令及び／又はデータ構造を含む。一実施形態において、それは、例えば、基礎となるハードウェアに特有の信頼されるソフトウェア、マイクロコード、又はミリコードを含み、システムハードウェアへのオペレーティングシステムのアクセスを制御するマイクロコード又はミリコードとして通常は供給されるプロプライエタリコードを含む。

【0027】

コンピュータシステム１０２は、例えば、Ｉ／Ｏインタフェース１０８を介して、ユーザ端末、テープドライブ、ポインティングデバイス、ディスプレイ、及び１又は複数のデータストレージデバイス１３４などの１又は複数の外部デバイス１３０と通信し得る。データストレージデバイス１３４は、１又は複数のプログラム１３６、１又は複数のコンピュータ可読プログラム命令１３８、及び／又は、データなどを格納し得る。コンピュータ可読プログラム命令は、発明の態様の実施形態の関数を実行するように構成され得る。

【0028】

コンピュータシステム１０２はまた、例えばＩ／Ｏインタフェース１０８を介して、ローカルエリアネットワーク（ＬＡＮ）、汎用ワイドエリアネットワーク（ＷＡＮ）、及び／又は、パブリックネットワーク（例えばインターネット）などの１又は複数のネットワークとコンピュータシステム１０２が通信することを可能にするネットワークインタフェース１３２と通信し得、他のコンピューティングデバイス又はシステムとの通信を提供する。

【0029】

コンピュータシステム１０２は、取り外し可能／取り外し不可能、揮発性／不揮発性コンピュータシステム記憶媒体を含む、及び／又は、それと結合され得る。例えば、それは、取り外し不可能な不揮発性磁気媒体（通常、「ハードドライブ」と呼ばれる）、取り外し可能な不揮発性磁気ディスク（例えば、「フロッピディスク」）から読み取り、それに書き込むための磁気ディスクドライブ、及び／又は、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、又は他の光媒体などの取り外し可能な不揮発性光ディスクから読み取り、又は、それに書き込むための光ディスクドライブを含み得、及び／又は、それと結合され得る。他のハードウェア及び／又はソフトウェアコンポーネントが、コンピュータシステム１０２と併せて使用され得ることが理解されるべきである。例は、マイクロコード又はミリコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、及びデータアーカイブストレージシステムなどを含むが、これらに限定されない。

【0030】

コンピュータシステム１０２は、多くの他の汎用又は特定用途向けコンピューティングシステム環境又は構成で動作し得る。コンピュータシステム１０２と共に使用するのに好適であり得る周知のコンピューティングシステム、環境、及び／又は構成の例は、上のシステム又はデバイス及び同様のもののいずれかを含む、パーソナルコンピュータ（ＰＣ）システム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラマブルコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータシステム、メインフレームコンピュータシステム、及び分散クラウドコンピューティング環境を含むが、これらに限定されない。

【0031】

一例において、プロセッサ（例えばプロセッサ１０４及び／又はプロセッサ１０５）は、命令を実行するために使用される複数の機能コンポーネント（又はそのサブセット）を含む。図１Ｂに図示されるように、これらの機能コンポーネントは、例えば、実行される命令をフェッチするための命令フェッチコンポーネント１５０；フェッチされた命令を復号し復号された命令のオペランドを取得するための命令復号ユニット１５２；復号された命令を実行するための１又は複数の命令実行コンポーネント１５４；必要な場合に命令実行のためにメモリにアクセスするためのメモリアクセスコンポーネント１５６；及び、実行された命令の結果を提供するためのライトバックコンポーネント１５８を含む。コンポーネントの１又は複数は、命令処理における１又は複数のレジスタ１６０にアクセスし、及び／又は、それを使用し得る。さらに、コンポーネントの１又は複数は、本発明の１又は複数の態様によれば、本明細書において記載されるような、テンソル処理（サブテンソルの生成及び／又は使用を含むが、これらに限定されない）、及び／又は、例えばニューラルネットワーク処理支援命令のニューラルネットワーク処理支援処理（又は、本発明の１又は複数の態様を使用し得る他の処理）において使用される１又は複数の他のコンポーネントの少なくとも一部を含み、又はそれに対するアクセスを有し得る。１又は複数の他のコンポーネントは、例えば、テンソルコンポーネント１７０及び／又はニューラルネットワーク処理支援コンポーネント１７２（及び／又は１又は複数の他のコンポーネント）を含み得る。

【0032】

本発明の１又は複数の態様によれば、コンピューティング環境内の処理は、専用プロセッサ（例えばニューラルネットワークプロセッサ１０５）などのプロセッサによる使用のために改善されたデータフォーマットを提供することによって促進される。例えば、設計されたデータフォーマットがプロセッサに提供される。例として、シストリック及び単一命令複数データ（ＳＩＭＤ）ユニット（２Ｄ／３Ｄコンピュートアレイ）が、同様のディメンションにおける入力オペランドのサブテンソルを提供することによって収容される。一例において、テンソル（例えば４Ｄテンソル）が再フォーマットされ、それにより、テンソルを表すサブテンソルが、メモリユニットの境界（例えばメモリページ境界）上で開始し、テンソルの情報がサブテンソル、例えば、元のテンソルの１又は複数の２Ｄサブテンソル（２Ｄタイル又は２Ｄテンソルとも称される）において再構成される。２Ｄタイルのディメンションにおけるテンソルのディメンションは、そのディメンションにおいて、次のフルタイルまで丸められる（例えば、固定サイズ２Ｄテンソルを生成するためにパディングが提供される）。これにより、メモリユニット境界（例えばページ境界）上の各タイルへのアクセスを可能にし、任意の２Ｄタイルのアドレスのコンピュテーションを促進する。メモリユニット境界上のアライメントを提供することによって、アドレス変換要求が低減され、データ転送速度が増加される。さらに、一例において、各２Ｄタイルは、アクセラレータメモリにおける１つのメモリユニット（例えばページ）に一度にアクセスする、ダイレクトメモリアクセス（ＤＭＡ）のような操作を介してロードされ得る。これは、帯域幅を著しく増加させる。

【0033】

一例において、４Ｄテンソルを表すために、複数の２Ｄテンソル（例えば、１つの特定の例において９個の２Ｄテンソル）が生成される。さらに一例において、例として３個の２Ｄテンソルが３Ｄテンソルを生成し、例として３個の３Ｄテンソルが４Ｄテンソルを生成する。したがって、一例において４Ｄテンソルが複数の２Ｄテンソルに再フォーマットされ、その各々はメモリユニットの境界上、例えばメモリページ境界上で開始する。様々なディメンションのテンソルが本明細書に記載されているが、他のディメンションのテンソルが生成され、再フォーマットされ、及び／又は、他のテンソルを表現可能であり得る。

【0034】

２Ｄテンソルの一例が図２Ａに図示される。示されるように、２Ｄテンソル（２Ｄサブテンソル、サブテンソル、又は２Ｄタイルとも称される）２００がメモリ境界上で開始し、複数の４Ｋページ（例えば、２Ｄテンソルにおいて番号付けされたページ０～１１）などの複数のメモリユニットを使用する。各ページは、予め選択された数（例えば、３２）の行２０２を含み、各行は、予め選択された数の要素、例えば６４個の要素を含む。行が予め選択された数の要素より少ないデータを有する場合、例えば、ゼロ又は空白などの予め指定された値でパディングされる２０４。さらに、予め選択された数の行を提供するために十分なデータが無い場合、追加のパディング２０６（例えば、予測不可能なデータ、既存の値、任意の値など）が提供され、図２Ａに示されるように、追加のパディングされた行が追加される。

【0035】

２Ｄテンソルの設計されたデータフォーマットは、容易に計算可能なアドレス、及び、メモリ的に隣接するテンソルユニットを提供し、これにより、複数の複雑なアドレス計算のオーバヘッドの低減を可能にする。これにより、ハードウェアによってサポートされたブロックロード／格納操作及びエンジンのプリフェッチを支援し、アクセラレータ（例えば、ニューラルネットワークプロセッサ１０５）への有効データ帯域幅（例えば、２ｘ～５ｘ）を著しく増加させる。

【0036】

示されるように、複数（例えば、特定の一例において９）の２Ｄテンソルが、４Ｄテンソルを表すために使用され、各２Ｄテンソルは、１又は複数のメモリユニット（例えば、メモリページ）を使用し得る。

【0037】

本発明の態様による、２Ｄテンソルの作成に関連する更なる詳細が図２Ｂ～図２Ｃを参照して記載される。一例において、この処理は、汎用プロセッサ１０４などのプロセッサによって実行される。この処理は、例として、２Ｄ、３Ｄ又は４Ｄテンソルを生成することが可能であるが、そのような例に限定されない。一例において、処理は、本明細書において記載される４Ｄフィーチャデータレイアウトに基づいてテンソルを作成する。

【0038】

図２Ｂを参照すると、一例において、ｅ２＿ｌｉｍｉｔは、ｃｅｉｌ（Ｅ２／３２）＊３２に等しくなるようにセットされ（２５２）、作成される２Ｄテンソルが、例えば、３２行を有することを示し、Ｅ２がディメンション２インデックスサイズを指す。さらに、ｅ１＿ｌｉｍｉｔがｃｅｉｌ（Ｅ１／６４）＊６４に等しくセットされ（２５４）、生成される２Ｄテンソルが、例えば、行あたり６４個の要素を有することを示し、Ｅ１がディメンション１インデックスサイズを指す。インデックスｅ４ｘがゼロに初期化される２５６。

【0039】

初期化の後に、ｅ４ｘがＥ４より小さいかどうかについて決定され（２５８）、Ｅ４はディメンション４インデックスサイズを指す。ｅ４ｘがＥ４より小さくない場合、処理が終了し２６０；さもなければ、処理が継続し、インデックスｅ３ｘをゼロに初期化する２６２。ｅ３ｘがＥ３より小さいかどうかについて決定され（２６４）、Ｅ３はディメンション３インデックスサイズを指す。ｅ３ｘがＥ３より小さくない場合、ｅ４ｘが例えば１だけインクリメントされるように処理が反復され（２６６）、処理が２５８に継続する。しかしながら、ｅ３ｘがＥ３より小さい場合、インデックスｅ２ｘがゼロに初期化される２６８。ｅ２ｘがｅ２＿ｌｉｍｉｔより小さいかどうかについて決定される（２７０）。ｅ２ｘがｅ２＿ｌｉｍｉｔより小さくない場合、ｅ３ｘが例えば１だけインクリメントされるように処理が反復され２７２、処理が２６４に継続する。ｅ２ｘがｅ２＿ｌｉｍｉｔより小さい場合、インデックスｅ１ｘがゼロに初期化される２７４。

【0040】

図２Ｃを参照すると、ｅ１ｘがｅ１＿ｌｉｍｉｔより小さいかどうかについて決定される（２７６）。ｅ１ｘがｅ１＿ｌｉｍｉｔより小さくない場合、ｅ２ｘが例えば１だけインクリメントされるように処理が反復し（２７８）、処理が２７０に継続する（図２Ｂ）。ｅ１ｘがｅ１＿ｌｉｍｉｔより小さい場合、ａｒｒ＿ｐｏｓ（例えば、行における位置）が、（Ｅ３＊ｅ２＿ｌｉｍｉｔ＊ｅ１＿ｌｉｍｉｔ＊ｅ４ｘ）＋（ｅ２＿ｌｉｍｉｔ＊ｅ３ｘ＊６４）＋（ｅ２ｘ＊６４）＋（

【数1】

＊ｅ２＿ｌｉｍｉｔ＊Ｅ３＊６４）＋（ｅ１ｘ ｍｏｄ ６４）に等しくなるようにセットされ、ここで、

【数2】

は床（ｆｌｏｏｒ）関数である２８２。

【0041】

ｅ２ｘがＥ２より大きいか、又はそれに等しいかについて決定される（２８４）。ｅ２ｘがＥ２より小さい場合、ｅ１ｘがＥ１より大きいか、又は、それに等しいかについて更に決定される（２８６）。ｅ１ｘがＥ１より小さい場合、値がｉｎｐｕｔ＿ａｒｒａｙ［ｅ４ｘ］［ｅ３ｘ］［ｅ２ｘ］［ｅ１ｘ］に等しくセットされる２８８；ｅ１ｘがＥ１より大きい、又は、それに等しい場合、値＝Ｅ１ｐａｄである２９０（行がパディングされる）。更に、ｅ２ｘがＥ２より大きい、又は、それに等しい場合（２８４）、値＝Ｅ２ｐａｄである２９２（パディングされる追加の行が２Ｄテンソルに追加される）。値をセットした後に、ＯｕｔｐｕｔＴｅｎｓｏｒ［ａｒｒ＿ｐｏｓ］＝値である２９４。更に、インデックスｅ１ｘが、例えば１だけインクリメントされ（２９６）、処理が２７６に継続する。

【0042】

更なる例として、テンソルが、本明細書に記載される４Ｄカーネルレイアウトに基づいて生成され得る。２Ｄ、３Ｄ、４Ｄ及び／又は他のテンソルを生成するために、図２Ｂ～図２Ｃの処理が使用されるが、２８２がｋｅｍ＿ｐｏｓ＝（

【数3】

＊Ｅ４＊Ｅ３＊ｅ２＿ｌｉｍｉｔ＊６４）＋（ｅ４ｘ＊Ｅ３＊ｅ２＿ｌｉｍｉｔ＊６４）＋（ｅ３ｘ＊ｅ２＿ｌｉｍｉｔ＊６４）＋（ｅ２ｘ＊６４）＋（ｅ１ｘ ｍｏｄ６４）で置き換えられ、２９４がＯｕｔｐｕｔＴｅｎｓｏｒ ［ｋｅｒｎ＿ｐｏｓ］＝ｖｌａｕｅで置き換えられることを除く。

【0043】

一例において、例えば４Ｄテンソルを再フォーマットするべく、例えば幾つかの２Ｄテンソルが生成され、数は、いくつの行が各２Ｄテンソルに含まれるか及び行あたりいくつの要素が各２Ｄテンソルに含まれるかに依存する。複数の２Ｄテンソルが、例えば３Ｄテンソルを生成し、例として、複数の３Ｄテンソルが、例えば４Ｄテンソルを生成する。

【0044】

上の処理を使用して、再フォーマットされたテンソルを表す少なくとも１つのサブテンソルが定義される。例えば、元の４Ｄテンソルが６５個の要素を行に有する場合、２個の２Ｄサブテンソルが生成され、第１のものは、６４個の要素を有する行を含み、第２のものは、第６５の要素及びパディングを有する行を含む。他の変形が可能である。

【0045】

生成されたテンソル（例えば、元のテンソル（例えば４Ｄテンソル）の再フォーマットから生成されたサブテンソル）は、１又は複数の命令によって使用され得る。例えば、アドレス情報（例として、例えば、４Ｄテンソル又は２Ｄテンソルの開始）、テンソルのディメンションなどが、正確なフォーマットで（例えば、メモリのページにおける正確な位置で）データをロード／格納するのに使用するために、及び、データを（例えば、テンソルコンピュテーションにおいて）使用するために、汎用プロセッサから専用プロセッサ（例えばニューラルネットワーク１０５）へ転送される。他の実施形態において、汎用プロセッサが、生成されたサブテンソルを使用する。他の変形が可能である。

【0046】

本明細書において記載されるように、一例において、生成されたテンソルを使用するための命令（本明細書においてサブテンソルとも称される）は、ニューラルネットワーク処理支援命令である。一例において、命令が汎用プロセッサ（例えばプロセッサ１０４）上で開始され、命令によって指定された関数が、関数に応じて、汎用プロセッサ及び／又は専用プロセッサ（例えばニューラルネットワークプロセッサ１０５）のいずれか実行される。例えば、一例において、クエリ関数が汎用プロセッサ上で実行され、非クエリ関数が専用プロセッサ上で実行される。しかしながら、他の変形も可能である。関数が専用プロセッサ上で実行される場合（例えば、非クエリ関数であるか、又は、別の例において、１又は複数の選択された関数である）、例えば汎用プロセッサによって、ニューラルネットワークコンピュテーションにおいて使用されるテンソルデータに関連するメモリアドレス情報などの情報が、関数の実行において使用するために、特定用途向けプロセッサに提供される。専用プロセッサは、情報を取得し、関数を実行する。命令は次に汎用プロセッサ上で完了する。他の例において、１又は複数の汎用プロセッサ又は１又は複数の特定用途向けプロセッサ上で命令が開始され、実行され、完了される。他の変形が可能である。

【0047】

一例において、図３Ａを参照すると、ニューラルネットワーク処理支援命令３００は、拡張動作コード（オペコード）を用いてレジスタ及びレジスタ動作を示すＲＲＥフォーマットを有する。図３Ａに示されるように、一例において、ニューラルネットワーク処理支援命令３００は、ニューラルネットワーク処理支援動作を示す、動作コード（オペコード）フィールド３０２（例えば、ビット０－１５）を含む。一例において、命令のビット１６～３１は予約され、ゼロを含む。本明細書における説明において、命令及び／又は命令の関数、特定の位置、特定のフィールド、及び／又は、フィールドの特定のサイズが示される（例えば、特定のバイト及び／又はビット）。しかしながら、他の位置、フィールド、及び／又はサイズが提供され得る。更に、ビットを特定の値、例えば１又はゼロにセットすることが指定され得るが、これは単に例である。ビットは、セットされる場合、他の例において、反対の値又は別の値などの異なる値にセットされ得る。多くの変形例が可能である。

【0048】

一例において、命令は、命令によって暗黙に指定される複数の汎用レジスタを使用する。例えば、ニューラルネットワーク処理支援命令３００は、暗示されたレジスタ、汎用レジスタ０及び汎用レジスタ１を使用し、この例は、それぞれ、図３Ｂ及び図３Ｄを参照して説明される。

【0049】

図３Ｂを参照すると、一例において、汎用レジスタ０は、命令の完了時に更新され得る、関数コードフィールド及びステータスフィールドを含む。例として、汎用レジスタ０は、応答コードフィールド３１０（例えば、ビット０～１５）、例外フラグフィールド３１２（例えば、ビット２４～３１）、及び関数コードフィールド３１４（例えば、ビット５６～６３）を含む。更に、一例において、汎用レジスタ０のビット１６～２３及び３２～５５が予約され、ゼロを含む。１又は複数のフィールドが、命令によって実行される特定の関数によって使用される。一例において、すべてのフィールドがすべての関数によって使用されるわけではない。フィールドの各々は下で説明される。

【0050】

応答コード（ＲＣ）３１０：このフィールド（例えば、ビット位置０～１５）は応答コードを含む。ニューラルネットワーク処理支援命令の実行が、例えば１の条件コードで完了するとき、応答コードが格納される。無効入力条件に遭遇したとき、非ゼロ値が応答コードフィールドに格納され、これは、実行中に認識される無効入力条件の原因、及び、選択された条件コード、例えば１がセットされていることを示す。応答コードフィールドに格納されたコードは、一例において、以下のとおり定義される。

【0051】

応答コード 意味

【0052】

０００１ パラメータブロックバージョン番号によって指定されるパラメータブロックのフォーマットがモデルによってサポートされていない。

【0053】

０００２ 指定された関数が、マシン上に定義又はインストールされていない。

【0054】

００１０ 指定されたテンソルデータレイアウトフォーマットがサポートされていない。

【0055】

００１１ 指定されたテンソルデータ型がサポートされていない。

【0056】

００１２ 指定された単一テンソルディメンションが最大ディメンションインデックスサイズより大きい。

【0057】

００１３ 指定されたテンソルのサイズが最大テンソルサイズより大きい。

【0058】

００１４ 指定されたテンソルアドレスが４Ｋバイト境界上で整合されない。

【0059】

００１５ 関数特有の保存エリアアドレスが４Ｋバイト境界上で整合されない。

【0060】

Ｆ０００～ＦＦＦＦ 関数特有の応答コード。
これらの応答コードは特定の関数について定義される。

【0061】

例外フラグ（ＥＦ）３１２：このフィールド（例えば、ビット位置２４～３１）は、例外フラグを含む。例外条件が命令の実行中に検出される場合、対応する例外フラグコントロール（例えばビット）が例えば１にセットされ、さもなければ、コントロールは不変のままである。例外フラグフィールドは、命令の最初の呼び出しの前にゼロに初期化される。予約フラグは、命令の実行中に不変である。例外フラグフィールドに格納されたフラグは、一例において以下のとおり定義される。

【0062】

ＥＦ（ビット） 意味

【0063】

０ 範囲違反。
このフラグは、数値以外の値が入力テンソルにおいて検出されたか、又は、出力テンソルに格納されたときのいずれかにおいてセットされる。このフラグは、例えば、命令が条件コード、例えば０で完了するときにのみ有効である。

【0064】

１～７ 予約済み

【0065】

関数コード（ＦＣ）３１４：このフィールド（例えばビット位置５６～６３）は関数コードを含む。ニューラルネットワーク処理支援命令についての割り当てられた関数コードの例は図３Ｃに図示される。すべての他の関数コードは割り当てられていない。割り当てられていない、又は、インストールされていない関数コードが指定される場合、例えば０００２ ｈｅｘの応答コード及び例えば１の選択条件コードがセットされる。このフィールドは、実行中に修正されない。

【0066】

示されるように、汎用レジスタ０に加えて、ニューラルネットワーク処理支援命令はまた、汎用レジスタ１を使用し、この例は図３Ｄにおいて図示される。例として、２４ビットアドレス指定モードにおけるビット４０～６３、３１ビットアドレス指定モードにおけるビット３３～６３、又は、６４ビットアドレス指定モードにおけるビット０～６３は、パラメータブロック３２０のアドレスを含む。汎用レジスタ１の内容は、例えば、ストレージにおけるパラメータブロックの左端のバイトの論理アドレスを指定する。パラメータブロックは、ダブルワード境界上で指定され、さもなければ、仕様例外が認識される。すべての関数について、汎用レジスタ１の内容は修正されない。

【0067】

アクセスレジスタモードにおいて、アクセスレジスタ１は、パラメータブロック、入力テンソル、出力テンソル、及び関数特有の保存エリアを含むアドレス空間を例として指定する。

【0068】

一例において、パラメータブロックは、実行される命令によって指定される関数に依存する異なるフォーマットを有し得る。例えば、クエリ関数は、１つのフォーマットのパラメータブロックを有し、命令の他の関数は、別のフォーマットのパラメータブロックを有する。別の例において、すべての関数は、同一のパラメータブロックフォーマットを使用する。他の変形例も可能である。

【0069】

ＮＮＰＡ－Ｑｕｅｒｙ Ａｖａｉｌａｂｌｅ Ｆｕｎｃｔｉｏｎｓ（ＱＡＦ）演算などのクエリ関数によって使用されるパラメータブロックの一例が図３Ｅを参照して説明される。示されるように、一例において、ＮＮＰＡ－Ｑｕｅｒｙ Ａｖａｉｌａｂｌｅ Ｆｕｎｃｔｉｏｎｓパラメータブロック３３０は、例えば以下を含む。

【0070】

インストールされる関数のベクトル３３２：パラメータブロックのこのフィールド（例えば、バイト０～３１）は、インストールされる関数のベクトルを含む。一例において、インストールされる関数のベクトルのビット０～２５５は、それぞれ、ニューラルネットワーク処理支援命令の関数コード０～２５５に対応する。ビットが例えば１であるとき、対応する関数はインストールされ、さもなければ、関数はインストールされない。

【0071】

インストールされるパラメータブロックフォーマットのベクトル３３４：パラメータブロックのこのフィールド（例えば、バイト３２－４７）は、インストールされるパラメータブロックフォーマットのベクトルを含む。一例において、インストールされるパラメータブロックフォーマットのベクトルのビット０～１２７は、ニューラルネットワーク処理支援命令の非クエリ関数についてのパラメータブロックフォーマット０～１２７に対応する。ビットが例えば１であるとき、対応するパラメータブロックフォーマットがインストールされ、さもなければ、パラメータブロックフォーマットはインストールされない。

【0072】

インストールされるデータ型３３６：パラメータブロックのこのフィールド（例えばバイト４８～４９）は、インストールされるデータ型のベクトルを含む。一例において、インストールされるデータ型のベクトルのビット０～１５は、インストールされるデータ型に対応する。ビットが例えば１であるとき、対応するデータ型はインストールされ、さもなければ、データ型はインストールされない。例示的なデータ型は以下を含む（より多くの、より少ない、及び／又は、他のデータ型が可能である）。

【0073】

ビット データ型

【0074】

０ ＮＮＰデータタイプ１

【0075】

１～１５ 予約済み

【0076】

インストールされるデータレイアウトフォーマット３３８：パラメータブロックのこのフィールド（例えば、バイト５２～５５）は、インストールされるデータレイアウトフォーマットのベクトルを含む。一例において、インストールされるデータレイアウトフォーマットのベクトルのビット０～３１は、インストールされるデータレイアウトフォーマットに対応する。ビットが例えば１であるとき、対応するデータレイアウトフォーマットはインストールされ；さもなければ、データレイアウトフォーマットはインストールされない。例示的なデータレイアウトフォーマットは、以下を含む（より多くの、より少ない、及び／又は、他のデータ型が可能である）。

【0077】

ビット データレイアウトフォーマット

【0078】

０ ４Ｄフィーチャテンソル

【0079】

１ ４Ｄカーネルテンソル

【0080】

２－３１ 予約済み

【0081】

最大ディメンションインデックスサイズ３４０：パラメータブロックのこのフィールド（例えば、バイト６０～６３）は、例えば、任意の指定されたテンソルについての指定されたディメンションインデックスサイズにおける最大数の要素を指定する３２ビット符号なしバイナリ整数を含む。別の例において、最大ディメンションインデックスサイズは、任意の指定されたテンソルについて、指定されたディメンションインデックスサイズにおけるバイトの最大数を指定する。他の例もまた可能である。

【0082】

最大テンソルサイズ３４２：パラメータブロックのこのフィールド（例えばバイト６４～７１）は、例えば、テンソルフォーマットによって要求される任意のパッドバイトを含む任意の指定されたテンソルにおけるバイトの最大数を指定する３２ビット符号なしバイナリ整数を含む。別の例において、最大テンソルサイズは、テンソルフォーマットによって要求される任意のパディングを含む任意の指定されたテンソルにおける要素全体の最大数を指定する。他の例もまた可能である。

【0083】

インストールされたＮＮＰデータタイプ１変換ベクトル３４４：パラメータブロックのこのフィールド（例えば、バイト７２～７３）は、インストールされたＮＮＰデータタイプ１変換ベクトルを含む。一例において、インストールされたＮＮＰデータタイプ１変換ベクトルのビット０～１５は、インストールされたＮＮＰデータタイプ１フォーマットとの間のデータ型変換に対応する。ビットが１であるとき、対応する変換はインストールされ；さもなければ、変換はインストールされない。より多くの、より少ない、及び／又は、他の変換が指定され得る。

【0084】

ビット データ型

【0085】

０ 予約済み

【0086】

１ ＢＦＰ小フォーマット

【0087】

２ ＢＦＰ短フォーマット

【0088】

３～１５ 予約済み

【0089】

クエリ関数についてのパラメータブロックの一例が図３Ｅを参照して説明されるが、ＮＮＰＡ－Ｑｕｅｒｙ Ａｖａｉｌａｂｌｅ Ｆｕｎｃｔｉｏｎｓ演算を含むクエリ関数についてのパラメータブロックの他のフォーマットが使用され得る。フォーマットは、一例において、実行されるクエリ関数のタイプに依存し得る。更に、パラメータブロック及び／又はパラメータブロックの各フィールドは、より多くの、より少ない、及び／又は、他の情報を含み得る。

【0090】

クエリ関数についてのパラメータブロックに加えて、一例において、Ｎｅｕｒａｌ－Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ａｓｓｉｓｔ命令の非クエリ関数など、非クエリ関数についてのパラメータブロックフォーマットがある。ニューラルネットワーク処理支援命令の非クエリ関数などの非クエリ関数によって使用されるパラメータブロックの一例が、図３Ｆを参照して説明される。

【0091】

示されるように、一例において、例えばニューラルネットワーク処理支援命令の非クエリ関数によって採用されるパラメータブロック３５０は例えば以下を含む。

【0092】

パラメータブロックバージョン番号３５２：パラメータブロックのこのフィールド（例えば、バイト０～１）は、パラメータブロックのバージョン及びサイズを指定する。一例において、パラメータブロックバージョン番号のビット０～８が予約され、ゼロを含み、パラメータブロックバージョン番号のビット９～１５は、パラメータブロックのフォーマットを指定する符号なしバイナリ整数を含む。クエリ関数は、利用可能なパラメータブロックフォーマットを示す機構を提供する。指定されたパラメータブロックのサイズ又はフォーマットがモデルによってサポートされないとき、例えば、０００１ ｈｅｘの応答コードが汎用レジスタ０に格納され、命令は、条件コード、例えば条件コード１をセットすることによって完了する。パラメータブロックバージョン番号は、プログラムによって指定され、命令の実行中に修正されない。

【0093】

モデルバージョン番号３５４：パラメータブロックのこのフィールド（例えば、バイト２）は、命令（例えば、特定の非クエリ関数）を実行するモデルを識別する符号なしバイナリ整数である。継続フラグ（下で説明される）が１であるとき、モデルバージョン番号は、パラメータブロックの継続状態バッファフィールド（下で説明される）の内容を解釈して演算を再開することを目的とする演算に対する入力であり得る。

【0094】

継続フラグ３５６：パラメータブロックのこのフィールド（例えば、ビット６３）は、例えば１のとき、演算が部分的に完了することを示し、継続状態バッファの内容が演算を再開するために使用され得る。プログラムは、継続フラグをゼロに初期化し、命令が演算を再開する目的で再実行される場合に継続フラグを修正しない；さもなければ、結果は予測不可能である。

【0095】

継続フラグが演算の最初にセットされ、パラメータブロックの内容が最初の呼び出しから変化している場合、結果は予測不可能である。

【0096】

関数特有の保存エリアアドレス３５８：パラメータブロックのこのフィールド（例えば、バイト５６～６３）は、関数特有の保存エリアの論理アドレスを含む。一例において、関数特有の保存エリアアドレスは、４Ｋバイト境界上で整合される；さもなければ、例えば００１５ ｈｅｘの応答コードが汎用レジスタ０にセットされ、命令は、例えば１の条件コードで完了する。アドレスは、現在のアドレス指定モードの影響を受ける。関数特有の保存エリアのサイズは関数コードに依存する。

【0097】

関数特有の保存エリアの全体がプログラムイベント記録（ＰＥＲ）ストレージエリア指定と重なるとき、適用可能であるとき、ＰＥＲストレージ変更イベントが関数特有の保存エリアについて認識される。関数特有の保存エリアの一部のみがＰＥＲストレージエリア指定と重なるとき、以下のどれが発生するかについてはモデル依存である。

【0098】

＊ 適用可能であるとき、ＰＥＲストレージ変更イベントが関数特有の保存エリアの全体について認識される。

【0099】

＊ 適用可能であるとき、ＰＥＲストレージ変更イベントが、格納された関数特有の保存エリアの一部について認識される。

【0100】

パラメータブロック全体がＰＥＲストレージエリア指定と重なるとき、適用可能であるとき、ＰＥＲストレージ変更イベントがパラメータブロックについて認識される。パラメータブロックの一部のみがＰＥＲストレージエリア指定と重なるとき、以下のどれが発生するかはモデル依存である。

【0101】

＊ 適用可能であるとき、ＰＥＲストレージ変更イベントがパラメータブロック全体について認識される。

【0102】

＊ 適用可能であるとき、ＰＥＲストレージ変更イベントが、格納されたパラメータブロックの一部について認識される。

【0103】

適用可能であるとき、ＰＥＲゼロアドレス検出イベントがパラメータブロックについて認識される。ゼロアドレス検出は、一例において、テンソルアドレス又は関数特有の保存エリアアドレスを適用しない。

【0104】

出力テンソル記述子（例えば、１～２）３６０／入力テンソル記述子（例えば、１～３）３６５：テンソル記述子の一例が図３Ｇを参照して説明される。一例において、テンソル記述子３６０、３６５は以下を含む。

【0105】

データレイアウトフォーマット３８２：テンソル記述子のこのフィールド（例えばバイト０）はデータレイアウトフォーマットを指定する。有効なデータレイアウトフォーマットは例えば、以下を含む（より多くの、より少ない、及び／又は、他のデータレイアウトフォーマットが可能である）。

【0106】

フォーマット 説明 アライメント（バイト）

【0107】

０ ４Ｄフィーチャテンソル ４０９６

【0108】

１ ４Ｄカーネルテンソル ４０９６

【0109】

２～２５５ 予約済み

【0110】

サポートされない、又は予約されたデータレイアウトフォーマットが指定される場合、例えば００１０ ｈｅｘの応答コードが汎用レジスタ０に格納され、命令は、条件コード、例えば１をセットすることによって完了する。

【0111】

データ型３８４：このフィールド（例えば、バイト１）は、テンソルのデータ型を指定する。サポートされるデータ型の例が下で説明される（より多くの、より少ない、及び／又は、他のデータ型が可能である）。

【0112】

値 データ型 データサイズ（ビット）

【0113】

０ ＮＮＰデータタイプ１ １６

【0114】

１～２５５ 予約済み

【0115】

サポートされない、又は予約されたデータ型が指定される場合、例えば００１１ ｈｅｘの応答コードが汎用レジスタ０に格納され、命令は条件コード、例えば１をセットすることによって完了する。

【0116】

ディメンション１～４インデックスサイズ３８６：ディメンションインデックスサイズ１～４（例えば、Ｅ４、Ｅ３、Ｅ２、Ｅ１）は、４Ｄテンソルの形状をまとめて指定する。各ディメンションインデックスサイズは、ゼロより大きく、最大ディメンションインデックスサイズ（３４０、図３Ｅ）より小さい又はそれに等しい；さもなければ、例えば００１２ ｈｅｘの応答コードが汎用レジスタ０に格納され、命令は条件コード、例えば１をセットすることによって完了する。総テンソルサイズは、最大テンソルサイズ（３４２、図３Ｅ）より小さい又はそれに等しい；さもなければ、応答コード、例えば００１３ ｈｅｘが汎用レジスタ０に格納され、命令は、条件コード、例えば１をセットすることによって完了する。

【0117】

一例において、ＮＮＰＡデータタイプ１の要素を有する４Ｄフィーチャテンソルにおけるバイトの数（すなわち、総テンソルサイズ）を判定するために、以下に示される、ディメンションインデックス４＊ディメンションインデックス３＊ｃｅｉｌ（ディメンションインデックス２／３２）＊３２＊ｃｅｉｌ（ディメンションインデックス１／６４）＊６４＊２が使用される。

【0118】

テンソルアドレス３８８：テンソル記述子のこのフィールド（例えばバイト２４～３１）は、テンソルの左端バイトの論理アドレスを含む。アドレスは、現在のアドレス指定モードの影響を受ける。

【0119】

アドレスが、関連付けられたデータレイアウトフォーマットの境界上で整合されていない場合、例えば００１４ ｈｅｘの応答コードが汎用レジスタ０に格納され、命令は、条件コード、例えば１をセットすることによって完了する。

【0120】

アクセスレジスタモードにおいて、アクセスレジスタ１は、ストレージにおけるすべてのアクティブ入力及び出力テンソルを含むアドレス空間を指定する。

【0121】

図３Ｆに戻ると、パラメータブロック３５０は更に、一例において、本明細書において説明されるように、特定の関数によって使用され得る関数特有のパラメータ１－５を含む（３７０）。

【0122】

更に、パラメータブロック３５０は、一例において、この命令の演算が再開される場合に使用されるデータ（又は、データの位置）を含む継続状態バッファフィールド３７５を含む。

【0123】

演算への入力として、パラメータブロックの予約フィールドはゼロを含むべきである。演算が終了するとき、予約フィールドは、ゼロとして格納され得るか、又は、不変のままであり得る。

【0124】

非クエリ関数についてのパラメータブロックの一例が図３Ｆを参照して説明されるが、ニューラルネットワーク処理支援命令の非クエリ関数を含む、非クエリ関数についてのパラメータブロックの他のフォーマットが使用され得る。フォーマットは、一例において、実行される関数のタイプに依存し得る。更に、テンソル記述子の一例が図３Ｇを参照して説明されるが、他のフォーマットが使用され得る。更に、入力及び出力テンソルについての異なるフォーマットが使用され得る。他の変形が可能である。

【0125】

ニューラルネットワーク処理支援命令の一実施形態によってサポートされる様々な関数に関する更なる詳細が下で説明される。

【0126】

関数コード０：ＮＮＰＡ－ＱＡＦ（Ｑｕｅｒｙ Ａｖａｉｌａｂｌｅ Ｆｕｎｃｔｉｏｎｓ）

【0127】

ニューラルネットワーク処理支援（ＮＮＰＡ）クエリ関数は、例えば、インストールされる関数、インストールされるパラメータブロックフォーマット、インストールされるデータ型、インストールされたデータレイアウトフォーマット、最大ディメンションインデックスサイズ、及び最大テンソルサイズの可用性など、選択された情報を示すための機構を提供する。情報は、パラメータブロック（例えば、パラメータブロック３３０）などの選択された位置において取得及び配置される。演算が終了するとき、パラメータブロックの予約フィールドは、ゼロとして格納され得、又は、不変のままであり得る。

【0128】

クエリ関数の一実施形態の実行において、汎用プロセッサ１０４などのプロセッサは、ニューラルネットワークプロセッサ１０５などのニューラルネットワークプロセッサの特定のモデルなどの選択されたプロセッサの特定のモデルに関連する情報を取得する。プロセッサ又はマシンの特定のモデルは特定の能力を有する。プロセッサ又はマシンの別のモデルは、より多くの、より少ない、及び／又は、異なる能力を有し得、及び／又は、より多くの、より少ない、及び／又は、異なる能力を有する異なる世代（例えば、現在又は将来の世代）のものであり得る。取得された情報は、パラメータブロック（例えば、パラメータブロック３３０）、又は、更なる処理においてこの情報を使用し得る１又は複数のアプリケーションからアクセス可能である、及び／又は、それ共に使用するための他の構造に配置される。一例において、パラメータブロックのパラメータブロック及び／又は情報はメモリに維持される。他の実施形態において、パラメータブロック及び／又は情報は、１又は複数のハードウェアレジスタにおいて維持され得る。別の例として、クエリ関数は、オペレーティングシステムによって実行される特権演算であり得、これは、アプリケーションプログラムインタフェースが、この情報を、アプリケーション又は非特権プログラムに対して利用可能にするように利用可能にする。なお更なる例において、クエリ関数は、ニューラルネットワークプロセッサ１０５などの専用プロセッサによって実行される。他の変形が可能である。

【0129】

情報は、例えば、クエリ関数を実行するプロセッサのファームウェアによって取得される。ファームウェアは、特定のプロセッサ（例えば、ニューラルネットワークプロセッサ）の特定のモデルの属性の知識を有する。この情報は例えば、制御ブロックレジスタ及び／又はメモリに格納され得、及び／又は、さもなければ、クエリ関数を実行するプロセッサからアクセス可能であり得る。

【0130】

取得された情報は、例えば、特定のプロセッサの選択されたモデルの、１又は複数のインストール又はサポートされるデータ型、１又は複数のインストール又はサポートされるデータレイアウトフォーマット、及び／又は、１又は複数のインストール又はサポートされるデータサイズを含む、例えば、特定のプロセッサの少なくとも１又は複数のデータ属性に関するモデル依存詳細情報を含む。クエリ関数（例えば、ＮＮＰＡ－ＱＡＦ関数）の実行が完了するとき、例として条件コード０がセットされる。条件コード１、２及び３は、クエリ関数に適用可能でない。取得された情報に関連する更なる情報が下で説明される。

【0131】

示されるように、一例において、取得される情報は、例えばニューラルネットワークプロセッサの特定のモデルの１又は複数のデータ属性についてのモデル依存情報を含む。データ属性の一例は、ニューラルネットワークプロセッサのインストールされたデータ型である。例えば、ニューラルネットワークプロセッサ（又は他のプロセッサ）の特定のモデルが、例として、ＮＮＰデータタイプ１データ型（ニューラルネットワーク処理データタイプ１データ型とも称される）及び／又は他のデータ型などの１又は複数のデータ型をサポートし得る。ＮＮＰデータタイプ１データ型は、例えば、深層学習ネットワークの正確度を維持すること；丸めモード及びコーナーケースの処理を単純化する非正規フォーマットを排除すること；算術演算についての最も近い値への自動丸め；及び、無限及び非数（ＮａＮ）の特殊なエンティティが１つの値（ＮＩＮＦ）に組み合わされ、算術演算によって受け入れられ処理されることを含む複数の利点を深層学習訓練及び推論計算に提供する１６ビット浮動小数点フォーマットである。ＮＩＮＦは、指数オーバーフロー及び無効な演算（ゼロによる除算など）についてのより良いデフォルトを提供する。これにより、多くのプログラムが、そのようなエラーを隠すことなく、且つ専用の例外ハンドラを使用することなく、実行を継続することが可能となる。他のモデル依存データ型も可能である。

【0132】

ＮＮＰデータタイプ１データ型のフォーマットの一例が図４に図示される。図示されるように、一例において、ＮＮＰデータタイプ１データは、例えば、符号４０２（例えばビット０）、指数＋３１ ４０４（例えばビット１～６）、及び、端数４０６（例えば、ビット７～１５）を含むフォーマット４００で表され得る。

【0133】

ＮＮＰデータタイプ１フォーマットの例示的な特性が下に図示される。

【0134】

特性 ＮＮＰデータタイプ１

【0135】

フォーマット長（ビット） １６ビット

【0136】

バイアス指数長（ビット） ６ビット

【0137】

端数長（ビット） ９ビット

【0138】

精度（ｐ） １０ビット

【0139】

最大左単位表示指数（Ｅｍａｘ） ３２

【0140】

最小左単位表示指数（Ｅｍｉｎ） －３１

【0141】

左単位表示（ＬＵＶ）バイアス ３１

【0142】

Ｎｍａｘ （１－２^－９）×２^３３≒８．６×１０^９

【0143】

Ｎｍｉｎ （１＋２^－９）×２^－３１≒４．６×１０^－１０

【0144】

Ｄｍｉｎ ―――

【0145】

ここで、≒は、値が近似値であることを示し、Ｎｍａｘは、（大きさにおいて）最大の表現可能な有限数であり、Ｎｍｉｎは、（大きさにおいて）最小の表現可能な数である。

【0146】

ＮＮＰデータタイプ１データ型に関連する更なる詳細は下で説明される。

【0147】

バイアス指数：指数を符号なしの数として表現することを可能にするために使用されるバイアスは上で示される。バイアス指数は、バイナリ浮動小数点フォーマットの特性と類似しているが、ＮＮＰデータタイプ１データ型のクラスを参照して下で説明されるように、すべてゼロ及びすべて１のバイアス指数に対して特殊な意味が付与されていないことを除く。

【0148】

仮数：ＮＮＰデータタイプ１数の２進小数点は、左端の端数ビットの左であるとみなされる。２進小数点の左には、正規数については１、ゼロについてはゼロとみなされる、暗黙の単位ビットがある。左に付加された暗黙の単位ビットを有する端数は、数の仮数である。

【0149】

通常のＮＮＰデータタイプ１の値は、仮数を、非バイアス指数乗した基数２で乗算したものである。

【0150】

非ゼロ数の値：非ゼロ数の値が下で示される。

【0151】

数クラス 値

【0152】

正規数 ±２^ｅ－３１ ×（１．ｆ）

【0153】

ここで、ｅは、１０進数で示されるバイアス指数であり、ｆは２進数の端数である。

【0154】

一実施形態において、数値及び関連する非数値エンティティを含む、ＮＮＰデータタイプ１データの３つのクラスがある。各データ項目は、符号、指数、及び仮数を含む。指数は、すべてのバイアス指数が負でない符号なし数であり、最小バイアス指数がゼロであるようにバイアスされる。仮数は、２進小数点の左に明示的な端数及び暗黙的な単位ビットを含む。符号ビットは、正の場合ゼロであり、負の場合１である。

【0155】

許容されるすべての非ゼロ有限数は、固有のＮＮＰデータタイプ１表現を有する。同一の値について複数の表現を可能にし得る数である非正規数が無く、非正規算術演算が無い。３つのクラスは、例えば以下を含む。

【0156】

データクラス 符号 バイアス指数 単位ビット＊ 端数

【0157】

ゼロ ± ０ ０ ０

【0158】

正規数 ± ０ １ 非０

【0159】

正規数 ± 非０、すべてが１でない １ 任意

【0160】

正規数 ± すべて１ すべてが１でない

【0161】

ＮＩＮＦ ± すべて１ すべて１

【0162】

ここで、－は、該当しないことを示し、＊は、単位ビットが暗黙であることを示し、ＮＩＮＦは、数字でない、又は無限である。

【0163】

クラスの各々に関する更なる詳細が下で説明される。

【0164】

ゼロ：ゼロは、ゼロのバイアス指数及びゼロ端数を有する。暗黙の単位ビットはゼロである。

【0165】

正規数：正規数は、任意の値のバイアス指数を有し得る。バイアス指数が０であるとき、端数は非ゼロである。バイアス指数がすべて１であるとき、端数はすべて１でない。他のバイアス指数の値は、任意の端数値を有し得る。暗黙の単位ビットは、すべて正規数である場合、１である。

【0166】

ＮＩＮＦ：ＮＩＮＦが、すべて１のバイアス指数、及び、すべて１の端数によって表される。ＮＩＮＦは、ＮＮＰデータタイプ１における表現可能な値の範囲（すなわち、６個の指数ビット及び９個の端数ビットを有する、深層学習について設計された１６ビット浮動小数点）にない値を表す。通常、ＮＩＮＦは、最後まで表示されたままであるように、計算中に伝播されるだけである。

【0167】

ＮＮＰデータタイプ１データ型は、一例においてサポートされるが、他のモデル依存の専用又は非標準データ型、及び、幾つか例を挙げると、ＩＥＥＥ７５４短精度、バイナリ浮動小数点１６ビット、ＩＥＥＥ半精度浮動小数点、８ビット浮動小数点、４ビット整数フォーマット、及び／又は、８ビット整数フォーマットを含むがそれらに限定されない１又は複数の標準データ型がサポートされ得る。これらのデータフォーマットは、ニューラルネットワーク処理について異なる品質を有する。例として、より小さいデータ型（例えば、より少ないビット）は、より速く処理でき、より少ないキャッシュ／メモリを使用し、より大きいデータ型は、ニューラルネットワークにおいて、より高い正確度の結果を提供する。サポートされるデータ型は、クエリパラメータブロックにおいて（例えば、パラメータブロック３３０のインストールされたデータ型フィールド３３６において）１又は複数の割り当てられたビットを有し得る。例えば、特定のプロセッサによってサポートされるモデル依存の専用の又は非標準のデータ型は、インストールされたデータ型フィールドにおいて示されるが、標準のデータ型は示されない。他の実施形態において、１又は複数の標準のデータ型も示される。他の変形が可能である。

【0168】

１つの特定の例において、インストールされたデータ型フィールド３３６のビット０がＮＮＰデータタイプ１データ型について予約され、例えば１にセットされるとき、プロセッサがＮＮＰデータタイプ１をサポートすることを示す。例として、インストールされたデータ型のビットベクトルは、ビットが各データ型に割り当てられる、最大１６のデータ型を表すように構成される。しかしながら、他の実施形態におけるビットベクトルは、より多くの、又はより少ないデータ型をサポートし得る。更に、１又は複数のビットがデータ型に割り当てられるベクトルが構成され得る。多くの例が可能であり、及び／又は、より多くの、より少ない、及び／又は、他のデータ型が、ベクトルにおいてサポートされ、及び／又は示され得る。

【0169】

一例において、クエリ関数は、モデル依存プロセッサ上にインストールされたデータ型のインジケーションを取得し、例えば、パラメータブロック３３０のインストールされたデータ型フィールド３３６において１又は複数のビットをセットすることによって、パラメータブロックにインジケーションを配置する。更に、一例において、クエリ関数は、インストールされたデータレイアウトフォーマット（別のデータ属性）のインジケーションを取得し、例えば、インストールされたデータレイアウトフォーマットフィールド３３８において１又は複数のビットをセットすることによって、パラメータブロックに情報を配置する。例示的なデータレイアウトフォーマットは、例えば、４Ｄフィーチャテンソルレイアウト及び４Ｄカーネルテンソルレイアウトを含む。４Ｄフィーチャテンソルレイアウトは、一例において、本明細書において示される関数によって使用され、一例において、畳み込み関数は４Ｄカーネルテンソルレイアウトを使用する。これらのデータレイアウトフォーマットは、ニューラルネットワーク処理支援命令の関数の実行における処理効率を増加させる方式で、データをテンソルについてのストレージ内に配置する。例えば、効率的に演算するべく、ニューラルネットワーク処理支援命令は、特定のデータレイアウトフォーマットにおいて提供される入力テンソルを使用する。例のレイアウトが提供されるが、より多くの、より少ない、及び／又は、他のレイアウトが、本明細書において説明される関数及び／又は他の関数に提供され得る。

【0170】

特定のプロセッサモデルについてのレイアウトの使用又は可用性は、インストールされたデータレイアウトフォーマット（例えば、パラメータブロック３３０のフィールド３３８）のベクトルによって提供される。ベクトルは例えば、どのレイアウトがサポートされるかをＣＰＵがアプリケーションに伝えることを可能にする、インストールされたデータレイアウトフォーマットのビットベクトルである。例えば、ビット０が４Ｄフィーチャテンソルレイアウトについて予約され、例えば１にセットされるとき、プロセッサが４Ｄフィーチャテンソルレイアウトをサポートすることを示し；ビット１が４Ｄカーネルテンソルレイアウトについて予約され、例えば１にセットされるとき、プロセッサが４Ｄカーネルテンソルレイアウトをサポートすることを示す。一例において、インストールされたデータレイアウトフォーマットのビットベクトルは、ビットが各データレイアウトに割り当てられる、最大１６のデータレイアウトを表すように構成される。しかしながら、他の実施形態におけるビットベクトルは、より多くの、又はより少ないデータレイアウトをサポートし得る。更に、１又は複数のビットがデータレイアウトに割り当てられるベクトルが構成され得る。多くの例が可能である。４Ｄフィーチャテンソルレイアウト及び４Ｄカーネルテンソルレイアウトに関する更なる詳細が下で説明される。同様に、性能を最適化するために、他のレイアウトがここで、又は将来に使用され得る。

【0171】

一例において、ニューラルネットワーク処理支援命令は、４Ｄテンソル、すなわち、４ディメンションのテンソルを用いて演算する。これらの４Ｄテンソルは、本明細書において説明される汎用入力テンソルから、例えば行優先で取得され、すなわち、メモリアドレスが増加する順序でテンソル要素を列挙するとき、Ｅ１と呼ばれる、より内側のディメンションが、０から開始してＥ１インデックスサイズ－１までＥ１インデックスサイズ値を通じて最初にステップアップされ、その後、Ｅ２ディメンションのインデックスが増加され、Ｅ１ディメンションを通じたステップが反復される。Ｅ４ディメンションと呼ばれるより外側のディメンションのインデックスが最後に増加される。

【0172】

より低い数のディメンション（例えば、３Ｄ又は１Ｄテンソル）を有するテンソルは、４Ｄテンソルとして表され、４Ｄテンソルの１又は複数のディメンションは、１にセットされた元のテンソルディメンションを超える。

【0173】

ディメンションＥ４、Ｅ３、Ｅ２、Ｅ１を有する行優先汎用４Ｄテンソルを４Ｄフィーチャテンソルレイアウト（本明細書において、ＮＮＰＡデータレイアウトフォーマット０ ４Ｄフィーチャテンソルとも称される）に変換することが本明細書において説明される。

【0174】

例えば、結果として得られるテンソルは、例えば６４要素ベクトル又はディメンションを有する５Ｄテンソルの４Ｄテンソルとして表され得る。

【0175】

【数4】

ここで、

【数5】

は、天井（ｃｅｉｌ）関数を指す。（換言すると、Ｅ４＊Ｅ３＊ｃｅｉｌ（Ｅ２／３２）＊３２＊ｃｅｉｌ（Ｅ１／６４）＊６４要素。）

【0176】

汎用テンソルの要素［ｅ４］［ｅ３］［ｅ２］［ｅ１］は、結果として得られる５Ｄテンソルの以下の要素にマッピングされ得る。

【0177】

【数6】

ここで、

【数7】

は床（ｆｌｏｏｒ）関数であり、ｍｏｄはモジュロである。（換言すると、要素（Ｅ３＊ｅ２＿ｌｉｍｉｔ＊ｅ１＿ｌｉｍｉｔ＊ｅ４ｘ）＋（ｅ２＿ｌｉｍｉｔ＊ｅ３ｘ＊６４）＋（ｅ２ｘ＊６４）＋（

【数8】

＊ｅ２＿ｌｉｍｉｔ＊Ｅ３＊６４）＋（ｅ１ ｘ ｍｏｄ ６４）、ここで、ｅ２＿ｌｉｍｉｔ＝

【数9】

＊３２、及び、ｅ１＿ｌｉｍｉｔ＝

【数10】

＊６４。）

【0178】

結果として得られるテンソルは、汎用テンソルより大きいことがあり得る。汎用テンソルにおける対応する要素が無い結果として得られるテンソルの要素は、パッド要素と呼ばれる。

【0179】

６４要素ベクトルのＮＮＰＡデータレイアウトフォーマット０ ４Ｄフィーチャテンソルの要素［ｆｅ４］［ｆｅ１］［ｆｅ３］［ｆｅ２］［ｆｅ０］又は同等の表現を要素の５Ｄテンソルとみなす。この要素はパッド要素であるか、又は、ディメンションＥ４、Ｅ３、Ｅ２、Ｅ１の汎用４Ｄテンソルにおけるその対応する要素は、以下の式で判定され得る。

【0180】

ｆｅ２≧Ｅ２である場合、これは、Ｅ２（又はページ）パッド要素である。

【0181】

そうでない場合、ｆｅ１＊６４＋ｆｅ０≧Ｅ１である場合、これは、Ｅ１（又は行）パッド要素である。

【0182】

そうでない場合、汎用４Ｄテンソルにおける対応する要素は、

【0183】

［ｆｅ４］［ｆｅ３］［ｆｅ２］［ｆｅ１＊６４＋ｆｅ０］である。

【0184】

畳み込みニューラルネットワークベースの人工知能モデルについては、フィーチャテンソルの４ディメンションの意味は概して以下にマッピングされ得る。

【0185】

Ｅ４：Ｎ－ミニバッチのサイズ

【0186】

Ｅ３：Ｈ－３Ｄテンソル／イメージの高さ

【0187】

Ｅ２：Ｗ－３Ｄテンソル／イメージの幅

【0188】

Ｅ１：Ｃ－３Ｄテンソルのチャネル又はクラス

【0189】

機械学習又はリカレントニューラルネットワークベースの人工知能モデルについては、４Ｄフィーチャテンソルの４ディメンションの意味は、概して以下にマッピングされ得る。

【0190】

Ｅ４：Ｔ－タイムステップ又はモデルの数

【0191】

Ｅ３：予約済み、概して１にセットされる

【0192】

Ｅ２：Ｎ_ｍｂ－ミニバッチサイズ

【0193】

Ｅ１：Ｌ－フィーチャ

【0194】

ＮＮＰＡデータレイアウトフォーマット０は、例えば、データの４Ｋバイトブロック（ページ）を有する２ディメンションデータ局所性、及び、生成されたテンソルの外側のディメンションについての４Ｋバイトブロックデータアライメントを提供する。

【0195】

パッド要素バイトは、入力テンソルでは無視され、出力テンソルでは予測不可能である。パッドバイト上のＰＥＲストレージ変更は予測不可能である。

【0196】

ディメンションＥ１、Ｅ２、Ｅ３、及びＥ４を有する４Ｄフィーチャテンソルレイアウトについての入力データレイアウトの一例が図５Ａ～図５Ｃに示され、４Ｄフィーチャテンソルレイアウトについての例示的な出力が図６Ａ～図６Ｃに図示される。図５Ａを参照すると、ディメンションＥ１、Ｅ２、及びＥ３を有する３Ｄテンソル５００が示される。一例において、各３Ｄテンソルは、複数の２Ｄテンソル５０２を含む。各２Ｄテンソル５０２における数は、その要素の各々がメモリのどこにあるかのメモリオフセットを説明する。入力は、図５Ａ～図５Ｃに対応する図６Ａ～図６Ｃに示されるように、元のテンソル（例えば、図５Ａ～図５Ｃの元の４Ｄテンソル）のデータをメモリ内にレイアウトするために使用される。

【0197】

図６Ａにおいて、例として、メモリ６００のユニット（例えば、メモリページ）は、行６０２の予め選択された数（例えば３２）を含み、その各々は、例えば、ｅ２＿ｐａｇｅ＿ｉｄｘによって識別され、各行は、各々が例えばｅ１＿ｐａｇｅ＿ｉｄｘによって識別される予め選択された数（例えば６４）の要素６０４を有する。行が予め選択された数の要素を含まない場合、それは、パディングされ６０６（行又はＥ１パディングと称される）；メモリユニットが予め選択された数の行を有しない場合、それはパディングされる（ページパディング又はＥ２パディングと称される）６０８。例として、行パディングは、例えば、ゼロ又は他の値であり、ページパディングは、例えば、既存の値、ゼロ、又は他の値である。

【0198】

一例において、行の出力要素は、その対応する入力のＥ１方向における要素位置に基づいて、メモリにおいて（例えばページにおいて）提供される。例えば、図５Ａを参照すると、示される３つの行列の要素位置０、１及び２（例えば、各行列における同一位置の要素位置）が図６Ａなどのページ０の行０に示される。この例において、４Ｄテンソルは小さく、４Ｄテンソルを表す各２Ｄテンソルの要素のすべては、１つのページに収まる。しかしながら、これは単なる一例である。２Ｄテンソルは、１又は複数のページを含み得る。図２Ａに示されるように、その例における２Ｄテンソルは１２ページを含む。しかしながら、それは一例に過ぎない。やはり、２Ｄテンソルは、１又は複数のページを含み得る。２Ｄテンソルが、４Ｄテンソルの再フォーマットに基づいて生成される場合、２Ｄテンソルのページの数は、４Ｄテンソルのサイズに基づく。一例において、１又は複数のｃｅｉｌ関数は、いくつのページが使用されるかを示す、２Ｄテンソルにおける行の数、及び、各行における要素の数を判定するために使用される。他の変形が可能である。

【0199】

４Ｄフィーチャテンソルレイアウトに加えて、一例において、ニューラルネットワークプロセッサは、４Ｄテンソルの要素を再構成する４Ｄカーネルテンソルをサポートし、畳み込みなどの特定の人工知能（例えば、ニューラルネットワーク処理支援）演算を実行するときのメモリアクセス及びデータ収集段階の数を低減し得る。例として、ディメンションＥ４、Ｅ３、Ｅ２、Ｅ１を用いる行優先汎用４Ｄテンソルが、本明細書において説明されるＮＮＰＡデータレイアウトフォーマット１ ４Ｄカーネルテンソル（４Ｄ－ｋｅｒｎｅｌ ｔｅｎｓｏｒ）に変換される。

【0200】

結果として得られるテンソルは、例えば６４要素ベクトルの４Ｄテンソル、又は、以下のディメンションを有する５Ｄテンソルとして表され得る。

【0201】

【数11】

ここで、

【数12】

は、天井（ｃｅｉｌ）関数を指す。（換言すると、Ｅ４＊Ｅ３＊ｃｅｉｌ（Ｅ２／３２）＊３２＊ｃｅｉｌ（Ｅ１／６４）＊６４要素。）

【0202】

汎用テンソルの要素［ｅ４］［ｅ３］［ｅ２］［ｅ１］は、結果として得られる５Ｄテンソルの以下の要素にマッピングされ得る。

【0203】

【数13】

ここで、

【数14】

は床（ｆｌｏｏｒ）関数を指し、ｍｏｄはモジュロである。換言すると、要素（

【数15】

＊Ｅ４＊Ｅ３＊ｅ２＿ｌｉｍｉｔ＊６４）＋（ｅ４ｘ＊Ｅ３＊ｅ２＿ｌｉｍｉｔ＊６４）＋（ｅ３ｘ＊ｅ２＿ｌｉｍｉｔ＊６４）＋（ｅ２ｘ＊６４）＋（ｅ１ｘ ｍｏｄ６４）であり、ここで、ｅ２＿ｌｉｍｉｔ＝

【数16】

＊３２、及びｅ１＿ｌｉｍｉｔ＝

【数17】

＊６４である。

【0204】

結果として得られるテンソルは、汎用テンソルより大きいことがあり得る。汎用テンソルにおける対応する要素が無い結果として得られるテンソルの要素は、パッド要素と呼ばれる。

【0205】

６４要素ベクトルのＮＮＰＡデータレイアウトフォーマット１ ４Ｄフィーチャテンソルの要素［ｆｅ１］［ｆｅ４］［ｆｅ３］［ｆｅ２］［ｆｅ０］、又は同等の表現を要素の５Ｄテンソルとして考える。この要素はパッド要素であるか、又は、ディメンションＥ４、Ｅ３、Ｅ２、Ｅ１を有する汎用４Ｄテンソルにおけるその対応する要素は、以下の式で判定され得る。

【0206】

ｆｅ２≧Ｅ２である場合、これは、Ｅ２（又はページ）パッド要素である。

【0207】

そうでない場合であって、ｆｅ１＊６４＋ｆｅ０≧Ｅ１である場合、これは、Ｅ１（又は行）パッド要素である。

【0208】

そうでない場合、汎用４Ｄテンソルにおける対応する要素は、

【0209】

［ｆｅ４］［ｆｅ３］［ｆｅ２］［ｆｅ１＊６４＋ｆｅ０］

【0210】

畳み込みニューラルネットワークベースの人工知能モデルについては、カーネルテンソルの４ディメンションの意味は概して以下にマッピングされ得る。

【0211】

Ｅ４：Ｈ－３Ｄテンソル／イメージの高さ

【0212】

Ｅ３：Ｗ－３Ｄテンソル／イメージの幅

【0213】

Ｅ２：Ｃ－３Ｄテンソルのチャネルの数

【0214】

Ｅ１：Ｋ－カーネルの数

【0215】

ＮＮＰＡデータレイアウトフォーマット１は、例えば、４ｋバイトブロックのデータ（ページ）内の２ディメンションカーネル並列性、及び、４ｋバイトブロックデータアライメントを、効率的な処理のために、生成テンソルの外側のディメンションに提供する。

【0216】

パッドバイトは、入力テンソルの場合に無視される。パッドバイト上のＰＥＲストレージ変更は予測不可能である。

【0217】

同様に、例示的なデータレイアウトフォーマットは、４Ｄフィーチャテンソルレイアウト及び４Ｄカーネルテンソルレイアウトを含むが、他のデータレイアウトフォーマットがプロセッサ（例えばニューラルネットワークプロセッサ１０５）によってサポートされ得る。サポートされるデータレイアウトのインジケーションが取得され、例えばフィールド３３８における１又は複数のビットをセットすることによってクエリパラメータブロックに配置される。

【0218】

クエリパラメータブロックはまた、本発明の１又は複数の態様による、例えばデータについてのサポートされるサイズ情報を含む、他のデータ属性情報を含む。ニューラルネットワークプロセッサなどのプロセッサは通常、テンソルディメンションの最大サイズ及び／又はテンソルの全体サイズを制限し得る、内部バッファサイズ、処理ユニット、データバス構造、ファームウェアの制限などに基づく制限を有する。したがって、クエリ関数は、これらの制限をアプリケーションに伝えるためのフィールドを提供する。例えば、プロセッサは、クエリ関数の実行に基づいて、最大ディメンションインデックスサイズ（例えば、６５，５３６の要素）などの様々なデータサイズ、及び、最大テンソルサイズ（例えば、８ＧＢ）を取得し、パラメータブロック（例えば、パラメータブロック３３０）のフィールド３４０及び３４２におけるこの情報をそれぞれ含む。より多くの、より少ない、及び／又は、他のサイズ情報も、プロセッサ（例えば、ニューラルネットワークプロセッサ１０５）によってサポートされ、したがって、パラメータブロック、例えば、フィールド３４０、３４２及び／又は他のフィールドに取得及び配置され得る。他の実施形態において、制限,は、より小さい、又は、より大きいことがあり得、及び／又は、サイズは、要素でなくバイトなどの他の単位、バイトではなく要素などであり得る。更に、他の実施形態は、すべてのディメンションについて同一の最大値ではなく、各ディメンションの異なる最大サイズを可能にする。多くの変形例が可能である。

【0219】

本発明の１又は複数の態様によれば、選択されたプロセッサ（例えば、ニューラルネットワークプロセッサ１０５）の特定のモデルに関連する詳細情報を伝えるクエリ関数が提供される。詳細情報は、例えば、特定のプロセッサに関連するモデル依存情報を含む。（プロセッサはまた、暗黙であり必ずしもクエリ関数によって提示されない、標準データ型、標準データレイアウトなどの、標準データ属性をサポートし得る；他の実施形態において、クエリ関数は、データ属性のすべての、又は、様々な選択されたサブセットなどを示し得る。）例示的な情報が提供されるが、他の情報が他の実施形態において提供され得る。プロセッサの異なるモデル、及び／又は、異なるプロセッサについて異なり得る、取得された情報が、人工知能及び／又は他の処理を実行するために使用される。人工知能及び／又は他の処理は、例えばニューラルネットワーク処理支援命令の１又は複数の非クエリ関数を採用し得る。処理において採用される特定の非クエリ関数は、ニューラルネットワーク処理支援命令を１又は複数の回数にわたって実行し、非クエリ特有の関数を指定することによって実行される。

【0220】

ニューラルネットワーク処理支援命令によってサポートされる例示的な非クエリ関数のさらなる詳細は下に説明される（より多い、より少ない、及び／又は、他の関数が他の実施形態においてサポートされ得る）。

【0221】

関数コード１６：ＮＮＰＡ－ＡＤＤ（加算）

【0222】

ＮＮＰＡ－ＡＤＤ関数が指定されるとき、テンソル記述子１によって記述される入力テンソル１の各要素が、テンソル記述子２によって記述される入力テンソル２の対応する要素に加算され、結果として生じる和が、出力テンソル記述子によって記述される出力テンソルの対応する要素に配置される。

【0223】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0224】

一例において、入力テンソル１、入力テンソル２、及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり、さもなければ、汎用オペランドデータの例外が認識される。

【0225】

一例において、出力テンソル記述子２、入力テンソル記述子３、関数特有のパラメータ１－５、及び関数特有の保存エリアアドレスフィールドが無視される。

【0226】

関数コード１７：ＮＮＰＡ－ＳＵＢ（減算）

【0227】

ＮＮＰＡ－ＳＵＢ関数が指定されるとき、テンソル記述子２によって記述される入力テンソル２の各要素が、テンソル記述子１によって記述される入力テンソル１の対応する要素から減算され、結果として生じる差が、出力テンソルの対応する要素において配置される。

【0228】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0229】

一例において、入力テンソル１、入力テンソル２、及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり、さもなければ、汎用オペランドデータの例外が認識される。

【0230】

一例において、出力テンソル記述子２、入力テンソル記述子３、関数特有のパラメータ１－５、及び関数特有の保存エリアアドレスフィールドが無視される。

【0231】

関数コード１８：ＮＮＰＡ－ＭＵＬ（乗算）

【0232】

ＮＮＰＡ－ＭＵＬ関数が指定されるとき、テンソル記述子１によって記述される入力テンソル１の各要素（乗数）及びテンソル記述子２によって記述される入力テンソル２の対応する要素（被乗数）の積が、出力テンソルの対応する要素に配置される。

【0233】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0234】

一例において、入力テンソル１、入力テンソル２、及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり、さもなければ、汎用オペランドデータの例外が認識される。

【0235】

一例において、出力テンソル記述子２、入力テンソル記述子３、関数特有のパラメータ１－５、及び関数特有の保存エリアアドレスフィールドが無視される。

【0236】

関数コード１９：ＮＮＰＡ－ＤＩＶ（除算）

【0237】

ＮＮＰＡ－ＤＩＶ関数が指定されるとき、テンソル記述子１によって記述される入力テンソル１の各要素（被除数）が、テンソル記述子２によって記述される入力テンソル２（除数）の対応する要素によって除算され、商が出力テンソルの対応する要素に配置される。

【0238】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0239】

一例において、入力テンソル１、入力テンソル２、及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり、さもなければ、汎用オペランドデータの例外が認識される。

【0240】

一例において、出力テンソル記述子２、入力テンソル記述子３、関数特有のパラメータ１－５、及び関数特有の保存エリアアドレスフィールドが無視される。

【0241】

関数コード２０：ＮＮＰＡ－ＭＩＮ（最小値）

【0242】

ＮＮＰＡ－ＭＩＮ関数が指定されるとき、テンソル記述子１によって記述される入力テンソル１の各要素が、テンソル記述子２によって記述される入力テンソル２の対応する要素と比較される。２つの値の小さい方が出力テンソル記述子の対応する要素に配置される。両方の値が等しい場合、値は出力テンソルの対応する要素に配置される。

【0243】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0244】

一例において、入力テンソル１、入力テンソル２、及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり、さもなければ、汎用オペランドデータの例外が認識される。

【0245】

一例において、出力テンソル記述子２、入力テンソル記述子３、関数特有のパラメータ１－５、及び関数特有の保存エリアアドレスフィールドが無視される。

【0246】

関数コード２１：ＮＮＰＡ－ＭＡＸ（最大値）

【0247】

ＮＮＰＡ－ＭＡＸ関数が指定されるとき、テンソル記述子１によって記述される入力テンソル１の各要素が、テンソル記述子２によって記述される入力テンソル２の対応する要素と比較される。２つの値の大きい方が出力テンソル記述子の対応する要素に配置される。両方の値が同じ場合、値は出力テンソルの対応する要素に配置される。

【0248】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0249】

一例において、入力テンソル１、入力テンソル２、及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり、さもなければ、汎用オペランドデータの例外が認識される。

【0250】

一例において、出力テンソル記述子２、入力テンソル記述子３、関数特有のパラメータ１－５、及び関数特有の保存エリアアドレスフィールドが無視される。

【0251】

関数コード３２：ＮＮＰＡ－ＬＯＧ（自然対数）

【0252】

ＮＮＰＡ－ＬＯＧ関数が指定されるとき、テンソル記述子１によって記述される入力テンソルの各要素について、その要素がゼロより大きい場合、出力テンソル記述子によって記述される出力テンソルにおける対応する要素は、その要素の自然対数である。さもなければ、出力テンソルにおける対応する要素は、数字的に表現可能でなく、標的データ型における負の無限大に関連する値が格納される。

【0253】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0254】

一例において、入力テンソル１及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり；さもなければ、汎用オペランドデータ例外が認識される。

【0255】

一例において、出力テンソル記述子２、入力テンソル記述子２、入力テンソル記述子３、関数特有のパラメータ１～５、及び、関数特有の保存エリアアドレスフィールドが無視される。

【0256】

関数コード３３：ＮＮＰＡ－ＥＸＰ（指数）

【0257】

ＮＮＰＡ－ＥＸＰ関数が指定されるとき、テンソル記述子１によって記述される入力テンソルの各要素について、出力テンソル記述子によって記述される出力テンソルにおける対応する要素は、その要素の指数である。

【0258】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0259】

一例において、入力テンソル１及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり；さもなければ、汎用オペランドデータ例外が認識される。

【0260】

一例において、出力テンソル記述子２、入力テンソル記述子２、入力テンソル記述子３、関数特有のパラメータ１～５、及び、関数特有の保存エリアアドレスフィールドが無視される。

【0261】

関数コード４９：ＮＮＰＡ－ＲＥＬＵ（正規化線形ユニット）

【0262】

ＮＮＰＡ－ＲＥＬＵ関数が指定されたとき、テンソル記述子１によって記述される入力テンソルの各要素について、その要素がゼロより小さい又はそれに等しい場合、出力テンソル記述子によって記述される出力テンソルにおける対応する要素はゼロである。さもなければ、出力テンソルにおける対応する要素は、入力テンソルにおける要素及び関数特有のパラメータ１において指定されるクリッピング値の最小値である。

【0263】

例として、関数特有のパラメータ１は、ＲＥＬＵ演算についてのクリッピング値を定義する。例えば、クリッピング値は、関数特有のパラメータ１のビット１６～３１である。クリッピング値は、例えば、ＮＮＰＡデータタイプ１フォーマットにおいて指定される。ゼロのクリッピング値は、最大の正の値を使用することを示し、換言すれば、クリッピングが実行されない。負の値が指定される場合、汎用オペランドデータ例外が認識される。

【0264】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0265】

一例において、入力テンソル１及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり；さもなければ、汎用オペランドデータ例外が認識される。

【0266】

一例において、出力テンソル記述子２、入力テンソル記述子２、入力テンソル記述子３、及び関数特有の保存エリアアドレスフィールドは無視される。一例において、関数特有のパラメータ２～５は、ゼロを含む。

【0267】

関数コード５０：ＮＮＰＡ－ＴＡＮＨ（正接）

【0268】

ＮＮＰＡ－ＴＡＮＨ関数が指定されるとき、テンソル記述子１によって記述される入力テンソルの各要素について、出力テンソル記述子によって記載される出力テンソルにおける対応する要素の値は、その要素の双曲線正接である。

【0269】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0270】

一例において、入力テンソル１及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり；さもなければ、汎用オペランドデータ例外が認識される。

【0271】

一例において、出力テンソル記述子２、入力テンソル記述子２、入力テンソル記述子３、関数特有のパラメータ１～５、及び、関数特有の保存エリアアドレスフィールドが無視される。

【0272】

関数コード５１：ＮＮＰＡ－ＳＩＧＭＯＩＤ

【0273】

ＮＮＰＡ－ＳＩＧＭＯＩＤ関数が指定されるとき、テンソル記述子１によって記述される入力テンソルの各要素について、出力テンソル記述子によって記述される出力テンソルにおける対応する要素は、その要素のシグモイドである。

【0274】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0275】

一例において、入力テンソル１及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり；さもなければ、汎用オペランドデータ例外が認識される。

【0276】

一例において、出力テンソル記述子２、入力テンソル記述子２、入力テンソル記述子３、関数特有のパラメータ１～５、及び、関数特有の保存エリアアドレスフィールドが無視される。

【0277】

関数コード５２：ＮＮＰＡ－ＳＯＦＴＭＡＸ

【0278】

ＮＮＰＡ－ＳＯＦＴＭＡＸ関数が指定されるとき、入力テンソル１のディメンション１における各ベクトルについて、出力テンソルにおける対応するベクトルは、以下に記載されるように計算される。

【0279】

＊ ベクトルの最大値が計算される。

【0280】

＊ ベクトルのディメンション１における各要素及び上で計算された最大値の間の差の指数の和が計算される。入力ベクトルのディメンション１における要素及び上で計算される最大値の両方が数値であり、かつ、差が非数値である場合、その要素についての指数の結果は、強制的にゼロにされる。

【0281】

＊ ベクトルにおける各要素について、上で計算された和によって除算された、要素及び上で計算された最大値の間の差の指数から、中間的な商が形成される。この中間的な商に、任意選択的な活性化関数が適用され、出力ベクトルにおける対応する要素を形成する。

【0282】

このプロセスは、例えば、ディメンション１におけるすべてのディメンション４インデックスサイズｘディメンション３インデックスサイズｘディメンション２インデックスサイズベクトルについて反復される。

【0283】

一例において、ＮＮＰＡ－ＳＯＦＴＭＡＸ関数特有のパラメータ１は、活性化関数を制御する。例として、関数特有のパラメータ１のＡＣＴフィールド（例えば、ビット２８～３１）は、活性化関数を指定する。例としての活性化関数は、以下を含む。

【0284】

ＡＣＴ 活性化関数

【0285】

０ 活性化関数が実行されない

【0286】

１ ＬＯＧ

【0287】

２～１５ 予約済み

【0288】

ＡＣＴフィールドについて予約された値が指定される場合、例えばＦ００１ ｈｅｘの応答コードが報告され、演算は、例えば１の条件コードで完了する。

【0289】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0290】

一例において、入力テンソルのディメンション３インデックスサイズが１に等しくない場合、例えばＦ０００ ｈｅｘの応答コードが格納され、命令は、例えば１の条件コードで完了する。

【0291】

一例において、入力テンソル１及び出力テンソルの形状、データレイアウト、及びデータ型は同一であり；さもなければ、汎用オペランドデータ例外が認識される。

【0292】

一例において、出力テンソル記述子２、入力テンソル記述子２、及び入力テンソル記述子３は無視される。一例において、関数特有のパラメータ２－５は、ゼロを含む。

【0293】

８Ｋバイト関数特有の保存エリアは、この関数によって使用され得る。

【0294】

一実施形態において、ディメンション１におけるベクトルを取得するとき、要素は、指定されたデータレイアウトフォーマットに応じて、メモリにおいて連続的でないことがあり得る。入力テンソル１のディメンション１ベクトルのすべての要素が、指定されたデータ型において表現可能である、大きさが最大の負の数を含む場合、結果がより不正確になり得る。

【0295】

関数コード６４：ＮＮＰＡ－ＢＡＴＣＨＮＯＲＭ（バッチ正規化）

【0296】

ＮＮＰＡ－ＢＡＴＣＨＮＯＲＭ関数が指定されるとき、入力１テンソルのディメンション１における各ベクトルについて、出力テンソルのディメンション１における対応するベクトルが、ベクトルにおける各要素と、入力２テンソルを構成するディメンション１ベクトルにおける対応する要素とを乗算することによって計算される。その後、完全精度の積が、入力３テンソルを構成するディメンション１ベクトルにおける対応する要素に加算され、その後、出力テンソルの指定されたデータ型の精度に丸める。このプロセスは、例えば、ディメンション１におけるすべてのディメンション４インデックスサイズｘディメンション３インデックスサイズｘディメンション２インデックスサイズベクトルについて反復される。

【0297】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、任意の指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば００１０ ｈｅｘ、又は、００１１ ｈｅｘがそれぞれ、汎用レジスタ０においてセットされ、命令が条件コード、例えば１で完了する。

【0298】

一例において、以下の条件は真であり、さもなければ、汎用オペランドデータ例外が認識される。

【0299】

＊ 入力テンソル１及び出力テンソルの形状及びデータレイアウトは同一である。

【0300】

＊ 入力テンソル及び出力テンソルのデータ型は同一である。

【0301】

＊ 入力テンソル１、２、３及び出力テンソルのディメンション１インデックスサイズは同一である。

【0302】

＊ 入力テンソル２及び３のディメンション２、３及び４インデックスサイズは１である。

【0303】

一例において、出力テンソル記述子２及び関数特有の保存エリアアドレスフィールドは無視される。一例において、関数特有のパラメータ２～５は、ゼロを含む。

【0304】

関数コード８０：ＮＮＰＡ－ＭＡＸＰＯＯＬ２Ｄ
関数コード８１：ＮＮＰＡ－ＡＶＧＰＯＯＬ２Ｄ

【0305】

ＮＮＰＡ－ＭＡＸＰＯＯＬ２Ｄ又はＮＮＰＡ－ＡＶＧＰＯＯＬ２Ｄ関数のいずれかが指定されるとき、入力テンソル１記述子によって記述される入力テンソル１は、指定された操作によって低減され、入力のウィンドウがまとめられる。入力のウィンドウは、ディメンションインデックス２及び３にわたって２Ｄスライディングウィンドウを移動させることによって選択される。ウィンドウのまとめは、出力テンソルにおける要素である。スライディングウィンドウディメンションは、例えば、関数特有のパラメータ４及び関数特有のパラメータ５によって説明される。隣接する出力テンソル要素を計算するときに、入力１テンソルにわたって移動するスライディングウィンドウの量は、ストライドと呼ばれる。スライディングウィンドウストライドは、例えば、関数特有のパラメータ２及び関数特有のパラメータ３によって指定される。ＮＮＰＡ－ＭＡＸＰＯＯＬ２Ｄ演算が指定されるとき、下で定義されるＭａｘ演算がウィンドウに対して実行される。ＮＮＰＡ－ＡＶＧＰＯＯＬ２Ｄ演算が指定されるとき、下で定義されるＡＶＧ演算がウィンドウに対して実行される。指定されたパディングタイプが有効である場合、ウィンドウにおけるすべての要素は、結果として得られる出力要素を計算するために使用される集合に追加される。指定されたパディングタイプがＳａｍｅである場合、ウィンドウの位置に依存して、ウィンドウからの要素のサブセットのみが、結果として得られる出力要素を計算するために使用される集合に追加され得る。

【0306】

一例において、ＣｏｌｌｅｃｔＥｌｅｍｅｎｔｓ演算は、要素を要素の集合に追加し、集合における要素の数をインクリメントする。ウィンドウ開始位置が移動するたびに集合が空になる。演算を実行するのに必要でない要素がアクセスされるかどうかは予測不可能である。

【0307】

Ｍａｘ演算：一例において、ウィンドウにおける要素の集合の最大値は、集合におけるすべての要素を互いに比較し、最大の値を返すことによって計算される。

【0308】

ＡＶＧ（平均）演算：一例において、ウィンドウにおける要素の集合の平均値が、集合におけるすべての要素の和を、集合における要素の数によって除算したものとして計算される。

【0309】

一例において、フィールドが以下のとおり割り当てられる。

【0310】

＊ プーリング関数特有のパラメータ１はパディングタイプを制御する。例えば、関数特有のパラメータ１のビット２９～３１は、パディングタイプを指定するＰＡＤフィールドを含む。タイプの例は、例えば以下を含む。

【0311】

ＰＡＤ パディングタイプ

【0312】

０ 有効（Ｖａｌｉｄ）

【0313】

１ 同一（Ｓａｍｅ）

【0314】

２～７ 予約済み

【0315】

予約された値が、ＰＡＤフィールドについて指定される場合、例えば、Ｆ０００ ｈｅｘの応答コードが報告され、演算は、条件コード、例えば１で完了する。

【0316】

一例において、関数特有のパラメータ１のビット位置０～２８は予約され、ゼロを含む。

【0317】

＊ 関数特有のパラメータ２は、例えば、ディメンション２においてスライディングウィンドウが移動する要素の数を指定するディメンション２ストライド（Ｄ２Ｓ）を指定する３２ビット符号なしバイナリ整数を含む。

【0318】

＊ 関数特有のパラメータ３は、例えば、ディメンション３においてスライディングウィンドウが移動する要素の数を指定するディメンション３ストライド（Ｄ３Ｓ）を指定する３２ビット符号なしバイナリ整数を含む。

【0319】

＊ 関数特有のパラメータ４が、例えば、スライディングウィンドウが含むディメンション２における要素の数を指定するディメンション２ウィンドウサイズ（Ｄ２ＷＳ）を指定する３２ビット符号なしバイナリ整数を含む。

【0320】

＊ 関数特有のパラメータ５は、例えば、スライディングウィンドウが含むディメンション３における要素の数を指定するディメンション３ウィンドウサイズ（Ｄ３ＷＳ）を指定する３２ビット符号なしバイナリ整数を含む。

【0321】

一例において、関数特有のパラメータ２－５における指定された値は、最大ディメンションインデックスサイズより小さい又はそれに等しく、関数特有のパラメータ４－５における指定された値は、ゼロより大きく；さもなければ、応答コード、例えば、００１２ ｈｅｘが報告され、演算は、条件コード、例えば１で完了する。

【0322】

ディメンション２ストライド及びディメンション３ストライドの両方がゼロである、及び、ディメンション２ウィンドウサイズ又はディメンション３ウィンドウサイズのいずれかが、例えば１０２４より大きい場合、応答コード、例えばＦ００１ ｈｅｘが格納される。ディメンション２ストライド及びディメンション３ストライドの両方が、例えばゼロより大きい、及び、ディメンション２ウィンドウサイズ又はディメンション３ウィンドウサイズのいずれかが、例えば６４より大きい場合、応答コード、例えばＦ００２ ｈｅｘが格納される。ディメンション２ストライド及びディメンション３ストライドの両方が、例えばゼロより大きい、及び、ディメンション２ストライド又はディメンション３のストライドのいずれかが、例えば３０より大きい場合、応答コード、例えばＦ００３ ｈｅｘが格納される。ディメンション２ストライド及びディメンション３ストライドの両方が、例えばゼロより大きい、及び、入力テンソルディメンション２インデックスサイズ又は入力テンソルディメンション３インデックスサイズのいずれかが、例えば１０２４より大きい場合、応答コード、例えばＦ００４ ｈｅｘが格納される。上の条件のすべてについて、命令は、条件コード、例えば１で完了する。

【0323】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが、４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、いずれかの指定されたテンソル記述子におけるデータ型が、ＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば、００１０ ｈｅｘ又は００１１ ｈｅｘがそれぞれ汎用レジスタ０においてセットされ、命令は、条件コード、例えば１で完了する。

【0324】

一例において、以下の条件が真であり、さもなければ、汎用オペランドデータ例外が認識される。

【0325】

＊ 入力テンソル及び出力テンソルのディメンション４インデックスサイズ及びディメンション１インデックスサイズは同一である。

【0326】

＊ 入力テンソル及び出力テンソルのデータレイアウト及びデータ型は同一である。

【0327】

＊ ディメンション２ストライド及びディメンション３ストライドの両方がゼロである場合、一例において、以下の追加の条件が真である。

【0328】

＊ 入力テンソルディメンション２インデックスサイズは、ディメンション２ウィンドウサイズに等しい。

【0329】

＊ 入力テンソルの入力テンソルディメンション３インデックスサイズはディメンション３ウィンドウサイズに等しい。

【0330】

＊ 出力テンソルのディメンション２インデックスサイズ及びディメンション３インデックスサイズは１である。

【0331】

＊ 指定されたパディングは有効である。

【0332】

＊ ディメンション２ストライド又はディメンション３ストライドのいずれかが非ゼロである場合、一例において、両方のストライドは非ゼロである。

【0333】

＊ ディメンション２ストライド及びディメンション３ストライドの両方がゼロより大きい場合、一例において、以下の追加の条件が真である。

【0334】

＊ 指定されたパディングが有効であるとき、ディメンション２ウィンドウサイズは、入力テンソルのディメンション２インデックスサイズより小さい又はそれに等しい。

【0335】

＊ 指定されたパディングが有効であるとき、ディメンション３ウィンドウサイズは、入力テンソルのディメンション３インデックスサイズより小さい又はそれに等しい。

【0336】

＊ 指定されたパディングがＳａｍｅであるとき、入力及び出力テンソルのディメンション２インデックスサイズ及びディメンション３インデックスサイズの間の以下の関係が満たされる（Ｐｏｏｌｉｎｇ Ｓａｍｅ Ｐａｄｄｉｎｇ）。

【0337】

【数18】

【0338】

【数19】

【0339】

ここで、

【0340】

ＩｘＤｙＩＳ：テンソル記述子ｘにおいて定義される入力テンソルｘのディメンションｙインデックスサイズ

【0341】

ＯｘＤｙＩＳ：テンソル記述子ｘにおいて定義される出力テンソルｘのディメンションｙインデックスサイズ

【0342】

Ｄ２Ｓ ディメンション２ストライド

【0343】

Ｄ３Ｓ ディメンション３ストライド

【0344】

＊ 指定されたパディングが有効であるとき、入力及び出力テンソルのディメンション２インデックスサイズ及びディメンション３インデックスサイズの間の以下の関係が満たされる（Ｐｏｏｌｉｎｇ Ｖａｌｉｄ Ｐａｄｄｉｎｇ）。

【0345】

【数20】

【0346】

【数21】

【0347】

ここで、Ｄ２ＷＳは、ディメンション２ウィンドウサイズであり、Ｄ３ＷＳは、ディメンション３ウィンドウサイズである。

【0348】

出力テンソル記述子２、入力テンソル記述子２及び３、及び関数特有の保存エリアアドレスフィールドが無視される。

【0349】

関数コード９６：ＮＮＰＡ－ＬＳＴＭＡＣＴ（長短期メモリアクティブ化）

【0350】

ＮＮＰＡ－ＬＳＴＭＡＣＴ関数が指定されるとき、入力テンソル１記述子によって記述される、各ディメンション４インデックス値について４個のサブテンソルに分離される入力テンソル１は、入力テンソル２記述子によって記述される、各ディメンション４インデックス値について４個のサブテンソルに分離される入力テンソル２、及び、入力テンソル３記述子によって記載される入力テンソル３と共に、ＬＳＴＭＡＣＴ演算に対する入力である。ＬＳＴＭＡＣＴ演算の最後に、出力テンソル１記述子によって記述される出力テンソル１及び出力テンソル２記述子によって記述される出力テンソル２に結果が書き込まれる。

【0351】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが、４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、いずれかの指定されたテンソル記述子におけるデータ型が、ＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、００１０ ｈｅｘ又は００１１ ｈｅｘがそれぞれ汎用レジスタ０においてセットされ、命令は、条件コード、例えば１で完了する。

【0352】

一実施形態において、以下の条件が真であり、さもなければ、汎用オペランドデータ例外が認識される。

【0353】

＊ 入力テンソル３、及び出力テンソル１及び２についてのディメンション４インデックスサイズは、例えば１に等しい。

【0354】

＊ 入力テンソル１及び入力テンソル２についてのディメンション４インデックスサイズは、例えば４に等しい。

【0355】

＊ 例えば、すべての入力テンソル及び２つの出力テンソルについてのディメンション３インデックスサイズは、例えば１に等しい。

【0356】

＊ 例えば、すべての入力テンソル及び２つの出力テンソルのデータレイアウト及びデータ型は同一である。

【0357】

＊ 例えば、すべての入力テンソル及び２つの出力テンソルのディメンション１インデックスサイズは同一である。

【0358】

＊ 例えば、すべての入力テンソル及び２つの出力テンソルのディメンション２インデックスサイズは同一である。

【0359】

一例において、関数特有の保存エリアアドレスフィールドは無視される。一例において、関数特有のパラメータ１～５は、ゼロを含む。

【0360】

関数コード９７：ＮＮＰＡ－ＧＲＵＡＣＴ（ゲート付き回帰型ユニットアクティブ化）

【0361】

ＮＮＰＡ－ＧＲＵＡＣＴ関数が指定されるとき、入力テンソル１記述子によって記述される、各ディメンション４インデックス値について３個のサブテンソルに分離される入力テンソル１は、入力テンソル２記述子によって記述される、各ディメンション４インデックス値について３個のサブテンソルに分離される入力テンソル２、及び、入力テンソル３記述子によって記載される入力テンソル３と共に、ＧＲＵＡＣＴ演算に対する入力である。ＧＲＵＡＣＴ演算の最後に、出力テンソル記述子によって記述される出力テンソルが格納される。

【0362】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが、４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、いずれかの指定されたテンソル記述子におけるデータ型が、ＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば、００１０ ｈｅｘ又は００１１ ｈｅｘがそれぞれ汎用レジスタ０においてセットされ、命令は、条件コード、例えば１で完了する。

【0363】

一実施形態において、以下の条件が真であり、さもなければ、汎用オペランドデータ例外が認識される。

【0364】

＊ 出力テンソル及び入力テンソル３のディメンション４インデックスサイズは、例えば１に等しい。

【0365】

＊ 入力テンソル１及び入力テンソル２についてのディメンション４インデックスサイズは、例えば３に等しい。

【0366】

＊ 例えば、すべての入力テンソル及び出力テンソルについてのディメンション３インデックスサイズは、例えば１に等しい。

【0367】

＊ 例えば、すべての入力テンソル及び出力テンソルのディメンション１インデックスサイズは同一である。

【0368】

＊ 例えば、すべての入力テンソル及び出力テンソルのディメンション２インデックスサイズは同一である。

【0369】

＊ 例えば、すべての入力テンソル及び出力テンソルのデータレイアウト及びデータ型は同一である。

【0370】

一例において、出力テンソル記述子２及び関数特有の保存エリアアドレスフィールドは無視される。一例において、関数特有のパラメータ２～５は、ゼロを含む。

【0371】

関数コード１１２：ＮＮＰＡ－ＣＯＮＶＯＬＵＴＩＯＮ

【0372】

ＮＮＰＡ－ＣＯＮＶＯＬＵＴＩＯＮ関数が指定されるとき、出力テンソル１記述子によって記述される出力テンソルにおける各出力要素について、ディメンションインデックス３、２及び１から成る３ディメンション入力１ウィンドウが、入力テンソル１記述子によって記述される入力テンソル１から選択される。ディメンションインデックス４、３及び２から成る同一サイズの３ディメンション入力２ウィンドウが、入力テンソル２記述子によって記述されるテンソル２から選択される。入力１ウィンドウにおける要素が、入力２ウィンドウにおける対応する要素と乗算され、積のすべてが共に加算され、最初の和が生成される。この最初の和が、入力テンソル３の対応する要素に加算され、中間的な和の値が計算される。出力テンソルの要素は、中間的な和に対して実行される、指定された活性化関数の結果である。活性化関数が指定されない場合、出力要素は、中間的な和に等しい。

【0373】

指定されたパディングタイプが有効である場合、ウィンドウにおけるすべての要素が、結果である最初の和を計算するために使用される。指定されたパディングタイプがＳａｍｅである場合、結果である最初の和を計算するとき、ウィンドウの位置に応じて、入力‐１ウィンドウの幾つかの要素がゼロであると暗示され得る。

【0374】

演算を実行するのに必要でない要素がアクセスされるかどうかは予測不可能である。

【0375】

一例において、畳み込み関数によって使用される関数特有のパラメータのフィールドは以下のとおりに割り当てられる。

【0376】

＊ ＮＮＰＡ－ＣＯＮＶＯＬＵＴＩＯＮ関数特有のパラメータ１は、パディングタイプ及び活性化関数を制御する。一例において、関数特有のパラメータ１のビット２９～３１は、パディングタイプを指定するＰＡＤフィールドを含む。例示的なタイプは以下の通りである。

【0377】

ＰＡＤ パディングタイプ

【0378】

０ Ｖａｌｉｄ

【0379】

１ Ｓａｍｅ

【0380】

２～７ 予約済み

【0381】

予約された値が、ＰＡＤフィールドについて指定される場合、例えば、Ｆ０００ ｈｅｘの応答コードが報告され、演算は、条件コード、例えば１で完了する。

【0382】

さらに、一例において、ＮＮＰＡ－ＣＯＮＶＯＬＵＴＩＯＮ関数特有のパラメータ１のビット２４－２７は、活性化関数を指定する活性化フィールドを含む。例示的な関数は以下の通りである。

【0383】

ＡＣＴ 活性化関数

【0384】

０ 活性化関数が実行されない

【0385】

１ ＲＥＬＵ

【0386】

２～１５ 予約済み

【0387】

ＲＥＬＵの活性化関数が指定される場合、結果である出力要素値が以下のとおりに決定される：中間的な和の値がゼロより小さい又はそれに等しい場合、出力テンソルにおける対応する要素はゼロである；さもなければ、出力テンソルにおける対応する要素は、中間的な和の値、及び、関数特有のパラメータ４において指定されるクリッピング値の最小値である。

【0388】

予約された値が、ＡＣＴフィールドについて指定される場合、例えば、Ｆ００１ ｈｅｘの応答コードが報告され、演算は、条件コード、例えば１で完了する。

【0389】

＊ 関数特有のパラメータ２は、例えば、スライディングウィンドウがディメンション２において移動する要素の数を指定するディメンション２（Ｄ２Ｓ）ストライドを指定する３２ビット符号なしバイナリ整数を含む。

【0390】

＊ 関数特有のパラメータ３は、例えば、ディメンション３においてスライディングウィンドウが移動する要素の数を指定するディメンション３ストライド（Ｄ３Ｓ）を指定する３２ビット符号なしバイナリ整数を含む。

【0391】

関数特有のパラメータ２～３における指定された値は、最大ディメンションインデックスサイズより小さい；さもなければ、応答コード、例えば００１２ ｈｅｘが報告され、演算は条件コード、例えば１で完了する。

【0392】

＊ 関数特有のパラメータ４は、任意選択のＲＥＬＵ演算についてのクリッピング値を定義する。一例において、クリッピング値は関数特有のパラメータ４のビット１６～３１にある。

【0393】

一例において、ＡＣＴフィールドがゼロである場合、このフィールドは無視される。ＡＣＴフィールドがＲＥＬＵを指定する場合、クリッピング値がＮＮＰデータタイプ１フォーマットにおいて指定される。ゼロのクリッピング値は、最大の正の値を使用することを示し、換言すれば、クリッピングが実行されない。非ゼロが指定される場合、汎用オペランドデータ例外が認識される。

【0394】

一例において、入力テンソル２を除く指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが、４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、入力テンソル２における指定されたデータレイアウトが４Ｄカーネルテンソルを指定しない場合（例えば、データレイアウト＝１）、汎用レジスタ０において、応答コード、例えば、００１０ ｈｅｘがセットされ、命令は条件コード、例えば１で完了する。一例において、いずれかの指定されたテンソル記述子におけるデータ型がＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、汎用レジスタ０において、応答コード、例えば００１１ ｈｅｘがセットされ、命令が条件コード、例えば１で完了する。

【0395】

ディメンション２ストライド及びディメンション３ストライドの両方がゼロであり、入力テンソル２のディメンション３インデックスサイズ又はディメンション４インデックスサイズが、例えば４４８より大きい場合、応答コード、例えばＦ００２ ｈｅｘが格納される。ディメンション２ストライド及びディメンション３ストライドの両方がゼロより大きく、入力テンソル２のディメンション３インデックスサイズ又はディメンション４インデックスサイズのいずれかが例えば６４より大きい場合、応答コード、例えばＦ００３ ｈｅｘが格納され、演算は条件コード、例えば１で完了する。ディメンション２ストライド又はディメンション３ストライドのいずれかが、例えば１３より大きい場合、応答コード、例えばＦ００４ ｈｅｘが格納され、演算は条件コード、例えば１で完了する。

【0396】

一例において、以下の条件が真であり、さもなければ、汎用オペランドデータ例外が認識される。

【0397】

＊ 入力テンソル１、入力テンソル３、及び出力テンソルのデータレイアウトは同一である。

【0398】

＊ すべての入力テンソル及び出力テンソルのデータ型は同一である。

【0399】

＊ 入力３テンソルのディメンション２、ディメンション３、及びディメンション４インデックスサイズは１である。

【0400】

＊ 出力テンソルのディメンション４インデックスサイズは、入力１テンソルのディメンション４インデックスサイズに等しい。

【0401】

＊ 出力テンソルのディメンション１インデックスサイズは、入力２テンソルのディメンション１インデックスサイズ及び入力３テンソルのディメンション１インデックスサイズに等しい。

【0402】

＊ 入力１テンソルのディメンション１インデックスサイズは、入力２テンソルのディメンション２インデックスサイズに等しい。

【0403】

＊ ディメンション２ストライド及びディメンション３ストライドの両方がゼロである場合、一例において、以下の追加の条件が真である。

【0404】

＊ 入力１テンソルディメンション２インデックスサイズは、入力２テンソルのディメンション３インデックスサイズに等しい。

【0405】

＊ 入力テンソルの入力１テンソルディメンション３インデックスサイズは、入力２テンソルのディメンション４インデックスサイズに等しい。

【0406】

＊ 出力テンソルのディメンション２インデックスサイズ及びディメンション３インデックスサイズは１である。

【0407】

＊ 指定されたパディングはＶａｌｉｄである。

【0408】

＊ ディメンション２ストライド又はディメンション３ストライドのいずれかが非ゼロである場合、両方のストライドが非ゼロである。

【0409】

＊ ディメンション２ストライド及びディメンション３ストライドの両方がゼロより大きい場合、一例において、以下の追加の条件が真である。

【0410】

＊ 指定されたパディングがＶａｌｉｄであるとき、入力１テンソルのディメンション２インデックスサイズは、入力テンソル２のディメンション３インデックスサイズより大きい又はそれに等しい。

【0411】

＊ 指定されたパディングがＶａｌｉｄであるとき、入力１テンソルのディメンション３インデックスサイズは、入力２テンソルのディメンション４インデックスサイズより大きい又はそれに等しい。

【0412】

＊ 指定されたパディングがＳａｍｅであるとき、一例において、入力１テンソル及び出力テンソルのディメンション２インデックスサイズ及びディメンション３インデックスサイズの間の以下の関係が満たされる（畳み込み同一パディング）。

【0413】

【数22】

【0414】

【数23】

【0415】

ここで、

【0416】

Ｏ１Ｄ２ＩＳ 出力テンソルのディメンション２インデックスサイズ

【0417】

Ｏ１Ｄ３ＩＳ 出力テンソルのディメンション３インデックスサイズ

【0418】

Ｉ１Ｄ２ＩＳ 入力１テンソルのディメンション２インデックスサイズ

【0419】

Ｉ１Ｄ３ＩＳ 入力１テンソルのディメンション３インデックスサイズ

【0420】

Ｄ２Ｓ ディメンション２ストライド

【0421】

Ｄ３Ｓ ディメンション３ストライド

【0422】

＊ 指定されたパディングがＶａｌｉｄであるとき、一例において、入力１テンソルのディメンション２インデックスサイズ及びディメンション３インデックスサイズ、入力２テンソル及び出力テンソルのディメンション３インデックスサイズ及びディメンション４インデックスサイズの間の以下の関係が満たされる（畳み込み有効パディング）。

【0423】

【数24】

【0424】

【数25】

【0425】

ここで、

【0426】

Ｏ１Ｄ２ＩＳ 出力テンソルのディメンション２インデックスサイズ

【0427】

Ｏ１Ｄ３ＩＳ 出力テンソルのディメンション３インデックスサイズ

【0428】

Ｉ１Ｄ２ＩＳ 入力１テンソルのディメンション２インデックスサイズ

【0429】

Ｉ１Ｄ３ＩＳ 入力１テンソルのディメンション３インデックスサイズ

【0430】

Ｉ２Ｄ３ＩＳ 入力２テンソルのディメンション３インデックスサイズ

【0431】

Ｉ２Ｄ４ＩＳ 入力２テンソルのディメンション４インデックスサイズ

【0432】

Ｄ２Ｓ ディメンション２ストライド

【0433】

Ｄ３Ｓ ディメンション３ストライド

【0434】

一例において、出力テンソル記述子２及び関数特有の保存及びアドレスフィールドは無視される。一例において、関数特有のパラメータ５は、ゼロを含む。

【0435】

関数コード１１３：ＮＮＰＡ－ＭＡＴＭＵＬ－ＯＰ（行列乗算演算）

【0436】

ＮＮＰＡ－ＭＡＴＭＵＬ－ＯＰ関数が指定されるとき、一例において、出力テンソル記述子によって記述される出力テンソルにおける各要素は、下で説明されるように計算される。

【0437】

＊ 下で説明されるディメンション１ベクトル取得演算を使用して、ディメンション１ベクトルが、入力テンソル１記述子によって記述される入力テンソル１から選択される。

【0438】

＊ 下で説明されるディメンション２ベクトル取得演算を使用して、ディメンション２ベクトルが、入力テンソル２記述子によって記述される入力テンソル２から選択される。

【0439】

＊ ディメンション１ベクトル及びディメンション２ベクトルの中間的なドット積が、下で説明されるドット積演算を使用して計算される。

【0440】

＊ 出力テンソル要素と同一のディメンションインデックス４及びディメンションインデックス１値を有する入力テンソル３記述子によって記述される、中間的なドット積及び入力テンソル３の要素に対して演算が実行される。結果である要素は出力テンソルに格納される。融合された演算が、関数特有のパラメータ１によって決定され、下で説明される。

【0441】

ディメンション１ベクトル取得演算：指定された出力要素について、ディメンション１ベクトルが入力１テンソルから選択され、ここで、入力ディメンション４インデックスは、出力ディメンション４インデックスであり、入力ディメンション３インデックスは、出力ディメンション３インデックスであり、入力ディメンション２インデックスは、出力ディメンション２インデックスである。

【0442】

ディメンション２ベクトル取得演算：指定された出力要素について、ディメンション２ベクトルが入力テンソル２から選択され、ここで、入力ディメンション４インデックスは、出力ディメンション４インデックスであり、入力ディメンション３インデックスは、出力ディメンション３インデックスであり、入力ディメンション１インデックスは、出力ディメンション１インデックスである。

【0443】

ドット積演算：同一のサイズ及びデータ型の２つのベクトルの中間的なドット積が、入力ベクトル１における各要素及び入力ベクトル２の対応する要素の積の和として計算される。

【0444】

融合された演算：関数特有のパラメータ１が、中間的なドット積及び入力テンソル３からの対応する要素に対して実行される演算を制御する。一例において、ＮＮＰＡ－ＭＡＴＭＵＬ－ＯＰ関数特有のパラメータ１が、例えばビット２４～３１における演算フィールドを含む。演算フィールドは、実行される演算を指定する。例示的な演算を以下に示す。

【0445】

演算 演算タイプ

【0446】

０ 加算

【0447】

１ ドット積が高い場合に比較する

【0448】

２ ドット積が低くない場合に比較する

【0449】

３ ドット積及び要素が等しい場合に比較する

【0450】

４ ドット積及び要素が等しくない場合に比較する

【0451】

５ ドット積が高くない場合に比較する

【0452】

６ ドット積が低い場合に比較する

【0453】

一例において、加算の演算タイプについては、入力テンソル３要素が中間的なドット積に加算される。比較の演算タイプについては、中間的なドット積が入力テンソル３要素と比較され、比較が真である場合、出力テンソルについて指定されるデータ型において、結果が例えば＋１の値にセットされる；さもなければ、例えば＋０の値にセットされる。

【0454】

一例において、演算フィールドのすべての他の値が予約済みである。
予約された値が、演算フィールドについて指定される場合、例えば、Ｆ０００ ｈｅｘの応答コードが報告され、演算は、条件コード、例えば１で完了する。

【0455】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが、４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、いずれかの指定されたテンソル記述子におけるデータ型が、ＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば、００１０ ｈｅｘ又は００１１ ｈｅｘがそれぞれ汎用レジスタ０においてセットされ、命令は、条件コード、例えば１で完了する。

【0456】

一実施形態において、以下の条件が真であり、さもなければ、汎用オペランドデータ例外が認識される。

【0457】

＊ すべての入力テンソル及び出力テンソルのディメンション４インデックスサイズは同一である。

【0458】

＊ すべての入力テンソル及び出力テンソルのディメンション３インデックスサイズは１に等しい。

【0459】

＊ 入力テンソル３のディメンション２インデックスサイズは１に等しい。

【0460】

＊ 入力テンソル１及び出力テンソルのディメンション２インデックスサイズは同一である。

【0461】

＊ 入力テンソル１のディメンション１インデックスサイズ及び入力テンソル２のディメンション２インデックスサイズは同一である。

【0462】

＊ 入力テンソル２、入力テンソル３、及び出力テンソルのディメンション１インデックスサイズは同一である。

【0463】

＊ すべての入力テンソル及び出力テンソルのデータレイアウト及びデータ型は同一である。

【0464】

一実施形態において、出力テンソル記述子２及び関数特有の保存エリアアドレスフィールドは無視される。例において、関数特有のパラメータ２～５は、ゼロを含む。

【0465】

関数コード１１４：ＮＮＰＡ－ＭＡＴＭＵＬ－ＯＰ－ＢＣＡＳＴ２３（行列乗算演算－ブロードキャスト２３）

【0466】

ＮＮＰＡ－ＭＡＴＭＵＬ－ＯＰ－ＢＣＡＳＴ２３関数が指定されるとき、一例において、出力テンソル記述子によって記述される出力テンソルにおける各要素は、下で説明されるように計算される。

【0467】

＊ 下で説明されるディメンション１ベクトル取得演算を使用して、ディメンション１ベクトルが、入力テンソル１記述子によって記述入力テンソル１から選択される。

【0468】

＊ 下で説明されるディメンション２ベクトル取得演算を使用して、ディメンション２ベクトルが、入力テンソル２記述子によって記述される入力テンソル２から選択される。

【0469】

＊ ディメンション１ベクトル及びディメンション２ベクトルのドット積は、下で記載されるドット積演算を使用して計算される。

【0470】

＊ 出力テンソル要素と同一のディメンションインデックス１値を有する、入力テンソル３記述子によって記述される入力テンソル３の要素が、前に計算されたドット積に加算され、出力テンソルに格納される。

【0471】

ディメンション１ベクトル取得演算：指定された出力要素について、ディメンション１ベクトルが入力１テンソルから選択され、ここで、入力ディメンション４インデックスは、出力ディメンション４インデックスであり、入力ディメンション３インデックスは、出力ディメンション３インデックスであり、入力ディメンション２インデックスは、出力ディメンション２インデックスである。

【0472】

ディメンション２ベクトル取得演算：指定された出力要素について、ディメンション２ベクトルが入力テンソル２から選択され、ここで、入力ディメンション４インデックスは１であり、入力ディメンション３インデックスは、出力ディメンション３インデックスであり、入力ディメンション１インデックスは、出力ディメンション１インデックスである。

【0473】

ドット積演算：同一のサイズ及びデータ型の２つのベクトルの中間的な積が、入力ベクトル１における各要素及び入力ベクトル２の対応する要素の積の和として計算される。

【0474】

一例において、指定されたテンソル記述子のいずれかにおける指定されたデータレイアウトが、４Ｄフィーチャテンソルを指定しない場合（例えば、データレイアウト＝０）、又は、いずれかの指定されたテンソル記述子におけるデータ型が、ＮＮＰデータタイプ１を指定しない場合（例えば、データ型＝０）、応答コード、例えば、００１０ ｈｅｘ又は００１１ ｈｅｘがそれぞれ汎用レジスタ０においてセットされ、命令は、条件コード、例えば１で完了する。

【0475】

一実施形態において、以下の条件が真であり、さもなければ、汎用オペランドデータ例外が認識される。

【0476】

＊ 入力テンソル１及び出力テンソルのディメンション４インデックスサイズは同一である。

【0477】

＊ 入力テンソル２及び入力テンソル３のディメンション４インデックスサイズは１に等しい。

【0478】

＊ すべての入力テンソル及び出力テンソルのディメンション３インデックスサイズは１に等しい。

【0479】

＊ 入力テンソル３のディメンション２インデックスサイズは１に等しい。

【0480】

＊ 入力テンソル１及び出力テンソルのディメンション２インデックスサイズは同一である。

【0481】

＊ 入力テンソル１のディメンション１インデックスサイズ及び入力テンソル２のディメンション２インデックスサイズは同一である。

【0482】

＊ 入力テンソル２、入力テンソル３、及び出力テンソルのディメンション１インデックスサイズは同一である。

【0483】

＊ すべての入力テンソル及び出力テンソルのデータレイアウト及びデータ型は同一である。

【0484】

一実施形態において、出力テンソル記述子２及び関数特有の保存エリアアドレスフィールドは無視される。一例において、関数特有のパラメータ１～５は、ゼロを含む。

【0485】

ニューラルネットワーク処理支援命令については、一実施形態において、出力テンソルが入力テンソル又はパラメータブロックのいずれかと重なる場合、結果は予測不可能である。

【0486】

ニューラルネットワーク処理支援命令の実行が試みられ、パラメータブロックが例えばダブルワード境界上で例として指定されないとき、仕様例外が認識される。

【0487】

ニューラルネットワーク処理支援命令の実行が試みられ、例えば、テンソル記述子の不整合があるとき、汎用オペランドデータ例外が認識される。

【0488】

ニューラルネットワーク処理支援命令についての結果として得られる条件コードは、例えば、０－正常完了；１－応答コードがセットされる；２－；３－ＣＰＵによって判定された量のデータが処理される、を含む。

【0489】

一実施形態において、ニューラルネットワーク処理支援命令についての実行の優先度は、例えば以下を含む。

【0490】

１－７．一般的な場合についてのプログラム割り込み条件の優先度と同一の優先度を有する例外

【0491】

８．Ａ 割り当てられていない又はインストールされていない関数コードが指定されることに起因する条件コード１

【0492】

８．Ｂ ダブルワード境界上で指定されていないパラメータブロックに起因する仕様例外

【0493】

９．パラメータブロックへのアクセスについてのアクセス例外

【0494】

１０．モデルによってサポートされないパラメータブロックの指定されたフォーマットに起因する条件コード１。

【0495】

１１．Ａ 指定されたテンソルデータレイアウトがサポートされていないことに起因する条件コード１

【0496】

１１．Ｂ テンソル記述子間の異なるデータレイアウトに起因する汎用オペランドデータ例外

【0497】

１２．Ａ 上の項目８．Ａ、１０、及び１１．Ａ並びに下の１２．Ｂ．１に含まれるもの以外の条件に起因する条件コード１。

【0498】

１２．Ｂ．１ ＮＮＰＡ－ＲＥＬＵ 及びＮＮＰＡ－ＣＯＮＶＯＬＵＴＩＯＮについての無効な出力テンソルデータ型に起因する条件コード１

【0499】

１２．Ｂ．２ ＮＮＰＡ－ＲＥＬＵ関数特有のパラメータ１及びＮＮＰＡ－ＣＯＮＶＯＬＵＴＩＯＮ関数特有のパラメータ４についての無効な値の一般的なオペランドデータ例外。

【0500】

１３．Ａ 出力テンソルへのアクセスのためのアクセス例外

【0501】

１３．Ｂ 入力テンソルへのアクセスのためのアクセス例外

【0502】

１３．Ｃ 関数特有の保存エリアへのアクセスについてのアクセス例外

【0503】

１４ 条件コード０

【0504】

本明細書において説明されるように、単一命令（例えば、ニューラルネットワーク処理支援命令）は、クエリ関数及び複数の非クエリ関数を含む複数の関数を実行するように構成されている。各非クエリ関数は、４Ｄテンソルなどのテンソルに対して演算し得る。テンソルを使用する処理を促進するべく、本発明の１又は複数の態様によれば、テンソル（例えば、４Ｄテンソル）が複数の、例えば、特定の特徴を有する２Ｄテンソル（サブテンソルとも称される）に再フォーマットされ、処理を改善する。示されるように、サブテンソルは、容易に計算可能なアドレスを有し、１回の操作でロード／格納され得、帯域幅を増加させ、システム性能を改善させる。これは例えば、メモリ境界上でサブテンソルを開始し、固定ディメンションを有する（パディングを使用することによって可能となる）結果である。

【0505】

一例において、テンソルの再フォーマットは、プロセッサ（例えば、汎用プロセッサ１０４）が、データの要求を取得すること、及び／又は、非クエリ関数を指定するニューラルネットワーク処理支援命令を取得することに基づいて実行される。指定される４Ｄテンソルは、例えば、パラメータブロックにおいて提供されるテンソル記述子情報（例えば、図３Ｇのテンソル記述子３６０、３６５）を使用して再フォーマットされる。再フォーマットされたテンソルに関連するアドレス情報が、命令によって指定される機能の実行における使用のために、専用プロセッサ（例えばニューラルネットワークプロセッサ１０５）に提供される。

【0506】

本発明の１又は複数の態様は、コンピュータ技術に密接に結び付いており、コンピュータ内の処理を促進し、その性能を改善する。サブテンソル及び／又は命令は、コンピュータ処理、人工知能、再帰型ニューラルネットワーク、医療処理、エンジニアリング、自動車技術、製造など、多くの技術分野において使用され得る。本明細書において記載されるように、再フォーマットされた元のテンソルのサブテンソルを使用することによって、様々な技術分野において使用される複雑な計算の実行における最適化を含む、特定の最適化が提供され、帯域幅を増加することによってそれらの分野を改善し、効率を提供し、及び／又は、実行時間を低減する。

【0507】

本発明の１又は複数の態様に関連する、コンピューティング環境内の処理を促進する一実施形態のさらなる詳細が、図７Ａ及び７Ｂを参照して記載される。

【0508】

図７Ａを参照すると、一実施形態において、第１選択ディメンションのテンソルが取得される７００。テンソルは、第２選択ディメンションの１又は複数のサブテンソルを提供するために再フォーマットされる７０２。再フォーマットは、例えば、テンソルを表すために使用される幾つかのサブテンソルを決定すること７０４、幾つかのサブテンソルを生成すること（サブテンソルはメモリユニットの境界で開始する）７０６、及び、幾つかのサブテンソル内に収まるようにテンソルのデータを再構成することを含む７０８。

【0509】

メモリユニットの境界上で開始するサブテンソルを生成することによって、処理は、アドレス変換要求の数を低減すること及びデータ転送速度を増加させることによって促進される。更に、サブテンソルについてのメモリアドレスは容易に計算可能であり、複雑なアドレス計算のオーバヘッドを低減する。

【0510】

例において、幾つかのサブテンソルを決定することは、少なくとも、テンソルに含まれる要素値の数、及び、メモリユニットのサイズに基づいて、１又は複数のｃｅｉｌ関数を使用することを含む７１０。

【0511】

一例において、幾つかのサブテンソルの少なくとも１つのサブテンソルについてのデータを再構成することは、少なくとも１つのディメンションにおいて、幾つかのサブテンソルの少なくとも１つのサブテンソルをパディングして、少なくとも１つのサブテンソルを完成させること７１２を含む。パディングは、固定ディメンションのサブテンソルを提供し、アドレス計算及びデータ転送における効率を提供する。

【0512】

一例において、幾つかのサブテンソルの選択されたサブテンソルについてのデータを再構成することは、テンソル７１６を表す複数の行列において同一の位置のデータを選択すること、選択されたサブテンソル７１８の一行において選択されたデータを配置すること、及び、複数の行列７２０の複数の位置について、選択及び配置を反復することを含む。

【0513】

更に、図７Ｂを参照すると、一例において、データを再構成することは、１又は複数の行が、選択されたサブテンソル７３０のサイズによって収容されるより少ないデータを有することに基づいて、選択されたサブテンソルの１又は複数の行をパディングすること；及び、選択されたサブテンソルが、選択されたサブテンソル７３２のサイズによって収容されるより少ない行を有することに基づいて、１又は複数の追加のパディングされた行で、選択されたサブテンソルをパディングすることを含む。同様に、パディングは、固定ディメンションのサブテンソルを提供し、アドレス計算及びデータ転送における効率を提供する。

【0514】

例として、メモリユニットはメモリページであり、メモリユニットの境界はページ境界である７３４。ページ境界上で開始するサブテンソルを生成することによって、アドレス変換要求の数を低減しデータ転送速度を増加させることによって処理が促進される。

【0515】

一例において、テンソルコンピュテーション７４０における使用のために、１又は複数のサブテンソルがプロセッサに提供される。１又は複数のサブテンソルを提供することは、例えば、アドレス情報及び第２選択ディメンションに関連する情報を、１又は複数のサブテンソルのデータを１回の操作で格納するために使用されるプロセッサに提供すること７４２を含む。これにより、データ１回の操作のブロック格納を可能にし、システム性能を改善する。

【0516】

一例において、１又は複数のサブテンソルを提供することは、アドレス情報、及び、第２選択ディメンションに関連する情報を、１又は複数のサブテンソルのデータを１回の操作でロードするために使用されるプロセッサに提供することを含む７４４。これにより、１回の操作でデータをブロックロードすることを可能にし、システム性能を改善する。

【0517】

一例において、第１選択ディメンションは、４ディメンションであり、第２選択ディメンションは２ディメンションであり、ここで、１又は複数の２ディメンションサブテンソルは、１つの４ディメンションテンソルを表す７５０。

【0518】

他の変形例及び実施形態も可能である。

【0519】

本発明の態様は、多くのタイプのコンピューティング環境によって使用され得る。本発明の１又は複数の態様を組み込み使用するためのコンピューティング環境の別の例が図８Ａを参照して説明される。例として、図８Ａのコンピューティング環境は、ニューヨーク州アーモンクのインターナショナルビジネスマシンズコーポレーションによって提供されるｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ（登録商標）命令セットアーキテクチャに基づく。しかしながら、ｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ命令セットアーキテクチャは、単なる１つの例示的なアーキテクチャである。同様に、コンピューティング環境は、Ｉｎｔｅｌ（登録商標）ｘ８６アーキテクチャ、インターナショナルビジネスマシンズコーポレーションの他のアーキテクチャ、及び／又は、他の企業のアーキテクチャを含むがこれらに限定されない他のアーキテクチャに基づき得る。Ｉｎｔｅｌは、インテルコーポレーション、又は、米国及び他の国における子会社の商標又は登録商標である。

【0520】

一例において、コンピューティング環境１０は、中央電子処理装置（ＣＥＣ）１１を含む。中央電子処理装置１１は、例えば、１又は複数の汎用プロセッサ（すなわち中央処理装置（ＣＰＵ）１３）及び１又は複数の特定用途向けプロセッサ（例えば、ニューラルネットワークプロセッサ３１）などの１又は複数のプロセッサ、並びに、入出力（Ｉ／Ｏ）サブシステム１４に結合されたメモリ１２（すなわち、システムメモリ、メインメモリ、メインストレージ、中央ストレージ、ストレージ）などの複数のコンポーネントを含む。

【0521】

例として、１又は複数の特定用途向けプロセッサは、１又は複数の汎用プロセッサとは別であり得、及び／又は、少なくとも１つの専用プロセッサは、少なくとも１つの汎用プロセッサ内に組み込まれ得る。他の変形例も適用可能である。

【0522】

Ｉ／Ｏサブシステム１４は、中央電子処理装置の一部、又はそこから分離されたものであり得る。それは、メインストレージ１２と、中央電子処理装置に連結された入出力制御部１５及び入出力（Ｉ／Ｏ）デバイス１６との間の情報の流れを指示する。

【0523】

多くのタイプのＩ／Ｏデバイスが使用され得る。１つの特定のタイプは、データストレージデバイス１７である。データストレージデバイス１７は、１又は複数のプログラム１８、１又は複数のコンピュータ可読プログラム命令１９、及び／又はデータなどを格納し得る。コンピュータ可読プログラム命令は、本発明の態様の実施形態の機能を実行するように構成され得る。

【0524】

中央電子処理装置１１は、取り外し可能／取り外し不可能、揮発性／不揮発性コンピュータシステム記憶媒体に含まれる及び／又は連結され得る。例えば、それは、取り外し不可能な不揮発性磁気媒体（通常、「ハードドライブ」と呼ばれる）、取り外し可能な不揮発性磁気ディスク（例えば、「フロッピディスク」）から読み取る又はそこに書き込むための磁気ディスクドライブ、及び／又は、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ又は他の光媒体などの取り外し可能な不揮発性光ディスクから読み取る又はそこに書き込むための光ディスクドライブに含まれる及び／又は連結され得る。他のハードウェア及び／又はソフトウェアコンポーネントが、中央電子処理装置１１と併せて使用され得ることを理解されたい。例は、マイクロコード又はミリコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、及びデータアーカイブストレージシステムなどを含むが、これらに限定されない。

【0525】

さらに、中央電子処理装置１１は、多数の他の汎用又は専用コンピューティングシステム環境又は構成とともに動作可能であり得る。中央電子処理装置１１と共に使用するのに好適であり得る周知のコンピューティングシステム、環境、及び／又は構成の例は、上のシステム又はデバイス及び同様のもののいずれかを含む、パーソナルコンピュータ（ＰＣ）システム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラマブルコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータシステム、メインフレームコンピュータシステム、及び分散クラウドコンピューティング環境を含むが、これらに限定されない。

【0526】

中央電子処理装置１１は、１又は複数の実施形態において、論理パーティション及び／又は仮想化サポートを提供する。一実施形態において、図８Ｂに示されるように、メモリ１２は、例えば、１又は複数の論理パーティション２０、論理パーティションを管理するハイパーバイザ２１、及びプロセッサファームウェア２２を含む。ハイパーバイザ２１の１つの例としては、ニューヨーク州アーモンクのインターナショナルビジネスマシンズコーポレーションによって提供されるプロセッサリソース／システムマネージャ（ＰＲ／ＳＭＴＭ）がある。ＰＲ／ＳＭは、少なくも１つの法域におけるインターナショナルビジネスマシンズコーポレーションの商標又は登録商標である。

【0527】

各論理パーティション２０は、別個のシステムとして機能することが可能である。すなわち、各論理パーティションは、独立にリセットされ得、ニューヨーク州アーモンクのインターナショナルビジネスマシンズコーポレーションによって提供されるｚ／ＯＳ（登録商標）オペレーティングシステムなどのゲストオペレーティングシステム２３、又は、カップリングファシリティコントロールコード（ＣＦＣＣ）などの他の制御コード２４を実行し、異なるプログラム２５を用いて演算する。論理パーティションにおいて実行されているオペレーティングシステム又はアプリケーションプログラムは、全体の且つ完全なシステムへのアクセスを有するように見えるが、実際には、その一部のみが利用可能である。ｚ／ＯＳオペレーティングシステムが一例として提供されているが、インターナショナルビジネスマシンズコーポレーション及び／又は他の企業によって提供される他のオペレーティングシステムが、本発明の１又は複数の態様に従って使用され得る。

【0528】

メモリ１２は例えば、論理パーティションに割り当てられ得る物理的プロセッサリソースであるＣＰＵ１３（図８Ａ）に結合される。例えば、論理パーティション２０は、１又は複数の論理プロセッサを含み得、その各々は、論理パーティションに動的に割り当てられ得る物理プロセッサリソース１３のすべて又は一部を表す。

【0529】

更に別の実施形態において、中央電子処理装置は、仮想マシンサポート（論理パーティションサポートを有するもの又は有しないもののいずれか）を提供する。図８Ｃに示されるように、中央電子処理装置１１のメモリ１２は、例えば、１又は複数の仮想マシン２６と、仮想マシンを管理するハイパーバイザ２７などの仮想マシンマネージャと、プロセッサファームウェア２８とを含む。ハイパーバイザ２７の１つの例としては、ニューヨーク州アーモンクのインターナショナルビジネスマシンズコーポレーションによって提供されるｚ／ＶＭ（登録商標）ハイパーバイザがある。ハイパーバイザは、場合によっては、ホストと称される。ｚ／ＶＭは、少なくも１つの法域におけるインターナショナルビジネスマシンズコーポレーションの商標又は登録商標である。

【0530】

中央電子処理装置の仮想マシンサポートは、多くの数の仮想マシン２６を演算する能力を提供し、その各々は、異なるプログラム２９を用いて演算し、Ｌｉｎｕｘ（登録商標）オペレーティングシステムなどのゲストオペレーティングシステム３０を実行することが可能である。各仮想マシン２６は、別個のシステムとして機能することが可能である。すなわち、各仮想マシンは独立してリセットされ、ゲストオペレーティングシステムを実行し、異なるプログラムとともに動作し得る。仮想マシンにおいて実行されているオペレーティングシステム又はアプリケーションプログラムは、全体の且つ完全なシステムへのアクセスを有するように見えるが、実際には、その一部のみが利用可能である。ｚ／ＶＭ及びＬｉｎｕｘが例として提供されているが、他の仮想マシンマネージャ及び／又はオペレーティングシステムが、本発明の１又は複数の態様に従って使用され得る。登録商標であるＬｉｎｕｘ（登録商標）は、世界的に当該商標の所有者であるＬｉｎｕｓ Ｔｏｒｖａｌｄｓの専用ライセンシであるＬｉｎｕｘ Ｆｏｕｎｄａｔｉｏｎからのサブライセンスに従って使用されている。

【0531】

本発明の１又は複数の態様を組み込み及び使用するためのコンピューティング環境の別の実施形態は、図９Ａを参照して説明される。この例において、コンピューティング環境３６は、例えば、例えば１又は複数のバス４０及び／又は他のタイプの接続を介して互いに連結されている、ネイティブ中央処理装置（ＣＰＵ）３７、メモリ３８、及び、１又は複数の入出力デバイス及び／又はインタフェース３９を含む。例として、コンピューティング環境３６は、ニューヨーク州アーモンクのインターナショナルビジネスマシンズコーポレーションによって提供されるＰｏｗｅｒＰＣ（登録商標）プロセッサ；カリフォルニア州パロアルトのＨｅｗｌｅｔｔ Ｐａｃｋａｒｄ社によって提供される、Ｉｎｔｅｌ（登録商標）Ｉｔａｎｉｕｍ（登録商標）ＩＩプロセッサを用いるＨＰ Ｓｕｐｅｒｄｏｍｅ；及び／又は、インターナショナルビジネスマシンズコーポレーション、Ｈｅｗｌｅｔｔ Ｐａｃｋａｒｄ、インテルコーポレーション、オラクル及び／又は他社によって提供されるアーキテクチャに基づく他の機械を含み得る。（ＰｏｗｅｒＰＣは、少なくとも１つの法域におけるインターナショナルビジネスマシンズコーポレーションの商標又は登録商標である）。Ｉｔａｎｉｕｍは、米国及び他の国におけるインテルコーポレーション又はその子会社の商標又は登録商標である。

【0532】

ネイティブ中央処理装置３７は、環境内における処理中に使用される１又は複数の汎用レジスタ及び／又は１又は複数の特定用途向けレジスタ又などの、１又は複数のネイティブレジスタ４１を含む。これらのレジスタは、任意の特定時点における環境の状態を表す情報を含む。

【0533】

さらに、ネイティブ中央処理装置３７は、メモリ３８に格納されている命令及びコードを実行する。１つの特定の例において、中央処理装置は、メモリ３８に格納されているエミュレータコード４２を実行する。このコードは、１つのアーキテクチャにおいて構成されているコンピューティング環境が別のアーキテクチャをエミュレートすることを可能にする。例えば、エミュレータコード４２は、ＰｏｗｅｒＰＣプロセッサ、ＨＰ Ｓｕｐｅｒｄｏｍｅサーバ、又はその他などの、ｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ命令セットアーキテクチャ以外のアーキテクチャに基づくマシンがｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ命令セットアーキテクチャをエミュレートすること、及び、ｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ命令セットアーキテクチャに基づいて開発されたソフトウェア及び命令を実行することを可能にする。

【0534】

エミュレータコード４２に関連するさらなる詳細が、図９Ｂを参照して説明される。メモリ３８に格納されているゲスト命令４３は、ネイティブＣＰＵ３７以外のアーキテクチャにおいて実行されるように開発されたソフトウェア命令（例えば、マシン命令と相互に関連付けられた）を備える。例えば、ゲスト命令４３は、ｚ／Ａｒｃｈｉｔｅｃｔｕｒｅ命令セットアーキテクチャに基づくプロセッサ上で実行するように設計され得るが、代わりに、例えばＩｎｔｅｌ Ｉｔａｎｉｕｍ ＩＩプロセッサであり得るネイティブＣＰＵ３７上でエミュレートされている。一例において、エミュレータコード４２は、メモリ３８から１又は複数のゲスト命令４３を取得することと、取得された命令に対してローカルバッファリングを任意選択的に提供することとを行うための命令フェッチルーチン４４を含む。それはまた、取得されたゲスト命令のタイプを判定することと、ゲスト命令を１又は複数の対応するネイティブ命令４６に変換することとを行うための命令変換ルーチン４５を含む。この変換は、例えば、ゲスト命令によって実行される機能を識別することと、その機能を実行するためのネイティブ命令を選択することとを含む。

【0535】

さらに、エミュレータコード４２は、ネイティブ命令を実行させるためのエミュレーション制御ルーチン４７を含む。エミュレーション制御ルーチン４７は、ネイティブＣＰＵ３７に、１又は複数の以前に取得されたゲスト命令をエミュレートするネイティブ命令のルーチンを実行させて、そのような実行の終了において、次のゲスト命令又はゲスト命令のグループの取得をエミュレートするための命令フェッチルーチンに制御を返し得る。ネイティブ命令４６の実行は、メモリ３８からレジスタにデータをロードすること；レジスタからメモリにデータを戻して格納すること；又は、変換ルーチンによって判定されるような幾つかのタイプの算術又は論理演算を実行することを含み得る。

【0536】

各ルーチンは、例えば、メモリに格納され且つネイティブ中央処理装置３７によって実行されるソフトウェアにおいて実装される。他の例において、ルーチン又は動作のうち１又は複数は、ファームウェア、ハードウェア、ソフトウェア又はそれらの幾つかの組み合わせにおいて実装される。エミュレートされたプロセッサのレジスタは、ネイティブＣＰＵのレジスタ４１を使用して、又はメモリ３８における位置を使用してエミュレートされ得る。実施形態において、ゲスト命令４３、ネイティブ命令４６及びエミュレータコード４２は、同じメモリ内に存在し得、又は異なるメモリデバイス間に分散され得る。

【0537】

エミュレートされ得る命令は、本発明の１又は複数の態様による、本明細書において説明されるニューラルネットワーク支援処理命令を含む。更に、他の命令、及び／又は、テンソル処理の１又は複数の態様が、本発明の１又は複数の態様に従ってエミュレートされ得る。

【0538】

上記のコンピューティング環境は、使用され得るコンピューティング環境の単なる例である。パーティション化されていない環境、パーティション化されている環境、クラウド環境及び／又はエミュレートされた環境を含むが、これらに限定されない他の環境が使用され得、実施形態は、任意の１つの環境に限定されない。コンピューティング環境の様々な例が本明細書に説明されているが、本発明の１又は複数の態様は多くのタイプの環境とともに使用され得る。本明細書に提供されているコンピューティング環境は単なる例である。

【0539】

各コンピューティング環境は、本発明の１又は複数の態様を含むように構成されることが可能である。

【0540】

１又は複数の態様が、クラウドコンピューティングに関連し得る。

【0541】

本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載される教示内容の実装は、クラウドコンピューティング環境に限定されないことを理解されたい。むしろ、本発明の実施形態は、現在知られている、又は、今後開発される他の任意のタイプのコンピューティング環境と併せて実装することが可能である。

【0542】

クラウドコンピューティングは、管理の労力又はサービスのプロバイダとの対話を最小限に抑えながら迅速にプロビジョニング及びリリースされ得る構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、及び、サービス）の共有プールに対する便利なオンデマンドネットワークアクセスを可能にするためのサービス提供モデルである。本クラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、及び少なくとも４つの展開モデルを含んでよい。

【0543】

特徴は次の通りである。

【0544】

オンデマンドセルフサービス：クラウドコンシューマは、サービスのプロバイダとの人的対話を必要とすることなく、必要に応じて自動的に、サーバ時間及びネットワークストレージなどのコンピューティング能力を一方的にプロビジョニングすることができる。

【0545】

幅広いネットワークアクセス：能力は、ネットワークを介して利用可能であり、また、異種混交のシンクライアントプラットフォーム又はシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、及びＰＤＡ（登録商標））による使用を促進する標準的な機構を通じてアクセスされる。

【0546】

リソースプーリング：プロバイダのコンピューティングリソースは、マルチテナントモデルを用いて複数のコンシューマにサービスを提供するようにプールされており、様々な物理リソース及び仮想リソースが需要に沿って動的に割り当てられ、また再割り当てされる。コンシューマは、概して、提供されたリソースの正確な位置に対して制御又は知識を有していないが、より高いレベルの抽象化（例えば、国、州、又はデータセンタ）において位置を指定することが可能であり得るという点で、一種の位置独立性がある。

【0547】

迅速な拡張性：能力は迅速に且つ伸縮自在に、場合によっては自動的にプロビジョニングされ、即座にスケールアウトすることも、迅速にリリースして即座にスケールインすることもできる。コンシューマにとって、多くの場合、プロビジョニングのために利用可能な能力は無制限に見え、任意の時点において任意の量で購入され得る。

【0548】

計測されるサービス：クラウドシステムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、及びアクティブなユーザアカウント）に適したある抽象化レベルで計量能力を活用することにより、リソースの使用を自動的に制御及び最適化する。リソース使用量をモニタリング、制御及び報告することができ、それにより、利用されるサービスのプロバイダ及びコンシューマの両方に透明性が提供される。

【0549】

サービスモデルは次の通りである。

【0550】

サービスとしてのソフトウェア（ＳａａＳ）：コンシューマに提供される能力は、クラウドインフラストラクチャ上で動作しているプロバイダのアプリケーションを使用することである。アプリケーションは、ウェブブラウザ（例えば、ウェブベースの電子メール）などのシンクライアントインタフェースを通じて様々なクライアントデバイスからアクセス可能である。コンシューマは、限定されたユーザ固有のアプリケーション構成設定を考え得る例外として、ネットワーク、サーバ、オペレーティングシステム、ストレージ又は更には個々のアプリケーション能力を含む、基礎をなすクラウドインフラストラクチャを管理又は制御しない。

【0551】

サービスとしてのプラットフォーム（ＰａａＳ）：コンシューマに提供される能力は、プロバイダによってサポートされるプログラミング言語及びツールを用いて作成された、コンシューマが作成又は取得したアプリケーションをクラウドインフラストラクチャ上に展開することである。コンシューマは、ネットワーク、サーバ、オペレーティングシステム、又はストレージを含む、基礎をなすクラウドインフラストラクチャを管理又は制御しないが、展開されたアプリケーション、及び場合によってはアプリケーションホスティング環境構成に対して制御を有する。

【0552】

サービスとしてのインフラストラクチャ（ＩａａＳ）：コンシューマに提供される能力は、処理、ストレージ、ネットワーク、及び他の基本的なコンピューティングリソースをプロビジョニングすることであり、コンシューマは、オペレーティングシステム及びアプリケーションを含み得る任意のソフトウェアを展開し、動作させることができる。コンシューマは、基礎をなすクラウドインフラストラクチャを管理又は制御しないが、オペレーティングシステム、ストレージ、展開されたアプリケーションに対する制御及び、場合によっては、選択されたネットワーキングコンポーネント（例えば、ホストファイアウォール）に対する限定的な制御を有する。

【0553】

展開モデルは次の通りである。

【0554】

プライベートクラウド：クラウドインフラストラクチャは、組織のためにのみ運用される。それは、組織又はサードパーティによって管理されてよく、オンプレミス又はオフプレミスで存在してよい。

【0555】

コミュニティクラウド：クラウドインフラストラクチャは、複数の組織により共有されており、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシ、及び法令順守に関わる考慮事項）を有する特定のコミュニティをサポートする。コミュニティクラウドは、それらの組織又はサードパーティによって管理されてよく、オンプレミス又はオフプレミスで存在してよい。

【0556】

パブリッククラウド：クラウドインフラストラクチャは、一般大衆又は大規模な業界団体により利用可能になり、クラウドサービスを販売する組織により所有されている。

【0557】

ハイブリッドクラウド：クラウドインフラストラクチャは、２又はそれより多くのクラウド（プライベート、コミュニティ、又は、パブリック）を組み合わせたものであり、これらのクラウドは、固有のエンティティであり続けるが、データ及びアプリケーションの移植性（例えば、クラウド間で負荷分散するためのクラウドバースト）を可能にする標準化技術又はプロプライエタリ技術によって結びつけられている。

【0558】

クラウドコンピューティング環境は、ステートレス性、低結合性、モジュール性、及び意味的相互運用性に重点を置いたサービス指向型である。クラウドコンピューティングの中核には、相互接続されたノードからなるネットワークを含むインフラストラクチャが存在する。

【0559】

ここで、図１０を参照すると、例示的なクラウドコンピューティング環境５０が示される。図示されている通り、クラウドコンピューティング環境５０は、例えば、パーソナルデジタルアシスタント（ＰＤＡ）又はセルラー電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、及び／又は自動車コンピュータシステム５４Ｎなど、クラウドコンシューマによって使用されるローカルコンピューティングデバイスが通信し得る１又は複数のクラウドコンピューティングノード５２を含む。ノード５２は、互いに通信し得る。それらは、上述したようなプライベートクラウド、コミュニティクラウド、パブリッククラウド、又はハイブリッドクラウド、又はその組み合わせなどの、１又は複数のネットワークにおいて物理的に又は仮想的にグループ化（図示せず）されてよい。これは、クラウドコンピューティング環境５０が、インフラストラクチャ、プラットフォーム、及び／又はソフトウェアを、クラウドコンシューマがそのためにローカルコンピューティングデバイス上にリソースを維持する必要がないサービスとして提供することを可能にする。図１０に示されるコンピューティングデバイス５４Ａ－Ｎのタイプは、単なる例示を意図したものであり、コンピューティングノード５２及びクラウドコンピューティング環境５０は、任意のタイプのネットワーク及び／又はネットワークアドレス可能接続を介して（例えば、ウェブブラウザを使用して）、任意のタイプのコンピュータ化デバイスと通信し得るが理解される。

【0560】

ここで、図１１を参照すると、クラウドコンピューティング環境５０（図１０）によって提供される機能抽象化層のセットが示される。図１１に示されているコンポーネント、層、及び機能が例示のみを意図したものであり、本発明の実施形態がそれらに限定されないことを事前に理解されるべきである。図示されている通り、以下の層及び対応する機能が提供されている。

【0561】

ハードウェア及びソフトウェア層６０は、ハードウェア及びソフトウェアコンポーネントを備える。ハードウェアコンポーネントの例は、メインフレーム６１；ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャベースのサーバ６２；サーバ６３；ブレードサーバ６４；ストレージデバイス６５；及び、ネットワーク及びネットワーキングコンポーネント６６を含む。幾つかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア６７及びデータベースソフトウェア６８を含む。

【0562】

仮想化層７０は、仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーション及びオペレーティングシステム７４、ならびに仮想クライアント７５である、仮想エンティティの例が提供され得る抽象化層を提供する。

【0563】

一例において、管理層８０は、以下で説明する機能を提供してもよい。リソースプロビジョニング８１は、クラウドコンピューティング環境内でタスクを実行するために利用される、コンピューティングリソース及び他のリソースの動的な調達を提供する。計量及び価格設定８２は、クラウドコンピューティング環境内でリソースが利用される際のコスト追跡、及びこれらのリソースの消費に対する請求又はインボイス作成を提供する。一例において、これらのリソースは、アプリケーションソフトウェアライセンスを含んでよい。セキュリティは、クラウドコンシューマ及びタスクのアイデンティティ検証、並びに、データ及び他のリソースの保護を提供する。ユーザポータル８３は、コンシューマ及びシステム管理者のために、クラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４は、必要とされるサービスレベルが満たされるように、クラウドコンピューティングリソース割り当て及び管理を提供する。サービスレベルアグリーメント（ＳＬＡ）計画及び履行８５は、ＳＬＡに従って将来の要件が予測されるクラウドコンピューティングリソースの事前準備及び調達を提供する。

【0564】

ワークロード層９０は、クラウドコンピューティング環境が利用され得る機能の例を提供する。この層から提供され得るワークロード及び機能の例は、マッピング及びナビゲーション９１、ソフトウェア開発及びライフサイクル管理９２、仮想教室教育配信９３、データ分析処理９４、取引処理９５、及び、テンソル及び／又はニューラルネットワーク支援処理９６を含む。

【0565】

本発明の態様は、任意の可能な技術詳細レベルの統合におけるシステム、方法及び／又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（又は複数の媒体）を含んでよい。

【0566】

コンピュータ可読記憶媒体は、命令実行デバイスによって使用されるための命令を保持及び記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は上述したものの任意の好適な組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例の非網羅的リストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、デジタルバーサタイルディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、メモリスティック、フロッピディスク、命令が記録されているパンチカード又は溝の中の隆起構造などの機械的にエンコードされるデバイス、及びこれらの任意の好適な組み合わせを含む。本明細書において使用されるコンピュータ可読記憶媒体は、電波又は他の自由に伝播する電磁波、導波路又は他の伝送媒体を通って伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又はワイヤを通じて伝送される電気信号等、それ自体が一時的な信号であると解釈されるべきではない。

【0567】

本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、それぞれのコンピューティング／処理デバイスに、又は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークを介して、外部コンピュータ又は外部記憶デバイスに、ダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを備え得る。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインタフェースは、ネットワークからのコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。

【0568】

本発明の動作を実行するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データであってもよく、Ｓｍａｌｌｔａｌｋ（登録商標）又はＣ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような手続き型プログラミング言語を含む１又は複数のプログラミング言語の任意の組み合わせで記述したソースコード又はオブジェクトコードであってもよい。コンピュータ可読プログラム命令は、スタンドアロンのソフトウェアパッケージとして、ユーザのコンピュータ上で全体を実行すること、ユーザのコンピュータ上で一部分を実行することができ、ユーザのコンピュータ上で一部分を、リモートコンピュータ上で一部分を実行すること、又は、リモートコンピュータ又はサーバ上で全体を実行することができる。後者のシナリオでは、リモートコンピュータが、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてよく、又はその接続が、（例えば、インターネットサービスプロバイダを用いたインターネットを介して）外部コンピュータに対して行われてよい。幾つかの実施形態において、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することによりコンピュータ可読プログラム命令を実行し、電子回路をパーソナライズしてよい。

【0569】

本発明の態様は、本明細書において、本発明の実施形態に係る方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して説明されている。フローチャート図及び／又はブロック図の各のブロック、及び、フローチャート図及び／又はブロック図におけるブロックの組み合わせが、コンピュータ可読プログラム命令によって実装され得ることが理解されよう。

【0570】

これらのコンピュータ可読プログラム命令をコンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供してマシンを生み出してよく、それにより、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図の１又は複数のブロックで指定された機能／動作を実装するための手段を作成する。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置及び／又は他のデバイスに特定の様式で機能するように指示することができるコンピュータ可読記憶媒体にも記憶され得、それにより、その中に命令が記憶されたコンピュータ可読記憶媒体が、フローチャート及び／又はブロック図の１又は複数のブロックで指定された機能／動作の態様を実装する命令を含む製品を有する。

【0571】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードして、一連の動作段階をコンピュータ、他のプログラマブル装置又は他のデバイス上で実行させ、コンピュータ実装プロセスを生成してよく、それにより、コンピュータ、他のプログラマブル装置、又は他のデバイス上で実行される命令は、フローチャート及び／又はブロック図の１又は複数のブロックで指定された機能／動作を実装する。

【0572】

図面におけるフローチャート及びブロック図は、本発明の様々な実施形態に係るシステム、方法、及びコンピュータプログラム製品の考えられる実装形態のアーキテクチャ、機能、及び動作を示している。これに関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実装するための１又は複数の実行可能命令を含む命令のモジュール、セグメント、又は一部を表し得る。幾つかの代替的な実装形態において、ブロックに記されている機能は、図面に記されている順序とは異なる順序で行われ得る。例えば、連続して示されている２つのブロックが、実際には、１つの段階として実現されてよく、同時に、実質的に同時に、部分的に又は全体的に時間が重複する方式で実行されてよく、又は、ブロックは、場合によっては、関与する機能に応じて逆の順序で実行されてよい。ブロック図及び／又はフローチャート図の各ブロック、及び、ブロック図及び／又はフローチャート図のブロックの組合せを、指定された機能もしくは動作を行う、又は、特殊目的のハードウェア命令及びコンピュータ命令の組合せを実行する特殊目的のハードウェアベースのシステムにより実装することが可能であることも留意されるであろう。

【0573】

上記に加えて、顧客環境の管理をオファーするサービスプロバイダによって、１又は複数の態様が提供され、オファーされ、展開され、管理され、サービス提供されるなどのことができる。例えば、サービスプロバイダは、１又は複数の顧客のために１又は複数の態様を実行するコンピュータコード及び／又はコンピュータインフラストラクチャを作成、維持、サポートするなどのことができる。返答として、サービスプロバイダは、例として、サブスクリプション及び／又は手数料契約の下の顧客から支払いを受け取り得る。加えて又は代替的に、サービスプロバイダは、１又は複数のサードパーティに対する広告コンテンツの販売から、支払いを受け取り得る。

【0574】

１つの態様において、アプリケーションは、１又は複数の実施形態を実行するために展開され得る。１つの例として、アプリケーションの展開は、１又は複数の実施形態を実行するために動作可能なコンピュータインフラストラクチャを提供することを含む。

【0575】

更なる態様として、コンピューティングシステムにコンピュータ可読コードを統合することを含むコンピューティングインフラストラクチャが展開され得、ここで、コンピューティングシステムと組み合わされたコードは、１又は複数の実施形態を実行することが可能である。

【0576】

さらに別の態様として、コンピュータ可読コードをコンピュータシステムに統合することを含むコンピューティングインフラストラクチャを統合するためのプロセスが提供され得る。コンピュータシステムはコンピュータ可読媒体を含み、ここで、コンピュータ媒体は１又は複数の実施形態を含む。コンピュータシステムと組み合わされたコードは、１又は複数の実施形態を実行することが可能である。

【0577】

様々な実施形態が上記に説明されているが、これらは単なる例である。例えば、他のアーキテクチャのコンピューティング環境が、１又は複数の態様の組み込み及び／又は使用を行うために使用され得る。さらに、異なる命令又は動作が使用され得る。追加的に、異なるタイプのレジスタ及び／又は異なるレジスタが使用され得る。更に、他のデータフォーマット、データレイアウト、及び／又はデータサイズがサポートされ得る。１又は複数の実施形態において、１又は複数の汎用プロセッサ、１又は複数の特定用途向けプロセッサ、又は、汎用及び専用プロセッサの組み合わせが使用され得る。多くの変形例が可能である。

【0578】

様々な態様が本明細書に説明されている。さらに、多くの変形例を、本発明の態様の趣旨から逸脱することなく行うことが可能である。別様に矛盾していない限り、本明細書に説明された各態様又は特徴とその変形とは、任意の他の態様又は特徴と組み合わせ可能であり得ることに留意されたい。

【0579】

さらに、他のタイプのコンピューティング環境が利益を得て、使用され得る。一例として、プログラムコードを格納及び／又は実行するのに好適なデータ処理システムが使用可能であり、システムバスを通じてメモリ要素に直接的又は間接的に連結された少なくとも２つのプロセッサを含む。メモリ素子は、例えば、プログラムコードを実際に実行する間に利用されるローカルメモリと、大容量記憶装置と、実行中にコードが大容量記憶装置から検索されなければならない回数を減らすべく、少なくとも一部のプログラムコードの一時的なストレージを提供するキャッシュメモリとを含む。

【0580】

入出力又はＩ／Ｏデバイス（キーボード、ディスプレイ、ポインティングデバイス、ＤＡＳＤ、テープ、ＣＤ、ＤＶＤ、サムドライブ、及び他のメモリ媒体などを含むが、これらに限定されない）は、直接又は介在するＩ／Ｏコントローラを介して、システムに連結され得る。ネットワークアダプタもまた、データ処理システムが他のデータ処理システム又はリモートプリンタ又は記憶装置と結合されることを可能するために、間にあるプライベート又はパブリックネットワークを通じて、システムと結合され得る。モデム、ケーブルモデム及びイーサネット（登録商標）カードは、利用可能なネットワークアダプタのタイプのほんの一部にすぎない。

【0581】

本明細書で使用される用語は、特定の実施形態のみを説明することを目的としており、限定を行うことを意図しない。本明細書で使用される場合、文脈が別段明確に示さない限りは、単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、複数形も含むことを意図する。用語「含む」及び／又は「含み」は、本明細書において使用されるとき、記載された特徴、整数、段階、オペレーション、要素及び／又はコンポーネントの存在を指定するが、１又は複数の他の特徴、整数、段階、オペレーション、要素、コンポーネント、及び／又は、それらのグループの存在又は追加を除外するものではないことを更に理解されたい。

【0582】

以下の請求項におけるあらゆる手段又は段階プラス機能要素の、対応する構造、材料、動き、及びそれらと同等のものがある場合は、特に請求されるものとして他の請求される要素との組み合わせで機能を実行するための構造、材料、又は行為を含むものとして意図される。１又は複数の実施形態の説明は、例示及び説明の目的のために提示されているが、網羅的であること又は開示された形に限定されることを意図するものではない。当業者には多くの修正及び変形が明らかとなるであろう。様々な態様及び実際の適用を最良に説明するべく、ならびに、企図される特定の使用に好適なように様々な修正を有する様々な実施形態を当業者が理解することを可能にするべく、実施形態が選択及び説明された。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図3G】

【図4】

【図5A-5C】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図10】

【図11】

【手続補正書】

【提出日】2024-01-09

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピューティング環境内の処理を促進するためのコンピュータプログラムであって、前記コンピュータプログラムは、コンピュータにより実行された場合、
第１選択ディメンションのテンソルを取得する手順；及び
前記テンソルを再フォーマットして、第２選択ディメンションの１又は複数のサブテンソルを提供する手順
を備える方法を前記コンピュータに実行させ、ここで、前記再フォーマットは、
前記テンソルを表すために使用される幾つかのサブテンソルを決定すること；
前記幾つかのサブテンソルを生成すること、ここで、サブテンソルは、メモリユニットの境界で開始する；及び
前記幾つかのサブテンソル内に収まるように前記テンソルのデータを再構成すること
を含む、
コンピュータプログラム。

【請求項2】

前記幾つかのサブテンソルを前記決定することは、少なくとも、前記テンソルに含まれる要素値の数及び前記メモリユニットのサイズに基づいて、１又は複数のｃｅｉｌ関数を使用することを含む、請求項１に記載のコンピュータプログラム。

【請求項3】

前記幾つかのサブテンソルの少なくとも１つのサブテンソルについてのデータを前記再構成することは、少なくとも１つのディメンションにおいて、前記幾つかのサブテンソルの前記少なくとも１つのサブテンソルをパディングして、前記少なくとも１つのサブテンソルを完成させることを含む、請求項１に記載のコンピュータプログラム。

【請求項4】

前記幾つかのサブテンソルの選択されたサブテンソルについてのデータを前記再構成することは、
前記テンソルを表す複数の行列における同一の位置のデータを選択すること；
前記選択されたサブテンソルの１つの行に選択された前記データを配置すること；及び
前記複数の行列の複数の位置について、前記選択すること及び前記配置することを反復すること
を含む、請求項１に記載のコンピュータプログラム。

【請求項5】

データを前記再構成することはさらに、
前記選択されたサブテンソルの１又は複数の行を、前記選択されたサブテンソルのサイズによって収容されるより少ないデータを前記１又は複数の行が有することに基づいて、パディングすること；及び
前記選択されたサブテンソルの前記サイズによって収容されるより少ない行を前記選択されたサブテンソルが有することに基づいて、前記選択されたサブテンソルを１又は複数の追加のパディングされた行でパディングすること
を含む、請求項４に記載のコンピュータプログラム。

【請求項6】

前記メモリユニットはメモリページであり、前記メモリユニットの前記境界はページ境界である、請求項１に記載のコンピュータプログラム。

【請求項7】

前記方法はさらに、テンソルコンピュテーションにおいて使用するために、前記１又は複数のサブテンソルをプロセッサに提供する手順を備える、請求項１に記載のコンピュータプログラム。

【請求項8】

前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報、及び、前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作で格納するために使用される前記プロセッサに提供することを含む、請求項７に記載のコンピュータプログラム。

【請求項9】

前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報、及び、前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作でロードするために使用される前記プロセッサに提供することを含む、請求項７に記載のコンピュータプログラム。

【請求項10】

前記第１選択ディメンションは４ディメンションであり、前記第２選択ディメンションは２ディメンションであり、ここで、１又は複数の２ディメンションサブテンソルは、１つの４ディメンションテンソルを表す、請求項１に記載のコンピュータプログラム。

【請求項11】

コンピューティング環境内の処理を促進するためのコンピュータシステムであって、前記コンピュータシステムは、
メモリ；及び
前記メモリと通信する少なくとも１つのプロセッサ
を備え、ここで、前記コンピュータシステムは、
第１選択ディメンションのテンソルを取得する手順；及び
前記テンソルを再フォーマットして、第２選択ディメンションの１又は複数のサブテンソルを提供する手順
を備える方法を実行するように構成され、ここで、前記再フォーマットは、
前記テンソルを表すために使用される幾つかのサブテンソルを決定すること；
前記幾つかのサブテンソルを生成すること、ここで、サブテンソルが、メモリユニットの境界で開始する；及び
前記幾つかのサブテンソルに収まるように、前記テンソルのデータを再構成すること
を含む、コンピュータシステム。

【請求項12】

前記幾つかのサブテンソルの選択されたサブテンソルについてのデータを前記再構成することは、
前記テンソルを表す複数の行列における同一の位置のデータを選択すること；
前記選択されたサブテンソルの１つの行に選択された前記データを配置すること；及び
前記複数の行列の複数の位置について、前記選択すること及び前記配置することを反復すること
を含む、請求項１１に記載のコンピュータシステム。

【請求項13】

データを前記再構成することは更に、
前記選択されたサブテンソルの１又は複数の行を、前記選択されたサブテンソルのサイズによって収容されるより少ないデータを前記１又は複数の行が有することに基づいて、パディングすること；及び
前記選択されたサブテンソルの前記サイズによって収容されるより少ない行を前記選択されたサブテンソルが有することに基づいて、前記選択されたサブテンソルを１又は複数の追加のパディングされた行でパディングすること
を含む、請求項１２に記載のコンピュータシステム。

【請求項14】

前記方法は更に、テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する手順を備え、ここで、前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作で格納するために使用される前記プロセッサに提供することを含む、請求項１１に記載のコンピュータシステム。

【請求項15】

前記方法は更に、テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する手順を備え、ここで、前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作でロードするために使用される前記プロセッサに提供することを含む、請求項１１に記載のコンピュータシステム。

【請求項16】

コンピューティング環境内の処理を促進するコンピュータ実装方法であって、前記コンピュータ実装方法は、
第１選択ディメンションのテンソルを取得する段階；及び
前記テンソルを再フォーマットして、第２選択ディメンションの１又は複数のサブテンソルを提供する段階
を備え、ここで、前記再フォーマットは、
前記テンソルを表すために使用される幾つかのサブテンソルを決定すること；
前記幾つかのサブテンソルを生成すること、ここで、サブテンソルが、メモリユニットの境界上で開始する；及び
前記幾つかのサブテンソル内に収まるように前記テンソルのデータを再構成すること
を含む、コンピュータ実装方法。

【請求項17】

前記幾つかのサブテンソルの選択されたサブテンソルについてのデータを前記再構成することは、
前記テンソルを表す複数の行列における同一の位置のデータを選択すること；
前記選択されたサブテンソルの１つの行に選択された前記データを配置すること；及び
前記複数の行列の複数の位置について、前記選択すること及び前記配置することを反復すること
を含む、請求項１６に記載のコンピュータ実装方法。

【請求項18】

データを前記再構成することはさらに、
前記選択されたサブテンソルの１又は複数の行を、前記選択されたサブテンソルのサイズによって収容されるより少ないデータを前記１又は複数の行が有することに基づいて、パディングすること；及び
前記選択されたサブテンソルの前記サイズによって収容されるより少ない行を前記選択されたサブテンソルが有することに基づいて、前記選択されたサブテンソルを１又は複数の追加のパディングされた行でパディングすること
を含む、請求項１７に記載のコンピュータ実装方法。

【請求項19】

テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する段階を更に備え、ここで、前記１又は複数のサブテンソルを前記提供する段階は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作で格納するために使用される前記プロセッサに提供することを含む、請求項１６に記載のコンピュータ実装方法。

【請求項20】

テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する段階を更に備え、ここで、前記１又は複数のサブテンソルを前記提供する段階は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作でロードするために使用される前記プロセッサに提供することを含む、請求項１６に記載のコンピュータ実装方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０５８２

【補正方法】変更

【補正の内容】

【0582】

以下の請求項におけるあらゆる手段又は段階プラス機能要素の、対応する構造、材料、動き、及びそれらと同等のものがある場合は、特に請求されるものとして他の請求される要素との組み合わせで機能を実行するための構造、材料、又は行為を含むものとして意図される。１又は複数の実施形態の説明は、例示及び説明の目的のために提示されているが、網羅的であること又は開示された形に限定されることを意図するものではない。当業者には多くの修正及び変形が明らかとなるであろう。様々な態様及び実際の適用を最良に説明するべく、ならびに、企図される特定の使用に好適なように様々な修正を有する様々な実施形態を当業者が理解することを可能にするべく、実施形態が選択及び説明された。
［項目１］
コンピューティング環境内の処理を促進するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
第１選択ディメンションのテンソルを取得する手順；及び
前記テンソルを再フォーマットして、第２選択ディメンションの１又は複数のサブテンソルを提供する手順
を備える方法を実行するために１又は複数のコンピュータ可読記憶媒体にまとめて格納されるプログラム命令及び前記１又は複数のコンピュータ可読記憶媒体を備え、ここで、前記再フォーマットは、
前記テンソルを表すために使用される幾つかのサブテンソルを決定すること；
前記幾つかのサブテンソルを生成すること、ここで、サブテンソルは、メモリユニットの境界で開始する；及び
前記幾つかのサブテンソル内に収まるように前記テンソルのデータを再構成すること
を含む、
コンピュータプログラム製品。
［項目２］
前記幾つかのサブテンソルを前記決定することは、少なくとも、前記テンソルに含まれる要素値の数及び前記メモリユニットのサイズに基づいて、１又は複数のｃｅｉｌ関数を使用することを含む、項目１に記載のコンピュータプログラム製品。
［項目３］
前記幾つかのサブテンソルの少なくとも１つのサブテンソルについてのデータを前記再構成することは、少なくとも１つのディメンションにおいて、前記幾つかのサブテンソルの前記少なくとも１つのサブテンソルをパディングして、前記少なくとも１つのサブテンソルを完成させることを含む、項目１に記載のコンピュータプログラム製品。
［項目４］
前記幾つかのサブテンソルの選択されたサブテンソルについてのデータを前記再構成することは、
前記テンソルを表す複数の行列における同一の位置のデータを選択すること；
前記選択されたサブテンソルの１つの行に選択された前記データを配置すること；及び
前記複数の行列の複数の位置について、前記選択すること及び前記配置することを反復すること
を含む、項目１に記載のコンピュータプログラム製品。
［項目５］
データを前記再構成することはさらに、
前記選択されたサブテンソルの１又は複数の行を、前記選択されたサブテンソルのサイズによって収容されるより少ないデータを前記１又は複数の行が有することに基づいて、パディングすること；及び
前記選択されたサブテンソルの前記サイズによって収容されるより少ない行を前記選択されたサブテンソルが有することに基づいて、前記選択されたサブテンソルを１又は複数の追加のパディングされた行でパディングすること
を含む、項目４に記載のコンピュータプログラム製品。
［項目６］
前記メモリユニットはメモリページであり、前記メモリユニットの前記境界はページ境界である、項目１から５のいずれか一項に記載のコンピュータプログラム製品。
［項目７］
前記方法はさらに、テンソルコンピュテーションにおいて使用するために、前記１又は複数のサブテンソルをプロセッサに提供する手順を備える、項目１から６のいずれか一項に記載のコンピュータプログラム製品。
［項目８］
前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報、及び、前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作で格納するために使用される前記プロセッサに提供することを含む、項目７に記載のコンピュータプログラム製品。
［項目９］
前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報、及び、前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作でロードするために使用される前記プロセッサに提供することを含む、項目７に記載のコンピュータプログラム製品。
［項目１０］
前記第１選択ディメンションは４ディメンションであり、前記第２選択ディメンションは２ディメンションであり、ここで、１又は複数の２ディメンションサブテンソルは、１つの４ディメンションテンソルを表す、項目１から９のいずれか一項に記載のコンピュータプログラム製品。
［項目１１］
コンピューティング環境内の処理を促進するためのコンピュータシステムであって、前記コンピュータシステムは、
メモリ；及び
前記メモリと通信する少なくとも１つのプロセッサ
を備え、ここで、前記コンピュータシステムは、
第１選択ディメンションのテンソルを取得する手順；及び
前記テンソルを再フォーマットして、第２選択ディメンションの１又は複数のサブテンソルを提供する手順
を備える方法を実行するように構成され、ここで、前記再フォーマットは、
前記テンソルを表すために使用される幾つかのサブテンソルを決定すること；
前記幾つかのサブテンソルを生成すること、ここで、サブテンソルが、メモリユニットの境界で開始する；及び
前記幾つかのサブテンソルに収まるように、前記テンソルのデータを再構成すること
を含む、コンピュータシステム。
［項目１２］
前記幾つかのサブテンソルの選択されたサブテンソルについてのデータを前記再構成することは、
前記テンソルを表す複数の行列における同一の位置のデータを選択すること；
前記選択されたサブテンソルの１つの行に選択された前記データを配置すること；及び
前記複数の行列の複数の位置について、前記選択すること及び前記配置することを反復すること
を含む、項目１１に記載のコンピュータシステム。
［項目１３］
データを前記再構成することは更に、
前記選択されたサブテンソルの１又は複数の行を、前記選択されたサブテンソルのサイズによって収容されるより少ないデータを前記１又は複数の行が有することに基づいて、パディングすること；及び
前記選択されたサブテンソルの前記サイズによって収容されるより少ない行を前記選択されたサブテンソルが有することに基づいて、前記選択されたサブテンソルを１又は複数の追加のパディングされた行でパディングすること
を含む、項目１２に記載のコンピュータシステム。
［項目１４］
前記方法は更に、テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する手順を備え、ここで、前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作で格納するために使用される前記プロセッサに提供することを含む、項目１１に記載のコンピュータシステム。
［項目１５］
前記方法は更に、テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する手順を備え、ここで、前記１又は複数のサブテンソルを前記提供する手順は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作でロードするために使用される前記プロセッサに提供することを含む、項目１１に記載のコンピュータシステム。
［項目１６］
コンピューティング環境内の処理を促進するコンピュータ実装方法であって、前記コンピュータ実装方法は、
第１選択ディメンションのテンソルを取得する段階；及び
前記テンソルを再フォーマットして、第２選択ディメンションの１又は複数のサブテンソルを提供する段階
を備え、ここで、前記再フォーマットは、
前記テンソルを表すために使用される幾つかのサブテンソルを決定すること；
前記幾つかのサブテンソルを生成すること、ここで、サブテンソルが、メモリユニットの境界上で開始する；及び
前記幾つかのサブテンソル内に収まるように前記テンソルのデータを再構成すること
を含む、コンピュータ実装方法。
［項目１７］
前記幾つかのサブテンソルの選択されたサブテンソルについてのデータを前記再構成することは、
前記テンソルを表す複数の行列における同一の位置のデータを選択すること；
前記選択されたサブテンソルの１つの行に選択された前記データを配置すること；及び
前記複数の行列の複数の位置について、前記選択すること及び前記配置することを反復すること
を含む、項目１６に記載のコンピュータ実装方法。
［項目１８］
データを前記再構成することはさらに、
前記選択されたサブテンソルの１又は複数の行を、前記選択されたサブテンソルのサイズによって収容されるより少ないデータを前記１又は複数の行が有することに基づいて、パディングすること；及び
前記選択されたサブテンソルの前記サイズによって収容されるより少ない行を前記選択されたサブテンソルが有することに基づいて、前記選択されたサブテンソルを１又は複数の追加のパディングされた行でパディングすること
を含む、項目１７に記載のコンピュータ実装方法。
［項目１９］
テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する段階を更に備え、ここで、前記１又は複数のサブテンソルを前記提供する段階は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作で格納するために使用される前記プロセッサに提供することを含む、項目１６に記載のコンピュータ実装方法。
［項目２０］
テンソルコンピュテーションにおける使用のために前記１又は複数のサブテンソルをプロセッサに提供する段階を更に備え、ここで、前記１又は複数のサブテンソルを前記提供する段階は、アドレス情報及び前記第２選択ディメンションに関連する情報を、前記１又は複数のサブテンソルの前記データを１回の操作でロードするために使用される前記プロセッサに提供することを含む、項目１６に記載のコンピュータ実装方法。

【国際調査報告】