特表 2024-508596 階層的な共有指数浮動小数点データタイプ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-28

(54)【発明の名称】階層的な共有指数浮動小数点データタイプ

(51)【国際特許分類】

   G06N 3/0495 20230101AFI20240220BHJP

   G06F 17/10 20060101ALI20240220BHJP

   G06F 7/483 20060101ALI20240220BHJP

【ＦＩ】

G06N3/0495

G06F17/10 Z

G06F7/483

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023541370

(86)(22)【出願日】2022-01-20

(85)【翻訳文提出日】2023-08-24

(86)【国際出願番号】 US2022013086

(87)【国際公開番号】W WO2022173572

(87)【国際公開日】2022-08-18

(31)【優先権主張番号】63/148,086

(32)【優先日】2021-02-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/361,263

(32)【優先日】2021-06-28

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ダルビッシュ ロウハーニー，ビタ

(72)【発明者】

【氏名】エランゴ，ヴェンムギル

(72)【発明者】

【氏名】シャフィプール，ラスール

(72)【発明者】

【氏名】フォワーズ，ジェレミー

(72)【発明者】

【氏名】リウ，ミン ガン

(72)【発明者】

【氏名】シー，ジンウェン

(72)【発明者】

【氏名】バーガー，ダグラス シー．

(72)【発明者】

【氏名】チュン，エリック エス．

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056AA01

5B056CC01

(57)【要約】

本開示の実施形態は、階層的な共有指数浮動小数点データタイプを提供するためのシステム及び方法を含む。第１及び第２の共有指数値は、複数の浮動小数点値の指数値に基づいて決定される。第３の共有指数値は、第１の共有指数値及び第２の共有指数値に基づいて決定される。第１及び第２の差の値は、第１の共有指数値、第２の共有指数値及び第３の共有指数値に基づいて決定される。符号値及び仮数値は、複数の浮動小数点値について決定される。複数の浮動小数点値の各浮動小数点値のための符号値及び仮数値、第３の共有指数値、第１の差の値並びに第２の差の値は、共有指数浮動小数点データタイプのためのデータ構造に格納される。

【特許請求の範囲】

【請求項1】

デバイスの少なくとも１つの処理ユニットによって実行可能なプログラムを格納する機械可読媒体であって、前記プログラムは、
複数の浮動小数点値の第１のサブセットの各浮動小数点値の指数値に基づいて、第１の共有指数値を決定することと、
前記複数の浮動小数点値の第２のサブセットの各浮動小数点値の指数値に基づいて、第２の共有指数値を決定することと、
前記第１の共有指数値及び前記第２の共有指数値に基づいて、第３の共有指数値を決定することと、
前記第１の共有指数値及び前記第３の共有指数値に基づいて、第１の差の値を決定することと、
前記第２の共有指数値及び前記第３の共有指数値に基づいて、第２の差の値を決定することと、
前記複数の浮動小数点値の各浮動小数点値のための符号値及び仮数値を決定することと、
前記複数の浮動小数点値の各浮動小数点値のための前記符号値及び前記仮数値、前記第３の共有指数値、前記第１の差の値並びに前記第２の差の値を、共有指数浮動小数点データタイプのためのデータ構造に格納することと
を行うための命令のセットを含み、ニューラルネットワークのために前記共有指数浮動小数点データを使用することは、前記ニューラルネットワークの効率を向上させる、機械可読媒体。

【請求項2】

前記第１の共有指数値、前記第２の共有指数値及び前記第３の共有指数値は、共有指数値の階層を形成する、請求項１に記載の機械可読媒体。

【請求項3】

前記第１の共有指数値及び前記第２の共有指数値は、前記共有指数値の階層の第１のレベルの指数値であり、前記第３の共有指数値は、前記共有指数値の階層の第２のレベルの指数値である、請求項２に記載の機械可読媒体。

【請求項4】

前記共有指数値の階層は、前記第３の共有指数値、前記第１の差の値及び前記第２の差の値によって表される、請求項２に記載の機械可読媒体。

【請求項5】

前記プログラムは、
前記第１の共有指数値及び前記複数の浮動小数点値の前記第１のサブセットの各浮動小数点数の前記指数値に基づいて、差の値の第１のセットを決定することと、
前記第２の共有指数値及び前記複数の浮動小数点値の前記第２のサブセットの各浮動小数点数の前記指数値に基づいて、差の値の第２のセットを決定することと、
前記異なる値の第１のセット及び前記差の値の第２のセットを、前記共有指数浮動小数点データタイプのための前記データ構造に格納することと
を行うための命令のセットをさらに含む、請求項１に記載の機械可読媒体。

【請求項6】

前記第１の共有指数値を決定することは、最高値を有する、複数の浮動小数点値の前記第１のサブセットの浮動小数点値の指数値を決定し、及び前記第１の共有指数値として前記指数値を使用することを含む、請求項１に記載の機械可読媒体。

【請求項7】

前記第２の共有指数値を決定することは、最高値を有する、複数の浮動小数点値の前記第２のサブセットの浮動小数点値の指数値を決定し、及び前記第２の共有指数値として前記指数値を使用することを含む、請求項１に記載の機械可読媒体。

【請求項8】

前記第３の共有指数値を決定することは、前記第１の共有指数値が前記第２の共有指数値以上であると決定すると、前記第３の指数値として前記第１の共有指数値を使用し、及び前記第１の共有指数値が前記第２の共有指数値未満であると決定すると、前記第３の指数値として前記第２の共有指数値を使用することを含む、請求項１に記載の機械可読媒体。

【請求項9】

前記共有指数浮動小数点データタイプのための前記データ構造に格納された前記仮数値を表すために使用されるビット数は、前記第３の指数値を表すために使用されるビット数より少ない、請求項１に記載の機械可読媒体。

【請求項10】

複数の浮動小数点値の第１のサブセットの各浮動小数点値の指数値に基づいて、第１の共有指数値を決定することと、
前記複数の浮動小数点値の第２のサブセットの各浮動小数点値の指数値に基づいて、第２の共有指数値を決定することと、
前記第１の共有指数値及び前記第２の共有指数値に基づいて、第３の共有指数値を決定することと、
前記第１の共有指数値及び前記第３の共有指数値に基づいて、第１の差の値を決定することと、
前記第２の共有指数値及び前記第３の共有指数値に基づいて、第２の差の値を決定することと、
前記複数の浮動小数点値の各浮動小数点値のための符号値及び仮数値を決定することと、
前記複数の浮動小数点値の各浮動小数点値のための前記符号値及び前記仮数値、前記第３の共有指数値、前記第１の差の値並びに前記第２の差の値を、共有指数浮動小数点データタイプのためのデータ構造に格納することと
を含む方法であって、ニューラルネットワークのために前記共有指数浮動小数点データを使用することは、前記ニューラルネットワークの効率を向上させる、方法。

【請求項11】

前記第１の共有指数値、前記第２の共有指数値及び前記第３の共有指数値は、共有指数値の階層を形成する、請求項１０に記載の方法。

【請求項12】

前記第１の共有指数値及び前記第２の共有指数値は、前記共有指数値の階層の第１のレベルの指数値であり、前記第３の共有指数値は、前記共有指数値の階層の第２のレベルの指数値である、請求項１１に記載の方法。

【請求項13】

前記共有指数値の階層は、前記第３の共有指数値、前記第１の差の値及び前記第２の差の値によって表される、請求項１１に記載の方法。

【請求項14】

前記第１の共有指数値及び前記複数の浮動小数点値の前記第１のサブセットの各浮動小数点数の前記指数値に基づいて、差の値の第１のセットを決定することと、
前記第２の共有指数値及び前記複数の浮動小数点値の前記第２のサブセットの各浮動小数点数の前記指数値に基づいて、差の値の第２のセットを決定することと、
前記異なる値の第１のセット及び前記差の値の第２のセットを、前記共有指数浮動小数点データタイプのための前記データ構造に格納することと
をさらに含む、請求項１０に記載の方法。

【請求項15】

処理ユニットのセットと、
命令を格納する機械可読媒体と
を含むシステムであって、前記命令は、前記処理ユニットのセットの少なくとも１つの処理ユニットによって実行されると、
複数の浮動小数点値の第１のサブセットの各浮動小数点値の指数値に基づいて、第１の共有指数値を決定することと、
前記複数の浮動小数点値の第２のサブセットの各浮動小数点値の指数値に基づいて、第２の共有指数値を決定することと、
前記第１の共有指数値及び前記第２の共有指数値に基づいて、第３の共有指数値を決定することと、
前記第１の共有指数値及び前記第３の共有指数値に基づいて、第１の差の値を決定することと、
前記第２の共有指数値及び前記第３の共有指数値に基づいて、第２の差の値を決定することと、
前記複数の浮動小数点値の各浮動小数点値のための符号値及び仮数値を決定することと、
前記複数の浮動小数点値の各浮動小数点値のための前記符号値及び前記仮数値、前記第３の共有指数値、前記第１の差の値並びに前記第２の差の値を、共有指数浮動小数点データタイプのためのデータ構造に格納することと
を前記少なくとも１つの処理ユニットに行わせ、ニューラルネットワークのために前記共有指数浮動小数点データを使用することは、前記ニューラルネットワークの効率を向上させる、システム。

【発明の詳細な説明】

【技術分野】

【0001】

背景
[0001] 本開示は、コンピューティングハードウェアに関する。より具体的には、本開示は、浮動小数点データタイプに関する。

【背景技術】

【0002】

[0002] ニューラルネットワークは、多様な異なる用途（例えば、画像分類、コンピュータビジョン、自然言語処理、音声認識、手書き文字認識など）のために使用される機械学習モデルである。ニューラルネットワークは、ニューラルネットワーク全体を通してデータセットを実行し、ニューラルネットワークからの結果を既知の結果と比較し、その差に基づいてネットワークを更新することにより、特定の目的のために訓練することができる。

【0003】

[0003] ニューラルネットワークの効率的な訓練及びニューラルネットワークを使用したローフィデリティデータタイプでの推論は、各ビットのフィデリティを最大化する一方、コンピューティングコストを最小化するデータタイプを開発することを必要とし得る。これは、最適化問題として公式化することができ、その目的は、量子化信号対雑音比（ＱＳＮＲ）計量を最大化する一方、ハードウェアドット積ユニットの面積オーバーヘッドを最小化することである。

【発明の概要】

【課題を解決するための手段】

【0004】

図面の簡単な説明
[0004] 本開示の様々な実施形態は、添付の図面の図において、限定ではなく例示として示される。

【図面の簡単な説明】

【0005】

【図1】[0005]いくつかの実施形態によるコンピューティングシステムを示す。

【図2】[0006]いくつかの実施形態による、浮動小数点値を階層的な共有指数浮動小数点データタイプに変換する例を示す。

【図3】[0007]いくつかの実施形態による、図２に示される階層的な共有指数浮動小数点データタイプを格納するための例示的なデータ構造を示す。

【図4】[0008]いくつかの実施形態による、浮動小数点値を階層的な共有指数浮動小数点データタイプに変換する別の例を示す。

【図5】[0009]いくつかの実施形態による、図４に示される階層的な共有指数浮動小数点データタイプを格納するための例示的なデータ構造を示す。

【図6】[0010]いくつかの実施形態による、階層的な共有指数浮動小数点データタイプ変数を乗算する例を示す。

【図7】[0011]いくつかの実施形態による、階層的な共有指数浮動小数点データタイプ変数を作成するためのプロセスを示す。

【図8】[0012]いくつかの実施形態による例示的なコンピュータシステムの簡略ブロック図を描写する。

【図9】[0013]いくつかの実施形態によるニューラルネットワーク処理システムを示す。

【発明を実施するための形態】

【0006】

詳細な説明
[0014] 以下の記述では、説明を目的として、本開示の詳細な理解を提供するために多くの例及び特定の詳細を記載する。そのような例及び詳細は、請求項の要素又は特許請求される主題を全体として不当に限定するものとして解釈すべきではない。異なる請求項の言語に基づいて、特許請求される主題は、単独又は組合せでこれらの例の特徴のいくつか又はすべてを含み得、本明細書で説明される特徴及び技法の変更形態及び均等物をさらに含み得ることが当業者に明白であろう。

【0007】

[0015] ここで、階層的な共有指数浮動小数点データタイプを提供するための技法について説明する。いくつかの実施形態では、コンピューティングシステムは、階層的な共有指数浮動小数点データタイプのデータの作成及び管理を行うように構成することができる。例えば、コンピューティングシステムは、必要に応じて浮動小数点数（例えば、半精度浮動小数点数、単精度浮動小数点数、倍精度浮動小数点数など）に変換されたいくつかの数値から、階層的な共有指数浮動小数点データタイプのデータを作成することができる。その達成のため、コンピューティングシステムは、最初に、浮動小数点数の各々の指数値を決定する。次いで、コンピューティングシステムは、共有指数値の階層に基づいて、これらの指数値を量子化する。次に、コンピューティングシステムは、量子化された指数値に基づいて、浮動小数点数の各々の仮数を量子化する。最後に、コンピューティングシステムは、階層的な共有指数浮動小数点データタイプのためのデータ構造に共有指数値の階層及び量子化された仮数を格納する。

【0008】

[0016] いくつかの実施形態では、超狭ビット幅（例えば、１～４ビットの仮数）の効率的な訓練／推論は、各ビットのフィデリティを最大化する一方、コンピューティングコストを最小化するデータタイプを開発することを必要とし得る。これは、最適化問題として公式化することができ、その目的は、量子化信号対雑音比（ＱＳＮＲ）を最大化する一方、ハードウェアドット積ユニットの面積オーバーヘッドを最小化することである。論じられるように、本明細書で説明される階層的な共有指数浮動小数点データタイプは、他の浮動小数点データタイプと比べて、ＱＳＮＲ対乗累算（ＭＡＣ）面積のパレートフロンティアをさらに押し上げ、さらなる効率を引き出すことができる。この超狭ビット幅レジームでは、効果的なＱＳＮＲのそのような増加は、ニューラルネットワークの訓練と、それらのニューラルネットワークを使用した推論との両方のためのより優れた達成可能な精度に直接つながり得る。

【0009】

[0017] いくつかの実施形態では、本明細書で説明されるデータタイプは、共有指数データタイプである。すなわち、指数は、少数の要素間で共有される。要素の数は、タイルサイズ又はブロックサイズと呼ぶことができる。小さいタイルサイズの使用は、ハードウェアの観点から最良の選択と言えない場合があり、なぜなら、仮数ビットの数の低減に伴い、整数乗算器のコストの大部分が排除され、累算器が乗累算器（ＭＡＣ）ユニットの総面積を占めるようになり始めるためである。従って、比較的大きいタイルサイズの採用により、タイルのそれらのプライベート指数と共有指数との差が原因でタイル内の要素がゼロに過度にマッピングされることを回避しながら、累算器シリコンコストを償却することができる。

【0010】

[0018] いくつかの実施形態では、本明細書で説明されるデータタイプは、超狭ビット幅レジームでの許容タイルサイズと符号化効率との間の均衡を提供することを目的とする。符号化効率は、以下の式によって定義することができる。

【0011】

[0019]

【数1】

【0012】

[0020] 式中、

【数2】

は、ｎ次元ベクトルｘに対するプットフォース量子化法であり、｜｜ｘ｜｜は、ユークリッドノルムである。ｎは、階層的な共有指数浮動小数点データタイプにおけるタイルサイズを表す。ＱＳＮＲは、多くのベクトルｘにわたって前述の比率を平均化することによって測定することができる。いくつかの実施形態では、定義は、ＭＡＣユニットに対する信号対雑音比を測定するために修正することができ、ｘは、ｘ＝Ｑ（ｙ）^＊Ｑ（ｚ^Ｔ）と置き換えることができ、式中、ｙ及びｚは、行列乗算ユニットへの入力を示す。

【0013】

[0021] いくつかの実施形態では、階層的な共有指数浮動小数点データタイプは、各タイルを入れ子サブタイルに分解し、各サブタイルの共有指数がその次のレベルのサブタイルとスケール値だけ異なり得るようにする。これらのスケールは、ドット積ユニットで展開される加算器木の右シフトとして実施することができる。

【0014】

[0022] いくつかの実施形態では、本明細書で説明されるデータタイプは、いくつかの調整可能なパラメータを有する。１つのパラメータは、タイルサイズであり、大域的指数を共有する要素の数である。別のパラメータは、仮数ビットの数である。いくつかの実施形態では、仮数値は、２の補数を使用して表され、他の実施形態では、仮数値は、符号／大きさフォーマットを使用して表される。仮数ビットの数は、１以上の任意の値を取ることができる。

【0015】

[0023] さらなる別のパラメータは、共有指数の表現である。いくつかの実施形態では、共有指数は、シングルレベルを使用して表すことができる。シングルレベル表現の場合、１つのパラメータは、サブタイルサイズであり、大域的指数を調整するために局所的スケールを共有する要素の数である。各タイルは、等しいサイズｍの複数のサブタイルに分割することができ、各サブタイルは、共通のサブスケールを共有する。ｍ＝１の場合、ドット積ユニットにおいて、加算器木の葉に右シフタを加えることができる。ｍの値が大きいほど、右シフタは、加算器木の根の方に近付く。例えば、ｍ＝１６の場合、右シフタは、Ｌｏｇ_２（ｌ６）＝加算器木の第４のレベルに加えられる。シングルレベル表現の別のパラメータは、サブタイルスケールであり、１つの要素あたりの許容される右シフトの量を指定する。スケールは、大域的共有指数と、サブタイル内で選択された指数との間の許容される最大差を符号化する。例えば、加算器木の葉における１のスケールは、各入力要素を０又は１シフトできることを意味し、２ビットの組合せの多重化をもたらす。いくつかの事例では、１つのタイルあたりの最大指数は、大域的共有指数として使用することができる。従って、スケールは、常にゼロ以上の正の数である。いくつかの実施形態では、他の指数選択技法を使用することができる。大域的共有指数がタイルの最大指数でない例では、選択されるスケールは、正の値又は負の値であり得る。

【0016】

[0024] 他の実施形態では、共有指数は、階層的に表される。共有指数をスケーリングするために大きいシングルレベルのシフトを使用する代わりに、シフトは、加算器木の複数のレベルに分散され、代わりに１シフトあたりのスケールが制約される。階層表現の１つのパラメータは、階層レベルであり、共有指数を調整するために使用される加算器木の階層レベルの数である。インデックス作成は、木の葉から始まる。例えば、３２のタイルサイズでは、加算器木に最大で５つのレベルが存在することになる。３の階層レベルは、加算器木の葉から始まる最初の３つのレベル内における右シフトの使用を含意する。階層表現の別のパラメータは、サブタイルスケールであり、各レベルで許容される１つの要素あたりの最大スケールである。スケールは、次のレベルの共有指数（必ずしも大域的指数とは限らない）との差を符号化する。共有指数は、最大指数であっても又はなくてもよい。例として、タイルの最大及び最小指数が演算される場合、最大と最小との差は、最大スケール差を与える。階層レベルが５に設定される場合、この指数差（最大－最小）の上限は、５であり得（５つのレベルのサブタイルがあるため）、大域的指数は、（ｍａｘ－ｍｉｎ）．ｃｌｉｐ（５）／２に設定され得る。これにより、タイルは、階層的にサブタイルに分かれ、各レベルでは、各サブタイルに対してサブタイルの指数に基づいて－１／０／１のスケールを設定しなければならないかどうかがチェックされる。

【0017】

[0025] 累算器ビット幅パラメータは、加算器木の最後に累算のために使用されるデータタイプを指定する。そのようなデータタイプの例は、半精度浮動小数点データタイプ、単精度浮動小数点データタイプ、倍精度浮動小数点データタイプなどを含む。いくつかの実施形態では、デフォルトデータタイプは、単精度浮動小数点値であり得る。切り捨てビット幅は、別のパラメータであり得る。このパラメータは、各整数加算後の切り捨ての量を指定し、それにより面積オーバーヘッドを効果的に低減することができる。効果的な切り捨てスキームの例は、加算器木の葉における整数乗算器の出力を８ビットの仮数で切り捨て、加算器木の各レベルにおける整数加算器の出力のビット幅が１ずつ大きくなるようにすることである。そのような手法は、例えば、達成可能なＱＳＮＲ（すなわち精度）に最小限に影響を及ぼす一方、面積オーバーヘッドを低減することができる。

【0018】

[0026] 図１は、いくつかの実施形態によるコンピューティングシステム１００を示す。示されるように、コンピューティングシステム１００は、階層的な共有指数浮動小数点データタイプ（ＨＡＳＥＦＰＤＴ）マネージャ１０５、指数マネージャ１１０、仮数マネージャ１１５、数値データストレージ１２０及び浮動小数点データストレージ１２５を含む。数値データストレージ１２０は、階層的な共有指数浮動小数点データタイプに変換することができる数値データを格納する。数値データの例は、浮動小数点数、整数などを含む。浮動小数点データストレージ１２５は、階層的な共有指数浮動小数点データタイプを格納するように構成される。そのようなデータタイプの例については、以下で詳細に説明する。加えて、浮動小数点データストレージ１２５は、階層的な共有指数浮動小数点データタイプのための定義を格納することができる。

【0019】

[0027] ＨＡＳＥＦＰＤＴマネージャ１０５は、階層的な共有指数浮動小数点データタイプ及びそのようなデータタイプに従って格納されたデータを管理する役割を担う。例えば、ＨＡＳＥＦＰＤＴマネージャ１０５は、浮動小数点データストレージ１２５から階層的な共有指数浮動小数点データタイプのための定義を回収することにより、階層的な共有指数浮動小数点データタイプとして格納されるデータを作成することができる。次に、ＨＡＳＥＦＰＤＴマネージャ１０５は、数値データストレージ１２０から数値データを回収し、数値データを浮動小数点数（例えば、半精度浮動小数点数、単精度浮動小数点数、倍精度浮動小数点数など）に変換することができる。ＨＡＳＥＦＰＤＴマネージャ１０５が回収する数値データの数は、階層的な共有指数浮動小数点データタイプのための定義で指定されているものに基づき得る。次いで、ＨＡＳＥＦＰＤＴマネージャ１０５は、変換済みの数値データ、階層的な共有指数浮動小数点データタイプのための定義及び数値データに対する共有指数値を決定する要求を指数マネージャ１１０に送信する。ＨＡＳＥＦＰＤＴマネージャ１０５が指数マネージャ１１０から共有指数値を受信すると、ＨＡＳＥＦＰＤＴマネージャ１０５は、数値データ、共有指数値、階層的な共有指数浮動小数点データタイプのための定義及び数値データに対する仮数値を決定する要求を仮数マネージャ１１５に送信する。ＨＡＳＦＰＤＴマネージャ１０５が仮数マネージャ１１５から仮数値を受信した時点で、ＨＡＳＥＦＰＤＴマネージャ１０５は、階層的な共有指数浮動小数点データタイプのためのデータを格納するように構成されたデータ構造に仮数値及び共有指数値を格納する。

【0020】

[0028] ＨＡＳＥＦＰＤＴマネージャ１０５は、階層的な共有指数浮動小数点データタイプのデータから値を読み取ることもできる。例えば、ＨＡＳＥＦＰＤＴマネージャ１０５は、階層的な共有指数浮動小数点データタイプに従って格納されたデータ（例えば、階層的な共有指数浮動小数点データタイプに従ってデータを格納するためのデータ構造）から特定の値を読み取る要求を受信することができる（例えば、コンピューティングシステム１００上で動作しているコンポーネントから、別のコンピューティングシステム上で動作しているコンポーネントからなど）。それに応答して、ＨＡＳＥＦＰＤＴマネージャ１０５は、階層的な共有指数浮動小数点データタイプのデータから、要求された値の仮数値を回収し、階層的な共有指数浮動小数点データタイプのデータに格納された共有指数値に基づいて、要求された値のための指数値を決定し、仮数値及び指数値に基づいて、要求された値を生成する。

【0021】

[0029] 指数マネージャ１１０は、階層的な共有指数浮動小数点データタイプのための指数値を決定するように構成される。例えば、指数マネージャ１１０は、数値データ、階層的な共有指数浮動小数点データタイプのための定義及び数値データに対する指数値を決定する要求をＨＡＳＥＦＰＤＴマネージャ１０５から受信することができる。それに応答して、指数マネージャ１１０は、数値データ及び階層的な共有指数浮動小数点データタイプのための定義に基づいて、指数値の階層を決定する。次いで、指数マネージャ１１０は、ＨＡＳＥＦＰＤＴマネージャ１０５に指数値の階層を送信する。

【0022】

[0030] 仮数マネージャ１１５は、階層的な共有指数浮動小数点データタイプのための仮数値の決定を取り扱う。例えば、仮数マネージャ１１５は、数値データ、共有指数値、階層的な共有指数浮動小数点データタイプのための定義及び数値データに対する仮数値を決定する要求をＨＡＳＥＦＰＤＴマネージャ１０５から受信することができる。共有指数値及び階層的な共有指数浮動小数点データタイプのための定義に基づいて、仮数マネージャ１１５は、数値データに対する仮数値を決定する。次いで、仮数マネージャ１１５は、ＨＡＳＥＦＰＤＴマネージャ１０５に仮数値を送信する。

【0023】

[0031] 図２は、いくつかの実施形態による、浮動小数点値を階層的な共有指数浮動小数点データタイプに変換する例を示す。具体的には、図２は、表２００を示し、表２００は、浮動小数点値を階層的な共有指数浮動小数点データタイプに変換するプロセス全体を通して様々な値を含む。この例は、図１を参照することによって説明される。この例の場合、行２０５の４つの値は、３つのレベルを有する共有指数値の階層を使用して共有指数値を格納する階層的な共有指数浮動小数点データタイプに変換される。示されるように、４つの値は、１０進数値として提示される。ＨＡＳＥＦＰＤＴマネージャ１０５は、浮動小数点データストレージ１２５から、階層的な共有指数浮動小数点データタイプのための定義を回収することによって開始する。次に、ＨＡＳＥＦＰＤＴマネージャ１０５は、数値データストレージ１２０から行２０５の値を回収し、それらを浮動小数点値（例えば、半精度浮動小数点値、単精度浮動小数点値、倍精度浮動小数点値など）に変換する。次いで、ＨＡＳＥＦＰＤＴマネージャ１０５は、浮動小数点値、階層的な共有指数浮動小数点データタイプのための定義及び浮動小数点値のための指数値を決定する要求を指数マネージャ１１０に送信する。

【0024】

[0032] 浮動小数点値、階層的な共有指数浮動小数点データタイプのための定義及び要求を受信すると、指数マネージャ１１０は、表２００の行２１０で描写されるように、浮動小数点値の各々の指数値を決定する。これらの指数値は、この例では、行２１５に示されるようにレベル０の指数値と見なされる。次いで、指数マネージャ１１０は、指数値の各対に対するレベル１の共有指数値を決定する。この例の場合、指数マネージャ１１０は、指数値の各対の最高値を有する指数値を決定し、レベル１の共有指数値としてそれを使用することにより、レベル１の共有指数値を決定する。行２２０に示されるように、値の第１の対に対する指数値間の最高指数値は、－３である。値の第２の対に対する指数値間の最高指数値は、－２である。次に、指数マネージャ１１０は、レベル０の指数値及び対応するレベル１の共有指数値の各対に対するレベル１のスケール値を決定する。ここで、指数マネージャ１１０は、レベル０の指数値と、対応するレベル１の共有指数値との差を決定することにより、レベル１のスケール値を決定する。差が１より大きい場合、指数マネージャ１１０は、レベル１のスケール値を１に近似させる。

【0025】

[0033] レベル０の指数値及び対応するレベル１の共有指数値の第１及び第２の対並びに第２の値に対して、指数マネージャ１１０は、レベル１のスケール値の各々が０である（すなわち－３と－３との差が０である）と決定する。レベル０の指数値及び対応するレベル１の共有指数値の第３の対に対して、指数マネージャ１１０は、レベル０の指数値とレベル１の共有指数値との差が２であると決定する。これは、１より大きいため、指数マネージャ１１０は、レベル１のスケール値を１に近似させる。レベル０の指数値及び対応するレベル１の共有指数値の第４の対に対して、指数マネージャ１１０は、レベル１のスケール値が０である（すなわち－２と－２との差が０である）と決定する。レベル１のスケール値は、表２００の行２２５で描写されている。

【0026】

[0034] レベル１の共有指数値及びスケール値を決定した後、指数マネージャ１１０は、レベル２の共有指数値を決定する。この例では、指数マネージャ１１０は、レベル１の共有指数値に基づいてレベル２の共有指数値を決定する。具体的には、指数マネージャ１１０は、レベル１の共有指数値の最高値を有する指数値を決定し、レベル２の共有指数値としてそれを使用することにより、レベル２の共有指数値を決定する。ここで、指数マネージャ１１０は、行２３０に示されるように、レベル２の共有指数値が－２であると決定する。

【0027】

[0035] 次に、指数マネージャ１１０は、レベル１の共有指数値及び対応するレベル２の共有指数値の各対に対するレベル２のスケール値を決定する。この例の場合、指数マネージャ１１０は、レベル１の共有指数値と、対応するレベル２の共有指数値との差を決定することにより、レベル２のスケール値を決定する。差が１より大きい場合、指数マネージャ１１０は、レベル２のスケール値を１に近似させる。レベル１の共有指数値及び対応するレベル２の共有指数値の第１の対に対して、指数マネージャ１１０は、レベル２のスケール値が１である（すなわち－２と－３との差が１である）と決定する。レベル１の共有指数値及び対応するレベル２の共有指数値の第２の対に対して、指数マネージャ１１０は、レベル２のスケール値が０である（すなわち－２と－２との差が０である）と決定する。レベル２のスケール値は、行２３５に示されている。行２４０は、各浮動小数点値のための総スケール値を描写し、それは、レベル１のスケール値とレベル２のスケール値との総和である。行２４５は、各浮動小数点値のための総共有指数スケール値を示し、それは、レベル２の共有指数値からそれぞれの総スケール値を減じることにより、浮動小数点値について決定された指数値である。行２５０は、各浮動小数点値のための決定された指数値とオリジナルの指数値との差を描写する。行２５５は、浮動小数点値のための仮数の量子化された大きさを示す。この例では、２ビットの仮数が使用されており、第１のビットが符号に対して使用され（表２００には示されていない）、第２のビットが大きさに対して使用されている。行２６０は、浮動小数点値の各々に対する量子化された指数値を示し、それは、行２４５の共有指数スケール値と同じである。最後に、行２６５は、オリジナルの浮動小数点値を階層的な共有指数浮動小数点データタイプに変換した後の量子化された浮動小数点値の１０進数表記を示す。

【0028】

[0036] 指数マネージャ１１０がレベル２の共有指数、レベル２のスケール値及びレベル１のスケール値を決定した後、指数マネージャ１１０は、それらをＨＡＳＥＦＰＤＴマネージャ１０５に送信する。次いで、ＨＡＳＥＦＰＤＴマネージャ１０５は、行２０５の浮動小数点値、レベル２の共有指数、レベル２のスケール値、レベル１のスケール値、階層的な共有指数浮動小数点データタイプのための定義及び浮動小数点値のための仮数値を決定する要求を仮数マネージャ１１５に送信する。仮数マネージャ１１５がデータ及び要求を受信すると、仮数マネージャ１１５は、各浮動小数点値のための仮数値を決定する。指数差（行２５０に示される）が０より大きい場合、仮数マネージャ１１５は、それぞれの浮動小数点値のための仮数の大きさを０に量子化する。そうでなければ、仮数マネージャ１１５は、利用可能なビット（この例では符号に対して１ビット及び大きさに対して１ビット）及びそれぞれの量子化された指数値（行２６０に示される）を使用して、オリジナルの浮動小数点値に最良近似させる。ここで、仮数マネージャ１１５は、浮動小数点値の各々に対する量子化された大きさの値を、行２５５で描写される値に決定する。次に、仮数マネージャ１１５は、決定した仮数値をＨＡＳＥＦＰＤＴマネージャ１０５に送信する。

【0029】

[0037] ＨＡＳＥＦＰＤＴマネージャ１０５が仮数マネージャ１１５から仮数値を受信した時点で、ＨＡＳＥＦＰＤＴマネージャ１０５は、階層的な共有指数浮動小数点データタイプのためのデータを格納するように構成されたデータ構造に仮数値、レベル２の共有指数、レベル２のスケール値及びレベル１のスケール値を格納する。図３は、いくつかの実施形態による、図２に示される階層的な共有指数浮動小数点データタイプを格納するための例示的なデータ構造３００を示す。データ構造３００は、階層的な共有指数浮動小数点データタイプのための定義に基づいて生成することができる。ここで、データタイプのための定義は、４つの浮動小数点値のための４つの２ビット仮数値、４つの１ビットのレベル１のスケール値、２つの１ビットのレベル２のスケール値及び８ビットのレベル２の共有指数値を指定する。示されるように、データ構造３００は、仮数属性、レベル１のスケール属性、レベル２のスケール属性及び共有指数属性の４つの属性を含む。仮数属性は、浮動小数点値の各々に対して決定された２ビットの仮数値を格納する。レベル１のスケール属性は、浮動小数点値の各々に対して決定された１ビットのレベル１のスケール値を格納する。レベル２のスケール値属性は、浮動小数点値の各対に対して決定された１ビットのレベル２のスケール値を格納する。共有指数属性値は、浮動小数点値に対して決定された８ビットのレベル２の共有指数値を格納する。この例では、レベル２の共有指数値の値は、１２７のバイアスを使用して表される。従って、この例の場合、１２５（すなわち１２７＋（－２））の値が共有指数属性に格納される。

【0030】

[0038] 図４は、いくつかの実施形態による、浮動小数点値を階層的な共有指数浮動小数点データタイプに変換する別の例を示す。具体的には、図４は、表４００を示し、表４００は、浮動小数点値を異なる階層的な共有指数浮動小数点データタイプに変換するプロセス全体を通して様々な値を含む。この例も図１を参照することによって説明される。この例では、上記の例で使用されるものと同じ４つの値（行４０５で描写する）は、２つのレベルを有する共有指数値の階層を使用して共有指数値を格納する階層的な共有指数浮動小数点データタイプに変換される。その例は、ＨＡＳＥＦＰＤＴマネージャ１０５が浮動小数点データストレージ１２５から階層的な共有指数浮動小数点データタイプのための定義を回収することから始まる。次いで、ＨＡＳＥＦＰＤＴマネージャ１０５は、数値データストレージ１２０から行４０５の値を回収し、それらを浮動小数点値（例えば、半精度浮動小数点値、単精度浮動小数点値、倍精度浮動小数点値など）に変換する。次に、ＨＡＳＥＦＰＤＴマネージャ１０５は、浮動小数点値、階層的な共有指数浮動小数点データタイプのための定義及び浮動小数点値のための指数値を決定する要求を指数マネージャ１１０に送信する。

【0031】

[0039] 浮動小数点値、階層的な共有指数浮動小数点データタイプのための定義及び要求を受信した後、指数マネージャ１１０は、行４１０に示されるように、浮動小数点値の各々の指数値を決定する。この例の場合、指数マネージャ１１０は、レベル０の共有指数としてのオリジナルの指数値の各対に対する共有指数値である。この例では、指数マネージャ１１０は、オリジナルの指数値の各対の最高値を有する指数値を決定し、レベル０の共有指数値としてそれを使用することにより、レベル０の共有指数値を決定する。行４１５に示されるように、値の第１の対に対する指数値間の最高指数値は、－３であり、値の第２の対に対する指数値間の最高指数値は、－２である。次いで、指数マネージャ１１０は、レベル０の共有指数値に基づいてレベル１の共有指数を決定する。この例の場合、指数マネージャ１１０は、最高値を有するレベル０の共有指数値を決定し、レベル１の共有指数値としてそれを使用することにより、レベル１の共有指数を決定する。ここで、指数マネージャ１１０は、行４２０に示されるように、レベル１の共有指数値が－２であると決定する。次に、指数マネージャ１１０は、レベル０の共有指数値及び対応するレベル１の共有指数値の各対に対するレベル１のスケール値を決定する。この例では、指数マネージャ１１０は、レベル０の共有指数値と、対応するレベル１の共有指数値との差を決定することにより、レベル１のスケール値を決定する。差が１より大きい場合、指数マネージャ１１０は、レベル１のスケール値を１に近似させる。

【0032】

[0040] レベル０の共有指数値及び対応するレベル１の共有指数値の第１の対に対して、指数マネージャ１１０は、レベル１のスケール値が１である（すなわち－２と－３との差が１である）と決定する。レベル０の共有指数値及び対応するレベル１の共有指数値の第２の対に対して、指数マネージャ１１０は、レベル１のスケール値が０である（すなわち－２と－２との差が０である）と決定する。レベル１のスケール値は、行４２５に示されている。行４３０は、総スケール値を描写し、それは、レベル１のスケール値と同じである。行４３５は、各浮動小数点値のための総共有指数スケール値を示し、それは、レベル１の共有指数値からそれぞれの総スケール値を減じることにより、浮動小数点値について決定された指数値である。行４４０は、各浮動小数点値のための決定された指数値とオリジナルの指数値との差を描写する。行４４５は、浮動小数点値のための仮数の量子化された大きさを示す。この例では、３ビットの仮数が使用されており、第１のビットが符号に対して使用され（表４００には示されていない）、第２のビットが大きさに対して使用されている。行４５０は、浮動小数点値の各々に対する量子化された指数値を示し、それは、行４３５の共有指数スケール値と同じである。次いで、行４５５は、オリジナルの浮動小数点値を階層的な共有指数浮動小数点データタイプに変換した後の量子化された浮動小数点値の１０進数表記を描写する。

【0033】

[0041] レベル１の共有指数及びレベル１のスケール値を決定すると、指数マネージャ１１０は、それらをＨＡＳＥＦＰＤＴマネージャ１０５に送信する。ＨＡＳＥＦＰＤＴマネージャ１０５は、行４０５の浮動小数点値、レベル１の共有指数、レベル１のスケール値、階層的な共有指数浮動小数点データタイプのための定義及び浮動小数点値のための仮数値を決定する要求を仮数マネージャ１１５に送信する。仮数マネージャ１１５がデータ及び要求を受信した時点で、仮数マネージャ１１５は、各浮動小数点値のための仮数値を決定する。指数差（行４４０に示される）が１より大きい場合、仮数マネージャ１１５は、それぞれの浮動小数点値のための仮数の大きさを０に量子化する。そうでなければ、仮数マネージャ１１５は、利用可能なビット（この例では符号に対して１ビット及び大きさに対して１ビット）及びそれぞれの量子化された指数値（行４５０に示される）を使用して、オリジナルの浮動小数点値に最良近似させる。仮数マネージャ１１５は、浮動小数点値の各々に対する量子化された大きさの値を、行４４５に示される値に決定する。次いで、仮数マネージャ１１５は、決定した仮数値をＨＡＳＥＦＰＤＴマネージャ１０５に送信する。

【0034】

[0042] ＨＡＳＥＦＰＤＴマネージャ１０５が仮数マネージャ１１５から仮数値を受信すると、ＨＡＳＥＦＰＤＴマネージャ１０５は、階層的な共有指数浮動小数点データタイプのためのデータを格納するように構成されたデータ構造に仮数値、レベル１の共有指数及びレベル１のスケール値を格納する。図５は、いくつかの実施形態による、図４に示される階層的な共有指数浮動小数点データタイプを格納するための例示的なデータ構造５００を示す。データ構造５００は、階層的な共有指数浮動小数点データタイプのための定義に基づいて生成することができる。この例の場合、データタイプのための定義は、４つの浮動小数点値のための４つの２ビット仮数値、２つの２ビットのレベル１のスケール値及び８ビットのレベル１の共有指数値を指定する。描写されるように、データ構造５００は、仮数属性、レベル１のスケール属性及び共有指数属性の３つの属性を含む。仮数属性は、浮動小数点値の各々に対して決定された２ビットの仮数値を格納する。レベル１のスケール属性は、浮動小数点値の各々に対して決定された２ビットのレベル１のスケール値を格納する。共有指数属性値は、浮動小数点値に対して決定された８ビットのレベル１の共有指数値を格納する。この例では、レベル１の共有指数値の値は、１２７のバイアスを使用して表される。従って、この例の場合、１２５（すなわち１２７＋（－２））の値が共有指数属性に格納される。

【0035】

[0043] 図１～５を参照して上記で説明される例は、浮動小数点数を２つの異なる階層的な共有指数浮動小数点データタイプにどのように変換できるかを例証する。当業者であれば、いくつかの実施形態において追加の及び／又は異なる階層的な共有指数浮動小数点データタイプを使用できることを理解するであろう。例えば、階層的な共有指数浮動小数点データタイプは、指数を共有する異なる数の浮動小数点値を表すこと（上記の例の各々は、４つの浮動小数点値を表す）、仮数値、レベルスケール値及び共有指数値を表すために異なる数のビットを使用すること、指数値の階層において異なる数のレベル（例えば、スケール値の異なる数のレベル）を使用することなどができる。

【0036】

[0044] 加えて、図２～５を参照して上記で説明される例は、最高レベルの共有指数及びレベルスケール値によって共有指数値の階層をどのように表すことができるかを示す。例えば、図２に示される例は、レベル０の指数値、レベル１の共有指数値及びレベル２の共有指数値の３つの異なるレベルを有する共有指数の階層を使用する。図３によって描写されるように、共有指数値の階層は、レベル２の共有指数値、レベル２のスケール値及びレベル１のスケール値によって表される。浮動小数点値の量子化された指数値（行２６０の値）は、レベル２の共有指数値、レベル２のスケール値及びレベル１のスケール値から決定することができる。別の例として、図４に示される例は、レベル０の指数値及びレベル１の共有指数値の２つの異なるレベルを有する共有指数の階層を使用する。図５によって示されるように、共有指数値の階層は、レベル１の共有指数値及びレベル１のスケール値によって表される。浮動小数点値の量子化された指数値（行４５０の値）は、レベル１の共有指数値及びレベル１のスケール値から決定することができる。ＨＡＳＥＦＰＤＴマネージャ１０５は、階層的な共有指数浮動小数点データタイプに従って格納された浮動小数点値を読み取る（例えば、行２６５及び４５５に示されるもののような量子化された値を決定する）際、このように量子化された指数値を決定する。

【0037】

[0045] さらに、図２～５を参照して上記で説明される例は、より低いレベルの指数／共有指数の中の最高値を選択することによって共有指数値を決定する。当業者であれば、特定のレベルの共有指数値を決定するために追加の及び／又は異なる統計的計量を使用できることを理解するであろう。そのような計量の例は、加重平均、平均値＋定義された数の標準偏差（例えば、１標準偏差、２標準偏差、３標準偏差など）を含む。

【0038】

階層的な共有指数浮動小数点データタイプの例示的な用途
[0046] 上記で説明される例は、階層的な共有指数浮動小数点データタイプを作成する方法について説明している。以下の例は、これらのデータタイプの多くの用途の１つを示す。図６は、いくつかの実施形態による、階層的な共有指数浮動小数点データタイプ変数を乗算する例を示す。具体的には、図６は、階層的な共有指数浮動小数点データタイプに従って格納された２つの変数間でドット積を実行するためのハードウェアアーキテクチャ６００を示す。いくつかの実施形態では、ハードウェアアーキテクチャ６００は、ニューラルネットワークの訓練及びニューラルネットワークを使用した推論のために使用される人工知能（ＡＩ）アクセラレータを実装するために使用することができる。示されるように、ハードウェアアーキテクチャ６００は、乗算器６０５－１～６０５－ｎと、シフタ６１０－１～６１０－ｎ及び６２０－１～６２０－ｍと、加算器６１５－１～６１５－ｍ、６２５－１～６２５－ｋ及び６３０と、切り捨て／四捨五入モジュール６３５とを含む。

【0039】

[0047] この例の場合、ハードウェアアーキテクチャ６００は、２つの入力Ａ及びＢを受信するように構成される。入力Ａ及びＢの各々は、ｎ個の浮動小数点値を格納する階層的な共有指数浮動小数点データタイプ変数（例えば、データ構造３００、データ構造５００など）である。各変数の浮動小数点値の仮数値は、対応する乗算器６０５に入力される。例えば、変数Ａの第１の浮動小数点値の仮数値及び変数Ｂの第１の浮動小数点値の仮数値は、乗算器６０５－１に入力され、変数Ａの第２の浮動小数点値の仮数値及び変数Ｂの第２の浮動小数点値の仮数値は、乗算器６０５－２に入力され、変数Ａの第３の浮動小数点値の仮数値及び変数Ｂの第３の浮動小数点値の仮数値は、乗算器６０５－３に入力されるなどである。示されるように、乗算器６０５の各々への入力は、ｄｗのビット幅を有する。各乗算器６０５は、２つの入力仮数値を乗算し、２ｄｗのビット幅を有する積を出力する。乗算器６０５の出力は、対応するシフタ６１０に入力され、対応するシフタ６１０は、シフタ６１０の上部に描写される制御入力に基づいて右シフトを実行するように構成される。シフタ６１０に対する制御入力は、乗算器６０５への入力の各々のレベル１のスケール値の総和である。シフタ６１０は、制御入力の値に等しい数の右シフト演算を実行する。シフタ６１０の出力は、２ｄｗ＋３のビット幅を有する。２つのシフタ６１０の出力は、対応する加算器６１５に入力され、対応する加算器６１５は、２つの入力を合計して、２ｄｗ＋４のビット幅を有する総和を生成する。プロセスは、対応するレベルスケール値の使用を続け、シフタを制御する（例えば、レベル２のスケール値の総和は、シフタ６２０－１～６２０－ｍを制御するために使用される）。レベルの数は、ｌｏｇ_２（ｎ）によって決定される。上記で言及した通り、ｎは、変数に格納された浮動小数点値の数である。最後のレベルの出力は、２ｄｗ＋４ｌｏｇ_２（ｎ）のビット幅を有する。

【0040】

[0048] 切り捨て／四捨五入モジュール６３５が最後のレベルから出力を受信すると、切り捨て／四捨五入モジュール６３５は、変数の各々の共有指数値の総和に基づいて、出力の値においてシフト演算を実行する。例えば、共有指数値の総和が正の値である場合、切り捨て／四捨五入モジュール６３５は、共有指数値の総和に等しい数の左シフト演算を値において実行する。共有指数値の総和が負の値である場合、切り捨て／四捨五入モジュール６３５は、共有指数値の総和の絶対値に等しい数の右シフト演算を値において実行する。次いで、切り捨て／四捨五入モジュール６３５は、定義されたビット数で値を切り捨て、出力値Ｃを生成する。

【0041】

[0049] 図７は、いくつかの実施形態による、階層的な共有指数浮動小数点データタイプ変数を作成するためのプロセス７００を示す。いくつかの実施形態では、コンピューティングシステム１００がプロセス７００を実行する。プロセス７００は、７１０において、複数の浮動小数点値の第１のサブセットの各浮動小数点値の指数値に基づいて第１の共有指数値を決定することによって開始する。例として、図１及び４を参照すると、指数マネージャ１１０は、浮動小数点値の第１の対のオリジナルの指数値に基づいて、レベル０の共有指数値を決定することができる。

【0042】

[0050] 次に、プロセス７００は、７２０において、複数の浮動小数点値の第２のサブセットの各浮動小数点値の指数値に基づいて第２の共有指数値を決定する。例として、図１及び４を参照すると、指数マネージャ１１０は、浮動小数点値の第２の対のオリジナルの指数値に基づいて、レベル０の共有指数値を決定することができる。

【0043】

[0051] 次いで、プロセス７００は、７３０において、第１の共有指数値及び第２の共有指数値に基づいて第３の共有指数値を決定する。例として、図１及び４を参照すると、指数マネージャ１１０は、レベル０の共有指数値に基づいて、レベル１の共有指数値を決定することができる。

【0044】

[0052] ７４０では、プロセス７００は、第１の共有指数値及び第３の共有指数値に基づいて第１の差の値を決定する。例として、図１及び４を参照すると、指数マネージャ１１０は、レベル０の共有指数値及び対応するレベル１の共有指数値の第１の対に対するレベル１のスケール値を決定することができる。次いで、プロセス７００は、７５０において、第２の共有指数値及び第３の共有指数値に基づいて第２の差の値を決定する。例として、図１及び４を参照すると、指数マネージャ１１０は、レベル０の共有指数値及び対応するレベル１の共有指数値の第２の対に対するレベル１のスケール値を決定することができる。

【0045】

[0053] 次に、プロセス７００は、７６０において、複数の浮動小数点値の各浮動小数点値のための符号値及び仮数値を決定する。例として、図１及び４を参照すると、仮数マネージャ１１５は、表４００の行４４５に示されるように、仮数に対する量子化された大きさの値を決定することができる。最後に、７７０では、プロセス７００は、複数の浮動小数点値の各浮動小数点値のための符号値及び仮数値、第３の共有指数値、第１の差の値並びに第２の差の値を、共有指数浮動小数点データタイプのためのデータ構造に格納する。例として、図１及び５を参照すると、ＨＡＳＥＦＰＤＴマネージャ１０５は、仮数値、レベル１の共有指数及びレベル１のスケール値をデータ構造５００に格納する。

【0046】

[0054] 上記の技法は、ニューラルネットワークを処理するように構成された広範囲にわたるコンピュータシステムで実施できることを説明する。図８は、前述の開示で説明される技法を実装するために使用することができる例示的なコンピュータシステム８００（例えば、コンピューティングシステム１００）の簡略ブロック図を描写する。図８に示されるように、コンピュータシステム８００は、バスサブシステム８０４を介して多くの周辺デバイスと通信する１つ又は複数のプロセッサ８０２を含む。これらの周辺デバイスは、ストレージサブシステム８０６（例えば、メモリサブシステム８０８及びファイルストレージサブシステム８１０を含む）と、ネットワークインタフェースサブシステム８１６とを含み得る。いくつかのコンピュータシステムは、ユーザインタフェース入力デバイス８１２及び／又はユーザインタフェース出力デバイス８１４をさらに含み得る。

【0047】

[0055] バスサブシステム８０４は、コンピュータシステム８００の様々なコンポーネント及びサブシステムを意図した通りに互いに通信させるためのメカニズムを提供することができる。バスサブシステム８０４は、単一のバスとして概略的に示されているが、バスサブシステムの代替の実施形態は、複数のバスを利用することができる。

【0048】

[0056] ネットワークインタフェースサブシステム８１６は、コンピュータシステム８００と他のコンピュータシステム又はネットワークとの間でデータを通信するためのインタフェースとしての役割を果たすことができる。ネットワークインタフェースサブシステム８１６の実施形態は、例えば、イーサネット、Wi-Fi及び／又はセルラアダプタ、モデム（電話、衛星、ケーブル、ＩＳＤＮなど）、デジタル加入者回線（ＤＳＬ）ユニット及び／又は同様のものを含み得る。

【0049】

[0057] ストレージサブシステム８０６は、メモリサブシステム８０８と、ファイル／ディスクストレージサブシステム８１０とを含む。本明細書で説明されるサブシステム８０８、８１０及び他のメモリは、本開示の実施形態の機能性を提供する実行可能なプログラムコード及び／又はデータを格納することができる非一時的なコンピュータ可読記憶媒体の例である。

【0050】

[0058] メモリサブシステム８０８は、多くのメモリを含み、プログラム実行中に命令及びデータを格納するためのメインランダムアクセスメモリ（ＲＡＭ）８１８並びに固定された命令が格納される読み取り専用メモリ（ＲＯＭ）８２０を含む。ファイルストレージサブシステム８１０は、プログラム及びデータファイルのための永続（例えば、不揮発性）記憶装置を提供することができ、磁気若しくはソリッドステートハードディスクドライブ、関連する取り外し可能な媒体を伴う光学ドライブ（例えば、ＣＤ－ＲＯＭ、ＤＶＤ、Blu-Rayなど）、取り外し可能なフラッシュメモリベースのドライブ若しくはカード及び／又は当技術分野で知られている他のタイプの記憶媒体を含み得る。

【0051】

[0059] コンピュータシステム８００は、例示であり、システム８００より多い又は少ないコンポーネントを有する他の多くの構成が可能であることが理解されるべきである。

【0052】

[0060] 図９は、いくつかの実施形態によるニューラルネットワーク処理システムを示す。様々な実施形態では、本開示によるニューラルネットワークは、１つ又は複数のニューラルネットワークプロセッサを含むハードウェア環境において実装及び訓練することができる。ニューラルネットワークプロセッサは、例えば、様々なグラフィックス処理ユニット（ＧＰＵ）（例えば、Nvidia Corp（登録商標）によって生産されたニューラルネットワークを処理するためのＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（例えば、Xilinx（登録商標）によって生産されたニューラルネットワークを処理するためのＦＰＧＡ）又はニューラルネットワーク演算のために最適化されたハードウェアアーキテクチャを含む多様な特定用途向け集積回路（ＡＳＩＣ）若しくはニューラルネットワークプロセッサを指し得る。この例示的な環境では、上記の図８に示されるアーキテクチャを含み得る１つ又は複数のサーバ９０２は、通信ネットワーク９０１（例えば、スイッチ、ルータなど）上で複数のコントローラ９１０（１）～９１０（Ｍ）に結合することができる。コントローラ９１０（１）～９１０（Ｍ）も、上記の図８に示されるアーキテクチャを含み得る。各コントローラ９１０（１）～９１０（Ｍ）は、１つ又は複数のＮＮプロセッサ（例えば、プロセッサ９１１（１）～９１１（Ｎ）及び９１２（１）～９１２（Ｎ）など）に結合することができる。ＮＮプロセッサ９１１（１）～９１１（Ｎ）及び９１２（１）～９１２（Ｎ）は、ニューラルネットワーク処理（訓練又は推論など）のために最適化された多様な構成の機能処理ブロック及びメモリを含み得る。ＮＮプロセッサは、ニューラルネットワーク演算のために最適化される。サーバ９０２は、ＮＮモデルを用い、及びデータをモデルに入力するようにコントローラ９１０を構成することができ、それらのモデルは、例えば、ＮＮプロセッサ９１１（１）～９１１（Ｎ）及び９１２（１）～９１２（Ｎ）によってロードし、並列実行することができる。モデルは、例えば、上記で説明されるような層及び関連する重みを含み得る。ＮＮプロセッサは、モデルをロードし、入力を適用して出力結果を生成することができる。ＮＮプロセッサは、例えば、本明細書で説明される訓練アルゴリズムを実施することもできる。

【0053】

さらなる例示的な実施形態
[0061] 様々な実施形態では、本開示は、階層的な共有指数浮動小数点データタイプを提供するためのシステム、方法及び装置を含む。本明細書で説明される技法は、コンピュータシステムによって実行可能なプログラムを格納する非一時的な機械可読媒体において具体化することができ、プログラムは、本明細書で説明される技法を実行するための命令のセットを含む。いくつかの実施形態では、システムは、処理ユニットのセットと、命令を格納する非一時的な機械可読媒体とを含み、命令は、処理ユニットのセットの少なくとも１つの処理ユニットによって実行されると、本明細書で説明される技法を少なくとも１つの処理ユニットに実行させる。いくつかの実施形態では、非一時的な機械可読媒体は、例えば、メモリであり得、例えば、１つ若しくは複数のコントローラ又は１つ若しくは複数の人工知能プロセッサに結合することができる。

【0054】

[0062] 以下の技法は、単独で又は異なる組合せで具体化することができ、本明細書で説明される他の技法でさらに具体化することができる。

【0055】

[0063] 例えば、一実施形態では、本開示は、デバイスの少なくとも１つの処理ユニットによって実行可能なプログラムを格納する非一時的な機械可読媒体を含む。プログラムは、複数の浮動小数点値の第１のサブセットの各浮動小数点値の指数値に基づいて、第１の共有指数値を決定することと、複数の浮動小数点値の第２のサブセットの各浮動小数点値の指数値に基づいて、第２の共有指数値を決定することと、第１の共有指数値及び第２の共有指数値に基づいて、第３の共有指数値を決定することと、第１の共有指数値及び第３の共有指数値に基づいて、第１の差の値を決定することと、第２の共有指数値及び第３の共有指数値に基づいて、第２の差の値を決定することと、複数の浮動小数点値の各浮動小数点値のための符号値及び仮数値を決定することと、複数の浮動小数点値の各浮動小数点値のための符号値及び仮数値、第３の共有指数値、第１の差の値並びに第２の差の値を、共有指数浮動小数点データタイプのためのデータ構造に格納することとを行うための命令のセットを含む。

【0056】

[0064] 一実施形態では、第１の共有指数値、第２の共有指数値及び第３の共有指数値は、共有指数値の階層を形成する。

【0057】

[0065] 一実施形態では、第１の共有指数値及び第２の共有指数値は、共有指数値の階層の第１のレベルの指数値であり、第３の共有指数値は、共有指数値の階層の第２のレベルの指数値である。

【0058】

[0066] 一実施形態では、共有指数値の階層は、第３の共有指数値、第１の差の値及び第２の差の値によって表される。

【0059】

[0067] 一実施形態では、本開示は、第１の共有指数値及び複数の浮動小数点値の第１のサブセットの各浮動小数点数の指数値に基づいて、差の値の第１のセットを決定することと、第２の共有指数値及び複数の浮動小数点値の第２のサブセットの各浮動小数点数の指数値に基づいて、差の値の第２のセットを決定することと、異なる値の第１のセット及び差の値の第２のセットを、共有指数浮動小数点データタイプのためのデータ構造に格納することとをさらに行う。

【0060】

[0068] 一実施形態では、第１の共有指数値を決定することは、最高値を有する、複数の浮動小数点値の第１のサブセットの浮動小数点値の指数値を決定し、及び第１の共有指数値としてその指数値を使用することを含む。

【0061】

[0069] 一実施形態では、第２の共有指数値を決定することは、最高値を有する、複数の浮動小数点値の第２のサブセットの浮動小数点値の指数値を決定し、及び第２の共有指数値としてその指数値を使用することを含む。

【0062】

[0070] 一実施形態では、第３の共有指数値を決定することは、第１の共有指数値が第２の共有指数値以上であると決定すると、第３の指数値として第１の共有指数値を使用し、及び第１の共有指数値が第２の共有指数値未満であると決定すると、第３の指数値として第２の共有指数値を使用することを含む。

【0063】

[0071] 一実施形態では、共有指数浮動小数点データタイプのためのデータ構造に格納された仮数値を表すために使用されるビット数は、第３の指数値を表すために使用されるビット数より少ない。

【0064】

[0072] 上記の説明は、特定の実施形態の態様をどのように実装できるかを示す例と共に、本開示の様々な実施形態を示す。上記の例は、唯一の実施形態であると考えるべきではなく、以下の請求項によって定義されるように、特定の実施形態の柔軟性及び利点を示すために提示される。上記の本開示及び以下の請求項に基づいて、請求項によって定義されるような本開示の範囲を逸脱しない範囲で他の配列、実施形態、実装形態及び均等物を採用することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】