特許 7688463 ハイブリッドフォーマットのための浮動小数点計算

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-27

(45)【発行日】2025-06-04

(54)【発明の名称】ハイブリッドフォーマットのための浮動小数点計算

(51)【国際特許分類】

   G06F 7/499 20060101AFI20250528BHJP

   G06N 20/00 20190101ALI20250528BHJP

   G06F 17/16 20060101ALI20250528BHJP

【ＦＩ】

G06F7/499 101

G06N20/00

G06F17/16 Z

【請求項の数】 18

(21)【出願番号】P 2023515366

(86)(22)【出願日】2021-08-24

(65)【公表番号】

(43)【公表日】2023-09-25

(86)【国際出願番号】 EP2021073384

(87)【国際公開番号】W WO2022053305

(87)【国際公開日】2022-03-17

【審査請求日】2024-01-23

(31)【優先権主張番号】16/948,195

(32)【優先日】2020-09-08

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(72)【発明者】

【氏名】アグラワル、アンクル

(72)【発明者】

【氏名】フライシャー、ブルース

【審査官】佐賀野 秀一

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０２４９９１０（ＵＳ，Ａ１）

【文献】国際公開第２０２０／０５９０７４（ＷＯ，Ａ１）

【文献】特開平０２－０９１７２４（ＪＰ，Ａ）

【文献】特開２０２０－０７７２９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ５／０１

Ｇ０６Ｆ ７／３８－ ７／５３７

Ｇ０６Ｆ ７／５７－ ７／５７５

Ｇ０６Ｆ ７／７４－ ７／７８

Ｇ０６Ｆ １７／１６

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を１つまたは複数のプロセッサによって実行するための方法であって、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換することと、
前記１つまたは複数のｓｓＦＰＵを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行することとを含み、
前記複数の浮動小数点フォーマットを、符号ビット、指数ビット、および仮数ビットを含む超低精度「ＶＬＰ」フォーマットとして特定することであって、前記ＶＬＰは８ビット浮動小数点フォーマットである、特定することと、
前記スーパーセット浮動小数点フォーマットを単一浮動小数点フォーマットとして特定することであって、前記スーパーセット浮動小数点フォーマットは符号ビット、指数ビットおよび仮数ビットを含む９ビット浮動小数点フォーマットであり、前記１つまたは複数のｓｓＦＰＵは９ビット浮動小数点ユニットである、特定することと、をさらに含む、方法。

【請求項2】

簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を１つまたは複数のプロセッサによって実行するための方法であって、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換することと、
前記１つまたは複数のｓｓＦＰＵを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行することとを含み、
複数の８ビット浮動小数点フォーマットとして表される前記１つまたは複数の入力を、前記１つまたは複数のｓｓＦＰＵによる計算の前に前記スーパーセット浮動小数点フォーマットに変換することであって、前記スーパーセット浮動小数点フォーマットは９ビット浮動小数点フォーマットであり、前記１つまたは複数のｓｓＦＰＵは９ビット浮動小数点ユニットである、変換することをさらに含む、方法。

【請求項3】

簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を１つまたは複数のプロセッサによって実行するための方法であって、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換することと、
前記１つまたは複数のｓｓＦＰＵを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行することとを含み、
前記１つまたは複数のｓｓＦＰＵのアレイのエッジにおいて、複数の８ビット浮動小数点フォーマットとして表される前記１つまたは複数の入力の前記スーパーセット浮動小数点フォーマットへの前記変換を実行することと、
前記１つまたは複数のｓｓＦＰＵの前記アレイを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して同時に前記計算操作を実行することと、をさらに含む、方法。

【請求項4】

簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を１つまたは複数のプロセッサによって実行するための方法であって、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換することと、
前記１つまたは複数のｓｓＦＰＵを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行することとを含み、
前記複数の浮動小数点フォーマットを置き換えるために前記スーパーセット浮動小数点フォーマットを選択することにより、前記計算操作の前に丸め誤差を防止することをさらに含む、方法。

【請求項5】

コンピューティング環境において、簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するためのシステムであって、
実行可能な命令を有する１つまたは複数のコンピュータを含み、前記実行可能な命令は実行されたときに前記システムに、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換することと、
前記１つまたは複数のｓｓＦＰＵを使用して、スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行することと、を行わせ、
前記実行可能な命令は実行されたときに、前記システムに、
前記複数の浮動小数点フォーマットを、符号ビット、指数ビット、および仮数ビットを含む超低精度「ＶＬＰ」フォーマットとして特定することであって、前記ＶＬＰは８ビット浮動小数点フォーマットである、特定することと、
前記スーパーセット浮動小数点フォーマットを単一浮動小数点フォーマットとして特定することであって、前記スーパーセット浮動小数点フォーマットは符号ビット、指数ビットおよび仮数ビットを含む９ビット浮動小数点フォーマットであり、前記１つまたは複数のｓｓＦＰＵは９ビット浮動小数点ユニットである、特定することと、を行わせる、システム。

【請求項6】

コンピューティング環境において、簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するためのシステムであって、
実行可能な命令を有する１つまたは複数のコンピュータを含み、前記実行可能な命令は実行されたときに前記システムに、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換することと、
前記１つまたは複数のｓｓＦＰＵを使用して、スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行することと、を行わせ、
前記実行可能な命令は実行されたときに、前記システムに、複数の８ビット浮動小数点フォーマットとして表される前記１つまたは複数の入力を、前記１つまたは複数のｓｓＦＰＵによる計算の前に前記スーパーセット浮動小数点フォーマットに変換することであって、前記スーパーセット浮動小数点フォーマットは９ビット浮動小数点フォーマットであり、前記１つまたは複数のｓｓＦＰＵは９ビット浮動小数点ユニットである、変換することを行わせる、システム。

【請求項7】

コンピューティング環境において、簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するためのシステムであって、
実行可能な命令を有する１つまたは複数のコンピュータを含み、前記実行可能な命令は実行されたときに前記システムに、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換することと、
前記１つまたは複数のｓｓＦＰＵを使用して、スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行することと、を行わせ、
前記実行可能な命令は実行されたときに、前記システムに、
前記１つまたは複数のｓｓＦＰＵのアレイのエッジにおいて、複数の８ビット浮動小数点フォーマットとして表される前記１つまたは複数の入力の前記スーパーセット浮動小数点フォーマットへの前記変換を実行することと、
前記１つまたは複数のｓｓＦＰＵの前記アレイを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して同時に前記計算操作を実行することと、を行わせる、システム。

【請求項8】

コンピューティング環境において、簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するためのシステムであって、
実行可能な命令を有する１つまたは複数のコンピュータを含み、前記実行可能な命令は実行されたときに前記システムに、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換することと、
前記１つまたは複数のｓｓＦＰＵを使用して、スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行することと、を行わせ、
前記実行可能な命令は実行されたときに、前記システムに、前記複数の浮動小数点フォーマットを置き換えるために前記スーパーセット浮動小数点フォーマットを選択することにより、前記計算操作の前に丸め誤差を防止することを行わせる、システム。

【請求項9】

簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
１つまたは複数のコンピュータ可読記憶媒体と、前記１つまたは複数のコンピュータ可読記憶媒体に一括して記憶されたプログラム命令と、を含み、前記プログラム命令は、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数のスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換するためのプログラム命令と、
前記１つまたは複数のｓｓＦＰＵを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行するためのプログラム命令とを含み、
前記複数の浮動小数点フォーマットを、符号ビット、指数ビット、および仮数ビットを含む超低精度「ＶＬＰ」フォーマットとして特定することであって、前記ＶＬＰは８ビット浮動小数点フォーマットである、特定することと、
前記スーパーセット浮動小数点フォーマットを単一浮動小数点フォーマットとして特定することであって、前記スーパーセット浮動小数点フォーマットは符号ビット、指数ビットおよび仮数ビットを含む９ビット浮動小数点フォーマットであり、前記１つまたは複数のｓｓＦＰＵは９ビット浮動小数点ユニットである、特定することと、を行うためのプログラム命令をさらに含む、コンピュータプログラム製品。

【請求項10】

簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
１つまたは複数のコンピュータ可読記憶媒体と、前記１つまたは複数のコンピュータ可読記憶媒体に一括して記憶されたプログラム命令と、を含み、前記プログラム命令は、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数のスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換するためのプログラム命令と、
前記１つまたは複数のｓｓＦＰＵを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行するためのプログラム命令とを含み、
複数の８ビット浮動小数点フォーマットとして表される前記１つまたは複数の入力を、前記１つまたは複数のｓｓＦＰＵによる計算の前に前記スーパーセット浮動小数点フォーマットに変換することであって、前記スーパーセット浮動小数点フォーマットは９ビット浮動小数点フォーマットであり、前記１つまたは複数のｓｓＦＰＵは９ビット浮動小数点ユニットである、変換することを行うための、プログラム命令をさらに含む、コンピュータプログラム製品。

【請求項11】

簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
１つまたは複数のコンピュータ可読記憶媒体と、前記１つまたは複数のコンピュータ可読記憶媒体に一括して記憶されたプログラム命令と、を含み、前記プログラム命令は、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数のスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換するためのプログラム命令と、
前記１つまたは複数のｓｓＦＰＵを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行するためのプログラム命令とを含み、
前記１つまたは複数のｓｓＦＰＵのアレイのエッジにおいて、複数の８ビット浮動小数点フォーマットとして表される前記１つまたは複数の入力の前記スーパーセット浮動小数点フォーマットへの前記変換を実行することと、
前記１つまたは複数のｓｓＦＰＵの前記アレイを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して同時に前記計算操作を実行することと、を行うためのプログラム命令をさらに含む、コンピュータプログラム製品。

【請求項12】

簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
１つまたは複数のコンピュータ可読記憶媒体と、前記１つまたは複数のコンピュータ可読記憶媒体に一括して記憶されたプログラム命令と、を含み、前記プログラム命令は、
複数の浮動小数点フォーマットとして表される１つまたは複数の入力を、１つまたは複数のスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」による計算の前に、スーパーセット浮動小数点フォーマットに変換するためのプログラム命令と、
前記１つまたは複数のｓｓＦＰＵを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記１つまたは複数の入力に対して計算操作を実行するためのプログラム命令とを含み、
前記複数の浮動小数点フォーマットを置き換えるために前記スーパーセット浮動小数点フォーマットを選択することにより、前記計算操作の前に丸め誤差を防止するためのプログラム命令をさらに含む、コンピュータプログラム製品。

【請求項13】

１つまたは複数のプロセッサによって簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するための方法であって、
超低精度「ＶＬＰ」浮動小数点フォーマットとして表される複数の入力を、スーパーセット浮動小数点フォーマットに変換することと、
複数の簡略化されたスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」のアレイを使用して、前記スーパーセット浮動小数点フォーマットとして表される前記複数の入力に対して計算操作を実行することとを含み、
前記ＶＬＰ浮動小数点フォーマットを８ビット浮動小数点フォーマット「ＦＰ８」として特定することであって、前記ＦＰ８フォーマットは符号ビット、指数ビット、および仮数ビットを含む、特定することと、
前記スーパーセット浮動小数点フォーマットを単一浮動小数点フォーマットとして特定することであって、前記スーパーセット浮動小数点フォーマットは符号ビット、指数ビットおよび仮数ビットを含む９ビット浮動小数点フォーマット「ＦＰ９」であり、前記複数のｓｓＦＰＵは９ビット浮動小数点ユニットである、特定することと、をさらに含む、方法。

【請求項14】

１つまたは複数のプロセッサによって簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するための方法であって、
超低精度「ＶＬＰ」浮動小数点フォーマットとして表される入力オペランドを、簡略化されたスーパーセット浮動小数点ユニット「ｓｓＦＰＵ」のアレイで計算操作を実行する前に丸め誤差を防ぐためにスーパーセット浮動小数点フォーマットに変換することと、前記ｓｓＦＰＵの前記アレイを使用して前記スーパーセット浮動小数点フォーマットとして表される前記入力オペランド上で前記計算操作を実行することと、とを含む、方法。

【請求項15】

前記ＶＬＰ浮動小数点フォーマットはメモリフォーマットであり、前記スーパーセット浮動小数点フォーマットは計算フォーマットであり、前記ｓｓＦＰＵの前記アレイの各々は９ビット浮動小数点ユニットである、請求項１４に記載の方法。

【請求項16】

１つまたは複数のプロセッサによって簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するための方法であって、
浮動小数点ユニット（ＦＰＵ）のアレイを提供することと、
メモリバンクに、符号ビットと少なくとも１つの指数ビットと少なくとも１つの仮数ビットとを含む第１のビット数を有する第１の浮動小数点フォーマットの浮動小数点オペランドを格納することと、
変換ユニットによって、前記メモリバンクからオペランドを受信することであって、前記変換ユニットは、ＦＰＵの前記アレイの外部にある回路を含む、受信することと、
前記変換ユニットによって、前記第１の浮動小数点フォーマットの前記オペランドを、符号ビットと少なくとも１つの指数ビットと少なくとも１つの仮数ビットとを含む第２のビット数を有する第２の浮動小数点フォーマットに変換することであって、前記第２のビット数は前記第１のビット数よりも大きい、変換することと、
前記変換ユニットによって、前記第２の浮動小数点フォーマットの前記オペランドに対して計算を実行するために、前記第２の浮動小数点フォーマットの前記オペランドをＦＰＵの前記アレイに入力することであって、前記オペランドの前記第２の浮動小数点フォーマットへの前記変換は、ＦＰＵの前記アレイの外部にある前記変換ユニットで実行される、入力することとを含む、方法。

【請求項17】

浮動小数点ユニット（ＦＰＵ）のアレイと、
符号ビットと少なくとも１つの指数ビットと少なくとも１つの仮数ビットとを含む第１のビット数を有する第１の浮動小数点フォーマットの浮動小数点オペランドを含むメモリバンクと、
ＦＰＵの前記アレイの外部にあり、回路を含む変換ユニットとを含み、前記変換ユニットは、
前記メモリバンクからオペランドを受信することと、
前記第１の浮動小数点フォーマットの前記オペランドを、符号ビットと少なくとも１つの指数ビットと少なくとも１つの仮数ビットとを含む第２のビット数を有する第２の浮動小数点フォーマットに変換することであって、前記第２のビット数は前記第１のビット数よりも大きい、変換することと、
前記第２の浮動小数点フォーマットの前記オペランドに対して計算を実行するために、前記第２の浮動小数点フォーマットの前記オペランドをＦＰＵの前記アレイに入力することであって、前記オペランドの前記第２の浮動小数点フォーマットへの前記変換は、ＦＰＵの前記アレイの外部にある前記変換ユニットで実行される、入力することとを行う、システム。

【請求項18】

アクセラレータであって、
浮動小数点ユニット（ＦＰＵ）のアレイと、
符号ビットと少なくとも１つの指数ビットと少なくとも１つの仮数ビットとを含む第１のビット数を有する第１の浮動小数点フォーマットの浮動小数点オペランドを含むメモリバンクと、
ＦＰＵの前記アレイの外部にあり、回路を含む変換ユニットとを含み、前記変換ユニットは、
前記メモリバンクからオペランドを受信することと、
前記第１の浮動小数点フォーマットの前記オペランドを、符号ビットと少なくとも１つの指数ビットと少なくとも１つの仮数ビットとを含む第２のビット数を有する第２の浮動小数点フォーマットに変換することであって、前記第２のビット数は前記第１のビット数よりも大きい、変換することと、
前記第２の浮動小数点フォーマットの前記オペランドに対して計算を実行するために、前記第２の浮動小数点フォーマットの前記オペランドをＦＰＵの前記アレイに入力することであって、前記オペランドの前記第２の浮動小数点フォーマットへの前記変換は、ＦＰＵの前記アレイの外部にある前記変換ユニットで実行される、入力することとを行う、アクセラレータと、
訓練および浮動小数点計算の少なくとも１つを実行するために、ＦＰＵの前記アレイへのプログラム命令を構成して提供するようにプログラムするアプリケーションとを含む、サーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、コンピューティングシステムに関し、より詳細には、コンピューティングシステムにおけるハイブリッドフォーマットのための浮動小数点計算のための様々な実施形態に関連する。

【発明の概要】

【0002】

本発明の一実施形態によれば、コンピューティングシステムにおけるハイブリッドフォーマットの浮動小数点計算方法（例えば、簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行する）が提供される。複数の浮動小数点数フォーマットとして表される１つまたは複数の入力が、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット（ｓｓＦＰＵ）による計算の前に、スーパーセット浮動小数点フォーマットに変換されてもよい。１つまたは複数のｓｓＦＰＵを使用して、スーパーセット浮動小数点フォーマットとして表される１つまたは複数の入力に対して計算操作が実行されてもよい。一態様では、スーパーセット浮動小数点フォーマットは、符号ビット、指数ビット（ｅ）、および仮数ビット（ｍ）を含む９ビット浮動小数点フォーマット（「ＦＰ９」）であってもよい。ｓｓＦＰＵのものは、スーパーセット浮動小数点フォーマット（例えば、９ビット浮動小数点フォーマット（「ＦＰ９」））のみで動作する９ビット浮動小数点ユニットであってもよい。

【0003】

追加の実施形態では、超低精度（「ＶＬＰ」）浮動小数点フォーマットとして表される複数の入力は、スーパーセット浮動小数点フォーマットに変換されてもよい。ｓｓＦＰＵのアレイを使用して、スーパーセット浮動小数点フォーマットとして表される複数の入力に対して計算操作が実行されてもよい。

【0004】

追加の実施形態では、超低精度（「ＶＬＰ」）浮動小数点フォーマットとして表される入力オペランドは、簡略化されたスーパーセット浮動小数点ユニット（ｓｓＦＰＵ）のアレイで計算操作を実行する前に、丸め誤差を防ぐためにスーパーセット浮動小数点フォーマットに変換されてもよい。ｓｓＦＰＵのアレイを使用して、スーパーセット浮動小数点フォーマットとして表される複数の入力に対して計算操作が実行されてもよい。

【0005】

実施形態は、コンピュータ使用可能なプログラム製品を含む。コンピュータ使用可能なプログラム製品は、コンピュータ可読記憶装置と、記憶装置に格納されたプログラム命令とを含む。

【0006】

実施形態は、コンピュータシステムを含む。コンピュータシステムは、プロセッサと、コンピュータ可読メモリと、コンピュータ可読記憶装置と、メモリを介したプロセッサによる実行のために記憶装置に格納されたプログラム命令とを含む。したがって、前述の例示的な方法の実施形態に加えて、ハイブリッドフォーマットのための浮動小数点計算のための他の例示的なシステム及びコンピュータ製品の実施形態が提供される。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態による、データ処理システムのネットワークを示すブロック図である。

【図2】本発明の実施形態による、データ処理システムのブロック図である。

【図3】例示的な実施形態による、浮動小数点ユニットの構成例を示すブロック図である。

【図4A】ハイブリッドフォーマットを用いない浮動小数点計算のシステムにおける例示的な機能関係を示す追加のブロック図である。

【図4B】簡略化されたスーパーセット浮動小数点計算ユニット（「ｓｓＦＰＵ」）を使用するハイブリッドフォーマットの浮動小数点計算のシステムにおける例示的な機能関係を示す追加のブロック図である。

【図5】本発明の態様が実現され得る、プロセッサによるコンピューティング環境において、機械学習を加速するための例示的なシステムおよび機能を示すブロックフロー図である。

【図6】本発明の態様が実現され得る、プロセッサによるコンピューティング環境において、簡略化されたスーパーセット浮動小数点ユニット（「ｓｓＦＰＵ」）を介してハイブリッド精度浮動小数点フォーマット計算を実行するための例示的な方法を示すフローチャート図である。

【図7】本発明の態様が実現され得る、プロセッサによるコンピューティング環境において、簡略化されたスーパーセット浮動小数点ユニット（「ｓｓＦＰＵ」）を介してハイブリッド精度浮動小数点フォーマット計算を実行するための例示的な方法を示すフローチャート図である。

【図8】さらに、本発明の態様が実現され得る、プロセッサによるコンピューティング環境において、簡略化されたスーパーセット浮動小数点ユニット（「ｓｓＦＰＵ」）を介してハイブリッド精度浮動小数点フォーマット計算を実行するための例示的な方法を示すフローチャート図である。

【発明を実施するための形態】

【0008】

コンピュータのメモリには限りがあるので、２進数の分数でも１０進数の分数でも、無限の精度で数値を記憶させることはできない。コンピュータのメモリに表現するためには、ある時点で数値を切り捨てたり、四捨五入したりしなければならない。

【0009】

メモリ上でどのように数字を表現するかは、その表現にどれだけの精度を求めるかによって決まる。一般に、２進数のビットで数値を表現する単一の方法（固定小数点表現など）は、数値を使用するさまざまな用途に適していない。例えば、物理学者は、光速（約３００００００００）とニュートンの重力定数（約０．００００００００００６６７）を表す数値を、場合によっては一緒に使う必要がある。

【0010】

異なるタイプのアプリケーションとその精度に対するニーズを満たすために、汎用的な数値フォーマットを設計し、非常に異なる大きさの数値に対する精度を提供する必要がある。しかし、必要なのは相対的な精度だけである。そのため、固定小数点表現ではあまり意味がない。この問題を解決するのが浮動小数点表現である。

【0011】

浮動小数点表現は、与えられた数値を３つの主要な部分に分解する－（ｉ）数値の桁を含む仮数、（ｉｉ）仮数の始まりに対して小数点（または２進数）を配置する位置を設定する指数。負の指数は非常に小さい（つまりゼロに近い）数を表し、（ｉｉｉ）数に関連する符号（正または負）である。

【0012】

浮動小数点ユニット（ＦＰＵ）とは、図３に示すように、浮動小数点計算を実行するプロセッサまたはその一部で、ハードウェア回路として実装されたものである。初期のＦＰＵはスタンドアロン型プロセッサだったが、現在ではほとんどがコンピュータのＣＰＵに内蔵されている。最近のＣＰＵに内蔵されたＦＰＵは、ＩＥＥＥ浮動小数点規格（ＩＥＥＥ７５４）に定められた計算ルールを遵守しながら高精度な浮動小数点計算を実行するため、非常に複雑なものとなっている。

【0013】

ＦＰＵはビット幅を持つ。ビット幅とは、浮動小数点フォーマット（以下、「フォーマット」または「浮動小数点フォーマット」と呼ぶ）で数値を表現するために使用される２進ビットの数で表されるサイズである。浮動小数点フォーマットについては、米国電気電子学会（ＩＥＥＥ）などの団体が規格を策定している。現在使用されているフォーマットは、１６ビット、３２ビット、６４ビット、１２８ビットのフォーマットを使用して数値を表現する標準的な方法を提供する。

【0014】

例えば、浮動小数点フォーマットは、符号、符号なしバイアス指数、および仮数を含むことができる。符号ビットはシングルビットで、「Ｓ」で表される。符号なしバイアス指数は「ｅ」で表され、（例えばＩＥＥＥ７５４で定義されたフォーマットでは）単精度で８ビット長、倍精度で１１ビット長、４倍精度で１５ビット長である。仮数の長さは、やはりＩＥＥＥ７５４規格では、単精度で２４ビット、倍精度で５３ビット、４倍精度で１１３ビットである。ＩＥＥＥ７５４－２００８で定義されているように、仮数の最上位ビット、すなわちいわゆる暗黙ビットは、指数ビットの値によって暗示される。

【0015】

（１／５／２）（符号－指数－仮数）浮動小数点８ビットフォーマット（「ＦＰ８」）を使用すると、精度をあまり落とさずに機械学習モデルをうまく訓練できる可能性がある。８ビット学習技術は急速に進歩しているが、その適用範囲は一般的に深層学習モデルの小さなサブセットにのみ適用される。ＦＰ８フォーマットの他の非効率性の中でこれに対処するために、これらの課題のすべてに対処するために、計算（例えば、訓練と推論）と通信の両方に適用可能なハイブリッドＦＰ８フォーマットおよび技術が使用されてもよい。

【0016】

ハイブリッドＦＰ８フォーマットでは、順伝搬に４指数ビット、３仮数ビット（指数バイアスを含む１／４／３）を、逆伝搬に５指数ビット、２仮数ビット（１／５／２）を使用し、従来問題があったモデルで無視できる精度劣化を達成することができる。つまり、ハイブリッドＦＰ８フォーマットでは、順伝搬で、１符号ビット、４指数ビット、３仮数ビットの８ビット浮動小数点フォーマットが使用される。バックワードパスでは、ハイブリッドＦＰ８フォーマットのために、１符号ビット、５指数ビット、２仮数ビットの８ビット浮動小数点フォーマットが使用される。８ビットは、メモリ階層の全レベルと互換性があるように使用される。

【0017】

また、例えば、基本的な浮動小数点関数である融合積和演算（「ＦＭＭＡ」）などのハイブリッドＦＰ８フォーマットの計算は、以下の式で観測することができる。

【0018】

Ｒ、ＣがＦＰ１６で、積項Ａ１、Ａ２、Ｂ１、Ｂ２がＦＰ８における場合（例えば、Ｂの１６ビット入力は、要素あたり８ビットの２要素ペアとしてである）、ＡおよびＢの１６ビット入力は要素あたり８ビットの２要素ペアで、Ｒは式２Ａに等しいかもしれない。

【0019】

Ａ１、Ａ２、Ｂ１、Ｂ２がハイブリッド－ＦＰ８数の場合、Ａ１、Ａ２はあるフォーマット（例えば１／５／２フォーマット）と、Ｂ１、Ｂ２は別のフォーマット（例えば１／４／３フォーマット）であってもよい。

【0020】

しかし、ハイブリッドＦＰ８フォーマット（一部のオペランドを１／５／２フォーマット、一部のオペランドを１／４／３フォーマットで使用可能）の使用は便利であるが、現在のＦＰＵは各オペランドがＦＰ８フォーマット（１／５／２フォーマット）もしくはＦＰ８（１／４／３フォーマット）またはその両方を使用しているかを判断し、それぞれのフォーマットに合わせて適切にオペランドのデコードを行う必要がある。現在のＦＰＵは、異なるＦＰ８フォーマットをデコードするために追加のロジックと機能を含める必要があり、特に、同じＦＰ８オペランドが複数のＦＰＵに送信され、各ＦＰＵが結局同一のデコードを行い、デコード制御信号も各ＦＰＵに送信しなければならないため、処理能力が高まる一方で計算効率が低下してしまうという問題がある。さらに、１／４／３数フォーマットでは、指数ビットが４つしかないために生じる小さなダイナミックレンジを補償するために、プログラム可能な指数バイアスを持つことが望ましく、図５にて後述する。各ＦＰＵにおいてプログラム可能な指数バイアスをデコードすると、より多くの重複するロジックが追加されることになる。したがって、図示された実施形態の機構は、両方の数値フォーマット（例えば、ＦＰ８フォーマット（１／５／２フォーマット）もしくはＦＰ８（１／４／３フォーマット））またはその両方を使用して計算を実施し、異なるＦＰ８フォーマットおよびデコード制御信号を受け取る各ＦＰＵをデコードする必要性をなくすための効率的なプロセスを提供する。

【0021】

したがって、本発明の様々な実施形態は、計算エンジンのシストリックアレイにおいてハイブリッドＦＰ８計算を効率的に実行することを提供する。一態様では、図示された実施形態の機構は、シストリックアレイへのエントリポイントに変換エンジンを含み、ハイブリッドＦＰ８数をＦＰ８フォーマットのスーパーセットである統一フォーマット（この場合、ＦＰ９）に変換し、計算エンジンを電力、面積および遅延においてより効率的にすることができるようにする。この新しいＦＰＵ（例えば、簡略化されたスーパーセットＦＰＵまたは「ｓｓＦＰＵ」）は、高スループットアクセラレータ（例えば、深層学習アクセラレータなど）における計算密度を向上させる。

【0022】

一態様では、本発明は、コンピューティングシステムにおけるハイブリッドフォーマットの浮動小数点計算（例えば、簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行すること）を提供する。複数の浮動小数点数フォーマットとして表される１つまたは複数の入力は、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット（ｓｓＦＰＵ）によって計算の前にスーパーセット浮動小数点フォーマットに変換されてもよい。また、本明細書では、ｓｓＦＰＵは、単に「簡略化されたスーパーセット浮動小数点ユニット」（「ｓｓＦＰＵ」）またはより一般的に「スーパーセット浮動小数点ユニット」（「ｓＦＰＵ」）として言及される場合がある。したがって、「スーパーセット浮動小数点ユニット」（「ｓＦＰＵ」）に対するいかなる言及も、簡略化されたスーパーセット浮動小数点ユニット（ｓｓＦＰＵ）を指し、再構成可能ＦＰＵと混同されないようにすることである。

【0023】

１つの態様では、スーパーセットフォーマットは、例えば、スーパーセットフォーマットが１／５／３フォーマットとなるように、指数および仮数ビット幅として「ｍａｘ（ｅｘｐｏｎｅｎｔ１，ｅｘｐｏｎｅｎｔ２）」および「ｍａｘ（ｍａｎｔｉｓｓａ１，ｍａｎｔｉｓｓａ２）」を使用する。あるいは、１／６／１と１／４／３が望ましいメモリフォーマットであれば、スーパーセットフォーマットは１／６／３または１０ビット浮動小数点となる。ｓｓＦＰＵは、スーパーセットフォーマットの数値に対してのみ動作するＦＰＵである。１つまたは複数のｓｓＦＰＵを使用して、スーパーセット浮動小数点フォーマットとして表される１つまたは複数の入力に対して計算操作を実行することができる。一態様では、スーパーセット浮動小数点フォーマットは、符号ビット、指数ビット（ｅ）、および仮数ビット（ｍ）を含む９ビット浮動小数点フォーマット（「ＦＰ９」）であってもよい。ｓｓＦＰＵのものは、９ビット浮動小数点フォーマット（「ＦＰ９」）のみで動作する９ビット浮動小数点ユニットであってもよい。すなわち、ｓｓＦＰＵは、スーパーセット浮動小数点フォーマット（例えば、９ビット浮動小数点フォーマット（「ＦＰ９」））のみで動作または計算を行う。

【0024】

本明細書で使用されるように、例示の便宜のために、図示された実施形態の機構は、ハイブリッドＦＰ８を使用しているが、他の任意の浮動小数点フォーマットに等しく適用可能であることに留意されたい。また、浮動小数点計算のために１つまたは複数の計算が実行されてもよく、１つまたは複数の数学的演算を伴う可能性のある様々な数学的演算または関数（例えば、変化率／微積分演算の実行、解析的または計算的に微分方程式または偏微分方程式を解く、加算、減算、除算、乗算、標準偏差、平均、平均値、パーセント、統計分布を用いた統計モデル、組み合わせた変数の最小、最大または同様の閾値を求めることなどによって）が使用され得ることに留意されたい。

【0025】

次に、図１および図２に目を向けると、例示的な実施形態が実装され得るデータ処理環境の図である。図１および図２は、例示に過ぎず、異なる実施形態が実装され得る環境に関して、いかなる限定も主張または示唆することを意図していない。特定の実施形態は、以下の説明に基づいて、描かれた環境に対して多くの修正を加えることができる。

【0026】

図１は、例示的な実施形態が実装され得るデータ処理システムのネットワークのブロック図である。データ処理環境１００は、例示的な実施形態が実装され得るコンピュータのネットワークである。データ処理環境１００は、ネットワーク１０２を含む。ネットワーク１０２は、データ処理環境１００内で一緒に接続された様々な装置とコンピュータとの間の通信リンクを提供するために使用される媒体である。ネットワーク１０２は、有線、無線通信リンク、または光ファイバケーブルなどの接続を含んでもよい。

【0027】

クライアントまたはサーバは、ネットワーク１０２に接続された特定のデータ処理システムの例示的な役割に過ぎず、これらのデータ処理システムの他の構成または役割を除外することを意図するものではない。サーバ１０４およびサーバ１０６は、記憶装置１０８とともにネットワーク１０２に結合する。ソフトウェアアプリケーションは、データ処理環境１００内の任意のコンピュータ上で実行することができる。クライアント１１０、１１２、および１１４も、ネットワーク１０２に結合される。サーバ１０４または１０６、あるいはクライアント１１０、１１２、または１１４などのデータ処理システムは、データを含むことができ、その上で実行されるソフトウェアアプリケーションまたはソフトウェアツールを有することができる。

【0028】

例としてのみ、また、そのようなアーキテクチャへの限定を意味することなく、図１は、実施形態の例示的な実装において使用可能な特定の構成要素を描いている。例えば、サーバ１０４及び１０６、並びにクライアント１１０、１１２、１１４は、例としてのみであり、クライアントサーバアーキテクチャへの限定を意味するものではない、サーバ及びクライアントとして描かれている。別の例として、実施形態は、図示のように、複数のデータ処理システムおよびデータネットワークにわたって分散することができ、一方、別の実施形態は、例示の実施形態の範囲内で単一のデータ処理システム上で実施することができる。データ処理システム１０４、１０６、１１０、１１２、および１１４はまた、クラスタ、パーティション、および実施形態を実装するのに適した他の構成における例示的なノードを表す。

【0029】

装置１３２は、本明細書に記載される装置の一例である。例えば、装置１３２は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、据え置き型または携帯型のクライアント１１０、ウェアラブルコンピューティング装置、または任意の他の適切な装置の形態を取ることができる。図１において別のデータ処理システムで実行されるものとして説明された任意のソフトウェアアプリケーションは、同様の方法で装置１３２において実行するように構成され得る。図１における別のデータ処理システムにおいて記憶または生成される任意のデータまたは情報は、同様の方法で装置１３２において記憶または生成されるように構成することができる。

【0030】

ＦＰＵ１０３が実施形態による修正ＦＰＵであり、サーバ１０４において動作するように構成されていると仮定する。例えば、サーバ１０４は、ニューラルネットワーク１０７の訓練または構成に参加している可能性がある。アプリケーション１０５は、ＦＰＵ１０３を構成する、ＦＰＵ１０３にプログラム命令を提供し、またはそうでなければニューラルネットワーク１０７を訓練するため、または他の浮動小数点計算のためにＦＰＵ１０３を動作させるための動作コンポーネントを実装する。アプリケーション１０５は、ハードウェア、ソフトウェア、またはファームウェアで実装することができる。アプリケーション１０５は、ＦＰＵ１０３内、ＦＰＵ１０３外であるがサーバ１０４内、あるいはサーバ１０４外であってもデータネットワーク１０２を横切る別のデータ処理システム、例えばサーバ１０６内に実装することができる。

【0031】

サーバ１０４及び１０６、記憶装置１０８、並びにクライアント１１０、１１２、及び１１４、及び装置１３２は、有線接続、無線通信プロトコル、又は他の適切なデータ接続を用いてネットワーク１０２に結合してもよい。クライアント１１０、１１２、および１１４は、例えば、パーソナルコンピュータまたはネットワークコンピュータであってよい。

【0032】

描かれた例では、サーバ１０４は、ブートファイル、オペレーティングシステムイメージ、及びアプリケーションなどのデータを、クライアント１１０、１１２、及び１１４に提供してもよい。クライアント１１０、１１２、および１１４は、この例では、サーバ１０４に対するクライアントであってもよい。クライアント１１０、１１２、１１４、またはそれらのいくつかの組み合わせは、自身のデータ、ブートファイル、オペレーティングシステムイメージ、およびアプリケーションを含んでもよい。データ処理環境１００は、図示しない追加のサーバ、クライアント、および他の装置を含んでもよい。

【0033】

描かれた例では、データ処理環境１００は、インターネットであってもよい。ネットワーク１０２は、トランスミッションコントロールプロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）および他のプロトコルを使用して互いに通信するネットワークおよびゲートウェイの集合体を表すことができる。インターネットの中心には、データおよびメッセージをルーティングする何千もの商業、政府、教育、および他のコンピュータシステムを含む、主要なノードまたはホストコンピュータ間のデータ通信リンクのバックボーンがある。もちろん、データ処理環境１００も、例えば、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、またはワイドエリアネットワーク（ＷＡＮ）など、多数の異なるタイプのネットワークとして実装することができる。図１は、例として意図されており、異なる例示的な実施形態に対するアーキテクチャ上の制限として意図されているのではない。

【0034】

他の用途の中で、データ処理環境１００は、例示的な実施形態が実装され得るクライアントサーバ環境を実装するために使用され得る。クライアントサーバ環境は、クライアントデータ処理システムとサーバデータ処理システムとの間の相互作用を用いてアプリケーションが機能するように、ソフトウェアアプリケーションおよびデータをネットワーク全体に分散させることを可能にする。データ処理環境１００はまた、ネットワーク上に分散された相互運用可能なソフトウェアコンポーネントが首尾一貫したビジネスアプリケーションとしてパッケージ化され得る、サービス指向アーキテクチャを採用してもよい。データ処理環境１００は、クラウドの形態をとることもでき、サービスのプロバイダとの最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるように設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のクラウドコンピューティングモデルを採用することができる。

【0035】

図２を参照すると、図２は、例示的な実施形態が実装され得るデータ処理システムのブロック図である。データ処理システム２００は、図１におけるサーバ１０４及び１０６、又はクライアント１１０、１１２、及び１１４などのコンピュータ、又は例示的な実施形態についてプロセスを実装するコンピュータ使用可能なプログラムコード又は命令が配置され得る別のタイプの装置の一例である。

【0036】

また、データ処理システム２００は、図１のデータ処理システム１３２のように、例示の実施形態の処理を実装するコンピュータが使用可能なプログラムコードまたは命令が配置され得るデータ処理システムまたはその構成を代表するものである。データ処理システム２００は、これに限定されることなく、一例としてコンピュータとしてのみ説明される。図１の装置１３２のような他の装置の形態での実装は、タッチインターフェースを追加することなどによってデータ処理システム２００を変更してもよく、本明細書で説明するデータ処理システム２００の動作および機能の一般的な説明から逸脱することなくデータ処理システム２００から特定の描かれた構成要素を排除することさえ可能である。

【0037】

描かれた例では、データ処理システム２００は、ノースブリッジおよびメモリコントローラハブ（ＮＢ／ＭＣＨ）２０２とサウスブリッジおよび入力／出力（Ｉ／Ｏ）コントローラハブ（ＳＢ／ＩＣＨ）２０４を含むハブアーキテクチャを採用している。処理ユニット２０６、メインメモリ２０８、およびグラフィックスプロセッサ２１０は、ノースブリッジおよびメモリコントローラハブ（ＮＢ／ＭＣＨ）２０２に結合される。処理ユニット２０６は、１つまたは複数のプロセッサを含んでもよく、１つまたは複数のヘテロジニアスプロセッサシステムを使用して実装されてもよい。処理ユニット２０６は、マルチコアプロセッサであってもよい。グラフィックスプロセッサ２１０は、特定の実装において、加速グラフィックスポート（ＡＧＰ）を介してＮＢ／ＭＣＨ２０２に結合されてもよい。

【0038】

描かれた例では、ローカルエリアネットワーク（ＬＡＮ）アダプタ２１２は、サウスブリッジおよびＩ／Ｏコントローラハブ（ＳＢ／ＩＣＨ）２０４に結合されている。オーディオアダプタ２１６、キーボードおよびマウスアダプタ２２０、モデム２２２、読み取り専用メモリ（ＲＯＭ）２２４、ユニバーサルシリアルバス（ＵＳＢ）および他のポート２３２、およびＰＣＩ／ＰＣＩｅ装置２３４は、バス２４０を介してサウスブリッジおよびＩ／Ｏコントローラハブ２０４に結合される。ハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）２２６およびＣＤ－ＲＯＭ２３０は、バス２４０を通してサウスブリッジおよびＩ／Ｏコントローラハブ２０４に結合される。ＰＣＩ／ＰＣＩｅ装置２３４は、例えば、イーサネットアダプタ、アドインカード、およびノートブックコンピュータ用のＰＣカードなどを含むことができる。ＰＣＩはカードバスコントローラを使用するが、ＰＣＩｅは使用しない。ＲＯＭ２２４は、例えば、フラッシュバイナリ入出力システム（ＢＩＯＳ）であってもよい。ハードディスクドライブ２２６およびＣＤ－ＲＯＭ２３０は、例えば、統合ドライブエレクトロニクス（ＩＤＥ）、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）インタフェース、または外部ＳＡＴＡ（ｅＳＡＴＡ）およびマイクロＳＡＴＡ（ｍＳＡＴＡ）などの変種を使用してもよい。スーパーＩ／Ｏ（ＳＩＯ）装置２３６は、バス２４０を介してサウスブリッジおよびＩ／Ｏコントローラハブ（ＳＢ／ＩＣＨ）２０４に結合されてもよい。

【0039】

メインメモリ２０８、ＲＯＭ２２４、またはフラッシュメモリ（図示せず）などのメモリは、コンピュータ使用可能なストレージデバイスのいくつかの例である。ハードディスクドライブまたはソリッドステートドライブ２２６、ＣＤ－ＲＯＭ２３０、および他の同様に使用可能な装置は、コンピュータ使用可能な記憶媒体を含むコンピュータ使用可能なストレージデバイスのいくつかの例である。

【0040】

オペレーティングシステムは、処理ユニット２０６上で動作する。オペレーティングシステムは、図２のデータ処理システム２００内の様々なコンポーネントを調整し、制御を提供する。オペレーティングシステムは、サーバシステム、パーソナルコンピュータ、及びモバイルデバイスを含むがこれらに限定されない、任意のタイプのコンピューティングプラットフォームのための市販のオペレーティングシステムであってよい。オブジェクト指向または他のタイプのプログラミングシステムは、オペレーティングシステムと連動して動作し、データ処理システム２００上で実行されるプログラムまたはアプリケーションからオペレーティングシステムへの呼び出しを提供することができる。

【0041】

オペレーティングシステム、オブジェクト指向プログラミングシステム、および図１のアプリケーション１０５などのアプリケーションまたはプログラムのための命令は、ハードディスクドライブ２２６上のコード２２６Ａの形態などの記憶装置上に位置し、処理ユニット２０６による実行のために、メインメモリ２０８などの１つまたは複数のメモリの少なくとも１つにロードされてもよい。例示的な実施形態のプロセスは、コンピュータ実装命令を用いて処理ユニット２０６によって実行されてもよく、これは、例えばメインメモリ２０８、読み取り専用メモリ２２４などのメモリに、または１つまたは複数の周辺装置に配置されてもよい。

【0042】

さらに、ある場合には、コード２２６Ａは、同様のコード２０１Ｃが記憶装置２０１Ｄに記憶されているリモートシステム２０１Ｂからネットワーク２０１Ａを介してダウンロードされてもよい。別の場合には、コード２２６Ａは、ネットワーク２０１Ａを介してリモートシステム２０１Ｂにダウンロードされ、ダウンロードされたコード２０１Ｃは記憶装置２０１Ｄに記憶される。

【0043】

図１～２のハードウェアは、実装によって異なる場合がある。図１～２に描かれたハードウェアに加えて、またはそれに代えて、フラッシュメモリ、同等の不揮発性メモリ、または光ディスクドライブなどの他の内部ハードウェアまたは周辺装置が使用されてもよい。さらに、例示した実施形態の処理は、マルチプロセッサのデータ処理システムに適用してもよい。

【0044】

いくつかの例示的な例では、データ処理システム２００は、一般に、オペレーティングシステムファイルもしくはユーザ生成データまたはその両方を格納するための不揮発性メモリを提供するためにフラッシュメモリで構成されるパーソナルデジタルアシスタント（ＰＤＡ）であってよい。バスシステムは、システムバス、Ｉ／Ｏバス、ＰＣＩバスなどの１つまたは複数のバスから構成されてもよい。もちろん、バスシステムは、ファブリックまたはアーキテクチャに接続された異なるコンポーネントまたは装置間のデータ転送を提供する任意のタイプの通信ファブリックまたはアーキテクチャを使用して実装されてもよい。

【0045】

通信ユニットは、モデムやネットワークアダプタなど、データを送受信するために使用される１つまたは複数の装置を含んでもよい。メモリは、例えば、メインメモリ２０８、またはノースブリッジおよびメモリコントローラハブ２０２に見られるキャッシュのようなキャッシュであってもよい。処理ユニットは、１つまたは複数のプロセッサまたはＣＰＵを含んでもよい。

【0046】

図１～２の描かれた例および上述した例は、アーキテクチャ上の制限を意味するものではない。例えば、データ処理システム２００はまた、モバイルデバイスまたはウェアラブルデバイスの形態をとることに加えて、タブレットコンピュータ、ラップトップコンピュータ、または電話デバイスであってもよい。

【0047】

コンピュータまたはデータ処理システムが、仮想マシン、仮想装置、または仮想コンポーネントとして記述される場合、仮想マシン、仮想装置、または仮想コンポーネントは、データ処理システム２００に描かれた一部またはすべてのコンポーネントの仮想化マニフェストを使用して、データ処理システム２００の態様で動作する。例えば、仮想マシン、仮想装置、または仮想コンポーネントにおいて、処理ユニット２０６は、ホストデータ処理システムにおいて利用可能なハードウェア処理ユニット２０６のすべてまたはいくつかの数の仮想化インスタンスとして明示され、メインメモリ２０８は、ホストデータ処理システムにおいて利用可能なメインメモリ２０８のすべてまたはいくつかの部分の仮想化インスタンスとして明示され、ディスク２２６は、ホストデータ処理システムにおいて利用可能であるディスク２２６のすべてまたはいくつかの部分の仮想化インスタンスとして明示される。このような場合のホストデータ処理システムは、データ処理システム２００によって表される。

【0048】

本開示は、クラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載された教示の実装は、クラウドコンピューティング環境に限定されないことを理解されたい。むしろ、本発明の実施形態は、現在知られている又は後に開発される任意の他のタイプのコンピューティング環境と組み合わせて実施することが可能である。

【0049】

クラウドコンピューティングは、設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、リソースは、最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるものである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの展開モデルを含むことがある。

【0050】

特性は以下の通りである。

【0051】

オンデマンド・セルフサービス：クラウドの消費者は、サービスプロバイダとの人的な対話を必要することなく、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的に準備することができる。

【0052】

ブロード・ネットワークアクセス：コンピューティング能力はネットワーク経由で利用可能であり、また、標準的なメカニズムを介してアクセスできる。それにより、異種のシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、ＰＤＡ）による利用が促進される。

【0053】

リソースプーリング：プロバイダのコンピューティングリソースはプールされ、マルチテナントモデルを利用して複数の消費者に提供される。様々な物理リソースおよび仮想リソースが、需要に応じて動的に割り当ておよび再割り当てされる。一般に消費者は、提供されたリソースの正確な位置を管理または把握していないため、位置非依存（location independence）の感覚がある。ただし消費者は、より高い抽象レベル（例えば、国、州、データセンタ）では場所を特定可能な場合がある。

【0054】

迅速な柔軟性（elasticity）：コンピューティング能力は、迅速かつ柔軟に準備することができるため、場合によっては自動的に、直ちにスケールアウトし、また、速やかにリリースされて直ちにスケールインすることができる。消費者にとって、準備に利用可能なコンピューティング能力は無制限に見える場合が多く、任意の時間に任意の数量で購入することができる。

【0055】

測定されるサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、アクティブユーザアカウント）に適したある程度の抽象化レベルでの測定機能を活用して、リソースの使用を自動的に制御し最適化する。リソース使用量を監視、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供することができる。

【0056】

サービスモデルは以下の通りである。

【0057】

サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用できることである。当該そのアプリケーションは、ウェブブラウザ（例えばウェブメール）などのシンクライアントインタフェースを介して、各種のクライアント装置からアクセスできる。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージや、個別のアプリケーション機能さえも含めて、基礎となるクラウドインフラストラクチャの管理や制御は行わない。ただし、ユーザ固有の限られたアプリケーション構成の設定はその限りではない。

【0058】

サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラム言語およびツールを用いて、消費者が作成または取得したアプリケーションを、クラウドインフラストラクチャに展開（deploy）することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、展開されたアプリケーションを制御でき、かつ場合によってはそのホスティング環境の構成も制御できる。

【0059】

サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、オペレーティングシステムやアプリケーションを含む任意のソフトウェアを消費者が展開および実行可能な、プロセッサ、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースを準備することである。消費者は、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御でき、かつ場合によっては一部のネットワークコンポーネント（例えばホストファイアウォール）を部分的に制御できる。

【0060】

展開モデルは以下の通りである。

【0061】

プライベートクラウド：このクラウドインフラストラクチャは、特定の組織専用で運用される。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

【0062】

コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス）を持つ特定のコミュニティをサポートする。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

【0063】

パブリッククラウド：このクラウドインフラストラクチャは、不特定多数の人々や大規模な業界団体に提供され、クラウドサービスを販売する組織によって所有される。

【0064】

ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ以上のクラウドモデル（プライベート、コミュニティまたはパブリック）を組み合わせたものとなる。それぞれのモデル固有の実体は保持するが、標準または個別の技術によってバインドされ、データとアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースティング）を実現する。

【0065】

クラウドコンピューティング環境は、ステートレス性（statelessness）、低結合性（low coupling）、モジュール性（modularity）および意味論的相互運用性（semantic interoperability）に重点を置いたサービス指向型環境である。クラウドコンピューティングの中核にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。

【0066】

次に、図３を参照して、本図は、例示的な実施形態による浮動小数点表現のための構成例を示すブロック図である。ＦＰＵ３００は、図１におけるＦＰＵ１０３の一例である。アプリケーション３０２は、図１におけるアプリケーション１０５の一例である。

【0067】

アプリケーション３０２は、ＦＰＵ３００のメモリビットを浮動小数点フォーマット３０４として構成する。フォーマット３０４は、本明細書で説明する非限定的な例として、８ビットを使用して構成される。実施形態において、最上位１ビットは符号ビット３０６として予約され、次の下位５ビットは指数ビット３０８として予約され、下位２ビットは仮数ビット３１０として予約される。実施形態（図示せず）において、最上位１ビットは符号ビット３０６として予約され、次の下位４ビットは指数ビット３０８として予約され、最下位ビットは３つの仮数ビット３１０として予約される。

【0068】

次に図４Ａ～４Ｂに目を向けると、例示された実施形態の様々な機構によるコンピューティング環境において、ハイブリッドフォーマットなしのシステム４００（例えば、アクセラレータ）浮動小数点計算（例えば、図４Ａ）および簡略化されたスーパーセット浮動小数点ユニット（「ｓｓＦＰＵ」）を用いたハイブリッドフォーマット（例えば、図４Ｂ）のための例示的機能コンポーネントを示すブロック図が示されている。一態様では、図１～３で説明したコンポーネント、モジュール、サービス、アプリケーション、もしくは機能またはこれらの組み合わせのうちの１つまたは複数が、図４Ａ～４Ｂで使用され得る。これから分かるように、機能ブロックの多くは、図１～３で先に説明したのと同じ記述的な意味で、機能の「モジュール」または「コンポーネント」とも見なされることがある。

【0069】

描かれているように、図４Ａにおいて、システム４００は、オフチップメモリバンク４０２、メモリ階層４０４、例えばローカルメモリバンク４０４Ａ及び４０４Ｂなどの１つまたは複数のメモリバンク、並びに１つまたは複数のＦＰＵの４１０Ａ～Ｉ（例えばＦＰＵのアレイ）を含んでもよい。一態様では、システム４００は、アクセラレータであってもよい。

【0070】

動作において、例えば、いくつかのＦＰ８オペランド（例えば、式１からＦＰ８フォーマットのＡ１もしくはＡ２またはその両方）が生成され、オフチップメモリバンク４０２から（及びメモリ階層４０４から垂直に）ローカルメモリバンク４０４Ａへ流れると仮定する。また、ＦＰ８演算（例えば、式１からＦＰ８フォーマットのＢ１もしくはＢ２またはその両方）が生成され、オフチップメモリバンク４０２から（及びメモリ階層４０４から水平方向に）ローカルメモリバンク４０４Ｂに流れてＦＰＵ４１０Ａ～Ｉのアレイに流れ込むと仮定する。この時点では、ＦＰ８オペランドの各々は、メモリ記憶フォーマットであり、計算フォーマットではない。

【0071】

ＦＰ８オペランドの各々は、ローカルメモリバンク４０４Ａ及び４０４ＢからＦＰＵ４１０Ａ～Ｉのアレイへの入力オペランドとして提供され、ＦＰ８オペランドのいくつかは、ＦＰ８データパスである。ＦＰ１６オペランドが存在し、入力オペランドとして提供されてもよいが、説明の便宜のためにここでは図示していないことに留意されたい。

【0072】

「Ｉ－デコード」ブロックによって生じるおよび生成される制御信号は、ＦＰ８オペランドが１／５／２フォーマット（例えば、符号＋５指数ビット＋２仮数ビット）または１／４／３フォーマット（例えば、符号＋４指数ビット＋３仮数ビット）であるかをＦＰＵ４１０Ａ～Ｉに示すために、各ＦＰ８オペランド（例えば、ＡのまたはＢの）と共に送信されてもよい。

【0073】

ＦＰＵ４１０Ａ～Ｉのシストリックアレイは、オペランドと結果を互いに受け渡し、行列乗算／計算を実行する。例えば、ＦＰＵ４１０Ａ～Ｉは、データパスにおいて、ＦＰ８オペランド（及びＦＰ１６オペランド）を受け取る。制御パスにおけるビットは、ＦＰ８数のフォーマットを信号化してもよく、ＦＰＵ計算は、制御パスの信号によって決定される。したがって、ＦＰＵ４１０Ａ～Ｉの各々は、ＦＰ８オペランドの同じビットを分析し、データビットの同じデコードを実行して、フォーマット（例えば、１／５／２または１／４／３フォーマット）に基づく演算を決定することができる。

【0074】

したがって、図４Ａに描かれた現在の配置の課題は、ＦＰＵ４１０Ａ～Ｉの各々が、２つの異なるＦＰ８フォーマット（例えば、１／５／２または１／４／３フォーマット）をデコードするために追加の機能（例えば、計算ロジック）を必要とし、これにより電力要件および全体的な計算遅延が増加し、計算効率が低下することである。両フォーマットのバイアスは固定されており、１／５／２フォーマットでは十分でも、１／４／３フォーマットではそうでない場合がある。つまり、オペランドが送信されるたびに、すべてのＦＰＵにそれ以外の可変バイアス（制御信号の一部として）を送信することが困難であるため、両方のフォーマットのバイアスが固定されている。一般的なワークロードでは、同じＦＰ８オペランド（例えば、同じ入力オペランド）が複数のＦＰＵ４１０Ａ～Ｉに送られ、これは、複数のＦＰＵ４１０Ａ～Ｉが同一のデコード動作を行うよう要求されることを意味する。

【0075】

これらの非効率性を解消し、ハイブリッドフォーマットの浮動小数点計算を実行するために、図４Ｂは、例えば、簡略化されたスーパーセット浮動小数点ユニット（「ｓｓＦＰＵ」）などの異なるＦＰＵと、例えば、変換ユニット４０６Ａ及び４０６Ｂなどの１つ又は複数の変換ユニットとを使用する。

【0076】

まず、ＦＰ８オペランドを簡略化されたスーパーセットＦＰＵ（「ｓｓＦＰＵ」）４１２Ａ～Ｉのシストリックアレイに送る前に、ＦＰ８オペランドはローカルメモリバンク４０４Ａ及び４０４Ｂから、例えば変換ユニット４０６Ａ及び４０６Ｂなどの変換ユニット（例えば、ＦＰ８－ＦＰ９変換）へ渡されている。

【0077】

ここで、変換ユニット４０６Ａ及び４０６Ｂは、計算ユニットのアレイ（例えば、ｓｓＦＰＵ４１２Ａ～Ｉのアレイ）の入力インタフェースにおいて、両方のＦＰ８フォーマット（例えば、１／５／２と１／４／３）をスーパーセットフォーマット（例えば、ＦＰ９フォーマットなど）に変換してもよい。例えばローカルメモリバンク４０４Ａ、４０４Ｂ及びオフチップメモリバンク４０２などのメモリは、メモリ階層４０４に含まれるすべてのアーキテクチャもＦＰ８フォーマットであるため、ＦＰ８フォーマットでデータを保存し続ける。

【0078】

変換ユニット４０６Ａ及び４０６Ｂは、入力オペランドの浮動小数点数フォーマット（例えば、ＦＰ８フォーマット）を、符号ビット、指数ビット（ｅ）及び仮数ビット（ｍ）からなる超低精度（「ＶＬＰ」）フォーマットとして特定及び区別してもよい。ＶＬＰは、８ビット浮動小数点フォーマット（「ＦＰ８」）であってもよく、スーパーセット浮動小数点フォーマットを単一浮動小数点フォーマットとして特定する。

【0079】

スーパーセット浮動小数点フォーマットは、符号ビット、指数ビット（ｅ）、および仮数ビット（ｍ）を含む９ビット浮動小数点フォーマット（「ＦＰ９」）であってもよい。ｓｓＦＰＵ４１２Ａ～Ｉは、９ビット浮動小数点ユニットであってもよい。

【0080】

変換ユニット４０６Ａ、４０６Ｂの各々（例えば、ＦＰ８－ＦＰ９変換／計算ユニット）は、入力フォーマットが１／５／２または１／４／３といった制御情報を示すＩデコードユニット４０８からの制御信号で変換を実行してもよい。また、ｓｓＦＰＵ４１２Ａ～Ｉの各々には制御信号が不要になり（あるいは、送られなくなり）、変換ユニット４０６Ａ、４０６Ｂに送られる。そして、変換ユニット４０６Ａ及び４０６Ｂは、スーパーセットフォーマット（例えば、ＦＰ９フォーマット）をｓｓＦＰＵ４１２Ａ～Ｉの各々に送る。このようにして、例えば、ｓｓＦＰＵ４１２Ａ～ＩなどのスーパーセットＦＰＵは、ｓｓＦＰＵ４１２Ａ～Ｉが今やスーパーセットフォーマット（例えば、ＦＰ９フォーマット）のみを受信するので、スーパーセットフォーマットＦＰ９と比較してＦＰ８のフォーマットを特定し区別し得るために同じデータビットに対して同じデコード動作を実行する必要がもはやない。

【0081】

ここでも、生成されてオフチップメモリバンク４０２からローカルメモリバンク４０４Ａに垂直に流れるＦＰ８オペランド（例えば、式１からのＦＰ８フォーマットのＡ１もしくはＡ２またはその両方）及び生成されてオフチップメモリバンク４０２からローカルメモリバンク４０４Ｂに水平に流れるＦＰ８演算（例えば、式１からのＦＰ８フォーマットのＢ１もしくはＢ２またはその両方）がＦＰ８フォーマットのままである。ＦＰ８オペランドは、変換ユニット４０６Ａ及び４０６Ｂに送られた後にのみ、スーパーセットフォーマットに変換される。

【0082】

したがって、命令オペコードはＦＰ８融合積和積算を指定し、命令中のビットは、入力ＦＰ８オペランドが１／５／２または１／４／３フォーマットであるかどうかを指定する。これらのビットに基づき、変換ユニット４０６Ａ及び４０６Ｂ（例えば、ＦＰ８－ＦＰ９変換／計算ユニット）は、ｓｓＦＰＵ４１２Ａ～Ｉが使用するためのスーパーセットフォーマット（例えば、ＦＰ９フォーマット）への所望の変換を実行する。

【0083】

複数のｓｓＦＰＵ４１２Ａ～Ｉのアレイを用いて、スーパーセット浮動小数点フォーマットとして表現されるようになった入力オペランドに対して、計算操作が実行されてもよいことに留意されたい。

【0084】

ＦＰ８フォーマットの１／５／２フォーマットでは、図５に示すように、範囲が２^３１である指数ビットが５つあり、１／５／２の範囲は２^－１５から２^１６にわたっていることに注意されたい。しかし、ＦＰ８フォーマットが１／４／３の場合、２^１５の範囲しかなく（例えば、２^－７から２^８にわたる範囲）、制限された範囲となる。このように、指数ビットの範囲が２^－７から２^８である１／４／３フォーマットによる制約を克服するために、スライディングウィンドウは指数バイアスを介して１／４／３のプログラミングを適応してもよく、この場合２^－７から２^８の範囲から４を引くと（例えば－４）、２^－１１から２^４の範囲が得られるようになってもよい。

【0085】

このように、スーパーセットフォーマットは、ＦＰ８をＦＰ９フォーマットに変換することで作成される。例えば、１／５／２フォーマットは、１符号ビット、５指数ビット、３仮数ビットの１／５／３フォーマットに変換される。１／５／２フォーマットは、１／５／２入力が無限大の場合を除き、末尾に「０」を付けて変換してもよい。また、１／４／３フォーマットは１／５／３フォーマットに変換してもよい。１／４／３のためのプログラム可能バイアスは、１／４／３のためのバイアスを制御し、我々の１／５／３ダイナミックレンジの範囲内に収まるように許容バイアス範囲（例えば、指数バイアスのスライディング範囲）が使用されても良い。基本的な１／４／３フォーマットの指数範囲は２^－７から２^８であるため、－８から＋８（含む）の範囲の任意のバイアスは、２^－１５から２^１６までの指数をもたらし、１／５／３フォーマットで表現可能であることに注意されたい。１／４／３フォーマット（２^－１１から２^４）の数値に－４のバイアスの例を適用した後の指数範囲を図５に示す。

【0086】

したがって、図示された実施形態の機構は、ｓｓＦＰＵまたはｓｓＦＰＵのアレイを介して計算する前に、多数の浮動小数点数フォーマットを介して表される数値を単一の浮動小数点数フォーマットに変換することを提供する。計算フォーマット（例えば、スーパーセットフォーマットまたは「ＦＰ９」フォーマット）は、通信／記憶フォーマット（例えば、メモリ記憶フォーマットまたはＦＰ８フォーマット）と区別することができ、これは、通信／記憶フォーマットは通常２のべき乗になるように制約されるが、計算フォーマットには同様の制約がない。

【0087】

ｓｓＦＰＵのアレイは、同じ入力オペランドに対して演算を実行することができ、変換はアレイのエッジで実行できるため、ｓｓＦＰＵの論理深度を減らすことができる（ＦＰＵでの変換がなく、オンザフライ再構成を回避する）。つまり、ｓｓＦＰＵはＦＰ９ ＦＰＵであり、再構成可能ＦＰＵと区別される。つまり、ｓｓＦＰＵは再構成可能ＦＰＵではない。

【0088】

スーパーセットフォーマット（例えば、ＦＰ９）を使用すると、計算のために２つの異なるフォーマットを必要とする深層学習ネットワークのＦＰ８フォーマットベースの訓練が、それらを１つの内部計算フォーマット（例えば、スーパーセットフォーマット）にマージすることによって可能になり、それによってハードウェアコストを減少させエネルギー効率を向上させることができる。計算フォーマット（例えば、スーパーセットフォーマット）は、計算前の丸め誤差を防ぐために、置き換えられるフォーマット（例えば、１／５／２または１／４／３）のスーパーセットであるように選択され得る。

【0089】

次に図６に目を向けると、コンピューティングシステムにおいて簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するための方法６００が描かれており、この方法では、図示された実施形態の様々な態様が実施され得る。機能性６００は、機械上で命令として実行される方法（例えば、コンピュータ実装方法）として実装されてもよく、ここで、命令は、少なくとも１つのコンピュータ可読媒体または１つの非一過性の機械可読記憶媒体上に含まれる。機能性６００は、ブロック６０２で開始されてもよい。

【0090】

複数の浮動小数点数フォーマットとして表される１つまたは複数の入力は、１つまたは複数の簡略化されたスーパーセット浮動小数点ユニット（ｓｓＦＰＵ）による計算の前にスーパーセット浮動小数点フォーマット（例えば、ＦＰ９フォーマット）に変換されてもよい。ブロック６０６のように、１つまたは複数のｓｓＦＰＵを使用して、スーパーセット浮動小数点フォーマットとして表される１つまたは複数の入力に対して計算操作が実行されてもよい。機能性６００は、ブロック６０８のように、終了してもよい。

【0091】

次に図７に目を向けると、コンピューティングシステムにおいて簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するための追加の方法７００が描かれている。機能性７００は、機械上で命令として実行される方法（例えば、コンピュータ実装方法）として実装されてもよく、ここで、命令は、少なくとも１つのコンピュータ可読媒体または１つの非一過性の機械可読記憶媒体上に含まれる。機能性７００は、ブロック７０２で開始されてもよい。

【0092】

超低精度（「ＶＬＰ」）浮動小数点フォーマットとして表される複数の入力は、ブロック７０４のように、スーパーセット浮動小数点フォーマットに変換されてもよい。ブロック７０６のように、複数のｓｓＦＰＵのアレイを使用して、スーパーセット浮動小数点フォーマットとして表される複数の入力に対して計算操作が実行されてもよい。機能性７００は、ブロック７０８のように、終了してもよい。

【0093】

ここで図８に目を向けると、コンピューティングシステムにおいて簡略化されたスーパーセット浮動小数点ユニットを介してハイブリッド精度浮動小数点フォーマット計算を実行するための追加の方法８００が描かれている。機能性８００は、機械上で命令として実行される方法（例えば、コンピュータ実装方法）として実装されてもよく、ここで、命令は、少なくとも１つのコンピュータ可読媒体または１つの非一過性の機械可読記憶媒体上に含まれる。機能性８００は、ブロック８０２で開始されてもよい。

【0094】

ブロック８０４のように、超低精度（「ＶＬＰ」）浮動小数点フォーマット（例えば、メモリ記憶フォーマット）として表される入力オペランドが、特定されてもよい。ＶＬＰ浮動小数点フォーマットとして表される入力オペランドは、ブロック８０６のように、ｓｓＦＰＵのアレイにおいて計算操作を実行する前に、丸め誤差を防止するためにスーパーセット浮動小数点フォーマット（例えば、計算フォーマット）に変換されてもよい。計算操作は、ブロック８０８のように、複数のｓｓＦＰＵのアレイを使用して、スーパーセット浮動小数点フォーマットとして表される入力オペランドに対して実行されてもよい。機能性８００は、ブロック８１０のように、終了してもよい。

【0095】

一態様において、図６～８の少なくとも１つのブロックと関連して、もしくはその一部またはその両方として、６００、７００、もしくは８００またはこれらの組み合わせの動作は、以下の各項目を含んでもよい。

【0096】

６００、７００、もしくは８００またはこれらの組み合わせの動作は、ＦＰ８フォーマットオペランドと制御信号の両方を受信してもよい。６００、７００、もしくは８００またはこれらの組み合わせの動作は、制御信号を分析し、（変換ユニットを使用して）ＦＰ８フォーマットオペランドをデコードしてスーパーセットフォーマットオペランドに変換してもよい。６００、７００、もしくは８００またはこれらの組み合わせの動作は、制御信号を送信せずに、スーパーセットフォーマットのオペランド（たとえば、ＦＰ９オペランド）を１つまたは複数のｓｓＦＰＵに送信してもよい（たとえば、ｓｓＦＰＵがスーパーセットフォーマットを区別および特定することができるので、制御信号は、ｓｓＦＰＵのためにもはや必要でない）。

【0097】

６００、７００、もしくは８００またはこれらの組み合わせの動作は、複数の浮動小数点数フォーマットを、符号ビット、指数ビット（ｅ）、および仮数ビット（ｍ）からなる超低精度（「ＶＬＰ」）フォーマットとして特定し、ＶＬＰは８ビット浮動小数点フォーマット（「ＦＰ８」）であり、スーパーセット浮動小数点フォーマットを単一浮動小数点フォーマットとして特定することができる。スーパーセット浮動小数点フォーマットは、符号ビット、指数ビット（ｅ）、および仮数ビット（ｍ）を含む９ビット浮動小数点フォーマット（「ＦＰ９」）であり、１つまたは複数のｓｓＦＰＵは９ビット浮動小数点ユニットである。

【0098】

６００、７００、もしくは８００またはこれらの組み合わせの動作は、１つまたは複数のｓｓＦＰＵによる計算の前に、複数の８ビット浮動小数点フォーマット（「ＦＰ８」）として表される１つまたは複数の入力をスーパーセット浮動小数点フォーマットに変換することができる。スーパーセット浮動小数点フォーマットは、９ビット浮動小数点フォーマット（「ＦＰ９」）であってもよく、１つまたは複数のｓｓＦＰＵは、９ビット浮動小数点ユニットであってもよい。

【0099】

６００、７００、もしくは８００またはこれらの組み合わせの動作は、複数の浮動小数点数フォーマットをメモリ記憶フォーマットであると判断し、スーパーセット浮動小数点フォーマットを計算フォーマットであると判断することができる。

【0100】

６００、７００、もしくは８００またはこれらの組み合わせの動作は、１つまたは複数のｓｓＦＰＵのアレイのエッジにおいて、複数の８ビット浮動小数点フォーマット（「ＦＰ８」）として表される１つまたは複数の入力をスーパーセット浮動小数点フォーマットに変換し、同時に１つまたは複数のｓｓＦＰＵのアレイを使用してスーパーセット浮動小数点フォーマットとして表される１つまたは複数の入力に計算操作を実行してもよい。

【0101】

６００、７００、もしくは８００またはこれらの組み合わせの動作は、機械学習動作において超低精度（「ＶＬＰ」）機械学習訓練を可能にするために計算操作を実行するために、変換のための複数の浮動小数点数フォーマットをスーパーセット浮動小数点フォーマットへマージしてもよい。

【0102】

６００、７００、もしくは８００またはこれらの組み合わせの動作は、複数の浮動小数点数フォーマットを置き換えるためにスーパーセット浮動小数点フォーマットを選択することによって、計算操作の前に丸め誤差を防止することができる。

【0103】

本発明は、システム、方法もしくはコンピュータプログラム製品またはそれらの組み合せとすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を記憶したコンピュータ可読記憶媒体を含んでよい。

【0104】

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な一例としては、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶装置は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。

【0105】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピュータ装置／処理装置へダウンロード可能である。あるいは、ネットワーク（例えばインターネット、ＬＡＮ、ＷＡＮもしくはワイヤレスネットワークまたはこれらの組み合わせ）を介して、外部コンピュータまたは外部記憶装置へダウンロード可能である。ネットワークは、銅製伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータもしくはエッジサーバまたはこれらの組み合わせを備えることができる。各コンピュータ装置／処理装置内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、各々のコンピュータ装置／処理装置におけるコンピュータ可読記憶媒体に記憶するために転送する。

【0106】

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、または、スモールトークやＣ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードもしくはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、スタンドアロン型ソフトウェアパッケージとして完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または、完全にリモートコンピュータもしくはサーバ上で実行可能である。後者の場合、リモートコンピュータは、ＬＡＮやＷＡＮを含む任意の種類のネットワークを介してユーザのコンピュータに接続してもよいし、外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）接続してもよい。いくつかの実施形態において、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行する目的で当該電子回路をカスタマイズするために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行することができる。

【0107】

本発明の実施形態は、本明細書において、本発明の実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャートもしくはブロック図またはその両方を参照して説明されている。フローチャートもしくはブロック図またはその両方における各ブロック、および、フローチャートもしくはブロック図またはその両方における複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実行可能である。

【0108】

上記のコンピュータ可読プログラム命令は、機械を生産するために、コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供してよい。これにより、かかるコンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行するための手段を創出する。上記のコンピュータ可読プログラム命令はさらに、コンピュータ、プログラマブルデータ処理装置もしくは他の装置またはこれらの組み合わせに対して特定の態様で機能するよう命令可能なコンピュータ可読記憶媒体に記憶してよい。これにより、命令が記憶された当該コンピュータ可読記憶媒体は、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作の態様を実行するための命令を含む製品を構成する。

【0109】

また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブル装置、または他の装置にロードし、一連の動作ステップを当該コンピュータ、他のプログラマブル装置、または他の装置上で実行させることにより、コンピュータ実行プロセスを生成してもよい。これにより、当該コンピュータ、他のプログラマブル装置、または他の装置上で実行される命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行する。

【0110】

本開示の図面におけるフローチャートおよびブロック図は、本発明の種々の実施形態に係るシステム、方法およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示している。この点に関して、フローチャートまたはブロック図における各ブロックは、特定の論理機能を実行するための１つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表すことができる。他の一部の実装形態において、ブロック内に示した機能は、各図に示す順序とは異なる順序で実行してもよい。例えば、連続して示される２つのブロックは、実際には、関係する機能に応じて、同時もしくは略同時に実行してもよいし、または場合により逆順で実行してもよい。なお、ブロック図もしくはフローチャートまたはその両方における各ブロック、および、ブロック図もしくはフローチャートまたはその両方における複数のブロックの組み合わせは、特定の機能または動作を行う、または専用ハードウェアとコンピュータ命令との組み合わせを実行する専用ハードウェアベースのシステムによって、実行可能である。

【0111】

本発明の様々な実施形態の説明は、説明のために提示されたが、網羅的であること、または開示された実施形態に限定されることを意図するものではない。説明した実施形態の範囲から逸脱することなく、多くの修正および変形が当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実用化または技術改善、または当業者が本明細書に開示された実施形態を理解することを可能にするために、最もよく説明するために選択されたものである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】