知財求人 - 知財ポータルサイト「IP Force」
特表2024-538853機械学習のための浮動小数点対数数値表現システムのスケーリングシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-23
(54)【発明の名称】機械学習のための浮動小数点対数数値表現システムのスケーリングシステム
(51)【国際特許分類】
G06N 3/063 20230101AFI20241016BHJP
【ＦＩ】
G06N3/063
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024546045
(86)(22)【出願日】2022-10-11
(85)【翻訳文提出日】2024-05-09
(86)【国際出願番号】 US2022077931
(87)【国際公開番号】W WO2023060287
(87)【国際公開日】2023-04-13
(31)【優先権主張番号】63/254,053
(32)【優先日】2021-10-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＥＲＩＬＯＧ
(71)【出願人】
【識別番号】524134797
【氏名又は名称】カシア・エイアイ・インコーポレーテッド
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(72)【発明者】
【氏名】タンドン，ジェームズ
(57)【要約】
集積回路は、ハードウェアの不正確浮動小数点対数数値表現システム（ｆｌｏａｔｉｎｇ‐ｐｏｉｎｔ ｌｏｇａｒｉｔｈｍｉｃ ｎｕｍｂｅｒ ｓｙｓｔｅｍ：ＦＰＬＮＳ）乗算器を含む。上記集積回路は、それぞれＦＰＬＮＳデータフォーマットである、第１の浮動小数点バイナリ値及びその第１の対数バイナリ値、並びに第２の浮動小数点バイナリ値及びその第２の対数バイナリを内包した、レジスタにアクセスする。上記ＦＰＬＮＳ乗算器は、上記第１の対数バイナリ値を上記第２の対数バイナリ値に加算して、第１の対数和を形成し、上記第１の浮動小数点バイナリ値の仮数のビット数だけバイアス定数をシフトして、第１のシフト済みバイアス値を形成し、上記第１のシフト済みバイアス値から補正係数を減算して、第１の補正済みバイアス値を形成し、上記第１の対数和から上記第１の補正済みバイアス値を減算して、第１の結果を形成する上記第１の浮動小数点バイナリ値と上記第２の浮動小数点バイナリ値とを乗算するように構成される。
【選択図】図４
【選択図】図４
【特許請求の範囲】
【請求項1】
ＦＰＬＮＳ関数を実行するように構成されたハードウェアの不正確浮動小数点対数数値表現システム（ｆｌｏａｔｉｎｇ‐ｐｏｉｎｔ ｌｏｇａｒｉｔｈｍｉｃ ｎｕｍｂｅｒ ｓｙｓｔｅｍ：ＦＰＬＮＳ）乗算器を含む集積回路を備える、システムであって、前記集積回路は：
第１の浮動小数点バイナリ値と、前記第１の浮動小数点バイナリ値の第１の対数バイナリ値とを内包したレジスタにアクセスするように構成され、前記第１の浮動小数点バイナリ値及び前記第１の対数バイナリ値はそれぞれＦＰＬＮＳデータフォーマットであり、前記ＦＰＬＮＳフォーマットの前記第１の浮動小数点バイナリ値は符号ビットと前記符号ビットに続く指数ビットとを含み、前記指数ビットの後には仮数ビットが続き；
第２の浮動小数点バイナリ値と、前記第２の浮動小数点バイナリ値の第２の対数バイナリ値とを内包したレジスタにアクセスするように構成され、前記第２の浮動小数点バイナリ値及び前記第２の対数バイナリ値はそれぞれＦＰＬＮＳデータフォーマットであり、前記第２の浮動小数点バイナリ値は前記ＦＰＬＮＳフォーマットであり；
前記ＦＰＬＮＳ乗算器によって前記第１の浮動小数点バイナリ値と前記第２の浮動小数点バイナリ値とを乗算するように構成され、前記ＦＰＬＮＳ乗算器は：
前記ＦＰＬＮＳ乗算器によって前記第１の対数バイナリ値を前記第２の対数バイナリ値に加算して、第１の対数和を形成し、
前記第１の浮動小数点バイナリ値の仮数のビット数だけバイアス定数をシフトして、第１のシフト済みバイアス値を形成し、
前記第１のシフト済みバイアス値から補正係数を減算して、第１の補正済みバイアス値を形成し、
前記第１の対数和から前記第１の補正済みバイアス値を減算して、第１の結果を形成する
ように、構成され；
前記集積回路は更に、前記第１の結果の真数を取り、前記第１の浮動小数点バイナリ値と前記第２の浮動小数点バイナリ値との乗算の乗算結果を生成するように構成される、システム。
【請求項2】
前記システムはプロセッサを含み、前記プロセッサは：前記第１の浮動小数点バイナリ値を前記第１の対数バイナリ値に変換するように構成され、ここで前記第１の浮動小数点バイナリ値は前記ＦＰＬＮＳフォーマットであり、前記第１の浮動小数点バイナリ値を前記第１の対数バイナリ値に変換するよう構成された前記プロセッサは：
１と前記第１の浮動小数点バイナリ値の仮数とを足した量の、２を底とする対数を決定して、第１の対数量を決定し、
前記第１の対数量を前記第１の浮動小数点バイナリ値の前記指数に加算して、第１の合計を形成し、
前記第１の合計から前記バイアス定数を減算して、前記第１の対数バイナリ値を形成する
ように構成された、前記プロセッサを含み；
前記第２の浮動小数点バイナリ値を前記第２の対数バイナリ値に変換するように構成され、前記第１の浮動小数点バイナリ値は前記ＦＰＬＮＳフォーマットであり、前記第２の浮動小数点バイナリ値を前記第２の対数バイナリ値に変換するよう構成された前記プロセッサは：
１と前記第２の浮動小数点バイナリ値の仮数とを足した量の、２を底とする対数を決定して、第２の対数量を決定し、
前記第２の対数量を前記第２の浮動小数点バイナリ値の前記指数に加算して、第２の合計を形成し、
前記第２の合計から前記バイアス定数を減算して前記第１の対数バイナリ値を形成する
ように構成された、前記プロセッサを含む、請求項１に記載のシステム。
【請求項3】
前記乗算結果は前記ＦＰＬＮＳフォーマットである、請求項１に記載のシステム。
【請求項4】
前記バイアス定数は２(E-1)－１であり、ここでＥは、前記ＦＰＬＮＳフォーマットの前記第１の浮動小数点バイナリ値の前記指数のビット数である、請求項１に記載のシステム。
【請求項5】
前記ＦＰＬＮＳ乗算器は、前記第１の浮動小数点バイナリ値、前記第１の対数バイナリ値、前記第２の浮動小数点バイナリ値、及び前記第２の対数バイナリ値を内包しない１つ以上のレジスタから、前記補正係数を取得する、請求項１に記載のシステム。
【請求項6】
前記補正係数は０．０４～０．０６の範囲内である、請求項１に記載のシステム。
【請求項7】
前記ＦＰＬＮＳフォーマットの前記第１の浮動小数点バイナリ値の前記指数ビットは、前記指数ビットのうち最高位の指数ビットが前記符号ビットに最も近く、最下位の指数ビットが前記仮数ビットに最も近くなるように位置決めされ、前記ＦＰＬＮＳフォーマットの前記第１の浮動小数点バイナリ値の前記仮数ビットは、前記仮数ビットのうち最高位の仮数ビットが前記指数ビットに最も近く、最下位の仮数ビットが前記指数ビットから最も遠くなるように位置決めされる、請求項１に記載のシステム。
【請求項8】
前記ＦＰＬＮＳフォーマットの前記第１の対数バイナリ値の前記指数ビットは、前記指数ビットのうち最高位の指数ビットが前記符号ビットに最も近く、最下位の指数ビットが前記仮数ビットに最も近くなるように位置決めされ、前記ＦＰＬＮＳフォーマットの前記第１の対数バイナリ値の前記仮数ビットは、前記仮数ビットのうち最高位の仮数ビットが前記指数ビットに最も近く、最下位の仮数ビットが前記指数ビットから最も遠くなるように位置決めされる、請求項７に記載のシステム。
【請求項9】
前記ＦＰＬＮＳ乗算器は更に、第３の浮動小数点バイナリ値及び第４の浮動小数点バイナリ値を除算するように構成され、前記第３の浮動小数点バイナリ値及び前記第４の浮動小数点バイナリ値は、前記ＦＰＬＮＳデータフォーマットであり、前記ＦＰＬＮＳ乗算器は、前記第３の浮動小数点バイナリ値及び前記第４の浮動小数点バイナリ値を：前記ＦＰＬＮＳ乗算器によって、前記第３の浮動小数点バイナリ値の第３の対数バイナリ値を、前記第４の浮動小数点バイナリ値の前記第４の対数バイナリ値から減算して、第１の対数差を形成し、
前記バイアス定数を、前記第３の浮動小数点バイナリ値の仮数のビット数だけシフトさせて、第２のシフト済みバイアス値を形成し、
前記補正係数を前記第２のシフト済みバイアス値から減算して、第２の補正済みバイアス値を形成し、
前記第２の補正済みバイアス値を前記第１の対数和に加算して、第２の結果を形成する
ことによって、除算するように構成され；
前記集積回路は更に、前記第２の結果の真数を取得して、前記第３の浮動小数点バイナリ値及び前記第４の浮動小数点バイナリ値の除算の除算結果を生成するように構成される、請求項１に記載のシステム。
【請求項10】
集積回路によってレジスタにアクセスするステップであって、前記レジスタは、第１の浮動小数点バイナリ値と、前記第１の浮動小数点バイナリ値の第１の対数バイナリ値とを内包し、ここで前記第１の浮動小数点バイナリ値及び前記第１の対数バイナリ値はそれぞれＦＰＬＮＳデータフォーマットであり、前記ＦＰＬＮＳフォーマットの前記第１の浮動小数点バイナリ値は符号ビットと前記符号ビットに続く指数ビットを含み、前記指数ビットの後には仮数ビットが続き、前記集積回路は、ＦＰＬＮＳ関数を実行するように構成されたハードウェアの不正確浮動小数点対数数値表現システム（ＦＰＬＮＳ）乗算器を含む、ステップ；前記集積回路によって、第２の浮動小数点バイナリ値と、前記第２の浮動小数点バイナリ値の第２の対数バイナリ値とを内包したレジスタにアクセスするステップであって、ここで前記第２の浮動小数点バイナリ値及び前記第２の対数バイナリ値はそれぞれＦＰＬＮＳデータフォーマットであり、前記第２の浮動小数点バイナリ値は前記ＦＰＬＮＳフォーマットである、ステップ；
前記ＦＰＬＮＳ乗算器によって前記第１の浮動小数点バイナリ値と前記第２の浮動小数点バイナリ値とを乗算するステップであって、前記乗算は：
前記ＦＰＬＮＳ乗算器によって前記第１の対数バイナリ値を前記第２の対数バイナリ値に加算して、第１の対数和を形成するステップ、
前記第１の浮動小数点バイナリ値の仮数のビット数だけバイアス定数をシフトして、第１のシフト済みバイアス値を形成するステップ、
前記第１のシフト済みバイアス値から補正係数を減算して、第１の補正済みバイアス値を形成するステップ、及び
前記第１の対数和から前記第１の補正済みバイアス値を減算して、第１の結果を形成するステップ
を含む、ステップ；並びに
前記第１の結果の真数を取り、前記第１の浮動小数点バイナリ値と前記第２の浮動小数点バイナリ値との乗算の乗算結果を生成するステップ
を含む、方法。
【請求項11】
前記第１の浮動小数点バイナリ値を前記第１の対数バイナリ値に変換するステップであって、ここで前記第１の浮動小数点バイナリ値は前記ＦＰＬＮＳフォーマットであり、前記第１の浮動小数点バイナリ値を前記第１の対数バイナリ値に変換する前記ステップは：１と前記第１の浮動小数点バイナリ値の仮数とを足した量の、２を底とする対数を決定して、第１の対数量を決定するステップ、
前記第１の対数量を前記第１の浮動小数点バイナリ値の前記指数に加算して、第１の合計を形成するステップ、及び
前記第１の合計から前記バイアス定数を減算して、前記第１の対数バイナリ値を形成するステップ
を含む、ステップ、並びに
前記第２の浮動小数点バイナリ値を前記第２の対数バイナリ値に変換するステップであって、前記第１の浮動小数点バイナリ値は前記ＦＰＬＮＳフォーマットであり、前記第２の浮動小数点バイナリ値を前記第２の対数バイナリ値に変換する前記ステップは：
１と前記第２の浮動小数点バイナリ値の仮数とを足した量の、２を底とする対数を決定して、第２の対数量を決定するステップ、
前記第２の対数量を前記第２の浮動小数点バイナリ値の前記指数に加算して、第２の合計を形成するステップ、及び
前記第２の合計から前記バイアス定数を減算して前記第１の対数バイナリ値を形成するステップ
を含む、ステップ
を更に含む、請求項１０に記載の方法。
【請求項12】
前記乗算結果は前記ＦＰＬＮＳフォーマットである、請求項１０に記載の方法。
【請求項13】
前記バイアス定数は２(E-1)－１であり、ここでＥは、前記ＦＰＬＮＳフォーマットの前記第１の浮動小数点バイナリ値の前記指数のビット数である、請求項１０に記載の方法。
【請求項14】
前記ＦＰＬＮＳ乗算器は、前記第１の浮動小数点バイナリ値、前記第１の対数バイナリ値、前記第２の浮動小数点バイナリ値、及び前記第２の対数バイナリ値を内包しない１つ以上のレジスタから、前記補正係数を取得する、請求項１０に記載の方法。
【請求項15】
前記補正係数は０．０４～０．０６の範囲内である、請求項１０に記載の方法。
【請求項16】
前記ＦＰＬＮＳフォーマットの前記第１の浮動小数点バイナリ値の前記指数ビットは、前記指数ビットのうち最高位の指数ビットが前記符号ビットに最も近く、最下位の指数ビットが前記仮数ビットに最も近くなるように位置決めされ、前記ＦＰＬＮＳフォーマットの前記第１の浮動小数点バイナリ値の前記仮数ビットは、前記仮数ビットのうち最高位の仮数ビットが前記指数ビットに最も近く、最下位の仮数ビットが前記指数ビットから最も遠くなるように位置決めされる、請求項１０に記載の方法。
【請求項17】
前記ＦＰＬＮＳフォーマットの前記第１の対数バイナリ値の前記指数ビットは、前記指数ビットのうち最高位の指数ビットが前記符号ビットに最も近く、最下位の指数ビットが前記仮数ビットに最も近くなるように位置決めされ、前記ＦＰＬＮＳフォーマットの前記第１の対数バイナリ値の前記仮数ビットは、前記仮数ビットのうち最高位の仮数ビットが前記指数ビットに最も近く、最下位の仮数ビットが前記指数ビットから最も遠くなるように位置決めされる、請求項１６に記載の方法。
【請求項18】
前記ＦＰＬＮＳ乗算器は更に、第３の浮動小数点バイナリ値及び第４の浮動小数点バイナリ値を除算するように構成され、前記第３の浮動小数点バイナリ値及び前記第４の浮動小数点バイナリ値は、前記ＦＰＬＮＳデータフォーマットであり、前記ＦＰＬＮＳ乗算器は、前記第３の浮動小数点バイナリ値及び前記第４の浮動小数点バイナリ値を：前記ＦＰＬＮＳ乗算器によって、前記第３の浮動小数点バイナリ値の第３の対数バイナリ値を、前記第４の浮動小数点バイナリ値の前記第４の対数バイナリ値から減算して、第１の対数差を形成し、
前記バイアス定数を、前記第３の浮動小数点バイナリ値の仮数のビット数だけシフトさせて、第２のシフト済みバイアス値を形成し、
前記補正係数を前記第２のシフト済みバイアス値から減算して、第２の補正済みバイアス値を形成し、
前記第２の補正済みバイアス値を前記第１の対数和に加算して、第２の結果を形成し；
前記第２の結果の真数を取得して、前記第３の浮動小数点バイナリ値及び前記第４の浮動小数点バイナリ値の除算の除算結果を生成する
ことによって、除算するように構成される、請求項１０に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に記載の実施形態は全体として加速処理に関し、より詳細には、効率的な計算のためにバイアス対数数値表現システムを用いた浮動小数点数値表現フォーマット（ＦＰＬＮＳ）の実装に関する。
【背景技術】
【0002】
現行の機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ：ＭＬ）アクセラレータチップは、積和（ｍｕｌｔｉｐｌｙ‐ａｃｃｕｍｕｌａｔｅ：ＭＡＣ）演算を毎秒数兆回実行し、また活性化関数を毎秒数十億回実行する。このような速度を達成するためには、個々のチップが数百ワットの電力を消費する場合がある。機械学習モデルが複雑になるに従って、機械学習モデルが消費する電力も多くなっている。しかしながら、ＭＬアクセラレータをエッジに移す取り組みが行われており、従って電力消費が制限要因となっている。
【0003】
２０１９年まで、大手企業は自社内のプロセスを最適化する機械学習ソリューションを開発して、１か月あたりのコストを削減していた。それ以来、配信のために機械学習を使用する製品を開発する企業が増えている。深層学習アルゴリズムを活用するために、これらのカスタム製品には、独自の組込み機械学習アクセラレータが必要である。現在このようなアクセラレータとしては、ＮＶｉｄｉａ及びＡＭＤ製のＧＰＵ、並びにＸｉｌｉｎｘ及びＩｎｔｅｌ製のフィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：ＦＰＧＡ）が挙げられる。Ｇｏｏｇｌｅ、ＮＶｉｄｉａ、ＡＲＭ等による新たなＭＬプロセッサも開発されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
これらのＭＬアクセラレータデバイスは、高い性能を実現できるものの、驚くべき電力量を消費するため、扱いにくいものとなっている。適例として、３０００ｍＡ‐ｈｒバッテリを備えた携帯電話で４Ｗ ＴＰＵをフルスピードで動作させると、バッテリは１時間未満で枯渇する。消費電力は性能の低下と引き換えに低減できることが知られているが、より高い計算要求を伴う機械学習アプリケーションは徐々にエッジへと追いやられている。
【課題を解決するための手段】
【0005】
例示的なシステムは、ＦＰＬＮＳ関数を実行するように構成されたハードウェアの不正確浮動小数点対数数値表現システム（ｆｌｏａｔｉｎｇ‐ｐｏｉｎｔ ｌｏｇａｒｉｔｈｍｉｃ ｎｕｍｂｅｒ ｓｙｓｔｅｍ：ＦＰＬＮＳ）乗算器を含む、集積回路を備える。上記集積回路は：第１の浮動小数点バイナリ値と、上記第１の浮動小数点バイナリ値の第１の対数バイナリ値とを内包したレジスタにアクセスするように構成されていてよく、ここで上記第１の浮動小数点バイナリ値及び上記第１の対数バイナリ値はそれぞれＦＰＬＮＳデータフォーマットであり、上記ＦＰＬＮＳフォーマットの上記第１の浮動小数点バイナリ値は符号ビットとそれに続く指数ビットとを含み、上記指数ビットの後には仮数ビットが続き；第２の浮動小数点バイナリ値と、上記第２の浮動小数点バイナリ値の第２の対数バイナリ値とを内包したレジスタにアクセスするように構成されていてよく、ここで上記第２の浮動小数点バイナリ値及び上記第２の対数バイナリ値はそれぞれＦＰＬＮＳデータフォーマットであり、上記第２の浮動小数点バイナリ値は上記ＦＰＬＮＳフォーマットであり；上記ＦＰＬＮＳ乗算器によって上記第１の浮動小数点バイナリ値と上記第２の浮動小数点バイナリ値とを乗算するように構成されていてよく、上記ＦＰＬＮＳ乗算器は：上記ＦＰＬＮＳ乗算器によって上記第１の対数バイナリ値を上記第２の対数バイナリ値に加算して、第１の対数和を形成し；上記第１の浮動小数点バイナリ値の仮数のビット数だけバイアス定数をシフトして、第１のシフト済みバイアス値を形成し；上記第１のシフト済みバイアス値から補正係数を減算して、第１の補正済みバイアス値を形成し；上記第１の対数和から上記第１の補正済みバイアス値を減算して、第１の結果を形成するように、構成される。上記集積回路は更に、上記第１の結果の真数を取り、上記第１の浮動小数点バイナリ値と上記第２の浮動小数点バイナリ値との乗算の乗算結果を生成するように構成される。
【0006】
いくつかの実施形態では、上記システムはプロセッサを含み、上記プロセッサは：上記第１の浮動小数点バイナリ値を上記第１の対数バイナリ値に変換するように構成され、ここで上記第１の浮動小数点バイナリ値は上記ＦＰＬＮＳフォーマットであり、上記第１の浮動小数点バイナリ値を上記第１の対数バイナリ値に変換するよう構成された上記プロセッサは、１と上記第１の浮動小数点バイナリ値の仮数とを足した量の、２を底とする対数を決定して、第１の対数量を決定し、上記第１の対数量を上記第１の浮動小数点バイナリ値の上記指数に加算して第１の合計を形成し、上記第１の合計から上記バイアス定数を減算して上記第１の対数バイナリ値を形成するように構成された、上記プロセッサを含み；また、上記第２の浮動小数点バイナリ値を上記第２の対数バイナリ値に変換するように構成され、ここで上記第１の浮動小数点バイナリ値は上記ＦＰＬＮＳフォーマットであり、上記第２の浮動小数点バイナリ値を上記第２の対数バイナリ値に変換するよう構成された上記プロセッサは、１と上記第２の浮動小数点バイナリ値の仮数とを足した量の、２を底とする対数を決定して、第２の対数量を決定し、上記第２の対数量を上記第２の浮動小数点バイナリ値の上記指数に加算して第２の合計を形成し、上記第２の合計から上記バイアス定数を減算して上記第１の対数バイナリ値を形成するように構成された、上記プロセッサを含む。
【0007】
様々な実施形態において、上記乗算結果は上記ＦＰＬＮＳフォーマットである。上記バイアス定数は２(E-1)－１であってよく、ここでＥは、上記ＦＰＬＮＳフォーマットの上記第１の浮動小数点バイナリ値の上記指数のビット数である。いくつかの実施形態では、上記ＦＰＬＮＳ乗算器は、上記第１の浮動小数点バイナリ値、上記第１の対数バイナリ値、上記第２の浮動小数点バイナリ値、及び上記第２の対数バイナリ値を内包しない１つ以上のレジスタから、上記補正係数を取得する。上記補正係数は０．０４～０．０６の範囲内であってよい。
【0008】
いくつかの実施形態では、上記ＦＰＬＮＳフォーマットの上記第１の浮動小数点バイナリ値の上記指数ビットは、上記指数ビットのうち最高位の指数ビットが上記符号ビットに最も近く、最下位の指数ビットが上記仮数ビットに最も近くなるように位置決めされ、上記ＦＰＬＮＳフォーマットの上記第１の浮動小数点バイナリ値の上記仮数ビットは、上記仮数ビットのうち最高位の仮数ビットが上記指数ビットに最も近く、最下位の仮数ビットが上記指数ビットから最も遠くなるように位置決めされる。同様に、様々な実施形態において、上記ＦＰＬＮＳフォーマットの上記第１の対数バイナリ値の上記指数ビットは、上記指数ビットのうち最高位の指数ビットが上記符号ビットに最も近く、最下位の指数ビットが上記仮数ビットに最も近くなるように位置決めされ、上記ＦＰＬＮＳフォーマットの上記第１の対数バイナリ値の上記仮数ビットは、上記仮数ビットのうち最高位の仮数ビットが上記指数ビットに最も近く、最下位の仮数ビットが上記指数ビットから最も遠くなるように位置決めされる。
【0009】
様々な実施形態において、上記ＦＰＬＮＳ乗算器は更に、第３の浮動小数点バイナリ値及び第４の浮動小数点バイナリ値を除算するように構成され、上記第３の浮動小数点バイナリ値及び上記第４の浮動小数点バイナリ値は、上記ＦＰＬＮＳデータフォーマットであり、上記ＦＰＬＮＳ乗算器は、上記第３の浮動小数点バイナリ値及び上記第４の浮動小数点バイナリ値を：
上記ＦＰＬＮＳ乗算器によって、上記第３の浮動小数点バイナリ値の第３の対数バイナリ値を、上記第４の浮動小数点バイナリ値の上記第４の対数バイナリ値から減算して、第１の対数差を形成し、上記バイアス定数を、上記第３の浮動小数点バイナリ値の仮数のビット数だけシフトさせて、第２のシフト済みバイアス値を形成し、上記補正係数を上記第２のシフト済みバイアス値から減算して、第２の補正済みバイアス値を形成し、上記第２の補正済みバイアス値を上記第１の対数和に加算して、第２の結果を形成することによって、除算するように構成され、上記集積回路は更に、上記第２の結果の真数を取って、上記第３の浮動小数点バイナリ値及び上記第４の浮動小数点バイナリ値の除算の除算結果を生成するように構成される。
上記ＦＰＬＮＳ乗算器によって、上記第３の浮動小数点バイナリ値の第３の対数バイナリ値を、上記第４の浮動小数点バイナリ値の上記第４の対数バイナリ値から減算して、第１の対数差を形成し、上記バイアス定数を、上記第３の浮動小数点バイナリ値の仮数のビット数だけシフトさせて、第２のシフト済みバイアス値を形成し、上記補正係数を上記第２のシフト済みバイアス値から減算して、第２の補正済みバイアス値を形成し、上記第２の補正済みバイアス値を上記第１の対数和に加算して、第２の結果を形成することによって、除算するように構成され、上記集積回路は更に、上記第２の結果の真数を取って、上記第３の浮動小数点バイナリ値及び上記第４の浮動小数点バイナリ値の除算の除算結果を生成するように構成される。
【0010】
ある例示的な方法は：集積回路によってレジスタにアクセスするステップであって、上記レジスタは、第１の浮動小数点バイナリ値と、上記第１の浮動小数点バイナリ値の第１の対数バイナリ値とを内包し、ここで上記第１の浮動小数点バイナリ値及び上記第１の対数バイナリ値はそれぞれＦＰＬＮＳデータフォーマットであり、上記ＦＰＬＮＳフォーマットの上記第１の浮動小数点バイナリ値は符号ビットとそれに続く指数ビットを含み、上記指数ビットの後には仮数ビットが続き、上記集積回路は、ＦＰＬＮＳ関数を実行するように構成されたハードウェアの不正確浮動小数点対数数値表現システム（ＦＰＬＮＳ）乗算器を含む、ステップ；上記集積回路によって、第２の浮動小数点バイナリ値と、上記第２の浮動小数点バイナリ値の第２の対数バイナリ値とを内包したレジスタにアクセスするステップであって、ここで上記第２の浮動小数点バイナリ値及び上記第２の対数バイナリ値はそれぞれＦＰＬＮＳデータフォーマットであり、上記第２の浮動小数点バイナリ値は上記ＦＰＬＮＳフォーマットである、ステップ；上記ＦＰＬＮＳ乗算器によって上記第１の浮動小数点バイナリ値と上記第２の浮動小数点バイナリ値とを乗算するステップを含み、上記乗算するステップは：上記ＦＰＬＮＳ乗算器によって上記第１の対数バイナリ値を上記第２の対数バイナリ値に加算して、第１の対数和を形成するステップ；上記第１の浮動小数点バイナリ値の仮数のビット数だけバイアス定数をシフトして、第１のシフト済みバイアス値を形成するステップ；上記第１のシフト済みバイアス値から補正係数を減算して、第１の補正済みバイアス値を形成するステップ；及び上記第１の対数和から上記第１の補正済みバイアス値を減算して、第１の結果を形成するステップを含み、上記方法は更に、上記第１の結果の真数を取り、上記第１の浮動小数点バイナリ値と上記第２の浮動小数点バイナリ値との乗算の乗算結果を生成する。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
様々な実施形態において、ＭＬ計算のための近似計算算術関数のライブラリは、モデル（例えばＲｅｓＮｅｔ及びＭｏｂｉｌｅＮｅｔＶ１）全体にわたって１％未満の精度損失で、回路の複雑度を大幅に軽減する。いくつかの実施形態は、４５ｎｍにおいて：９０％小さな回路サイズ、６８％少ない電力、及び５５％低いレイテンシーを可能にする。
【0013】
本明細書に記載の近似計算算術アルゴリズムは、例えば乗算、除算、べき乗、対数を実行できる。これらの演算は多くの活性化関数の基礎となり得る。これらの近似計算技法は、プルーニング及び重み圧縮といった、現在導入されている他の多くの一般的に使用されている近似技法と、相乗効果を発揮することもできる。
【0014】
本明細書に記載の様々な実施形態は、浮動小数点数値表現フォーマットとバイアス対数数値表現システムとを組み合わせた数値表現フォーマット（ＦＰＬＮＳ数値表現システム）を利用する。これにより、元の数とその対数との両方を同じビットの組で格納できる。特別なバイアス係数によって平均誤差を最小限に抑えることができ、これによりモデルの精度を最大化できる。ある例では、これによって、従来のように訓練されたモデルを、又はサードパーティによって提供されたモデルさえ、１％未満のモデル精度損失で、ＦＰＬＮＳ計算推論エンジンと共に使用できるようになる。一方、従来のＬＮＳモデルでは、推論中のモデル精度損失は５％以上となる可能性もある。
【0015】
様々な実施形態において、加算／減算の計算における浮動小数点の精度は、従来技術に比べて改善又は最適化される。更に、過去の実装例（例えば相対誤差の大きさが最悪の場合８％となる）に比べて、近似ＦＰＬＮＳ乗算／除算計算の精度が改善される。更に、本明細書に記載のシステム及び方法は、ビット置換、及びｓｏｆｔｍａｘ等の高次活性化関数を可能にする固定小数点加算のみを用いて、不正確対数及びべき乗関数をハードウェアで実行できる。
【0016】
本明細書に記載のＦＰＬＮＳシステムを用いれば、ルックアップテーブル又は区分線形テーブルが不要となることが理解されるだろう。
【0017】
本発明者らがターゲットとする顧客は、エッジ製品での実装のためのＭＬアクセラレータの知的財産（ｉｎｔｅｌｌｅｃｔｕａｌ ｐｒｏｐｅｒｔｙ：ＩＰ）を開発又は展開するシステム・オン・チップ（ｓｙｓｔｅｍ‐ｏｎ‐ｃｈｉｐ：ＳｏＣ）の設計者及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のインテグレータである。ＩＰコアは多くの場合、高速計算のために数百から数千個のＭＡＣコアを含む。
【0018】
また、ｓｏｆｔｍａｘ活性化関数の高速計算も必要とされている。数千のファブレス半導体ＳｏＣ企業と、インテグレーションのためにＦＰＧＡを使用する更に数万の企業とにより、ＭＬアクセラレータは、ＭＬの加速のみに焦点を当てるために繰り返し再実装されてきた。今後数年間で業界が統合されれば、最もパワー及び効率が高いＭＬアクセラレータ企業のみがエッジデバイスで成功することになる。
【0019】
過去の研究により、いくつかの機械学習アルゴリズムが、低い精度を用いた浮動小数点フォーマットに耐えられることが示されている。あらゆる機械学習モデルの中核が多数の積和演算に依存しているため、電力を最適化できる可能性がある。
【0020】
様々な実施形態が、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ‐ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：ＡＳＩＣ）において、ハードウェアレベルで実装されている。いくつかの実施形態では、ソフトウェアで実装された場合にクロックサイクルが減少する。本明細書に記載の機能のうちのいくつかの実施形態は、ＦＰＧＡ及びＡＳＩＣハードウェアの製造者／開発者にライセンス供与されるＩＰコア（例えばＶｅｒｉｌｏｇコア）として実装できる。
【0021】
図１は、ＦＰＬＮＳ乗算器を含む例示的な半導体チップ１０４を示す。本明細書に記載の様々な実施形態は、ハイブリッドな浮動小数点／対数数値表現システム（ＦＰＬＮＳ）乗算器を用いることにより、乗算及びべき乗のハードウェア全体の複雑度を大幅に低減する。このようなデジタルの複雑度の低減は潜在的に、ＭＬモデルの精度の損失を最小限に抑えて性能を向上させながらの、電力消費の大幅な削減につながる可能性がある。
【0022】
この例のチップ１０２及びチップ１０４はいずれも、４５ｎｍで配線された３２ビット乗算器を含む。オリジナルの乗算器はチップ１０２にある。（例えば本明細書に記載の、図３、４に示されているようなＦＰＬＮＳデータ格納フォーマットを利用する）本明細書に記載の実装を伴うＦＰＬＮＳ乗算器は、チップ１０４上にある。ＦＰＬＮＳ乗算器システムがハードウェアに実装されていることにより、チップ１０４はチップ１０２よりも大幅に小さい。
【0023】
図１の例では、チップ１０４はチップ１０２に比べて、４５ｎｍの３２ビット浮動小数点乗算器に関してサイズが９０％削減される。更に、図１のチップ１０４はチップ１０２に比べて、４５ｎｍの３２ビット浮動小数点乗算器に関して電力が６８％削減される。更にチップ１０４はチップ１０２に比べて、４５ｎｍの３２ビット浮動小数点乗算器に関してレイテンシーが５５％低減される。更に図１の例では、チップ１０４上のＦＰＬＮＳ乗算器により、チップ１０４はチップ１０２に比べて、電力に対する性能が６．８５倍向上している。図１の例のチップ１０４のＦＰＬＮＳシステムを利用すれば、チップ１０４はチップ１０２と比較した場合に、面積あたりの性能が１８．６倍となる。
【0024】
更に図１の例では、４５ｎｍのノードの場合にこれらの乗算器を以下のように比較できる：
【0025】
【表1】
【0026】
７ｎｍのノードの場合、ＦＰＬＮＳチップ（例えばチップ１０４）はＢＦ１６標準乗算器に比べて大幅な改善を得ることもできる。これらの乗算器は以下のように比較できる：
【0027】
【表2】
【0028】
いくつかの実施形態は、ハイブリッドな浮動小数点／対数数値表現システム（ＦＰＬＮＳ）を用いることにより、乗算及びべき乗のハードウェア全体の複雑度を大幅に低減する。このようなデジタルの複雑度の低減は、モデルの精度の無視できる程度の損失で性能を向上させながらの、電力消費の大幅な削減につながる可能性がある。あらゆる機械学習モデルの中核が多数の積和演算に依存しているため、効率が改善される。更にチップ１０４は、ＭＬモデルの精度への影響なしに（例えばＲｅｓＮｅｔモデル及びＭｏｂｉｌｅＮｅｔＶ１モデルの両方で証明される１％未満の精度損失で）、チップ１０２に比べて電力、性能、及び面積について利益をもたらす。
【0029】
過去の研究により、いくつかの機械学習アルゴリズムが、低い精度を用いた浮動小数点フォーマットに耐えられることが示されている。あらゆる機械学習モデルの中核が多数の積和演算に依存しているため、電力を最適化できる可能性がある。
【0030】
図２は、いくつかの実施形態における例示的なＦＰＬＮＳシステム２００を示す。ＦＰＬＮＳシステム２００は、集積回路（例えばＦＰＧＡ及び／又はＡＳＩＣ）内に統合されていても、ソフトウェア（例えばＩＰコア）であってもよい。ＦＰＬＮＳシステム２００は、集積回路内に（例えばＦＰＬＮＳ乗算器として）実装されていても、ＩＰコアとして実装されていてもよい。ＦＰＬＮＳシステム２００は、これらの計算を実行する既存のシステムに比べて、電力消費を削減できる。ある例では、集積回路の電力消費は、毎秒４兆回の演算（Ｔｅｒａ Ｏｐｅｒａｔｉｏｎｓ Ｐｅｒ Ｓｅｃｏｎｄ：ＴＯＰＳ）を超える演算回数で３Ｗ未満とすることができる。いくつかの実施形態では、ＦＰＬＮＳスケーリングシステム２００は、ＭＬアクセラレータ及びコンパイラ（例えばＯＯＮＸコンパイラ）であってよく、又はこれらを含んでよい。
【0031】
様々な実施形態において、上記ＦＰＬＮＳシステムは、論理の複雑度及び／又は回路のサイズの削減と引き換えに、乗算及びべき乗の精度を犠牲にする。論理の複雑度の低減は、高い性能での低い電力消費につながる。演算精度が犠牲になるものの、ＭＬモデルの精度損失は１％未満とすることができる。面積、速度、及び電力という指標は、半導体分野におけるコストの重要な決定要因である。浮動小数点数の仮数のビット数が削減されることで乗算の複雑度が二次的に低下するため、精度がより低い浮動小数点フォーマットが使用される傾向がある。ある例では、本明細書に記載のＦＰＬＮＳシステムは、乗算を、平均精度Ｅ＋５ビットの線形複雑度にまで低減できる。
【0032】
図３は、浮動小数点値に関するＦＰＬＮＳフォーマットの例である。同じフォーマットを、浮動小数点値及び対数値に利用してもよい。図４は、固定小数点の２を底とする対数に関する、矢印の位置で基数点が定義されたＦＰＬＮＳフォーマットの例である。
【0033】
図３、４では、「ｓ」は符号ビットを表し、「ｅ」は指数値を表し、「ｍ」は仮数値を表す。ＦＰＬＮＳデータフォーマットは、実数と２を底とする対数とを同じビットに同時に保持する。
【0034】
図３では、このフォーマットの浮動小数点値は、（－１）＾ｓ＊（１＋ｍ／（２＾Ｍ））＊２＾（ｅ－Ｂ）に等しく、従ってｂ＝２＾（Ｅ－１）－１である。符号ビット４１０は１ビットの符号なし整数である。ｅはＥビットの符号なし整数であってよく、ｍはＭビットの符号なし整数であってよい。
【0035】
この例では、このフォーマットはバイアス適用済み符号‐絶対値フォーマットを使用する。このフォーマットで表される固定小数点数について、符号ビット、整数部分（ｅビット、又は図４の指数ビット４２０）、及び小数部分（ｍビット又は仮数ビット４３０）が存在する。これらは互いに重なり合っている。この例では、バイアスの適用（バイアスＢ）は２(E-1)－１に等しい。
【0036】
図４は、対数値に関するＦＰＬＮＳフォーマットの例である。本明細書に記載されているように、対数値及び浮動小数点値のフォーマットは同じフォーマットである。図４では、このフォーマットの対数値はｅ－Ｂ＋（ｍ＋ＭＵ）／（２＾Ｍ）に対応する。基数点はＬＳＢ（ｅ）とＭＳＢ（ｍ）との間である。この例では、このフォーマットはバイアス適用済み符号‐絶対値フォーマットを使用する。このフォーマットで表される固定小数点数について、符号ビット、整数部分（ｅビット、又は図４の指数ビット４５０）、及び小数部分（ｍビット又は仮数ビット４６０）が存在し、基数点がｅビットとｍビットとの間にある。これらは互いに重なり合っている。この例では、バイアスの適用（バイアスＢ）は２(E-1)－１に等しい。Ｅに８ビットがある場合（Ｅ＝８）、これはＢ＝１２７であることを意味する。この例のＭは、固定点フォーマットの小数部分である。これには係数Ｍｕ（即ち補正係数Ｃ）によってバイアスが適用される。この例の補正係数（Ｍｕ）は、（０．０～．９９）の間であってよい。ある例では、Ｍｕは０．０４３等の値である。様々な実施形態において、０＜＝Ｍｕ＜２＾Ｍである（例えばＭは仮数のビット数である）。Ｍｕは変数であっても定数であってもよい。
【0037】
ＦＰＬＮＳシステムはまた、データに対する演算のための算術関数の集合も指定した。
【0038】
様々な実施形態において、ハイブリッド浮動小数点／対数数値表現システム（ＦＰＬＮＳ）は、元のｋビットの浮動小数点数Ｎと、２を底とするその対数Ｌとの両方を、一切の余分な情報を用いずに、同じｋビットのセットで表す。デジタル設計者がある演算においてＬを使用したい場合、設計者はデータに依存しないビット置換演算と、定数バイアス係数Ｂの追加とを考慮できる。一般に使用される浮動小数点フォーマットは片対数フォーマットであるため、浮動小数点数は、ビット置換と、Ｌへの変換のための定数Ｂによる単一の固定小数点加算とを用いることによって、近似対数に変換できる。元の数Ｎの使用は、従来の浮動小数点（ＦＰ）演算を修正することなく使用することによって、達成される。
【0039】
数Ｎと２を底とするその対数Ｌとの両方のハイブリッド表現が確立されると、２つの固定小数点加算演算、及びビット置換：Ｌ１及びＬ２値の１回での加算、及びバイアスＢの第２の加算を使用して、バイアスが適用された対数から乗算及び除算を直接実装できる。べき乗及び対数も、ビット置換演算によって直接計算できる。ＭＬの超越関数は、ニュートン法又はテイラー級数を用いて実装できる。ＦＰＬＮＳを用いることにより、乗算及びべき乗関数の複雑度を１桁低減できる。この近似表現による精度の損失は、ＭＬモデルの精度に最小限しか影響しないため、電力効率が大幅に向上する。
【0040】
対数数値表現システム（ＬＮＳ）を用いた乗算及び除算の複雑度の低減を実証する、多数の公開済みの研究が存在する。ＬＮＳでの乗算は改良されているが、ほとんどの数値アルゴリズムでは、乗算と加算の両方を実行する必要がある。残念なことに、ＬＮＳにおける正確な加算は容易ではない。対数領域と線形領域との間の変換のため、又はより複雑な超越関数の計算のためには、区分線形近似、ルックアップテーブル、又は他のハイブリッドな方法が必要である。本明細書に記載の様々なシステムは、ルックアップテーブル又は区分線形近似を利用しないものとすることができる。
【0041】
本明細書に記載のハイブリッド浮動小数点／対数数値表現システム（ＦＰＬＮＳ）の様々な実施形態は、元のｋビットの浮動小数点数Ｎと、２を底とするその対数Ｌとの両方を、一切の余分な情報を用いずに、同じｋビットのセットで表す。いくつかの実施形態におけるある例示的実装形態では、デジタル設計者がある演算においてＬを使用したい場合、設計者はデータに依存しないビット置換演算と、定数バイアス係数Ｂの追加とを考慮できる。本記載は３２ビットのＩＥＥＥ７５４に基づくものであるが、この表現はいかなるビット長にも拡張できる。一般に使用される浮動小数点フォーマットは片対数フォーマットであるため、これは、ビット置換と、Ｌへの順変換のための定数Ｂによる単一の固定小数点加算とを用いることによって、近似対数に変換できる。元の数Ｎの使用は、従来の半精度又は全精度浮動小数点（ＦＰ）演算を修正することなく使用することによって、達成される。
【0042】
例えば、数Ｎは以下のように表すことができる：
【0043】
ＩＥＥＥ７５４の３２ビットフォーマットでは、Ｅは負ではない８ビットの整数であり、Ｂは定数１２７であり、Ｍは２３ビットの仮数である。２を底とする対数を取ると、Ｌは以下のように表すことができる：
【0044】
【0045】
Ｍは０と１との間の値である。以下の近似：
【0046】
【0047】
のため、これに注意することが重要である。ここで係数Ｃは補正係数（本明細書ではＭｕとも呼ばれる）である。
【0048】
【0049】
様々な実施形態において、誤差を最小限に抑える方法は：最大誤差を最小限に抑えるもの、又は平均誤差を最小限に抑えるものの２つが存在する。最大誤差を最小限に抑えると、Ｌに依存する計算に境界が設定されるが、可能性のある全ての小数値にわたる平均誤差を最小限に抑えると、より良好なＭＬモデル精度結果が提供される。その結果、Ｌは：
【0050】
【0051】
として表すことができる。
【0052】
対数値（符号は無視）の別の例は、
【0053】
【0054】
に対応し得る（Ｅ＋Ｍ＋１）ビットフォーマットで与えられる。Ｅ＝ビット数であり、ｅ＝バイナリの値である。Ｍ＝ビット数であり、ｍ＝バイナリの値である。Ｂはｅ部分に対するバイアスであり、Ｍｕは下部部分に対するバイアスである。Ｅ－Ｂ＋（Ｍ＋Ｍｕ）／（２＾Ｍ）はＭビットだけ右にシフトされている。Ｅビットは第１のレジスタ内にあり、Ｍビットは第２のレジスタ内にある。Ｍを２で除算すると、これはｍビットだけ右にシフトされる。
【0055】
値Ｅ＋Ｍは、Ｎの対数にバイアスを加えて補正係数を引いたものを表すことができる。これは上述の式：
【0056】
【0057】
に従っている。
【0058】
ここでもまた、補正係数「Ｃ」はＭｕである。この近似に基づき、ＬのＦＰＬＮＳバイナリ表現を、図６に示されているような、同じ３２ビットを用いたＩＥＥＥ７５４フォーマットの上に重ねられた固定小数点フォーマットとして定義できる。図６は、固定小数点の２を底とする対数に関する、矢印の位置で基数点が定義されたＦＰＬＮＳフォーマットの例である。バイアス／補正は暗黙の定数である。従って別の観点から見ると、浮動小数点フォーマットは対数に対する演算の方法を提供する。バイアス係数Ｂ及び補正係数Ｃ（いずれも定数）を考慮できることが理解されるだろう。
【0059】
以下のように、近似対数に関する乗算及び除算を定義できるようになる：
【0060】
【0061】
【0062】
このアルゴリズムは、ビット数に関して効果的な線形複雑度を有し得る。必然的に、除算アルゴリズムは以下の等式に関してと同一の方法で定義できる：
【0063】
【0064】
最近の多数の機械学習モデルにとって除算は必須ではないが、ｓｏｆｔｍａｘ及びＲｅＬＵといった活性化関数を定義する際に有用となり得る。
【0065】
ＦＰＬＮＳアーキテクチャモデルは３２ビット浮動小数点に限定されず、浮動小数点フォーマット及び整数フォーマットの両方において任意のレベルの精度へと一般化できる。ここではＦＰ３２浮動小数点に関してＢ、Ｃの値を指定しているが、ＦＰ１６及びＢＦ１６に関して新たな値を導出することもできる。ｉｎｔ‐ｆｌｏａｔ変換を使用すれば、ＩＮＴ８乗算のＦＰＬＮＳ計算が可能である。
【0066】
ＦＰＬＮＳシステム２００は、入力モジュール２０２、加算モジュール２０４、乗算モジュール２０６、除算モジュール２０８、対数モジュール２１０、べき乗モジュール２１２、高次モジュール２１４、及びデータストア２１６を備える。ＦＰＬＮＳシステム２００は、ＦＰＬＮＳ乗算器（例えば図１に示されているような、集積回路に統合されたハードウェアＦＰＬＮＳ乗算器）によって実装できる。いくつかの実施形態ではＦＰＬＮＳシステム２００は、プロセッサ及び／又は乗算器（例えばＦＰＬＮＳ乗算器）等を制御して、本明細書に記載のＦＰＬＮＳ関数のうちのいずれかを実行できる。いくつかの実施形態では、プロセッサは、ＦＰＬＮＳ乗算器がＦＰＬＮＳ関数を実行している又はＦＰＬＮＳ関数の実行を支援している間に、レジスタにアクセスできる。
【0067】
図２に戻ると、ＦＰＬＮＳシステム２００は入力モジュール２０２を含み、これは図３、４に示されているＦＰＬＮＳデータフォーマットを用いてデータを任意に編成又は格納できる。入力モジュール２０２は、（図３に示されているように）指数ビット３２０のうち最高位の指数ビット３２２が符号ビット３１０に最も近く、最下位の指数ビット３２４が仮数ビット３３０に最も近くなるように、指数ビットをサイズ順にソートできる。同様に入力モジュール２０２は、仮数ビットのうち最高位の仮数ビット３３２が指数ビットに最も近く、最下位の仮数ビット３３４が上記指数ビットから最も遠くなるように、仮数ビット３３０をサイズ順にソートできる。
【0068】
同様に、図４を参照すると、入力モジュール２０２は、（図４に示されているように）指数ビット４５０のうち最高位の指数ビット４５２が符号ビット４４０に最も近く、最下位の指数ビット４５４が仮数ビットに最も近くなるように、指数ビットをサイズ順にソートできる。同様に入力モジュール２０２は、仮数ビットのうち最高位の仮数ビット４６２が上記指数ビットに最も近く、最下位の仮数ビット４６４が指数ビットから最も遠くなるように、仮数ビット４６０をサイズ順にソートできる。
【0069】
入力モジュールは、いかなる量のデータを受信してよく、及び／又はいかなる量のデータをＦＰＬＮＳフォーマットに変換してよい。
【0070】
様々な実施形態において、入力モジュール２０２は任意に、（例えばＦＰＬＮＳフォーマットの）浮動小数点バイナリ値を対数バイナリ値に変換できる。例えば入力モジュール２０２は：（１）１と第１の浮動小数点バイナリ値の仮数とを足した量の、２を底とする対数を取って、第１の対数量を決定し、（２）上記第１の対数量を第１の浮動小数点バイナリ値の指数に加算して第１の合計を形成し、（３）上記第１の合計から定数バイアスを減算して対数バイナリ値を形成してよい。ある例では、浮動小数点バイナリ値の対数バイナリ値は
【0071】
【0072】
である。別の例では、入力モジュール２０２は以下：
【0073】
【0074】
によって対数バイナリ値を生成でき、ここでｅ＝バイナリの指数値であり、Ｍ＝仮数のビット数であり、ｍ＝バイナリの仮数値であり、Ｂは定数のバイアス（例えばB=２(E-1)－１ただしＥ＝指数のビット数）であり、ＭＵは補正係数Ｃである。補正係数ＭＵは、用途又は（例えばユーザによって提供される及び／若しくはレジスタから得られる）変数に応じた定数であってよい。ある例では、ＭＵは０．０４３等の値である。ＭＵは０．０～９．９である。いくつかの実施形態では、ＭＵは０．０４～０．０６である。
【0075】
機械学習の場合、精度の程度が必要ない（例えば分類について、ＦＰＬＮＳ ｓｏｆｔｍａｘの平均二乗誤差は０．０００３程度である）ため、大まかな近似を使用できる（例えばニュートン法を使用しない）。いくつかの実施形態では、ｒｅｓｎｅｔ１８について、（ｍｕ＝０．０）は４～６％の損失をもたらす。
【0076】
加算モジュール２０４は、いずれの２つのバイナリ値、又は２つの対数値の加算を実行できる。いくつかの実施形態では、ＦＰＬＮＳシステムは、ＩＥＥＥ７５４の同じ浮動小数点加算演算を共有する。加算及び減算は標準的な浮動小数点加算演算を用いて計算できるため、精度の損失はない。ＭＬモデルに対する影響において加算の精度が乗算の精度よりも重要であることが示されているため、これは利点である。
【0077】
ＩＥＥＥ７５４浮動小数点（ＦＰ）とＦＰＬＮＳとは、同様の加算演算を共有している。また、同一の例外フラグ：ｎａｎ（非数値）、ｉｎｆ（無限大）、ｏｖ（オーバーフロー）、ｕｆ（アンダーフロー）、ｚｅ（ゼロ）も使用される。
【0078】
乗算モジュール２０６は、２つのバイナリ値又は２つの対数値の乗算を実行できる（乗算関数は、本明細書ではｆｐｌｎｓ ｍｕｌｔ（第１の値、第２の値）と呼ばれる）。乗算モジュール２０６は乗算関数（本明細書ではｆｐｌｎｓ ｍｕｌｔ（値１、値２）と呼ばれる）を管理する。ある例では、浮動小数点の数値ａ、ｂ、及び対応するＦＰＬＮＳフォーマットの対数Ｌ（ｘ）及びＬ（ｙ）を考えると：
ｐ＝ｘ＊ｙ ［実際の乗算］
Ｌ（ｐ）＝Ｌ（ｘ）＋Ｌ（ｙ）－（Ｂ＜＜Ｍ）＋ＭＵ ［ｆｐｌｎｓ ｍｕｌ（ｘ，ｙ）］
となる。
ｐ＝ｘ＊ｙ ［実際の乗算］
Ｌ（ｐ）＝Ｌ（ｘ）＋Ｌ（ｙ）－（Ｂ＜＜Ｍ）＋ＭＵ ［ｆｐｌｎｓ ｍｕｌ（ｘ，ｙ）］
となる。
【0079】
この例では符号ビットが脱落し、これらは固定小数点加算／減算演算である。（Ｂ＜＜Ｍ）は定数であり、ＭＵは変数であっても定数であってもよい。なお、Ｌ（ｘ）及びＬ（ｙ）のバイアスが適用された形態は、計算を必要としない。
【0080】
定数のＭＵ及び変数のＭＵを用いた、最適化された実装形態が存在し得る。いくつかの実施形態では、乗算モジュール２０６は、加算／減算の可換性及び結合性を用いて、等価回路を見つけることができる。
【0081】
いくつかの実施形態では、符号ビットｐ．ｓ＝ＸＯＲ（ｘ．ｓ，ｙ．ｓ）（即ちｘ及びｙからの符号ビットの排他的論理和）である。
【0082】
本明細書に記載されているように、いくつかの実施形態では符号ビットが脱落し、乗算モジュール２０６は固定小数点加算／減算演算を利用する。図７Ａは、補正係数ＭＵが定数である場合の、ＦＰＬＮＳプロセスを用いた２つの対数バイナリ値の乗算のフローチャートを示す。図７Ｂは、補正係数ＭＵが変数である場合の、ＦＰＬＮＳプロセスを用いた２つの対数バイナリ値の乗算のフローチャートを示す。いくつかの実施形態では、Ｌ（ｘ）及びＬ（ｙ）のバイアスが適用された形態は、計算を全く又はほとんど必要としない。
【0083】
ＭＵが定数である場合、ＭＵの定数は符号化されているか、又は実行されるプロセスに基づいていてよい（例えばｓｏｆｔｍａｘ関数のための特定のＭＵと、異なる関数のための別のＭＵ）ことが理解されるだろう。ＭＵが変数である場合、乗算モジュール２０６はレジスタからＭＵを取得してよい（例えば、第１のレジスタは乗算される第１の対数バイナリ値を保持してよく、第２のレジスタは乗算される第２の対数バイナリ値を保持してよく、第３のレジスタはＭＵを表す値を保持してよい）。いくつかの実施形態では、使用されるＭＵをユーザが（例えばコードによって又はインタフェース内で）提供してもよい。
【0084】
図７Ａでは、第１の対数バイナリ値Ｌ（ｘ）を第２の対数バイナリ値Ｌ（ｙ）に加算する。上で定義されているような定数のバイアスであるＢは、仮数（例えば乗算される第１及び／又は第２の浮動小数点バイナリ値の仮数）のビット数だけシフトされる。シフトの後、定数のＭＵを定数のバイアスＢから減算して、補正済みバイアス値を生成する。補正済みバイアス値を、第１の対数バイナリ値Ｌ（ｘ）と第２の対数バイナリ値Ｌ（ｙ）との和から減算することにより、Ｌ（Ｚ）が生成される（即ちＬ（Ｚ）の真数が上記２つのバイナリ値の積を生成することになる）。
【0085】
図７Ｂでは、第１の対数バイナリ値Ｌ（ｘ）を第２の対数バイナリ値Ｌ（ｙ）に加算する。上で定義されているような定数のバイアスであるＢは、仮数（例えば乗算される第１及び／又は第２の浮動小数点バイナリ値の仮数）のビット数だけシフトされる。シフトの後、変数のＭＵを定数のバイアスＢから減算して、補正済みバイアス値を生成する。この例では、変数のＭＵはメモリレジスタから取得できる。補正済みバイアス値を、第１の対数バイナリ値Ｌ（ｘ）と第２の対数バイナリ値Ｌ（ｙ）との和から減算することにより、Ｌ（Ｚ）が生成される（即ちＬ（Ｚ）の真数が上記２つのバイナリ値の積を生成することになる）。
【0086】
いくつかの実施形態では、乗算モジュール２０６は、加算／減算の可換性及び／又は結合性を用いて、等価回路を見つけることができる。
【0087】
いくつかの実施形態では、除算モジュール２０８は除算を実行できる（除算関数は本明細書ではｆｐｌｎｓ ｄｉｖ（値１、値２）と呼ばれる）。ここでもまた、除算モジュール２０８は対数表現を用いる。浮動小数点の数値ａ、ｂ、及び対応するＦＰＬＮＳフォーマットの対数Ｌ（ｘ）及びＬ（ｙ）を考えると、ｑ＝ｘ／ｙ（実際の除算）及びＬ（ｑ）＝Ｌ（ｘ）－Ｌ（ｙ）＋（Ｂ＜＜Ｍ）－ＭＵとなる。
【0088】
様々な実施形態において、符号ビットが脱落し、これらは固定小数点加算／減算演算である。バイアス係数Ｂは定数である（即ち、浮動小数点バイナリ値の仮数のビット数に基づいてシフトされたＢ＜＜Ｍ又はＢは常に定数である）。ＭＵは、乗算モジュール２０６に関して説明したように、変数であっても定数であってもよい。本明細書に記載されているように、Ｌ（ｘ）及びＬ（ｙ）のバイアスが適用された形態は、計算を全く又はほとんど必要としない。
【0089】
図８Ａは、補正係数ＭＵが定数である場合の、ＦＰＬＮＳプロセスを用いた２つの対数バイナリ値の除算のフローチャートを示す。図８Ａでは、第１の対数バイナリ値Ｌ（ｘ）を第２の対数バイナリ値Ｌ（ｙ）から減算する。上で定義されているような定数のバイアスであるＢは、仮数（例えば除算される第１及び／又は第２の浮動小数点バイナリ値の仮数）のビット数だけシフトされる。シフトの後、定数のＭＵを定数のバイアスＢから減算して、補正済みバイアス値を生成する。補正済みバイアス値を、第１の対数バイナリ値Ｌ（ｘ）と第２の対数バイナリ値Ｌ（ｙ）との差に加算することにより、Ｌ（Ｚ）が生成される（即ちＬ（Ｚ）の真数が上記２つのバイナリ値の商となる）。
【0090】
図８Ｂは、補正係数ＭＵが変数である場合の、ＦＰＬＮＳプロセスを用いた２つの対数バイナリ値の除算のフローチャートを示す。図８Ｂでは、第１の対数バイナリ値Ｌ（ｘ）を第２の対数バイナリ値Ｌ（ｙ）から減算する。上で定義されているような定数のバイアスであるＢは、仮数（例えば除算される第１及び／又は第２の浮動小数点バイナリ値の仮数）のビット数だけシフトされる。シフトの後、変数のＭＵを定数のバイアスＢから減算して、補正済みバイアス値を生成する。この例では、変数のＭＵはメモリレジスタから取得できる。補正済みバイアス値を、第１の対数バイナリ値Ｌ（ｘ）と第２の対数バイナリ値Ｌ（ｙ）との差に加算することにより、Ｌ（Ｚ）が生成される（即ちＬ（Ｚ）の真数が上記２つのバイナリ値の商となる）。
【0091】
いくつかの実施形態では、除算モジュール２０８は、加算／減算の可換性及び／又は結合性を用いて、等価回路を見つけることができる。
【0092】
対数モジュール２１０は、バイアスが適用された固定小数点数を浮動小数点数に変換する。ある例（本明細書でｆｐｌｎｓ ｌｏｇ２（変数）と呼ばれる関数）では、ＦＰＬＮＳフォーマットの値ｘ及びＬ（ｘ）を考えると、この例のＬ（ｘ）は、符号ビットを伴う、バイアスが適用された３１ビットの固定小数点数である（符号ビットはこの３１ビット値の一部ではない）。次のステップでは、対数モジュール２１０は符号ビットを脱落させ、従って｜Ｌ（ｖ）｜（即ちＬ（ｖ）の絶対値）は３１ビットの数である。変数ｕは、ｕ＝｜Ｌ（ｖ）｜－（（Ｂ＜＜Ｍ）－ＭＵ）として定義される。第２のステップでは、ｕが浮動小数点フォーマットに変換され、ここではｕは符号ビットｓと｜ｕ｜とに変換され、その後、（例えば従来技術で見ることができるプライオリティエンコーダ及び加算器を用いて）符号ビットｓを有する浮動小数点フォーマットへと正規化される。
【0093】
いくつかの実施形態では、対数モジュール２１０は、加算／減算の可換性及び／又は結合性を用いて、等価回路を見つけることができる。
【0094】
いくつかの実施形態では、対数モジュール２１０は、Ｃを底とする対数への変換を実行できる。変数Ｃを考えると、Ｋは以下のように定義される：
Ｋ＝ｆｐｎｌｓ ｌｏｇ２（Ｃ）（バイアスが適用された固定小数点数の、対数モジュール２１０での変換に関して、上で使用された方法）
定数Ｃについて、浮動小数点でＫ＝Ｌｏｇ（２）である。
Ｋ＝ｆｐｎｌｓ ｌｏｇ２（Ｃ）（バイアスが適用された固定小数点数の、対数モジュール２１０での変換に関して、上で使用された方法）
定数Ｃについて、浮動小数点でＫ＝Ｌｏｇ（２）である。
【0095】
入力値ｖとｕ＝ｆｐｌｎｓ ｌｏｇ２（ｖ）を考え、ｆｐｌｎｓ ｌｏｇＣ（ｘ）＝ｆｐｌｎｓ ｄｉｖ（ｕ，Ｋ）であると仮定する。ここでｆｐｌｎｓ ｄｉｖ（ｕ，Ｋ）は、図８Ａ、８Ｂのフローチャートに示されているプロセスに続く、ｕ及びＫの除算のプロセスを指す。
【0096】
図９Ａは、いくつかの実施形態における、Ｃを底とするＦＰＬＮＳ対数の例示的なプロセスを示す。図９Ｂは、いくつかの実施形態における、Ｃを底とするＦＰＬＮＳ対数の別の例示的なプロセスを示す。これらのフローチャートは、ｆｐｌｎｓ ｌｏｇＣ（ｘ）＝ｆｐｌｎｓ ｄｉｖ（ｕ，Ｋ）であることを考慮すれば等価であることが理解されるだろう。
【0097】
図９Ａでは、対数モジュール２１０は（ｘ）のｆｐｌｎｓ ｌｏｇ２を取る（ｆｐｌｎｓ ｌｏｇ２（数値）に関しては上を参照）。続いて、ｆｐｌｎｓ ｌｏｇ２をＫで除算して、ｚを出力する。本明細書に記載されているように、ＦＰＬＮＳフォーマットの値ｘ及びＬ（ｘ）を考えると、この例のＬ（ｘ）は、符号ビットを伴う、バイアスが適用された３１ビットの固定小数点数である（符号ビットはこの３１ビット値の一部ではない）。次のステップでは、対数モジュール２１０は符号ビットを脱落させ、従って｜Ｌ（ｖ）｜（即ちＬ（ｖ）の絶対値）は３１ビットの数である。変数ｕは、ｕ＝｜Ｌ（ｖ）｜－（（Ｂ＜＜Ｍ）－ＭＵ）として定義される。第２のステップでは、ｕが浮動小数点フォーマットに変換され、ここではｕは符号ビットｓと｜ｕ｜とに変換され、その後、（例えば従来技術で見ることができるプライオリティエンコーダ及び加算器を用いて）符号ビットｓを有する浮動小数点フォーマットへと正規化される。除算モジュール２０８はｆｐｌｎｓ ｌｏｇ２（ｘ）の出力をＫで除算する（例えばＫは、レジスタから取得できる）。
【0098】
図８Ａに示されているように、第１の対数バイナリ値Ｌ（ｘ）を第２の対数バイナリ値Ｌ（Ｋ）から減算する。上で定義されているような定数のバイアスであるＢは、仮数（例えば除算される第１及び／又は第２の浮動小数点バイナリ値の仮数）のビット数だけシフトされる。シフトの後、定数のＭＵを定数のバイアスＢから減算して、補正済みバイアス値を生成する。補正済みバイアス値を、第１の対数バイナリ値Ｌ（ｘ）と第２の対数バイナリ値Ｌ（ｙ）との差に加算することにより、Ｌ（Ｚ）（即ち上記２つのバイナリ値の商）が生成される。Ｃが変数である場合は、図８Ｂに示されているフローチャートに従うことができる。
【0099】
図９Ｂは図９Ａと等価のプロセスであり、ここでｆｐｌｎｓ ｌｏｇＣ（ｘ）＝ｆｐｌｎｓ ｄｉｖ（ｕ，Ｋ）である。図９Ｂでは、対数モジュール２１０は図９Ａに関して説明されている方法と同様にして、（ｘ）のｆｐｌｎｓ ｌｏｇ２を取る。続いて、ｆｐｌｎｓ ｌｏｇ２をｆｐｌｎｓ ｌｏｇ２（Ｃ）で除算して、ｚを出力する。本明細書に記載されているように、ＦＰＬＮＳフォーマットの値Ｃ及びＬ（Ｃ）を考えると、この例のＬ（Ｃ）は、符号ビットを伴う、バイアスが適用された３１ビットの固定小数点数である（符号ビットはこの３１ビット値の一部ではない）。次のステップでは、対数モジュール２１０は符号ビットを脱落させ、従って｜Ｌ（Ｃ）｜（即ちＬ（Ｃ）の絶対値）は３１ビットの数である。変数ｕは、ｕ＝｜Ｌ（Ｃ）｜－（（Ｂ＜＜Ｍ）－ＭＵ）として定義される。第２のステップでは、ｕが浮動小数点フォーマットに変換され、ここではＵは符号ビットと｜ｕ｜とに変換され、その後、（例えば従来技術で見ることができるプライオリティエンコーダ及び加算器を用いて）符号ビットを有する浮動小数点フォーマットへと正規化される。除算モジュール２０８はｆｐｌｎｓ ｌｏｇ２（ｘ）の出力をｆｐｌｎｓ ｌｏｇ２（Ｃ）で除算する（例えばＣは、レジスタから取得できる）。
【0100】
２を底とする対数及び２を底とする指数は、固定小数点から浮動小数点への、又はその逆の変換によって計算できる。いくつかの実施形態では、変換は、バイアス／補正を考慮し、バレルシフタを伴うプライオリティエンコーダを用いて達成できる。
【0101】
べき乗モジュール２１２はべき乗を実行する。ある例では、べき乗モジュール２１２は２を底とするべき乗（ｆｐｌｎｓ ｅｘｐ２（数値））を実行する。２を底とするべき乗の関数は、浮動小数点数の、バイアスが適用された固定小数点数への変換である。補正係数ＭＵは変数であっても定数であってもよい。
【0102】
ＦＰＬＮＳフォーマットのｖ及びＬ（ｖ）を考えると、べき乗モジュール２１２はｘを、符号ｓ、指数ｅ、及び仮数ｍに分割する。仮数は、ｍは小数０．ｍ＋（Ｍ‐１）…ｍ＿０であり、従ってｍ＿ｉはビットｉとなる。仮数ｍ’＝１＋ｍであり、ＳＨＡＭＴ＝ｅ－Ｂである。ｓ＝＝０の場合（ｓビット＝＝０の場合）、最終的な値はｍ’＜＜ＳＨＡＭＴ）－ＭＵ）であり、ｓ＝＝１の場合、最終的な値はｆｐｌｎｓ ｄｉｖ（１，（（ｍ’＜＜ＳＨＡＭＴ）－ＭＵ））である。ＳＨＡＭＴ＜０の場合、左へのシフト（＜＜）は右へのシフト（＞＞）となる。
【0103】
図１０は、いくつかの実施形態におけるべき乗プロセス１０００を示す。ｘを考えると、べき乗モジュール２１２は任意に、符号ビット、ｍ’、及びｅをｘのｆｐＬＮＳフォーマットから分割できる。べき乗モジュール２１２はｆｐｌｎｓ格納フォーマットに格納された情報に基づいてこの情報を取得できる（そしてｍ’を計算できる）ため、このプロセスは任意である。べき乗モジュール２１２は指数ｅとバイアスＢとの差を取ることができる（例えばここでＢは定数である）。指数ｅとバイアスＢとの差に基づいて、値ｍ’がシフトされる。
【0104】
べき乗モジュール２１２は、仮数のビットに基づいてＢをシフトし、補正係数Ｍｕの差を取った後、結果をシフトされた値ｍ’に加算することにより、第１のべき乗値を形成できる。
【0105】
ｓビットが０以上である場合、上記べき乗値がｚとして出力される。
【0106】
ｓビットが０以上ではない場合、除算モジュール２０８は（１、第１のべき乗値）の除算を実行し、ｚとして出力できる。
【0107】
平方根モジュール２１４は平方根関数を実行できる。ある例では、（ｘ）のｆｐｌｎｓ平方根関数＝ｆｐｌｎｓ ｅｘｐ２（ｆｐｌｎｓ ｍｕｌｔ（０．５，ｆｐｌｎｓ ｌｏｇ２（ｘ）））である。同様に、（ｘ）のｆｐｌｎｓ平方根関数＝ｆｐｌｎｓ ｅｘｐ２（ｆｌｏａｔ（Ｌ（ｘ）＞＞１））である。０．５は定数であってよい。Ｌ（ｘ）は、バイアスが適用されていない２を底とする固定小数点対数である。１だけ右にシフトすることは、整数を２で除算することと同じである。いくつかの実施形態では、ｆｐｌｎｓ演算を、標準的な浮動小数点演算に部分的に置き換えることができる。ｆｌｏａｔ（ｙ）は、固定小数点値ｙを浮動小数点に変換する。
【0108】
平方根モジュール２１４はまた、Ｎ乗根関数を実行してもよい。例えばｆｐｌｎｓ ｒｏｏｔ（ｘ）＝ｆｐｌｎｓ ｅｘｐ２（ｆｐｌｎｓ ｍｕｌ（１／ｎ，ｆｐｌｎｓ ｌｏｇ２（ｘ）））であるか、又はｆｐｌｎｓ ｒｏｏｔ（ｘ）＝ｆｐｌｎｓ ｅｘｐ２（ｆｐｌｎｓ ｄｉｖ（ｆｐｌｎｓ ｌｏｇ２（ｘ），ｎ）である。１／ｎは定数であってよい。いくつかの実施形態では、変数ｎ乗根について、１／ｎをｆｐｌｎｓ ｄｉｖ（１，ｎ）に置き換えることができる。
【0109】
いくつかの実施形態では、ＭＵに関してＦ（ｘ，ＭＵ）を最小化することによるｌｏｇ２（１＋ｘ）近似により、平均誤差を最小化できる。例えば：
【0110】
【0111】
である。
【0112】
更に、ｌｏｇ２（１＋ｘ）近似による最大誤差は、ＭＵを計算することにより最小化することができる。例えば：
【0113】
【0114】
である。
【0115】
ＦＰＬＮＳシステムは多くの場合に使用できる。高次モジュール２１４は他のモジュールと連携して、高次関数を実行できる。例えば高次モジュール２１４は、以下のような深層学習の原始関数に利用できる：
ＦＰＬＮＳ ２Ｄ畳み込み
ＦＰＬＮＳバッチ正規化
ＦＰＬＮＳ行列乗算
ＦＰＬＮＳシグモイド
ＦＰＬＮＳ平均プーリング
ＦＰＬＮＳ Ｓｏｆｔｍａｘ
ＦＰＬＮＳ ２Ｄ畳み込み
ＦＰＬＮＳバッチ正規化
ＦＰＬＮＳ行列乗算
ＦＰＬＮＳシグモイド
ＦＰＬＮＳ平均プーリング
ＦＰＬＮＳ Ｓｏｆｔｍａｘ
【0116】
本明細書に記載の関数（例えばｆｐｌｎｓ ｍｕｌｔ、ｆｐｌｎｓ ｄｉｖ等）を用いて高次モジュール２１４が実行できる他の関数としては、限定するものではないが、ｓｏｆｔｐｌｕｓ、ガウス、ガウス誤差線形ユニット（Ｇｕａｓｓｉａｎ ｅｒｒｏｒ ｌｉｎｅａｒ ｕｎｉｔ：ＧＥＬＵ）、スケーリングされた指数関数的線形ユニット（ｓｃａｌｅｄ ｅｘｐｏｎｅｎｔｉａｌ ｌｉｎｅａｒ ｕｎｉｔ：ＳＥＬＵ）、漏洩正規化線形ユニット（ｌｅａｋｙ ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ：Ｌｅａｋｙ ＲｅＬＵ）、パラメトリック正規化線形ユニット（Ｐａｒａｍｅｔｒｉｃ ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ：ＰｒｅＬＵ）、シグモイド線形ユニット（ｓｉｇｍｏｉｄ ｌｉｎｅａｒ ｕｎｉｔ：ＳｉＬＵ、シグモイド収縮、ＳｉＬ、又はＳｗｉｓｈ‐１）、Ｍｉｓｈ、ｅｒｆ（ｘ）、双曲線余弦、双曲線正弦、双曲線正接、連続微分可能な指数関数的線形ユニット（ｃｏｎｔｉｎｕｏｕｓｌｙ ｄｉｆｆｅｒｅｎｔｉａｂｌｅ ｅｘｐｏｎｅｎｔｉａｌ ｌｉｎｅａｒ ｕｎｉｔ：ＣＥＬＵ）、指数関数的線形ユニット（Ｅｘｐｏｎｅｎｔｉａｌ Ｌｉｎｅａｒ Ｕｎｉｔ：ＥＬＵ）、ハードシグモイド、Ｈａｒｄ Ｓｗｉｓｈ、対数ｓｏｆｔｍａｘ、及びｓｏｆｔｓｉｇｎが挙げられる。
【0117】
高次モジュール２１４は、ステートマシンとして高次関数を実装してよく、又はプロセスをパイプライン化してもよい。いくつかの実施形態では、高次モジュール２１４は、１つ以上の関数の実行において、テイラー展開又はニュートン法を利用できる。
【0118】
本明細書に記載のｆｐｌｎｓ関数のうちの１つ以上を、いずれの個数の異なる関数又はプロセスにおいて利用してよい。いくつかの実施形態では、ｆｐｌｎｓ関数を、（例えば必要に応じてアンサンブルアプローチで）正確な関数と共に利用してよい。しかしながらｆｐｌｎｓ関数は、正確な関数、又はｆｐｌｎｓ関数と正確な関数との組み合わせに比べて、電力を削減しながら多くのタスクを高速で実行できる。
【0119】
例えば画像処理は、従来技術に比べて速度、スケーリング、及び電力効率を改善するためにｆｐｌｎｓ関数を利用でき、これにより既存の技術的ソリューションの技術的欠点が改善される。
【0120】
データストア２１６は、関数を保持できるいずれの個数のデータ構造を含んでよい。様々な実施形態において、本明細書に記載の関数は、集積回路内のハードウェアで（例えばｆｐｌｎｓ乗算器を用いて）、及び／又はＩＰコアを用いて実装される。
【0121】
図１１は、いくつかの実施形態における、ｆｐｌｎｓ関数を利用した分類の例示的なプロセス１１００を示す。図１１では、画像１１０２のセットを受信できる。ある例では、画像１１０２は、再構成済み米国標準技術研究所（Ｍｏｄｉｆｉｅｄ Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ：ＭＮＩＳＴ）データベースからの、ＭＮＩＳＴデータベース画像セットである。ＭＮＩＳＴは、０から９までの手書きの数字の大規模なデータベースであり、様々な画像処理システムの訓練に一般的に使用されている。
【0122】
速度、スケーリング、及び電力の相当な改善のために（特に乗算関数を実行しなければならない回数を考慮する際に）、本明細書に記載されているようなｆｐｌｎｓ ｍｕｌｔ関数（即ちｆｐｌｎｓ乗算）を用いて、行列乗算を実行できる。
【0123】
この例では、２８×２８の画像を取り込み、７８４個の１次元配列に変換する。
【0124】
この単純な例では、ステップ１１１０において、７８４個の１次元配列に７８４×１６の重み付け行列１１０８を乗算することにより、１６個の値のベクトル１１１２を生成する。
【0125】
ステップ１１１６では、１６個の値のベクトル１１１２に１６×１６の重み付け行列１１１４を乗算することにより、１６個の値のベクトル１１１８を生成する。
【0126】
ステップ１１２２では同様に、１６個の値のベクトル１１１８に１６×１０の重み付け行列１１２０を乗算することにより、１０個の値のベクトル１１２４を生成する。
【0127】
本明細書に記載されているように、（例えばステップ１１１０、１１１６、１１２２における）行列乗算関数はそれぞれ、ｆｐｌｎｓ乗算関数を利用してよい。
【0128】
活性化関数１１２６を１０個の値のベクトル１１２４に対して実行することにより、画像１１０４の分類に使用できるパーセンテージのベクトルが作成される。乗算関数の例としては、シグモイド関数又はｓｏｆｔｍａｘ関数が挙げられる。
【0129】
シグモイド関数は、以下のようなものであってよい：
【0130】
【0131】
様々な実施形態において、ｆｐｌｎｓべき乗関数を分母に利用してよい。更に、ｆｐｌｎｓ除算関数を利用してもよい。あるいは、ｆｐｌｎｓ関数と正確な関数とを任意に組み合わせてよい。例えばｆｐｌｎｓべき乗関数を、正確な除算関数と共に使用してよい。別の例では、ｆｐｌｎｓ除算関数を、正確なべき乗及び／又は加算関数と共に利用してよい。
【0132】
ｓｏｆｔｍａｘ関数は、以下のようなものであってよい：
【0133】
【0134】
様々な実施形態において、ｆｐｌｎｓべき乗関数を分母及び分子に利用してよい。更に、ｆｐｌｎｓ除算関数を利用してもよい。あるいは、ｆｐｌｎｓ関数と正確な関数とを任意に組み合わせてよい。例えばｆｐｌｎｓべき乗関数を、正確なべき乗関数と共に使用してよい。別の例では、ｆｐｌｎｓべき乗関数を、正確な除算及び／又は加算関数と共に利用してよい。あるいはｆｐｌｎｓ除算関数を正確なべき乗関数と共に利用してよい。
【0135】
ｆｐｌｎｓ関数により、速度、スケーリング、電力、及び効率を大幅に改善できる。ｆｐｌｎｓ関数は、多様な高レベルの関数もサポートする。
【0136】
基本的なＦＰＬＮＳ算術プリミティブの精度はかなりの不正確さを示す場合があるものの、いくつかのモデルに対する正味の影響は以下のように最小限である：
【0137】
【表3】
【0138】
この例では、乗算、除算、逆平方根、及びべき乗のための近似ＦＰＬＮＳプリミティブを用いて、４つのモデルが実装されている。初期テストモデルとして使用される全結合モデルは、シグモイド活性化関数を使用する３レベルのネットワークである。これらのモデルは、最大２００エポックにわたって、正確な演算を使用して従来の方法で訓練された。続いてこれらのモデルを、標準的な深層学習プリミティブ層及びＦＰＬＮＳ深層学習プリミティブ層の両方を用いて、推論に関して試験した。計算アルゴリズムのみを変更した。重みの量子化及びモデルのアーキテクチャは修正されなかった。結果は、ＦＰＬＮＳ演算の精度損失が試験された全てのモデルにわたって１％未満であり、明らかに競争力を有することを実証している。これは、ＲｅｓＮｅｔ５０で精度損失が１．５％である８ビット量子化よりも優れている。
【0139】
整数量子化：最初にある整数を浮動小数点に変換する場合、ＦＰＬＮＳ技法を用いて、ＩＮＴ８乗算又は活性化関数を加速できる。いくつかの実施形態では、本明細書に記載のＦＰＬＮＳシステム及び方法は、複数の層にわたる精度の組み合わせを使用するＭＬモデルに利用できる。
【0140】
重みプルーニング／クラスタリング：ゼロの重みを計算からプルーニングできる。また、同一の値に近い複数の重みのクラスタを組み合わせ、これをハフマンテーブルに格納することもできる。重みプルーニング技法及びクラスタリング技法はいずれも、マクロレベルの近似モデル計算のための方法であり、いずれの方法も、ＦＰＬＮＳ計算と併用することにより、プルーニング／クラスタリング単独で達成される消費電力より更に低い消費電力を達成できる。ＦＰＬＮＳは、プルーニング／クラスタリングと相互に排他的ではない。
【0141】
図１２は、本明細書に記載のタスクを実行するための命令を実行できるデジタルデバイスを示すブロック図である。デジタルデバイスは、メモリ及びプロセッサを備えるいずれのデバイスである。具体的には、図１２は、例示的なコンピュータシステム１２００の形態のマシンの模式図を示し、本明細書に記載の方法論のうちのいずれの１つ以上を上記マシンに実行させるための命令１２２４（例えばソフトウェア）を、その中で実行できる。代替実施形態では、上記マシンはスタンドアロン型デバイスとして動作するか、又は例えばインターネットを介して他のマシンに接続（例えば他のマシンとネットワーク化）できる。ネットワーク化された展開では、上記マシンは、サーバ‐クライアントネットワーク環境内のサーバマシン若しくはクライアントマシンの能力内で、又はピア・ツー・ピア（若しくは分散型）ネットワーク環境内のピアマシンとして、動作できる。
【0142】
上記マシンは、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ：ＰＣ）、タブレットＰＣ、セットトップボックス（ｓｅｔ‐ｔｏｐ ｂｏｘ：ＳＴＢ）、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ：ＰＤＡ）、携帯電話、スマートフォン、ウェブアプライアンス、ネットワークルータ、スイッチ若しくはブリッジ、又はいずれのマシンであって、該マシンが取るべきアクションを指定する命令１２２４を（逐次若しくはその他の様式で）実行できる、いずれのマシンであってよい。更に、マシンは１つだけ図示されているが、用語「マシン（ｍａｃｈｉｎｅ）」は、本明細書に記載の方法論のうちのいずれの１つ以上を実行するために命令１２２４を個別に又は共同で実行する、マシンの任意の集合を含むものとも解釈されるものとする。
【0143】
例示的なコンピュータシステム１２００は、プロセッサ１２０２（例えば中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＣＰＵ）、グラフィックス処理装置（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＧＰＵ）、デジタルシグナルプロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上の無線周波数集積回路（ｒａｄｉｏ‐ｆｒｅｑｕｅｎｃｙ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：ＲＦＩＣ）、又はこれらの任意の組み合わせ）、メインメモリ１２０４、及びスタティックメモリ１２０６を含み、これらはバス１２０８を介して互いに通信するように構成される。コンピュータシステム１２００は更に、グラフィックス表示ユニット１２１０（例えばプラズマディスプレイパネル（ｐｌａｓｍａ ｄｉｓｐｌａｙ ｐａｎｅｌ：ＰＤＰ）、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ：ＬＣＤ）、プロジェクタ、又は陰極線管（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ：ＣＲＴ））を含んでよい。コンピュータシステム１２００はまた、図示されていない英数字入力デバイス１２１２（例えばキーボード）、カーソル制御デバイス１２１４（例えばマウス、トラックボール、ジョイスティック、モーションセンサ、又は他のポインティング器具）、データストア１２１６、信号生成デバイス１２１８（例えばスピーカー）、音声入力デバイス（例えばマイクロフォン）と、ネットワークインタフェースデバイス１２２０とを含んでよく、これらもまた、バス１２０８を介してネットワーク１２２６と通信するように構成される。
【0144】
データストア１２１６は機械可読媒体１２２２を含んでよく、これには、本明細書に記載の方法論又は関数のうちのいずれの１つ以上を具体化する命令１２２４（例えばソフトウェア）が記憶されている。命令１２２４（例えばソフトウェア）は、コンピュータシステム１２００によって実行される間、その全体又は少なくとも一部がメインメモリ１２０４内、又はプロセッサ１２０２内（例えばプロセッサのキャッシュメモリ内）にあってもよく、メインメモリ１２０４及びプロセッサ１２０２もまた、機械可読媒体を構成する。命令１２２４（例えばソフトウェア）は、ネットワークインタフェース１２２０を介して、ネットワーク（図示せず）上で送受信できる。
【0145】
機械可読媒体１２２２は、ある例示的実施形態では単一の媒体として示されているが、用語「機械可読媒体（ｍａｃｈｉｎｅ‐ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）」は、命令（例えば命令１２２４）を記憶できる単一の媒体又は複数の媒体（例えば集中型若しくは分散型データベース、若しくは関連するキャッシュ及びサーバ）を含むものと解釈されるものとする。用語「機械可読媒体」はまた、マシンによる実行のために命令（例えば命令１２２４）を記憶でき、かつ本明細書で開示される方法論のうちのいずれの１つ以上をマシンに実行させる、いずれの媒体を含むものと解釈されるものとする。用語「機械可読媒体」は、ソリッドステートメモリ、光メディア、及び磁気メディアの形態のデータリポジトリを含むが、これらに限定されないものとする。
【0146】
本説明では、用語「エンジン（ｅｎｇｉｎｅ）」は、指定された機能を提供するための計算論理を指す。エンジンは、ハードウェア、ファームウェア、及び／又はソフトウェアで実装できる。本明細書に記載のエンジンをソフトウェアとして実装する場合、上記エンジンはスタンドアロン型プログラムとして実装できるが、他の手段によって、例えばより大きなプログラムの一部として、いずれの個数の別個のプログラムとして、又は１つ以上の静的若しくは動的にリンクされたライブラリとして、実装することもできる。本明細書に記載の名称付きのエンジンは１つの実施形態を表しており、他の実施形態は他のエンジンを含むことができることが、理解されるだろう。更に、他の実施形態は、本明細書に記載のエンジンを含まなくてもよく、及び／又は本明細書に記載の機能を複数のエンジン間に異なる方法で分散させてもよい。更に、２つ以上のエンジンに属する機能を単一のエンジンに組み込むこともできる。エンジンがソフトウェアによって実装される実施形態では、エンジンはコンピュータ可読永続記憶デバイス（例えばハードディスク）上に記憶され、メモリにロードされて、図１２に関連して上で説明されている１つ以上のプロセッサによって実行される。あるいは、ハードウェア又はソフトウェアエンジンを、コンピュータシステム内の他の場所に記憶することもできる。
【0147】
本明細書で参照されているように、コンピュータ又はコンピューティングシステムは、本明細書に記載の動作のために使用されるハードウェア要素を含み、これは図１２におけるこのような要素の具体的な参照には関係なく、例えば１つ以上のプロセッサ、高速メモリ、ハードディスクストレージ及びバックアップ、ネットワークインタフェース及びプロトコル、データ入力用の入力デバイス、並びに表示、印刷、又はその他のデータ提示のための出力デバイスを含む。本明細書中で指定されているシステムアーキテクチャからの、多数の変更が可能である。このようなシステムのエンティティ、及びそのそれぞれの機能は、組み合わせることも、再分散させることもできる。
【図1】
【図2】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【国際調査報告】