特許 7626884 ソフトマックス関数計算の近似法並びにこのソフトマックス関数計算の近似法を応用したニューラルネットワーク

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-01-27

(45)【発行日】2025-02-04

(54)【発明の名称】ソフトマックス関数計算の近似法並びにこのソフトマックス関数計算の近似法を応用したニューラルネットワーク

(51)【国際特許分類】

   G06N 3/048 20230101AFI20250128BHJP

   G06F 17/17 20060101ALI20250128BHJP

【ＦＩ】

G06N3/048

G06F17/17

【請求項の数】 6

(21)【出願番号】P 2024006426

(22)【出願日】2024-01-18

【審査請求日】2024-01-24

(31)【優先権主張番号】18/518,178

(32)【優先日】2023-11-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】524025635

【氏名又は名称】耐能智慧股▲ふん▼有限公司

【氏名又は名称原語表記】Ｋｎｅｒｏｎ （Ｔａｉｗａｎ） Ｃｏ．， Ｌｔｄ．

(74)【代理人】

【識別番号】100076831

【弁理士】

【氏名又は名称】伊藤 捷雄

(72)【発明者】

【氏名】呉 ▲ち▼聖

【審査官】多賀 実

(56)【参考文献】

【文献】国際公開第２０２２／１６４６７８（ＷＯ，Ａ１）

【文献】国際公開第２０２２／１６８６０４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０２２８２９９（ＵＳ，Ａ１）

【文献】Kunal Banerjee et al.，"Exploring Alternatives to Softmax Function"，arXiv.org [online]，arXiv:2011.11538v1，米国，Cornell University，2020年，pp.1-8，[検索日 2024.08.16], インターネット:<URL: https://arxiv.org/abs/2011.11538v1>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １／０２－ １／０３５

Ｇ０６Ｆ ７／５４４－７／５５６

Ｇ０６Ｆ １７／１７

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークであって、
前記ニューラルネットワークの分類マシンにｋ次元ベクトルの入力値をｍ次元ベクトルの出力値に変換させるソフトマックス関数計算モジュールを備え、
前記ソフトマックス関数計算モジュールは、
前記ｋ次元ベクトルの入力値を漏洩正規化線形ユニット関数計算を行うことによって正規化関数計算値を得、そして前記正規化関数計算値に基づいて一定次数の多項式関数計算を行って指数近似値を得た後、さらにもう一つの入力値を前記漏洩正規化線形ユニット関数計算と前記一定次数の多項式関数計算を繰り返すことによりもう一つの指数近似値が得られる指数近似計算ユニットと、前記指数近似値ともう一つの指数近似値を足した合計値が得られる加法計算ユニットと、指数近似計算ユニットで得たそれらの指数近似値の少なくとも一つの指数近似値を合計値で割ってｍ次元ベクトルの出力値が得られる除法計算ユニットと、を備えることを特徴とするニューラルネットワーク。

【請求項2】

前記指数近似計算ユニットでは先に入力値をクランプ関数計算を行った後、さらに前記漏洩正規化線形ユニット関数計算を行うことを特徴とする請求項１のニューラルネットワーク。

【請求項3】

前記合計値はさらに保護値を足して、前記合計値の絶対値がゼロより大きいことを確保することを特徴とする請求項２のニューラルネットワーク。

【請求項4】

前記一定次数の多項式計算は２次から５次の多項式計算であることを特徴とする請求項１のニューラルネットワーク。

【請求項5】

前記指数近似計算ユニットは、各入力値が前記漏洩正規化線形ユニット関数計算を経て各正規化関数計算値を得た後、さらに前記各正規化関数計算値によって一定次数の多項式関数計算を行って前記各入力値に対応する指数近似値を得るまで繰り返され；前記加法計算ユニットは、すべての指数近似値を足した合計値が得られ；前記除法計算ユニットは、前記指数近似計算ユニットで得られた指数近似値のすべての指数近似値を前記合計値で割って複数のｋ次元ベクトルに対応するｍ次元ベクトルの出力値が得られることを特徴とする請求項１のニューラルネットワーク。

【請求項6】

前記入力値は整数型の数値であることを特徴とする請求項１のニューラルネットワーク。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はソフトマックス関数計算の近似法並びにこのソフトマックス関数計算の近似法を応用したニューラルネットワークに関し、特に人工知能ディープラーニングモデルの分類マシンに使用されるソフトマックス関数計算の近似法並びにこのソフトマックス関数計算の近似法を応用したニューラルネットワークに関する。

【背景技術】

【0002】

人工知能（ＡＩ）は通常、普通のコンピュータープログラムによって人間の知的能力を表す技術である。ＡＩの最も主要な一環は、機械学習と認知科学領域において、生物のニューラルネットワークの構造と機能を模した数学モデルまたは計算モデルであり、さらに関数に対して推算する近似の人工ニューラルネットワークである。よく見られるニューラルネットワークモデルは例えば畳み込みニューラルネットワークと再帰型ニューラルネットワーク（ＣＮＮとＲＮＮ）があり、近年はＴｒａｎｓｆｏｒｍｅｒモデルが開発され、Ｔｒａｎｓｆｏｒｍｅｒモデルは徐々に畳み込みニューラルネットワークと再帰型ニューラルネットワーク（ＣＮＮとＲＮＮ）の代わりになる傾向が見受けられ、最も人気なディープラーニングモデルとなりつつある。

【0003】

図１に示すように、上記のニューラルモデルのいずれにしても、そのほとんどは少なくとも特徴学習マシン（ｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ）８１と、分類マシン（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）８２とを含む。ニューラルモデルの分類マシン８２において通常はソフトマックス関数（ｓｏｆｔｍａｘ ｆｕｎｃｔｉｏｎ）８２１が採用され、０～１の間にある少なくとも一つの出力値を出力する。

【0004】

従来のソフトマックス関数の展開式は数式１である。

【0005】

【数1】

【0006】

一般的に、ソフトマックス関数（数式１）による計算はｉ次元ベクトルの入力値をｊ次元ベクトルの出力値に変換させられ、ｊ次元ベクトルの各出力値は通常０～１の間にある数値であり、その数値の合計が１である。

【0007】

さらに、市販されるＧＰＵ（例えば、Ｎｖｉｄｉａ社）に関わるソフトマックス関数計算のほとんどは数式１のｓｏｆｔｍａｘ関数を採用し、入力値はｆｌｏａｔ３２形式によりソフトマックス関数の計算を実現させる。しかし、実際に指数関数の計算をする時に多項式の次数が多く、また入力値はｆｌｏａｔ３２形式を採用しているため、分類マシンの計算過程において大量な数値計算を処理する必要があり、時間とエネルギーが消耗される問題がある。そのため、簡単なｓｏｆｔｍａｘ関数計算を提供するとともに、ニューラルネットワークの分類マシンの計算過程を時短に、省エネできるようにすることは実に重要な課題である。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、計算時間を削減できるとともに、エネルギー消費も削減できるソフトマックス関数計算の近似法を提供する。また、本発明におけるもう一つの目的は、計算時間を削減できるとともに、エネルギー消費も削減できるこのソフトマックス関数計算の近似法を応用したニューラルネットワークを提供する。

【課題を解決するための手段】

【0009】

上述の目的を達成するために、本発明のソフトマックス関数計算の近似法に基づき、ｋ次元ベクトルの入力値をｍ次元ベクトルの出力値に変換させる。ソフトマックス関数計算の近似法は、ｋ次元ベクトルの入力値を漏洩正規化線形ユニット計算（漏洩ＲｅＬＵ）を行うことによって正規化関数計算値を得、そしてこの正規化関数計算値に基づいて一定次数の多項式関数計算を行って指数近似値を得た後、さらにもう一つの入力値でその順序を繰り返すことによりもう一つの指数近似値が得られる指数近似計算順序と、その指数近似値ともう一つの指数近似値を足した合計値が得られる加法計算順序と、指数近似計算順序で得られた指数近似値の中に少なくとも一つの指数近似値を合計値で割ってｍ次元ベクトルの出力値が得られる除法計算順序と、を備える。

【0010】

一実施例において、指数近似計算順序において、入力値を先にクランプ関数（ｃｌａｍｐ ｆｕｎｃｔｉｏｎ）計算を行った後、さらに漏洩ＲｅＬＵ計算を行う。

【0011】

一実施例において、加法計算順序において、合計値はさらに保護値を足して、合計値の絶対値がゼロより大きいことを確保する。

【0012】

一実施例において、一定次数の多項式関数計算は２次から５次の多項式計算である。

【0013】

一実施例において、指数近似計算順序は、各入力値が漏洩ＲｅＬＵ計算を経て正規化関数計算値を得た後、さらに正規化関数計算値に基づいて一定次数の多項式関数計算を行って各入力値に対応する指数近似値が得られるまで繰り返される。加法計算順序は、すべての指数近似値を足した合計値が得られる。除法計算順序は、指数近似計算順序で得られた指数近似値の各指数近似値を合計値で割って複数のｋ次元ベクトルに対応するｍ次元ベクトルの出力値が得られる。

【0014】

一実施例において、入力値は整数型の数値である。

【0015】

また、本発明のソフトマックス関数計算の近似法を応用したニューラルネットワークに基づき、ニューラルネットワークの分類マシンに、ｋ次元ベクトルの入力値をｍ次元ベクトルの出力値に変換させるソフトマックス関数計算モジュールを備える。ソフトマックス関数計算モジュールは、ｋ次元ベクトルの入力値を漏洩正規化線形ユニット関数（ＬｅａｋｙＲｅＬＵ ｆｕｎｃｔｉｏｎ）計算を行うことによって正規化関数計算値を得、そしてこの正規化関数計算値に基づいて一定次数の多項式関数計算を行って指数近似値を得た後、さらにもう一つの入力値を前記漏洩正規化線形ユニット関数計算と前記一定次数の多項式関数計算を繰り返すことによりもう一つの指数近似値が得られる指数近似計算ユニットと、その指数近似値ともう一つの指数近似値を足した合計値が得られる加法計算ユニットと、指数近似計算ユニットで得られた指数近似値の中に少なくとも一つの指数近似値を合計値で割ってｍ次元ベクトルの出力値が得られる除法計算ユニットと、を備える。

【0016】

もう一つの実施例において、指数近似計算ユニットでは先に入力値をクランプ関数（ｃｌａｍｐ ｆｕｎｃｔｉｏｎ）計算を行った後、さらに漏洩ＲｅＬＵ計算を行う。

【0017】

もう一つの実施例において、加法計算ユニットでは合計値はさらに保護値を足して、合計値の絶対値がゼロより大きいことを確保する。

【0018】

もう一つの実施例において、一定次数の多項式関数計算は２次から５次の多項式計算である。

【0019】

もう一つの実施例において、指数近似計算ユニットは、各入力値が漏洩ＲｅＬＵ計算を経て正規化関数計算値を得た後、さらにこの正規化関数計算値によって一定次数の多項式関数計算を行って各入力値に対応する指数近似値を得るまで繰り返される。加法計算ユニットは、すべての指数近似値を足した合計値が得られる。除法計算ユニットは、指数近似計算ユニットで得られた指数近似値の各指数近似値を合計値で割って複数のｋ次元ベクトルに対応するｍ次元ベクトルの出力値が得られる。

【0020】

一実施例において、入力値は整数型の数値である。

【発明の効果】

【0021】

本発明のソフトマックス関数計算の近似法において、指数関数e^（ｘｋ）は低次多項式（例えば、２次多項式）に制限され、またクランプ関数（ｃｌａｍｐ ｆｕｎｃｔｉｏｎ）と漏洩ＲｅＬＵ計算が採用されるため、指数関数e^（ｘｋ）計算する時、破線の曲線で示す計算結果は実線の曲線で示す高次計算の結果に近似することができる。言い換えれば、本発明のソフトマックス関数計算式の出力誤差がすべて小さい。

【0022】

特に、入力ベクトルの素子はすべて整数であり、指数関数e^（ｘｋ）は低次多項式（例えば、２次多項式）に制限されるため、従来のｆｌｏａｔ３２形式と高次多項式の計算と比較すると、計算量が大幅に下げられることから、計算時間を短縮でき、エネルギーの消耗も抑えられる。

【図面の簡単な説明】

【0023】

【図1】従来のニューラルネットワークの基本構造の説明図である。

【図2】本発明のより良い実施例の２次多項式関数計算結果と従来の指数計算結果との比較図である。

【図3】本発明のより良い実施例の指数近似計算順序に漏洩ＲｅＬＵ計算を加えたフロー図である。

【図4】本発明のより良い実施例のソフトマックス関数計算の近似法を説明するブロック図である。

【図5】本発明のより良い実施例の指数近似計算順序の計算結果と従来の指数計算結果との比較図である。

【図6】本発明のより良い実施例の指数近似計算順序において、さらにクランプ関数計算を加えたフロー図である。

【図7】本発明のより良い実施例のもう一つのソフトマックス関数計算の近似法を説明するブロック図である。

【図8】本発明のより良い実施例のもう一つの指数近似計算順序の計算結果と従来の指数計算結果との比較図である。

【図9】本発明のより良い実施例において、異なった指数関数式を採用して生じたｓｏｆｔｍａｘ関数式の出力値の対照表である。

【図10】本発明のより良い実施例において、異なった指数関数式をそれぞれ採用し、且つ図９と異なった入力ベクトルによって生じたｓｏｆｔｍａｘ関数式の出力値の対照表である。

【図11】本発明のより良い実施例において、異なった指数関数式をそれぞれ採用し、且つそのうち一つのｓｏｆｔｍａｘ関数式に保護値を加えて生じたｓｏｆｔｍａｘ関数式出力値の対照表である。

【図12】本発明のより良い実施例において、図１１と同じような指数関数式とｓｏｆｔｍａｘ関数式をそれぞれ採用し、また図９と同じような入力ベクトルを採用して生じたｓｏｆｔｍａｘ関数式の出力値の対照表である。

【発明を実施するための形態】

【0024】

各図面を用いて、本発明のソフトマックス関数計算の近似法並びにこのソフトマックス関数計算の近似法を応用したニューラルネットワークに関わるより良い実施例を以下に説明してゆく。

【0025】

本発明の実施例を具体的に説明する前に、まず説明したいことは、本実施例において、ｓｏｆｔｍａｘ関数はｋ次元ベクトルの入力値をｍ次元ベクトルの出力値に変換できるため、本実施例のｓｏｆｔｍａｘ関数は数式２のように表せる。

【0026】

【数2】

【0027】

上記数式２のｓｏｆｔｍａｘ関数計算において、最も難しく、時間のかかる計算はｋ次元ベクトルの入力値を指数関数ｅｘｐ（ｘ）（即ちe^（ｘｋ））計算することである。実際にe^（ｘｋ）値を計算する時、一般的にテイラー展開式で計算し、即ち数式３の計算式を使って計算する。

【0028】

【数3】

【0029】

【数4】

【0030】

続いて、図２に示すように、数式３に示す高次多項式によって算出した指数関数値ｅｘｐ（ｘ）を実線の曲線で表し、数式４に示す２次テイラー多項式によって算出した指数関数値（２ｎｄ－ｔａｙｌｏｒ ｅｘｐ（ｘ））を破線の曲線で表す。図２に示すように、指数計算を簡潔化するためにテイラー指数展開式（数式３）全体の計算順序を低次数の多項式計算に縮減して計算すると、例えば２次多項式計算に制限することで、図２に示すような破線の曲線で表した指数関数値（２ｎｄ－ｔａｙｌｏｒ ｅｘｐ（ｘ））が得られる。しかし、図２から分かるように、２次多項式の計算結果（破線で示す）と高次多項式の計算結果（実線で示す）の差が大きい。

【0031】

これにより、ソフトマックス関数の指数関数計算を簡潔化するように、指数関数e^（ｘｋ）を２次多項式計算に制限する場合、簡潔化した計算結果を簡潔化する前の計算結果に近づかせるために、数式４の計算方法を改良してその計算結果を図２に示す実線の曲線に近づかせる必要がある。

【0032】

図３と図４に示すように、本発明のソフトマックス関数計算の近似法は指数近似計算順序Ｓ１、加法計算順序Ｓ２、除法計算順序Ｓ３と、を含む。指数近似計算順序Ｓ１は、図３に示す漏洩正規化線形ユニット関数（ＬｅａｋｙＲｅＬＵ ｆｕｎｃｔｉｏｎ）計算ステップＳ１１と２次多項式指数近似計算ステップＳ１２を行う。また、図４に示すように、これらの計算プロセスによって上記数式２の出力結果が得られる。

【0033】

さらに図３に示すように、本実施例において、漏洩ＲｅＬＵを数式４の計算に使われ、数式４の方程式は数式５の方程式のように表せる。

【0034】

【数5】

【0035】

漏洩ＲｅＬＵの使用により、ステップＳ１１に正規化関数計算値Ｌ_１が得られ、正規化関数計算値Ｌ_１を数式５に代入すると、数式５は数式６のように表せる。数式６の計算によって、ステップＳ１２の計算から指数近似計算値ｅｘｐ１（Ｘ_ｋ）が得られる。つまり、ステップＳ１１とステップＳ１２の計算によって、図４に示す指数近似計算順序Ｓ１から指数近似計算値ｅｘｐ１（Ｘ_ｋ）を算出できる。この計算結果は図５の破線の曲線に示すように、指数関数e^（ｘｋ）を２次多項式に制限し、且つ漏洩ＲｅＬＵ計算を採用する場合、Ｘ_ｋが負数の時、その近似計算結果（破線で表示）はより実線の曲線に近づけられる。

【0036】

【数6】

【0037】

数式５または数式６の計算結果は数式４の計算結果より良いが、図５に示すように、Ｘ_ｋが負数または１より大きい時、その近似計算結果は一定程度の差異が存在する。一定程度の差異の問題を解決するために、本発明のより良い実施例において、図６と図７に示すように、指数近似計算順序Ｓ１’は、先に入力値Ｘ_ｋをクランプ関数（ｃｌａｍｐ ｆｕｎｃｔｉｏｎ）計算ステップＳ１０を行った後、漏洩正規化線形ユニット関数計算ステップＳ１１’を行い、さらに２次多項式指数近似計算ステップＳ１２’を行う。即ち、図６に示すような計算順序であり、この際に２次多項式指数近似計算式は数式７のように表しても良い。

【0038】

【数7】

【0039】

クランプ関数（ｃｌａｍｐ ｆｕｎｃｔｉｏｎ）と漏洩ＲｅＬＵを使うと、ステップＳ１０の計算によってステップＳ１１’で正規化関数計算値Ｌ_２が得られ、正規化関数計算値Ｌ_２を数式７に代入すると、数式７は数式８のように表せる。

【0040】

【数8】

【0041】

特に、もしＦ（Ｘ_ｋ）＝ＬｅａｋｙＲｅＬＵ（Ｃｌａｍｐ（Ｘ_ｋ，ｍｉｎ，ｍａｘ））とし、２次多項式係数を同時に取り入れると、本発明の指数近似計算値は数式９のような通用式で表せる。

【0042】

【数9】

【0043】

言い換えれば、正規化関数計算値Ｌ_１または正規化関数計算値Ｌ_２を数式９に代入する場合、数式６は数式１０のように表せ、数式８は数式１１のように表せる。

【0044】

【数10】

【0045】

【数11】

【0046】

図８から分かるように、指数関数e^（ｘｋ）を２次多項式に制限し、またクランプ関数（ｃｌａｍｐ ｆｕｎｃｔｉｏｎ）計算と漏洩ＲｅＬＵ計算を採用する時、つまり数式８または数式１１を使って計算する時、破線の曲線で示す計算結果は、Ｘ_ｋが負数または１より大きい区間であれば実線の曲線で示す高次計算結果に近づけられる。さらに、数式８または数式１１の指数計算によればステップＳ１２’の計算において指数近似計算値ｅｘｐ２（Ｘ_ｋ）が得られる。言い換えれば、図７に示す指数近似計算順序Ｓ１’において指数近似計算値ｅｘｐ２（Ｘ_ｋ）を算出できる。

【0047】

以下は図９を使って、本発明のソフトマックス関数計算の近似法の実際計算を具体的に説明する。特に説明したいのは本実施例のソフトマックス関数計算（即ち数式２）は、Ｔｒａｎｓｆｏｒｍｅｒモデルのソフトマックス関数計算層を採用して実質計算を行う。

【0048】

さらに、図９に示すように、入力ベクトル値は〔－２，０，８〕の場合、もし指数関数式は数式３を採用し、ソフトマックス関数計算式は数式２を採用すると、入力ベクトル値の各ベクトル値をそれぞれ数式３に代入して計算すると、ｅ^（－２）＝０．１３ 、ｅ^（０）＝１、ｅ^（８）＝２９８０という結果が得られる。そして、数式３でそれぞれ計算した結果を数式２に代入すれば、図９に示すソフトマックス関数計算式（数式２）の計算値（出力値）が得られ、その出力ベクトルは〔０．００００４５，０．０００３３５，０．９９９６１９〕である。

【0049】

図９に示すように、入力ベクトル値は〔－２，０，８〕の場合、もし指数関数式は数式１０を採用し、ソフトマックス関数計算式は数式２を採用すると、数式１０の係数はａ＝１、ｂ＝２、ｃ＝１であり、入力ベクトルの各ベクトルをそれぞれ数式１０に代入して計算した後、ソフトマックス関数計算式（数式２）の計算値（出力値）の出力ベクトルは〔０．００３０４０，０．０１２１５８，０．９８４８０２〕である。図９から分かるように、反応割合が比較的に大きい入力ベクトル量（例えば、本実施例の中に“８”と入力する）について、その反応誤差は１～２％以内である。

【0050】

しかし、以上の説明において、もし指数関数式は数式１０を採用し、ソフトマックス関数計算式は数式２を採用して、数式１０の係数はａ＝１、ｂ＝２、ｃ＝１とする場合、もし入力ベクトル値が〔－４，－４，－４〕の時、図１０に示すように、ソフトマックス関数計算式（数式２）の計算値（出力値）は計算できない。この現象の原因はソフトマックス関数計算式（数式２）の分母が０に近いためである。

【0051】

ソフトマックス関数計算式の分母が０に近づく可能性があるから正常に計算できない問題を解決するために、図７を参照されたい。本実施例において、本発明のソフトマックス関数計算の近似法は、指数近似計算順序Ｓ１’、加法計算順序Ｓ２と除法計算順序Ｓ３を含む以外、加法計算順序Ｓ２の計算完了後、その計算値と保護値ｅｐｓを互いに足す保護値計算順序Ｓ２１も含む。これにより、本発明のソフトマックス関数計算式は数式１２のように表せる。また、保護値ｅｐｓの作用は、数式２の分母が０以外または０に近づかないように確保するためである。もし数式２の分母が０または０に近づく場合、ｓｏｆｔｍａｘ’^{（ｘｋ）ｍ}計算は結果が得られない。

【0052】

【数12】

【0053】

続いて、図１１に示すように、もし指数関数式は数式１１を採用し、ソフトマックス関数計算式は数式１２を採用して、数式１１の係数をａ＝１、ｂ＝２、ｃ＝１とする場合、もし入力ベクトル値を〔－４，－４，－４〕としても、図１１に示すように、ソフトマックス関数計算式（数式１２）の計算値（出力値）も算出できる。また、もし指数関数式は数式１１を採用し、ソフトマックス関数計算式は数式１２を採用して、数式１１に示す係数をａ＝１、ｂ＝２、ｃ＝１とし、数式１２に示すｅｐｓ＝１とする場合、もし入力ベクトル値を〔－２，０，８〕としても、図１２に示すように、ソフトマックス関数計算式（数式１２）の計算値（出力値）は〔０．００７００７，０．０１６０１６，０．９７６９７７〕と算出される。図１２に示す出力値０．９８４８０２（数式２を採用）と比較して分かるように、反応割合が比較的に大きい入力ベクトル量（例えば、本実施例の中に“８”と入力する）について、その反応誤差は１～２％以内にキープされる。

【0054】

以上をまとめると、本発明のソフトマックス関数計算の近似法において、指数関数e^（ｘｋ）は低次多項式（例えば、２次多項式）に制限され、またクランプ関数（ｃｌａｍｐ ｆｕｎｃｔｉｏｎ）と漏洩ＲｅＬＵ計算が採用されるため、指数関数e^（ｘｋ）を数式８または数式１１のいずれかで計算しても、破線の曲線で示す計算結果は実線の曲線で示す高次計算の結果に近似することができる。また、本発明のソフトマックス関数計算の近似法において、もしソフトマックス関数計算式は数式１２を採用し、そして数式１１に示す係数に対して適切な調整をすれば（例えば、ａ＝１、ｂ＝２、ｃ＝１）、主な反応値について、本発明のソフトマックス関数計算式の出力誤差がすべて小さい。

【0055】

特に、本実施例において、入力ベクトルの素子はすべて整数であり、指数関数e^（ｘｋ）は低次多項式（例えば、２次多項式）に制限されるため、従来のｆｌｏａｔ３２形式と高次多項式の計算とを比較すると、計算量が大幅に下げられることから、計算時間を短縮でき、エネルギーの消耗も抑えられる。

【0056】

本発明のもう一つの実施例はこのソフトマックス関数計算の近似法を応用したニューラルネットワークを提供する。本発明のこのソフトマックス関数計算の近似法を応用したニューラルネットワークについての具体的な説明は前述方法とほぼ一致するため、ここでは省略する。唯一特別に説明したいことは、本発明のもう一つの実施例において、ニューラルネットワークはＴｒａｎｓｆｏｒｍｅｒモデルのニューラルネットワークに制限されるものではない。

【0057】

以上は本発明の例示だけであって、制限するものではない。本発明の精神と範囲を逸さないあらゆる修正または変更はすべて特許請求の範囲に属すべきである。

【産業上の利用可能性】

【0058】

本発明は人工知能ディープラーニングモデルの分類マシンに使用されるソフトマックス関数計算の近似法並びにこのソフトマックス関数計算の近似法を応用したニューラルネットワークに関する。

【符号の説明】

【0059】

８１ 特徴学習マシン
８２ 分類マシン
Ｓ１、Ｓ１’ 指数近似計算順序
Ｓ１０ クランプ関数計算ステップ
Ｓ１１、Ｓ１１’ 漏洩正規化線形ユニット関数（漏洩ＲｅＬＵ）計算ステップ
Ｓ１２、Ｓ１２’ ２次多項式指数近似計算ステップ
Ｓ２ 加法計算順序
Ｓ２１ 保護値計算順序
Ｓ３ 除法計算順序
Ｌ１ 正規化関数計算値
Ｌ２ 正規化関数計算値

【要約】      （修正有）

【課題】計算時間を縮減でき、エネルギーの消耗を減少できるソフトマックス関数計算の近似法及びニューラルネットワークを提供する。
【解決手段】ソフトマックス関数計算の近似法は、ｋ次元ベクトルの入力値をｍ次元ベクトルの出力値に変換させ、指数近似計算順序、加法計算順序及び除法計算順序と、を含む。指数近似計算順序は、ｋ次元ベクトルの入力値を漏洩正規化線形ユニット（漏洩ＲｅＬＵ）計算を行うことによって正規化関数計算値を得た後、この正規化関数計算値に基づいて所定次数の多項式関数計算を行って指数近似値を得、さらにもう一つの入力値をその指数近似計算順序を繰り返すことによりもう一つの指数近似値を得る。加法計算順序は、指数近似値ともう一つの指数近似値を足した合計値を得る。除法計算順序は、指数近似計算順序で得られた指数近似値の中に少なくとも一つの指数近似値を合計値で割ってｍ次元ベクトルの出力値を得る。
【選択図】図７

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】