特開 2022-59923 活性化関数演算方法、および活性化関数演算処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022059923

(43)【公開日】2022-04-14

(54)【発明の名称】活性化関数演算方法、および活性化関数演算処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220407BHJP

   G06N 3/08 20060101ALI20220407BHJP

【ＦＩ】

G06N20/00

G06N3/08

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020167815

(22)【出願日】2020-10-02

(71)【出願人】

【識別番号】504159235

【氏名又は名称】国立大学法人 熊本大学

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100189337

【弁理士】

【氏名又は名称】宮本 龍

(72)【発明者】

【氏名】尼崎 太樹

(72)【発明者】

【氏名】上村 斗真

(72)【発明者】

【氏名】中原 康宏

(72)【発明者】

【氏名】飯田 全広

(57)【要約】

【課題】従来より回路面積の削減を行うことができる活性化関数演算方法、および活性化関数演算処理装置を提供することを目的とする。
【解決手段】活性化関数演算方法は、活性化関数演算処理装置が、活性化関数への入力ビットを上位ビットより下位ビットを少なくし、所定の条件を満たすように真理値表に対応する出力ビット毎の二次元座標のグラフの入力と出力それぞれの分割数を設定し、分割数に基づいて真理値表を作成し、作成された真理値表をＬＵＴ（ルックアップテーブル）に記憶する。
【選択図】図１８

【特許請求の範囲】

【請求項1】

活性化関数演算処理装置が、
活性化関数への入力ビットを上位ビットより下位ビットを少なくし、所定の条件を満たすように真理値表に対応する出力ビット毎の二次元座標のグラフの入力と出力それぞれの分割数を設定し、前記分割数に基づいて前記真理値表を作成し、作成された前記真理値表をＬＵＴ（ルックアップテーブル）に記憶する、
活性化関数演算方法。

【請求項2】

前記所定の条件は、前記グラフにおいて分割された各マス目を前記活性化関数が通る領域が列ごとに１つのみである、
請求項１に記載の活性化関数演算方法。

【請求項3】

前記活性化関数演算処理装置が、前記活性化関数を近似化する、
請求項１または請求項２に記載の活性化関数演算方法。

【請求項4】

前記活性化関数演算処理装置が、
前記所定の条件を満たさない場合に、入力ビットの下位ビットのビット数を変更する、
請求項１から請求項３のうちのいずれか１項に記載の活性化関数演算方法。

【請求項5】

前記入力ビットは、８ビットの場合、最下位のビットが１ビットであり、最下位から２ビット目が２ビットであり、最下位から３ビット目が３ビットであり、最下位から４ビット目が４ビットであり、最下位から５ビット目が５ビットであり、最下位から６ビット目が６ビットであり、最下位から７ビット目が７ビットであり、最上位のビットが８ビットである、
請求項１から請求項４のうちのいずれか１項に記載の活性化関数演算方法。

【請求項6】

前記入力ビットが８ビットの場合、変更後のビット数が、最下位のビットが２ビットであり、最下位から２ビット目が３ビットであり、最下位から３ビット目が４ビットであり、最下位から４ビット目が５ビットであり、最下位から５ビット目が６ビットであり、最下位から６ビット目が７ビットであり、最下位から７ビット目が８ビットであり、最上位のビットが８ビットである、
請求項４に記載の活性化関数演算方法。

【請求項7】

前記活性化関数は、線形関数、非線形関数、傾きが変化する関数、ＲｅＬＵ、Ｌｅａｋｙ ＲｅＬＵ、Ｈａｒｄ Ｓｉｇｍｏｉｄ、Ｈａｒｄ ｔａｎｈのうちの少なくとも１つである、
請求項１から請求項６のうちのいずれか１項に記載の活性化関数演算方法。

【請求項8】

学習の際に用いられる活性化関数を取得する取得部と、
取得された前記活性化関数を必要に応じて近似する近似部と、
前記活性化関数に基づいて、前記活性化関数を真理値表で表したときに対応するグラフの分割数を設定する設定部と、
設定された前記分割数のグラフにおいて前記活性化関数の入力と出力それぞれのビットで条件を満たしているか否かを確認する確認部と、
前記入力と前記出力の関係の真理値表を作成する真理値表作成部と、
作成された前記真理値表をＬＵＴ記憶部に記憶させる書込部と、
を備える活性化関数演算処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、活性化関数演算方法、および活性化関数演算処理装置に関する。

【背景技術】

【0002】

ニューラルネットワークで用いられる活性化関数は、モデルに非線形分離性をもたせる重要な部分を担い、シグモイド関数やｔａｎｈ関数のように非線形式が用いられてきた。近年の畳み込みニューラルネットワーク（以下ＣＮＮ）における活性化関数としては、例えばＲｅＬＵ関数が選択肢となる。ＲｅＬＵ関数は、入力変数が負において出力は０で、入力変数が正においては傾き１、切片０の線形関数での出力値となる。しかしながら、近年、活性化関数としては、ＭｏｂｉｌｅＮｅｔ Ｖ３におけるｓｗｉｓｈのようなＲｅＬＵ関数以外の複雑な非線形関数が用いられるようになってきた。

【0003】

また、ＲＮＮのように畳み込みニューラルネットワーク以外のＤＮＮモデルにおいては、シグモイド関数やｔａｎｈ関数が用いられることが多い。例えば汎用ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）チップ用途のように、１個のＬＳＩでＣＮＮ、ＲＮＮのＤＮＮモデルを実装対象とした場合は、様々な活性化関数に対応したハードウェアが重要となる。

【0004】

例えば、特許文献１には、活性化関数の入力にｌｏｇ_２を適用することで、活性化関数内の乗算、除算を加算、減算に変換し小面積な回路で様々な活性化関数を実現する手法が提案されている。
また、特許文献２には、連続又は不連続な非線形関数を各範囲で線形近似して部分的線形関数を構築、部分的線形関数の部分集合である副関数を生成し、全副関数のコントリビューションの総和を計算することによって、近似した関数を出力する手法が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－４３９８号公報

【特許文献2】特開平７－２８２０３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＡＩエッジコンピューティングに代表されるように、ＡＩチップはエッジ側で用いられることが多いため、活性化関数部には、高性能（小面積、低遅延、省電力）であることが求められる。しかしながら、従来技術では、活性化関数は非線形関数で表現されるため、算術演算式として回路化した場合、実装に要するハードウェアのリソースは膨大なものとなる課題があった。

【0007】

本発明は、上記の問題点に鑑みてなされたものであって、従来より回路面積の削減を行うことができる活性化関数演算方法、および活性化関数演算処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の一態様に係る活性化関数演算方法は、活性化関数演算処理装置が、活性化関数への入力ビットを上位ビットより下位ビットを少なくし、所定の条件を満たすように真理値表に対応する出力ビット毎の二次元座標のグラフの入力と出力それぞれの分割数を設定し、前記分割数に基づいて前記真理値表を作成し、作成された前記真理値表をＬＵＴ（ルックアップテーブル）に記憶する。

【0009】

また、本発明の一態様に係る活性化関数演算方法において、前記所定の条件は、前記グラフにおいて分割された各マス目を前記活性化関数が通る領域が列ごとに１つのみであるようにしてもよい。

【0010】

また、本発明の一態様に係る活性化関数演算方法において、前記活性化関数演算処理装置が、前記活性化関数を近似化するようにしてもよい。

【0011】

また、本発明の一態様に係る活性化関数演算方法において、前記活性化関数演算処理装置が、前記所定の条件を満たさない場合に、入力ビットの下位ビットのビット数を変更するようにしてもよい。

【0012】

また、本発明の一態様に係る活性化関数演算方法において、前記入力ビットは、８ビットの場合、最下位のビットが１ビットであり、最下位から２ビット目が２ビットであり、最下位から３ビット目が３ビットであり、最下位から４ビット目が４ビットであり、最下位から５ビット目が５ビットであり、最下位から６ビット目が６ビットであり、最下位から７ビット目が７ビットであり、最上位のビットが８ビットであるようにしてもよい。

【0013】

また、本発明の一態様に係る活性化関数演算方法において、前記入力ビットが８ビットの場合、変更後のビット数が、最下位のビットが２ビットであり、最下位から２ビット目が３ビットであり、最下位から３ビット目が４ビットであり、最下位から４ビット目が５ビットであり、最下位から５ビット目が６ビットであり、最下位から６ビット目が７ビットであり、最下位から７ビット目が８ビットであり、最上位のビットが８ビットであるようにしてもよい。

【0014】

また、本発明の一態様に係る活性化関数演算方法において、前記活性化関数は、線形関数、非線形関数、傾きが変化する関数、ＲｅＬＵ、Ｌｅａｋｙ ＲｅＬＵ、Ｈａｒｄ Ｓｉｇｍｏｉｄ、Ｈａｒｄ ｔａｎｈのうちの少なくとも１つであるようにしてもよい。

【0015】

上記目的を達成するため、本発明の一態様に係る活性化関数演算処理装置は、学習の際に用いられる活性化関数を取得する取得部と、取得された前記活性化関数を必要に応じて近似する近似部と、前記活性化関数に基づいて、前記活性化関数を真理値表で表したときに対応するグラフの分割数を設定する設定部と、設定された前記分割数のグラフにおいて前記活性化関数の入力と出力それぞれのビットで条件を満たしているか否かを確認する確認部と、前記入力と前記出力の関係の真理値表を作成する真理値表作成部と、作成された前記真理値表をＬＵＴ記憶部に記憶させる書込部と、を備える。

【発明の効果】

【0016】

本発明によれば、従来より回路面積の削減を行うことができる。

【図面の簡単な説明】

【0017】

【図1】第１実施形態に係る非線形関数の演算処理装置の構成例を示すブロック図である。

【図2】比較例におけるＤＮＮをＦＰＧＡに実装する例を示すイメージ図である。

【図3】活性化関数のブロック図である。

【図4】比較例の入力が８ビット、出力が８ビットのＬＵＴの処理を説明するための図である。

【図5】第１実施形態に係るＬＵＴの入力と出力を説明するための図である。

【図6】入力信号ｕと出力信号ｚのビット幅と分割を説明するための図である。

【図7】Ｎ＝３の場合を説明するための図である。

【図8】実装可能な他の例を示す図である。

【図9】実装できない場合の例を示す図である。

【図10】途中で傾きが変わる活性化関数で条件を満たす場合の一例を示す図である。

【図11】ＲｅＬＵの場合を示す図である。

【図12】Ｌｅａｋｙ ＲｅＬＵの実装例を示す図である。

【図13】シグモイド関数を線形近似したハードシグモイド関数の実装例を示す図である。

【図14】Ｈａｒｄ ｔａｎｈ関数の実装例を示す図である。

【図15】出力ｚ［１］、Ｍ＝０、Ｎ＝３かつｚ＝ｕの場合の２次元座標グラフと真理値表の対応を示す図である。

【図16】出力ｚ［２］、Ｍ＝０、Ｎ＝３かつｚ＝ｕの場合の２次元座標グラフと真理値表の対応を示す図である。

【図17】出力ｚ［３］、Ｍ＝０、Ｎ＝３かつｚ＝ｕの場合の２次元座標グラフと真理値表の対応を示す図である。

【図18】非線形関数の演算処理装置が記憶する情報例を示す図である。

【図19】第２実施形態に係るＬＵＴの入力と出力を説明するための図である。

【図20】入力信号ｕと出力信号ｚのビット幅と分割を説明するための図である。

【図21】Ｍ＝１、Ｎ＝３の場合を説明するための図である。

【図22】活性化関数が領域を跨ぐ例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について図面を参照しながら説明する。

【0019】

［第１実施形態］
図１は、本実施形態に係る活性化関数演算処理装置１の構成例を示すブロック図である。図１のように、活性化関数演算処理装置１は、取得部１１、近似部１２、設定部１３、確認部１４、真理値表作成部１５、書込部１６、およびＬＵＴ記憶部１７を備える。なお、図１に示した構成例は一例であり、これに限らない。

【0020】

活性化関数演算処理装置１は、例えばＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよく、ＬＵＴ記憶部１７以外は外部装置（例えばＣＰＵ（中央演算装置）、コンピュータ）であってもよい。

【0021】

取得部１１は、学習の際に用いられる活性化関数を取得する。

【0022】

近似部１２は、取得された活性化関数を必要に応じて近似する。また、近似部１２は、確認部１４が出力する変更指示に基づいて活性化関数を近似する。

【0023】

設定部１３は、活性化関数または近似された活性化関数に基づいて、活性化関数を真理値表で表したときに対応するグラフの分割数を設定する。また、設定部１３は、確認部１４が出力する変更指示に基づいて、設定した分割数を変更する。

【0024】

確認部１４は、設定した分割数のグラフにおいて活性化関数の入力と出力それぞれのビットで条件を満たしているか否かを確認する。確認部１４は、条件を満たしていない場合、近似部１２と設定部１３に変更指示を出力する。

【0025】

真理値表作成部１５は、入力と出力の関係の真理値表を作成する。

【0026】

書込部１６は、作成された真理値表をＬＵＴ記憶部１７に記憶させる。

【0027】

ＬＵＴ記憶部１７は、ＬＵＴ（ルックアップテーブル）として真理値表を記憶する。

【0028】

＜ＤＮＮをＦＰＧＡに実装する例＞
まず、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）に実装する例を説明する。図２は、比較例におけるＤＮＮをＦＰＧＡに実装する例を示すイメージ図である。図２において、Ｃｏｎｖは畳み込み層であり、Ｐｏｏｌはプーリング層であり、ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）は全結合層である。
ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで学習を行う（ｇ１）場合は、ＦＰＧＡなどでハードウェアによる実装（ｇ２）と、ＦＰＧＡなどでソフトウェアによる実現がある。このような構成において、本実施形態では、演算量の多い活性化関数のＬＵＴ（Ｌｏｏｋ－Ｕｐ Ｔａｂｌｅ）の処理において、入力ビット数等の削減を行うことで、ＬＵＴに使用する回路面積を削減する。

【0029】

＜活性化関数＞
活性化関数について説明する。図３は、活性化関数のブロック図である。活性化関数は、ニューロン部で計算された値（例、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）では積和演算）ｕを入力とし、出力ｚを生成する。活性化関数は、線形変換または非線形変換を行う。

【0030】

ハードウェアで活性化関数を実現する場合、その関係は、真理値表（ＬＵＴ；ルックアップテーブル）を用いて表現される。回路化の際は、例えばＦＰＧＡで用いられるＬＵＴ方式を用いることで活性化関数を実現できる。しかし、ｎ入力ＬＵＴ方式では、入力のビットＮに対し、構成メモリは２^Ｎ必要となる。図４は、比較例の入力が８ビット、出力が８ビットのＬＵＴの処理を説明するための図である。図４において、入力の最上位ビットはｕ［１］で、最下位ビットはｕ［Ｎ］である。図４の構成では、出力ｚ［１］（ｇ１１）～ｚ［８］（ｇ１８）すべてにおいて、入力ｕは８ビット（ｕ［１］， …，ｕ［８］）である。このため、図４のように、例えば８ビットのｚとｕにおいて、全構成メモリ数は８×２^８＝２，０４８必要である。

【0031】

図５は、本実施形態に係るＬＵＴの入力と出力を説明するための図である。図５のように、本実施形態では、ｚの上位ビットほど入力ｕのビットを削減する。最上位のｚ［１］（ｇ２１）の場合は、入力ｕをｕ［１］のように８ビットから１ビットに削減する。ｚ［２］（ｇ２２）の場合は、入力ｕをｕ［１］，ｕ［２］のように８ビットから２ビットに削減する。ｚ［３］（ｇ２３）の場合は、入力ｕをｕ［１］，ｕ［２］，ｕ［３］のように８ビットから３ビットに削減する。ｚ［４］（ｇ２４）の場合は、入力ｕをｕ［１］，ｕ［２］，ｕ［３］，ｕ［４］のように８ビットから４ビットに削減する。ｚ［５］（ｇ２５）の場合は、入力ｕをｕ［１］，ｕ［２］，ｕ［３］，ｕ［４］，ｕ［５］のように８ビットから５ビットに削減する。ｚ［６］（ｇ２６）の場合は、入力ｕをｕ［１］，ｕ［２］，ｕ［３］，ｕ［４］，ｕ［５］，ｕ［６］のように８ビットから６ビットに削減する。ｚ［７］（ｇ２７）の場合は、入力ｕをｕ［１］，ｕ［２］，ｕ［３］，ｕ［４］，ｕ［５］，ｕ［６］，ｕ［７］のように８ビットから７ビットに削減する。最下位のｚ［８］（ｇ２８）の場合は、入力ｕをｕ［１］～ｕ［８］の８ビットのままとする。

【0032】

この構成の場合、全構成メモリ数は５１０（＝２^１＋２^２＋２^３＋２^４＋２^５＋２^６＋２^７＋２^８）となり、図４の比較例の構成と比較して約７５％（＝（１－５１０／２０４８）×１００）削減できる。図５の構成において、３ビット（Ｎ＝３）の場合は、例えばＦＦ（フリップフロップ）回路１４（＝２^１＋２^２＋２^３）個で実現できる。ただし、表現可能な論理関数には制限が生じる（実施形態ではこれを柔軟性とよぶ）。また、図５に示した構成は一例であり、これに限らない。各出力ビットに対して入力となるビットは様々な組み合わせが可能である。

【0033】

各出力ｚビットに対して全入力ｕビットを入れる図４の比較例の構成は柔軟性が最も高いが、性能は低い（特に回路の面積が大きい）。一方、図５のように、各出力ｚビットに対して入力ビットｕを制限するほど柔軟性は低くなるが、性能は高くなる（回路面積を小さくできる）。このように柔軟性と性能にはトレードオフが存在し、ＤＮＮの活性化関数をサポートできる柔軟性を保ちつつ、性能を保持させることが重要である。活性化関数が、例えば単調関数であれば、図５のように入力を順次減らすことが有効である。

【0034】

次に、図５の構成の場合に実現可能な活性化関数の例を説明する。図６は、入力信号ｕと出力信号ｚのビット幅と分割を説明するための図である。
図６のように、入力信号ｕと出力信号ｚのビット幅をＮとする。このとき、活性化関数の２次元領域を２^Ｎ×２^Ｎ分割する。すなわち最上位ビットでは２×２（ｇ３１）、最上位から２ビット目では２^２×２^２＝４×４（ｇ３２）、最下位ビットでは２^Ｎ×２^Ｎ分割になる。このように、まず、出力ビット数Ｎ全てについて２次元座標に展開する。この場合、入力ビット幅＝出力ビット幅＝Ｎの場合の条件（ただし各ＬＵＴの入力数は最上位ビットから１，２，…，Ｎとする）、すなわち実装可能な活性化関数条件は、各分割で活性化関数が通る領域が列ごとに１つだけであることである。

【0035】

この条件の具体例を説明する。図７は、Ｎ＝３の場合を説明するための図である。なお、図７では、説明を簡単にするため３ビットの例を示している。Ｎ＝３の場合、図７のようにｚ＝ｕの関係であれば、条件を満たすため実装可能である。すなわち、最上位ビット（ｇ４１）ではｚ＝ｕの活性化関数が列ごとに１つずつであり、最上位から２ビット（ｇ４２）ではｚ＝ｕの活性化関数が列ごとに１つずつであり、最上位から３ビット目（ｇ４３）ではｚ＝ｕの活性化関数が列ごとに１つずつである。この関係は、最下位ビットの２^Ｎ×２^Ｎ分割でも同様である。なお、ｚ＝２^（－ａ）ｕ（ただしａは整数）である場合にも実装可能である。

【0036】

図８は、実装可能な他の例を示す図である。なお、図８では、説明を簡単にするため３ビットの例を示している。Ｎ＝３であり、分割は図７と同じである。この場合は、中心点がｚ＝０．５、傾き０．５であり、すなわちｚ＝０．５ｕ＋０．５である。そして、最上位ビット（ｇ５１）、最上位から２ビット（ｇ６２）、および最上位から３ビット目（ｇ６３）では、列ごとに１つずつである。この場合も、条件に合致するため実装可能である。このように、正負が変わらず、切片が２のべき乗である場合も実装可能である。

【0037】

次に、実装できない場合の例を説明する。図９は、実装できない場合の例を示す図である。Ｎ＝３であり、分割は図７と同じである。なお、図９では、説明を簡単にするため３ビットの例を示している。この場合、最上位ビット（ｇ６１）ではｚ＝ｕの活性化関数が列ごとに１つずつであるが、最上位から２ビット（ｇ６２）と最上位から３ビット目（ｇ６３）ではｚ＝ｕの活性化関数が列ごとに２つずつである。すなわち、ｚ＝２ｕの場合、２×２の分割では条件が成り立っているが、４×４と８×８の分割では関数が列ごとに２つの領域にまたがって存在しているため条件が成り立たず表現不可能である。このように、活性化関数が部分的に線形性を持ち、勾配の絶対値が1よりも大きい場合は、表現不可能（実装不可能）である。

【0038】

図７、図８では、活性化関数が連続した直線間数の例を説明したが、これに限らない。
図１０は、途中で傾きが変わる活性化関数で条件を満たす場合の一例を示す図である。なお、図１０では、説明を簡単にするため３ビットの例を示している。Ｎ＝３であり、分割は図７と同じである。この場合も、最上位ビット（ｇ７１）～最上位から３ビット目（ｇ７３）では、列ごとに１つずつである。このように、条件を満たす限り不連続な活性化関数、途中で傾きが変わる活性化関数でも実装可能である。

【0039】

図１１は、ＲｅＬＵの場合を示す図である。Ｎ＝３であり、分割は図７と同じである。なお、図１１では、説明を簡単にするため３ビットの例を示している。この場合も、最上位ビット（ｇ８１）～最上位から３ビット目（ｇ８３）では、列ごとに１つずつである。このように、条件に合致するため、このような活性化関数でも実装可能である。

【0040】

図１２は、Ｌｅａｋｙ ＲｅＬＵの実装例を示す図である。なお、図１２では、説明を簡単にするため３ビットの例を示している。Ｎ＝３であり、分割は図７と同じである。この場合も、最上位ビット（ｇ９１）～最上位から３ビット目（ｇ９３）では、列ごとに１つずつである。この例では、横軸負の領域での勾配が２^（－ａ）（ａは整数）である場合、実装可能である。なお、図１２は、ａ＝２の例である。

【0041】

図１３は、シグモイド関数を線形近似したハードシグモイド（Ｈａｒｄ Ｓｉｇｍｏｉｄ）関数の実装例を示す図である。なお、図１３では、説明を簡単にするため３ビットの例を示している。Ｎ＝３であり、分割は図７と同じである。この場合も、最上位ビット（ｇ１０１）～最上位から３ビット目（ｇ１０３）では、列ごとに１つずつである。なお、ハードシグモイドを実装する場合は、中心点がｚ＝０．５となるように傾き０．２５となるよう近似した。このように、勾配が０．２５でかつスケーリングが２のべき乗で行われる場合に表現可能である。

【0042】

図１４は、Ｈａｒｄ ｔａｎｈ関数の実装例を示す図である。なお、図１４では、説明を簡単にするため３ビットの例を示している。Ｎ＝３であり、分割は図７と同じである。この場合も、最上位ビット（ｇ１１１）～最上位から３ビット目（ｇ１１３）では、列ごとに１つずつである。この場合も、条件に合致するため実装可能である。

【0043】

＜記憶する情報例＞
ここで、ＬＵＴ記憶部１７が記憶する情報例を、図１５～図１７を用いて説明する。
図１５は、出力ｚ［１］、Ｍ＝０、Ｎ＝３かつｚ＝ｕの場合の２次元座標グラフｇ１２１と真理値表ｇ１２２の対応を示す図である。なお、２次元座標グラフｇ１２１においてハッチングで示す部分（（ｕ，ｚ）＝（０，０）、（１，１））は活性化関数が通る列を示し、真理値表ｇ１２２においてハッチングで示す部分はグラフで活性化関数が通る列に対応する入力ｕと出力ｚを示している。なお、ｕ、ｚ軸方向は、負から正の方向に向かって、順に０、１に対応している。

【0044】

図１６は、出力ｚ［２］、Ｍ＝０、Ｎ＝３かつｚ＝ｕの場合の２次元座標グラフｇ１３１と真理値表ｇ１３２の対応を示す図である。なお、２次元座標グラフｇ１３１においてハッチングで示す部分（（ｕ，ｚ）＝（００，００）、（０１，０１）、（１０，１０）、（１１，１１））は活性化関数が通る列を示し、真理値表ｇ１３２においてハッチングで示す部分はグラフで活性化関数が通る列に対応する入力ｕと出力ｚを示している。なお、ｕ、ｚ軸方向は、負から正の方向に向かって、順に００、０１、１０、１１に対応している。

【0045】

図１７は、出力ｚ［３］、Ｍ＝０、Ｎ＝３かつｚ＝ｕの場合の２次元座標グラフｇ１４１と真理値表ｇ１４２の対応を示す図である。なお、２次元座標グラフｇ１４１においてハッチングで示す部分（（ｕ，ｚ）＝（０００，０００）、（００１，００１）、（０１０，０１０）、（０１１，０１１）、（１００，１００）、（１０１，１０１）、（１１０，１１０）、（１１１，１１１））は活性化関数が通る列を示し、真理値表ｇ１４２においてハッチングで示す部分はグラフで活性化関数が通る列に対応する入力ｕと出力ｚを示している。なお、ｕ、ｚ軸方向は、負から正の方向に向かって、順に０００、００１、０１０、０１１、１００、１０１、１１０、１１１に対応している。

【0046】

＜処理手順＞
ここで、処理手順例を説明する。
図１８は、本実施形態に係る非線形関数演算方法の処理手順例のフローチャートである。

【0047】

（ステップＳ１）取得部１１は、学習際に用いられる活性化関数を取得する。

【0048】

（ステップＳ２）近似部１２は、取得された活性化関数を必要に応じて近似する。

【0049】

（ステップＳ３）設定部１３は、活性化関数または近似された活性化関数に基づいて、後述する分割数を設定する。

【0050】

（ステップＳ４）確認部１４は、設定した分割数のグラフにおいて活性化関数の入力と出力それぞれのビットで所定の条件を満たしているか否かを確認する。確認部１４は、所定の条件を満たしていない場合（ステップＳ４；ＮＯ）、近似部１２と設定部１３に変更指示を出力する。そして、近似部１２は、確認部１４が出力する変更指示に基づいて活性化関数を近似する。設定部１３は、確認部１４が出力する変更指示に基づいて、設定した分割数を変更する。なお、活性化関数演算処理装置１は、入力ビット数を、上述したように上位ビットより下位ビットほど削減する。なお、確認部１４は、所定の条件を満たしていない場合（ステップＳ４；ＮＯ）、）確認部１３は、下位ビットのビット数を増やす変更指示を近似部１２と設定部１３に出力する。なお、下位ビットのビット数の変更については、第２実施形態で説明する。

【0051】

（ステップＳ５）所定の条件を満たしていない場合（ステップＳ４；ＹＥＳ）、真理値表作成部１５は、入力と出力の関係の真理値表を作成する。

【0052】

（ステップＳ６）書込部１６は、作成された真理値表をＬＵＴ記憶部１７に記憶させる。

【0053】

ここで、本実施形態を適用した結果の一例を説明する。
本実施形態によって活性化関数を近似した結果、ＣＩＦＡＲ－１００データセットでのＲｅｓＮｅｔ、ＶＧＧＮｅｔに関する認識精度において、近似をしない場合と比較して性能劣化を１％以下に抑えることができた。

【0054】

本実施形態の活性化関数演算処理装置１は、図１５～図１７に示したような分割数に応じ使用する関数に応じた真理値表を記憶する。このように、本実施形態の活性化関数演算処理装置１は、ＬＵＴ（ルックアップテーブル）のメモリ内の値を変更することで回路構造を変更せずとも様々な活性化関数に対応可能である。

【0055】

［第２実施形態］
本実施形態では、出力ｕの各ビットに対し入力ｕのビットを増やした例を説明する。
例えば、入力ビット数と出力ビット数それぞれをＮビットとする場合は、付加ビットをＭとすると、出力の最上位ビットｚ［１］に対し、入力はｕ［１］、ｕ［２］、…、ｕ［１＋Ｍ］となる。

【0056】

図１９は、本実施形態に係るＬＵＴの入力と出力を説明するための図である。なお、図１９は、Ｎ＝８、Ｍ＝１の場合の例である。図１９のように、本実施形態では、ｚの上位ビットほど入力ｕのビットを削減するが、第１実施形態とは削減するビット数が異なる。最上位のｚ［１］（ｇ１５１）の場合は、入力ｕをｕ［１］，ｕ［２］のように８ビットから２ビットに削減する。ｚ［２］（ｇ１５２）の場合は、入力ｕをｕ［１］，ｕ［２］，ｕ［３］のように８ビットから３ビットに削減する。ｚ［３］（ｇ１５３）の場合は、入力ｕをｕ［１］，ｕ［２］，ｕ［３］，ｕ［４］のように８ビットから４ビットに削減する。ｚ［４］（ｇ１５４）の場合は、入力ｕをｕ［１］，ｕ［２］，ｕ［３］，ｕ［４］，ｕ［５］のように８ビットから５ビットに削減する。ｚ［５］（ｇ１５５）の場合は、入力ｕをｕ［１］，ｕ［２］，ｕ［３］，ｕ［４］，ｕ［５］，ｕ［６］のように８ビットから６ビットに削減する。ｚ［６］（ｇ１５６）の場合は、入力ｕをｕ［１］，ｕ［２］，ｕ［３］，ｕ［４］，ｕ［５］，ｕ［６］，ｕ［７］のように８ビットから７ビットに削減する。ｚ［７］（ｇ１５７）と最下位のｚ［８］（ｇ２８）の場合は、入力ｕをｕ［１］～ｕ［８］の８ビットのままとする。

【0057】

この構成の場合、全構成メモリ数は７６４（＝２^２＋２^３＋２^４＋２^５＋２^６＋２^７＋２^８＋２^８）となり、図４の比較例の構成と比較して約６３％（＝（１－７６４／２０４８）×１００）削減できる。図２１の構成において、３ビット（Ｎ＝３）の場合は、例えばＦＦ（フリップフロップ）回路２０（＝２^２＋２^３＋２^３）個で実現できる。ただし、表現可能な論理関数には制限が生じる。また、図１９に示した構成は一例であり、これに限らない。各出力ビットに対して入力となるビットは様々な組み合わせが可能である。

【0058】

次に、実装条件を説明する。
図２０は、入力信号ｕと出力信号ｚのビット幅と分割を説明するための図である。入力信号ｕと出力信号ｚのビット幅をＮとする。このとき、活性化関数の２次元領域を２^ＮＭ×２^Ｎ分割する。すなわち最上位ビットでは２Ｍ×２（ｇ１６１）、最上位から２ビット目では４Ｍ×４（ｇ１６２）、最下位ビットでは２^ＮＭ×２^Ｎ分割になる。このように、まず、出力ビット数Ｎ全てについて２次元座標に展開する。この場合、入力ビット幅＝出力ビット幅＝Ｎの場合の条件（ただし各ＬＵＴの入力数は最上位ビットから１＋Ｍ，２＋Ｍ，…，Ｎとする）、すなわち実装可能な活性化関数条件は、各分割で活性化関数が通る領域が列ごとに１つだけであることである。

【0059】

この条件の具体例を説明する。図２１は、Ｍ＝１、Ｎ＝３の場合を説明するための図である。なお、図２１では、説明を簡単にするため３ビットの例を示している。Ｍ＝１、Ｎ＝３の場合、図２１のようにｚ＝２ｕの関係であれば、条件を満たすため実装可能である。すなわち、最上位ビット（ｇ１７１）、最上位から２ビット（ｇ１７２）、最上位から３ビット目（ｇ１７３）それぞれでは、ｚ＝２ｕの活性化関数が列ごとに１つずつである。この関係は、最下位ビットの２^Ｎ×２^ＮＭ分割でも同様である。このような構成によれば、図９を用いて説明したＭ＝０の時に実現できなかたｙ＝２ｘが実装可能になる。なお、傾きが負である場合にも実装可能である。

【0060】

＜変形例＞
上述したように、グラフを分割し、分割した列の１つだけを通る活性化関数であれば実装可能である。しかしながら、これらの条件を満たさない活性化関数も存在しうる。

【0061】

図２２は、活性化関数ｇ１９１が領域を跨ぐ例を示す図である。なお、図２２では、説明を簡単にするため３ビットの例を示している。図２２のように、最上位から３ビット目（ｇ１８３）ではｚ＝ｕの活性化関数が列ごとに１つずつである。しかし、最上位ビット（ｇ１８１）では活性化関数が（ｕ，ｚ）＝（０，０）、（０，１）で２つの列を跨いでいる。また、最上位ビットから２ビット（ｇ１８２）では活性化関数が（ｕ，ｚ）＝（００，００）、（００，０１）、（０１，０１）、（０１，１０）、（１０，１０）、（１０，１１）、および（１１，１１）で２つの列を跨いでいる。

【0062】

このため、活性化関数演算処理装置１は、このように活性化関数が２つ以上の列をまたぐ場合、活性化関数を近似（ｇ１９２）する。このように近似化することによって、最上位ビット（ｇ１８１）、最上位から２ビット（ｇ１８２）、最上位から３ビット目（ｇ１８３）それぞれでは、ｚ＝２ｕの活性化関数が列ごとに１つずつになるこの結果、条件に合致するため実装可能である。

【0063】

以上のように、各実施形態、変形例によれば、活性化関数演算処理装置１は、ＬＵＴ（ルックアップテーブル）のメモリ内の値を変更することで回路構造を変更せずとも様々な活性化関数に対応可能である。また、各実施形態、変形例によれば、ＬＵＴのメモリの割り当てによって関数を表現しているので、回路面積の削減できる。

【0064】

なお、上述した各実施形態、変形例は、監視カメラ、組込みカメラ、仮想現実／拡張現実システム、ＩｏＴ／ビッグデータ処理等に適用できる。
また、低電力、かつ多様なＤＮＮアルゴリズムに対応した各実施形態、変形例をエッジ側のアクセラレータとして使用することで以下の応用が考えられる。
（１）監視カメラ：対象物をカメラが認識することで、行動監視などを同時並列に実行可能。
（２）組み込みカメラ：サーバに接続することなく顔認証が可能となり、製品が持ち主を認識できるようになる。
（３）仮想現実／拡張現実システム：一般的な３０［ｆｐｓ］の処理を想定すると、１枚の処理にかかる時間は約３３［ｍｓ］である。エッジ側で処理を行うことで低レイテンシな処理が可能となり、仮想現実酔い等を防ぐことができる。
（４）ＩｏＴ／ビッグデータ処理：各種センサをエッジ側で統合することで異常検知に用いる。

【0065】

これらは主に画像処理が中心であるが、エッジ端末では画像以外の時系列処理にも対応するため、ＣＮＮやＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など多岐にわたったＤＮＮモデルの活性化関数への対応が可能である。上述した実施形態または変形例によれば、現状の多くのＡＩチップがＣＮＮを対象としているが、様々な活性化関数に対応したエッジ端末が実現することで、接続センサ搭載ＤＮＮモデルに依存しないエッジ端末が実現可能となる。

【0066】

なお、上述した実施形態または変形例は、ＣＮＮ、ＲＮＮ、ＤＮＮのいずれにも適用可能である。また、上述した実施形態または変形例は、活性化関数が非線形関数に限らず線形関数であってもよい。また、活性化関数は、ＲｅＬＵ、Ｌｅａｋｙ ＲｅＬＵ、Ｈａｒｄ Ｓｉｇｍｏｉｄ、Ｈａｒｄ ｔａｎｈに限らず、他の関数であってもよい。さらに、活性化関数は、曲線を含むものであってもよい。その場合は、近似部１２（図１）が活性化関数の全てまたは一部を近似するようにしてもよい。

【0067】

なお、上述した実施形態または変形例では、説明を簡略化するために、活性化関数の入出力が８ビットの例を説明したが、これに限らない。入力は８ビット未満であってもよく、８ビットより大きくてもよい。

【0068】

以上、本発明の実施形態と変形例を説明したが、これらの実施形態と変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態と変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合わせを行うことができる。これら実施形態及びその変形例は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0069】

１…活性化関数演算処理装置、１１…取得部、１２…近似部、１３…設定部、１４…確認部、１５…真理値表作成部、１６…書込部、１７…ＬＵＴ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】