特許 7447034 シナプス回路およびニューラルネットワーク装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-01

(45)【発行日】2024-03-11

(54)【発明の名称】シナプス回路およびニューラルネットワーク装置

(51)【国際特許分類】

   G06N 3/063 20230101AFI20240304BHJP

   G06N 3/08 20230101ALI20240304BHJP

   G06N 3/049 20230101ALI20240304BHJP

【ＦＩ】

G06N3/063

G06N3/08

G06N3/049

【請求項の数】 11

(21)【出願番号】P 2021027592

(22)【出願日】2021-02-24

(65)【公開番号】P2022129049

(43)【公開日】2022-09-05

【審査請求日】2023-02-07

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】野村 久美子

(72)【発明者】

【氏名】西 義史

(72)【発明者】

【氏名】丸亀 孝生

(72)【発明者】

【氏名】水島 公一

【審査官】円子 英紀

(56)【参考文献】

【文献】特表２０１４－５２３５９２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０１７３４７１（ＵＳ，Ａ１）

【文献】特表２０１４－５３２９０７（ＪＰ，Ａ）

【文献】特表２０１７－５１５２０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０２－３／１０

(57)【特許請求の範囲】

【請求項1】

学習によって変更されるウェイト値が設定され、前段ニューロン回路から２値の入力信号を受け取り、後段ニューロン回路へと出力信号を出力するシナプス回路であって、
前記入力信号に対して前記ウェイト値の影響を加えた前記出力信号を前記後段ニューロン回路へと供給する伝播回路と、
前記ウェイト値が予め定められた基準値より小さい場合、前記伝播回路から前記後段ニューロン回路への前記出力信号の出力を停止させる制御回路と、
を備えるシナプス回路。

【請求項2】

前記ウェイト値を、スパイクタイミング依存シナプス可塑性学習により更新する学習回路
をさらに備える請求項１に記載のシナプス回路。

【請求項3】

前記伝播回路は、前記入力信号を、前記ウェイト値に応じた時間分遅延させた前記出力信号を出力する
請求項１または２に記載のシナプス回路。

【請求項4】

前記伝播回路は、前記ウェイト値が大きいほど、前記入力信号を受け取ってから前記出力信号を出力するまでの遅延時間を短くする
請求項３に記載のシナプス回路。

【請求項5】

前記前段ニューロン回路から前記入力信号を受け取り、前記伝播回路へと前記入力信号を与えるか否かを切り替えるスイッチ回路をさらに備え、
前記制御回路は、
前記ウェイト値が前記基準値以上である場合、前記スイッチ回路をオン状態にして、前記伝播回路へと前記入力信号を与えさせ、
前記ウェイト値が前記基準値より小さい場合、前記スイッチ回路をオフ状態にして、前記伝播回路へと前記入力信号を与えない
請求項１から４の何れか１項に記載のシナプス回路。

【請求項6】

設定された前記ウェイト値に応じたウェイト電圧を発生するウェイト保持回路をさらに備え、
前記制御回路は、
前記基準値に応じた基準値電圧を受け取り、前記基準値電圧と前記ウェイト電圧を比較し、
前記ウェイト電圧が前記基準値電圧以上である場合、前記スイッチ回路を前記オン状態にして、前記伝播回路へと前記入力信号を与えさせ、
前記ウェイト電圧が前記基準値電圧より小さい場合、前記スイッチ回路を前記オフ状態にして、前記伝播回路へと前記入力信号を与えない
請求項５に記載のシナプス回路。

【請求項7】

前記伝播回路は、
前記ウェイト値に応じた電流値のウェイト電流を流すウェイト電流回路と、
前記入力信号に応じて、前記ウェイト電流回路に前記ウェイト電流を流させるか否かを切り替える入力回路と、
第１端子および第２端子を有し、前記第１端子に定電圧が印加されるキャパシタと、
前記第２端子に発生するキャパシタ電圧に応じた前記出力信号を出力する出力回路と、
前記入力回路により前記ウェイト電流が流される場合、前記第２端子から前記ウェイト電流の電流値に応じたキャパシタ電流を吸い出す、または、前記キャパシタ電流を前記第２端子に供給することにより、前記キャパシタに蓄積される電荷を減少または増加させる電荷調整回路と、
を有する
請求項１から６の何れか１項に記載のシナプス回路。

【請求項8】

前記基準値を変更する変更回路をさらに備え、
前記変更回路は、
前記ウェイト値が前記基準値より小さい場合、予め設定されている下限基準値を下限として、前記基準値を時間経過に従って段階的に減少させ、
前記ウェイト値が前記基準値以上である場合、前記下限基準値より大きい上限基準値を上限として、前記基準値を時間経過に従って段階的に増加させる
請求項１から７の何れか１項に記載のシナプス回路。

【請求項9】

前記基準値を変更する変更回路をさらに備え、
前記変更回路は、
前記ウェイト値が前記基準値より小さくなったタイミングから予め設定された時間を経過した後において、前記基準値を下限基準値に変更し、
前記ウェイト値が前記基準値以上となったタイミングから予め設定された時間を経過した後において、前記基準値を前記下限基準値より大きい上限基準値に変更する
請求項１から７の何れか１項に記載のシナプス回路。

【請求項10】

請求項１から９の何れか１項に記載のシナプス回路を有する
ニューラルネットワーク装置。

【請求項11】

複数のレイアのうちの第１レイヤから出力された信号を、前記第１レイヤまたは前記第１レイヤより前段のレイヤにフィードバックさせる再帰構造を有する
請求項１０に記載のニューラルネットワーク装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、シナプス回路およびニューラルネットワーク装置に関する。

【背景技術】

【0002】

近年、ハードウェア化したニューラルネットワークを用いて、脳型プロセッサを実現する技術が提案されている。このような脳型プロセッサは、シナプス回路を有する。シナプス回路は、重みを表すウェイト値が設定され、前段のニューロンから受け取った信号に対してウェイト値の影響を加えた信号を、後段のニューロンへと与える。

【0003】

シナプス回路に設定されているウェイト値は、所定の学習方法により更新される。脳型プロセッサの学習方法として、スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）を用いた学習が知られている。

【0004】

ＳＴＤＰ学習は、前段のニューロンが発火したことに応じて、前段のニューロンの次に配置された後段のニューロンが発火する場合、前段のニューロンと後段のニューロンとの間のシナプス回路に設定されたウェイト値を大きくする。反対に、ＳＴＤＰ学習は、ほとんど発火しない前段のニューロンと後段のニューロンとの間のシナプス回路に設定されるウェイト値を小さくする。これにより、ＳＴＤＰ学習は、関連性の強いニューロンの間のシナプス回路のウェイト値を大きくし、関連性の弱いニューロン間のシナプス回路のウェイト値を小さくすることができる。

【0005】

ところで、ＳＴＤＰ学習によりウェイト値を更新した場合、複数の前段のニューロンのうちの１つが頻繁に発火しているような場合がある。このような場合、発火の頻度が低い他の前段のニューロンの発火タイミングが、偶然に、後段のニューロンの発火タイミングと一致する確率が高くなる。ＳＴＤＰ学習では、このような場合、発火の頻度が低い他の前段のニューロンと、後段のニューロンとの間の関連性が強いと判断し、シナプス回路に設定されたウェイト値を大きくしてしまう。このため、ＳＴＤＰ学習では、学習の途中段階で、頻繁に発火している前段のニューロンの影響により、関連性が低い前段のニューロンと後段のニューロンとの間のシナプス回路のウェイト値を大きくしてしまう場合があった。

【0006】

学習の途中段階で、このように関連性が低いニューロン間のウェイト値を大きくしてしまうと、学習が収束するまでの時間が長くなってしまう可能性があった。また、精度の良い結果が得られるまでニューラルネットワークを学習させることができない可能性も残り、ニューラルネットワークの精度を安定化させることができない可能性もあった。

【先行技術文献】

【非特許文献】

【0007】

【文献】Elisabetta Chicca， et al.， “Neuromorphic Electronic Circuits for Building Autonomous Cognitive Systems”， Proceedings of the IEEE (Volume: 102 , Issue: 9 , Sept. 2014)， P1367-1388，２０１４年５月１日

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明が解決しようとする課題は、学習が収束するまでの時間を短くし、学習の精度を安定化させることができるシナプス回路およびニューラルネットワーク装置を提供することにある。

【課題を解決するための手段】

【0009】

実施形態に係るシナプス回路は、学習によって変更されるウェイト値が設定され、前段ニューロン回路から２値の入力信号を受け取り、後段ニューロン回路へと出力信号を出力する。前記シナプス回路は、伝播回路と、制御回路とを備える。前記伝播回路は、前記入力信号に対して前記ウェイト値の影響を加えた前記出力信号を前記後段ニューロン回路へと供給する。前記制御回路は、前記ウェイト値が予め定められた基準値より小さい場合、前記伝播回路から前記後段ニューロン回路への前記出力信号の出力を停止させる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係るニューラルネットワーク装置の構成の一例を示す図。

【図2】複数のシナプス回路の接続関係を示す図。

【図3】学習回路による処理を説明するための図。

【図4】リザーバーコンピューティングの構成を示す図。

【図5】シナプス回路の構成を示す図。

【図6】出力を停止させない場合の学習回数に対するウェイト値の一例を示す図。

【図7】出力を停止する場合の学習回数に対するウェイト値の一例を示す図。

【図8】出力を停止させない場合の学習回数に対する正確性の一例を示す図。

【図9】出力を停止する場合の学習回数に対する正確性の一例を示す図。

【図10】変形例に係るシナプス回路の構成を示す図。

【図11】変更回路の処理の流れを示す図。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら実施形態に係るニューラルネットワーク装置１０について説明する。実施形態に係るニューラルネットワーク装置１０は、ハードウェアにより実現され、学習が収束するまでの時間を短くし、学習の精度を安定化させる。この結果、実施形態に係るニューラルネットワーク装置１０は、精度の良い推論を実行することができる。

【0012】

図１は、実施形態に係るニューラルネットワーク装置１０の構成の一例を示す図である。ニューラルネットワーク装置１０は、Ｎ段（Ｎは２以上の整数）のレイヤ２２と、（Ｎ－１）個のシナプス部２４と、学習回路２６とを備える。

【0013】

Ｎ段のレイヤ２２のそれぞれは、複数のニューロン回路３０を含む。複数のニューロン回路３０のそれぞれは、前段のレイヤ２２から出力された複数の信号を取得し、取得した複数の信号に対して積和演算処理を実行する。なお、Ｎ段のレイヤ２２のうち１段目のレイヤ２２は、外部の装置または入力レイヤから複数の信号を取得する。そして、複数のニューロン回路３０のそれぞれは、積和演算結果を表す信号に対して活性化関数処理を行った信号を出力する。複数のニューロン回路３０のそれぞれは、積和演算処理および活性化関数処理を、例えばアナログ回路により実行する。

【0014】

（Ｎ－１）個のシナプス部２４のそれぞれは、複数のシナプス回路４０を含む。複数のシナプス回路４０のそれぞれは、学習回路２６によりウェイト値が設定される。

【0015】

（Ｎ－１）個のシナプス部２４のうちのｎ番目（ｎは、１以上、（Ｎ－１）以下の整数）のシナプス部２４は、ｎ段目のレイヤ２２と、（ｎ＋１）段目のレイヤ２２との間に配置される。

【0016】

ｎ番目のシナプス部２４に含まれる複数のシナプス回路４０のそれぞれは、ｎ段目のレイヤ２２に含まれる複数のニューロン回路３０のうちの１つのニューロン回路３０から出力された信号を２値の入力信号として受け取る。ｎ番目のシナプス部２４に含まれる複数のシナプス回路４０のそれぞれは、受け取った入力信号に対して、設定されたウェイト値の影響を加えた出力信号を生成する。本実施形態において、出力信号は、２値の電圧信号である。これに代えて、出力信号は、アナログ値（連続値）で表された電流であってもよいし、アナログ値（連続値）で表された電圧であってもよい。そして、ｎ番目のシナプス部２４に含まれる複数のシナプス回路４０のそれぞれは、（ｎ＋１）段目のレイヤ２２に含まれる複数のニューロン回路３０のうちの１つのニューロン回路３０に出力信号を与える。

【0017】

学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を更新する。学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を、スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）学習により更新する。

【0018】

このようなニューラルネットワーク装置１０は、１段目のレイヤ２２が外部装置または入力レイヤから１または複数の信号を受け取る。そして、ニューラルネットワーク装置１０は、受け取った１または複数の信号に対してニューラルネットワークによる演算を実行した結果を表す１または複数の信号を、Ｎ段目のレイヤ２２から出力する。

【0019】

図２は、複数のシナプス回路４０の接続関係を示す図である。シナプス回路４０は、学習回路２６によりウェイト値が設定されている。

【0020】

シナプス回路４０は、前段のレイヤ２２に含まれる何れかのニューロン回路３０である前段ニューロン回路３２から、２値の入力信号を受け取る。シナプス回路４０は、受け取った２値の入力信号に設定されたウェイト値の影響を加えた出力信号を出力する。例えば、図２に示した３つのシナプス回路４０のそれぞれは、学習回路２６によりウェイト値（Ｗ_１，Ｗ_２，Ｗ_３）が設定されている。

【0021】

本実施形態において、シナプス回路４０は、２値の入力信号を、設定されたウェイト値に応じた時間分遅延させた２値の出力信号を出力する。すなわち、本実施形態において、シナプス回路４０は、前段ニューロン回路３２の発火タイミングを、設定されたウェイト値に応じた時間分遅延させた出力信号を出力する。例えば、シナプス回路４０は、設定されたウェイト値が大きいほど、入力信号を受け取ってから出力信号を出力するまでの遅延時間を短くする。そして、シナプス回路４０は、出力信号を対応する後段ニューロン回路３４に与える。

【0022】

なお、シナプス回路４０は、入力信号が発火した場合に、設定されたウェイト値に応じた電流量の電流である出力信号を出力してもよい。また、シナプス回路４０は、入力信号の発火時間または発火回数に、設定されたウェイト値を乗じた値に応じた電流量の電流である出力信号を出力してもよい。この場合、シナプス回路４０は、設定されたウェイト値が大きいほど、出力信号の電流量を大きくする。この場合、後段ニューロン回路３４は、アナログ値（連続値）で表された出力信号をシナプス回路４０から受け取る。また、同様に、シナプス回路４０は、電流値に代えて、電圧値で表された出力信号を出力してもよい。

【0023】

図３は、学習回路２６による処理を説明するための図である。学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を更新する。学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を、スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）学習により更新する。

【0024】

学習回路２６は、あるシナプス回路４０（第１シナプス回路４０－１）に設定されているウェイト値を式（１）に従い更新する。

【0025】

Ｗ_ｉｊ（ｔ＋Δｔ）＝Ｗ_ｉｊ（ｔ）＋ΔＷ_ｉｊ（ｔ）…（１）

【0026】

Δｔは、単位時間を表す。ｔは、任意の時刻を表す。（ｔ＋Δｔ）は、時刻（ｔ）から単位時間（Δｔ）を経過した後の時刻を表す。

【0027】

Ｗ_ｉｊ（ｔ）は、時刻（ｔ）において、第１シナプス回路４０－１に設定されているウェイト値を表す。Ｗ_ｉｊ（ｔ＋ｔΔ）は、時刻（ｔ＋Δｔ）において、第１シナプス回路４０－１に設定されているウェイト値を表す。

【0028】

ここで、ΔＷ_ｉｊ（ｔ）は、式（２）のように算出される。

【0029】

ΔＷ_ｉｊ（ｔ）＝η_ＳＴＤＰ（ｘ_ｉ（ｔ）×ｘ_ｊ（ｔ－Δｔ）－ｘ_ｉ（ｔ－Δｔ）×ｘ_ｊ（ｔ））…（２）

【0030】

（ｔ－Δｔ）は、時刻（ｔ）から、単位時間（Δｔ）前の時刻を表す。η_ＳＴＤＰは、所定の定数を表す。

【0031】

ｘ_ｉ（ｔ）は、時刻（ｔ）において、第１シナプス回路４０－１に接続された後段ニューロン回路３４から出力される信号の値を表す。ｘ_ｊ（ｔ）は、時刻（ｔ）において、第１シナプス回路４０－１に接続された前段ニューロン回路３２から出力される信号の値を表す。

【0032】

ｘ_ｉ（ｔ－Δｔ）は、時刻（ｔ－Δｔ）において、第１シナプス回路４０－１に接続された後段ニューロン回路３４から出力される信号の値を表す。ｘ_ｊ（ｔ－Δｔ）は、時刻（ｔ－Δｔ）において、第１シナプス回路４０－１に接続された前段ニューロン回路３２から出力される信号の値を表す。

【0033】

なお、ｘ_ｉ（ｔ）、ｘ_ｊ（ｔ）、ｘ_ｉ（ｔ－Δｔ）およびｘ_ｊ（ｔ－Δｔ）は、０または１を表す。また、ｘ_ｉ（ｔ）、ｘ_ｊ（ｔ）、ｘ_ｉ（ｔ－Δｔ）およびｘ_ｊ（ｔ－Δｔ）は、１の場合に、発火を表す。

【0034】

式（２）で表されるΔＷ_ｉｊ（ｔ）は、時刻（ｔ－Δｔ）において前段ニューロン回路３２が発火し、単位時刻（Δｔ）後の時刻（ｔ）において前段ニューロン回路３２が発火した場合、η_ＳＴＤＰとなり、他の場合には、０となる。

【0035】

すなわち、学習回路２６は、前段ニューロン回路３２から出力される信号が発火したことに応じて、後段ニューロン回路３４から出力される信号が発火した場合、シナプス回路４０に設定されたウェイト値を所定量増加させる。これにより、学習回路２６は、複数のシナプス回路４０のそれぞれに設定されるウェイト値をＳＴＤＰ学習させることができる。

【0036】

さらに、学習回路２６は、複数のシナプス回路４０のウェイト値が大きくなりすぎて適切に推論が行えなくなることを防止するために、正規化処理を実行する。正規化処理において、学習回路２６は、１つのニューロンの入力段に接続されている複数のシナプス回路４０に設定されている複数のウェイト値の和を、一定値以下にするように調整する。これにより、学習回路２６は、複数のウェイト値を一律に小さくして、ニューロンを適切に発火させることができる。なお、学習回路２６は、関連性の強いニューロン間のシナプス回路４０に設定されたウェイト値を相対的に大きくし、関連性の弱いニューロン間のシナプス回路４０に設定されたウェイト値を相対的に小さくすることができれば、正規化処理に代えてまたは正規化処理に加えて、他の処理を実行してもよい。

【0037】

ニューラルネットワーク装置１０は、順伝播型のネットワークに限らず、再帰型のネットワークであってもよい。すなわち、ニューラルネットワーク装置１０は、複数のレイアのうちの第１レイヤから出力された信号を、第１レイヤまたは第１レイヤより前段のレイヤにフィードバックさせる再帰構造を有するリカレントニューラルネットワークであってもよい。また、ニューラルネットワーク装置１０は、一部のレイヤが並列に構成されていてもよい、ネットワークの一部が分岐した構成であってもよい。

【0038】

図４は、リザーバーコンピューティングの構成を示す図である。リザーバーコンピューティングは、入力層４４と、リカレントニューラルネットワークであるリザーバー層４６と、出力層４８とを備える。ニューラルネットワーク装置１０は、このようなリザーバーコンピューティングにおける、リザーバー層４６として用いられてもよい。

【0039】

図５は、シナプス回路４０の構成を示す図である。シナプス回路４０は、ウェイト保持回路５２と、スイッチ回路５４と、伝播回路５６と、制御回路５８とを備える。

【0040】

ウェイト保持回路５２は、学習回路２６により設定されたウェイト値（Ｗ）を保持する。ウェイト保持回路５２は、例えばウェイト値（Ｗ）に応じて抵抗値が変化する可変抵抗器を含んでもよい。ウェイト保持回路５２は、例えば、ウェイト値（Ｗ）に応じた電荷を蓄積する保持用キャパシタを含んでもよい。また、ウェイト保持回路５２は、メモリ等を有し、ウェイト値（Ｗ）に応じたデジタル値を記憶してもよい。本実施形態においては、ウェイト保持回路５２は、設定されているウェイト値（Ｗ）に応じたウェイト電圧（Ｖ_Ｗ）を発生する。

【0041】

スイッチ回路５４は、前段ニューロン回路３２から出力された２値の入力信号（Ｓ_ｉｎ）を受け取る。スイッチ回路５４は、制御信号（Ｓ_ｃｏｎｔ）に応じて、受け取った入力信号（Ｓ_ｉｎ）を伝播回路５６に与えるか否かを切り替える。スイッチ回路５４は、制御信号（Ｓ_ｃｏｎｔ）が１の場合、オン状態となり、受け取った入力信号（Ｓ_ｉｎ）を伝播回路５６に与える。スイッチ回路５４は、制御信号（Ｓ_ｃｏｎｔ）が０の場合、オフ状態となり、受け取った入力信号（Ｓ_ｉｎ）を伝播回路５６に与えない。

【0042】

本実施形態においては、スイッチ回路５４は、スイッチング動作をするＭＯＳ－ＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）である。図５の例では、スイッチ回路５４は、ＮチャネルＭＯＳ－ＦＥＴである。ＭＯＳ－ＦＥＴであるスイッチ回路５４は、ゲートに制御回路５８から制御信号（Ｓ_ｃｏｎｔ）が印加され、ドレインに前段ニューロン回路３２から入力信号（Ｓ_ｉｎ）が印加され、ソースが伝播回路５６に接続される。

【0043】

伝播回路５６は、スイッチ回路５４を介して、前段ニューロン回路３２から入力信号（Ｓ_ｉｎ）を受け取る。そして、伝播回路５６は、入力信号（Ｓ_ｉｎ）に対してウェイト値（Ｗ）の影響を加えた出力信号（Ｓ_ｏｕｔ）を後段ニューロン回路３４へと供給する。例えば、伝播回路５６は、入力信号（Ｓ_ｉｎ）を、ウェイト値（Ｗ）に応じた時間分遅延させた出力信号（Ｓ_ｏｕｔ）を出力する。本実施形態においては、伝播回路５６は、ウェイト値（Ｗ）が大きいほど、入力信号（Ｓ_ｉｎ）を受け取ってから出力信号（Ｓ_ｏｕｔ）を出力するまでの遅延時間を短くする。

【0044】

なお、伝播回路５６は、スイッチ回路５４がオフ状態である場合、入力信号（Ｓ_ｉｎ）を受け取らない。伝播回路５６は、スイッチ回路５４がオフ状態である場合、出力信号（Ｓ_ｏｕｔ）の出力を停止する。例えば、伝播回路５６は、スイッチ回路５４がオフ状態である場合、ウェイト値（Ｗ）が最小値（例えば、０）である状態において出力される出力信号（Ｓ_ｏｕｔ）を出力する。

【0045】

本実施形態において、伝播回路５６は、ウェイト電流回路６２と、入力回路６４と、キャパシタ６６と、出力増幅回路６８と、出力回路７０と、電荷調整回路７２と、第１定電流回路７４と、第２定電流回路７６とを含む。

【0046】

ウェイト電流回路６２は、ウェイト保持回路５２に設定されたウェイト値（Ｗ）に応じた電流値のウェイト電流（Ｉ_Ｗ）を流す。例えば、ウェイト電流回路６２は、ウェイト値（Ｗ）に比例したウェイト電流（Ｉ_Ｗ）を流す。

【0047】

ウェイト電流回路６２は、入力回路６４がオン状態の場合に、ノードＡからウェイト電流（Ｉ_Ｗ）を吸い出して、基準電位（グランド）へと流す。ウェイト電流回路６２は、入力回路６４がオフ状態の場合に、ウェイト電流（Ｉ_Ｗ）を流さない。すなわち、ウェイト電流回路６２は、ウェイト電流を０とする。

【0048】

本実施形態においては、ウェイト電流回路６２は、ＭＯＳ－ＦＥＴである。図５の例では、ウェイト電流回路６２は、ＮチャネルＭＯＳ－ＦＥＴである。

【0049】

ＭＯＳ－ＦＥＴであるウェイト電流回路６２は、ゲートにウェイト電圧（Ｖ_Ｗ）が印加され、ドレインがノードＡに接続される。そして、ＭＯＳ－ＦＥＴであるウェイト電流回路６２は、ウェイト電圧（Ｖ_Ｗ）に応じた電流量のウェイト電流（Ｉ_Ｗ）をドレイン－ソース間に流す。

【0050】

入力回路６４は、前段ニューロン回路３２から出力された２値の入力信号（Ｓ_ｉｎ）を、スイッチ回路５４を介して受け取る。入力回路６４は、スイッチ回路５４がオン状態の場合、前段ニューロン回路３２から出力された２値の入力信号（Ｓ_ｉｎ）に応じて、ウェイト電流回路６２にウェイト電流（Ｉ_Ｗ）を流させるか否かを切り替える。例えば、入力回路６４は、スイッチ回路５４がオン状態であり、且つ、入力信号（Ｓ_ｉｎ）が１の場合に、ウェイト電流（Ｉ_Ｗ）を流させる。例えば、入力回路６４は、スイッチ回路５４がオン状態であり、且つ、入力信号（Ｓ_ｉｎ）が０の場合に、ウェイト電流（Ｉ_Ｗ）を流させない。つまり、入力回路６４は、スイッチ回路５４がオン状態であり、且つ、入力信号（Ｓ_ｉｎ）が０の場合に、ウェイト電流（Ｉ_Ｗ）を０とする。また、入力回路６４は、スイッチ回路５４がオフ状態である場合には、ウェイト電流（Ｉ_Ｗ）を流させない。つまり、入力回路６４は、スイッチ回路５４がオフ状態である場合には、入力信号（Ｓ_ｉｎ）が０の場合に、ウェイト電流（Ｉ_Ｗ）を０とする。

【0051】

本実施形態においては、入力回路６４は、スイッチング動作をするＭＯＳ－ＦＥＴである。図５の例では、入力回路６４は、ＮチャネルＭＯＳ－ＦＥＴである。ＭＯＳ－ＦＥＴである入力回路６４は、ゲートに入力信号（Ｓ_ｉｎ）が印加され、ドレインがウェイト電流回路６２のソースに接続され、ソースが基準電位（グランド）に接続される。

【0052】

そして、ＭＯＳ－ＦＥＴである入力回路６４は、スイッチ回路５４がオン状態であり、且つ、入力信号（Ｓ_ｉｎ）が１の場合にオン状態となり、ウェイト電流回路６２のソースをグランドに接続することにより、ウェイト電流回路６２にウェイト電流（Ｉ_Ｗ）を流させる。また、ＭＯＳ－ＦＥＴである入力回路６４は、スイッチ回路５４がオン状態であり、且つ、入力信号（Ｓ_ｉｎ）が０の場合にオフ状態となり、ウェイト電流回路６２のソースをグランドから切断することにより、ウェイト電流回路６２にウェイト電流（Ｉ_Ｗ）を流させない。また、ＭＯＳ－ＦＥＴである入力回路６４は、スイッチ回路５４がオフ状態である場合、ウェイト電流回路６２のソースをグランドから切断することにより、ウェイト電流回路６２にウェイト電流（Ｉ_Ｗ）を流させない。

【0053】

キャパシタ６６は、第１端子６６ａおよび第２端子６６ｂを有する。キャパシタ６６の第１端子６６ａは、定電圧が発生される電源電位（例えば、ＶＤＤ）に接続される。このようなキャパシタ６６は、第１端子６６ａに定電圧が印加される。また、キャパシタ６６は、第２端子６６ｂにキャパシタ電圧（Ｖ_Ｃ）を発生する。キャパシタ電圧（Ｖ_Ｃ）は、電源電位から、キャパシタ６６により発生される電圧を減じた値である。キャパシタ６６により発生される電圧は、蓄積した電荷量を静電容量で除算した電圧である。

【0054】

出力増幅回路６８は、キャパシタ６６の第２端子６６ｂに発生するキャパシタ電圧（Ｖ_Ｃ）に応じてオン状態またはオフ状態を切り替える。例えば、出力増幅回路６８は、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）以下である場合にオン状態となり、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）より大きい場合にオフ状態となる。

【0055】

例えば、出力増幅回路６８は、スイッチング動作をするＭＯＳ－ＦＥＴである。図５の例では、出力増幅回路６８は、ＰチャネルＭＯＳ－ＦＥＴである。ＰチャネルＭＯＳ－ＦＥＴである出力増幅回路６８は、ゲートにキャパシタ電圧（Ｖ_Ｃ）が印加され、ソースが電源電位に接続され、ドレインが出力回路７０に接続される。そして、ＭＯＳ－ＦＥＴである出力増幅回路６８は、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）以下である場合にオン状態となり出力電流（Ｉ_ｏｕｔ）を出力回路７０に供給する。また、ＭＯＳ－ＦＥＴである出力増幅回路６８は、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）より大きい場合にオフ状態となり、出力電流（Ｉ_ｏｕｔ）の出力を停止する。

【0056】

出力回路７０は、キャパシタ６６の第２端子６６ｂに発生するキャパシタ電圧（Ｖ_Ｃ）に応じた出力信号（Ｓ_ｏｕｔ）を出力する。例えば、出力回路７０は、キャパシタ電圧（Ｖ_Ｃ）を閾値電圧（Ｖ_ｔ）で２値化した２値の出力信号（Ｓ_ｏｕｔ）を出力する。

【0057】

例えば、出力回路７０は、出力増幅回路６８から出力電流（Ｉ_ｏｕｔ）が供給された場合に１となり、出力増幅回路６８から出力電流（Ｉ_ｏｕｔ）が供給されない場合に０となる出力信号（Ｓ_ｏｕｔ）を出力する。すなわち、この場合、出力回路７０は、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）以下である場合に１となり、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）より大きい場合に０となる出力信号（Ｓ_ｏｕｔ）を出力する。

【0058】

なお、出力回路７０は、アナログ値（連続値）の電流である出力信号（Ｓ_ｏｕｔ）を出力してもよい。この場合、出力増幅回路６８は、スイッチング動作をせずに、キャパシタ電圧（Ｖ_Ｃ）に応じたアナログ値（連続値）の出力電流（Ｉ_ｏｕｔ）を流す電流増幅器として機能する。そして、出力回路７０は、出力電流（Ｉ_ｏｕｔ）をそのまま出力信号（Ｓ_ｏｕｔ）として出力する。また、出力回路７０は、出力電流（Ｉ_ｏｕｔ）に応じたアナログ値（連続値）の電圧信号を、出力信号（Ｓ_ｏｕｔ）として出力してもよい。

【0059】

電荷調整回路７２は、入力回路６４によりウェイト電流（Ｉ_Ｗ）が流される場合、ウェイト電流（Ｉ_Ｗ）の電流値に応じた時間変化量でキャパシタ６６に蓄積される電荷を減少または増加させる。例えば、電荷調整回路７２は、入力回路６４がオン状態の場合、キャパシタ６６に蓄積される電荷を減少または増加させる。

【0060】

また、電荷調整回路７２は、入力回路６４によりウェイト電流（Ｉ_Ｗ）が流されない場合、キャパシタ６６に蓄積される電荷を一定とする。例えば、電荷調整回路７２は、入力回路６４がオフ状態の場合、キャパシタ６６に蓄積される電荷を変化させない。

【0061】

例えば、電荷調整回路７２は、ダイオード接続されたＭＯＳ－ＦＥＴである。図５の例では、電荷調整回路７２は、ダイオード接続されたＮチャネルＭＯＳ－ＦＥＴである。ＮチャネルＭＯＳ－ＦＥＴである電荷調整回路７２は、ゲートとドレインとが接続され、ゲートにキャパシタ６６の第２端子６６ｂが接続され、ソースがノードＡに接続される。そして、ＭＯＳ－ＦＥＴである電荷調整回路７２は、ノードＡにウェイト電流（Ｉ_Ｗ）が流れる場合、キャパシタ６６の第２端子６６ｂからキャパシタ電流（Ｉ_Ｃ）を吸い出してノードＡへと供給する。または、ＭＯＳ－ＦＥＴである電荷調整回路７２は、ノードＡからキャパシタ電流（Ｉ_Ｃ）を吸い出してキャパシタ６６の第２端子６６ｂに供給する。

【0062】

これにより、電荷調整回路７２は、入力回路６４によりウェイト電流（Ｉ_Ｗ）が流される場合、キャパシタ電圧（Ｖ_Ｃ）を減少させ、入力回路６４によりウェイト電流（Ｉ_Ｗ）が流されない場合、キャパシタ電圧（Ｖ_Ｃ）を一定とさせることができる。従って、電荷調整回路７２は、入力回路６４がオン状態の場合、つまり、入力信号（Ｓ_ｉｎ）が１の場合、キャパシタ電圧（Ｖ_Ｃ）を減少させることができる。また、電荷調整回路７２は、入力回路６４がオフ状態の場合、つまり、入力信号（Ｓ_ｉｎ）が０の場合、キャパシタ電圧（Ｖ_Ｃ）を一定とすることができる。

【0063】

第１定電流回路７４は、入力回路６４によりウェイト電流（Ｉ_Ｗ）が流される場合、予め定められた一定の第１電流（Ｉ_ｔａｕ）をノードＡへと供給する。例えば、第１定電流回路７４は、ＭＯＳ－ＦＥＴである。図５の例では、第１定電流回路７４は、ＰチャネルＭＯＳ－ＦＥＴである。ＰチャネルＭＯＳ－ＦＥＴである第１定電流回路７４は、ゲートに予め定められた一定の第１電圧（Ｖ_ｔａｕ）が印加され、ソースが電源電位に接続され、ドレインが電荷調整回路７２のドレインに接続される。そして、このような第１定電流回路７４は、入力回路６４によりウェイト電流（Ｉ_Ｗ）が流される場合、第１電流（Ｉ_ｔａｕ）を電荷調整回路７２を介してノードＡへと供給する。

【0064】

第２定電流回路７６は、入力回路６４によりウェイト電流（Ｉ_Ｗ）が流される場合、予め定められた一定の第２電流（Ｉ_ｔｈｒ）をノードＡへと供給する。例えば、第２定電流回路７６は、ＭＯＳ－ＦＥＴである。図５の例では、第２定電流回路７６は、ＮチャネルＭＯＳ－ＦＥＴである。ＮチャネルＭＯＳ－ＦＥＴである第２定電流回路７６は、ゲートに予め定められた一定の第２電圧（Ｖ_ｔｈｒ）が印加され、ドレインが電源電位に接続され、ソースがノードＡに接続される。そして、このような第２定電流回路７６は、入力回路６４によりウェイト電流（Ｉ_Ｗ）が流される場合、第２電流（Ｉ_ｔｈｒ）を電荷調整回路７２を介してノードＡへと供給する。

【0065】

このような伝播回路５６において、キャパシタ電圧（Ｖ_Ｃ）は、入力信号（Ｓ_ｉｎ）が０から１に変化した第１時刻（ｔ_１）から減少を開始する。そして、出力信号（Ｓ_ｏｕｔ）は、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）以下となった時刻で０から１に変化する。

【0066】

ここで、キャパシタ電圧（Ｖ_Ｃ）の時間変化量は、ウェイト電流（Ｉ_Ｗ）の大きさに応じて変化する。ウェイト電流（Ｉ_Ｗ）は、ウェイト保持回路５２により保持されているウェイト値（Ｗ）に応じた電流量である。

【0067】

従って、出力信号（Ｓ_ｏｕｔ）は、入力信号（Ｓ_ｉｎ）が０から１に変化した第１時刻から、ウェイト値（Ｗ）に応じた時間分遅延した時刻において、０から１に変化する。例えば、入力信号（Ｓ_ｉｎ）が０から１に変化してから、出力信号（Ｓ_ｏｕｔ）が０から１に変化する遅延時間は、ウェイト値（Ｗ）が大きい程、短い。従って、伝播回路５６は、前段ニューロン回路３２から受け取った入力信号（Ｓ_ｉｎ）をウェイト値（Ｗ）に応じた時間分遅延した出力信号（Ｓ_ｏｕｔ）を生成し、生成した出力信号（Ｓ_ｏｕｔ）を後段ニューロン回路３４へと供給することができる。

【0068】

制御回路５８は、ウェイト値（Ｗ）および予め設定された基準値を受け取る。そして、制御回路５８は、ウェイト値（Ｗ）が基準値以上である場合、伝播回路５６による入力信号（Ｓ_ｉｎ）に応じた出力信号（Ｓ_ｏｕｔ）の後段ニューロン回路３４へ出力させる。また、制御回路５８は、ウェイト値（Ｗ）が基準値より小さい場合、伝播回路５６から後段ニューロン回路３４へ出力信号（Ｓ_ｏｕｔ）の出力を停止させる。例えば、制御回路５８は、ウェイト値（Ｗ）が基準値以上である場合、スイッチ回路５４をオン状態にして、伝播回路５６へと入力信号（Ｓ_ｉｎ）を与えさせる。また、ウェイト値（Ｗ）が基準値より小さい場合、スイッチ回路５４をオフ状態にして、伝播回路５６へと入力信号（Ｓ_ｉｎ）を与えないようにする。

【0069】

本実施形態においては、制御回路５８は、コンパレータ等の比較回路８０を含む。比較回路８０は、設定されたウェイト値（Ｗ）に応じたウェイト電圧（Ｖ_Ｗ）をウェイト保持回路５２から受け取る。また、比較回路８０は、予め設定された基準値に応じた基準値電圧（Ｖ_ｒｅｆ）を受け取る。そして、比較回路８０は、ウェイト電圧（Ｖ_Ｗ）と基準値電圧（Ｖ_ｒｅｆ）とを比較する。

【0070】

比較回路８０は、ウェイト電圧（Ｖ_Ｗ）が基準値電圧（Ｖ_ｒｅｆ）以上である場合、スイッチ回路５４をオン状態にして、伝播回路５６へと入力信号（Ｓ_ｉｎ）を与えさせる。例えば、比較回路８０は、ウェイト電圧（Ｖ_Ｗ）が基準値電圧（Ｖ_ｒｅｆ）以上である場合、制御信号（Ｓ_ｃｏｎｔ）を１として、ＭＯＳ－ＦＥＴであるスイッチ回路５４をオン状態とする。また、例えば、比較回路８０は、ウェイト電圧（Ｖ_Ｗ）が基準値電圧（Ｖ_ｒｅｆ）より小さい場合、制御信号（Ｓ_ｃｏｎｔ）を０として、ＭＯＳ－ＦＥＴであるスイッチ回路５４をオフ状態とする。

【0071】

図６は、制御回路５８を機能させていない場合における、学習回数に対するウェイト値（Ｗ）の変化の一例を示す図である。

【0072】

学習回路２６は、前段ニューロン回路３２が発火したことに応じて、後段ニューロン回路３４が発火する場合、発火した前段ニューロン回路３２と後段ニューロン回路３４との間のシナプス回路４０に設定されたウェイト値（Ｗ）を大きくする。反対に、学習回路２６は、前段ニューロン回路３２の発火頻度が低い場合、その前段ニューロン回路３２と後段ニューロン回路３４との間のシナプス回路４０に設定されるウェイト値（Ｗ）を小さくする。これにより、学習回路２６は、ＳＴＤＰ学習によって、関連性の強いニューロンの間のシナプスのウェイト値（Ｗ）を大きくし、関連性の弱いニューロン間のウェイト値（Ｗ）を小さくすることができる。

【0073】

ここで、前段ニューロン回路３２の発火頻度が低くても、他の前段ニューロン回路３２の影響により、後段ニューロン回路３４が頻繁に発火する場合がある。このような場合において、制御回路５８を機能させておらず、伝播回路５６から後段ニューロン回路３４への出力信号（Ｓ_ｏｕｔ）の出力が停止されないと、学習回路２６は、発火頻度が低い前段ニューロン回路３２と後段ニューロン回路３４との間のシナプス回路４０に設定されるウェイト値（Ｗ）を大きくしてしまう。この場合、図６に示すように、学習回路２６は、例えば学習進むに従って小さくなったウェイト値（Ｗ）を、学習の途中段階で誤学習により増加させてしまう可能性がある。

【0074】

図７は、制御回路５８を機能させた場合における、学習回数に対するウェイト値（Ｗ）の変化の一例を示す図である。これに対して、制御回路５８は、ウェイト値（Ｗ）が基準値より小さい場合、伝播回路５６から後段ニューロン回路３４への出力を停止させる。従って、学習が進んだことによりウェイト値（Ｗ）が基準値より小さくなった場合、シナプス回路４０は、前段ニューロン回路３２から後段ニューロン回路３４への信号の伝達を停止する。この結果、学習回路２６は、そのシナプス回路４０に設定されるウェイト値（Ｗ）を増加させなくなる。これにより、学習回路２６は、図７に示すように、学習が進んだことによりウェイト値（Ｗ）が基準値より小さくなった場合、そのウェイト値（Ｗ）を基準値より小さい値に固定化することができる。

【0075】

図８は、制御回路５８を機能させていない場合における、学習回数に対する精度の変化の一例を示す図である。

【0076】

制御回路５８を機能させておらず、伝播回路５６から後段ニューロン回路３４への出力信号（Ｓ_ｏｕｔ）の出力が停止されない場合、学習回路２６は、関連性の弱いニューロン間のウェイト値（Ｗ）を誤学習により大きくしてしまう可能性がある。このよう場合、ニューラルネットワーク装置１０は、学習が進んだとしても、精度が高くならない。例えば、図８の例においては、学習回数が５００回付近においては、精度が０．９を超えていたのにも関わらず、学習回数が７００回付近においては、精度が０．７程度に下がってしまっている。

【0077】

図９は、制御回路５８を機能させた場合における、学習回数に対する精度の変化の一例を示す図である。図９は、図８と同一のネットワーク構成のニューラルネットワーク装置１０を同一の学習方法で学習させた場合の精度の変化を示す図である。

【0078】

制御回路５８を機能させた場合、関連性の弱いニューロン間のウェイト値（Ｗ）は、基準値より小さい値まで小さくされた後には、基準値以下で固定される。これにより、そのウェイト値（Ｗ）が設定されたシナプス回路４０は、前段ニューロン回路３２から後段ニューロン回路３４への信号の伝達を停止する。この結果、学習回路２６は、そのウェイト値（Ｗ）を増加させるような更新をしない。従って、学習が進むことによって生じる精度悪化要因が少なくなり、学習回路２６は、学習が収束するまでの時間を短くし、学習の精度を安定化させることができる。例えば、図９の例は、学習回数が８００回付近において、図８の例と比較して精度が改善している。

【0079】

以上のように、本実施形態に係るニューラルネットワーク装置１０は、学習において、複数のシナプス回路４０のそれぞれに設定されるウェイト値（Ｗ）が基準値より小さい場合、後段ニューロン回路３４への出力信号の出力を停止させる。これにより、本実施形態に係るニューラルネットワーク装置１０は、学習が収束するまでの時間を短くし、学習の精度を安定化させることができる。

【0080】

（変形例）
図１０は、変形例に係るシナプス回路４０の構成を示す図である。実施形態に係るニューラルネットワーク装置１０は、図１０に示すような変形例に係るシナプス回路４０を備えてもよい。なお、変形例に係るシナプス回路４０は、図５に示したシナプス回路４０と略同一の構成を有するので、略同一の機能および構成を有する部材については同一の符号を付けて、詳細な説明を省略する。

【0081】

変形例に係るシナプス回路４０は、変更回路８４をさらに備える。変更回路８４は、ウェイト保持回路５２からウェイト値（Ｗ）を受け取る。変更回路８４は、ウェイト値（Ｗ）と、現在の基準値とを比較し、比較結果に基づき基準値を段階的に変更する。

【0082】

具体的には、変更回路８４は、ウェイト値（Ｗ）が基準値より小さい場合、予め設定された下限基準値を下限として、基準値を時間経過に従って段階的に減少させる。すなわち、変更回路８４は、ウェイト値（Ｗ）が基準値より小さい場合、基準値がウェイト値（Ｗ）以上となるか、または、基準値が下限基準値に達するまで、基準値を時間経過に従って段階的に減少させる。

【0083】

さらに、変更回路８４は、ウェイト値（Ｗ）が基準値以上である場合、下限基準値より大きい上限基準値を上限として、基準値を時間経過に従って段階的に増加させる。すなわち、変更回路８４は、ウェイト値（Ｗ）が基準値以上である場合、基準値がウェイト値（Ｗ）より小さくなるか、または、基準値が上限基準値に達するまで、基準値を時間経過に従って段階的に増加させる。

【0084】

図１１は、本実施形態における変更回路８４の処理の流れを示す図である。変更回路８４は、図１０に示す回路例においては、図１１に示すような流れで処理を実行する。

【0085】

まず、Ｓ１１において、変更回路８４は、比較回路８０から出力された制御信号（Ｓ_ｃｏｎｔ）が０であるか否かを判断する。比較回路８０は、ウェイト電圧（Ｖ_Ｗ）が基準値電圧（Ｖ_ｒｅｆ）以上である場合、制御信号（Ｓ_ｃｏｎｔ）を１とし、ウェイト電圧（Ｖ_Ｗ）が基準値電圧（Ｖ_ｒｅｆ）より小さい場合、制御信号（Ｓ_ｃｏｎｔ）を０とする。従って、Ｓ１１において、変更回路８４は、ウェイト電圧（Ｖ_Ｗ）が基準値電圧（Ｖ_ｒｅｆ）より小さいか否かを判断することができる。

【0086】

制御信号（Ｓ_ｃｏｎｔ）が０ではない場合、すなわち、ウェイト電圧（Ｖ_Ｗ）が基準値電圧（Ｖ_ｒｅｆ）以上である場合（Ｓ１１のＮｏ）、変更回路８４は、処理をＳ１２に進める。制御信号（Ｓ_ｃｏｎｔ）が０である場合、すなわち、ウェイト電圧（Ｖ_Ｗ）が基準値電圧（Ｖ_ｒｅｆ）より小さい場合（Ｓ１１のＹｅｓ）、変更回路８４は、処理をＳ１４に進める。

【0087】

Ｓ１２において、変更回路８４は、基準値電圧（Ｖ_ｒｅｆ）が上限電圧（Ｖ_ｍａｘ）以上であるか否かを判断する。なお、上限電圧（Ｖ_ｍａｘ）は、上限基準値に応じた電圧である。基準値電圧（Ｖ_ｒｅｆ）が上限電圧（Ｖ_ｍａｘ）以上である場合（Ｓ１２のＹｅｓ）、変更回路８４は、処理をＳ１６に進める。基準値電圧（Ｖ_ｒｅｆ）が上限電圧（Ｖ_ｍａｘ）より小さい場合（Ｓ１２のＮｏ）、変更回路８４は、処理をＳ１３に進める。

【0088】

Ｓ１３において、変更回路８４は、基準値電圧（Ｖ_ｒｅｆ）に微小電圧（ΔＶ_ｒｅｆ）を加算する。微小電圧（ΔＶ_ｒｅｆ）は、例えば、上限電圧（Ｖ_ｍａｘ）と下限電圧（Ｖ_ｍｉｎ）との差を、所定の整数で分割した電圧である。なお、下限電圧（Ｖ_ｍｉｎ）は、下限基準値に応じた電圧である。

【0089】

変更回路８４は、Ｓ１２およびＳ１３の処理を実行することにより、ウェイト電圧（Ｖ_Ｗ）が基準値電圧（Ｖ_ｒｅｆ）以上である場合、上限電圧（Ｖ_ｍａｘ）を上限として、基準値電圧（Ｖ_ｒｅｆ）を段階的に増加させることができる。Ｓ１３を終えると、変更回路８４は、処理をＳ１６に進める。

【0090】

Ｓ１４において、変更回路８４は、基準値電圧（Ｖ_ｒｅｆ）が下限電圧（Ｖ_ｍｉｎ）以下であるか否かを判断する。基準値電圧（Ｖ_ｒｅｆ）が下限電圧（Ｖ_ｍｉｎ）以下である場合（Ｓ１４のＹｅｓ）、変更回路８４は、処理をＳ１６に進める。基準値電圧（Ｖ_ｒｅｆ）が下限電圧（Ｖ_ｍｉｎ）より大きい場合（Ｓ１４のＮｏ）、変更回路８４は、処理をＳ１５に進める。

【0091】

Ｓ１５において、変更回路８４は、基準値電圧（Ｖ_ｒｅｆ）から微小電圧（ΔＶ_ｒｅｆ）を減算する。変更回路８４は、Ｓ１４およびＳ１５の処理を実行することにより、ウェイト電圧（Ｖ_Ｗ）が基準値電圧（Ｖ_ｒｅｆ）より小さい場合、下限電圧（Ｖ_ｍｉｎ）を下限として、基準値電圧（Ｖ_ｒｅｆ）を段階的に減少させることができる。Ｓ１５を終えると、変更回路８４は、処理をＳ１６に進める。

【0092】

Ｓ１６において、変更回路８４は、一定時間処理を待機し、待機した後、処理をＳ１１に戻す。これにより、変更回路８４は、時間経過に従って、基準値電圧（Ｖ_ｒｅｆ）を増加または減少させることができる。

【0093】

以上のＳ１１からＳ１６までの処理を繰り返して実行することにより、変更回路８４は、ウェイト値（Ｗ）が基準値より小さい場合、下限基準値を下限として、基準値を時間経過に従って段階的に減少させることができる。また、変更回路８４は、ウェイト値（Ｗ）が基準値以上である場合、下限基準値より大きい上限基準値を上限として、基準値を時間経過に従って段階的に増加させることができる。

【0094】

以上のような変形例に係るシナプス回路４０は、ウェイト値（Ｗ）が基準値より小さくなったことによりウェイト値（Ｗ）を固定化させた後に、固定化機能を解除して、再度、ウェイト値（Ｗ）を増加可能とさせることができる。これにより、シナプス回路４０は、例えば、学習のための入力情報が変更された場合等の一定の時間が経過した後に、おいて、ウェイト値（Ｗ）を適切な値に学習させることができる。例えば、下限基準値を、ウェイト値（Ｗ）がとり得る最低値とすることにより、シナプス回路４０は、確実に、固定化機能を解除することができる。

【0095】

また、シナプス回路４０は、固定化機能を解除した後には、時間経過に従って上限基準値に達するまで基準値を段階的に増加させるので、再度、固定化機能を有効にすることができる。このような変形例に係るニューラルネットワーク装置１０は、様々な入力情報に対応させて学習をする場合等においても、学習が収束するまでの時間を短くし、学習の精度を安定化させることができる。

【0096】

なお、変形例に係る変更回路８４は、以上の処理に代えて、変更回路８４は、ウェイト値（Ｗ）が基準値より小さくなったタイミングから予め設定された時間を経過した後において、基準値を下限基準値に変更してもよい。さらに、変更回路８４は、ウェイト値（Ｗ）が基準値以上となったタイミングから予め設定された時間を経過した後において、基準値を上限基準値に変更してもよい。

【0097】

このようにしても、変形例に係るシナプス回路４０は、ウェイト値（Ｗ）が基準値より小さくなったことによりウェイト値（Ｗ）を固定化させた後に、固定化機能を解除して、再度、ウェイト値（Ｗ）を増加可能とさせることができる。さらに、変形例に係るシナプス回路４０は、固定化機能を解除した後には、時間経過に従って上限基準値に達するまで基準値を増加させて、再度、固定化機能を有効にすることができる。

【0098】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0099】

１０ ニューラルネットワーク装置
２２ レイヤ
２４ シナプス部
２６ 学習回路
３０ ニューロン回路
３２ 前段ニューロン回路
３４ 後段ニューロン回路
４０ シナプス回路
４４ 入力層
４６ リザーバー層
４８ 出力層
５２ ウェイト保持回路
５４ スイッチ回路
５６ 伝播回路
５８ 制御回路
６２ ウェイト電流回路
６４ 入力回路
６６ キャパシタ
６６ａ 第１端子
６６ｂ 第２端子
６８ 出力増幅回路
７０ 出力回路
７２ 電荷調整回路
７４ 第１定電流回路
７６ 第２定電流回路
８０ 比較回路
８４ 変換回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】