特許7383528スパイキングニューラルネットワーク装置およびスパイキングニューラルネットワーク装置の学習方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-10
(45)【発行日】2023-11-20
(54)【発明の名称】スパイキングニューラルネットワーク装置およびスパイキングニューラルネットワーク装置の学習方法
(51)【国際特許分類】
G06N 3/08 20230101AFI20231113BHJP
G06N 3/063 20230101ALI20231113BHJP
G06G 7/60 20060101ALI20231113BHJP
【ＦＩ】
G06N3/08
G06N3/063
G06G7/60
【請求項の数】
10
(21)【出願番号】P 2020035917
(22)【出願日】2020-03-03
(65)【公開番号】P2021140320
(43)【公開日】2021-09-16
【審査請求日】2022-02-25
【前置審査】
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】西 義史
(72)【発明者】
【氏名】野村 久美子
(72)【発明者】
【氏名】丸亀 孝生
(72)【発明者】
【氏名】水島 公一
【審査官】山本 俊介
(56)【参考文献】
【文献】国際公開第２０１９／１２５４１９（ＷＯ，Ａ１）
【文献】特表２０１３－５３８３９６（ＪＰ，Ａ）
【文献】特表２０１５－５０１９７２（ＪＰ，Ａ）
【文献】特開平０２－３０１８８０（ＪＰ，Ａ）
【文献】中国特許出願公開第１０６７７９０５９（ＣＮ，Ａ）
【文献】安達 琢ほか，メモリスタ－ＣＭＯＳハイブリッド回路による非対称ＳＴＤＰシナプスデバイス，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2011年06月23日，Ｖｏｌ．１１１ Ｎｏ．１０６，pp.65-70
【文献】西 義史ほか，脳型ハードウエアにおけるオンライン学習に向けたシナプス重み更新規則の検討，第６７回応用物理学会春季学術講演会［講演予稿集］，日本，公益社団法人応用物理学会，2020年02月28日，18-021
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｇ ７／６０
(57)【特許請求の範囲】
【請求項1】
可変の重みを有し、第１スパイク信号が入力されたときに、前記重みに応じて強さが調整されたシナプス信号を出力するシナプス部と、前記シナプス信号が入力され、前記シナプス信号についての予め定められた発火条件が満たされると第２スパイク信号を出力するニューロン部と、
前記ニューロン部による前記第２スパイク信号の出力頻度に基づいて、前記重みを更新する否かを判定する判定部と、
前記重みを更新すると判定された場合に、前記重みを減衰させるための減衰動作を行うシナプス減衰部と、
前記重みを強化するための強化動作を行うシナプス強化部と、を備え、
前記判定部は、前記出力頻度が閾値以上である場合に、前記重みを更新すると判定する、
スパイキングニューラルネットワーク装置。
【請求項2】
可変の重みを有し、第１スパイク信号が入力されたときに、前記重みに応じて強さが調整されたシナプス信号を出力するシナプス部と、
前記シナプス信号が入力され、前記シナプス信号についての予め定められた発火条件が満たされると第２スパイク信号を出力するニューロン部と、
前記ニューロン部による前記第２スパイク信号の出力頻度に基づいて、前記重みを更新する否かを判定する判定部と、
前記重みを更新すると判定された場合に、前記重みを減衰させるための減衰動作を行うシナプス減衰部と、
前記重みを強化するための強化動作を行うシナプス強化部と、を備え、
前記出力頻度は、前記ニューロン部が前記第２スパイク信号を出力するごとに増加し、時間の経過に従い減衰する変数により表される、
スパイキングニューラルネットワーク装置。
【請求項3】
前記シナプス減衰部は、前記重みを更新すると判定され、かつ、前記ニューロン部により前記第２スパイク信号が出力された場合に、前記減衰動作を行う、請求項１に記載のスパイキングニューラルネットワーク装置。
【請求項4】
前記シナプス強化部は、予め定められた強化条件が満たされる場合に、前記強化動作を行う、請求項１に記載のスパイキングニューラルネットワーク装置。
【請求項5】
前記シナプス強化部は、前記判定部により前記重みを更新すると判定され、かつ、前記強化条件が満たされる場合に、前記強化動作を行う、請求項４に記載のスパイキングニューラルネットワーク装置。
【請求項6】
前記シナプス部は、抵抗値により前記重みの値を記憶する記憶素子と、ＭＯＳトランジスタと、を備える、請求項１に記載のスパイキングニューラルネットワーク装置。
【請求項7】
前記記憶素子は複数の抵抗状態を持ち、複数の前記抵抗状態間の遷移は確率的である、請求項６に記載のスパイキングニューラルネットワーク装置。
【請求項8】
可変の重みを有し、第１スパイク信号が入力されたときに、前記重みに応じて強さが調整されたシナプス信号を出力するシナプス部と、
前記シナプス信号が入力され、前記シナプス信号についての予め定められた発火条件が満たされると第２スパイク信号を出力するニューロン部と、
前記ニューロン部による前記第２スパイク信号の出力頻度に基づいて、前記重みを更新する否かを判定する判定部と、
前記重みを更新すると判定された場合に、前記重みを減衰させるための減衰動作を行うシナプス減衰部と、
前記重みを強化するための強化動作を行うシナプス強化部と、を備え、
前記シナプス部は、抵抗値により前記重みの値を記憶する記憶素子と、ＭＯＳトランジスタと、前記ＭＯＳトランジスタと前記記憶素子とを接続するダイオードをさらに備える、
スパイキングニューラルネットワーク装置。
【請求項9】
可変の重みを有し、第１スパイク信号が入力されたときに、前記重みに応じて強さが調整されたシナプス信号を出力するシナプス部と、
前記シナプス信号が入力され、前記シナプス信号についての予め定められた発火条件が満たされると第２スパイク信号を出力するニューロン部と、
前記ニューロン部による前記第２スパイク信号の出力頻度に基づいて、前記重みを更新する否かを判定する判定部と、
前記重みを更新すると判定された場合に、前記重みを減衰させるための減衰動作を行うシナプス減衰部と、
前記重みを強化するための強化動作を行うシナプス強化部と、を備え、
前記判定部は、前記第１スパイク信号が入力される頻度は用いずに、前記ニューロン部による前記第２スパイク信号の出力頻度に基づいて、前記重みを更新する否かを判定する、
スパイキングニューラルネットワーク装置。
【請求項10】
スパイキングニューラルネットワーク装置の学習方法であって、前記スパイキングニューラルネットワーク装置は、
可変の重みを有し、第１スパイク信号が入力されたときに、前記重みに応じて強さが調整されたシナプス信号を出力するシナプス部と、
前記シナプス信号が入力され、前記シナプス信号についての予め定められた発火条件が満たされると第２スパイク信号を出力するニューロン部と、
を備え、
前記ニューロン部による前記第２スパイク信号の出力頻度に基づいて、前記重みを減衰させる否かを判定する判定ステップと、
前記重みを減衰させると判定された場合に、前記重みを減衰させるための減衰動作を行うシナプス減衰ステップと、
前記重みを強化するための強化動作を行うシナプス強化ステップと、を含み、
前記判定ステップは、前記出力頻度が閾値以上である場合に、前記重みを更新すると判定する、
学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明実施形態は、スパイキングニューラルネットワーク装置およびスパイキングニューラルネットワーク装置の学習方法に関する。
【背景技術】
【0002】
生体の神経回路網の情報処理原理を模倣した処理を行うスパイキングニューラルネットワークと呼ばれる技術が提案されている。スパイキングニューラルネットワークでは、電圧スパイクの密度（スパイク密度）で情報が表現される。
【0003】
また、スパイキングニューラルネットワークでは、ＳＴＤＰ（Ｓｐｉｋｅ Ｔｉｍｉｎｇ Ｄｅｐｅｎｄｅｎｔ Ｐｌａｓｔｉｃｉｔｙ）と呼ばれる原理を利用した学習が行われる場合がある。ＳＴＤＰは、電圧スパイクの入力と発火のタイミングに依存してシナプスの重みが変化する性質を表す。
【先行技術文献】
【非特許文献】
【0004】
【文献】S．Sidler，A．Pantazi，S．Wozniak，Y．Leblebici，and E．Eleftheriou，“Unsupervised learning using phase-change synapses and complementary patterns”，International Symposium on Artificial Neural Networks（Springer 2017），pp.281-288
【文献】Elisabeta Chicca, Fabio Stefanini, Chiara Bartolozzi, Giacomo Indiveri, “Neuromorphic Electronic Circuits for Building Autonomous Cognitive Systems,” Proceedings of the IEEE, vol. 102, no.9, September 2014, 1367-1388.
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述のように、スパイキングニューラルネットワークでは、スパイク密度で情報を表現するため、「何もない」という情報は、スパイク密度ゼロ（スパイクなし）として表現される。ＳＴＤＰの原理を利用した学習では、電圧スパイクの入力と発火のタイミングに依存してシナプスの重みが更新されるため、「何もない」という空白データ、つまり、スパイク密度が低い情報を学習することができない。
【0006】
本発明が解決しようとする課題は、装置の大型化や学習に必要な電力の増大を招くことなくスパイク密度が低い情報を学習することができるスパイキングニューラルネットワーク装置およびその学習方法を提供することである。
【課題を解決するための手段】
【0007】
実施形態のスパイキングニューラルネットワーク装置は、シナプス部と、ニューロン部と、判定部と、シナプス減衰部と、シナプス強化部と、を備える。シナプス部は、可変の重みを有し、第１スパイク信号が入力されたときに、重みに応じて強さが調整されたシナプス信号を出力する。ニューロン部は、シナプス信号が入力され、シナプス信号についての予め定められた発火条件が満たされると第２スパイク信号を出力する。判定部は、ニューロン部による第２スパイク信号の出力頻度に基づいて、重みを更新する否かを判定する。シナプス減衰部は、重みを更新すると判定された場合に、重みを減衰させるための減衰動作を行う。シナプス強化部は、重みを強化するための強化動作を行う。
【図面の簡単な説明】
【0008】
【図1】ＳＴＤＰの原理を説明する概念図。
【図2】シナプスの重みの強化・減衰の例を説明する図。
【図3】スパイキングニューラルネットワークの学習の具体例を説明する図。
【図5】第１実施形態に係るスパイキングニューラルネットワーク装置の構成例を示す図。
【図6】スパイキングニューラルネットワーク装置の他の構成例を示す図。
【図7】シナプス部およびニューロン部の機能ブロック図。
【図8】ニューロン部の発火と変数Ｃｊの変化との関係の一例を示す図。
【図9】第１実施形態における学習処理のフローチャート。
【図10-1】ＭＮＩＳＴ手書き文字の学習結果の一例を示す図。
【図10-2】ＭＮＩＳＴ手書き文字の学習結果の一例を示す図。
【図10-3】ＭＮＩＳＴ手書き文字の学習結果の一例を示す図。
【図11】第２実施形態に係るスパイキングニューラルネットワーク装置の構成例を示す図。
【図12】スパイキングニューラルネットワーク装置の他の構成例を示す図。
【図13】第２実施形態における学習処理のフローチャート。
【図14-1】ＭＮＩＳＴ手書き文字の学習結果の一例を示す図。
【図14-2】ＭＮＩＳＴ手書き文字の学習結果の一例を示す図。
【図14-3】ＭＮＩＳＴ手書き文字の学習結果の一例を示す図。
【図15】強化率と減衰率との比率に対する認識率および重みの総和の標準偏差を示す図。
【図16】第３実施形態に係るスパイキングニューラルネットワーク装置の回路構成例を示す図。
【図17】第３実施形態のスパイキングニューラルネットワーク装置による動作を説明するための図。
【図18】第３実施形態のスパイキングニューラルネットワーク装置による動作を説明するための図。
【図19】第３実施形態のスパイキングニューラルネットワーク装置による動作を説明するための図。
【図20】スパイキングニューラルネットワーク装置の他の構成例を示す図。
【発明を実施するための形態】
【0009】
以下に添付図面を参照して、この発明にかかるスパイキングニューラルネットワーク装置の好適な実施形態を詳細に説明する。
【0010】
近年、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に代表される計算機ハードウェアの進歩に伴い、人工知能技術が急速に発展している。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に代表される画像認識・分類技術は、既に実社会の様々なシーンで利用されている。現在において広く利用されている人工知能技術は、生体の神経回路網の動作を単純化した数理モデルをベースとしており、ＧＰＵなどの計算機で実行するのに適している。しかし、人工知能をＧＰＵで実行するには大きな電力が必要になる。特に、大量のデータから特徴を抽出して記憶させる学習動作には膨大な計算が必要で、そのため非常に多くの電力が必要になり、エッジでの学習動作が困難になることが予想されている。
【0011】
一方、人間の脳は、その消費エネルギーが２０Ｗ程度と低いにも関わらず、膨大な量のデータを常時オンラインで学習することができる。そこで、脳の動きを電気回路で比較的忠実に再現して情報処理を行う技術が世界各国で研究されている。
【0012】
脳の神経回路網の中では、情報は電圧スパイクによる信号としてニューロン（神経細胞）からニューロンへ伝達される。ニューロンとニューロンはシナプスと呼ばれる結合部によって結合され、あるニューロンが発火して電圧スパイクが発生すると、シナプスを介して後段のニューロンに電圧スパイクが入力される。このとき、後段のニューロンに入力される電圧スパイクの強度は、シナプスの持つ結合強度（以下、「重み」と呼ぶ）によって調整される。重みが大きい場合、電圧スパイクは強度が高いまま後段のニューロンに伝達されるが、重みが小さい場合は、伝達される電圧スパイクの強度は低くなる。従って、ニューロン間のシナプスの重みが大きいほど、このニューロン間の情報的な関係性が大きいということになる。
【0013】
シナプスの重みは、後段のニューロンに電圧スパイクが入力されるタイミングとこの後段のニューロンが発火するタイミングとに依存して変化することが知られている。すなわち、あるニューロン（前段ニューロン）からシナプスを介して次のニューロン（後段ニューロン）に電圧スパイクが入力されたとする。このとき、後段ニューロンが発火すると、これら２つのニューロンが持つ情報の間には因果関係があるということになり、これら２つのニューロン間のシナプスの重みが大きくなる。逆に、後段ニューロンが発火した後に前段ニューロンから電圧スパイクが到達したとすると、これら２つのニューロンが持つ情報には因果関係がないということになり、これら２つのニューロン間のシナプスの重みが小さくなる。このように電圧スパイクの入力と発火のタイミングに依存してシナプスの重みが変化する性質をＳＴＤＰ（Ｓｐｉｋｅ Ｔｉｍｉｎｇ Ｄｅｐｅｎｄｅｎｔ Ｐｌａｓｔｉｃｉｔｙ）と呼ぶ。
【0014】
このような神経回路網の情報処理原理を模倣して、情報の流れを電気回路内部のスパイク列として表現し、処理する技術をスパイキングニューラルネットワークと呼ぶ。スパイキングニューラルネットワークでは、数値的な演算を行わず、すべての情報処理を電圧スパイクの蓄積・発生および伝達によって行う。従来の人工知能では学習には膨大な計算が必要であったが、スパイキングニューラルネットワークにおいては、ＳＴＤＰの原理を利用することによって効率的にデータ学習ができると考えられており、盛んに研究が行われている。
【0015】
ＳＴＤＰは上述の通り、シナプスに接続されている前段ニューロンからシナプスを介して後段ニューロンに電圧スパイクが入力されるタイミングと後段ニューロンが発火するタイミングに依存してシナプスの重みが変化する現象であるが、前段ニューロンからの電圧スパイクの入力が前提となっている。つまり、逆に言えば、情報の入力が極端に少ないような状況では、前段ニューロンからの電圧スパイクの入力がなくなり、シナプスの重みは変化しない。このことは、次のような問題を引き起こすと考えられる。
【0016】
例えば、スパイキングニューラルネットワークで１０×１０ピクセルの画像パターンを入力して学習することを考える。最初に１０×１０ピクセルの枠内いっぱいに広がったパターンの画像（画像Ａ）を繰り返し入力すると、ＳＴＤＰの原理を利用した学習によってシナプスの重みが更新され、このパターンに応じたシナプスの重み分布が得られる。次に、１０×１０ピクセルの枠の中心部にのみパターンが存在するような画像（画像Ｂ）を入力する。すなわち、画像Ｂの大部分のピクセルは空白（ブランク）であるとする。スパイキングニューラルネットワークでは、電圧スパイクの密度（スパイク密度）で情報を表現するため、ブランクはスパイク密度がゼロとして表現される。従って、このニューラルネットワークにおける大部分のシナプスには電圧スパイクが入力されないため、重みは変化しない。つまり、画像Ｂを何度学習しても、画像Ａに対応するシナプスの重み分布が残ったままで画像Ｂを新たに学習することができなくなる。このように、ＳＴＤＰにおいては、スパイク密度が低い情報を入力すると、この情報を学習することができず、以前に学習した情報が残ってしまうという問題が発生する。
【0017】
これを回避するために、スパイキングニューラルネットワークを２セット用意し、一方には通常のデータを入力して学習させ、他方には白黒反転させたデータを入力した学習させるという方法が提案されている（例えば、非特許文献１参照）。しかし、この方法では、スパイキングニューラルネットワークを２セット用意せねばならず、必要なニューロンおよびシナプスの数が倍になるため、ハードウェアサイズが２倍の大きさになってしまう可能性がある。また、必要な電力も２倍になると考えられる。
【0018】
一方、生体における神経回路網では、ひとつのニューロンに対して入力するシナプスの重みの総和が一定に保たれる、シナプス規格化という現象が存在する。シナプス規格化では、シナプスの重みの間の相対的な大小関係は変化しないが、あるシナプスが学習によって強化されると、総和を一定に保つために他のシナプスの重みは小さくなる。このため、電圧スパイクの入力が少ないシナプスは、重みが小さくなる。生体における神経系では、この性質を利用してスパイク密度の低いブランクデータを学習している。しかしながら、シナプス規格化を行うためには、各ニューロンのシナプスの重みの総和を求め、かつ、個々のシナプスの重みをその総和で割り算するという操作が必要になるため、ハードウェア的な実装は難しいと考えられる。
【0019】
＜ＳＴＤＰの説明＞
ここではまず、スパイキングニューラルネットワークの学習原理であるＳＴＤＰについて説明する。図１は、ＳＴＤＰの原理を説明する概念図である。図１に示すように、ニューロンｊに対して複数のシナプスｓ１，ｓ２，・・・，ｓｎ（これらを総称する場合はシナプスｓｉと表記する）が接続されており、これら複数のシナプスｓ１，ｓ２，・・・，ｓｎを介して電圧スパイクｘ１，ｘ２，・・・，ｘｎがニューロンｊに入力される場合を考える。複数のシナプスｓ１，ｓ２，・・・，ｓｎの重みｗｊｉを、それぞれｗｊ１，ｗｊ２，・・・，ｗｊｎとする。
ここではまず、スパイキングニューラルネットワークの学習原理であるＳＴＤＰについて説明する。図１は、ＳＴＤＰの原理を説明する概念図である。図１に示すように、ニューロンｊに対して複数のシナプスｓ１，ｓ２，・・・，ｓｎ（これらを総称する場合はシナプスｓｉと表記する）が接続されており、これら複数のシナプスｓ１，ｓ２，・・・，ｓｎを介して電圧スパイクｘ１，ｘ２，・・・，ｘｎがニューロンｊに入力される場合を考える。複数のシナプスｓ１，ｓ２，・・・，ｓｎの重みｗｊｉを、それぞれｗｊ１，ｗｊ２，・・・，ｗｊｎとする。
【0020】
ニューロンｊの状態は、膜電位と呼ばれる内部変数によって表される。電圧スパイクが入力されない場合、膜電位はニューロンモデルと呼ばれる定められた規則に従って変化する。電圧スパイクがニューロンｊに入力されると、膜電位は不連続的に増加する。いくつかの電圧スパイクがニューロンｊに入力され、膜電位がある閾値に達すると、ニューロンｊは発火して電圧スパイクを後段のニューロンに対して放出する。発火後はこのニューロンｊの膜電位はある一定の値（リセット電位と呼ぶ）にリセットされる。
【0021】
ここで、時刻ｔ１
ｐｒｅにおいて、重みｗｊ１のシナプスｓ１を介してニューロンｊに電圧スパイクが入力され、時刻ｔｊ
ｐｏｓｔにおいてニューロンｊが発火したとする。Δｔｊｉ＝ｔｊ
ｐｏｓｔ－ｔ１
ｐｒｅとすると、Δｔｊｉ＞０の場合、すなわちシナプスｓ１を介して電圧スパイクが入力された後にニューロンｊが発火した場合は、この電圧スパイクの入力とニューロンｊの発火との間には因果関係があるため、シナプスｓ１による接続は情報処理上有用であるとみなされ、シナプスｓ１の重みｗｊ１は強化（増加）される。逆に、Δｔｊｉ＜０の場合、すなわちニューロンｊが発火した後にシナプスｓ１を介してニューロンｊに電圧スパイクが到着した場合は、この電圧スパイクの入力とニューロンｊの発火との間には因果関係がなく、シナプスｓ１による接続は情報処理上有用であるとはみなされず、シナプスｓ１の重みｗｊ１は減衰（減少）される。
【0022】
ＳＴＤＰでは、シナプスｓｉの重みｗｊｉの強化・減衰の程度が、ニューロンｊの発火とシナプスｓｉを介した電圧スパイクの入力との間の時間差Δｔの大きさに応じて決まる。すなわち、図２に示すように、Δｔ＞０の場合、時間差Δｔが小さければ小さいほどニューロンｊの発火と電圧スパイクの入力との情報的な相関が大きいため、シナプスｓｉの重みｗｊｉは大きく強化される。一方、Δｔ＜０の場合、時間差Δｔが小さければ小さいほどニューロンｊの発火と電圧スパイクの入力との情報的な相関が小さいため、シナプスｓｉの重みｗｊｉは大きく減衰される。Δｔ＞０の場合もΔｔ＜０の場合も、Δｔが大きければシナプスｓｉの重みｗｊｉはあまり変化しない。
【0023】
ここで、図３に示すように、２８×２８＝７８４ピクセルの画像データをスパイキングニューラルネットワークに学習させることを考える。ここでは、７８４個の入力層のニューロンに各ピクセルからコントラストを入力する。入力層のニューロンはコントラストに応じたスパイク密度のスパイク列を発生させ、後段の処理層の４００個のニューロンに電圧スパイクを送る。入力層のニューロンと処理層のニューロンはシナプスを介して接続されている。
【0024】
既に述べたように、入力層のニューロンは、対応するピクセルにおけるコントラストに応じたスパイク列を発生する。コントラストが高い（黒い）場合はスパイク列のスパイク密度が大きく、コントラストが低い（白い）場合はスパイク列のスパイク密度が小さい。入力画像の余白に対応するニューロンでは電圧スパイクは発生しない。したがって、入力画像の余白に対応するニューロンに接続されるシナプスからは、処理層のニューロンに電圧スパイクが入力されない。このため、入力画像の余白に対応するニューロンに接続されるシナプスの重みは強化も減衰もされず、初期状態のまま残ってしまう。つまり、「余白である」という情報が学習されないのである。
【0025】
図３に示したスパイキングニューラルネットワークに、ＭＮＩＳＴ手書き文字セット（０～９までの数字の手書き文字のセット）を学習させる。ここでは、シナプスの重みを離散的なバイナリ（０もしくは１）とし、シナプスを介して電圧スパイクが入力された後にニューロンが発火した場合はそのシナプスの重みを確率的に１とし、ニューロンが発火した後にシナプスを介してニューロンに電圧スパイクが到着した場合はそのシナプスの重みを確率的に０とする確率的なＳＴＤＰを用いる。ただし、電圧スパイクの入力とニューロンの発火との間の時間的相関を取り入れるため、上記確率はニューロンの発火とシナプスを介した電圧スパイクの入力との間の時間差に依存するものとする。具体的には、この時間差をΔｔとするとき、シナプスを０（あるいは１）とする確率はｅｘｐ（－Δｔ／Ｔ）に比例するものとする。ただしＴは定数である。
【0026】
図４－１乃至図４－３は、図３に示した入力層の７８４個のニューロンと処理層の４００個のニューロンとを結合するすべてのシナプス（７８４×４００個のシナプス）の重みを可視化したものである。縦方向・横方向それぞれに√７８４×４００＝２８×２０＝５６０個のピクセルが並んでおり、それぞれがシナプスの重みに対応している。シナプスの重みが０の場合は白、シナプスの重みが１の場合には色がついている。５６０×５６０個のシナプスの重みは２８×２８を１区画として、区画が２０×２０並んでいることになる。２８×２８の１区画は、処理層における１つのニューロンに接続する全シナプスに相当しており、この区画の２８×２８個のシナプスの重みの分布を示すパターンが、この処理層のニューロンが記憶する画像である。
【0027】
まず、図４－１に示すように、すべてのシナプスの重みをランダムに０もしくは１に初期化する。この状態で、図３に示したスパイキングニューラルネットワークにＭＮＩＳＴ手書き文字セットを学習させる。６００００通りの手書き文字を学習した後のシナプスの重みを図４－２に示す。図４－２では、２０×２０＝４００個のパターンが浮かび上がっているが、各パターンは２８×２８ピクセルで構成されている。つまり、２８×２８の区画ごとにパターンが浮かび上がっており、それぞれのパターンが、当該区画に対応するニューロンが記憶する画像である。
【0028】
ここで、ＭＮＩＳＴ手書き文字の余白に対応する部分は、電圧スパイクの入力がないため、初期状態のままのランダムなパターンになっている。そして、各区画の中央付近には、多くの手書き文字が重なったようなパターンが存在する。これは、例えば「０」の手書き文字を記憶した後に「１」の手書き文字を学習させても、「１」の手書き文字の余白部分には電圧スパイクの入力がないために「０」の手書き文字が残ってしまい、「０」と「１」が重なって記憶されてしまうことになり、このようなことが繰り返された結果、各ニューロンは様々な文字が重なったパターンを記憶してしまうことになるためである。
【0029】
なお、図４－２に示すシナプスの重みを使ってＭＮＩＳＴ手書き文字の認識動作を行うと、その認識率は１０％程度である。これは、０～９の手書き文字をあてずっぽうに認識しているに等しい。つまり、手書き文字をまったく認識できていないことになる。
【0030】
この問題の本質は、空白データ（画像で言えば余白部分）に対応する電圧スパイクの入力がないため、対応するシナプスの重みが変化せず、初期状態あるいは以前に記憶した情報が書き換わらない、ということである。本来、空白データに対応するところはシナプス重みが減衰されるべきである。前述の通り、生体の神経系におけるシナプス規格化を実装すれば、余白部分を学習することができる。
【0031】
図４－３は、上述の学習方法においてシナプス規格化をソフトウェア的に実装した場合の学習結果を示している。シナプス規格化により、図４－３に示すように、２８×２８ピクセルの各区画において、ＭＮＩＳＴ手書き文字が学習できていることが分かる。この例では手書き文字の認識率が８９％に達する。しかし、シナプス規格化は２８×２８ピクセルの各区画におけるシナプスの重みの総和を取り、各々のシナプスの重みを総和で割り算した上でその値を再度シナプスに書き込むという手順が必要であり、ハードウェア実装には適さない。
【0032】
そこで、本実施形態では、シナプスの重みの総和を用いるのではなく、ニューロンの発火状況（発火頻度）に基づいてシナプスの重みを減衰する機構を有する新規な構成のスパイキングニューラルネットワーク装置およびその学習方法を開示する。
【0033】
＜第１実施形態＞
図５は、第１実施形態に係るスパイキングニューラルネットワーク装置１００の構成例を示す図である。本実施形態のスパイキングニューラルネットワーク装置１００は、図５に示すように、シナプス部１２０と、ニューロン部１１０と、シナプス強化部１４０と、シナプス減衰部１５０と、判定部１６０と、を備える。
図５は、第１実施形態に係るスパイキングニューラルネットワーク装置１００の構成例を示す図である。本実施形態のスパイキングニューラルネットワーク装置１００は、図５に示すように、シナプス部１２０と、ニューロン部１１０と、シナプス強化部１４０と、シナプス減衰部１５０と、判定部１６０と、を備える。
【0034】
シナプス部１２０は、可変の重みを記憶する重み記憶部１２１を有する。シナプス部１２０には、スパイク信号（第１スパイク信号）が入力される。スパイク信号が入力されると、シナプス部１２０は、重み記憶部１２１が保持する重みに応じて強さが調整されたシナプス信号をニューロン部１１０に転送する。例えばニューロン部１１０に出力するシナプス信号の強度は、重み記憶部１２１に記憶された重みが大きければ高くなり、重みが小さければ低くなる。
【0035】
ニューロン部１１０は、シナプス部１２０から出力されたシナプス信号を受け取り、予め定められた発火条件を満たすと発火し、スパイク信号（第２スパイク信号）を出力する。例えばニューロン部１１０は、入力されるシナプス信号を積分し、積分値が所定の閾値を超えると発火して、後段のニューロン部に向けてスパイク信号（スパイク電圧）を放出する。
【0036】
判定部１６０は、シナプス部１２０の重みを更新するか否かを示す条件を判定する。例えば判定部１６０は、ニューロン部１１０によるスパイク信号の出力頻度（以下、発火頻度という）に基づいて重みを更新するか否かを判定し、更新すると判定した場合は、重みを更新することを示す信号をシナプス減衰部１５０に出力する。より具体的には、判定部１６０は、発火頻度が閾値以上である場合に重みを更新すると判定する。なお、以下ではシナプス部１２０の重みを更新することをシナプス更新という場合がある。
【0037】
シナプス減衰部１５０は、判定部１６０によりシナプス更新が可能と判定され、かつ、予め定められた減衰条件が満たされる場合に、重みを減衰させるための減衰動作を行う。重み記憶部１２１は、シナプス減衰部１５０による減衰動作に応じて重みを減衰させる。
【0038】
シナプス強化部１４０は、予め定められた強化条件が満たされる場合に、シナプス部１２０の重みを強化する強化動作を行う。例えばシナプス強化部１４０は、図１で説明したようなＳＴＤＰの原理に基づく重みの強化条件に従い、強化動作を行う。
【0039】
図５では１つのニューロン部１１０に１つのシナプス部１２０が接続される例を説明したが、１つのニューロン部１１０に複数のシナプス部が接続されてもよい。図６は、このように構成されたスパイキングニューラルネットワーク装置１００ｂの構成例を示す図である。なお図６は、ニューロン部１１０に３つのシナプス部が接続される構成の例を示すが、２つ、または、４つ以上のシナプス部がニューロン部１１０に接続されるようにスパイキングニューラルネットワーク装置１００ｂを構成してもよい。
【0040】
図６に示すように、スパイキングニューラルネットワーク装置１００ｂは、シナプス部１２０１～１２０３と、ニューロン部１１０と、シナプス強化部１４０１～１４０３と、シナプス減衰部１５０と、判定部１６０と、を備える。
【0041】
シナプス強化部１４０１～１４０３は、それぞれシナプス部１２０１～１２０３に対応し、対応するシナプス部１２０１～１２０３の重み記憶部１２１１～１２１３の重みの強化を行う。シナプス強化部１４０１～１４０３の一部または全部の機能を、ある１つのシナプス強化部が備えるように構成してもよい。
【0042】
次に、シナプス部１２０およびニューロン部１１０の構成の詳細について説明する。図７は、シナプス部１２０およびニューロン部１１０の詳細な機能構成の一例を示すブロック図である。
【0043】
図７に示すように、シナプス部１２０は、重み記憶部１２１に加えて、電流発生回路１２２を備えている。ニューロン部１１０は、積分回路１１１と、閾値比較回路１１２と、スパイク生成回路１１３と、を備えている。
【0044】
シナプス部１２０に入力されるスパイク信号は、例えば電圧スパイクである。電圧スパイクは、電流発生回路１２２に入力される。電流発生回路１２２は、電圧スパイクの入力に応じて、重み記憶部１２１に格納されている重みの値に応じた電流を生成する。この電流をシナプス電流と呼ぶ。
【0045】
重み記憶部１２１は、例えば、メモリ素子を含むメモリ回路である。メモリ素子は、揮発性メモリ素子であってもよいし、不揮発メモリ素子であってもよい。揮発メモリ素子は、例えば、ＳＲＡＭ（Static Random-Access Memory）セル、および、ＤＲＡＭ（Dynamic Random-Access Memory）セル（キャパシタ）である。不揮発メモリ素子は、例えば、浮遊ゲートまたは電荷蓄積膜を備えたトランジスタ（フラッシュメモリセル）、磁気トンネル接合素子（ＭＴＪ：Magnetic Tunnel Junction、または、ＭＲＡＭセル：Magnetoresistive Random-Access Memory Cell）、および、抵抗変化型メモリ素子（メモリスタ）である。
【0046】
重みの値は、メモリ回路にデジタルデータとして格納されていてもよいし、アナログデータとして格納されていてもよい。電流発生回路１２２は、入力される電圧スパイクに対して、重みが大きいほど大きなシナプス電流を生成する。シナプス電流は、シナプス信号に相当し、ニューロン部１１０に入力される。
【0047】
積分回路１１１は、入力されたシナプス電流を積分し、膜電位と呼ばれる電圧に変換する。膜電位の時間的変化は、積分回路１１１に予め設定されたニューロンモデルによって決定される。ニューロンモデルとしてはどのようなモデルを用いてもよいが、例えば、Leaky Integrate and Fire（LIF）モデルを用いることができる。
【0048】
閾値比較回路１１２は、積分回路１１１から出力される膜電位と、予め定められた閾値とを比較する。スパイク生成回路１１３は、膜電位が閾値を超えた場合に、電圧スパイクを生成して出力する。このようなニューロン部１１０における電圧スパイクの生成を発火と呼ぶ。
【0049】
次に、シナプス部１２０の重み（シナプス重み）の更新についてさらに説明する。
【0050】
重みの強化は、シナプスを強化するための予め定められた強化条件が満たされた場合に、重み記憶部１２１に格納されている重みの値を大きくすることで実行される。強化条件は、例えばＳＴＤＰのシナプス重み強化の条件である。
【0051】
一方、重みの減衰は、シナプスを減衰するための予め定められた減衰条件が満たされ、かつ、判定部１６０からシナプス更新が可である旨の信号が出力された場合に、重み記憶部１２１に格納されている重みの値を小さくすることで実行される。
【0052】
判定部１６０は、ニューロン部１１０の発火状況を監視し、ニューロン部１１０の発火状況に応じてシナプス更新の可否を判定し、シナプス減衰部１５０に減衰動作の許可を与える。例えば判定部１６０は、ニューロン部１１０の発火頻度が予め定められた閾値以上である場合に減衰動作を可能とする。
【0053】
ニューロン部１１０の発火頻度が閾値以上であるということは、ニューロン部１１０への入力されるシナプス電流の総和が一定以上の大きさを持っているということである。これは、ニューロン部１１０へ入力を与えるシナプス部１２０が保持する重み（複数のシナプス部１２０が接続される場合は、各シナプス部１２０の重みの総和）が十分に大きな値であることを意味する。
【0054】
そこで本実施形態では、発火頻度が閾値以上であるという条件下で減衰動作を許可することで、シナプス部１２０の重みの総和を閾値まで引き下げることを可能とする。発火頻度が小さい場合には減衰動作は行われず、強化条件に従う強化動作のみが行われる。このため、重みの総和は増加し、いずれ閾値に達する。このようにして、平均的に重みの総和を一定に保つ、シナプス規格化の実現が可能となる。
【0055】
以上の処理を数式で表現すると以下のようになる。ｉ、ｊは、それぞれシナプス部１２０およびニューロン部１１０を識別する情報である。すなわち、ｉで識別されるシナプス部１２０（以下、シナプス部１２０ｉという）が、ｊで識別されるニューロン部１１０（以下、ニューロン部１１０ｊという）にスパイク信号を入力するものとする。
【0056】
シナプス部１２０ｉに格納されている重みをｗｉｊとする。ニューロン部１１０ｊの発火頻度をＦｊとする。発火頻度の閾値をＦＴとする。シナプス部１２０ｉに対して定められた強化条件をπｉｊ
ｐとする。ニューロン部１１０ｊに定められた減衰条件をπｊ
ｄとする。この場合、重みｗｉｊとの更新は、以下の（１）式で表される。Θは、引数が正の場合は１となり、負の場合は０となるステップ関数である。
【数1】
【0057】
アナログ電気回路においてΘ（Ｆｊ－ＦＴ）を実装するためには、発火頻度Ｆｊを回路上の物理量として表現する必要がある。また、発火頻度を定義するための時間幅も考慮に入れる必要があり、設計が複雑になりうる。そこで、設計をより簡易化可能な回路として、例えば以下のような回路を用いることができる。
【0058】
まず、通常は時定数τ減衰し、ニューロン部１１０ｊが発火した時にＪＣだけ不連続的に増加する新たな変数Ｃｊを考える。すなわち、変数Ｃｊは、以下の（２）式に従うものとする。ｔｊ
ｐｏｓｔは、ニューロン部１１０ｊが発火する時刻である。
【数2】
【0059】
図８は、ニューロン部１１０ｊの発火と変数Ｃｊの変化との関係の一例を示す図である。変数Ｃｊは、ニューロン部１１０ｊが発火していないときには減衰して０に近づく。一方、頻繁に発火が起これば、減衰の量よりＪＣによる不連続増加の量が大きくなり、変数Ｃｊが増加する。従って、図８に示すように、Ｃｊがある閾値θＣよりも大きくなるためには、発火頻度がある閾値以上でなければならない。
【0060】
これを利用すると、重みｗｉｊの更新は、以下の（３）式で表すことができる。Δｗｉｊは、重みｗｉｊの更新量を表す。
【数3】
【0061】
このように、発火頻度は、ニューロン部１１０がスパイク信号を出力するごとに増加し、時間の経過に従い減衰する変数Ｃｊにより表すことができる。このような変数Ｃｊを実現するためには、例えばキャパシタを含むアナログ積分回路を用いればよい。そのような回路としては、例えば非特許文献２に記載される回路を用いることができる。
【0062】
減衰条件πｊ
ｄは、例えば、ニューロン部１１０ｊの発火のタイミングで重みを減衰させる、という条件である。すなわち、減衰条件πｊ
ｄは、例えば以下の（４）式で表される。なお、δは、引数が０（例えばｔ＝ｔｉ
ｐｏｓｔ）の場合に１となり、その他の場合に０となる関数（デルタ関数）である。
【数4】
【0063】
【0064】
次に、このように構成された第１実施形態にかかるスパイキングニューラルネットワーク装置１００による学習処理について説明する。図９は、第１実施形態における学習処理の一例を示すフローチャートである。
【0065】
判定部１６０は、ニューロン部１１０からスパイク信号を入力する（ステップＳ１０１）。判定部１６０は、１６０は、入力されたスパイク信号に基づき、シナプス部１２０の重みを更新するか否かを判定する（ステップＳ１０２）。例えば判定部１６０は、ニューロン部１１０によるスパイク信号の発火頻度が閾値以上である場合に重みを更新すると判定する。
【0066】
重みを更新すると判定した場合（ステップＳ１０２：Ｙｅｓ）、判定部１６０は、重みの更新が可能である旨を示す信号を出力する（ステップＳ１０３）。
【0067】
信号が出力された後、および、重みを更新しないと判定された場合（ステップＳ１０２：Ｎｏ）、シナプス減衰部１５０は、重みの更新が可能である旨の信号が出力され、かつ、減衰条件が満たされるか否かを判定する（ステップＳ１０４）。
【0068】
重みの更新が可能である旨の信号が出力され、かつ、減衰条件が満たされる場合（ステップＳ１０４：Ｙｅｓ）、シナプス減衰部１５０は、シナプス部１２０の重みを減衰させるための減衰動作を行う（ステップＳ１０５）。
【0069】
重みの更新が可能である旨の信号が出力されていない、または、減衰条件が満たされない場合（ステップＳ１０４：Ｎｏ）、および、減衰動作が実行された後、シナプス強化部１４０は、強化条件が満たされるか否かを判定する（ステップＳ１０６）。
【0070】
強化条件が満たされる場合（ステップＳ１０６：Ｙｅｓ）、シナプス強化部１４０は、シナプス部１２０の重みを強化する強化動作を行う（ステップＳ１０７）。
【0071】
強化動作が実行された後、および、教科条件が満たされない場合（ステップＳ１０６：Ｎｏ）、学習処理が終了する。
【0072】
図１０－１から図１０－３は、本実施形態におけるスパイキングニューラルネットワーク装置１００によるＭＮＩＳＴ手書き文字の学習結果の一例を示す図である。用いたニューラルネットワークは図３と同様である。ここでは、シナプス部１２０としては重みの値が０または１のみを取るバイナリシナプスを用いている。従って、重み更新は、Δｗｉｊの大きさだけ重みを更新するのではなく、Δｗｉｊに比例した確率でｗｉｊを０から１または１から０へ変化させる処理である。シナプス強化部１４０はＳＴＤＰの強化条件を用い、シナプス減衰部１５０は上記（４）式で表される減衰条件を用いる。すなわち、Δｗｉｊは、以下の（５）式で表される。
【数5】
【0073】
ただし、ηｐｏｔ、ηｄｅｐ、τＳＴＤＰは定数、ｔｉ
ｐｒｅはシナプス部１２０ｉにスパイク信号が入力される時刻である。Δｗｉｊは、正の場合は時刻ｔにおいてシナプス部１２０ｉの重みの値が０から１に強化される確率を表し、負の場合は時刻ｔにおいてシナプス部１２０ｉの重みの値が１から０に減衰する確率を表している（すでに１または０である場合には値は変化しない）。
【0074】
図１０－１から図１０－３に示されるように、学習回数を増やしていくと当初ランダムであった重み分布は次第にパターンを形成する。６０，０００回学習後（図１０－３）に、この重み分布を用いたニューラルネットワークにおける文字認識率は７７．３％となる。図１０－１から図１０－３に示すように、本実施形態を適用すると、文字パターンの空白部分についても学習が可能となる。すなわち、（５）式の第二項のシナプス規格化に相当する効果が働き、空白部分に相当するシナプスの重みが減衰されて０になっている。
【0075】
なお、シナプス部１２０としてバイナリシナプスではなく、０から１の範囲の重みの値を取り得るシナプスを用いることもできる。この場合、例えば、重み更新は、Δｗｉｊの大きさだけ重みを更新することで実現される。
【0076】
このように、第１実施形態にかかるスパイキングニューラルネットワーク装置では、ニューロンの発火状況（発火頻度）に基づいてシナプスの重みを減衰する。例えば複数のシナプス部の重みの総和を計算する必要がないため、より簡易な構成でシナプス規格化が実現可能となる。
【0077】
（第２実施形態）
第２実施形態にかかるスパイキングニューラルネットワーク装置は、強化動作についても、シナプス更新が可能と判定された場合に実行する。
第２実施形態にかかるスパイキングニューラルネットワーク装置は、強化動作についても、シナプス更新が可能と判定された場合に実行する。
【0078】
図１１は、第２実施形態に係るスパイキングニューラルネットワーク装置１００－２の構成例を示す図である。本実施形態のスパイキングニューラルネットワーク装置１００－２は、図１１に示すように、シナプス部１２０と、ニューロン部１１０と、シナプス強化部１４０－２と、シナプス減衰部１５０と、判定部１６０－２を備える。
【0079】
第２実施形態では、シナプス強化部１４０－２および判定部１６０－２の機能が第１実施形態と異なっている。その他の構成および機能は、第１実施形態にかかるスパイキングニューラルネットワーク装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
【0080】
判定部１６０－２は、シナプス更新の可否に関する信号をシナプス減衰部１５０のみでなく、シナプス強化部１４０－２にも出力する点が、第１実施形態の判定部１６０と異なっている。
【0081】
シナプス強化部１４０－２は、判定部１６０－２からシナプス更新が可である旨の信号を受け取り、かつ、予め定められた強化条件が満たされる場合に、シナプス部１２０の重みを強化する強化動作を行う。
【0082】
第１実施形態の図６と同様に、１つのニューロン部１１０に複数のシナプス部が接続されてもよい。図１２は、このように構成されたスパイキングニューラルネットワーク装置１００－２ｂの構成例を示す図である。図１２に示すように、スパイキングニューラルネットワーク装置１００－２ｂは、シナプス部１２０１～１２０３と、ニューロン部１１０と、シナプス強化部１４０－２１～１４０－２３と、シナプス減衰部１５０と、判定部１６０－２と、を備える。
【0083】
既に述べたように、ニューラルネットワークにおける学習には、重みの総和は一定値に保たれるシナプス規格化が実現されることが望ましい。そしてシナプス規格化の実現のためには、強化動作と減衰動作のバランスが取られることが望ましい。すなわち、強化動作のみが許可されて減衰動作が許可されない、または逆に、減衰動作のみが許可されて強化動作が許可されない、という事態は避ける方が望ましい。このような事態が生じると、ある条件下では強化動作のみが起こる、または、減衰動作のみが起こる、ということが可能になり、シナプス規格化ができなくなる可能性がある。そこで、強化動作は、減衰動作と同様の条件の下で、例えば、発火頻度が閾値以上（Ｆｊ＞ＦＴ）である場合に条件の下で許可されるべきである。すなわち、重み更新は以下の（６）式のような表せることが望ましい。ここで、πｉ
ｐはシナプス部１２０ｉにおける強化条件である。
【数6】
【0084】
第１実施形態の場合と同様に変数Ｃｊを用いた場合、（６）式は以下の（７）式のように表すことができる。
【数7】
【0085】
ところで、シナプスの重みの強化の法則としてＨｅｂｂ則という法則が知られている。Ｈｅｂｂ則によれば、重みｗｉｊの増分Δｗｉｊは、シナプス部１２０ｉにおけるスパイク信号の頻度Ｆｉとニューロン部１１０ｊの発火頻度Ｆｊに比例する。すなわち、以下の（８）式がＨｅｂｂ則である。
【数8】
【0086】
このように、増分ΔｗｉｊはＦｊの一次関数である。一方、Θ（Ｆｊ－ＦＴ）をＦｊの関数として見る場合、Θ（Ｆｊ－ＦＴ）は、一次関数Ｆｊ／Ｆｍａｘ（ＦｍａｘはＦｊが取りうる最大値）の粗い近似とみなすことができる。πｉ
ｐとして、πｉ
ｐ∝δ（ｔ－ｔｉ
ｐｒｅ）を考えると、πｉ
ｐはＦｉと同一視することができる。従って、（６）式の強化項（強化条件）であるπｉ
ｐΘ（Ｆｊ－ＦＴ）∝δ（ｔ－ｔｉ
ｐｒｅ）Θ（Ｆｊ－ＦＴ）は、Ｈｅｂｂ則の近似とみなすことができる。
【0087】
（６）式の減衰項（減衰条件）は、例えば第１実施形態と同様に（４）式で表されてもよい。この場合、重みｗｉｊの更新を表すΔｗｉｊは、以下の（９）式で表される。ただしηｐｏｔ、ηｄｅｐは定数である。
【数9】
【0088】
第１実施形態と同様に、変数Ｃｊが用いられてもよい。この場合は、Δｗｉｊは、以下の（１０）式で表される。
【数10】
【0089】
次に、このように構成された第２実施形態にかかるスパイキングニューラルネットワーク装置１００－２による学習処理について説明する。図１３は、第２実施形態における学習処理の一例を示すフローチャートである。
【0090】
本実施形態では、ステップＳ２０６の判定処理が、第１実施形態の学習処理を示す図９のステップＳ１０６と異なっている。他の各ステップ（ステップＳ２０１～ステップＳ２０５、ステップＳ２０７）は、第１実施形態にかかるスパイキングニューラルネットワーク装置１００における各ステップ（ステップＳ１０１～ステップＳ１０５、ステップＳ１０７）と同様の処理なので、その説明を省略する。
【0091】
ステップＳ２０６では、シナプス強化部１４０－２は、重みの更新が可能である旨の信号が出力され、かつ、強化条件が満たされるか否かを判定する（ステップＳ２０６）。
【0092】
図１４－１から図１４－３は、本実施形態におけるスパイキングニューラルネットワーク装置１００－２によるＭＮＩＳＴ手書き文字の学習結果の一例を示す図である。用いたニューラルネットワークは図３と同様である。ここでは、シナプスとしては重みの値が０または１のみを取るバイナリシナプスを用いている。従って、重み更新は、Δｗｉｊの大きさだけ重みを更新するのではなく、Δｗｉｊに比例した確率でｗｉｊを０から１または１から０へ変化させる処理である。シナプス強化部１４０－２はＳＴＤＰの強化条件を用い、シナプス減衰部１５０は上記（１０）式で表される減衰条件を用いる。
【0093】
図１４－１から図１４－３に示されるように、学習回数を増やしていくと当初ランダムであった重み分布は次第にパターンを形成する。６０，０００回学習後（図１４－３）に、この重み分布を用いたニューラルネットワークにおける文字認識率は８１．６％となる。図１４－１から図１４－３に示すように、本実施形態を適用すると、文字パターンの空白部分についても学習が可能となる。すなわち、（５）式の第二項のシナプス規格化に相当する効果が働き、空白部分に相当するシナプスの重みが減衰されて０になっている。
【0094】
シナプス規格化を効果的に実装するためには、強化動作と減衰動作のバランスが取れている必要がある。図１５は、ηｐｏｔ（強化率に相当）に対するηｄｅｐ（減衰率に相当）の比率に対して、ＭＮＩＳＴ手書き文字学習後の認識率および重みのニューロン部１１０ごとの総和の標準偏差をプロットしたグラフを表す。比率が０．２～０．４付近で認識率が最大値を取るが、同じ範囲（比率０．２～０．４）で標準偏差が極小値を取る。標準偏差が極小値を取ることは、ニューロン部１１０に接続されているシナプス部１２０の重みの総和のばらつきが小さく、規格化されているということに他ならない。すなわち、強化動作と減衰動作のバランスが取れてシナプス規格化が生じると、学習による認識率が向上することが示されている。
【0095】
このように、第２実施形態にかかるスパイキングニューラルネットワーク装置では、減衰動作のみでなく強化動作についても、シナプス更新が可能と判定された場合に実行する。これにより、シナプス規格化をより効率的に実現可能となる。
【0096】
（第３実施形態）
第３実施形態では、第２実施形態を実現する回路の構成例を説明する。
第３実施形態では、第２実施形態を実現する回路の構成例を説明する。
【0097】
図１６は、第３実施形態に係るスパイキングニューラルネットワーク装置１００－３の回路構成例を示す図である。本実施形態のスパイキングニューラルネットワーク装置１００－３は、図１６に示すように、シナプス部１２０と、ニューロン部１１０と、強化・減衰部１５００と、判定部１６０と、を備える。
【0098】
強化・減衰部１５００は、第２実施形態のシナプス強化部１４０－２およびシナプス減衰部１５０の両方の機能を備える構成に相当する。
【0099】
シナプス部１２０は、ＭＯＳ（Metal Oxide Semiconductor）トランジスタ１５２１と、メモリスタ１５２２と、を備えている。ＭＯＳトランジスタ１５２１は、電圧スパイクが入力されるとオンする。メモリスタ１５２２は、重み記憶部１２１の一例である。重み記憶部１２１は、メモリスタ１５２２などのように、情報（重みの値）を抵抗値として記憶できる二端子記憶素子として実現できる。以下では、メモリスタ１５２２は、低抵抗状態（ＳＥＴ状態）と高抵抗状態（ＲＥＳＥＴ状態）の２状態を取りうる二端子記憶素子であるとして説明する。
【0100】
ニューロン部１１０の回路構成例は、図７と同様である。判定部１６０は、判定回路１５６０を備えている。強化・減衰部１５００は、電圧発生回路１５０１と、電圧制御回路１５０２と、を備えている。
【0101】
【0102】
図１７に示すように、通常の状態では、メモリスタ１５２２の一方の端子には読み出し電圧Ｖｒｅａｄが印加されており、電圧スパイクが入力されるとＭＯＳトランジスタ１５２１がオンになる。以下ではＭＯＳトランジスタ１５２１はＮ型として説明する。ＭＯＳトランジスタ１５２１がＮ型であるので、電圧スパイクは正の電圧である。また、読み出し電圧Ｖｒｅａｄも正であるとする。メモリスタ１５２２がＳＥＴ状態であれば、読み出し電圧Ｖｒｅａｄがシナプス電流に変換されてニューロン部１１０（積分回路１１１）に流れ込む。メモリスタ１５２２がＲＥＳＥＴ状態であれば、シナプス電流は無視できるほど小さい。
【0103】
ニューロン部１１０は、積分回路１１１、閾値比較回路１１２、および、スパイク生成回路１１３を含む。積分回路１１１は、シナプス部１２０で生成されたシナプス電流を積分する。閾値比較回路１１２は、積分された値（膜電位）と閾値とを比較する。スパイク生成回路１１３は、膜電位が閾値を超えると発火し、電圧スパイクを出力する。
【0104】
図１８に示すように、ニューロン部１１０が連続的に発火し、発火頻度が閾値以上になると、判定回路１５６０は、電圧制御回路１５０２にシナプス更新信号を転送する。シナプス更新信号は、重みを更新することを示す信号（シナプス更新が可である旨の信号）に相当する。
【0105】
シナプス更新信号を受信した電圧制御回路１５０２は、電圧発生回路１５０１に強化電圧ＶＳＥＴを出力するように信号を転送する。信号を受信した電圧発生回路１５０１は、強化電圧ＶＳＥＴを出力する。強化電圧ＶＳＥＴは正電圧であり、ＶＳＥＴ＞Ｖｒｅａｄである。この状態でシナプス部１２０に電圧スパイクが入力されると、ＭＯＳトランジスタ１５２１がオンになり、メモリスタ１５２２の両端には強化電圧ＶＳＥＴが印加される。メモリスタ１５２２は、その抵抗状態がＲＥＳＥＴ状態であれば、強化電圧ＶＳＥＴによってＳＥＴ状態に遷移するよう設計されている。
【0106】
既にＳＥＴ状態であれば抵抗状態は変化せず、シナプス電流がニューロン部１１０に流れ込む。ここで、メモリスタ１５２２およびＭＯＳトランジスタ１５２１のサイズを適切に設計し、電圧スパイクの振幅、強化電圧ＶＳＥＴ、および、読み出し電圧Ｖｒｅａｄを適切に設定することにより、メモリスタ１５２２のＳＥＴ状態において、読み出し電圧Ｖｒｅａｄおよび強化電圧ＶＳＥＴのいずれが印加された場合でも、ＭＯＳトランジスタ１５２１は飽和状態で動作するようにすることができる。この場合、シナプス電流は、ＭＯＳトランジスタ１５２１の飽和電流で決定される。このため、読み出し電圧Ｖｒｅａｄおよび強化電圧ＶＳＥＴのいずれが印加された場合でも、同じシナプス電流が流れるようになる。すなわち、強化動作が行われる場合でも、強化動作の動作はニューロン部１１０の動作に影響することはない。これは、認識動作または推論動作しながら学習を行うオンライン学習において重要な性質であり、認識動作または推論動作と学習とを区別する従来のディープラーニング技術とは異なる点である。
【0107】
図１９に示すように、ニューロン部１１０の発火頻度が一定以上になると、判定回路１５６０は、電圧制御回路１５０２にシナプス更新信号を転送する。一方、スパイク生成回路１１３で電圧スパイクが生成されると、電圧制御回路１５０２に電圧スパイクが転送される。電圧制御回路１５０２は、シナプス更新信号を受信し、かつ、その間に電圧スパイクを受信すると、電圧発生回路１５０１に減衰電圧ＶＲＥＳＥＴを出力するように信号を転送する。信号を受信した電圧発生回路１５０１は、減衰電圧ＶＲＥＳＥＴを出力する。減衰電圧ＶＲＥＳＥＴは負電圧である。この状態でＭＯＳトランジスタ１５２１がオフであれば、メモリスタ１５２２の電圧発生回路１５０１側の端子には減衰電圧ＶＲＥＳＥＴが印加される。
【0108】
一方、ＭＯＳトランジスタ１５２１側の端子は、ＭＯＳトランジスタ１５２１のソースドレイン電極に接続されている。従って、ＭＯＳトランジスタ１５２１がバルク基板上に形成されている場合は、ソースドレイン電極は基板に対してｎ／ｐ型のダイオードを形成する。このため、メモリスタ１５２２の電圧発生回路１５０１側に負電圧である減衰電圧ＶＲＥＳＥＴを印加する場合は、ＭＯＳトランジスタ１５２１側の端子はダイオードを通じて接地されているとみなされる。|ＶＲＥＳＥＴ|を適切に設定すれば、ＳＥＴ状態態にあるメモリスタ１５２２はＲＥＳＥＴ状態へと遷移する。既にＲＥＳＥＴ状態であれば抵抗状態は変化せず、電流は流れない。
【0109】
減衰電圧ＶＲＥＳＥＴの印加時に電圧スパイクが入力された場合には、ＭＯＳトランジスタ１５２１がオンになるが、ニューロン部１１０の入力部分の電位はグラウンドになっているため、メモリスタ１５２２に印加される電圧には影響はない。また、ニューロン部１１０の発火直後は不応答期間が存在するため、ニューロン動作に対する影響もない。
【0110】
なお、これまではＭＯＳトランジスタ１５２１はバルク基板上に形成されているとして説明した。ＭＯＳトランジスタ１５２１がＳＯＩ（Silicon on Insulator)）基板上に形成されている等、ソースドレイン電極がグラウンドに対してダイオードを形成していない場合は、別途、ソースドレイン電極にダイオード（ＭＯＳトランジスタ１５２１とメモリスタ１５２２とを接続するダイオード）を接続するように構成すればよい。これにより、メモリスタ１５２２をＲＥＳＥＴ状態へ遷移することが可能となる。
【0111】
第２実施形態の図１２と同様に、１つのニューロン部１１０に複数のシナプス部が接続されてもよい。図２０は、このように構成されたスパイキングニューラルネットワーク装置１００－３ｂの構成例を示す図である。図２０に示すスパイキングニューラルネットワーク装置１００－３ｂは、複数のシナプス部に接続されたニューロン部１１０をさらに複数並列に並べるように構成した例を示す。なお図２０では、複数のシナプス部とニューロン部１１０との組を２つ並べた例を示すが、３以上の組みを並べるように構成してもよい。
【0112】
電圧発生回路１５０１１、電圧制御回路１５０２１は、左側の組に含まれる強化・減衰部１５００に相当する。積分回路１１１１、閾値比較回路１１２１、および、スパイク生成回路１１３１は、左側の組に含まれるニューロン部１１０に相当する。ＭＯＳトランジスタ１５２１１１、１５２１２１、および、メモリスタ１５２２１１、１５２２２１は、左側の組に含まれる２つのシナプス部１２０に相当する。
【0113】
同様に、電圧発生回路１５０１２、電圧制御回路１５０２２は、右側の組に含まれる強化・減衰部１５００に相当する。積分回路１１１２、閾値比較回路１１２２、および、スパイク生成回路１１３２は、右側の組に含まれるニューロン部１１０に相当する。ＭＯＳトランジスタ１５２１１２、１５２１２２、および、メモリスタ１５２２１２、１５２２２２は、右側の組に含まれる２つのシナプス部１２０に相当する。なお各組に、３つ以上のシナプス部１２０が含まれてもよい。
【0114】
以上説明したとおり、第１から第３実施形態によれば、装置の大型化、および、学習に必要な電力の増大を招くことなくスパイク密度が低い情報を学習することが可能となる。
【0115】
本発明のいくつか実施形態を説明したが、これら実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0116】
１００、１００ｂ、１００－２、１００－２ｂ、１００－３、１００－３ｂ スパイキングニューラルネットワーク装置
１１０ ニューロン部
１１１ 積分回路
１１２ 閾値比較回路
１１３ スパイク生成回路
１２０ シナプス部
１２１ 重み記憶部
１２２ 電流発生回路
１４０、１４０－２ シナプス強化部
１５０ シナプス減衰部
１６０、１６０－２ 判定部
１１０ ニューロン部
１１１ 積分回路
１１２ 閾値比較回路
１１３ スパイク生成回路
１２０ シナプス部
１２１ 重み記憶部
１２２ 電流発生回路
１４０、１４０－２ シナプス強化部
１５０ シナプス減衰部
１６０、１６０－２ 判定部
【図1】
【図2】
【図3】
【図4-1】
【図4-2】
【図4-3】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10-1】
【図10-2】
【図10-3】
【図11】
【図12】
【図13】
【図14-1】
【図14-2】
【図14-3】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】