知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-16
(45)【発行日】2024-02-27
(54)【発明の名称】ニューラルネットワーク装置及び学習方法
(51)【国際特許分類】
G06N 3/08 20230101AFI20240219BHJP
G06N 3/049 20230101ALI20240219BHJP
G06N 3/0495 20230101ALI20240219BHJP
G06N 3/063 20230101ALI20240219BHJP
【ＦＩ】
G06N3/08
G06N3/049
G06N3/0495
G06N3/063
【請求項の数】
12
(21)【出願番号】P 2021001704
(22)【出願日】2021-01-07
(65)【公開番号】P2022106592
(43)【公開日】2022-07-20
【審査請求日】2023-02-02
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】西 義史
(72)【発明者】
【氏名】野村 久美子
(72)【発明者】
【氏名】丸亀 孝生
(72)【発明者】
【氏名】水島 公一
【審査官】渡辺 一帆
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０３１８２３９（ＵＳ，Ａ１）
【文献】特開２０１７－０４９９４５（ＪＰ，Ａ）
【文献】特表２０１８－５２４６９８（ＪＰ，Ａ）
【文献】国際公開第２０１８／１８６３９０（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０２－３／１０
(57)【特許請求の範囲】
【請求項1】
ニューロンと、スパイク信号を重みに応じてシナプス電流に変換する変換部と、
前記変換されたシナプス電流を前記ニューロンに伝達する伝達部と、
前記重みの状態遷移を決定する制御部と、
前記決定された状態遷移に応じて、前記重みを離散的な状態として保持する保持部と、
を備え、
前記保持部は、前記制御部から入力される信号をもとに確率的に動作して前記重みの状態を遷移させる動作部を有し、
前記動作部の動作の累積確率は、信号入力回数に対してＳ字状に変化する
ことを特徴とするニューラルネットワーク装置。
【請求項2】
前記動作部の動作の累積確率は、信号入力回数に対してＳ字に沿いながら曲線的に変化することを特徴とする請求項１に記載のニューラルネットワーク装置。
【請求項3】
前記動作部の動作の累積確率は、信号入力回数に対してＳ字に沿いながら折れ線的に変化することを特徴とする請求項１に記載のニューラルネットワーク装置。
【請求項4】
前記動作部の動作の累積確率は、信号入力回数に対してガンマ分布に従って変化することを特徴とする請求項１に記載のニューラルネットワーク装置。
【請求項5】
前記動作部の動作の累積確率は、信号入力回数に対してワイブル分布に従って変化することを特徴とする請求項１に記載のニューラルネットワーク装置。
【請求項6】
前記動作部は、多段接続される複数のスイッチ素子を有し、前記スイッチ素子は、離散的な複数の状態を持ち、信号入力によって状態が確率的に前記複数の状態の間で遷移する
ことを特徴とする請求項１に記載のニューラルネットワーク装置。
【請求項7】
前記動作部は、乱数を発生する発生部と、
カウンタと、
前記発生部が接続された第１の入力ノードと入力信号を受ける第２の入力ノードと前記カウンタに接続された出力ノードとを有し、論理積を演算する演算回路と、
を有する
ことを特徴とする請求項１に記載のニューラルネットワーク装置。
【請求項8】
前記スイッチ素子は、離散的な複数の抵抗状態を持ち、信号入力によって抵抗状態が確率的に前記複数の抵抗状態の間で遷移する抵抗変化素子であることを特徴とする請求項６に記載のニューラルネットワーク装置。
【請求項9】
前記スイッチ素子は、入力信号によって状態が確率的にＯＦＦ状態からＯＮ状態に変化するバイナリ型の素子であることを特徴とする請求項６に記載のニューラルネットワーク装置。
【請求項10】
前記スイッチ素子は、入力信号によって状態が確率的に３以上の状態の間で段階的に変化する多値型の素子であることを特徴とする請求項６に記載のニューラルネットワーク装置。
【請求項11】
前記カウンタは、カウント数が２以上の整数である所定数に達するまではゼロを出力し、カウント数が前記所定数に達すると１を出力することを特徴とする請求項７に記載のニューラルネットワーク装置。
【請求項12】
ニューロンとスパイク信号を重みに応じてシナプス電流に変換する変換部と前記変換されたシナプス電流を前記ニューロンに伝達する伝達部と前記重みを離散的な状態として保持する保持部とを有するニューラルネットワーク装置における前記重みの状態遷移を決定する決定ステップと、前記決定された状態遷移に応じて信号を前記保持部へ入力し、前記保持部で保持される重みの状態を確率的に遷移させる遷移ステップと、
を含み、
前記遷移ステップにおける前記重みの状態の遷移の累積確率は、信号入力回数に対してＳ字状に変化する
ことを特徴とする学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は、ニューラルネットワーク装置及び学習方法に関する。
【背景技術】
【0002】
ＳＴＤＰ（Ｓｐｉｋｅ Ｔｉｍｉｎｇ Ｄｅｐｅｎｄｅｎｔ Ｐｌａｓｔｉｃｉｔｙ）の原理を利用するニューラルネットワーク装置では、シナプス重みが、一般的には連続値で表現され、学習において、ＳＴＤＰによって決定された量で変化する。
【先行技術文献】
【非特許文献】
【0003】
【文献】Ｙｏｕｎｇｊｉｎ Ｐａｒｋ， Ｗｏｏｃｈｕｌ Ｃｈｏｉ， ＆ Ｓｅ－Ｂｕｍ Ｐａｉｋ，“Ｓｙｍｍｅｔｒｙ ｏｆ ｌｅａｒｎｉｎｇ ｒａｔｅ ｉｎ ｓｙｎａｐｔｉｃ ｐｌａｓｔｉｃｉｔｙ ｍｏｄｕｌａｔｅｓ ｆｏｒｍａｔｉＯＮ ＯＦＦｌｅｘｉｂｌｅ ａｎｄ ｓｔａｂｌｅ ｍｅｍｏｒｉｅｓ”，Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ， １８ Ｊｕｌ ２０１７， ７（１）：５６７１，ｐｐ．１－１２
【発明の概要】
【発明が解決しようとする課題】
【0004】
ニューラルネットワーク装置は、シナプス重みを離散値で扱うために、ＳＴＤＰによって「重みの変化量」を決定するのではなく、「重みの変化確率」を決定し、その確率に従って重み値を０から１あるいは１から０へ変化させる学習（確率的ＳＴＤＰ）を行うことがある。このとき、ニューラルネットワーク装置における確率的ＳＴＤＰ学習による学習内容について、記憶保持特性を向上することが望まれる。
【0005】
本発明が解決しようとする課題は、記憶保持特性を容易に向上できるニューラルネットワーク装置及び学習方法を提供することである。
【課題を解決するための手段】
【0006】
実施形態のニューラルネットワーク装置は、ニューロンと変換部と伝達部と制御部と保持部とを有する。変換部は、スパイク信号を重みに応じてシナプス電流に変換する。伝達部は、変換されたシナプス電流をニューロンに伝達する。制御部は、重みの状態遷移を決定する。保持部は、決定された状態遷移に応じて、重みを離散的な状態として保持する。保持部は、動作部を有する。動作部は、制御部から入力される信号をもとに確率的に動作して重みの状態を遷移させる。動作部の動作の累積確率は、信号入力回数に対してＳ字状に変化する。
【図面の簡単な説明】
【0007】
【図1】確率的ＳＴＤＰ（Ｓｐｉｋｅ Ｔｉｍｉｎｇ Ｄｅｐｅｎｄｅｎｔ Ｐｌａｓｔｉｃｉｔｙ）を示す図。
【図2】ニューラルネットワーク装置による学習を示す図。
【図3】学習後の追加学習回数と忘却数との関係を示す図。
【図4】簡易型の確率的ＳＴＤＰを示す図。
【図5A】指数関数型の動作の累積確率分布を示す図。
【図5B】Ｓ字関数型の動作の累積確率分布を示す図。
【図5C】Ｓ字関数型の動作の累積確率分布を示す図。
【図5D】Ｓ字関数型の動作の累積確率分布を示す図。
【図6】第１の実施形態にかかるニューラルネットワーク装置のブロック図。
【図7】スイッチ素子の特性を示す図。
【図8】スイッチ素子の特性を示す図。
【図9A】確率的動作部の動作を示す図。
【図9B】確率的動作部の動作を示す図。
【図9C】確率的動作部の動作を示す図。
【図9D】確率的動作部の動作を示す図。
【図10】ガンマ分布型の動作の累積確率分布を示す図。
【図11】追加学習回数と忘却数との関係を示す図。
【図12】ニューラルネットワーク装置の回路図。
【図13】ニューラルネットワーク装置による推論を示す図。
【図14】ニューラルネットワーク装置による推論を示す図。
【図15A】ニューラルネットワーク装置による学習を示す図。
【図15B】ニューラルネットワーク装置による学習を示す図。
【図15C】ニューラルネットワーク装置による学習を示す図。
【図15D】ニューラルネットワーク装置による推論を示す図。
【図16】第２の実施形態にかかるニューラルネットワーク装置の回路図。
【図17】ワイブル分布型の動作の累積確率分布を示す図。
【図18】第３の実施形態にかかるニューラルネットワーク装置の回路図。
【図19A】ニューラルネットワーク装置による推論を示す図。
【図19B】ニューラルネットワーク装置による推論を示す図。
【図20A】ニューラルネットワーク装置による学習を示す図。
【図20B】ニューラルネットワーク装置による学習を示す図。
【図20C】ニューラルネットワーク装置による学習を示す図。
【図20D】ニューラルネットワーク装置による推論を示す図。
【図21】追加学習回数と忘却数との関係を示す図。
【発明を実施するための形態】
【0008】
以下に添付図面を参照して、この発明にかかるニューラルネットワーク装置の実施形態を詳細に説明する。
【0009】
実施形態にかかるニューラルネットワーク装置は、人工知能が実装される脳型ハードウェアを志向している。
【0010】
近年、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に代表される計算機ハードウェアの進歩に伴い、人工知能技術が急速に発展している。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に代表される画像認識・分類技術は、既に実社会の様々なシーンで利用されている。現在において広く利用されている人工知能技術は、生体の神経回路網の動作を単純化した数理モデルをベースとしており、ＧＰＵなどの計算機で実行するのに適している。しかし、人工知能をＧＰＵで実行するには大きな電力が必要になる。特に、大量のデータから特徴を抽出して記憶させる学習動作には膨大な計算が必要で、そのため非常に多くの電力が必要になり、エッジでの学習動作が困難になることが予想されている。
【0011】
一方、人間の脳は、その消費エネルギーが２０Ｗ程度と低いにも関わらず、膨大な量のデータを常時オンラインで学習することができる。そこで、脳の動きを電気回路で比較的忠実に再現して情報処理を行う技術が世界各国で研究されている。
【0012】
脳の神経回路網の中では、情報は電圧スパイクによる信号としてニューロン（神経細胞）からニューロンへ伝達される。ニューロンとニューロンはシナプスと呼ばれる結合部によって結合され、あるニューロンが発火して電圧スパイクが発生すると、シナプスを介して後段のニューロンに電圧スパイクが入力される。このとき、後段のニューロンに入力される電圧スパイクの強度は、シナプスの持つ結合強度（以下、「重み」と呼ぶ）によって調整される。重みが大きい場合、電圧スパイクは強度が高いまま後段のニューロンに伝達されるが、重みが小さい場合は、伝達される電圧スパイクの強度は低くなる。従って、ニューロン間のシナプスの重みが大きいほど、このニューロン間の情報的な関係性が大きいということになる。
【0013】
シナプスの重みは、ニューロンの発火タイミングに依存して変化することが知られている。すなわち、あるニューロン（前段ニューロン）からシナプスを介して次のニューロン（後段ニューロン）に電圧スパイクが入力されたとする。このとき、後段ニューロンが発火すると、これら２つのニューロンが持つ情報の間には因果関係があるということになり、これら２つのニューロン間のシナプスの重みが大きくなる。逆に、後段ニューロンが発火した後に前段ニューロンから電圧スパイクが到達したとすると、これら２つのニューロンが持つ情報には因果関係がないということになり、これら２つのニューロン間のシナプスの重みが小さくなる。このように電圧スパイクのタイミングに依存してシナプスの重みが変化する性質をＳＴＤＰ（Ｓｐｉｋｅ Ｔｉｍｉｎｇ Ｄｅｐｅｎｄｅｎｔ Ｐｌａｓｔｉｃｉｔｙ）と呼ぶ。
【0014】
このような神経回路網の情報処理原理を模倣して、情報の流れを電気回路内部のスパイク列として表現し、処理する技術をスパイキングニューラルネットワークと呼ぶ。スパイキングニューラルネットワークでは、数値的な演算を行わず、すべての情報処理を電圧スパイクの蓄積・発生および伝達によって行う。従来の人工知能では学習には膨大な計算が必要であったが、スパイキングニューラルネットワークにおいては、ＳＴＤＰの原理を利用することによって効率的にデータ学習ができると考えられており、盛んに研究が行われている。
【0015】
シナプス重みは、一般的には連続値で表現され、学習において、ＳＴＤＰによって決定された量で変化する。従って、スパイキングニューラルネットワークをハードウェアで構成する場合、連続値を表現するためのメモリが必要になる。現在、広く使われているメモリは情報をデジタル方式で記憶しているが、連続値をデジタル方式で記憶するためには多くのビット数が必要であるため、メモリが大きくなってしまうという問題がある。抵抗変化メモリや相変化メモリ等、アナログ値を記憶するメモリも知られているが、アナログメモリに目的の値を正確に書き込むためには精密な信号制御が必要であり、制御のための回路やシステムが複雑化・巨大化してしまうという問題がある。
【0016】
この問題を回避するためには、シナプス重みを離散値で扱う方が望ましい。最も簡単な離散的シナプス重みはバイナリ型シナプス重みである。すなわち、重みの値として０と１のみが許容されるシナプスである。バイナリ型シナプス重みを採用すると、重みの変化量としては１のみになってしまうため、ＳＴＤＰではスパイクタイミングの持つ因果関係の情報をうまく表現できず、そのまま適用したのではうまく学習することが出来ない。そこで、ＳＴＤＰによって「重みの変化量」を決定するのではなく、「重みの変化確率」を決定し、その確率に従って重み値を０から１あるいは１から０へ変化させる確率的ＳＴＤＰを用いることで学習を行うことが出来る（図１）。
【0017】
確率的ＳＴＤＰは、しかしながら、以下に述べるような問題がある。例として図２のように、２８×２８＝７８４ピクセルの画像データをスパイキングニューラルネットワークに学習させることを考える。ここでは、７８４個の入力層のニューロンに各ピクセルからコントラストを入力する。入力層のニューロンはコントラストに応じたスパイク密度のスパイク列を発生させ、後段の処理層の４００個のニューロンに電圧スパイクを送る。入力層のニューロンと処理層のニューロンはシナプスを介して接続されている。シナプスは、入力スパイクおよびニューロン発火のタイミングによるＳＴＤＰによってシナプス重みが変化する。ニューロン間にはお互いを抑制する相互作用がはたらいており、複数のニューロンが同時に発火しないような仕組みになっている。
【0018】
図３は、一般的な連続的な重みを用いたＳＴＤＰ（以下、連続的ＳＴＤＰ）と確率的ＳＴＤＰの記憶保持特性を比較したものである。すなわち、まずＭＮＩＳＴ手書き文字１０，０００パターンを学習させた後、さらに追加学習を行い、追加学習の回数に対して１０，０００回の時点で記憶していたパターンを失ったニューロン数を表している。図３から分かるように、確率的ＳＴＤＰでは連続的ＳＴＤＰに比べて記憶パターンを失ったニューロン数が多く、記憶保持特性が劣化していることが分かる。ＳＴＤＰによる学習は、大量のデータを一気に学習するバッチ学習ではなく、データが入力するたびに学習を繰り返していくいわゆるオンライン学習に用いることが望ましいが、記憶保持特性が悪いと記憶が新しいデータによって容易に書き換えられてしまい、過去に学習した結果を忘れてしまうという問題が生じる。
【0019】
バイナリシナプスによるＳＴＤＰ学習は、更新幅を遷移確率で読み替えることで実現できるが、確率的ＳＴＤＰでは、追加学習を行うとニューロンの記憶パターンが新しい学習パターンによって容易に上書きされてしまい、記憶保持特性が劣化するという問題があった。ここでは、過去の記憶パターンを保持しつつ確率的ＳＴＤＰ学習可能なバイナリシナプス型脳型ハードウェアを提供する。
【0020】
上述のように、バイナリ型シナプス重みを持つニューラルネットワークにおいて確率的ＳＴＤＰを用いて学習する場合、学習内容の記憶保持特性が劣化してしまうという問題がある。
【0021】
（第１の実施形態）
そこで、第１の実施形態では、バイナリ型シナプス重みを持つニューラルネットワークにおいて、シナプス遷移の累積確率がＳ字関数型の挙動を示す確率的動作部を用いることで、確率的ＳＴＤＰ学習による学習内容の記憶保持特性の改善を図る。
そこで、第１の実施形態では、バイナリ型シナプス重みを持つニューラルネットワークにおいて、シナプス遷移の累積確率がＳ字関数型の挙動を示す確率的動作部を用いることで、確率的ＳＴＤＰ学習による学習内容の記憶保持特性の改善を図る。
【0022】
ここではまず、確率的ＳＴＤＰによるバイナリ重みの変化について詳しく考察する。シナプスの重みｗは０もしくは１の値を取るものとする。以下では議論を簡単にするため、図４に示すような簡易型の確率的ＳＴＤＰを用いる。すなわち、スパイクがシナプスに入力される時刻ｔｐｒｅと接続するニューロンが発火する時刻ｔｐｏｓｔの時間差Δｔ＝ｔｐｒｅ－ｔｐｏｓｔについて、０＜Δｔ＜Ｔの時には重みｗ＝０のシナプスが確率ｐでｗ＝１に遷移し、それ以外の場合には重みｗ＝１のシナプスが確率ｑでｗ＝０に遷移するものとする。以下では、ｗ＝０から１へ遷移させるための動作を（実際に遷移してもしなくても）強化と呼び、ｗ＝１から０へ遷移させるための動作を（実際に遷移してもしなくても）減衰と呼ぶ。
【0023】
シナプス重みがｗ＝０の時にＮ回の強化動作が連続して起こった時、実際にシナプス状態がｗ＝１に遷移している確率は
Ｐ（ｗ＝１）＝１－（１－ｐ）Ｎ・・・（式１）
で表される。従って、ｗ＝０のシナプス重み状態にＮ回の強化動作が連続して起こった後のｗの期待値は
＜ｗ＞＝１－（１－ｐ）Ｎ・・・（式２）
となる。
Ｐ（ｗ＝１）＝１－（１－ｐ）Ｎ・・・（式１）
で表される。従って、ｗ＝０のシナプス重み状態にＮ回の強化動作が連続して起こった後のｗの期待値は
＜ｗ＞＝１－（１－ｐ）Ｎ・・・（式２）
となる。
【0024】
同様に、シナプス重みがｗ＝１の時にＮ回の減衰動作が起こるものとすると、実際にシナプスがｗ＝０に遷移している確率は
Ｐ（ｗ＝０）＝１－（１－ｑ）Ｎ・・・（式３）
で表される。従って、ｗ＝１のシナプス重み状態にＮ回の減衰動作が連続して起こった後のｗの期待値は
＜ｗ＞＝（１－ｑ）Ｎ・・・（式４）
で表される。
Ｐ（ｗ＝０）＝１－（１－ｑ）Ｎ・・・（式３）
で表される。従って、ｗ＝１のシナプス重み状態にＮ回の減衰動作が連続して起こった後のｗの期待値は
＜ｗ＞＝（１－ｑ）Ｎ・・・（式４）
で表される。
【0025】
確率的ＳＴＤＰでは、確率源が指数関数型の特性を示すことがある。この確率的ＳＴＤＰでは、強化動作に対する式２の期待値をグラフで表すと図５Ａに実線で示す分布になり、減衰動作に対する式４の期待値をグラフで表すと図５Ａに一点鎖線で示す分布になる。いずれの場合も指数関数的に変化するため、重みの期待値＜ｗ＞は強化あるいは減衰動作回数Ｎが小さい時に大きく変化し、Ｎが大きくなるに従って飽和していく。すなわち、統計的に見れば、シナプス状態の変化は最初の数回の動作による影響が大きいということが分かる。記憶保持特性の観点では、最初の数回の動作が既に形成しているシナプスの記憶を破壊し、新しい記憶を上書きしているということになる。指数関数型の確率的ＳＴＤＰの学習では、重みの遷移のほとんどが初期段階のうちに起こり、既存の記憶が消えやすい傾向にある。
【0026】
それに対して、以下に説明するように、重みの期待値＜ｗ＞が動作回数Ｎに対してＳ字関数型の特性を持つ確率源を用いることで、強化・減衰動作の初期段階が期待値に与える影響を小さくできる。
【0027】
確率源は、強化・減衰動作に対する累積確率が動作回数Ｎに対してＳ字状に変化するように構成される。ここでＳ字状に変化するとは、次のような変化をいう。例えば、期待値が、動作回数Ｎの少ないうちは緩やかに立ち上がり、やがて、動作回数Ｎが大きくなるにしたがって、急激に期待値が大きくなり、その後、期待値が大きくなるペースが再び緩やかになるような変化をいう。あるいは、例えば、期待値の１次関数が、動作回数Ｎが大きくなるにしたがって上に凸状となるような変化をいう。すなわち、確率源の動作の累積確率分布をＳ字関数化し、重みの遷移の立ち上がりを緩やかにすることで、既存の記憶を保護できるようにする。例えば、確率源は、強化動作に対する期待値が、図５Ｂに実線で示すように、動作回数Ｎに対してＳ字に沿いながら曲線的に変化し、減衰動作に対する期待値が、図５Ｂに一点鎖線で示すように、動作回数Ｎに対して逆Ｓ字に沿いながら曲線的に変化してもよい。あるいは、確率源は、強化動作に対する期待値が、図５Ｃに実線で示すように、動作回数Ｎに対してＳ字に沿いながら多段階で折れ線的に変化し、減衰動作に対する期待値が、図５Ｃに一点鎖線で示すように、動作回数Ｎに対して逆Ｓ字に沿いながら多段階で折れ線的に変化してもよい。あるいは、確率源は、強化動作に対する期待値が、図５Ｄに実線で示すように、動作回数Ｎに対してＳ字に沿いながら２段階で折れ線的に変化し、減衰動作に対する期待値が、図５Ｄに一点鎖線で示すように、動作回数Ｎに対して逆Ｓ字に沿いながら２段階で折れ線的に変化してもよい。以下では、主として、確率源が図５Ｂに示す累積確率分布を示す場合について例示するが、本実施形態の考え方は、確率源が図５Ｃ又は図５Ｄに示す累積確率分布を示す場合についても同様に適用され得る。
【0028】
ニューラルネットワーク装置１は、図６に示すように構成され得る。ニューラルネットワーク装置１は、ニューロン６、スパイク入力部４、シナプス回路部５、重み状態保持部３、重み制御部２を有する。図６では、図示の簡略化のため、１つのニューロン及び１つのシナプス回路について例示するが、ニューラルネットワーク装置１は、複数のニューロンおよび複数のシナプスを有する（図２参照）。
【0029】
スパイク入力部４は、スパイク信号を重みに応じてシナプス電流に変換する。シナプス回路部５は、シナプス電流をニューロンに伝達する。重み状態保持部３は、シナプス重みを離散的な状態として保持する。重み制御部２は、重み状態の状態遷移を決定する。重み状態保持部３は、確率的動作部３１を有する。確率的動作部３１は、重み制御部２から入力される信号をもとに確率的に動作して重み状態を遷移させる。確率的動作部３１は、確率的動作部３１に同一信号を繰り返し入力した時に、信号入力回数に対する累積動作確率がＳ字関数型となるように構成される。
【0030】
重み制御部２は、例えばＳＴＤＰによって重み更新を行う場合、入力スパイクとニューロンの発火のタイミングをモニターし、そのタイミング差に応じて重み状態を更新するための信号を確率的動作部３１に与える。確率的動作部３１は、上に述べたように、重み制御部２から同一の信号を繰り返し受けた時にその累積動作確率がＳ字関数型となるように設計される。以下、試行回数に対して累積確率がＳ字関数型となるような確率分布を実現する手法の一例について説明する。１回の操作に対して確率ｐでＯＦＦ状態からＯＮ状態に遷移するスイッチを考える。ＯＦＦ状態にあるスイッチをＮ回操作した後にスイッチがＯＮ状態にある確率は
１－（１－ｐ）Ｎ＝１－ｅｘｐ（－λＮ）・・・（式５）
で与えられる。但しλ＝－ｌｎ（１－ｐ）とする。確率的にＯＦＦ状態からＯＮ状態へ遷移するスイッチ素子としては、例えば抵抗変化素子を用いることが出来る。
１－（１－ｐ）Ｎ＝１－ｅｘｐ（－λＮ）・・・（式５）
で与えられる。但しλ＝－ｌｎ（１－ｐ）とする。確率的にＯＦＦ状態からＯＮ状態へ遷移するスイッチ素子としては、例えば抵抗変化素子を用いることが出来る。
【0031】
抵抗変化素子は、金属酸化物やイオン伝導体の薄膜を上下電極で挟んだ二端子素子で、上下電極に電圧を印加することで内部の酸素空孔ないしはイオンが動いて内部に伝導パスが生成・消滅し、抵抗が変化する。金属酸化物は例えばタンタル酸化物、チタン酸化物、ハフニウム酸化物、タングステン酸化物、マグネシウム酸化物、アルミニウム酸化物等がある。イオン伝導体は例えばゲルマニウム硫化物、ゲルマニウムセレン化物、硫化銀、硫化銅等がある。ここでは、抵抗変化素子は金属酸化物で構成されているものとし、内部の酸素空孔によって抵抗が変化するものとする。
【0032】
以下では、抵抗変化素子は、高抵抗状態（ＨＲＳ：Ｈｉｇｈレベル Ｒｅｓｉｓｔａｎｃｅ Ｓｔａｔｅ）と低抵抗状態（ＬＲＳ：Ｌｏｗレベル Ｒｅｓｉｓｔａｎｃｅ Ｓｔａｔｅ）の２状態を取るものとする。ＨＲＳは伝導パスが消滅した状態であり、ＬＲＳは伝導パスが形成された状態である。ＨＲＳにある抵抗変化素子に電圧を印加すると、上述の通り、内部の酸素空孔が電界によって移動し、伝導パスを形成してＬＲＳへ遷移する。これをＳＥＴと呼ぶ。ＳＥＴ動作は、ＨＲＳからＬＲＳへの遷移であり、スイッチ素子のＯＮ動作に相当する。
【0033】
なお、抵抗変化素子がバイポーラ型である場合、ＲＥＳＥＴ動作では、抵抗変化素子にＳＥＴ動作時と逆極性で電圧が印加され、ＳＥＴ動作時と逆方向に電流が流され、抵抗変化素子がＬＲＳからＨＲＳへ遷移する。ＲＥＳＥＴ動作は、スイッチ素子のＯＦＦ動作に相当する。
【0034】
【0035】
電圧印加の時点ｔ１では電流はほとんど流れず、素子がＨＲＳにあることが分かる。電圧印加から時間ｔＳＥＴが経過すると、時点ｔ２でＳＥＴが起こり、電流が急激に増加して素子がＬＲＳに遷移する様子が見て取れる。時点ｔ１～ｔ２の時間がｔＳＥＴになる。電圧印加からＳＥＴが起こるまでの時間ｔＳＥＴは一定ではなく、試行ごとに大きくばらつく。これは、伝導パスの形成が内部の酸素空孔の分布状態に大きく依存するためであると考えられる。図８は、ＴａＯｘ薄膜の抵抗変化素子について、同一の素子でｔＳＥＴを繰り返し測定した時のｔＳＥＴ分布を示している。図８では、縦軸が－ｌｎ（１－Ｆ）を対数で示し、横軸がｔＳＥＴを対数で示す。Ｆは累積頻度であり、ｔＳＥＴは図７に示すような電圧印加からＳＥＴするまでの時間である。図８から分かるように、－ｌｎ（１－Ｆ）とｔＳＥＴの両対数プロットで傾き１の直線となることから、これらの間には
という関係があることが分かる。ここでＴは定数である。従って、時間幅ｔｐｕｌｓｅの電圧パルスによってＳＥＴを行うことを考えると、そのＳＥＴ確率ｐは
で与えられる。パルス電圧をＮ回印加するということは、時間幅Ｎｔｐｕｌｓｅの電圧を印加することに他ならない。従って、Ｎ回の電圧パルス印加後のＳＥＴ確率は
となる。これは式５と全く同型である。すなわち、抵抗変化素子はＨＲＳをＯＦＦ状態、ＬＲＳをＯＮ状態と考えれば、電圧パルス印加によってＯＦＦ状態からＯＮ状態へ確率的に変化する確率的なスイッチ素子とみなすことが出来る。
【数1】
【数2】
【数3】
【0036】
この確率的なスイッチ素子がｋ段に連なった多段スイッチを考える。すなわち、全部でｋ個のスイッチ素子があり、ｉ番目のスイッチ素子はｉ－１番目のスイッチ素子がＯＮ状態の場合に確率的に動作するものとする。但し１番目のスイッチ素子は無条件で確率的に動作する。最初はｋ個すべてのスイッチ素子がＯＦＦ状態であるとする。１回の試行でスイッチ素子に対してＯＮ状態へ遷移する操作を行う。
【0037】
【0038】
多段スイッチＭＳは、複数の抵抗変化素子ＲＥ－１～ＲＥ－３、複数のセレクタＳＬ－１，ＳＬ－２、複数のセレクタＳＬ０－１，ＳＬ０－２、及び複数の抵抗素子Ｒを有する。多段スイッチＭＳの出力ノードには、セレクタＳＬ１が接続される。
【0039】
抵抗変化素子ＲＥ－１は、一端で重み制御部２から入力される信号を受け、他端がセレクタＳＬ－１に接続されている。セレクタＳＬ－１は、入力ノードが抵抗変化素子ＲＥ－１に接続され、第１の出力ノードが抵抗変化素子ＲＥ－２及びセレクタＳＬ０－１に接続され、第２の出力ノードがグランド電位に接続されている。セレクタＳＬ０－１は、入力ノードがセレクタＳＬ－１及び抵抗変化素子ＲＥ－２に接続され、第１の出力ノードが抵抗素子Ｒを介してグランド電位に接続され、他端が所定の電源電位に接続される。抵抗変化素子ＲＥ－２は、一端がセレクタＳＬ－１に接続され、他端がセレクタＳＬ－２に接続されている。セレクタＳＬ－２は、入力ノードが抵抗変化素子ＲＥ－２に接続され、第１の出力ノードが抵抗変化素子ＲＥ－３及びセレクタＳＬ０－２に接続され、第２の出力ノードがグランド電位に接続されている。セレクタＳＬ０－２は、入力ノードがセレクタＳＬ－２及び抵抗変化素子ＲＥ－３に接続され、第１の出力ノードが抵抗素子Ｒを介してグランド電位に接続され、第２の出力ノードが所定の電源電位に接続される。抵抗変化素子ＲＥ－３は、一端がセレクタＳＬ－２に接続され、他端がセレクタＳＬ１に接続されている。セレクタＳＬ１は、入力ノードが抵抗変化素子ＲＥ－３に接続され、第１の出力ノードが後段に接続され、第２の出力ノードがグランド電位に接続されている。
【0040】
学習時に、セレクタＳＬ－１，ＳＬ－２はそれぞれ第１の出力ノードを選択し、セレクタＳＬ１は第２の出力ノードを選択し、セレクタＳＬ０―１，ＳＬ０－２はそれぞれ第１の出力ノードを選択する。
【0041】
各抵抗変化素子ＲＥについて、ＯＦＦ状態（ＨＲＳ）の時の抵抗値をＲＯＦＦ、ＯＮ状態（ＬＲＳ）の時の抵抗値をＲＯＮとする。抵抗変化素子ＲＥと抵抗変化素子ＲＥとの間のノードはセレクタＳＬ０及び抵抗素子Ｒを介して接地されているとする。ここで、抵抗素子Ｒの抵抗値をＲとするとき
ＲＯＦＦ≫Ｒ≫ＲＯＮ・・・（式９）
とする。
ＲＯＦＦ≫Ｒ≫ＲＯＮ・・・（式９）
とする。
【0042】
まず、すべての抵抗変化素子ＲＥ－１～ＲＥ－３がＯＦＦ状態にあるとし、抵抗変化素子ＲＥ－１の一端に重み制御部２から確率的ＳＥＴパルスが印加される。抵抗変化素子ＲＥ－１の他端はセレクタＳＬ－１，ＳＬ０－１及び抵抗Ｒを介して接地されているため、式９の条件により、抵抗変化素子ＲＥ－１にパルスによる電圧が印加される。断続的にＳＥＴパルスを印加し続けると、抵抗変化素子ＲＥ－１は式８に従って確率的にＯＮ状態に遷移する。
【0043】
図９Ｂに示すように、抵抗変化素子ＲＥ－１がＯＮ状態になると、ＳＥＴパルスは抵抗変化素子ＲＥ－１を通り抜けて抵抗変化素子ＲＥ－２に到達し、式９の条件により、抵抗変化素子ＲＥ－２にパルスによる電圧が印加される。ここに断続的に確率的ＳＥＴパルスを電圧パルスとして印加し続けると、今度は抵抗変化素子ＲＥ－２が式８に従って確率的にＯＮ状態に遷移する。
【0044】
図９Ｃに示すように、抵抗変化素子ＲＥ－２がＯＮ状態になると、ＳＥＴパルスは抵抗変化素子ＲＥ－１および抵抗変化素子ＲＥ－２を通り抜け、やはり式９の条件により、抵抗変化素子ＲＥ－３に電圧が印加される。ここに断続的にＳＥＴパルスを印加し続けると、やはり式８に従って抵抗変化素子ＲＥ－３が確率的にＯＮ状態に遷移し、図９Ｄに示すように、多段スイッチＭＳ全体がＯＮ状態となる。
【0045】
なお、多段スイッチＭＳ全体がＯＦＦ状態の時にＳＥＴパルスを印加し、抵抗変化素子ＲＥ－１がＯＮ状態に遷移した場合、このＳＥＴパルスは抵抗変化素子ＲＥ－２にも印加されることになるため、１回のＳＥＴパルスで抵抗変化素子ＲＥ－１と抵抗変化素子ＲＥ－２の両方がＯＮ状態に遷移することもありうる。同様に考えれば１回のＳＥＴパルスによってすべての抵抗変化素子ＲＥ－１～ＲＥ－３がＯＮ状態に遷移することもありうる。
【0046】
式５のＮを確率変数とみなすと、この式は指数分布の累積確率分布関数である。実際、Ｎ－１回の試行後にＯＦＦ状態であったスイッチ素子がＮ回目の試行でＯＮ状態へ遷移する場合、この確率はｐ（１－ｐ）Ｎ－１で与えられるが、ｐ≪１の条件下でλ＝－ｌｎ（１－ｐ）≒ｐであることから、
ｐ（１－ｐ）Ｎ－１≒λｅｘｐ［－λ（Ｎ－１）］・・・（式１０）
となる。Ｎを連続的な確率変数とみなせば、式１０は指数分布の確率密度関数に他ならない。さて、１個目のスイッチ素子がＯＮになるまでの試行回数をＮ１，１個目のスイッチ素子がＯＮになってから２個目のスイッチ素子がＯＮになるまでの試行回数をＮ２，…，ｉ－１番目のスイッチ素子がＯＮになってからｉ番目のスイッチ素子がＯＮになるまでの試行回数をＮｉ，…とし（ｉ－１番目とｉ番目が同時にＯＮになる場合はＮｉ＝０とする）、すべての試行回数の総和をＮ＝Ｎ１＋Ｎ２＋…＋Ｎｋとする。各Ｎｉは指数分布に従う確率変数とみなすことが出来るので、その和であるＮはガンマ分布
に従う確率変数となる。従って、Ｎ回の試行後にこのｋ段のスイッチ素子がすべてＯＮになっている確率Ｐｋ（Ｎ）は
となる。式１２は第一種不完全ガンマ関数γを用いて
と近似することができる。これはガンマ分布の累積分布関数に他ならない。
ｐ（１－ｐ）Ｎ－１≒λｅｘｐ［－λ（Ｎ－１）］・・・（式１０）
となる。Ｎを連続的な確率変数とみなせば、式１０は指数分布の確率密度関数に他ならない。さて、１個目のスイッチ素子がＯＮになるまでの試行回数をＮ１，１個目のスイッチ素子がＯＮになってから２個目のスイッチ素子がＯＮになるまでの試行回数をＮ２，…，ｉ－１番目のスイッチ素子がＯＮになってからｉ番目のスイッチ素子がＯＮになるまでの試行回数をＮｉ，…とし（ｉ－１番目とｉ番目が同時にＯＮになる場合はＮｉ＝０とする）、すべての試行回数の総和をＮ＝Ｎ１＋Ｎ２＋…＋Ｎｋとする。各Ｎｉは指数分布に従う確率変数とみなすことが出来るので、その和であるＮはガンマ分布
【数4】
【数5】
【数6】
【0047】
式１２においてｐ＝０．２，ｋ＝２，３，４とした場合のＰｋ（Ｎ）を図１０に示す。ｋが大きくなると、試行回数Ｎが小さい時の確率が低く抑えられ、図５ＢのようなＳ字関数型の累積確率分布が実現できることが分かる。すなわち、確率的な動作を多段に重ねればＳ字関数を実現できるため、確率的なスイッチ素子がｋ段に連なった多段スイッチを構成すれば、その多段スイッチがＳ字関数型の挙動を示すと考えられる。
【0048】
図９Ａでは、ｋ＝３段のスイッチ素子が連なった多段スイッチＭＳを用いた構成が例示されている。この多段スイッチＭＳを用いて、確率的ＳＴＤＰでＭＮＩＳＴ手書き文字１０，０００パターンを学習させた後、さらに追加学習を行った。追加学習の回数に対して１０，０００回の時点で記憶していたパターンを失ったニューロン数を忘却数としてプロットしたものを、Ｓ字関数型の確率的ＳＴＤＰ学習（ガンマ分布型の確率的ＳＴＤＰ学習）として、図１１に示す。ガンマ分布型の確率的ＳＴＤＰは、Ｓ字関数型の確率的ＳＴＤＰの一例である。
【0049】
本実施形態によるＳ字関数型の確率的ＳＴＤＰでは、任意の追加学習回数に対して、図１１に実線の白抜き矢印で示すように、指数関数型の確率的ＳＴＤＰに対して忘却数が大幅に減少する。それに加えて、本実施形態によるＳ字関数型の確率的ＳＴＤＰでは、図１１に点線の白抜き矢印で示すように、連続的ＳＴＤＰ学習に対しても優位性が見られる結果となっている。本実施形態によるＳ字関数型の確率的ＳＴＤＰ学習によれば、指数関数型の確率的ＳＴＤＰ学習及び連続的ＳＴＤＰ学習に比べて、ネットワークの記憶保持特性を改善できる。
【0050】
ニューラルネットワーク装置１の具体的な回路例を図１２に示す。ニューラルネットワーク装置１は、図９Ａ～図９Ｄで示した抵抗変化素子ＲＥが多段接続された多段スイッチＭＳを確率的シナプスとして用いて構成される。図１２では、図示の簡略化のため、１つのニューロン及び１つのシナプス回路について例示するが、ニューラルネットワーク装置１は、複数のニューロンおよび複数のシナプスを有する（図２参照）。
【0051】
図１２に示すニューラルネットワーク装置１では、多段スイッチＭＳ－１，ＭＳ－２を上下２組で用いてそれぞれが中央のＳＲＡＭセル３６へ接続されている。ニューラルネットワーク装置１において、重み状態保持部３は、確率的動作部３１、セレクタＳＬ１－１、セレクタＳＬ１－２、整流素子３４、整流素子３５、ＳＲＡＭセル３６を有する。確率的動作部３１は、複数の多段スイッチＭＳ－１，ＭＳ－２を有する。複数の多段スイッチＭＳ－１，ＭＳ－２は、重み制御部２とＳＲＡＭセル３６との間に並列に配される。重み制御部２とＳＲＡＭセル３６との間には、多段スイッチＭＳ－１、セレクタＳＬ１－１、整流素子３４の直列接続と、多段スイッチＭＳ－２、セレクタＳＬ１－２、整流素子３５の直列接続とが、並列に接続されている。各多段スイッチＭＳ－１，ＭＳ－２は、図９Ａに示す多段スイッチＭＳと同様である。
【0052】
スパイク入力部４には、前段ニューロン６の発火によるスパイク信号が電圧パルスで入力されてシナプス電流を流すことが可能なトランジスタＭ１が設けられている。ＳＲＡＭセル３６の出力に接続されたトランジスタＭ２は、シナプス回路部５及びトランジスタＭ１の間に配され、トランジスタＭ１に直列に接続されている。従って、ＳＲＡＭセル３６の出力がＨｉｇｈレベルの場合には、トランジスタＭ２が開くため、トランジスタＭ１へのスパイク信号入力に応じてシナプス電流が流れるが、ＳＲＡＭセル３６の出力がＬｏｗレベルの場合には、トランジスタＭ２が閉じるため、トランジスタＭ１へスパイク信号入力があったとしてもＳＲＡＭセル３６に接続するトランジスタがＯＦＦ状態のため、シナプス電流が流れない。
【0053】
すなわち、図１３に示すように、ＳＲＡＭセル３６の出力ノード３６ｃがＨｉｇｈレベルの状態はスパイク信号入力をシナプス電流に変換する重みｗ＝１の状態に相当し、図１４に示すように、ＳＲＡＭセル３６の出力ノード３６ｃがＬｏｗレベル状態はスパイク信号入力をシナプス電流に変換しない重みｗ＝０の状態に相当しており、重み値が０と１を取るバイナリシナプスが実現されている。
【0054】
なお、多段スイッチＭＳ－１，ＭＳ－２とＳＲＡＭセル３６との接続部に、多段スイッチＭＳ－１，ＭＳ－２からＳＲＡＭセル３６へ向かう方向に整流する整流素子（例えば、ダイオード）３４，３５を設ける。これにより、ＳＲＡＭセル３６の状態が多段スイッチＭＳ－１，ＭＳ－２の動作に影響を及ぼすことを回避することができる。
【0055】
図１２の回路について、推論時の接続を図１３、図１４に示す。図１３では、上段の多段スイッチＭＳ－１はＯＮ（すべての抵抗変化素子ＲＥがＯＮ）であり、下段の多段スイッチＭＳ－２はＯＦＦ（いずれかの抵抗変化素子ＲＥがＯＦＦ）の場合を示している。ここで、前段ニューロンが発火すると、トランジスタＭ１だけでなく上段の多段スイッチＭＳ－１と下段の多段スイッチＭＳ－２のそれぞれにスパイク信号が電圧パルスで入力される。上段の多段スイッチＭＳ－１に入力された電圧パルスは多段スイッチＭＳ－１内部のＯＮ状態の抵抗変化素子ＲＥを通ってＳＲＡＭセル３６に入力される。一方、下段の多段スイッチＭＳ－２に入力された電圧パルスは、途中のＯＦＦ状態の抵抗変化素子ＲＥに遮断されてＳＲＡＭセル３６に到達しない。従って、図１３のＳＲＡＭセル３６は上部がＨｉｇｈレベル、下部がＬｏｗレベルの状態となる。つまり、ＳＲＡＭセル３６の出力ノード３６ｃがＨｉｇｈレベルであり、推論に用いられる重みｗ＝１の状態である。
【0056】
一方、図１４では、上段の多段スイッチＭＳ－１はＯＦＦであり、下段の多段スイッチＭＳ－２はＯＮである。ここで前段ニューロン６が発火するとトランジスタＭ１だけでなく上段の多段スイッチＭＳ－１と下段の多段スイッチＭＳ－２のそれぞれに電圧パルスがスパイク信号として入力される。下段の多段スイッチＭＳ－２に入力された電圧パルスは多段スイッチＭＳ－２内部のＯＮ状態の抵抗変化素子ＲＥを通ってＳＲＡＭセル３６に入力される。一方、上段の多段スイッチＭＳ－１に入力された電圧パルスは、途中のＯＦＦ状態の抵抗変化素子ＲＥに遮断されてＳＲＡＭセル３６に到達しない。従って、図１４のＳＲＡＭセル３６は上部がＨｉｇｈレベル、下部がＬｏｗレベルの状態となる。つまり、ＳＲＡＭセル３６の出力ノード３６ｃがＨｉｇｈレベルの状態であり、推論に用いられる重みｗ＝０の状態である。
【0057】
なお、上記の説明から分かる通り、図１３、図１４では一度ＳＲＡＭセル３６の状態が決まると、抵抗変化素子ＲＥのＯＮ／ＯＦＦコンフィギュレーションが変化しない限り、ＳＲＡＭセル３６の状態は保持される。つまり、重みｗは変化しない。重みｗを変化させるためには、つまり学習を行うためには、抵抗変化素子ＲＥのＯＮ／ＯＦＦコンフィギュレーションを変化させる必要がある。
【0058】
学習について、図１５Ａ～図１５Ｄを用いて説明する。図１５Ａは、上段の多段スイッチＭＳ－１がＯＦＦ，下段の多段スイッチＭＳ－２がＯＮでＳＲＡＭセル３６がＬｏｗレベルを出力するｗ＝０状態を示す。図１５Ｄは、抵抗変化素子のコンフィギュレーションを変化させて上段の多段スイッチＭＳ－１をＯＮ，下段の多段スイッチＭＳ－２をＯＦＦにしてＳＲＡＭセル３６がＨｉｇｈレベルを出力するｗ＝１状態を示す。図１５Ａに示す重みｗ＝０の状態から図１５Ｄに示す重みｗ＝１の状態へ状態を変化させる手法を説明する。
【0059】
回路中のセレクタＳＬ，ＳＬ０，ＳＬ１を図１５Ａに示すように接続する。すなわち、上段の多段スイッチＭＳ－１の抵抗変化素子ＲＥ－１，ＲＥ－２の一端は抵抗Ｒを介して接地され、抵抗変化素子ＲＥ－３の一端はＳＲＡＭセル３６に接続せずに接地する。下段の多段スイッチＭＳ－２の抵抗変化素子ＲＥ－１，ＲＥ－２の一端は接続せず、ＲＥＳＥＴ操作が可能なように電圧源に接続する。上段の多段スイッチＭＳ－１（ＯＦＦ状態）には、抵抗変化素子ＲＥ－１に確率的ＳＥＴパルスを印加する。同時に、下段の多段スイッチＭＳ－１（ＯＮ状態）のそれぞれの抵抗変化素子ＲＥ－１～ＲＥ－３には非確率的にＯＦＦさせるための非確率的ＲＥＳＥＴ電圧を印加する。電圧の大きさおよび印加時間を適切に設計することにより、抵抗変化素子ＲＥを非確率的にＯＦＦ（ＲＥＳＥＴ）させることは容易である。
【0060】
この一連の動作を繰り返すと、上段の多段スイッチＭＳ－１の抵抗変化素子ＲＥ－１は確率的にＯＮ状態へ変化する（図１５Ｂ）。下段の多段スイッチＭＳ－２の抵抗変化素子ＲＥ－１～ＲＥ－３は、１回の操作で非確率的にＯＦＦするが、ＯＦＦ状態の抵抗変化素子ＲＥ－１～ＲＥ－３にＲＥＳＥＴ電圧印加を繰り返してもそれ以上は変化しない。さらに繰り返すと、上段の多段スイッチＭＳ－１の抵抗変化素子ＲＥ－１～ＲＥ－３はすべてＯＮ状態になる（図１５Ｃ）。ここで、図１５Ｄに示すように、セレクタＳＬ１を切り替えて推論を開始すると、上で説明した原理によってＳＲＡＭセル３６はＬｏｗレベルからＨｉｇｈレベルに変化し、シナプス重みｗ＝１の状態が実現する。なお、図１５Ｂの中間的な状態であっても、ＳＲＡＭセル３６はＬｏｗレベル状態を保持しているため、図１５Ｂの状態のままでもトランジスタＭ１（図１２参照）にスパイク入力することで推論を行うことは可能である。この場合、上段の多段スイッチＭＳ－１及び下段の多段スイッチＭＳ－２は両方ともＯＦＦの抵抗変化素子ＲＥを含むため、推論の電圧パルスはＳＲＡＭセル３６には到達しない。このため、ＳＲＡＭセル３６はＬｏｗレベル状態のままとなり、ｗ＝０として推論が行われる。
【0061】
全く同様にして、上段の多段スイッチＭＳ－１がＯＮ，下段の多段スイッチＭＳ－２がＯＦＦでＳＲＡＭセル３６がＨｉｇｈレベルを出力するｗ＝１状態から、抵抗変化素子ＲＥのコンフィギュレーションを変化させて上段の多段スイッチＭＳ－１をＯＦＦ，下段の多段スイッチＭＳ－２をＯＮにしてＳＲＡＭセル３６がＬｏｗレベルを出力するｗ＝０状態へ状態を変化させることができる。説明は省略する。
【0062】
以上のように、本実施形態では、バイナリ型シナプス重みを持つニューラルネットワーク装置１において、シナプス遷移の累積確率がＳ字関数型の挙動を示す確率的動作部３１を用いる。例えば、確率的動作部３１は、多段接続される複数の確率的スイッチ素子を有し、その動作の累積確率が信号入力回数に対してＳ字状に変化する。これにより、信号入力回数に対する重みの遷移の立ち上がりを緩やかにでき、既存の記憶を保護できるので、確率的ＳＴＤＰ学習における学習内容の記憶保持特性を改善できる。したがって、確率的ＳＴＤＰ学習の効率を向上できる。例えば、Ｓ字関数型の確率的ＳＴＤＰ学習では、指数関数型の確率的ＳＴＤＰ学習に比べて、ＭＮＩＳＴ手書き文字における文字認識率を向上できる。
【0063】
なお、スイッチ素子は、離散的な複数の状態を持ち、信号入力によって状態が確率的に複数の状態の間で遷移する素子であればよく、バイナリ型の素子に限定されない。スイッチ素子は、入力信号によって状態が確率的に３以上の状態の間で段階的に変化する多値型の素子であってもよい。
【0064】
（第２の実施形態）
次に、第２の実施形態にかかるニューラルネットワーク装置について説明する。以下では、第１の実施形態と異なる点を中心に説明する。
次に、第２の実施形態にかかるニューラルネットワーク装置について説明する。以下では、第１の実施形態と異なる点を中心に説明する。
【0065】
第１の実施形態では、確率的スイッチが多段に直列接続された多段スイッチによりＳ字関数型の確率的な動作を実現しているが、第２の実施形態では、乱数発生器から確率的に発生する所定値をカウントする確率的カウンタによりＳ字関数型の確率的な動作を実現する。
【0066】
図１６に示すニューラルネットワーク装置２０１は、重み制御部２、重み状態保持部３に代えて重み制御部２０２、重み状態保持部２０３を有する。重み状態保持部２０３は、確率的動作部３１に代えて確率的動作部２３１を有し、セレクタＳＬ１－１，ＳＬ１－２を有しない。
【0067】
確率的動作部２３１は、複数の確率的カウンタＣＵ－１，ＣＵ－２を有する。複数の確率的カウンタＣＵ－１，ＣＵ－２は、重み制御部２０２とＳＲＡＭセル３６との間に並列に配される。重み制御部２０２とＳＲＡＭセル３６との間には、確率的カウンタＣＵ－１、整流素子３４の直列接続と、確率的カウンタＣＵ－２、整流素子３５の直列接続とが、並列に接続されている。各確率的カウンタＣＵ－１，ＣＵ－２は、乱数発生器ＲＧ、ＡＮＤ回路ＡＧ、カウンタＣＮを有する。ＡＮＤ回路ＡＧは、第１の入力ノードが乱数発生器ＲＧに接続され、第２の入力ノードが重み制御部２０２に接続され、出力ノードがカウンタＣＮに接続される。カウンタＣＮは、データ入力ノードがＡＮＤ回路ＡＧに接続され、リセット入力ノードが重み制御部２０２に接続され、出力ノードが整流素子３４又は３５に接続される。
【0068】
ニューラルネットワーク装置２０１では、確率的カウンタＣＵが上下の２段用意される。上段の確率的カウンタＣＵ－１及び下段の確率的カウンタＣＵ－２は、それぞれ、重み制御部２０２からのデジタル信号と乱数発生器ＲＧからのデジタル信号とがＡＮＤ回路ＡＧを通じてカウンタＣＮに入力される。上段の確率的カウンタＣＵ－１の出力がＳＲＡＭセル３６の上部の入力ノード３６ａに接続され、下段の確率的カウンタＣＵ－２の出力がＳＲＡＭセル３６の下部の入力ノード３６ｂに接続される。カウンタＣＮは重み制御部２０２からリセット信号をリセット入力ノードで受け取ることが出来る。
【0069】
シナプス重みがｗ＝０の場合にｗ＝１へ強化することを考える。最初はｗ＝０であるので、ＳＲＡＭセル３６の出力はＬｏｗレベルとなっている。重み制御部２０２から、上段の確率的カウンタＣＵ－１にデジタル信号が入力されると同時に下段の確率的カウンタＣＵ－２にリセット信号が入力される。上段の確率的カウンタＣＵ－１におけるＡＮＤ回路ＡＧは重み制御部２０２からのデジタル信号と乱数発生器ＲＧからの乱数信号とが共にＨｉｇｈレベルの場合に、ＡＮＤ回路ＡＧは、Ｈｉｇｈレベルを出力し、それ以外の場合に、ＡＮＤ回路ＡＧは、Ｌｏｗレベルを出力する。乱数発生器ＲＧを適切に設定することにより、重み制御部２０２からデジタル信号が入力されたときにＡＮＤ回路ＡＧがＨｉｇｈレベルを出力する確率を任意の値に設定することが出来る。ここではその確率をｐとする。
【0070】
カウンタＣＮは、リセットが解除されるとカウント動作が可能な状態になり、次にリセットが行われるまでカウント値を保持する。ＡＮＤ回路ＡＧがＨｉｇｈレベルを出力すると、カウンタＣＮのカウント値がひとつ大きくなる。すなわち、重み制御部２０２からデジタル信号が入力されると、確率ｐでカウンタＣＮのカウント値がひとつ大きくなるのである。カウンタＣＮは、リセットされると、カウント値を初期値に戻す。
【0071】
カウンタＣＮは、そのカウント値が予め設定した所定値ｋに達するまではＬｏｗレベル（又はゼロ）を出力する。カウンタＣＮは、そのカウント値が予め設定した所定値ｋに達すると、Ｈｉｇｈレベル（又は１）を出力する。カウンタＣＮからＳＲＡＭセル３６へＨｉｇｈレベルのデジタル信号が入力されると、ＳＲＡＭセル３６の状態が変化する。今の場合、上段の確率的カウンタＣＵ－１からＨｉｇｈレベルが出力されるので、ＳＲＡＭセル３６の上部がＨｉｇｈレベル，下部がＬｏｗレベルの状態となり、ＳＲＡＭセル３６からＨｉｇｈレベルが出力される。するとＭ２トランジスタが開いてスパイク入力部４にシナプス電流が流れることができるようになる。これはｗ＝１の状態である。シナプス重みがｗ＝１から０に減衰する場合も全く同様である。
【0072】
重み制御部２０２からデジタル信号が入力される回数Ｎに対するカウンタＣＮのカウント値がｋになる確率は、式１２あるいは式１３で表すことができる。すなわちカウンタＣＮのカウント値がｋになるための重み制御部２０２からのデジタル信号の入力回数Ｎはガンマ分布に従うため、その累積確率は図１０のようなＳ字関数となるため、図１６で示した回路によって本実施形態を実施することができる。
【0073】
以上のように、第２の実施形態では、ニューラルネットワーク装置２０１において、乱数発生器ＲＧから確率的に発生する所定値をカウントする確率的カウンタＣＵによりＳ字関数型の確率的な動作を実現する。例えば、確率的動作部２３１は、確率的なカウント動作を行う確率的カウンタＣＵを有し、その動作の累積確率が信号入力回数に対してＳ字状に変化する。これにより、重みの遷移の立ち上がりを緩やかにでき、既存の記憶を保護できるので、確率的ＳＴＤＰ学習における学習内容の記憶保持特性を改善できる。
【0074】
（第３の実施形態）
次に、第３の実施形態にかかるニューラルネットワーク装置について説明する。以下では、第１の実施形態及び第２の実施形態と異なる点を中心に説明する。
次に、第３の実施形態にかかるニューラルネットワーク装置について説明する。以下では、第１の実施形態及び第２の実施形態と異なる点を中心に説明する。
【0075】
第１および第２の実施形態では、Ｓ字関数を実現する手段としてガンマ分布を用いたが、Ｓ字関数が実現できるのであればガンマ分布に限定することはない。ガンマ分布以外の例として、ワイブル分布を用いることが出来る。ワイブル分布では、試行回数Ｎに対して事象が起きる累積確率Ｆは
と表すことができる。図１７にβ＝２の場合の一例を示す。累積確率Ｆ（Ｎ）がＮに対してＳ字関数を描いていることが分かる。これまではＬＲＳとＨＲＳの２状態を取る抵抗変化素子のＳＥＴ確率が指数分布に従うとして議論してきたが、例えばタンタル酸化物による抵抗変化素子の場合、電圧の設定により、β＝２のワイブル分布に従うということが知られている。
【数7】
【0076】
そこで、図１８に示すように、β＝２のワイブル分布に従う抵抗変化素子（ワイブル抵抗変化素子）ＷＲＥを用いて本実施形態によるニューラルネットワーク装置３０１を構成することが可能である。ニューラルネットワーク装置３０１は、重み状態保持部３（図１２参照）に代えて重み状態保持部３０３を有する。重み状態保持部３０３は、確率的動作部３１（図１２参照）に代えて確率的動作部３３１を有する。確率的動作部３３１は、複数のスイッチＳＷ－１，ＳＷ－２を有する。複数のスイッチＳＷ－１，ＳＷ－２は、重み制御部２とＳＲＡＭセル３６との間に並列に配される。重み制御部２とＳＲＡＭセル３６との間には、スイッチＳＷ－１、セレクタＳＬ１－１、整流素子３４の直列接続と、スイッチＳＷ－２、セレクタＳＬ１－２、整流素子３５の直列接続とが、並列に接続されている。各スイッチＳＷ－１，ＳＷ－２は、ワイブル抵抗変化素子ＷＲＥを有する。ＳＲＡＭセル３６の状態がワイブル抵抗変化素子ＷＲＥの動作に影響を与えないよう、ワイブル抵抗変化素子ＷＲＥとＳＲＡＭセル３６の間には整流素子（例えば、ダイオード）３４，３５を設けると良い点は第１の実施形態と同様である。
【0077】
なお、図１８では、ワイブル抵抗変化素子ＷＲＥがβ＝２のワイブル分布に従って変化するように構成される場合を例示するが、ワイブル抵抗変化素子ＷＲＥがβ＞１のワイブル分布に従って変化するように構成されれば、同様の効果を実現し得る。
【0078】
図１９Ａ及び図１９Ｂは推論時の動作を示している。図１９Ａに示す重みｗ＝１の状態では、上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥはＯＮ状態（ＬＲＳ）、下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥはＯＦＦ状態（ＨＲＳ）である。スパイク入力部４へのスパイク信号入力と同時に、上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥと下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥとに、それぞれスパイク信号が電圧パルスで入力される。下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥはＯＦＦ状態であるので電圧パルスを遮断するが、上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥはＯＮ状態であるので、電圧パルスはワイブル抵抗変化素子ＷＲＥを通過してＳＲＡＭセル３６に達する。すると、ＳＲＡＭセル３６は上部がＨｉｇｈレベル状態、下部がＬｏｗレベル状態の状態になる。すなわち、ＳＲＡＭセル３６の出力ノード３６ｃがＨｉｇｈレベルであり、トランジスタＭ２がオンしてシナプス電流が流れる。
【0079】
図１９Ｂに示す重みｗ＝０の状態では、上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥはＯＦＦ状態（ＨＲＳ）、下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥはＯＮ状態（ＬＲＳ）である。スパイク入力部４へのスパイク信号入力と同時に、上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥと下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥとに、それぞれスパイク信号が電圧パルスで入力される。上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥはＯＦＦ状態であるので電圧パルスを遮断するが、下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥはＯＮ状態であるので、電圧パルスはワイブル抵抗変化素子ＷＲＥを通過してＳＲＡＭセル３６に達する。すると、ＳＲＡＭセル３６は下部がＨｉｇｈレベル状態、上部がＬｏｗレベル状態の状態になる。すなわち、ＳＲＡＭセル３６の出力ノード３６ｃがＬｏｗレベルであり、トランジスタＭ２がオフしてシナプス電流が流れない。
【0080】
学習について、図２０Ａ～図２０Ｄを用いて説明する。図２０Ａは、上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥがＯＦＦであり、下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥがＯＮであり、ＳＲＡＭセル３６がＬｏｗレベルを出力するｗ＝０の状態を示す。図２０Ｄは、ワイブル抵抗変化素子ＷＲＥを変化させて上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥをＯＮにし、下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥをＯＦＦにして、ＳＲＡＭセル３６がＨｉｇｈレベルを出力するｗ＝１の状態を示す。図２０Ａに示す重みｗ＝０の状態から図２０Ｄに示す重みｗ＝１の状態へ状態を変化させる手法を説明する。
【0081】
回路中のセレクタＳＬ１を図２０Ａに示すように接続する。すなわち、上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥの一端と下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥの一端とは、それぞれ、接地する。重み制御部２により、上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥ（ＯＦＦ状態）に確率的ＳＥＴパルスを印加し、下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥ（ＯＮ状態）には非確率的ＲＥＳＥＴパルスを印加する。ＲＥＳＥＴパルスの電圧振幅の大きさや印加時間を適切に設定することで、ワイブル抵抗変化素子ＷＲＥを非確率的にＲＥＳＥＴさせることが可能である。
【0082】
上段のスイッチＳＷ－１のワイブル抵抗素子ＷＲＥは確率的に動作するので、必ずしもＯＮ状態には変化しないが、この動作を繰り返すことで、図２０Ａ～図２０Ｃに示すように、上段のスイッチＳＷ－１のワイブル抵抗素子ＷＲＥがＯＮ状態である確率がＳ字関数的に増加する。この動作の繰り返しにより、図２０Ａ～図２０Ｃに示すように、下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥにＲＥＳＥＴパルスが繰り返し印加されるが、既にＯＦＦ状態であるワイブル抵抗変化素子ＷＲＥにＲＥＳＥＴパルスを印加してもそれ以上変化はしない。こうして、最終的に、図２０Ｃに示すように、上段のスイッチＳＷ－１のワイブル抵抗変化素子ＷＲＥがＯＮ状態になり、下段のスイッチＳＷ－２のワイブル抵抗変化素子ＷＲＥがＯＦＦ状態となる。ここに、図２０Ｄに示すように、セレクタＳＬ１を切り替えて、推論を行うためのスパイク信号が電圧パルスで上段のスイッチＳＷ－１及び下段のスイッチＳＷ－２にそれぞれ印加されると、ＳＲＡＭセル３６の上部がＨｉｇｈレベル，下部がＬｏｗレベルとなり、ＳＲＡＭセル３６からスパイク入力部４にＨｉｇｈレベルが出力され、シナプス電流が流れるようになり、重みｗ＝１の状態が実現される（図１９Ａ参照）。全く同様にして、重みｗ＝１の状態からｗ＝０状態へ変化させることも可能である。詳細説明は省略する。
【0083】
図２１は、ワイブル抵抗変化素子ＷＲＥを用いて、確率的ＳＴＤＰでＭＮＩＳＴ手書き文字１０，０００パターンを学習させた後、さらに追加学習を行った。追加学習の回数に対して１０，０００回の時点で記憶していたパターンを失ったニューロン数を忘却数としてプロットしたものを、Ｓ字関数型の確率的ＳＴＤＰ学習（ワイブル分布型の確率的ＤＴＤＰ学習）として、図２１に示す。ワイブル分布型の確率的ＤＴＤＰは、Ｓ字関数型の確率的ＳＴＤＰの一例である。
【0084】
本実施形態によるＳ字関数型の確率的ＳＴＤＰでは、任意の追加学習回数に対して、図２１に実線の白抜き矢印で示すように、指数関数型の確率的ＳＴＤＰに対して忘却数が大幅に減少する。それに加えて、本実施形態によるＳ字関数型の確率的ＳＴＤＰでは、図２１に点線の白抜き矢印で示すように、連続的ＳＴＤＰ学習に対しても優位性が見られる結果となっている。本実施形態によるＳ字関数型の確率的ＳＴＤＰ学習によれば、指数関数型の確率的ＳＴＤＰ学習及び連続的ＳＴＤＰ学習に比べて、重み状態保持部３０３の記憶保持特性を改善できる。
【0085】
以上のように、本実施形態では、バイナリ型シナプス重みを持つニューラルネットワーク装置３０１において、シナプス遷移の累積確率がＳ字関数型の挙動を示す確率的動作部３３１を用いる。例えば、確率的動作部３３１は、確率的スイッチ素子を有し、その動作の累積確率が信号入力回数に対してβ＞１のワイブル分布に従って変化する。これにより、信号入力回数に対する重みの遷移の立ち上がりを緩やかにでき、既存の記憶を保護できるので、確率的ＳＴＤＰ学習における学習内容の記憶保持特性を改善できる。したがって、確率的ＳＴＤＰ学習の効率を向上できる。例えば、Ｓ字関数型の確率的ＳＴＤＰ学習では、指数関数型の確率的ＳＴＤＰ学習に比べて、ＭＮＩＳＴ手書き文字における文字認識率を向上できる。
【0086】
本発明のいくつか実施形態を説明したが、これら実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0087】
１，２０１，３０１ ニューラルネットワーク装置
２，２０２ 重み制御部
３，２０３，３０３ 重み状態保持部
４ スパイク入力部
５ シナプス回路部
６ ニューロン
３１，２３１，３３１ 確率的動作部
ＡＧ ＡＮＤ回路
ＣＮ カウンタ
ＣＵ，ＣＵ－１，ＣＵ－２ 確率的カウンタ
ＭＳ，ＭＳ－１，ＭＳ－２ 多段スイッチ素子
ＲＥ，ＲＥ－１～ＲＥ－３ 抵抗変化素子
ＳＷ，ＳＷ－１，ＳＷ－２ スイッチ素子
ＷＲＥ ワイブル抵抗変化素子
２，２０２ 重み制御部
３，２０３，３０３ 重み状態保持部
４ スパイク入力部
５ シナプス回路部
６ ニューロン
３１，２３１，３３１ 確率的動作部
ＡＧ ＡＮＤ回路
ＣＮ カウンタ
ＣＵ，ＣＵ－１，ＣＵ－２ 確率的カウンタ
ＭＳ，ＭＳ－１，ＭＳ－２ 多段スイッチ素子
ＲＥ，ＲＥ－１～ＲＥ－３ 抵抗変化素子
ＳＷ，ＳＷ－１，ＳＷ－２ スイッチ素子
ＷＲＥ ワイブル抵抗変化素子
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図20A】
【図20B】
【図20C】
【図20D】
【図21】