(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-29
(45)【発行日】2023-10-10
(54)【発明の名称】記憶装置およびニューラルネットワーク装置
(51)【国際特許分類】
G06N 3/063 20230101AFI20231002BHJP
【ＦＩ】
G06N3/063
【請求項の数】
13
(21)【出願番号】P 2020141395
(22)【出願日】2020-08-25
(65)【公開番号】P2022037319
(43)【公開日】2022-03-09
【審査請求日】2022-08-25
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】丸亀 孝生
(72)【発明者】
【氏名】水島 公一
(72)【発明者】
【氏名】野村 久美子
(72)【発明者】
【氏名】西 義史
【審査官】稲葉 崇
(56)【参考文献】
【文献】特開２０１８－７３１０３（ＪＰ，Ａ）
【文献】特開平６－３０９４７９（ＪＰ，Ａ）
【文献】特表２０２０－５１６９９１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｆ １８／００－１８／４０
Ｇ０６Ｆ １７／００－１７／１８
(57)【特許請求の範囲】
【請求項1】
連続値である重みを記憶する記憶装置であって、それぞれが情報を記憶する直列に並んだ複数のセルを含み、前記複数のセルのうちの前記情報を記憶したセルの位置を順方向および逆方向にセル単位でシフトさせることが可能であり、前記複数のセルのそれぞれの位置が前記重みに対応し、前記複数のセルのそれぞれに対応する前記重みが前記順方向の位置の変化に従って連続して増加または減少する、シフトレジスタと、
前記シフトレジスタに含まれる前記複数のセルのうちの、何れか１つのセルに前記情報を書き込む初期化回路と、
前記重みの更新量を受け取り、前記情報を記憶したセルの位置を前記更新量の符号に対応する方向に前記更新量の絶対値に対応するセル数分シフトさせる更新制御回路と、
前記複数のセルに記憶された前記情報を読み出し、前記情報を記憶したセルの位置に対応する前記重みに応じた出力値を出力する読出制御回路と、
を備える記憶装置。
【請求項2】
それぞれがシフトレジスタを有し、連続値である重みを記憶する複数の記憶回路と、初期化回路と、
更新制御回路と、
読出制御回路と、
を備え、
前記シフトレジスタは、それぞれが情報を記憶する直列に並んだ複数のセルを含み、前記複数のセルのうちの前記情報を記憶したセルの位置を順方向および逆方向にセル単位でシフトさせることが可能であり、前記複数のセルのそれぞれの位置が前記重みに対応し、前記複数のセルのそれぞれに対応する前記重みが前記順方向の位置の変化に従って連続して増加または減少し、
前記初期化回路は、前記複数の記憶回路のそれぞれについて、前記シフトレジスタに含まれる前記複数のセルのうちの、何れか１つのセルに前記情報を書き込み、
前記更新制御回路は、前記複数の記憶回路のそれぞれについて、前記重みの更新量を受け取り、前記情報を記憶したセルの位置を前記更新量の符号に対応する方向に前記更新量の絶対値に対応するセル数分シフトさせ、
前記読出制御回路は、前記複数の記憶回路のそれぞれについて、前記複数のセルに記憶された前記情報を読み出し、前記情報を記憶したセルの位置に対応する前記重みに応じた出力値を出力する
記憶装置。
【請求項3】
前記複数の記憶回路のそれぞれは、前記複数のセルに対応して設けられる複数の書込回路をさらに含み、前記複数の書込回路のそれぞれは、対応するセルに前記情報を書き込み、
前記初期化回路は、
前記複数の記憶回路のうち、書込対象の記憶回路を選択し、
前記書込対象の記憶回路に含まれる前記複数の書込回路のうち、前記重みの初期値に対応する位置のセルに対応する書込回路を選択し、選択した前記書込回路により前記情報を書き込ませる
請求項２に記載の記憶装置。
【請求項4】
前記初期化回路は、前記複数の記憶回路のそれぞれについて、前記シフトレジスタに含まれる前記複数のセルのうちの、ランダムに定まる前記何れか１つのセルに前記情報を書き込む請求項２に記載の記憶装置。
【請求項5】
前記初期化回路は、前記複数の記憶回路のそれぞれについて、前記シフトレジスタに含まれる前記複数のセルに記憶された前記情報を消去した後、前記何れか１つのセルに前記情報を書き込む請求項２から４の何れか１項に記載の記憶装置。
【請求項6】
前記複数の記憶回路のそれぞれは、前記更新量の符号が設定され、前記シフトレジスタによる前記更新量の符号に対応する方向とは反対方向へのシフトを禁止する方向制御回路と、
前記更新量の絶対値が設定され、前記更新量の絶対値に対応するセル数を超えるシフトを禁止するセル数制御回路と、
をさらに含み、
前記更新制御回路は、
前記複数の記憶回路のそれぞれについて、前記更新量の符号を前記方向制御回路に設定し、前記更新量の絶対値を前記セル数制御回路に設定し、
前記複数の記憶回路に含まれる前記シフトレジスタを一括して、所定セル数分前記順方向または前記逆方向のうちの一方にシフトさせ、前記所定セル数分前記順方向または前記逆方向のうちの他方にシフトさせる
請求項２から５の何れか１項に記載の記憶装置。
【請求項7】
前記読出制御回路は、前記出力値として、前記情報を記憶したセルに対応する前記重みが、予め定められた基準値より大きいか否かを表す値を出力する請求項２から６の何れか１項に記載の記憶装置。
【請求項8】
前記複数の記憶回路のそれぞれは、前記複数のセルに対応して設けられる複数の読出回路をさらに含み、前記複数の読出回路のそれぞれは、対応するセルに前記情報が記憶されているか否かに応じた信号を出力し、
前記複数の記憶回路のそれぞれは、
含まれる前記複数の読出回路のうち前記基準値以上の重みに対応する正側セル群に対応する複数の読出回路から出力された信号に基づき、前記正側セル群のうちの少なくとも１つのセルに前記情報が記憶されているか、何れのセルにも前記情報が記憶されていないかを表す正側信号を出力し、
含まれる前記複数の読出回路のうち前記基準値より小さい重みに対応する負側セル群に対応する複数の読出回路から出力された信号に基づき、前記負側セル群のうちの少なくとも１つのセルに前記情報が記憶されているか、何れのセルにも前記情報が記憶されていないかを表す負側信号を出力し、
前記読出制御回路は、
前記複数の記憶回路のうちの読出対象の記憶回路を選択し、
選択した前記読出対象の記憶回路から出力された前記正側信号と前記負側信号との大きさを比較し、
選択した前記読出対象の記憶回路についての前記出力値として、前記正側信号と前記負側信号との比較結果を出力する
請求項７に記載の記憶装置。
【請求項9】
前記読出制御回路は、前記出力値として、前記情報を記憶したセルに対応する前記重みを出力する請求項２から６の何れか１項に記載の記憶装置。
【請求項10】
前記シフトレジスタは、ＣＣＤ（Charge Coupled Device）であり、前記複数のセルのそれぞれは、前記情報として電荷を蓄積する請求項１から９の何れか１項に記載の記憶装置。
【請求項11】
前記シフトレジスタは、論理回路である請求項１から９の何れか１項に記載の記憶装置。
【請求項12】
前記シフトレジスタは、ライン状のメモリスタであり、前記メモリスタは、
抵抗値が変化した位置が、外部からの制御によりラインに沿った方向に移動可能であり、
ラインに沿った方向に所定の長さ毎に区切られた範囲が、セルを構成し、
前記複数のセルのそれぞれは、前記情報として前記抵抗値を記憶する
請求項１から９の何れか１項に記載の記憶装置。
【請求項13】
ニューラルネットワークに従った演算処理を実行する演算回路と、前記演算回路による前記ニューラルネットワークに従った前記演算処理において用いられる複数の推論重みを記憶する推論重み記憶回路と、
前記ニューラルネットワークの学習処理において、前記複数の推論重みに対応する、連続値である複数の重みを記憶する学習重み記憶回路と、
前記学習処理において、前記演算回路による演算結果に基づき、前記学習重み記憶回路に記憶された前記複数の重みのそれぞれを更新させ、前記学習処理の後において、前記学習重み記憶回路に記憶された前記複数の重みに対応する複数の出力値を、前記複数の推論重みとして前記推論重み記憶回路に記憶させる学習制御回路と、
を備え、
前記学習重み記憶回路は、
それぞれがシフトレジスタを有し、連続値である重みを記憶する複数の記憶回路と、
初期化回路と、
更新制御回路と、
読出制御回路と、
を有し、
前記シフトレジスタは、それぞれが情報を記憶する直列に並んだ複数のセルを含み、前記複数のセルのうちの前記情報を記憶したセルの位置を順方向および逆方向にセル単位でシフトさせることが可能であり、前記複数のセルのそれぞれの位置が前記重みに対応し、前記複数のセルのそれぞれに対応する前記重みが前記順方向の位置の変化に従って連続して増加または減少し、
前記初期化回路は、前記複数の記憶回路のそれぞれについて、前記シフトレジスタに含まれる前記複数のセルのうちの、何れか１つのセルに前記情報を書き込み、
前記更新制御回路は、前記複数の記憶回路のそれぞれについて、前記重みの更新量を受け取り、前記情報を記憶したセルの位置を前記更新量の符号に対応する方向に前記更新量の絶対値に対応するセル数分シフトさせ、
前記読出制御回路は、前記複数の記憶回路のそれぞれについて、前記複数のセルに記憶された前記情報を読み出し、前記情報を記憶したセルの位置に対応する前記重みに応じた出力値を出力する
ニューラルネットワーク装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、記憶装置およびニューラルネットワーク装置に関する。
【背景技術】
【0002】
近年、ハードウェアで実現したニューラルネットワーク装置が研究されている。ハードウェアで実現したニューラルネットワークに含まれる各ユニットでは、電気回路により積和演算（乗累算）を実行する。すなわち、電気回路により実現されたユニットは、前段のユニットから受け取った複数の入力信号のそれぞれに対して重みを乗算し、重みを乗算した後の複数の入力信号を加算する。
【0003】
ところで、ハードウェアで実現したニューラルネットワーク装置において、推論で用いる重みは、２値でよい場合がある。しかし、推論で用いる重みが２値でよい場合であっても、学習処理において用いられる重みは、微小量で更新をしなければならないので、連続値（多値）でなければならない。例えば、学習時における重みは、１０００階調程度、例えば、１０ビット程度の精度が必要と考えられる。さらに、ハードウェアで実現したニューラルネットワーク装置は、学習時において、重みを高速に更新できることが好ましい。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許出願公開第２０１８／０３３６１６４号明細書
【文献】特開２０１８－０６７１５４号公報
【非特許文献】
【0005】
【文献】Jeongwoo Park, Juyun Lee, Dongsuk Jeon, "A 65nm 236.5nJ/Classification Neuromorphic Processor with 7.5% Energy Overhead On-Chip Learning Using Direct Spike-Only Feedback", 17-21 Feb. 2019, 2019 IEEE International Solid- State Circuits Conference(ISSCC)
【文献】A. J. AGRANAT, C. F. NEUGEBAUER, R. D. NELSON, AND A. YARIV, "The CCD Neural Processor: A Neural Network Integrated Circuit with 65536 Programmable Analog Synapses", 8 , Aug 1990, IEEE Transactions on Circuits and Systems (Volume: 37 , P.1073-1075)
【文献】Alice M. Chiang and Michael L. Chuang, "A CCD Programmable Image Processor and its Neural Network Applications", DECEMBER 1991, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 26, NO. 12, P.1894-1901
【文献】C.F. Neugebaue and A. Yariv, "A parallel analog CCD/CMOS neural network IC ", IEEE, 1991
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、連続値である重みを精度良く記憶し、記憶している重みを高速に更新することができる記憶装置およびニューラルネットワーク装置を提供することにある。
【課題を解決するための手段】
【0007】
実施形態に係る記憶装置は、連続値である重みを記憶する。前記記憶装置は、シフトレジスタと、初期化回路と、更新制御回路と、読出制御回路と、を備える。前記シフトレジスタは、それぞれが情報を記憶する直列に並んだ複数のセルを含む。前記シフトレジスタは、前記複数のセルのうちの前記情報を記憶したセルの位置を順方向および逆方向にセル単位でシフトさせることが可能である。前記シフトレジスタは、前記複数のセルのそれぞれの位置が前記重みに対応する。前記シフトレジスタは、前記複数のセルのそれぞれに対応する前記重みが前記順方向の位置の変化に従って連続して増加または減少する。前記初期化回路は、前記シフトレジスタに含まれる前記複数のセルのうちの、何れか１つのセルに前記情報を書き込む。前記更新制御回路は、前記重みの更新量を受け取り、前記情報を記憶したセルの位置を前記更新量の符号に対応する方向に前記更新量の絶対値に対応するセル数分シフトさせる。前記読出制御回路は、前記複数のセルに記憶された前記情報を読み出し、前記情報を記憶したセルの位置に対応する前記重みに応じた出力値を出力する。
【図面の簡単な説明】
【0008】
【図1】実施形態に係るニューラルネットワーク装置の構成を示す図。
【図2】ニューラルネットワークの１つのレイヤを説明するための図。
【図3】積和演算回路による積和演算を説明する図。
【図4】学習重み記憶回路の構成を示す図。
【図5】学習重み記憶回路の動作の流れを示すフローチャート。
【図6】初期化回路および初期化処理のための記憶回路の構成を示す図。
【図7】初期化時における動作の流れを示すフローチャート。
【図8】更新制御回路および更新処理のための記憶回路の構成の第１例を示す図。
【図9】第１例での更新時における動作の流れを示すフローチャート。
【図10】更新制御回路および更新処理のための記憶回路の構成を示す図。
【図11】第２例での更新時における動作の流れを示すフローチャート。
【図12】読出制御回路および読出処理のための記憶回路の構成を示す図。
【図13】読出時における動作の流れを示すフローチャート。
【図14】論理回路を含むシフトレジスタの構成を示す図。
【図15】メモリスタを含むシフトレジスタの構成を示す図。
【図16】積和演算回路のハードウェア構成図。
【図17】ｘｉ＝＋１およびｗｉ＝＋１の場合の演算動作の説明図。
【図18】ｘｉ＝－１およびｗｉ＝＋１の場合の演算動作の説明図。
【図19】ｘｉ＝＋１およびｗｉ＝－１の場合の演算動作の説明図。
【図20】ｘｉ＝－１およびｗｉ＝－１の場合の演算動作の説明図。
【図21】コンパレータの動作の説明図。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら実施形態に係るニューラルネットワーク装置１０について説明する。
【0010】
図１は、実施形態に係るニューラルネットワーク装置１０の構成を示す図である。ニューラルネットワーク装置１０は、演算回路１４と、推論重み記憶回路１６と、学習重み記憶回路２０と、学習制御回路２２とを備える。
【0011】
演算回路１４は、ニューラルネットワークに従った演算処理を実行する。演算回路１４は、アナログ回路を含む電気回路により実現される。例えば、演算回路１４は、Ｍ個（Ｍは、２以上の整数）の入力信号（ｘ１，…，ｘＭ）を受け取り、出力信号（ｚ）を出力する。なお、演算回路１４は、複数の出力信号を出力してもよい。
【0012】
推論重み記憶回路１６は、演算回路１４によるニューラルネットワークに従った演算処理において用いられる複数の推論重みを記憶する。推論重み記憶回路１６は、例えば、Ｌ個（Ｌは、２以上の整数）の推論重み（ｗ１，…，ｗＬ）を記憶する。複数の推論重みのそれぞれは、２値である。これにより、演算回路１４は、それぞれが２値で表された複数の推論重みを用いて、アナログ回路によりニューラルネットワークに従った演算処理を高速に実行することができる。推論重み記憶回路１６は、例えば、それぞれが２値の推論重みを記憶する複数のレジスタを含む。
【0013】
学習重み記憶回路２０は、ニューラルネットワークの学習処理において、複数の推論重みに対応する複数の重みを記憶する。学習重み記憶回路２０は、例えば、Ｌ個の推論重みに一対一で対応する、Ｌ個の重み（ｗ１，…，ｗＬ）を記憶する。複数の重みのそれぞれは、連続値（多値）である。学習重み記憶回路２０に記憶された複数の重みのそれぞれは、例えば、符号付の１０ビットの精度で表される。
【0014】
学習制御回路２２は、ニューラルネットワークの学習処理において、学習重み記憶回路２０に複数の重みの初期値を記憶させる。続いて、学習制御回路２２は、更新処理を複数回繰り返す。更新処理において、学習制御回路２２は、演算回路１４による演算結果に基づき複数の重みのそれぞれに対応する更新量（Δｗ１，…，ΔｗＬ）を生成して学習重み記憶回路２０に与え、学習重み記憶回路２０に記憶された複数の重みのそれぞれを更新させる。なお、学習制御回路２２は、更新処理を１回のみ実行してもよい。そして、学習制御回路２２は、学習処理の後において、学習重み記憶回路２０に記憶された複数の重みに対応する複数の出力値を、複数の推論重みとして推論重み記憶回路１６に記憶させる。
【0015】
このように、学習制御回路２２は、連続値で表された複数の重みを用いて、ニューラルネットワークの学習処理を実行する。これにより、学習制御回路２２は、学習処理において、複数の重みのそれぞれを微小量ずつ増減させることができるので、ニューラルネットワークを精度良く学習させることができる。
【0016】
図２は、ニューラルネットワークの１つのレイヤを説明するための図である。ニューラルネットワークは、例えば、図２に示すようなレイヤを１個または複数個含む。演算回路１４は、図２に示すようなレイヤに対応する演算を実行する回路を含む。
【0017】
演算回路１４は、例えば、図２に示すようなレイヤの演算を実行するために、Ｎ個（Ｎは、２以上の整数）の中間信号（ｙ１～ｙＮ）に対応するＮ個の積和演算回路３０（３０－１～３０－Ｎ）を有する。Ｎ個の積和演算回路３０のうちのｊ番目（ｊは、１からＮまでのうちの任意の整数）の積和演算回路３０－ｊは、ｊ番目の中間信号（ｙｊ）に対応する。また、Ｎ個の積和演算回路３０のそれぞれは、Ｍ個の入力信号（ｘ１～ｘＭ）を受け取る。
【0018】
図３は、積和演算回路３０による積和演算を説明する図である。Ｎ個の積和演算回路３０のそれぞれは、推論重み記憶回路１６から、Ｍ個の入力信号に対応するＭ個の推論重み（ｗ１ｊ，ｗ２ｊ，…，ｗｉｊ，…，ｗＭｊ）が与えられる。
【0019】
Ｎ個の積和演算回路３０のそれぞれは、Ｍ個の入力信号と、Ｍ個の推論重みとを積和演算した値を２値化した中間信号を出力する。例えば、ｊ番目の中間信号に対応する積和演算回路３０－ｊは、下記式（１）の演算をアナログ的に実行する。
【数1】
【0020】
式（１）において、ｙｊは、ｊ番目の中間信号を表す。ｘｉは、ｉ番目（ｉは、１以上、Ｍ以下の整数）の入力信号を表す。ｗｉｊは、Ｍ個の推論重みのうちのｉ番目の入力信号に乗算される推論重みを表す。式（１）において、ｆ（Ｘ）は、カッコ内の値Ｘを所定の閾値で二値化する関数を表す。
【0021】
図４は、学習重み記憶回路２０の構成を示す図である。学習重み記憶回路２０は、重み記憶回路４０と、初期化回路４２と、更新制御回路４４と、読出制御回路４６とを含む。
【0022】
重み記憶回路４０は、学習重み記憶回路２０が記憶する複数の重みに対して一対一で対応する複数の記憶回路５０を含む。例えば、重み記憶回路４０は、Ｌ個の記憶回路５０を含む。
【0023】
複数の記憶回路５０のそれぞれは、連続値である重みを記憶する。複数の記憶回路５０のそれぞれは、連続値である重みを記憶するために、シフトレジスタ５２を有する。
【0024】
シフトレジスタ５２は、直列に並んだ複数のセル６０を含む。複数のセル６０のそれぞれは、１ビットの情報を記憶する。
【0025】
シフトレジスタ５２は、外部からの転送制御信号に応じて、複数のセル６０のうちの情報を記憶したセル６０の位置を、順方向および逆方向に１つのセル単位でシフトさせることが可能である。ここで、順方向は、複数のセル６０の配列方向のうちの一方の方向である。逆方向は、複数のセル６０の配列方向のうち順方向とは反対の方向である。
【0026】
複数のセル６０のそれぞれにおける配列方向の位置は、重みに対応する。複数のセル６０のそれぞれに対応する重みは、順方向における位置の変化に従って連続して増加または減少する。
【0027】
例えば、重みが符号付の１０ビット精度で表される場合、シフトレジスタ５２は、１０２４個のセル６０を含む。この場合、例えば、１０２４個のセル６０のうちの一方の端部のセル６０は、“－５１２”の重みが対応する。また、他方の端部のセル６０は、“＋５１１”の重みが対応する。“－５１２”が対応するセル６０から“＋５１１”が対応するセル６０に向かう方向を順方向とする。そして、複数のセル６０のそれぞれに対応する重みは、セル６０の位置が１個分順方向に変化するに従い、“＋１”増加する。本例においては、複数のセル６０のうち、基準値である０より小さい負側の半数の重み（－５１２～－１）が対応付けられたセル群を負側セル群と呼び、基準値以上の正側の半数の重み（０～＋５１１）が対応付けられたセル群を正側セル群と呼ぶ。なお、複数のセル６０のそれぞれに対する重みの対応付け方法は、この例に限らず、他の例であってもよい。
【0028】
シフトレジスタ５２は、例えば、ＣＣＤ（Charge Coupled Device）である。ＣＣＤである場合、シフトレジスタ５２に含まれる複数のセル６０のそれぞれは、情報として電荷を蓄積する。また、シフトレジスタ５２は、論理回路であってもよい。また、シフトレジスタ５２は、ライン状のメモリスタであってもよい。また、シフトレジスタ５２は、ＩＧＺＯと呼ばれる、インジウム（Ｉｎ）、ガリウム（Ｇａ）および亜鉛（Ｚｎ）を含む酸化物半導体であってもよい。
【0029】
初期化回路４２は、複数の記憶回路５０のそれぞれについて、シフトレジスタ５２に含まれる複数のセル６０のうちの、何れか１つのセル６０に情報を書き込む。この場合において、初期化回路４２は、書き込み対象となるセル６０以外の他のセル６０には情報が書き込まれないようにする。例えば、初期化回路４２は、シフトレジスタ５２に含まれる複数のセル６０に記憶された情報を一旦全て消去した後に、何れか１つのセル６０に情報を書き込む。
【0030】
初期化回路４２は、例えば、複数の記憶回路５０のそれぞれ毎に学習制御回路２２から重みの初期値を受け取り、受け取った初期値に対応する位置のセル６０に情報を書き込んでもよい。また、初期化回路４２は、例えば、学習制御回路２２から初期化指示を受け取った場合、複数の記憶回路５０のそれぞれ毎にランダムに選択された位置のセル６０に情報を書き込んでもよい。
【0031】
更新制御回路４４は、複数の記憶回路５０のそれぞれについて、学習制御回路２２から重みの更新量を受け取る。更新量は、符号と、絶対値とを含む。符号は、重みを増加させるか、減少させるかを表す。絶対値は、重みの変化量を表す。更新制御回路４４は、複数の記憶回路５０のそれぞれについて、学習制御回路２２から重みの更新量を受け取った場合、シフトレジスタ５２に転送制御信号を与えて、情報を記憶したセル６０の位置を、更新量の符号に対応する方向に、更新量の絶対値に対応するセル数分シフトさせる。
【0032】
読出制御回路４６は、学習制御回路２２から読出指示を受けた場合、複数の記憶回路５０のそれぞれについて、複数のセル６０に記憶された情報を読み出し、情報を記憶したセル６０の位置に対応する重みに応じた出力値を出力する。例えば、読出制御回路４６は、複数の記憶回路５０のそれぞれについて、情報を記憶したセル６０に対応する重みが、予め定められた基準値より大きいか否かを判定し、判断結果を表す２値の出力値を出力する。例えば、読出制御回路４６は、情報を記憶したセル６０が、正側セル群に含まれているか負側セル群に含まれているかを判定し、判定結果を表す２値の出力値を出力する。読出制御回路４６は、学習処理が終了した後、複数の記憶回路５０のそれぞれから読み出した２値の出力値を、複数の推論重みとして推論重み記憶回路１６に与える。
【0033】
また、学習制御回路２２は、学習処理の途中段階において、複数の記憶回路５０に記憶された複数の重みを用いる場合がある。この場合、読出制御回路４６は、複数の記憶回路５０のそれぞれから読み出した２値の出力値を、学習制御回路２２に与える。また、学習処理の途中段階において、学習制御回路２２は、連続値で表された重みを用いる場合がある。この場合、読出制御回路４６は、複数の記憶回路５０のそれぞれ毎に、複数のセル６０のそれぞれについて情報を記憶しているか否かを判定し、情報を記憶したセル６０の位置を特定する。そして、読出制御回路４６は、情報を記憶したセル６０の位置に対応する重みを出力値として出力する。
【0034】
【0035】
まず、Ｓ１１において、学習重み記憶回路２０は、学習制御回路２２から初期化指示および複数の重みのそれぞれの初期値を受け取り、初期化処理を実行する。初期化処理において、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれに対して、受け取った初期値に対応する位置のセル６０に情報を書き込む。なお、学習重み記憶回路２０は、初期化処理において、初期値を受け取らず、複数の記憶回路５０のそれぞれ毎にランダムに選択された位置のセル６０に情報を書き込んでもよい。
【0036】
続いて、Ｓ１２において、学習重み記憶回路２０は、学習制御回路２２から更新指示および複数の重みのそれぞれの更新量を受け取り、更新処理を実行する。更新処理において、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれに対して、シフトレジスタ５２に転送制御信号を与えて、情報を記憶したセル６０の位置を、更新量の符号に対応する方向に更新量の絶対値に対応するセル数分シフトさせる。これにより、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれが記憶している重みを更新量分、増加または減少させることができる。
【0037】
続いて、Ｓ１３において、学習重み記憶回路２０は、学習制御回路２２から読出指示を受け取った場合、読出処理を実行する。なお、学習重み記憶回路２０は、学習制御回路２２から読出指示を受け取らなかった場合、読出処理を実行しない。学習重み記憶回路２０は、読出処理において、複数の記憶回路５０のそれぞれ毎に、情報を記憶したセル６０に対応する重みが、予め定められた基準値より大きいか否かを判定し、判定結果を表す出力値を学習制御回路２２へと出力する。例えば、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれ毎に、情報を記憶したセル６０が、正側セル群に含まれているか負側セル群に含まれているかを判定し、判定結果に応じた２値の出力値を学習制御回路２２へと出力する。
【0038】
なお、学習制御回路２２は、学習処理において、連続値で表された重みを用いる場合がある。この場合、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれ毎に、複数のセル６０のそれぞれについて情報を記憶しているか否かを判定し、情報を記憶したセル６０の位置を特定する。そして、読出制御回路４６は、情報を記憶したセル６０の位置に対応する重みを出力値として出力する。
【0039】
学習重み記憶回路２０は、学習処理が終了するまで、Ｓ１２およびＳ１３の処理を繰り返す（Ｓ１４のＮｏ）。これにより、学習重み記憶回路２０は、複数の重みが最適化される。そして、学習処理が終了した場合（Ｓ１４のＹｅｓ）、学習重み記憶回路２０は、処理をＳ１５に進める。
【0040】
Ｓ１５において、学習重み記憶回路２０は、学習制御回路２２から転送指示を受け取り、転送処理を実行する。学習重み記憶回路２０は、転送処理において、複数の記憶回路５０のそれぞれ毎に、情報を記憶したセル６０に対応する重みが、予め定められた基準値より大きいか否かを判定し、判定結果を表す出力値を推論重み記憶回路１６へと出力する。例えば、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれ毎に、情報を記憶したセル６０が、正側セル群に含まれているか負側セル群に含まれているかを判定し、判定結果に応じた２値の出力値を推論重み記憶回路１６へと出力する。
【0041】
学習重み記憶回路２０は、Ｓ１５の処理を終えると、本フローを終了する。
【0042】
図６は、初期化回路４２の構成および初期化処理のための記憶回路５０の構成の一例を示す図である。例えば、複数の記憶回路５０のそれぞれは、初期化処理のために、複数の書込回路７２をさらに含む。
【0043】
複数の書込回路７２は、シフトレジスタ５２に含まれる複数のセル６０に対応する。例えば、複数の書込回路７２は、複数のセル６０に一対一で対応する。
【0044】
複数の書込回路７２のそれぞれは、初期化回路４２からの制御に応じて、対応するセル６０に情報を書き込む。例えば、シフトレジスタ５２がＣＣＤである場合、対応するセル６０に所定量の電荷を注入する。
【0045】
初期化回路４２は、消去制御回路７４と、書込選択回路７６と、値選択回路７８とを含む。
【0046】
消去制御回路７４は、複数の記憶回路５０のそれぞれについて、何れかのセル６０への情報の書き込みに先だって、シフトレジスタ５２に含まれる複数のセル６０に記憶された情報を消去する。消去制御回路７４は、例えば、複数の記憶回路５０のそれぞれのシフトレジスタ５２を、順方向または逆方向に全セル数分シフトさせることにより、複数のセル６０の何れにも情報が記憶されていない状態とする。
【0047】
書込選択回路７６は、学習制御回路２２からの制御に応じて、複数の記憶回路５０のうち、書込対象の記憶回路５０を選択する。例えば、重み記憶回路４０は、複数の記憶回路５０に対応する複数の書込回路選択ライン７６－１を含む。複数の書込回路選択ライン７６－１のそれぞれは、対応する記憶回路５０に含まれる複数の書込回路７２の全てに接続される。例えば、書込選択回路７６は、複数の書込回路選択ライン７６－１のうちの、書込対象の記憶回路５０に対応する書込回路選択ライン７６－１に所定の電圧を印加する。これにより、書込選択回路７６は、書込対象の記憶回路５０を選択することができる。
【0048】
値選択回路７８は、学習制御回路２２からの制御に応じて、書込対象の記憶回路５０に含まれる複数の書込回路７２のうち、重みの初期値に対応する位置のセル６０に対応する書込回路７２を選択する。そして、値選択回路７８は、選択した書込回路７２により情報を書き込ませる。
【0049】
例えば、重み記憶回路４０は、シフトレジスタ５２に含まれる複数のセル６０に対応する複数の書込セル選択ライン７８－１を含む。複数の書込セル選択ライン７８－１のそれぞれは、対応するセル６０に対応する書込回路７２に接続される。さらに、複数の書込セル選択ライン７８－１のそれぞれは、複数の記憶回路５０に含まれる同一位置のセル６０に対応する複数の書込回路７２に対して共通に接続される。例えば、値選択回路７８は、複数の書込セル選択ライン７８－１のうちの、重みの初期値に対応する位置のセル６０に対応する書込セル選択ライン７８－１に所定の電圧を印加する。これにより、値選択回路７８は、重みの初期値に対応する位置のセル６０に対応する書込回路７２を選択することができる。
【0050】
そして、それぞれの書込回路７２は、自身に接続された書込回路選択ライン７６－１および書込セル選択ライン７８－１の両方に所定の電圧が印加された場合、対応するセル６０に対して電気的に情報を書き込む。これにより、値選択回路７８は、書込対象の記憶回路５０に含まれる複数の書込回路７２のうち、重みの初期値に対応する位置のセル６０に対応する書込回路７２に情報を書き込ませることができる。
【0051】
なお、シフトレジスタ５２が半導体装置に形成され、複数のセル６０が半導体膜のある平面上に平行に形成されている場合、複数の書込回路７２のそれぞれは、対応するセル６０における半導体膜の垂直方向の直上に形成されてもよい。これにより、重み記憶回路４０は、半導体装置に形成される場合、平面の面積を小さくすることができる。
【0052】
また、シフトレジスタ５２がＣＣＤである場合、複数の書込回路７２は、対応するセル６０に光を与えることにより、対応するセル６０に電荷を蓄積させてもよい。
【0053】
また、複数の記憶回路５０のそれぞれは、シフトレジスタ５２に含まれる複数のセル６０のうちの何れか１つの所定位置のセル６０に対応する書込回路７２のみを含んでもよい。この場合、値選択回路７８は、所定位置のセル６０に情報が書き込まれた後、シフトレジスタ５２に転送制御信号を与えて、情報を記憶したセル６０の位置をシフトさせることにより、重みの初期値に対応する位置のセル６０に情報を記憶させる。
【0054】
また、学習制御回路２２から受け取る初期値は、ランダムに決定された値であってもよい。また、値選択回路７８は、学習制御回路２２から初期化指示を受けた場合、ランダムに初期値を決定してもよい。
【0055】
【0056】
まず、Ｓ２１において、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれのシフトレジスタ５２に含まれる複数のセル６０に記憶された情報を消去する。例えば、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれのシフトレジスタ５２を、順方向または逆方向に全セル数分シフトさせることにより、複数のセル６０の何れにも情報が記憶されていない状態とする。
【0057】
続いて、Ｓ２２とＳ２６との間のループ処理において、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれに対して、Ｓ２３からＳ２５の処理を実行する。
【0058】
Ｓ２３において、学習重み記憶回路２０は、複数の記憶回路５０のうち、書込対象の記憶回路５０を選択する。例えば、学習重み記憶回路２０は、複数の書込回路選択ライン７６－１のうちの、書込対象の記憶回路５０に対応する書込回路選択ライン７６－１に所定の電圧を印加する。
【0059】
続いて、Ｓ２４において、学習重み記憶回路２０は、書込対象の記憶回路５０に含まれる複数の書込回路７２のうち、重みの初期値に対応する位置のセル６０に対応する書込回路７２を選択する。例えば、学習重み記憶回路２０は、複数の書込セル選択ライン７８－１のうちの、重みの初期値に対応する位置のセル６０に対応する書込セル選択ライン７８－１に所定の電圧を印加する。なお、初期値は、ランダムに決定された値であってよい。
【0060】
続いて、Ｓ２５において、学習重み記憶回路２０は、書込対象の記憶回路５０に含まれる複数の書込回路７２のうち、選択した書込回路７２により、対応するセル６０へ情報を書き込ませる。例えば、所定電圧が印加された書込回路選択ライン７６－１および所定電圧が印加された書込セル選択ライン７８－１の両方に接続された書込回路７２は、対応するセル６０に情報を書き込む。
【0061】
学習重み記憶回路２０は、複数の記憶回路５０の全てについてＳ２３からＳ２５までの処理を実行した後、本フローを終了する。以上のような学習重み記憶回路２０は、初期化処理において、複数の記憶回路５０のそれぞれについて、シフトレジスタ５２に含まれる複数のセル６０のうちの、何れか１つのセル６０に情報を書き込むことができる。
【0062】
図８は、第１例に係る更新制御回路４４の構成および第１例に係る更新処理のための記憶回路５０の構成を示す図である。第１例に係る更新制御回路４４は、更新選択回路８０と、シフト制御回路８２とを含む。
【0063】
更新選択回路８０は、学習制御回路２２からの制御に応じて、複数の記憶回路５０のうち、更新対象の記憶回路５０を選択する。例えば、複数の記憶回路５０のそれぞれは、イネーブル（ＥＮ）信号を受け取っている場合に、シフト動作し、イネーブル信号を受け取っていない場合には、シフト動作しない。この場合、更新選択回路８０は、更新対象の記憶回路５０に含まれるシフトレジスタ５２に対してイネーブル信号を与え、他の記憶回路５０に含まれるシフトレジスタ５２に対してイネーブル信号を与えない。これにより、更新選択回路８０は、更新対象の記憶回路５０を選択することができる。
【0064】
シフト制御回路８２は、学習制御回路２２からの制御に応じて、更新対象の記憶回路５０に含まれるシフトレジスタ５２における情報を記憶したセル６０の位置を、更新量の符号に応じた方向に、更新量の絶対値に応じたセル数分シフトさせる。例えば、シフト制御回路８２は、複数の記憶回路５０に含まれる複数のシフトレジスタ５２を同時にシフトさせる転送制御信号を、複数のシフトレジスタ５２に共通に与える。例えば、シフトレジスタ５２がＣＣＤである場合、シフト制御回路８２は、３相の転送制御信号（Ｖφ１，Ｖφ２，Ｖφ３）を複数のシフトレジスタ５２に共通に与える。なお、図８には、３相の転送制御信号（Ｖφ１，Ｖφ２，Ｖφ３）を１つのセル６０に与えている省略した図を示しているが、シフト制御回路８２は、複数のセル６０の全てに３相の転送制御信号（Ｖφ１，Ｖφ２，Ｖφ３）を与える。
【0065】
複数のシフトレジスタ５２のうちイネーブル信号が与えられているシフトレジスタ５２は、与えられた転送制御信号に応じて、情報を記憶しているセル６０の位置をシフトさせる。しかし、複数のシフトレジスタ５２のうちイネーブル信号が与えられていないシフトレジスタ５２は、転送制御信号が与えられても、情報を記憶しているセル６０の位置をシフトさせない。これにより、シフト制御回路８２は、更新対象の記憶回路５０に含まれるシフトレジスタ５２における情報を記憶したセル６０の位置を、更新量の符号に応じた方向に、更新量の絶対値に応じたセル数分シフトさせることできる。
【0066】
【0067】
まず、Ｓ３１とＳ３５との間のループ処理において、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれに対して、Ｓ３２からＳ３４の処理を実行する。
【0068】
Ｓ３２において、更新選択回路８０は、複数の記憶回路５０のうち、更新対象の記憶回路５０を選択する。例えば、更新選択回路８０は、更新対象の記憶回路５０に含まれるシフトレジスタ５２に対してイネーブル信号を与え、他の記憶回路５０に含まれるシフトレジスタ５２に対してイネーブル信号を与えない。
【0069】
続いて、Ｓ３３において、シフト制御回路８２は、学習制御回路２２から、更新対象の記憶回路５０に記憶された重みの更新量の符号および絶対値を取得する。
【0070】
続いて、Ｓ３４において、シフト制御回路８２は、更新対象の記憶回路５０に含まれるシフトレジスタ５２における情報を記憶したセル６０の位置を、更新量の符号に応じた方向に、更新量の絶対値に応じたセル数分シフトさせる。例えば、シフト制御回路８２は、転送制御信号を制御して、シフトレジスタ５２をシフトさせる。
【0071】
そして、Ｓ３５において、学習重み記憶回路２０は、複数の記憶回路５０の全てについてＳ３２からＳ３４までの処理を実行した後、本フローを終了する。以上のような第１例に係る学習重み記憶回路２０は、更新処理において、複数の記憶回路５０のそれぞれについて、情報を記憶したセル６０の位置を、更新量の符号に対応する方向に、更新量の絶対値に対応するセル数分シフトさせることができる。
【0072】
図１０は、第２例に係る更新制御回路４４の構成および第２例に係る更新処理のための記憶回路５０の構成を示す図である。更新制御回路４４および重み記憶回路４０は、例えば、図８に示した構成に代えて、図１０に示す第２例の構成であってもよい。
【0073】
第２例において、複数の記憶回路５０のそれぞれは、例えば、更新処理のために、方向制御回路８４と、セル数制御回路８６とをさらに含む。
【0074】
方向制御回路８４は、更新制御回路４４により、対応する記憶回路５０に記憶された重みを更新するための更新量の符号が設定される。そして、方向制御回路８４は、設定された更新量の符号を記憶する。例えば、方向制御回路８４は、更新量が正であれば、正の符号を記憶する。また、方向制御回路８４は、更新量が負であれば、負の符号を記憶する。そして、方向制御回路８４は、シフトレジスタ５２による、設定された更新量の符号に対応する方向へのシフトを許可し、設定された更新量の符号に対応する方向とは反対方向へのシフトを禁止する。
【0075】
例えば、方向制御回路８４は、シフト制御回路８２から、シフトレジスタ５２のシフト方向を示す方向信号を受け取る。方向制御回路８４は、設定された更新量の符号と、方向信号に示されている方向に応じて、イネーブル信号をシフトレジスタ５２に与えるか否かを制御する。例えば、方向制御回路８４は、更新量の符号が正であり且つ方向信号が順方向を示す場合、および、更新量の符号が負であり且つ方向信号が逆方向を示す場合、イネーブル信号を与える。また、方向制御回路８４は、更新量の符号が正であり且つ方向信号が逆方向を示す場合、および、更新量の符号が負であり且つ方向信号が順方向を示す場合、イネーブル信号を与えない。シフトレジスタ５２は、方向制御回路８４からイネーブル信号を受け取っていない場合には、シフト動作しない。これにより、方向制御回路８４は、設定された更新量の符号に対応する方向へのシフトを許可し、シフトレジスタ５２に対して、設定された更新量の符号に対応する方向とは反対方向へのシフトを禁止することができる。
【0076】
セル数制御回路８６は、更新制御回路４４により、対応する記憶回路５０に記憶された重みを更新するための更新量の絶対値が設定される。セル数制御回路８６は、設定された更新量の絶対値を記憶する。そして、セル数制御回路８６は、シフトレジスタ５２による、設定された更新量の絶対値に対応するセル数以下のシフトを許可し、設定された更新量の絶対値に対応するセル数を超えるシフトを禁止する。
【0077】
例えば、セル数制御回路８６は、シフト制御回路８２からカウント値を受け取る。カウント値は、順方向または逆方向にシフトを開始してからシフトされたセル数を表す。カウント値は、シフト開始時においては、０で１ずつ増加する。セル数制御回路８６は、カウント値が更新量の絶対値以下の場合、イネーブル信号をシフトレジスタ５２に与え、カウント値が更新量より大きくなった場合、イネーブル信号をシフトレジスタ５２に与えない。シフトレジスタ５２は、セル数制御回路８６からイネーブル信号を受け取っていない場合には、シフト動作しない。これにより、セル数制御回路８６は、シフトレジスタ５２に対して、設定された更新量の絶対値に対応するセル数以下のシフトを許可し、設定された更新量の絶対値に対応するセル数を超えるシフトを禁止することができる。
【0078】
第２例において、更新制御回路４４は、更新設定回路８８と、シフト制御回路８２とを含む。
【0079】
更新設定回路８８は、学習制御回路２２からの制御に応じて、複数の記憶回路５０のそれぞれについて、記憶されている重みの更新量を受け取る。そして、更新設定回路８８は、複数の記憶回路５０のそれぞれの方向制御回路８４に対して、対応する更新量の符号を設定する。また、更新設定回路８８は、複数の記憶回路５０のそれぞれのセル数制御回路８６に対して、対応する更新量の絶対値を設定する。
【0080】
シフト制御回路８２は、学習制御回路２２からの制御に応じて、複数の記憶回路５０に含まれるシフトレジスタ５２を一括して、所定セル数分、順方向または前記逆方向のうちの一方にシフトさせる。続いて、シフト制御回路８２は、複数の記憶回路５０に含まれるシフトレジスタ５２を一括して、所定セル数分、順方向または逆方向のうちの他方向にシフトさせる。
【0081】
例えば、シフト制御回路８２は、複数の記憶回路５０に含まれる複数のシフトレジスタ５２を同時にシフトさせることができる転送制御信号を発生する。例えば、シフトレジスタ５２がＣＣＤである場合、シフト制御回路８２は、３相の転送制御信号（Ｖφ１，Ｖφ２，Ｖφ３）を複数のシフトレジスタ５２に共通に与える。
【0082】
この場合において、シフト制御回路８２は、順方向にシフトさせているか、逆方向にシフトさせているかを示す方向信号を、複数の記憶回路５０のそれぞれが含む方向制御回路８４に与える。さらに、シフト制御回路８２は、順方向へのシフトを開始してから所定セル数分のシフトしている間において、シフトさせたセル数を表すカウント値を、複数の記憶回路５０のそれぞれが含むセル数制御回路８６に与える。また、シフト制御回路８２は、逆方向へのシフトを開始してから所定セル数分のシフトしている間において、シフトさせたセル数を表すカウント値を、複数の記憶回路５０のそれぞれが含むセル数制御回路８６に与える。
【0083】
複数の記憶回路５０のそれぞれに記憶されたシフトレジスタ５２は、方向制御回路８４からイネーブル信号が与えられ、且つ、セル数制御回路８６からイネーブル信号が与えられていることを条件として、与えられた転送制御信号に応じて、記憶している情報をシフトさせる。しかし、複数の記憶回路５０のそれぞれに記憶されたシフトレジスタ５２は、転送制御信号が与えられた場合であって、方向制御回路８４またはセル数制御回路８６の何れか一方からイネーブル信号が与えられない場合には、記憶している情報をシフトさせない。従って、複数の記憶回路５０のそれぞれは、自身に設定されている更新量の符号に対応する方向に、自身に設定されている更新量の絶対値に対応するセル数分、シフトレジスタ５２をシフトさせることができる。
【0084】
【0085】
まず、Ｓ４１において、更新設定回路８８は、学習制御回路２２から、複数の記憶回路５０のそれぞれについて、記憶された重みの更新量の符号および絶対値を取得する。そして、更新設定回路８８は、複数の記憶回路５０のそれぞれについて、更新量の符号を方向制御回路８４に設定し、更新量の絶対値をセル数制御回路８６に設定する。
【0086】
続いて、Ｓ４２において、シフト制御回路８２は、複数の記憶回路５０のそれぞれに含まれるシフトレジスタ５２を一括して、所定セル数分順方向にシフトさせる。この場合において、シフト制御回路８２は、順方向にシフトさせていることを示す方向信号を、複数の記憶回路５０のそれぞれが含む方向制御回路８４に与える。さらに、シフト制御回路８２は、順方向へのシフトを開始してからシフトさせたセル数を表すカウント値を、複数の記憶回路５０のそれぞれが含むセル数制御回路８６に与える。これにより、複数の記憶回路５０のそれぞれに含まれるシフトレジスタ５２は、方向制御回路８４に正符号が設定されている場合、セル数制御回路８６に設定された絶対値に対応するセル数分、情報を記憶しているセル６０の位置を順方向にシフトさせることができる。
【0087】
続いて、Ｓ４３において、シフト制御回路８２は、複数の記憶回路５０のそれぞれに含まれるシフトレジスタ５２を一括して、所定セル数分逆方向にシフトさせる。この場合において、シフト制御回路８２は、逆方向にシフトさせていることを示す方向信号を、複数の記憶回路５０のそれぞれが含む方向制御回路８４に与える。さらに、シフト制御回路８２は、逆方向へのシフトを開始してからシフトさせたセル数を表すカウント値を、複数の記憶回路５０のそれぞれが含むセル数制御回路８６に与える。これにより、複数の記憶回路５０のそれぞれに含まれるシフトレジスタ５２は、方向制御回路８４に負符号が設定されている場合、セル数制御回路８６に設定された絶対値に対応するセル数分、情報を記憶しているセル６０の位置を逆方向にシフトさせることができる。
【0088】
学習重み記憶回路２０は、Ｓ４３の処理を実行した後、本フローを終了する。なお、学習重み記憶回路２０は、Ｓ４３を実行してから、Ｓ４２を実行してもよい。
【0089】
また、Ｓ４２およびＳ４３における、一括してシフトさせる所定セル数は、シフトレジスタ５２に含まれる全部のセル６０の数であってもよい。また、学習制御回路２２が出力する更新量の最大値および最小値が予め定められている場合がある。この場合、所定セル数は、更新制御回路４４が学習制御回路２２から受け取り可能な更新量の絶対値の最大値以上であればよい。すなわち、所定セル数は、受け取り可能な更新量の最大値の絶対値、または、受け取り可能な更新量の最小値の絶対値のうちの、大きい方の値以上であればよい。
【0090】
以上のような第２例に係る学習重み記憶回路２０は、更新処理において、複数の記憶回路５０のそれぞれについて、情報を記憶したセル６０の位置を、更新量の符号に対応する方向に、更新量の絶対値に対応するセル数分シフトさせることができる。さらに、第２例に係る学習重み記憶回路２０は、更新処理において、複数の記憶回路５０に対して一括して、セル数分シフトさせることができる。
【0091】
図１２は、読出制御回路４６の構成および読出処理のための記憶回路５０の構成を示す図である。
【0092】
複数の記憶回路５０のそれぞれは、読出処理のために、例えば、複数の読出回路９０と、グラウンドスイッチ９２と、正側抵抗９４と、正側スイッチ９６と、負側抵抗９８と、負側スイッチ１００と、正側出力端子１０２と、負側出力端子１０４とをさらに含む。
【0093】
複数の読出回路９０は、シフトレジスタ５２に含まれる複数のセル６０に対して、一対一で対応する。複数の読出回路９０のそれぞれは、対応するセル６０に情報が記憶されているか否かに応じた信号を出力する。
【0094】
本例においては、読出回路９０は、ＭＯＳＦＥＴ（Metal-Oxide-Semiconductor Field Effect Transistor）である。この場合、読出回路９０は、ゲートが対応するセル６０に接続され、ソースがグラウンドスイッチ９２を介してグラウンドに接続される。また、正側セル群に対応する読出回路９０のドレインは、正側出力端子１０２に接続される。負側セル群に対応する読出回路９０のドレインは、負側出力端子１０４に接続される。
【0095】
グラウンドスイッチ９２は、読出制御回路４６による制御に応じて、複数の読出回路９０の機能を有効にするか否かを切り替える。本例においては、グラウンドスイッチ９２は、複数の読出回路９０である複数のＭＯＳＦＥＴのソースをグラウンドに接続するか否かを切り替える。グラウンドスイッチ９２は、複数の読出回路９０の機能を有効にする場合、オンとなることにより、複数のＭＯＳＦＥＴの全てのソースをグラウンドに接続する。グラウンドスイッチ９２は、複数の読出回路９０の機能を無効にする場合、オフとなることにより、複数のＭＯＳＦＥＴのソースとグラウンドとを切断する。
【0096】
正側抵抗９４は、一方の端子が正側出力端子１０２に接続され、他方の端子が正側スイッチ９６を介して電源電圧（ＶＤＤ）に接続される。
【0097】
正側スイッチ９６は、読出制御回路４６による制御に応じて、この記憶回路５０に含まれる複数の読出回路９０のうち、正側セル群に対応する複数の読出回路９０の機能を有効にするか否かを切り替える。正側セル群は、複数のセル６０のうち、負側の半数の重み（例えば、０～＋５１１）が対応付けられたセル群である。本例においては、正側スイッチ９６は、正側抵抗９４の正側出力端子１０２に接続されていない側の端子を、電源電圧（ＶＤＤ）に接続するか否かを切り替える。正側スイッチ９６は、正側セル群に対応する複数の読出回路９０の機能を有効にする場合、オンとなることにより、正側抵抗９４を電源電圧（ＶＤＤ）に接続する。正側スイッチ９６は、正側セル群に対応する複数の読出回路９０の機能を無効にする場合、オフとなることにより、正側抵抗９４と電源電圧（ＶＤＤ）とを切断する。
【0098】
負側抵抗９８は、一方の端子が負側出力端子１０４に接続され、他方の端子が負側スイッチ１００を介して電源電圧（ＶＤＤ）に接続される。
【0099】
負側スイッチ１００は、読出制御回路４６による制御に応じて、この記憶回路５０に含まれる複数の読出回路９０のうち、負側セル群に対応する複数の読出回路９０の機能を有効にするか否かを切り替える。負側セル群は、複数のセル６０のうち、負側の半数の重み（例えば、－５１２～－１）が対応付けられたセル群である。本例においては、負側スイッチ１００は、負側抵抗９８の負側出力端子１０４に接続されていない側の端子を、電源電圧（ＶＤＤ）に接続するか否かを切り替える。負側スイッチ１００は、負側セル群に対応する複数の読出回路９０の機能を有効にする場合、オンとなることにより、負側抵抗９８を電源電圧（ＶＤＤ）に接続する。負側スイッチ１００は、負側セル群に対応する複数の読出回路９０の機能を無効にする場合、オフとなることにより、負側抵抗９８と電源電圧（ＶＤＤ）とを切断する。
【0100】
正側出力端子１０２は、正側のセル群に対応する複数の読出回路９０から出力された電気信号に基づく正側信号を出力する。また、負側出力端子１０４は、負側セル群に対応する複数の読出回路９０から出力された複数の電気信号に基づく負側信号を出力する。
【0101】
このような構成において、複数の読出回路９０のそれぞれは、対応するセル６０に情報が記憶されている場合、オンとなり、対応するセル６０に情報が記憶されていない場合、オフとなる。正側セル群に対応する複数の読出回路９０のそれぞれは、オンとなった場合、正側出力端子１０２とグラウンドと接続する。また、負側セル群に対応する複数の読出回路９０のそれぞれは、オンとなった場合、負側出力端子１０４とグラウンドと接続する。
【0102】
従って、正側出力端子１０２から出力される正側信号は、正側セル群のうちの少なくとも１つのセル６０に情報が記憶されている場合に、グラウンド電位となり、正側セル群の何れのセル６０にも情報が記憶されていない場合、電源電位（ＶＤＤ）となる。つまり、正側信号は、正側セル群のうちの少なくとも１つのセル６０に情報が記憶されているか、何れのセル６０にも情報が記憶されていないかを表す。
【0103】
また、負側出力端子１０４から出力される負側信号は、負側セル群のうちの少なくとも１つのセル６０に情報が記憶されている場合に、グラウンド電位となり、負側セル群の何れのセル６０にも情報が記憶されていない場合、電源電位（ＶＤＤ）となる。つまり、負側信号は、負側セル群のうちの少なくとも１つのセル６０に情報が記憶されているか、何れのセル６０にも情報が記憶されていないかを表す。
【0104】
読出制御回路４６は、読出対象選択回路１１２と、比較回路１１４とを含む。
【0105】
読出対象選択回路１１２は、学習制御回路２２からの制御に応じて、複数の記憶回路５０のうち、１つの読出対象の記憶回路５０を選択する。本例においては、読出対象選択回路１１２は、読出対象の記憶回路５０に含まれるグラウンドスイッチ９２、正側スイッチ９６および負側スイッチ１００をオンとして、読出対象の記憶回路５０に含まれる複数の読出回路９０の機能を有効にする。
【0106】
比較回路１１４は、選択された読出対象の記憶回路５０の正側出力端子１０２から出力された正側信号と、選択された読出対象の記憶回路５０の負側出力端子１０４から出力された負側信号との大きさを比較する。ここで、シフトレジスタ５２は、何れか１つのセル６０に情報を記憶させ、他の全てのセル６０には情報を記憶させない。従って、正側信号および負側信号のうちの一方は、何れのセル６０にも情報が記憶されていないことを表すレベルとなり、他方は、少なくとも１つのセル６０に情報を記憶させるレベルとなる。つまり、正側信号と負側信号とは、レベルが異なる。従って、比較回路１１４は、正側信号と負側信号との大きさを比較することができる。
【0107】
そして、比較回路１１４は、選択した読出対象の記憶回路５０についての出力値として、正側信号と負側信号との比較結果を出力する。このような構成の読出制御回路４６は、読出対象の記憶回路５０に記憶された重みを、２値化した出力値を出力することができる。
【0108】
なお、読出制御回路４６は、読出対象の記憶回路５０に記憶された重みを、２値化せずに、連続値で出力してもよい。この場合、読出制御回路４６は、選択した読出対象の記憶回路５０に含まれる複数の読出回路９０のそれぞれから出力された信号に基づき、シフトレジスタ５２に含まれる複数のセル６０のうちの情報を記憶したセル６０を特定する。そして、読出制御回路４６は、選択した読出対象の記憶回路５０についての出力値として、特定したセル６０の位置に対応する重みを出力する。
【0109】
【0110】
まず、Ｓ５１とＳ５５との間のループ処理において、学習重み記憶回路２０は、複数の記憶回路５０のそれぞれに対して、Ｓ５２からＳ５４の処理を実行する。
【0111】
Ｓ５２において、読出対象選択回路１１２は、複数の記憶回路５０のうち、読出対象の記憶回路５０を選択する。例えば、読出対象選択回路１１２は、読出対象の記憶回路５０に含まれるグラウンドスイッチ９２、正側スイッチ９６および負側スイッチ１００をオンとする。
【0112】
続いて、Ｓ５３において、比較回路１１４は、読出対象の記憶回路５０から出力された正側信号と、読出対象の記憶回路５０から出力された負側信号との大きさを比較する。すなわち、比較回路１１４は、正側セル群または負側セル群の何れの側に情報が記憶されているかを判断する。
【0113】
続いて、Ｓ５４において、比較回路１１４は、正側信号と負側信号との比較結果を、２値で表された重みとして出力する。そして、Ｓ５５において、学習重み記憶回路２０は、複数の記憶回路５０の全てについてＳ５２からＳ５４までの処理を実行した後、本フローを終了する。以上のような学習重み記憶回路２０は、読出処理において、複数の記憶回路５０のそれぞれについて、複数のセル６０に記憶された情報を読み出し、情報を記憶したセル６０の位置に対応する重みに応じた出力値を出力することができる。
【0114】
【0115】
すなわち、複数のセル６０のそれぞれは、マルチプレクサ１５２と、Ｄフリップフロップ１５４とを含む。
【0116】
マルチプレクサ１５２は、２つの入力端子のうち、指定された入力端子に入力された値を出力する。図１４の例の場合、マルチプレクサ１５２は、第１入力端子（Ａ）または第２入力端子（Ｂ）のうちの何れか一方から入力された値を出力する。
【0117】
Ｄフリップフロップ１５４は、クロック信号が与えられ、Ｄ端子から入力された値をクロック信号の１サイクル期間、記憶する。Ｄフリップフロップ１５４は、記憶している値をＱ端子から出力する。
【0118】
Ｄフリップフロップ１５４のＤ端子は、マルチプレクサ１５２から出力された値を取得する。マルチプレクサ１５２の第１入力端子（Ａ）は、１つ上位の位置のセル６０に含まれるＤフリップフロップ１５４のＱ端子から出力される値を取得する。マルチプレクサ１５２の第２入力端子（Ｂ）は、１つ下位の位置のセル６０に含まれるＤフリップフロップ１５４のＱ端子から出力される値を取得する。
【0119】
Ｄフリップフロップ１５４は、シフトレジスタ５２がシフト動作をする場合に、クロック信号が与えられる。また、マルチプレクサ１５２は、順方向にシフトさせるか逆方向にシフトさせるかを示す方向信号が与えられ、順方向にシフトさせる場合には第２入力端子（Ｂ）が指定され、逆方向にシフトさせる場合には第１入力端子（Ａ）が指定される。
【0120】
このような構成のシフトレジスタ５２は、複数のセル６０のうちの何れか１つに、情報（ビット）を記憶することができる。さらに、このような構成のシフトレジスタ５２は、情報（ビット）を、順方向または逆方向に１セルずつシフトさせることができる。なお、論理回路を含むシフトレジスタ５２は、図１４に示す構成に限らず、他の構成であってもよい。
【0121】
図１５は、メモリスタを含むシフトレジスタ５２の構成を示す図である。シフトレジスタ５２は、メモリスタ１６２と、複数の制御ライン１６４とを含んでもよい。
【0122】
メモリスタ１６２は、例えば、所定の方向に延伸したライン状である。メモリスタ１６２は、抵抗値を情報として記憶することができる。
【0123】
メモリスタ１６２におけるラインに沿った方向の所定の長さ毎に区切られた範囲は、シフトレジスタ５２のセル６０として構成される。そして、ラインに沿った方向に並んで形成された複数のセル６０のそれぞれは、情報として抵抗値を記憶する。
【0124】
メモリスタ１６２は、抵抗値が変化した位置が、複数の制御ライン１６４による外部からの制御によって、ラインに沿った方向に移動可能である。従って、メモリスタ１６２は、抵抗値が変化した位置を移動させることにより、情報が記憶された位置をラインに沿った方向に移動させることができる。
【0125】
このような構成のシフトレジスタ５２は、メモリスタ１６２のラインに沿って形成された複数のセル６０のうちの何れか１つに、情報（抵抗値）を記憶することができる。さらに、このような構成のシフトレジスタ５２は、情報（抵抗値）を、順方向または逆方向に１セルずつシフトさせることができる。
【0126】
【0127】
積和演算回路３０は、Ｍ個の重み（ｗ１～ｗＭ）と、Ｍ個の入力信号（ｘ１～ｘＭ）とを積和演算する。なお、Ｍ個の重み（ｗ１～ｗＭ）のそれぞれは、推論重み記憶回路１６に記憶された複数の重みのうちの一部であり、２値である。また、Ｍ個の入力信号（ｘ１～ｘＭ）のそれぞれは、２値である。
【0128】
積和演算回路３０は、コンパレータ２３６と、第１抵抗２３２と、第２抵抗２３４と、Ｍ個のクロススイッチ２３８と、Ｍ個の係数回路２４０とを備える。
【0129】
第１抵抗２３２は、所定の電源電圧（Ｖｄｄ）を発生する電圧源と第１比較端子２４２との間に接続される。第２抵抗２３４は、所定の電源電圧（Ｖｄｄ）を発生する電圧源と第２比較端子２４４との間に接続される。第１抵抗２３２および第２抵抗２３４は、同一抵抗値である。
【0130】
コンパレータ２３６は、第１比較端子２４２に発生する第１電圧（Ｖ１）と、第２比較端子２４４に発生する第２電圧（Ｖ２）との比較結果に応じた値を表す出力信号（ｙ）を出力する。本実施形態においては、コンパレータ２３６は、第２電圧（Ｖ２）から第１電圧（Ｖ１）を減じた電圧が０より小さい場合、－１を表す出力信号（ｙ）を出力する。コンパレータ２３６は、第２電圧（Ｖ２）から第１電圧（Ｖ１）を減じた電圧が０以上である場合、＋１を表す出力信号（ｙ）を出力する。
【0131】
ここで、第１抵抗２３２に発生する電圧を、正側電圧（ＶＰ）と表す。また、第２抵抗２３４に発生する電圧を、負側電圧（ＶＮ）と表す。この場合、第１電圧（Ｖ１）は、Ｖｄｄ－ＶＰとなる。また、第２電圧（Ｖ２）は、Ｖｄｄ－ＶＮとなる。従って、本実施形態において、コンパレータ２３６は、正側電圧（ＶＰ）から負側電圧（ＶＮ）を減じた電圧が０より小さい場合、－１を表す出力信号（ｙ）を出力する。また、本実施形態において、コンパレータ２３６は、正側電圧（ＶＰ）から負側電圧（ＶＮ）を減じた差電圧（Ｖｄ）が０以上である場合、＋１を表す出力信号（ｙ）を出力する。
【0132】
Ｍ個のクロススイッチ２３８は、Ｍ個の入力信号に対応して設けられる。本実施形態においては、積和演算回路３０は、Ｍ個のクロススイッチ２３８として、第１クロススイッチ２３８－１～第Ｍクロススイッチ２３８－Ｍを備える。例えば、第１クロススイッチ２３８－１は、第１の入力信号（ｘ１）に対応し、第２クロススイッチ２３８－２は、第２の入力信号（ｘ２）に対応し、第Ｍクロススイッチ２３８－Ｍは、第Ｍの入力信号（ｘＭ）に対応する。
【0133】
Ｍ個のクロススイッチ２３８のそれぞれは、ポジティブ入力端子２５２と、ネガティブ入力端子２５４と、ポジティブ出力端子２５６と、ネガティブ出力端子２５８とを有する。
【0134】
Ｍ個のクロススイッチ２３８のそれぞれは、ポジティブ入力端子２５２が第１比較端子２４２に接続される。また、Ｍ個のクロススイッチ２３８のそれぞれは、ネガティブ入力端子２５４が第２比較端子２４４に接続される。
【0135】
Ｍ個のクロススイッチ２３８のそれぞれは、ポジティブ出力端子２５６を、ポジティブ入力端子２５２およびネガティブ入力端子２５４のうち何れか一方に接続する。また、Ｍ個のクロススイッチ２３８のそれぞれは、ネガティブ出力端子２５８を、ポジティブ入力端子２５２およびネガティブ入力端子２５４のうちポジティブ出力端子２５６が接続されていないもう一方に接続する。Ｍ個のクロススイッチ２３８のそれぞれは、対応する入力信号の値に応じて、ポジティブ出力端子２５６およびネガティブ出力端子２５８を、ポジティブ入力端子２５２またはネガティブ入力端子２５４の何れに接続するかを切り換える。
【0136】
すなわち、Ｍ個のクロススイッチ２３８のそれぞれは、対応する入力信号の値に応じて、ストレート状態とリバース状態とを切り替える。ストレート状態は、ポジティブ入力端子２５２とポジティブ出力端子２５６とを接続し、且つ、ネガティブ入力端子２５４とネガティブ出力端子２５８とを接続する状態である。リバース状態は、ポジティブ入力端子２５２とネガティブ出力端子２５８とを接続し、且つ、ネガティブ入力端子２５４とポジティブ出力端子２５６とを接続する状態である。
【0137】
本実施形態において、Ｍ個のクロススイッチ２３８のそれぞれは、対応する入力信号の値が＋１である場合、ストレート状態とし、対応する入力信号の値が－１である場合、リバース状態とする。これに代えて、Ｍ個のクロススイッチ２３８のそれぞれは、対応する入力信号の値が＋１である場合、リバース状態とし、対応する入力信号の値が－１である場合、ストレート状態としてもよい。
【0138】
Ｍ個の係数回路２４０は、Ｍ個の重みに対応して設けられる。本実施形態においては、積和演算回路３０は、Ｍ個の係数回路２４０として、第１係数回路２４０－１～第Ｍ係数回路２４０－Ｍを有する。例えば、第１係数回路２４０－１は、第１の重み（ｗ１）に対応し、第２係数回路２４０－２は、第２の重み（ｗ２）に対応し、第Ｍ係数回路２４０－Ｍは、第Ｍの重み（ｗＭ）に対応する。
【0139】
なお、第１の重み（ｗ１）は、第１の入力信号（ｘ１）に対応し、第２の重み（ｗ２）は、第２の入力信号（ｘ２）に対応し、第Ｍの重み（ｗＭ）は、第Ｍの入力信号（ｘＭ）に対応する。従って、Ｍ個のクロススイッチ２３８とＭ個の係数回路２４０とは、一対一で対応する。例えば、第１係数回路２４０－１は、第１クロススイッチ２３８－１に対応し、第２係数回路２４０－２は、第２クロススイッチ２３８－２に対応し、第Ｍ係数回路２４０－Ｍは、第Ｍクロススイッチ２３８－Ｍに対応する。
【0140】
Ｍ個の係数回路２４０のそれぞれは、第１定電流源６２と、第２定電流源６４とを含む。第１定電流源６２は、一方の端が対応するクロススイッチ２３８のポジティブ出力端子２５６に接続され、他方の端が基準電位（例えばグラウンド）に接続される。すなわち、第１定電流源６２は、対応するクロススイッチ２３８のポジティブ出力端子２５６と基準電位との間に接続される。
【0141】
また、第２定電流源６４は、一方の端が対応するクロススイッチ２３８のネガティブ出力端子２５８に接続され、他方の端が基準電位（例えばグラウンド）に接続される。すなわち、第２定電流源６４は、対応するクロススイッチ２３８のネガティブ出力端子２５８と基準電位との間に接続される。
【0142】
第１定電流源６２および第２定電流源６４のそれぞれは、定電流源である。第１定電流源６２および第２定電流源６４は、対応する重みの値に応じて、電流差の正負が切り替えられる。例えば、積和演算回路３０は、Ｍ個の入力信号の受け取りに先だって、Ｍ個の重みを受け取る。そして、積和演算回路３０は、受け取ったＭ個の重みのそれぞれに応じて、対応する係数回路２４０に含まれる第１定電流源６２および第２定電流源６４のそれぞれの電流差の正負を設定する。
【0143】
Ｍ個の係数回路２４０のそれぞれは、対応する重みに応じて、第１状態と、第２状態とを切り替える。第１状態は、第１定電流源６２が第１電流値（Ｉ１）の電流を流し、且つ、第２定電流源６４が、第１電流値（Ｉ１）とは異なる第２電流値（Ｉ２）の電流を流す状態である。第２状態は、第１定電流源６２が第２電流値（Ｉ２）の電流を流し、且つ、第２定電流源６４が第１電流値（Ｉ１）の電流を流す状態である。
【0144】
なお、本実施形態において、第２電流値（Ｉ２）は、第１電流値（Ｉ１）より小さい。従って、本実施形態において、第１状態は、第１定電流源６２に流れる電流が、第２定電流源６４に流れる電流より大きい状態である。また、第２状態は、第１定電流源６２に流れる電流が、第２定電流源６４に流れる電流より小さい状態である。
【0145】
本実施形態において、複数の係数回路２４０のそれぞれは、対応する重みが＋１である場合、第１状態とし、対応する重みが－１である場合、第２状態とする。これに代えて、複数の係数回路２４０のそれぞれは、対応する重みが＋１である場合、第２状態とし、対応する重みが－１である場合、第１状態としてもよい。
【0146】
図１７は、ｘｉ＝＋１およびｗｉ＝＋１の場合の第ｉのクロススイッチ２３８－ｉおよび第ｉの係数回路２４０－ｉの演算動作を説明するための図である。
【0147】
第ｉの入力信号（ｘｉ）が＋１である場合、第ｉクロススイッチ２３８－ｉは、ストレート状態とされる。第ｉの重み（ｗｉ）が＋１である場合、第ｉの係数回路２４０－ｉは、第１状態とされる。すなわち、第ｉの重み（ｗｉ）が＋１である場合、第１定電流源６２は、第１電流値（Ｉ１）の電流を流すように設定され、第２定電流源６４は、第２電流値（Ｉ２）の電流を流すように設定される。なお、Ｉ１＞Ｉ２である。
【0148】
従って、第ｉの入力信号（ｘｉ）が＋１であり且つ第ｉの重み（ｗｉ）が＋１である場合、第ｉの係数回路２４０－ｉは、第１比較端子２４２から第１電流値（Ｉ１）の電流を吸い出し、第２比較端子２４４から第２電流値（Ｉ２）の電流を吸い出す。
【0149】
ここで、積和演算回路３０において、第ｉの重み（ｗｉ）と第ｉの入力信号（ｘｉ）とを乗じた値（ｗｉ・ｘｉ）は、第１比較端子２４２から第ｉの係数回路２４０－ｉのポジティブ入力端子２５２へ流れる電流（ＩＰ＿ｉ）と、第２比較端子２４４から第ｉの係数回路２４０－ｉへ流れる電流（ＩＮ＿ｉ）との電流差（ＩＰ＿ｉ－ＩＮ＿ｉ）で表される。
【0150】
図１７の例では、ＩＰ＿ｉ＝Ｉ１、ＩＮ＿ｉ＝Ｉ２となり、電流差（ＩＰ＿ｉ－ＩＮ＿ｉ）は、正の値となる。従って、ｘｉ＝＋１、ｗｉ＝＋１の場合、積和演算回路３０は、第ｉの重み（ｗｉ）と第ｉの入力信号（ｘｉ）とを乗じた値（ｗｉ・ｘｉ）として、＋１を算出することができる。
【0151】
図１８は、ｘｉ＝－１およびｗｉ＝＋１の場合のクロススイッチ２３８－ｉおよび係数回路２４０－ｉの演算動作を説明するための図である。
【0152】
第ｉの入力信号（ｘｉ）が－１である場合、第ｉクロススイッチ２３８－ｉは、リバース状態とされる。第ｉの重み（ｗｉ）が＋１である場合、第ｉの係数回路２４０－ｉは、第１状態とされる。すなわち、第ｉの重み（ｗｉ）が＋１である場合、第１定電流源６２は、第１電流値（Ｉ１）の電流を流すように設定され、第２定電流源６４は、第２電流値（Ｉ２）の電流を流すように設定される。
【0153】
従って、第ｉの入力信号（ｘｉ）が－１であり且つ第ｉの重み（ｗｉ）が＋１である場合、第ｉの係数回路２４０－ｉは、第１比較端子２４２から第２電流値（Ｉ２）の電流を吸い出し、第２比較端子２４４から第１電流値（Ｉ１）の電流を吸い出す。
【0154】
図１８の例では、ＩＰ＿ｉ＝Ｉ２、ＩＮ＿ｉ＝Ｉ１となり、電流差（ＩＰ＿ｉ－ＩＮ＿ｉ）は、負の値となる。従って、ｘｉ＝－１、ｗｉ＝＋１の場合、積和演算回路３０は、第ｉの重み（ｗｉ）と第ｉの入力信号（ｘｉ）とを乗じた値（ｗｉ・ｘｉ）として、－１を算出することができる。
【0155】
図１９は、ｘｉ＝＋１およびｗｉ＝－１の場合の第ｉのクロススイッチ２３８－ｉおよび第ｉの係数回路２４０－ｉの演算動作を説明するための図である。
【0156】
第ｉの入力信号（ｘｉ）が＋１である場合、第ｉクロススイッチ２３８－ｉは、ストレート状態とされる。第ｉの重み（ｗｉ）が－１である場合、第ｉの係数回路２４０－ｉは、第２状態とされる。すなわち、第ｉの重み（ｗｉ）が－１である場合、第１定電流源６２は、第２電流値（Ｉ２）の電流を流すように設定され、第２定電流源６４は、第１電流値（Ｉ１）の電流を流すように設定される。
【0157】
従って、第ｉの入力信号（ｘｉ）が＋１であり且つ第ｉの重み（ｗｉ）が－１である場合、第ｉの係数回路２４０－ｉは、第１比較端子２４２から第２電流値（Ｉ２）の電流を吸い出し、第２比較端子２４４から第１電流値（Ｉ１）の電流を吸い出す。
【0158】
図１９の例では、ＩＰ＿ｉ＝Ｉ２、ＩＮ＿ｉ＝Ｉ１となり、電流差（ＩＰ＿ｉ－ＩＮ＿ｉ）は、負の値となる。従って、ｘｉ＝＋１、ｗｉ＝－１の場合、積和演算回路３０は、第ｉの重み（ｗｉ）と第ｉの入力信号（ｘｉ）とを乗じた値（ｗｉ・ｘｉ）として、－１を算出することができる。
【0159】
図２０は、ｘｉ＝－１およびｗｉ＝－１の場合の第ｉのクロススイッチ２３８－ｉおよび第ｉの係数回路２４０－ｉの演算動作を説明するための図である。
【0160】
第ｉの入力信号（ｘｉ）が－１である場合、第ｉクロススイッチ２３８－ｉは、リバース状態とされる。第ｉの重み（ｗｉ）が－１である場合、第ｉの係数回路２４０－ｉは、第２状態とされる。すなわち、第ｉの重み（ｗｉ）が－１である場合、第１定電流源６２は、第２電流値（Ｉ２）の電流を流すように設定され、第２定電流源６４は、第１電流値（Ｉ１）の電流を流すように設定される。
【0161】
従って、第ｉの入力信号（ｘｉ）が－１であり且つ第ｉの重み（ｗｉ）が－１である場合、第ｉの係数回路２４０－ｉは、第１比較端子２４２から第１電流値（Ｉ１）の電流を吸い出し、第２比較端子２４４から第２電流値（Ｉ２）の電流を吸い出す。
【0162】
図２０の例では、ＩＰ＿ｉ＝Ｉ１、ＩＮ＿ｉ＝Ｉ２となり、電流差（ＩＰ＿ｉ－ＩＮ＿ｉ）は、正の値となる。従って、ｘｉ＝－１、ｗｉ＝－１の場合、積和演算回路３０は、第ｉの重み（ｗｉ）と第ｉの入力信号（ｘｉ）とを乗じた値（ｗｉ・ｘｉ）として、＋１を算出することができる。
【0163】
図２１は、コンパレータ２３６の動作、および、第１抵抗２３２および第２抵抗２３４の電圧および電流を説明するための図である。
【0164】
本実施形態において、コンパレータ２３６は、第１抵抗２３２に発生する正側電圧（ＶＰ）から、第２抵抗２３４に発生する負側電圧（ＶＮ）を減じた差電圧（Ｖｄ）が０以上である場合、＋１を表す出力信号（ｙ）を出力する。また、本実施形態において、コンパレータ２３６は、差電圧（Ｖｄ）が０より小さい場合、－１を表す出力信号（ｙ）を出力する。
【0165】
第１抵抗２３２および第２抵抗２３４の抵抗値をＲとする。この場合、正側電圧（ＶＰ）は、Ｒと、正側電流（ＩＰ）とを乗じた電圧となる。また、負側電圧（ＶＮ）は、Ｒと、負側電流（ＩＮ）とを乗じた電圧となる。
【0166】
従って、差電圧（Ｖｄ）は、式（２１）のように表すことができる。
【0167】
Ｖｄ＝ＶＰ－ＶＮ＝Ｒ×（ＩＰ－ＩＮ）…（２１）
【0168】
正側電流（ＩＰ）は、第１比較端子２４２に流れる電流である。すなわち、正側電流（ＩＰ）は、Ｍ個のクロススイッチ２３８のポジティブ入力端子２５２に流れる電流の合計値である。従って、正側電流（ＩＰ）は、（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿Ｍ）となる。
【0169】
負側電流（ＩＮ）は、第２比較端子２４４に流れる電流である。すなわち、負側電流（ＩＮ）は、Ｍ個のクロススイッチ２３８のネガティブ入力端子２５４に流れる電流の合計値である。従って、負側電流（ＩＮ）は、（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿Ｍ）となる。
【0170】
従って、差電圧（Ｖｄ）は、式（２２）のように表される。
【0171】
Ｖｄ＝Ｒ×｛（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿Ｍ）－（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿Ｍ）｝
＝Ｒ×｛（ＩＰ＿１－ＩＮ＿１）＋…＋（ＩＰ＿ｉ－ＩＮ＿ｉ）＋…＋（ＩＰ＿Ｍ－ＩＮ＿Ｍ）｝…（２２）
＝Ｒ×｛（ＩＰ＿１－ＩＮ＿１）＋…＋（ＩＰ＿ｉ－ＩＮ＿ｉ）＋…＋（ＩＰ＿Ｍ－ＩＮ＿Ｍ）｝…（２２）
【0172】
【0173】
従って、差電圧（Ｖｄ）は、式（２３）のように表すことができる。
【0174】
Ｖｄ∝｛（ｗ１・ｘ１）＋…＋（ｗｉ・ｘｉ）＋…＋（ｗＭ・ｘＭ）｝…（２３）
【0175】
式（２３）の右辺は、Ｍ個の入力信号とＭ個の重みとの積和演算（乗累算）値を表す。
【0176】
以上のように、差電圧（Ｖｄ）は、Ｍ個の入力信号とＭ個の重みとの積和演算（乗累算）値に比例する。出力信号（ｙ）は、差電圧（Ｖｄ）が、０より小さいか、または、０以上であるか否かを表す２値信号である。従って、出力信号（ｙ）は、Ｍ個の入力信号とＭ個の重みとの積和演算（乗累算）値が、０より小さいか、または、０以上であるか否かを表す。このように、本実施形態に係る積和演算回路３０は、Ｍ個の入力信号とＭ個の重みとの積和演算（乗累算）をアナログ処理により実行することができる。
【0177】
以上のように本実施形態に係る学習重み記憶回路２０は、シフトレジスタ５２を用いることにより、連続値である重みを精度良く記憶することができる。さらに、学習重み記憶回路２０は、シフトレジスタ５２をシフトさせることにより重みを更新するので、重みを微小量ずつ精度良く増減させることができる。従って、本実施形態に係る学習重み記憶回路２０は、ニューラルネットワークの学習時において、複数の重みのそれぞれを精度良く高速に学習させることができる。
【0178】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0179】
１０ ニューラルネットワーク装置
１４ 演算回路
１６ 推論重み記憶回路
２０ 学習重み記憶回路
２２ 学習制御回路
４０ 重み記憶回路
４２ 初期化回路
４４ 更新制御回路
４６ 読出制御回路
５０ 記憶回路
５２ シフトレジスタ
６０ セル
７２ 書込回路
７４ 消去制御回路
７６ 書込選択回路
７８ 値選択回路
８０ 更新選択回路
８２ シフト制御回路
８４ 方向制御回路
８６ セル数制御回路
８８ 更新設定回路
９０ 読出回路
９２ グラウンドスイッチ
９４ 正側抵抗
９６ 正側スイッチ
９８ 負側抵抗
１００ 負側スイッチ
１０２ 正側出力端子
１０４ 負側出力端子
１１４ 比較回路
１１２ 読出対象選択回路
１４ 演算回路
１６ 推論重み記憶回路
２０ 学習重み記憶回路
２２ 学習制御回路
４０ 重み記憶回路
４２ 初期化回路
４４ 更新制御回路
４６ 読出制御回路
５０ 記憶回路
５２ シフトレジスタ
６０ セル
７２ 書込回路
７４ 消去制御回路
７６ 書込選択回路
７８ 値選択回路
８０ 更新選択回路
８２ シフト制御回路
８４ 方向制御回路
８６ セル数制御回路
８８ 更新設定回路
９０ 読出回路
９２ グラウンドスイッチ
９４ 正側抵抗
９６ 正側スイッチ
９８ 負側抵抗
１００ 負側スイッチ
１０２ 正側出力端子
１０４ 負側出力端子
１１４ 比較回路
１１２ 読出対象選択回路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】