知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-09
(54)【発明の名称】分散型マルチコンポーネントシナプス計算構造
(51)【国際特許分類】
G06N 3/049 20230101AFI20231101BHJP
【ＦＩ】
G06N3/049
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023523618
(86)(22)【出願日】2021-11-01
(85)【翻訳文提出日】2023-04-18
(86)【国際出願番号】 EP2021080271
(87)【国際公開番号】W WO2022090542
(87)【国際公開日】2022-05-05
(31)【優先権主張番号】63/107,498
(32)【優先日】2020-10-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521211620
【氏名又は名称】インナテラ・ナノシステムズ・ビー．ブイ．
【氏名又は名称原語表記】ＩＮＮＡＴＥＲＡ ＮＡＮＯＳＹＳＴＥＭＳ Ｂ．Ｖ．
【住所又は居所原語表記】Ｐａｔｒｉｊｓｗｅｇ ２０，２２８９ ＥＸ，ＲＩＪＳＷＩＪＫ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ヘットマ、バルト
(72)【発明者】
【氏名】ジャヨ、アミール
(57)【要約】
本発明は、複数のシナプス前積分器（２０９）と、複数の重み適用素子（２１０）と、複数の出力ニューロン（２２０）とを備えるスパイキングニューラルネットワーク（１００）を開示する。複数のシナプス前積分器（２１３）の各々は、シナプス前積分器において電荷の蓄積を引き起こすシナプス前パルス信号（２０４）を受信し、シナプス入力信号が所定の時間ダイナミクスを有するように、蓄積された電荷に基づいてシナプス入力信号（２１４）を生成するように適合される。複数の重み適用素子（２１０）のうちの第１のグループの重み適用素子（２１１）は、複数のシナプス前積分器（２１３）のうちの最初の１つからシナプス入力信号（２１４）を受信するように接続される。第１のグループの重み適用素子の各重み適用素子（２１１）は、シナプス出力電流（２１５）を生成するためにシナプス入力信号（２１４）に重み値を適用するように適合され、シナプス出力電流の強度は、適用された重み値の関数である。複数の出力ニューロン（２２２）の各々は、複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流（２１４）を受け取り、受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号（２２３）を生成するように接続される。
【特許請求の範囲】
【請求項1】
複数のシナプス前積分器（２０９）と、複数の重み適用素子（２１０）と、複数の出力ニューロン（２２０）とを備えるスパイキングニューラルネットワーク（１００）であって、
前記複数のシナプス前積分器（２１３）の各々が、前記シナプス前積分器において電荷の蓄積を引き起こすシナプス前パルス信号（２０４）を受信し、シナプス入力信号が所定の時間ダイナミクスを有するように、前記蓄積された電荷に基づいて前記シナプス入力信号（２１４）を生成するように適合され、
前記複数の重み適用素子（２１０）のうちの第１のグループの重み適用素子（２１１）が、前記複数のシナプス前積分器（２１３）のうちの最初の１つから前記シナプス入力信号（２１４）を受信するように接続され、
前記第１のグループの重み適用素子の各重み適用素子（２１１）が、シナプス出力電流（２１５）を生成するために、前記シナプス入力信号（２１４）に重み値を適用するように適合され、前記シナプス出力電流の強度が前記適用された重み値の関数であり、
前記複数の出力ニューロン（２２２）の各々が、前記複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流（２１４）を受け取り、前記受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号（２２３）を生成するように接続される、スパイキングニューラルネットワーク（１００）。
【請求項2】
前記重み適用素子の各々が、前記シナプス前積分器から前記シナプス入力信号を受信し、前記シナプス入力信号に基づいてシナプス入力電流を生成するように構成されたシナプス入力受信機と、
前記重み値を記憶するように構成された重み記憶素子と、
前記シナプス出力電流を生成するために、前記重み記憶素子に記憶された前記重み値を前記シナプス入力電流に適用するように構成された修正素子と
を含む、重み適用回路を備え、
前記重み値が、好ましくはデジタル形式で記憶され、電流型デジタル－アナログ変換器を介してアナログ領域に変換され、
前記電流型デジタル－アナログ変換器が、好ましくはＲ－２Ｒアーキテクチャに基づき、
電流型デジタル－アナログ変換器が、好ましくは所定の係数を適用して前記シナプス入力電流を減衰させ、前記減衰されたシナプス入力電流に基づいて前記シナプス出力電流を生成する、請求項１に記載のスパイキングニューラルネットワーク。
【請求項3】
前記重み記憶素子に記憶された前記重み値が調整可能であり、好ましくは、前記重み記憶素子に記憶された前記重み値が学習規則に基づいて調整される、請求項２に記載のスパイキングニューラルネットワーク。
【請求項4】
前記ネットワークが、前記シナプス前パルス信号が前記スパイキングニューラルネットワークの構成に基づいて前記シナプス前積分器に割り当てられるように、シナプス前入力スパイクに基づいて前記シナプス前パルス信号を供給するように構成された行スパイクデコーダを更に備える、請求項１～３のいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項5】
前記スパイキングニューラルネットワークが、前記シナプス前パルス信号を生成する入力ニューロンを含み、前記シナプス前積分器が、異なる入力ニューロンから生じる時間スパイクを多重化する、請求項１～４のいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項6】
前記シナプス前積分器が生成する前記シナプス入力信号の前記所定の時間ダイナミクスが、ＡＭＰＡ、ＮＭＤＡ、ＧＡＢＡＡ、又はＧＡＢＡＢの時間ダイナミクスである、請求項１～５のいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項7】
前記シナプス前積分器が、調整可能な時定数から独立した調整可能な利得を生成し、前記時定数が、前記シナプス前積分器内の前記蓄積された電荷を分離するリーク電流を決定し、前記シナプス前積分器の前記シナプス入力信号の前記時間ダイナミクスを特徴付ける、請求項１～６のいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項8】
前記シナプス前積分器が制御信号によって構成可能であり、好ましくは、前記制御信号が前記シナプス入力信号の時間形状を制御する、請求項１～７のいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項9】
前記出力ニューロンが、前記ニューロンダイナミクスを制御するためなど、ニューロン制御信号によって制御される、請求項１～８のいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項10】
前記スパイキングニューラルネットワークが、複数の第１のグループの重み適用素子を備え、各第１のグループの重み適用素子内の前記重み適用素子の各々１つが、それぞれのシナプス前積分器から同じシナプス入力信号を受信するように接続され、
各第１のグループの重み適用素子が、前記複数のシナプス前積分器のうちの異なる１つからシナプス入力信号を受信するように接続される、請求項１～９のいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項11】
前記スパイキングニューラルネットワークが複数の入力ニューロンを含み、前記入力ニューロンのそれぞれ１つが、それぞれ第１のグループの重み適用素子にシナプス入力信号を提供するために、シナプス前パルス信号を前記シナプス前積分器のそれぞれ１つに提供するように接続される、請求項１０に記載のスパイキングニューラルネットワーク。
【請求項12】
前記スパイキングニューラルネットワークが、複数の第２のグループの重み適用素子を備え、各第２のグループの重み適用素子が、シナプス出力信号を前記複数の出力ニューロンのうちの異なる１つに提供するように接続される、請求項１～１１のいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項13】
前記スパイキングニューラルネットワークが、完全な同期、クラスタ若しくは非同期状態、入力パターンにおける不均一性、ニューロシナプス素子時空間ダイナミクス、非線形スパイキング挙動及び／又は周波数適応性を含む、使用中の様々なパターン活動を示す、請求項１～１２のいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項14】
複数の重み適用素子への入力のためのシナプス入力電流を生成するように構成されたシナプス前積分回路であって、シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信するように構成された入力素子であって、好ましくは、前記シナプス前パルス信号が時空間スパイク列である、入力素子と、
前記シナプス前パルス信号に応答して電荷を蓄積するように構成されたキャパシタと、
前記キャパシタによって蓄積された前記電荷の少なくとも一部を放電するように構成されたリーク素子と、
前記複数の重み適用素子に供給するために、前記キャパシタによって蓄積された前記電荷に基づいて前記シナプス入力信号を生成するように構成された出力素子と
を備える、シナプス前積分回路。
【請求項15】
前記シナプス入力信号の前記時間ダイナミクスを制御するように適合された制御素子を更に備え、前記制御素子が、制御信号、好ましくは制御電圧を受信し、
前記制御信号に基づいて前記キャパシタによる電荷の蓄積を調節し、
前記キャパシタ上の最大電荷を制御することによって、前記シナプス入力信号の最大振幅を調節する
ように構成される、請求項１４に記載のシナプス前積分回路。
【請求項16】
後続の重み適用のためのシナプス入力信号を生成するように構成されたシナプス前積分回路であって、シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信するように構成された入力素子であって、前記シナプス前パルス信号が時空間スパイク列である、入力素子と、
前記時空間スパイク列内のスパイクに基づいて電荷を蓄積するように構成されたキャパシタと、
前記キャパシタによって蓄積された前記電荷の少なくとも一部を放電するように構成されたリーク素子と、
前記キャパシタによって蓄積された前記電荷に基づいて前記シナプス入力信号を生成するように構成された出力素子と、
前記シナプス入力信号の前記生成が前記時空間スパイク列によって制御されるように、前記シナプス前パルス信号に基づいて前記出力素子によって実施される前記シナプス入力信号の前記生成を制御するように構成された出力制御素子であって、好ましくは前記シナプス入力信号が前記時空間スパイク列のスパイク中に生成されない、出力制御素子と、
制御信号、好ましくは制御電圧を受信し、
前記キャパシタによって蓄積される電荷の量が前記時空間スパイク列におけるスパイクの持続時間及び前記キャパシタの容量値、好ましくは前記キャパシタの製造ばらつきに依存しないように、前記キャパシタによる電荷の蓄積を調節し、
前記キャパシタ上の最大電荷を制御することによって、前記シナプス入力信号の時間形状及び最大振幅を調節する
ように構成された制御素子と
を備える、シナプス前積分回路。
【請求項17】
前記出力制御素子が、電界効果トランジスタ及びインバータを備え、前記インバータが、前記シナプス前入力信号に基づいて前記出力制御素子の前記電界効果トランジスタのゲート－ソース電圧を印加するように構成され、好ましくは、前記ゲート－ソース電圧が、前記シナプス前入力信号がスパイキングしていないときに印加され、前記シナプス入力信号が、前記出力制御素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流によって生成される、請求項１６に記載のシナプス前積分回路。
【請求項18】
前記リーク素子が、時定数によって制御され、好ましくは、前記時定数が、ＡＭＰＡ、ＮＭＤＡ、ＧＡＢＡＡ又はＧＡＢＡＢの時間ダイナミクスを特徴付ける、請求項１４～１７のいずれか一項に記載のシナプス前積分回路。
【請求項19】
前記リーク素子が電界効果トランジスタを備え、前記時定数が前記リーク素子の前記電界効果トランジスタの前記ゲート－ソース電圧であり、前記キャパシタが前記リーク素子の前記電界効果トランジスタの前記ドレイン－ソース電流によって放電される、請求項１８に記載のシナプス前積分回路。
【請求項20】
前記入力素子が、電界効果トランジスタを備え、前記シナプス前パルス信号が、前記入力素子の前記電界効果トランジスタの前記ゲート－ソース電圧であり、前記入力素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流が、前記キャパシタを充電する、請求項１４～１９のいずれか一項に記載のシナプス前積分回路。
【請求項21】
前記出力素子が、電界効果トランジスタを備え、前記キャパシタによって蓄積された前記電荷が、前記出力素子の前記電界効果トランジスタの前記ゲート－ソース電圧を生成し、前記出力素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流が、前記シナプス入力信号を生成する、請求項１４～２０のいずれか一項に記載のシナプス前積分回路。
【請求項22】
前記制御素子が電界効果トランジスタを備え、前記制御信号が前記制御素子の前記電界効果トランジスタの前記ゲート－ソース電圧であり、前記キャパシタが前記制御素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流によって充電される、請求項１４～２０のいずれか一項に記載のシナプス前積分回路。
【請求項23】
前記出力素子が、電圧領域において前記シナプス入力信号を生成するように構成された出力カレントミラー、又は、前記電圧領域において前記シナプス入力信号を生成するように構成された出力カスコードカレントミラーであって、結果として生じる前記シナプス入力信号が２つの電圧信号を含む、出力カスコードカレントミラー
を更に備える、請求項１４～２２のいずれか一項に記載のシナプス前積分回路。
【請求項24】
前記シナプス入力信号が、前記キャパシタが放電されているときに指数関数的に減少する、請求項１４～２３のいずれか一項に記載のシナプス前積分回路。
【請求項25】
シナプス出力電流を複製又は反転するように構成された極性選択回路であって、前記シナプス出力電流を受け取るように構成された極性入力素子と、
極性入力信号に基づいてソーシング又はシンキングカレントミラーを選択するように構成された極性選択端子であって、
前記ソーシングカレントミラーが、前記シナプス出力電流を複製するように構成され、
前記シンキングカレントミラーが、前記シナプス出力電流を反転させるように構成された、極性選択端子と、
前記複製又は反転されたシナプス出力電流に基づいて極性出力電流を生成する極性出力素子と
を備える、極性選択回路。
【請求項26】
前記重み適用素子の各々が、極性選択素子を更に備え、前記極性選択素子が、請求項２６に記載の前記極性選択回路を備え、それにより、請求項１～１３のいずれか一項からの前記シナプス出力信号が前記極性選択回路によって使用されて前記極性出力電流が生成され、好ましくは、前記入力ニューロンが前記極性出力電流を受け取り、前記複製されたシナプス出力電流が興奮性シナプス出力信号に対応し、前記反転されたシナプス出力電流が抑制性シナプス出力信号に対応する、請求項１～１３のいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項27】
前記シナプス前積分器が、請求項１４～２４のいずれか一項に記載のシナプス前積分回路を備える、請求項２６に記載のスパイキングニューラルネットワーク。
【請求項28】
スパイキングニューラルネットワークのためのシナプス前積分及び重み適用の方法であって、前記スパイキングニューラルネットワークが、複数のシナプス前積分器（２０９）と、複数の重み適用素子（２１０）と、複数の出力ニューロン（２２０）とを備え、前記方法が、前記複数のシナプス前積分器（２１３）の各々によって、前記シナプス前積分器で電荷の蓄積を引き起こすシナプス前パルス信号（２０４）を受信することと、
前記複数のシナプス前積分器（２１３）の各々によって、シナプス入力信号が所定の時間ダイナミクスを有するように、前記蓄積された電荷に基づいて前記シナプス入力信号（２１４）を生成することと、
前記複数の重み適用素子（２１０）のうちの第１のグループの重み適用素子（２１１）によって、前記複数のシナプス前積分器（２１３）のうちの最初の１つから前記シナプス入力信号（２１４）を受信することと、
シナプス出力電流（２１５）を生成するために、前記第１のグループの重み適用素子の各重み適用素子（２１１）によって前記シナプス入力信号（２１４）に重み値を適用することであって、前記シナプス出力電流の強度が前記適用された重み値の関数である、適用することと、
前記複数の出力ニューロン（２２２）の各々によって、前記複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流（２１４）を受け取り、前記受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号（２２３）を生成することと
を含む、シナプス前積分及び重み適用の方法。
【請求項29】
前記重み適用素子の各々が、前記シナプス前積分器から前記シナプス入力信号を受信し、前記シナプス入力信号に基づいてシナプス入力電流を生成することと
前記重み値を記憶することと、
前記記憶された重み値を前記シナプス入力電流に適用して、前記シナプス出力電流を生成することと
のために適合された重み適用回路を備える、請求項２８に記載のシナプス前積分及び重み適用の方法。
【請求項30】
前記シナプス前積分器が、調整可能な時定数から独立した調整可能な利得を生成し、前記時定数が、前記シナプス前積分器内の前記蓄積された電荷を分離するリーク電流を決定し、前記シナプス前積分器の前記シナプス入力信号の前記時間ダイナミクスを特徴付ける、請求項２８又は２９に記載のシナプス前積分及び重み適用の方法。
【請求項31】
前記スパイキングニューラルネットワークが、複数の第１のグループの重み適用素子を備え、各第１のグループの重み適用素子内の前記重み適用素子の各々１つが、それぞれのシナプス前積分器から同じシナプス入力信号を受信するように接続され、
各第１のグループの重み適用素子が、前記複数のシナプス前積分器のうちの異なる１つからシナプス入力信号を受信するように接続される、請求項２８～３０のいずれか一項に記載のシナプス前積分及び重み適用の方法。
【請求項32】
前記スパイキングニューラルネットワークが複数の入力ニューロンを含み、前記入力ニューロンのそれぞれ１つが、それぞれ第１のグループの重み適用素子にシナプス入力信号を提供するために、シナプス前パルス信号を前記シナプス前積分器のそれぞれ１つに提供するように接続される、請求項３１に記載のシナプス前積分及び重み適用の方法。
【請求項33】
スパイキングニューラルネットワークのためのシナプス前積分の方法であって、複数の重み適用素子への入力のためのシナプス入力電流を生成するように構成されたシナプス前積分回路を提供することと、
シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信することであって、好ましくは、前記シナプス前パルス信号が時空間スパイク列である、受信することと、
前記シナプス前パルス信号に応答して電荷を蓄積することと、
蓄積された前記電荷の少なくとも一部をリーク素子を通じて放電することと、
前記複数の重み適用素子に供給するために、蓄積された前記電荷に基づいてシナプス入力信号を生成することと
を含む、方法。
【請求項34】
スパイキングニューラルネットワークのためのシナプス前積分の方法であって、後続の重み適用のためのシナプス入力信号を生成するように構成されたシナプス前積分回路を提供することと、
シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信することであって、前記シナプス前パルス信号が時空間スパイク列である、受信することと、
前記時空間スパイク列内のスパイクに基づいて電荷をキャパシタによって蓄積することと、
前記キャパシタによって蓄積された前記電荷の少なくとも一部をリーク素子を通じて放電することと、
前記キャパシタによって蓄積された前記電荷に基づいて前記シナプス入力信号を生成することと、
前記シナプス入力信号の前記生成が前記時空間スパイク列によって制御されるように、前記シナプス前パルス信号に基づいて前記出力素子によって実施される前記シナプス入力信号の前記生成を制御することであって、好ましくは前記シナプス入力信号が前記時空間スパイク列のスパイク中に生成されない、制御することと、
制御信号、好ましくは制御電圧を受信し、
前記キャパシタによって蓄積される電荷の量が前記時空間スパイク列におけるスパイクの持続時間及び前記キャパシタの容量値、好ましくは前記キャパシタの製造ばらつきに依存しないように、電荷の前記蓄積を調節し、
前記キャパシタ上の最大電荷を制御することによって、前記シナプス入力信号の時間形状及び最大振幅を調節する、
ように構成された制御素子を提供することと
を含む、方法。
【請求項35】
シナプス出力電流を複製又は反転するように構成された極性選択回路を提供することと、前記シナプス出力電流を受信することと、
極性入力信号に基づいてソーシング又はシンキングカレントミラーを選択することと、
前記シナプス出力電流を複製すること及び／又は前記シナプス出力電流を反転させることと、
前記複製又は反転されたシナプス出力電流に基づいて極性出力電流を生成することと
を含む、極性選択のための方法。
【請求項36】
請求項１～１３、２６～２７のいずれか一項に記載のスパイキングニューラルネットワークを使用して入力信号を分類する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動信号認識技術に関し、より詳細には、ネットワークにおいて面積最適化され、エネルギー効率の良い処理機構を可能にする分散型マルチコンポーネントシナプス計算構造のためのシステム及び方法に関する。特に、計算構造は、スパイキングニューラルネットワークである。
【背景技術】
【0002】
脳に触発されたニューロモーフィックスパイキングニューラルネットワーク（spiking neural network、ＳＮＮ）エミュレータは、適応、自己組織化、及び学習などの能力を提供する、分散型で、並列な、イベント駆動型のシステムを形成する。これらのエミュレータは、いくつかの概念、例えば、活動依存的な短期及び長期可塑性を実装し、これらは実験的に実証される。Ｃ．Ｍｅａｄ，「Ｎｅｕｒｏｍｏｒｐｈｉｃ ｅｌｅｃｔｒｏｎｉｃ ｓｙｓｔｅｍｓ」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ，ｖｏｌ．７８，ｎｏ．１０，ｐｐ．１６２９－１６３６，１９９０年１０月を参照されたい。
【0003】
入力情報は、ニューロンの集団にわたって生じる活動のパターンによって符号化され、シナプス（それぞれ、１つのニューロンから後続のニューロンへの接続を形成する）は、それらが受信するパルス（例えば、時空間スパイク列の形態で）に応じてそれらの機能を適応させることができ、信号伝送エネルギー効率、並びに情報を記憶及び再現するための柔軟性を提供する。Ｒ．Ｄｏｕｇｌａｓ，Ｍ．Ｍａｈｏｗａｌｄ，Ｃ．Ｍｅａｄ，「Ｎｅｕｒｏｍｏｒｐｈｉｃ ａｎａｌｏｇｕｅ ＶＬＳＩ」，Ａｎｎｕａｌ Ｒｅｖｉｅｗｓ Ｎｅｕｒｏｓｃｉｅｎｃｅ，ｖｏｌ．１８，ｐｐ．２５５－２８１，１９９５年を参照されたい。
【0004】
シナプスは二重機能を実行する、すなわち、シナプスは、分散された計算を実行する複雑な非線形演算子としての機能に加えて、メモリ記憶能力を実装する。処理要素とメモリとが分離していることにより、従来の、フォンノイマンベースのコンピューティングシステムは、大量の高次元データを伴う計算タスク、例えば、画像処理、物体認識、確率推論、又は音声認識のために最適化されておらず、これらの計算タスクは、メモリ及び処理要素が共配置されるＳＮＮなどの、強力でありながら概念的に単純で高度に並列な方法を用いて効率的に完了することができる。ニューロモーフィックシステムは、入力データによって直接駆動される、すなわち、入来データのレートで、それぞれ、シナプスはスパイクを受信し、ニューロンはスパイクを生成する。その結果、回路がデータを処理しているときのみ、動的な電力消費が生じる。時空間信号活動が疎な用途では、ほとんどのニューロンは、各特定の瞬間に非アクティブであり、最小電力消費につながる。
【0005】
ニューロモーフィック計算要素、すなわちニューロン及びシナプスは、典型的には様々な複雑さの動的システムとして表される広範囲のスパイキング挙動を示し、生物物理学的精度と計算能力との間の様々なトレードオフを表す。生物学的に妥当な、生物学的に触発された、及び積分発火ニューロンモデルのいくつかの特有のハードウェア実装形態は、膜ダイナミクス（膜を横切る電荷リークをモデル化する）；イオンチャネルダイナミクス（イオン流を制御する）；軸索モデル（関連する遅延成分を伴う）；及び樹状突起モデル（シナプス前及びシナプス後ニューロンの影響をモデル化する）を組み込む。Ｃ．Ｄ．Ｓｃｈｕｍａｎ，ｅｔ ａｌ．，「Ａ ｓｕｒｖｅｙ ｏｆ ｎｅｕｒｏｍｏｒｐｈｉｃ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｉｎ ｈａｒｄｗａｒｅ」，ａｒＸｉｖ．１７０５．０６９６３，ｐ．８８，２０１７年を参照されたい。
【0006】
新しい材料の進歩及び採用のために転用されるシナプスモデルのハードウェア実装は、シナプス実装を最適化することに主に焦点を当てている。より複雑なシナプスモデルは、可塑性メカニズムを含む（例えば、短期及び長期の増強及び抑制の両方、Ｓ．－Ｃ．Ｌｉｕ，「Ａｎａｌｏｇ ＶＬＳＩ ｃｉｒｃｕｉｔｓ ｆｏｒ ｓｈｏｒｔ－ｔｅｒｍ ｄｙｎａｍｉｃ ｓｙｎａｐｓｅｓ」，ＥＵＲＡＳＩＰ Ｊｏｕｒｎａｌ ｏｎ Ａｐｐｌｉｅｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．７，ｐｐ．６２０－６２８，２００３年を参照されたい）、又はより生物学的に触発されたニューロモーフィックネットワークでは、シナプスの化学的相互作用を含む（Ｆ．Ｌ．Ｍａｌｄｏｎａｄｏ Ｈｕａｙａｎｅｙ，ｅｔ ａｌ．，「Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｍｕｌｔｉ－ｆａｃｔｏｒ ｓｙｎａｐｔｉｃ ｐｌａｓｔｉｃｉｔｙ ｗｉｔｈ ｃａｌｃｉｕｍ－ｂａｓｅｄ ｄｙｎａｍｉｃｓ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ－Ｉ，ｖｏｌ．６３，ｎｏ．１２，ｐｐ．２１８９－２１９９，２０１６年を参照されたい）。シナプスは、ネットワーク活動の安定化のための恒常性機構としても利用される（Ｓ．－Ｃ．Ｌｉｕ，Ｂ．Ａ．Ｍｉｎｃｈ，「Ｓｉｌｉｃｏｎ ｓｙｎａｐｔｉｃ ａｄａｐｔａｔｉｏｎ ｍｅｃｈａｎｉｓｍｓ ｆｏｒ ｈｏｍｅｏｓｔａｓｉｓ ａｎｄ ｃｏｎｔｒａｓｔ ｇａｉｎ ｃｏｎｔｒｏｌ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ｖｏｌ．１３，ｎｏ．６，ｐｐ．１４９７－１５０３，２００２年を参照されたい）。
【0007】
現代の深層学習アーキテクチャは、典型的には、複数の層から成り、各層は、シナプス行列によって実装されるベクトル行列乗算から成り、その結果が、ニューロンにおける特定の非線形活性化関数（例えば、シグモイド関数、ＲｅＬＵ（rectified linear unit）活性化関数、又は膜電位ダイナミクスに基づく活性化関数）のための入力として使用される。ニューロンにおける活性化関数は、ニューロン活性化関数とも呼ばれる。ニューロシナプティック・アレイは、ハイブリッド・アナログ－デジタル信号表現を採用する、すなわち、パルス／スパイクの列は、イベントのタイミングにおいてアナログ情報を送信し、これらは、シナプス行列の入力においてアナログ信号に変換し戻される。アナログクロスバーアレイは、本質的に、ドット積演算（密ベクトル行列乗算において不可欠な演算を形成する）を実現する。アナログ領域では、電圧信号のベクトルをシナプスクロスバーの行に適用することによって、キルヒホッフの電流則（ＫＣＬ）規則に従って各シナプス（重みｗ）との乗算が行われ、電流は各列全体で加算される。つまり、電流領域における信号加算は、単にすべての出力を一緒に配線するだけであるため、シナプスの出力は、通常、電流領域にある。このシナプス（後）電流は乗算結果を表し、信号加算並びに非線形機能性は、ニューロン活性化関数によって表されるニューロンダイナミクスによって提供される。
【0008】
【0009】
図１Ａは、すべてのシナプスが２つの対称出力電流を有し、それらが最初に別々に加算される、既知の第１の手法を開示する。したがって、そこで２つの和の差が、重み付けされた入力である。図１Ａは、シナプス入力信号１０３、ｍシナプス素子１０１、カレントミラー１０６、シナプス出力電流１０７、重み付けされたシナプス出力１０４、出力ニューロン１０２、及びニューロン出力信号１０５を含む、従来技術のスパイキングニューラルネットワーク１００の一部の例を実際に示す。シナプス素子１０１はシナプス入力信号１００を受信するように構成され、このシナプス入力信号は時空間スパイク列である。シナプス素子１０１は、シナプス入力信号１０３中の入力スパイクを電流に変換し、次いで、各々が重みｗ１１，ｗ２１，．．．，ｗｍ１を適用して（ここでは、第１のインデックスはシナプス行列の行を示し、第２のインデックスはシナプス行列の列を示す）、２つのシナプス対称出力電流１０７を生成する。これらの電流の差は、最終的な重み付けされたシナプス出力１０４を生成するためにカレントミラー１０６によって計算される。出力ニューロン１０２は、次いで、重み付けされたシナプス出力１０４に基づいてニューロン出力信号１０５を生成する。シナプス素子１０１の各々は、電流を生成するためのシナプス入力信号１００の積分と、シナプス出力電流１０７を生成するためのこの電流への重みの後続の適用との両方を実行するように構成されることに留意されたい。
【0010】
図１Ｂは、すべてのシナプスが１つのバイポーラ（正／負、興奮性／抑制性）出力電流を有し、したがって重み付けされた入力がこれらのバイポーラ出力電流の和である、既知の第２の手法を開示する。図１Ｂは、シナプス入力信号１１３、シナプス素子１１１、シナプス出力電流１１４、出力ニューロン１１２、及びニューロン出力信号１１５を含む、従来技術のスパイキングニューラルネットワーク１１０の一部分の別の例を実際に示す。前の例と同様に、シナプス素子１１１は、シナプス入力信号の積分と、重みｗ１１，ｗ２１，．．．，ｗｍ１を用いた後続の重み適用の両方の機能を実行する。しかしながら、この方法では、シナプス素子１１１は、正しい重み付けされた出力を生成するために信号の減算が必要とならないように、興奮性又は抑制性信号に対応する正又は負の出力電流１０４を生成するように構成される。
【0011】
各シナプスは通常カレントミラーを含むので、各シナプスはより大きなチップ面積を必要とする。しかしながら、この例における配線は、すべてのビルディングブロックが同一であるので簡略化される、すなわち、より高い又はより低い次元の入力ベクトルを用いてニューロンを実装する場合、つまりシナプス素子の数ｍが変更される場合、カレントミラーを再設計する必要がない。
【0012】
図１Ｃは、ｍ×ｎプログラマブルシナプスをｎニューロンに接続するニューラルネットワーク行列から成る既知のニューロシナプティック・アレイを開示する。ニューロシナプティック計算要素は、ターゲット信号処理機能の特定の特徴に向けて拡張可能な、複雑な時空間ダイナミクスを生成することができる。ニューロンのスパイキング特性は、特定のパラメータセットを通して制御される。実際、図１Ｃは、プログラム可能なシナプス素子１２１の複数のグループを、ニューロンＮ１，Ｎ２，．．．，Ｎｎを含むｎ出力ニューロン１２２のアレイ１４０に接続する、ニューラルネットワーク行列１３０を備えるスパイキングニューラルネットワークの一部を形成する従来技術のニューロシナプティック・アレイ１２０を示す、ここで、シナプス素子１２１はシナプス入力信号１２３を受信してシナプス出力電流１２４を生成し、出力ニューロン１２２はニューロン出力信号１２５を生成するように構成される。ニューロン１２２の各々はシナプス素子１２１の異なる列に接続され、シナプス素子２１３の各行によって受信されるシナプス入力信号１２３は同じであるが、異なる重み値ｗｉ１，ｗｉ２，．．．，ｗｉｎが、行インデックスｉの同じ行内の異なるシナプス素子２１１によって適用され得る。最終的に、ニューロンは、１つ以上のニューロン制御信号１２７によって構成可能である。これらのニューロン制御信号１２７は、ニューロン活性化関数によって、例えば、ニューロン活性化関数のパラメータを変更することによって、表されるニューロンダイナミクスを制御することができる。この場合も、シナプス素子１２１の各々は、シナプス入力信号の積分と後続の重み適用機能の両方を実行するように構成される。
【0013】
完全に接続されたネットワークでは、シナプス積分容量は、アレイの総面積に対する最大の寄与因子である。キャパシタは多くの空間を占め、比較的大量のエネルギーを消費する。スパイキングニューラルネットワークの従来技術のハードウェア実装形態では、シナプス素子におけるシナプス積分のためにキャパシタが必要とされる。その結果、シナプス及びニューロンの多くの層から構成される従来技術のスパイキングニューラルネットワークは、面積及びエネルギー使用に関して最適化されない。したがって、業界では、より効率的なスパイキングニューラルネットワークが必要とされている。
【発明の概要】
【0014】
本特許出願では、面積効率及び電力効率の良い設計を可能にするために、本発明者らは、新規の分散型マルチコンポーネントシナプス構造を報告するものであり、この構造では、分散されるコンポーネントの各々は、特有の計算特性を実装し、所定の信号処理機能の仕様に対して最適化することができる。
【0015】
本開示の第１の態様によれば、複数のシナプス前積分器２０９と、複数の重み適用素子２１０と、複数の出力ニューロン２２０とを備えるスパイキングニューラルネットワーク１００が開示される。複数のシナプス前積分器２１３の各々は、シナプス前積分器において電荷の蓄積を引き起こすシナプス前パルス信号２０４を受信し、シナプス入力信号が所定の時間ダイナミクスを有するように、蓄積された電荷に基づいてシナプス入力信号２１４を生成するように適合される。複数の重み適用素子２１０のうちの第１のグループの重み適用素子２１１は、複数のシナプス前積分器２１３のうちの最初の１つからシナプス入力信号２１４を受信するように接続される。第１のグループの重み適用素子の各重み適用素子２１１は、シナプス出力電流２１５を生成するためにシナプス入力信号２１４に重み値を適用するように適合され、シナプス出力電流の強度は、適用された重み値の関数である。複数の出力ニューロン２２２の各々は、複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流２１４を受け取り、受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号２２３を生成するように接続される。
【0016】
このように、面積最適化設計（及びその後のエネルギー効率設計）のために、シナプスダイナミクスを再現するために１つの回路を使用する代わりに、本発明は、２つの専用回路、すなわち、シナプス前積分器及び重み適用素子を用いてシナプスダイナミクスを再現する。それぞれが明確に定義された機能を実装しており、第１の回路はパルス（スパイク）積分を実行し、第２の回路は重み適用を実行する。その結果、各入力信号に対して単一のスパイク積分器（したがって、シナプスごとに１つのキャパシタではなく、単一のキャパシタ）のみが必要とされる。したがって、これは、面積効率の良い設計をもたらし、事前積分が、重み適用素子２１１の行ごとに共有される。更に、今度はｎ事前積分の代わりに単一の事前積分のみを実行するだけでよいため、本発明は、シナプス行列のより電力効率の良い実装を提供する。
【0017】
一実施形態によれば、重み適用素子の各々は、シナプス前積分器からシナプス入力信号を受信し、シナプス入力信号に基づいてシナプス入力電流を生成するように構成されたシナプス入力受信機と、重み値を記憶するように構成された重み記憶素子と、シナプス出力電流を生成するために、重み記憶素子に記憶された重み値をシナプス入力電流に適用するように構成された修正素子とを含む、重み適用回路を備え、重み値は、好ましくはデジタル形式で記憶され、電流型デジタル－アナログ変換器を介してアナログ領域に変換され、電流型デジタル－アナログ変換器は、好ましくはＲ－２Ｒアーキテクチャに基づき、電流型デジタル－アナログ変換器は、好ましくは所定の係数を適用してシナプス入力電流を減衰させ、減衰されたシナプス入力電流に基づいてシナプス出力電流を生成する。
【0018】
一実施形態では、重み記憶素子に記憶された重み値は調整可能であり、好ましくは、重み記憶素子に記憶された重み値は学習規則に基づいて調整される。
【0019】
一実施形態では、ネットワークは、シナプス前パルス信号がスパイキングニューラルネットワークの構成に基づいてシナプス前積分器に割り当てられるように、シナプス前入力スパイクに基づいてシナプス前パルス信号を供給するように構成された行スパイクデコーダを更に備える。
【0020】
一実施形態では、スパイキングニューラルネットワークは、シナプス前パルス信号を生成する入力ニューロンを含み、シナプス前積分器は、異なる入力ニューロンから生じる時間スパイクを多重化する。
【0021】
一実施形態では、シナプス前積分器が生成するシナプス入力信号の所定の時間ダイナミクスは、ＡＭＰＡ、ＮＭＤＡ、ＧＡＢＡＡ、又はＧＡＢＡＢの時間ダイナミクスである。
【0022】
一実施形態において、シナプス前積分器は、調整可能な時定数から独立した調整可能な利得を生成し、時定数は、シナプス前積分器内の蓄積された電荷を分離するリーク電流を決定し、シナプス前積分器のシナプス入力信号の時間ダイナミクスを特徴付ける。
【0023】
一実施形態では、シナプス前積分器は制御信号によって構成可能であり、好ましくは、制御信号はシナプス入力信号の時間形状を制御する。
【0024】
一実施形態では、出力ニューロンは、ニューロンダイナミクスを制御するためなど、ニューロン制御信号によって制御される。
【0025】
一実施形態では、スパイキングニューラルネットワークは、複数の第１のグループの重み適用素子を含み、各第１のグループの重み適用素子内の重み適用素子の各々１つは、それぞれのシナプス前積分器から同じシナプス入力信号を受信するように接続され、各第１のグループの重み適用素子は、複数のシナプス前積分器のうちの異なる１つからシナプス入力信号を受信するように接続される。
【0026】
一実施形態では、スパイキングニューラルネットワークは複数の入力ニューロンを含み、入力ニューロンのそれぞれ１つは、それぞれ第１のグループの重み適用素子にシナプス入力信号を提供するために、シナプス前パルス信号をシナプス前積分器のそれぞれ１つに提供するように接続される。
【0027】
一実施形態では、スパイキングニューラルネットワークは、複数の第２のグループの重み適用素子を含み、各第２のグループの重み適用素子は、シナプス出力信号を複数の出力ニューロンのうちの異なる１つに提供するように接続される。
【0028】
一実施形態では、スパイキングニューラルネットワークは、完全な同期、クラスタ若しくは非同期状態、入力パターンにおける不均一性、ニューロシナプス素子時空間ダイナミクス、非線形スパイキング挙動及び／又は周波数適応性を含む、使用中の様々なパターン活動を示す。
【0029】
本開示の第２の態様によれば、複数の重み適用素子への入力のためのシナプス入力電流を生成するように構成されたシナプス前積分回路が開示される。シナプス前積分回路は、シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信するように構成された入力素子であって、好ましくは、シナプス前パルス信号が時空間スパイク列である、入力素子と、シナプス前パルス信号に応答して電荷を蓄積するように構成されたキャパシタと、キャパシタによって蓄積された電荷の少なくとも一部を放電するように構成されたリーク素子と、複数の重み適用素子に供給するために、キャパシタによって蓄積された電荷に基づいてシナプス入力信号を生成するように構成された出力素子とを備える。
【0030】
一実施形態では、シナプス前積分回路は、シナプス入力信号の時間ダイナミクスを制御するように適合された制御素子を更に備え、制御素子は、制御信号、好ましくは制御電圧を受信し、制御信号に基づいてキャパシタによる電荷の蓄積を調節し、キャパシタ上の最大電荷を制御することによって、シナプス入力信号の最大振幅を調節するように構成される。
【0031】
本開示の第３の態様によれば、後続の重み適用のためのシナプス入力信号を生成するように構成されたシナプス前積分回路が開示される。シナプス前積分回路は、シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信するように構成された入力素子であって、シナプス前パルス信号が時空間スパイク列である、入力素子と、時空間スパイク列内のスパイクに基づいて電荷を蓄積するように構成されたキャパシタと、キャパシタによって蓄積された電荷の少なくとも一部を放電するように構成されたリーク素子と、キャパシタによって蓄積された電荷に基づいてシナプス入力信号を生成するように構成された出力素子と、シナプス入力信号の生成が時空間スパイク列によって制御されるように、シナプス前パルス信号に基づいて出力素子によって実施されるシナプス入力信号の生成を制御するように構成された出力制御素子であって、好ましくはシナプス入力信号が時空間スパイク列のスパイク中に生成されない、出力制御素子と、制御信号、好ましくは制御電圧を受信し、キャパシタによって蓄積される電荷の量が時空間スパイク列におけるスパイクの持続時間及びキャパシタの容量値、好ましくはキャパシタの製造ばらつきに依存しないように、キャパシタによる電荷の蓄積を調節し、キャパシタ上の最大電荷を制御することによって、シナプス入力信号の時間形状及び最大振幅を調節するように構成された制御素子とを備える。
【0032】
キャパシタによって蓄積される電荷の量は、時空間スパイク列におけるスパイクの持続時間及びキャパシタの容量値に依存せず、したがって、シナプス前積分回路の機能及び性能は、キャパシタの製造におけるばらつきに依存しない。
【0033】
一実施形態では、出力制御素子は、電界効果トランジスタ及びインバータを備え、インバータは、シナプス前入力信号に基づいて出力制御素子の電界効果トランジスタのゲート－ソース電圧を印加するように構成され、好ましくは、ゲート－ソース電圧は、シナプス前入力信号がスパイキングしていないときに印加され、シナプス入力信号は、出力制御素子の電界効果トランジスタを流れるドレイン－ソース電流によって生成される。
【0034】
第２又は第３の態様の実施形態では、リーク素子は、時定数によって制御され、好ましくは、時定数は、ＡＭＰＡ、ＮＭＤＡ、ＧＡＢＡＡ又はＧＡＢＡＢの時間ダイナミクスを特徴付ける。
【0035】
第２又は第３の態様の実施形態では、リーク素子は電界効果トランジスタを備え、時定数はリーク素子の電界効果トランジスタのゲート－ソース電圧であり、キャパシタはリーク素子の電界効果トランジスタのドレイン－ソース電流によって放電される。
【0036】
第２又は第３の態様の実施形態では、入力素子は、電界効果トランジスタを備え、シナプス前パルス信号は、入力素子の電界効果トランジスタのゲート－ソース電圧であり、入力素子の電界効果トランジスタを流れるドレイン－ソース電流は、キャパシタを充電する。
【0037】
第２又は第３の態様の一実施形態では、出力素子は、電界効果トランジスタを備え、キャパシタによって蓄積された電荷は、出力素子の電界効果トランジスタのゲート－ソース電圧を生成し、出力素子の電界効果トランジスタを流れるドレイン－ソース電流は、シナプス入力信号を生成する。
【0038】
第２又は第３の態様の一実施形態では、制御素子は電界効果トランジスタを備え、制御信号は制御素子の電界効果トランジスタのゲート－ソース電圧であり、キャパシタは制御素子の電界効果トランジスタを流れるドレイン－ソース電流によって充電される。
【0039】
第２又は第３の態様の一実施形態では、出力素子は、電圧領域においてシナプス入力信号を生成するように構成された出力カレントミラー、又は、電圧領域においてシナプス入力信号を生成するように構成された出力カスコードカレントミラーであって、結果として生じるシナプス入力信号が２つの電圧信号を含む、出力カスコードカレントミラーを更に備える。
【0040】
第２又は第３の態様の実施形態では、シナプス入力信号は、キャパシタが放電されているときに指数関数的に減少する。
【0041】
本開示の第４の態様によれば、シナプス出力電流を複製又は反転するように構成された極性選択回路が開示される。極性選択回路は、シナプス出力電流を受け取るように構成された極性入力素子と、極性入力信号に基づいてソーシング又はシンキングカレントミラーを選択するように構成された極性選択端子であって、ソーシングカレントミラーは、シナプス出力電流を複製するように構成され、シンキングカレントミラーは、シナプス出力電流を反転させるように構成された、極性選択端子と、複製又は反転されたシナプス出力電流に基づいて極性出力電流を生成する極性出力素子とを備える。
【0042】
本発明の第１の態様の一実施形態によれば、重み適用素子の各々は、極性選択素子を更に備え、極性選択素子は、本発明の第４の態様による極性選択回路を備え、それにより、本発明の第１の態様からのシナプス出力信号は極性選択回路によって使用されて極性出力電流が生成され、好ましくは、入力ニューロンは極性出力電流を受け取り、複製されたシナプス出力電流は興奮性シナプス出力信号に対応し、反転されたシナプス出力電流は抑制性シナプス出力信号に対応する。
【0043】
第１の態様の一実施形態では、シナプス前積分器は、第２又は第３の態様によるシナプス前積分回路を備える。
【0044】
本開示の第５の態様によれば、スパイキングニューラルネットワークのためのシナプス前積分及び重み適用の方法が開示される。スパイキングニューラルネットワークは、複数のシナプス前積分器２０９と、複数の重み適用素子２１０と、複数の出力ニューロン２２０とを備える。本方法は、複数のシナプス前積分器２１３の各々によって、シナプス前積分器で電荷の蓄積を引き起こすシナプス前パルス信号２０４を受信することと、複数のシナプス前積分器２１３の各々によって、シナプス入力信号が所定の時間ダイナミクスを有するように、蓄積された電荷に基づいてシナプス入力信号２１４を生成することと、複数の重み適用素子２１０のうちの第１のグループの重み適用素子２１１によって、複数のシナプス前積分器２１３のうちの最初の１つからシナプス入力信号２１４を受信することと、シナプス出力電流２１５を生成するために、第１のグループの重み適用素子の各重み適用素子２１１によってシナプス入力信号２１４に重み値を適用することであって、シナプス出力電流の強度が適用された重み値の関数である、適用することと、複数の出力ニューロン２２２の各々によって、複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流２１４を受け取り、受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号２２３を生成することとを含む。
【0045】
一実施形態では、重み適用素子の各々は、シナプス前積分器からシナプス入力信号を受信し、シナプス入力信号に基づいてシナプス入力電流を生成することと重み値を記憶することと、記憶された重み値をシナプス入力電流に適用して、シナプス出力電流を生成することとのために適合された重み適用回路を備える。
【0046】
一実施形態において、シナプス前積分器は、調整可能な時定数から独立した調整可能な利得を生成し、時定数は、シナプス前積分器内の蓄積された電荷を分離するリーク電流を決定し、シナプス前積分器のシナプス入力信号の時間ダイナミクスを特徴付ける。
【0047】
一実施形態では、スパイキングニューラルネットワークは、複数の第１のグループの重み適用素子を備え、各第１のグループの重み適用素子内の重み適用素子の各々１つは、それぞれのシナプス前積分器から同じシナプス入力信号を受信するように接続され、各第１のグループの重み適用素子は、複数のシナプス前積分器のうちの異なる１つからシナプス入力信号を受信するように接続される。
【0048】
一実施形態では、スパイキングニューラルネットワークは複数の入力ニューロンを含み、入力ニューロンのそれぞれ１つは、それぞれ第１のグループの重み適用素子にシナプス入力信号を提供するために、シナプス前パルス信号をシナプス前積分器のそれぞれ１つに提供するように接続される。
【0049】
本開示の第６の態様によれば、スパイキングニューラルネットワークのためのシナプス前積分の方法が開示される。方法は、複数の重み適用素子への入力のためのシナプス入力電流を生成するように構成されたシナプス前積分回路を提供することと、シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信することであって、好ましくは、シナプス前パルス信号が時空間スパイク列である、受信することと、シナプス前パルス信号に応答して電荷を蓄積することと、蓄積された電荷の少なくとも一部をリーク素子を通じて放電することと、複数の重み適用素子に供給するために、蓄積された電荷に基づいてシナプス入力信号を生成することとを含む。
【0050】
本開示の第７の態様によれば、スパイキングニューラルネットワークのためのシナプス前積分の方法が開示される。方法は、後続の重み適用のためのシナプス入力信号を生成するように構成されたシナプス前積分回路を提供することと、シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信することであって、シナプス前パルス信号が時空間スパイク列である、受信することと、時空間スパイク列内のスパイクに基づいて電荷をキャパシタによって蓄積することと、キャパシタによって蓄積された電荷の少なくとも一部をリーク素子を通じて放電することと、キャパシタによって蓄積された電荷に基づいてシナプス入力信号を生成することと、シナプス入力信号の生成が時空間スパイク列によって制御されるように、シナプス前パルス信号に基づいて出力素子によって実施されるシナプス入力信号の生成を制御することであって、好ましくはシナプス入力信号が時空間スパイク列のスパイク中に生成されない、制御することと、制御信号、好ましくは制御電圧を受信し、キャパシタによって蓄積される電荷の量が時空間スパイク列におけるスパイクの持続時間及びキャパシタの容量値、好ましくはキャパシタの製造ばらつきに依存しないように、電荷の蓄積を調節し、キャパシタ上の最大電荷を制御することによって、シナプス入力信号の時間形状及び最大振幅を調節するように構成された制御素子を提供することとを含む。
【0051】
本開示の第８の態様によれば、極性選択のための方法が開示される。方法は、シナプス出力電流を複製又は反転するように構成された極性選択回路を提供することと、シナプス出力電流を受信することと、極性入力信号に基づいてソーシング又はシンキングカレントミラーを選択することと、シナプス出力電流を複製すること及び／又はシナプス出力電流を反転させることと、複製又は反転されたシナプス出力電流に基づいて極性出力電流を生成することとを含む。
【0052】
本開示の第９の態様によれば、第１の態様によるスパイキングニューラルネットワークを使用して入力信号を分類する方法が開示される。
【0053】
次に、添付の概略図を参照して、単なる例として実施形態を説明し、図面では、対応する参照符号は対応する部分を示す。
【図面の簡単な説明】
【0054】
【図1A】従来技術のスパイキングニューラルネットワークの少なくとも一部の例の図である。
【図1B】従来技術のスパイキングニューラルネットワークの少なくとも一部の例の図である。
【図1C】従来技術のスパイキングニューラルネットワークの少なくとも一部の例の図である。
【図2】例示的な実施形態によるスパイキングニューラルネットワークの少なくとも一部の図である。
【図3】別の例示的な実施形態によるスパイキングニューラルネットワークの少なくとも一部の図である。
【図4A】例示的な実施形態によるシナプス前積分回路の図である。
【図4B】別の例示的な実施形態によるシナプス前積分回路の図である。
【図5A】例示的な実施形態による重み適用回路の図である。
【図5B】別の例示的な実施形態による重み適用回路の図である。
【図6】例示的な実施形態による極性選択回路の図である。
【図7A】例示的な実施形態による興奮性シナプス出力電流ダイナミクスを示すグラフである。
【図7B】例示的な実施形態による時空間スパイク列ダイナミクスを示すグラフである。
【図7C】別の例示的な実施形態による時空間スパイク列ダイナミクスを示すグラフである。
【発明を実施するための形態】
【0055】
図は、例示のみを目的とするものであり、特許請求の範囲によって規定される範囲又は保護を限定するものではない。
【0056】
以下、特定の実施形態について更に詳細に説明する。しかしながら、これらの実施形態は、本開示の保護の範囲を限定するものとして解釈されなくてもよいことを理解されたい。
【0057】
上述したように、ｍ×ｎシナプスを持つ完全に接続されたネットワークでは、シナプス積分に使用されるキャパシタは、アレイの総面積に対する最大の寄与因子である。面積最適化された設計（及びその後のエネルギー効率の良い設計）のために、シナプスダイナミクスを再現するために１つの回路を使用する（図１Ａ～図１Ｃのように）代わりに、本発明は、２つの専用回路（図２）を用いてシナプスダイナミクスを再現し、回路はそれぞれ明確に定義された関数を実装しており、第１の回路はパルス（スパイク）積分を実行し、第２の回路は重み適用を実行する。その結果、各入力信号に対して単一のスパイク積分器（したがって、ｎキャパシタではなく、単一のキャパシタ）のみが必要とされる。したがって、これは、面積効率の良い設計をもたらし、事前積分が、重み適用素子２１１の行ごとに共有される。更に、今度はｎ事前積分の代わりに単一の事前積分のみを実行するだけでよいため、本発明は、シナプス行列のより電力効率の良い実装を提供する。
【0058】
図２は、例示的な実施形態によるスパイキングニューラルネットワーク２００の一部を示し、これは、複数のサブネットワークを備えるより大きいニューラルネットワーク内にサブネットワーク（又はアンサンブル）を形成することができ、ニューロシナプスコアとして実装され得る。図２は、シナプス前積分器２１３に接続された重み適用素子２１１に接続された出力ニューロン２２２を示す。例示的な実施形態は、少なくとも１つのシナプス前積分器２１３と、複数２１０の重み適用素子２１１と、複数２２０の出力ニューロン２２２とを含む。いくつかの実施形態では、スパイキングニューラルネットワーク２００は、出力ニューロン２２２によって生成される時空間スパイク列出力信号２２３が、次の層内のシナプス前積分器２１３によって受信されるシナプス前信号２０４を形成し得るように、かつシナプス前積分器２１３によって受信されるシナプス前パルス信号２０４が、入力ニューロン、すなわち前の層からの出力ニューロン２２２によって生成され得るように、いくつかの層を備える。画像を混乱させないために、少数のニューロン２２２、シナプス前積分器２１３、及び重み適用素子２１１のみが示されており、いくつかのみに参照番号が付されている。
【0059】
シナプスダイナミクスは、シナプス前積分器２１３及び重み適用素子２１１によって複製される。シナプス前積分器２１３は、シナプス前（高速）パルス信号２０４が（長く続く）シナプス入力信号２１４に変換されるように、シナプス前パルス（スパイク）積分の機能を実行する。いくつかの実施形態では、シナプス入力信号２１４は、ＡＭＰＡ受容体によって放出される信号と同様に、指数関数的に減少するスパイクであり得る。いくつかの実施形態では、シナプス入力信号２１４はシナプス入力電流であり得る。いくつかの実施形態では、シナプス入力信号２１４はシナプス入力電圧であり得る。いくつかの実施形態では、シナプス前積分器２１３は制御信号２０３によって構成可能であり、好ましくは、制御信号２０３は、シナプス前積分器２１３によって生成されたシナプス入力信号２１４の時間形状を制御する。
【0060】
各重み適用素子２１１は、典型的なシナプス機能を実行し、入力ニューロンと出力ニューロンとを接続し、対応する重み記憶素子２１２に記憶された重み値をシナプス入力信号２１４に適用して、シナプス出力電流２１５を生成する。特に、適用される重み値は、シナプス出力電流２１５の強度を決定する。いくつかの実施形態では、重み適用素子は、シナプス入力信号の選択された部分を含むシナプス出力電流を生成するために、そのシナプス入力信号を減衰させるために０から１までの範囲の係数を適用する。いくつかの実施形態では、重み記憶素子２１２によって記憶される重み値は、好ましくは学習規則に従って調整可能である。
【0061】
出力ニューロン２２２は、重み適用素子２１１から少なくとも１つのシナプス出力電流２１５を受け取り、受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号を生成するように構成される。いくつかの実施形態では、出力ニューロン２２２は、ニューロン制御信号２２４によって構成可能である。これらのニューロン制御信号１２７は、例えば、ニューロン活性化関数のパラメータを変更することによって、ニューロン活性化関数によって表されるニューロンダイナミクスを制御することなどができる。
【0062】
代替実施形態では、スパイキングニューラルネットワークは、シナプス前入力スパイク２０１に基づいて、シナプス前パルス信号２０４を復号し、対応するシナプス前積分器２１３に割り当てるように構成された行スパイクデコーダ２０２を更に備える。どのシナプス前パルス信号がどのシナプス前積分器２１３に送られるかは、スパイキングニューラルネットワークの構成に依存する。シナプス前入力スパイク２０１を復号することは包含する。
【0063】
図３は、別の例示的な実施形態によるスパイキングニューラルネットワーク３００の一部の別の例を示し、これは、複数のサブネットワークを備えるより大きいニューラルネットワーク内にサブネットワーク（又はアンサンブル）を形成することができ、ニューロシナプスコアとして実装され得る。出力ニューロン３２２は、シナプス前積分器３１３に接続された重み適用素子３１１に接続される。例示的な実施形態は、少なくとも１つのシナプス前積分器３１３と、複数３１０の重み適用素子３１１と、複数３２０の出力ニューロン３２２とを含む。いくつかの実施形態では、スパイキングニューラルネットワーク３００は、出力ニューロン３２２によって生成される時空間スパイク列出力信号３２６が、次の層内のシナプス前積分器２１３によって受信されるシナプス前信号２０４を形成し得るように、かつシナプス前積分器３１３によって受信されるシナプス前パルス信号３０７が、入力ニューロン、すなわち前の層からの出力ニューロン３２２によって生成され得るように、いくつかの層を備える。画像を混乱させないために、少数のニューロン３２２、シナプス前積分器３１３、及び重み適用素子３１１のみが示されており、いくつかのみに参照番号が付されている。
【0064】
この実施形態は、行スパイクデコーダ３０２が、シナプス前入力スパイク３０１に基づいてシナプス前パルス信号３０７を復号し、シナプス前積分器３１３に割り当てるように、ニューロシナプスコア制御素子３０４と、ニューロン制御素子３２３と、ニューロンデコーダ素子３２１と、図２の行スパイクデコーダ２０２に類似した行スパイクデコーダ３０２とを更に備える。
【0065】
コアのアレイ内に配置された複数のニューロシナプスコアは、学習システムのための高レベルアーキテクチャを配置する。各コアは、ハードウェアに実装されたニューロンのネットワークを含み、ニューロンはシナプス素子によって相互接続される。単一のコアは、完全なスパイキングニューラルネットワーク、又は別個のサブネットワークを形成するスパイキングニューラルネットワークの一部分を実装し得る。このようにして、大きいスパイキングニューラルネットワークは、いくつかのより小さいサブネットワークに分割してもよく、各サブネットワークは、アレイのコアのうちの１つにおいて実装される。一実施形態では、コアは、関連付けられた入力データポート、出力ポート、並びに／又は制御及び構成インターフェースを有するスパイキングニューラルネットワークを実装してもよく、例えば、各コアは、図２又は図３の配置を含む１つ以上のサブネットワークを実装する。
【0066】
大きなスパイキングニューラルネットワークをより小さなサブネットワークに分割し、サブネットワークの各々を、各々がそれ自体の必要な回路を有する１つ以上のコア上に実装することによって、より小さいプロセスジオメトリ及びより低い動作電流で動作する回路の非理想性の一部が、特に大きいアレイについて緩和される。したがって、コアベースの実装手法は、物理的な非理想性の影響を低減する。
【0067】
サブネットワーク、又は協調グループを形成するニューロンのアンサンブルは、例えば、分類器、分類器のアンサンブル、データ変換、特徴符号化、又は分類のみを処理するニューロンのグループなどを形成することができる。
【0068】
そのようなレジームでは、アンサンブルの大きなネットワークは分割され、コアのアレイ上にマッピングされ、その各々が、スパイキングニューロンのプログラム可能なネットワークを含む。その結果、各コアは、単一のアンサンブル、複数の小さなアンサンブル（コア内のニューロン及びシナプスの数に関して）、又は大きなアンサンブルの場合には、単一のアンサンブルの一部のみを実装し、他の部分はアレイの他のコア上に実装される。どのようにアンサンブルが分割され、コアにマッピングされるかのモダリティは、マッピング方法論によって決定される。マッピング方法論は、制約－駆動分割を含むことができる。制約は、各それぞれのサブネットワークの機能にリンクされた性能メトリックであり得る。性能メトリックは、電力－面積制限、メモリ構造、メモリアクセス、時定数、バイアス、技術制限、復元力、許容される不一致のレベル、及びネットワーク又は物理的アーチファクトに依存し得る。
【0069】
ニューロシナプスコア制御素子３０４は、場合によっては入力ニューロンの前の層からスパイク入力３０６を受信し、シナプス前入力スパイク３０１を行スパイクデコーダ３０２に送り、制御信号３０３をシナプス前積分器３０３に送るように構成される。更に、ニューロシナプスコア制御素子３０４は、ニューロンデコーダ素子３２１からニューロンスパイク出力信号３２５を受信し、その後送信するように構成される。加えて、ニューロシナプスコア制御素子３０４は、ニューロン制御素子３２３とニューロンデコーダ素子３２１の両方を制御するように構成される。最終的に、ニューロシナプスコア制御素子は、構成信号３０５によって構成可能である。
【0070】
ニューロン制御素子３２３は、ニューロン制御信号３２４を介して複数３２０の出力ニューロン３２２を制御するように構成される。ニューロンデコーダ素子３２１は、シナプス出力電流３１５に基づいて出力ニューロン３２２によって生成された少なくとも１つの時空間スパイク列出力信号３２６に基づいてニューロンスパイク出力信号３２５を生成するように構成される。
【0071】
したがって、本発明で開示されるニューロシナプスコアは、シナプス回路及びニューロンユニットの反復アレイとして編成することができ、各ユニットは細胞アセンブリを形成することができる。システムは、アレイの接合部に電子シナプスの存在を組み込むことができる。アレイの周辺は、生体ニューロンの細胞体及び軸索丘の作用を模倣するシナプス回路の行を含むことができる。
【0072】
更に、アレイ内の各ニューロシナプスコアは、専用リアルタイム再構成可能ネットワークオンチップ内の他のコアのルータと通信するローカルルータを有することができる。分類器は、例えば、それぞれがその発火確率分布に従ってイベント（スパイク）を発火する出力ニューロンのセット（クラスごとに１つ）を有すると仮定することができる。
【0073】
次に、本発明によるシナプス前積分回路について説明する。
【0074】
図４Ａは、シナプス前積分器２１３、３１３の例示的な実施形態によるシナプス前積分回路４００を示しており、この回路は正電圧源４２０（電圧ＶＤＤのドレインとも呼ばれる）、負電圧源４４０（電圧ＶＳＳのソースとも呼ばれる）、キャパシタ４０４、いくつかの電界効果トランジスタ（ＦＥＴ）、特に入力ＦＥＴ４０１、リークＦＥＴ４０３、出力ＦＥＴ４０５、及びカレントミラー４０６を含む。シナプス前積分器２１３、３１３は、サブしきい値領域で動作し、低面積及び線形フィルタリング特性を提供する。シナプス前積分器２１３、３１３は、高速シナプス前パルス信号２０４、３０７を、（長く持続する）シナプス入力信号２１４、３１４に変換する。シナプス入力信号は、例えば、指数関数的に減少するスパイクのように整形されてもよい（一方で、ＡＭＰＡのような受容体の時間ダイナミクスを保存する）。シナプス前積分器２１３、３１３は、異なるニューロンから生じる時間スパイクを多重化する可能性を提供し、（調整可能な）時定数から独立した調整可能な利得を提供する。
【0075】
この実施形態では、行スパイクデコーダ２１３、３０２からのシナプス前パルス信号２０４、３０７は、入力ＦＥＴ４０１にかかるゲート－ソース電圧を形成する。シナプス前パルス信号におけるスパイクに対応して、ゲート－ソース電圧が正であるとき、入力ＦＥＴ４０１はオンになり、ドレイン－ソース電流が流れることを可能にする。
【0076】
いくつかの実施形態は、制御ＦＥＴ４０２にかかるゲート－ソース電圧である制御信号に基づいてシナプス入力信号２１４、３１４の時間ダイナミクスを制御するように構成された制御ＦＥＴ４０２を更に含み得る。この実施形態では、制御信号は、行スパイクデコーダ２０２又はニューロシナプスコア制御素子３０４からの制御信号２０３、３０３である。ゲート－ソース電圧が例えば正であるとき、制御ＦＥＴ４０２はオンになり、ドレイン－ソース電流が流れることを可能にする。
【0077】
キャパシタ４０４は、入力ＦＥＴ４０１及び場合によっては制御ＦＥＴ４０２に接続され、そのことにより入力ＦＥＴ４０１及び制御ＦＥＴ４０２の両方がオンになると、閉回路が形成され、接続が終了するまでキャパシタ４０４が電荷を蓄積するように、キャパシタ４０４を介して正電圧源４２０を負電圧源４４０に接続する。
【0078】
キャパシタ４０４が電荷を蓄積している場合、出力ＦＥＴ４０５は、そのゲート－ソース電圧がキャパシタ４０４によって蓄積された電荷に等しくなると、オンになる。出力ＦＥＴ４０５がオンになると、ドレイン－ソース電流が、出力ＦＥＴ４０５及びカレントミラー４０６を介して、正電圧源４２０から負電圧源４４０へ流れることが可能になる。出力ＦＥＴ４０５は、キャパシタ４０４上の電荷が線形に減少している場合、出力ＦＥＴ４０５を流れるドレイン－ソース電流が指数関数的に減少するように、そのサブしきい値領域において動作するように構成され得る。いくつかの実施形態では、出力ＦＥＴ４０５は、そのサブしきい値領域において動作し、したがって、そのゲート－ソース電圧とそのソース－ドレイン電流との間に指数関数関係を提供する。その結果、キャパシタ４０４上の電荷の線形減少は、ドレイン－ソース電流の指数関数的減衰に変換される。
【0079】
リークＦＥＴ４０３は、オンにされた場合、キャパシタ４０４を放電するように構成される。リークＦＥＴ４０３を通る定電流に起因して、キャパシタ４０４によって蓄積される電荷は線形に減少する。いくつかの実施形態では、リークＦＥＴ４０３は時定数によって制御され、時定数はリークＦＥＴ４０３のゲート－ソース電圧を決定する。時定数は、例えば、ＡＭＰＡ、ＮＤＭＡ、ＧＡＢＡＡ又はＧＡＢＡＢ時間ダイナミクスが実現されるように選択されてもよい。
【0080】
電流がカレントミラー４０６を流れる場合、この電流の強度に比例して電圧信号が生成される。この実施形態では、シナプス前積分器２１３、３１３によって生成されるシナプス入力信号２１４、３１４が、この電圧信号である。実際には、カレントミラー４０６を流れる電流は電圧信号として複製される。代替的に、又は加えて、カレントミラー４０６は、電流複製のばらつきの低減及び精度の向上のために、シナプス入力信号２１４、３１４が２つの電圧信号を含むようなカスコードカレントミラーであり得る。すなわち、カスコード実装は、インピーダンスを改善することによって、出力駆動強度を改善する。
【0081】
図４Ｂは、シナプス前積分器２１３、３１３の別の例示的な実施形態によるシナプス前積分回路４１０を示し、この回路は、正電圧源４３０と、負電圧源４５０と、キャパシタ４１４と、いくつかの電界効果トランジスタ（ＦＥＴ）、特に入力ＦＥＴ４１１と、制御ＦＥＴ４１２と、リークＦＥＴ４１３と、出力ＦＥＴ４１５と、ミラーＦＥＴ４１７と、カスコードカレントミラー４１６とを備える。キャパシタによって蓄積される電荷の量が、キャパシタ４１４の容量値（製造ばらつきにより最大２０％まで変動し得る）に依存しないように、図４Ｂの回路が使用される。したがって、回路は、キャパシタ４１４上の電荷を安定させるのに十分な長さである限り、シナプス前パルス信号２０４、３０７におけるスパイクの持続時間にもはや依存しない。この実施形態は、出力制御ＦＥＴ４１９、電流制御ＦＥＴ４１８、及びインバータ４２３を含む出力制御素子を更に含む。
【0082】
この実施形態では、シナプス前パルス信号２０４、３０７は、入力ＦＥＴ４１１にかかるゲート－ソース電圧である。入力パルスが印加されたときに入力ＦＥＴ４１１にかかるゲート－ソース電圧が高くなると、制御ＦＥＴ４１２を介して電流が流れ始め、キャパシタ４１４をミラーＦＥＴ４１７のダイオード電圧まで充電する。入力ＦＥＴ４１１上のゲート－ソース電圧パルスは、キャパシタ４１４によって蓄積された電荷の量が一定値に達するために十分に長い必要があることに留意することが重要である。
【0083】
制御ＦＥＴ４１２は、制御信号２０３、３０３に基づいてシナプス入力信号２１４、３１４の時間ダイナミクスを制御するように構成される。この実施形態では、制御信号２０３、３０３は、制御ＦＥＴ４０２にかかるゲート－ソース電圧である。ゲート－ソース電圧が正であるとき、制御ＦＥＴ４１２はオンになり、ドレイン－ソース電流が流れることを可能にする。この実施形態では、制御信号２０３、３０３は、キャパシタによって蓄積される電荷の量が時空間スパイク列内のスパイクの持続時間及びキャパシタの容量値に依存しないように、キャパシタによる電荷の蓄積を調節し、キャパシタ上の最大電荷を制御することによってシナプス入力信号の時間形状及び最大振幅を調節するように構成される。いくつかの実施形態では、制御ＦＥＴ４１２は定電流源である。
【0084】
キャパシタ４１４は、入力ＦＥＴ４１１及び制御ＦＥＴ４１２に接続され、そのことにより入力ＦＥＴ４１１及び制御ＦＥＴ４１２の両方がオンになると、閉回路が形成され、接続が終了するまでキャパシタ４１４が電荷を蓄積するように、キャパシタ４１４を介して正電圧源４３０を負電圧源４５０に接続する。
【0085】
キャパシタ４１４が電荷を蓄積している場合、出力ＦＥＴ４１５は、そのゲート－ソース電圧がキャパシタ４１４によって蓄積された電荷に等しくなると、オンになる。シナプス前パルス信号２０４、３０７がローになると、出力が有効にされ、リークＦＥＴ４１３が時間経過とともにキャパシタ４１４を放電するにつれ、出力ＦＥＴ４１５を流れるドレイン－ソース電流はそれに応じて減少する。出力ＦＥＴ４１５及び出力制御ＦＥＴ４１９の両方がオンになると、ドレイン－ソース電流が、正電圧源４３０から負電圧源４５０へ、出力ＦＥＴ４１５、出力制御ＦＥＴ４１９、及びカスコードカレントミラー４１６を通って流れることが可能となる。出力ＦＥＴ４１５は、キャパシタ４１４上の電荷が線形に減少している場合、出力ＦＥＴ４１５にかかるドレイン－ソース電流が指数関数的に減少するように、そのサブしきい値領域において動作するように構成され得る。
【0086】
出力段は、電流複製のばらつきの低減及び精度の向上のためにカスコードカレントミラー４１６を採用することができる。電流がカスコードカレントミラー４１６を流れる場合、この電流の強度に比例して２つの電圧信号が生成される。この実施形態では、シナプス前積分器２１３、３１３によって生成されるシナプス入力信号２１４、３１４は、このように２つの電圧信号を含む。実際には、カスコードカレントミラー４１６を流れる電流は２つの電圧信号として複製される。代替的に、カスコードカレントミラー４１６は、図４Ａの実施形態に見られるように、代わりに１つの電圧信号を生成する通常のカレントミラーであってもよい。
【0087】
インバータ４２３、出力制御ＦＥＴ４１９及び電流制御ＦＥＴ４１８を含む出力制御素子は、出力電流の流れを調節するように構成される。矢印４２１は、出力ＦＥＴ４１５のドレイン－ソースを流れる出力電流の方向を示す。しかしながら、この電流は、出力ＦＥＴ４１５及び出力制御ＦＥＴ４１９の両方がオンになる場合にのみ流れる。インバータ４２３は、シナプス前入力信号２０４、３０７が負である場合は正電圧がその出力において生成されるように、シナプス前入力信号２０４、３０７が正である場合は負電圧がインバータ４２３の出力において生成されるように、入力ＦＥＴ４１１に接続される。結果として、出力制御ＦＥＴ４１９は、シナプス前入力信号が負である場合、すなわち、シナプス前入力信号がスパイクしていない場合にのみオンになる。したがって、ＦＥＴ４１５及び４１９を流れる出力電流は、時空間スパイク列内のスパイクが終了した後にのみ可能である。更に、電流制御ＦＥＴ４１８は、シナプス前パルス信号２０４、３０７がスパイクしているときにのみオンになる。結果として、ＦＥＴ４１８及び４１１のいずれかを流れるドレイン－ソース電流によるキャパシタ４１４の放電は、スパイクが終了した後は不可能であり、キャパシタ４１４の放電がリークＦＥＴ４１３によって制御されることを確実にしている。
【0088】
リークＦＥＴ４１３は、それがオンになると、そのドレイン－ソース電流（矢印４２２によって示される電流方向）を通してキャパシタ４１４を放電するように構成される。シナプス前パルス信号２０４、３０７がローになり、充電回路が閉じられると、キャパシタ４１４は、リークＦＥＴ４１３を通じて定電流で放電する。いくつかの実施形態では、リークＦＥＴ４１３は時定数によって制御され、時定数はリークＦＥＴ４１３のゲート－ソース電圧を決定する。時定数は、ＡＭＰＡ、ＮＤＭＡ、ＧＡＢＡＡ又はＧＡＢＡＢ時間ダイナミクスが実現されるように選択されてもよい。
【0089】
ミラーＦＥＴ４１７は出力ＦＥＴ４１５に結合され、それによって、ミラーＦＥＴ４１７及び出力ＦＥＴ４１５が共にカレントミラーを形成し、出力ＦＥＴ４１５を流れるドレイン－ソース電流がミラーＦＥＴ４１７を流れるドレイン－ソース電流と同一であることを確実にする。したがって、事前積分回路内のキャパシタによって誘導される電圧は、事前積分回路の機能にとってもはや重要ではない。
【0090】
次に、本発明による重み適用回路について説明する。
【0091】
図２及び図３の重み適用（乗算）回路は、完全に分散され、典型的なシナプス機能を実行し、入力ニューロンと出力ニューロンとを接続し、記憶された重みを適用する。乗算器の線形性は、学習を劣化させないために保存されるべきである。デジタル的に記憶された重みは、図５Ａ及び図５Ｂに示されるＲ－２Ｒアーキテクチャに基づく電流型Ｄ／Ａ変換器を介してアナログ領域に変換される。重み適用素子は、その入力電流に０から１の範囲の係数を適用し、それを減衰させ、入力電流の選択された部分をその出力に送ることができる。
【0092】
重み誤差に対する感度を最小にするために、小さな相互コンダクタンスを有することが有利である。この設計は電流型Ｄ／Ａ変換に基づいているので、複数の重み適用素子の出力を単純に加算することができる。
【0093】
図５Ａは、重み適用素子２１１、３１１の例示的な実施形態による重み適用回路５００を示す。画像を混乱させないために、いくつかの要素のみに参照番号が付されており、繰り返される要素は限られた回数だけ示されている。重み適用回路５００は、正電圧源５２０と、負電圧源５４０と、第１のシナプス入力受信機５０７と、第２のシナプス入力受信機５０８と、出力端子５０９と、出力選択素子５５０のラダーとを備え、各出力選択素子は、二重抵抗ＦＥＴ５０３と、単一抵抗ＦＥＴ５０４と、正出力ＦＥＴ５０１と、負出力ＦＥＴ５０２とを含む。ＦＥＴ５０５及びＦＥＴ５０６は、正電圧源５２０に接続することもできる。
【0094】
シナプス入力受信機５０７及び５０８は、ゲート－ソース電圧の形態でシナプス入力信号２１４、３１４を受信するように構成される。図４Ａを参照すると、シナプス入力信号２１４、３１４は、出力カレントミラー４０６によって与えられる場合がある。シナプス入力受信機５０７、５０８にかかるゲート－ソース電圧は、重み適用回路５００の残りの部分を通って、特に出力選択素子５５０のラダーに沿って出力端子５０９に向けて、電流が流れるようにする。
【0095】
出力選択素子５５０は、シナプス入力受信機５０７を通って流れる電流が出力選択素子５５０の間で分配されるように、順次接続される。出力選択素子５５０の各々は、単一抵抗トランジスタ５０４及び二重抵抗トランジスタ５０３を含み、これらは、シナプス入力受信機５０７からの電流が、それが通過する出力選択素子５５０ごとに２つに分けられるように配置される。したがって、第１の出力選択素子５５０はシナプス入力電流の２分の１を受け取り、第２の出力選択素子５５０はシナプス入力電流の４分の１を受け取り、第３の出力選択素子５５０はシナプス入力電流の８分の１を受け取り、以下同様である。より多くの出力選択素子５５０が含まれるほど、重み適用においてより高い精度が達成可能である。
【0096】
出力選択素子５５０の各々は、正出力ＦＥＴ５０１及び負出力ＦＥＴ５０２を含む。これらのＦＥＴにかかるゲート－ソース電圧は、重み記憶素子２１２に記憶された、デジタル的に記憶された重み値によって決定される。重み値はビットとして記憶され、ビットの数は出力制御素子５５０の数に等しい。記憶された重み値の各ビットは、正出力ＦＥＴ５０１又は負出力ＦＥＴ５０２のいずれかがオンになるように、出力制御素子の設定を決定する。正出力ＦＥＴ５０１がオンになると、対応する出力選択素子に割り当てられるシナプス入力電流の部分は、出力端子５０９に接続される。負出力ＦＥＴ５０２がオンになると、シナプス入力電流の選択された部分は、シナプス出力電流に寄与しない。このように、記憶されたバイナリ重み値に基づく重み適用が実現される。
【0097】
図５Ｂは、重み適用素子２１１、３１１の別の例示的な実施形態による重み適用回路５００を示す。この回路では、シナプス入力受信機５０７、５０８は、それぞれが、２つのゲート－ソース電圧の形態でシナプス入力信号２１４、３１４を受信するように構成される２つの電界効果トランジスタを含む。図５Ｂを参照すると、シナプス入力信号２１４、３１４は、出力カスコードカレントミラー４１６によって提供される場合がある。
【0098】
次に、本発明による極性選択回路について説明する。
【0099】
図６は、極性選択を含む、本発明の例示的な実施形態による極性選択回路６００を示す。重み適用素子２１１、３１１の出力の極性は、ＧＡＢＡ受容体の挙動に対応する抑制性スパイクを生成するように構成することができる。極性選択回路６００は、電流を吐き出すソーシングカレントミラー６３２と、電流を吸い込むシンキングカレントミラー６４２とを用いる。極性選択回路は、正電圧源６１０と、負電圧源６２０と、極性出力素子６０３と、第１の通過ＦＥＴ６３１と、第２の通過ＦＥＴ６４１と、ソーシング選択ＦＥＴ６３０と、シンキング選択ＦＥＴ６４０と、シナプス出力電流２１５、３１５を受け取るように構成された極性入力素子６０１とを更に含む。シナプス出力電流２１５、３１５の方向は、矢印６０４によって示される。極性選択端子６０２に印加される電圧がハイに設定されるかローに設定されるかに応じて、興奮性シナプス又は抑制性シナプスに対応して、それぞれ、ソーシングカレントミラー又はシンキングカレントミラーが有効になる。
【0100】
極性入力素子６０１は、ドレイン－ソース電流としてシナプス出力電流を受け取り、この電流をゲート－ソース電圧に変換するように構成される。このゲート－ソース電圧は、ソーシングカレントミラー６３２又はソーシングカレントミラー６４２のいずれかのゲート端子に印加される。
【0101】
通過ＦＥＴ６３１及び６３２は、該当する場合、極性入力素子６０１によって受信された信号をシンキングカレントミラーに通過させるように構成される。第１の通過ＦＥＴ６３１のゲートに電圧が印加されると、ドレイン－ソース電流が流れ始める。このドレイン－ソース電流は、第２の通過ＦＥＴ６４１を流れるドレイン－ソース電流を決定し、これは、第２の通過ＦＥＴ６４１のゲート－ソース電圧を決定する。次いで、シンキング選択ＦＥＴ６４０がオンになると、通過ＦＥＴ６４１に印加されるこのゲート－ソース電圧は、シンキングカレントミラー６４２に印加され得る。第２の通過ＦＥＴ６４１にかかるゲート－ソース電圧は、極性入力素子６０１によって生成されるゲート－ソース電圧と同一である。
【0102】
高電圧又は低電圧のいずれかが極性選択端子６０２に印加される場合、ソーシング選択ＦＥＴ６３０がオンになるか、又はシンキング選択ＦＥＴ６４０がオンになる。
【0103】
ソーシング選択ＦＥＴ６３０がオンになると、ソーシング選択ＦＥＴ６３０を流れるドレイン－ソース電流が有効になる。結果として、極性入力素子６０１にかかるゲート－ソース電圧は、ソーシングカレントミラー６３２にも印加され、ソーシングカレントミラー６３２をオンにする。ソーシングカレントミラー６３２がオンになると、電流は、正電圧源６１０から極性出力素子６０３に流れ始め、この電流は、極性入力素子６０１によって受け取られるシナプス出力電流と同一である。
【0104】
シンキング選択ＦＥＴ６４０がオンになると、シンキング選択ＦＥＴ６４０を流れるドレイン－ソース電流が有効になる。結果として、極性入力素子６０１にかかるゲート－ソース電圧は、シンキングカレントミラー６４２にも印加され、シンキングカレントミラー６４２をオンにする。シンキングカレントミラー６４２がオンになると、極性出力素子６０３から負電圧源６２０へ電流が流れ始める。したがって、極性入力素子６０１によって受け取られる反転されたシナプス入力電流に等しい電流が、極性出力素子６０３を通って流れる。
【0105】
極性選択回路の使用を通して、スパイキングニューラルネットワークは、一般化された積分発火モデルの１つの可能な実装形態であるコンダクタンスベースの積分発火モデルとして、一般性を失うことなく実装され得る。
【0106】
次に、本発明によって達成できる可能性のある信号パターンについて説明する。
【0107】
本発明によるスパイキングニューラルネットワークは、興奮性／抑制性ネットワーク相互作用条件、入力パターンにおける不均一性、及びシナプス前積分器において実装される時空間ダイナミクスに応じて、広範囲のパターン活動、例えば、完全同期、クラスタ又は非同期状態を示すことができる。
【0108】
図７Ａは、秒単位の時間７０２の関数としてアンペア単位の興奮性シナプス出力電流（又は興奮性シナプス後電流、すなわちシナプスＥＰＳＣ電流）７０１をプロットするグラフ７００を示しており、興奮性シナプス出力電流７０１は、シナプス出力電流２１５、３１５の１つの例示的な実施形態である。
【0109】
図７Ｂ及び図７Ｃは、時空間スパイク列７１１、７２１の電圧（ボルト）を時間（秒）７１２、７２２の関数としてプロットしたグラフ７１０、７２０を示しており、時空間スパイク列は、時空間スパイク列２０４、３０７の例示的な実施形態である。特に、図７Ｂは、ニューロン（ノード）の膜上に電荷を蓄積することがスパイク生成につながることを示す。図７Ｃには、非線形スパイキング挙動及び周波数適応性が示されている。
【0110】
本発明は、集積回路上、特にマイクロコントローラ集積回路上に実装することができる。例えば、コアアレイ内のコアは、マイクロコントローラ集積回路上にネットワークオンチップを形成することができる。ネットワークオンチップは、マイクロコントローラ集積回路のスケーラビリティ及び電力効率を改善する。ネットワークオンチップは、リアルタイムで再構成可能であり得るか、又は生産段階中に静的に定義され得る。ネットワークオンチップがリアルタイムで再構成可能である場合、コアアレイ内のコアの設定及びそれらの相互接続構造設定を変更することができる。この変更は、例えば、マイクロコントローラ集積回路の入力又は出力の変更、分類の精度又は安定性に対する異なる需要、学習規則に基づくネットワークの進化、及び通信プロトコルの変更に基づいて行うことができる。
【0111】
本発明は、シナプス処理機能の最適な面積及び電力設計を可能にする分散型マルチコンポーネントハードウェア構造の実装を提供する。この実装は、スパイキングニューラルネットワーク内の個々の信号処理特性及び機能のコンポーネントごとの最適化を可能にすることによって、シナプス構造次元数の増加を実現することができる。
【0112】
本発明は、アレイ不均一性に対してロバストである面積及び電力効率の良いシナプス前適応機構の実装を提供し、この実装では、入力ニューロンごとに（ｎではなく）単一のスパイク積分器だけが必要とされる。
【0113】
本発明は、シナプス容量変動の影響を最小限に抑えるシナプス前適応（シナプス前積分及び電流生成）機構の実装を提供する。更に、本発明は、その入力電流に範囲のある係数を適用し、入力電流の選択された部分をその出力に送ることによって、デジタル的に記憶された重みをアナログ領域に変換するための効率的な機構の実装を提供する。
【0114】
更に、本発明は、シナプス素子における興奮性出力と抑制性出力との間で選択するための機構の実装を提供する。これは、時間依存計算を実行するために、時間特性の変化などの特定の機能に向けて拡張することができる複雑なダイナミクスを生成することができるシナプス素子の実装を提供する。
【0115】
上記の実施形態のうちの２つ以上が、任意の適切な様式で組み合わせられてもよい。
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図7C】
【手続補正書】
【提出日】2023-06-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数のシナプス前積分器と、複数の重み適用素子と、複数の出力ニューロンと
を備えるスパイキングニューラルネットワークであって、
前記複数のシナプス前積分器の各々が、前記シナプス前積分器において電荷の蓄積を引き起こすシナプス前パルス信号を受信し、シナプス入力信号が所定の時間ダイナミクスを有するように、前記蓄積された電荷に基づいて前記シナプス入力信号を生成するように適合され、
前記複数の重み適用素子のうちの第１のグループの重み適用素子が、前記複数のシナプス前積分器のうちの最初の１つから前記シナプス入力信号を受信するように接続され、
前記第１のグループの重み適用素子の各重み適用素子が、シナプス出力電流を生成するために、前記シナプス入力信号に重み値を適用するように適合され、前記シナプス出力電流の強度が前記適用された重み値の関数であり、
前記複数の出力ニューロンの各々が、前記複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流を受け取り、前記受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号を生成するように接続される、スパイキングニューラルネットワーク。
【請求項2】
前記重み適用素子の各々が、前記シナプス前積分器から前記シナプス入力信号を受信し、前記シナプス入力信号に基づいてシナプス入力電流を生成するように構成されたシナプス入力受信機と、
前記重み値を記憶するように構成された重み記憶素子と、
前記シナプス出力電流を生成するために、前記重み記憶素子に記憶された前記重み値を前記シナプス入力電流に適用するように構成された修正素子と
を含む、重み適用回路を備える、請求項１に記載のスパイキングニューラルネットワーク。
【請求項3】
前記重み記憶素子に記憶された前記重み値が調整可能である、請求項２に記載のスパイキングニューラルネットワーク。
【請求項4】
前記ネットワークが、前記シナプス前パルス信号が前記スパイキングニューラルネットワークの構成に基づいて前記シナプス前積分器に割り当てられるように、シナプス前入力スパイクに基づいて前記シナプス前パルス信号を供給するように構成された行スパイクデコーダを更に備える、請求項１に記載のスパイキングニューラルネットワーク。
【請求項5】
前記スパイキングニューラルネットワークが、前記シナプス前パルス信号を生成する入力ニューロンを含み、前記シナプス前積分器が、異なる入力ニューロンから生じる時間スパイクを多重化する、請求項１に記載のスパイキングニューラルネットワーク。
【請求項6】
前記シナプス前積分器が生成する前記シナプス入力信号の前記所定の時間ダイナミクスが、ＡＭＰＡ、ＮＭＤＡ、ＧＡＢＡＡ、又はＧＡＢＡＢの時間ダイナミクスである、請求項１に記載のスパイキングニューラルネットワーク。
【請求項7】
前記シナプス前積分器が、調整可能な時定数から独立した調整可能な利得を生成し、前記時定数が、前記シナプス前積分器内の前記蓄積された電荷を分離するリーク電流を決定し、前記シナプス前積分器の前記シナプス入力信号の前記時間ダイナミクスを特徴付ける、請求項１に記載のスパイキングニューラルネットワーク。
【請求項8】
前記シナプス前積分器が、前記シナプス入力信号の時間形状を制御する制御信号によって構成可能である、請求項１に記載のスパイキングニューラルネットワーク。
【請求項9】
前記出力ニューロンが、前記ニューロンダイナミクスを制御するためなど、ニューロン制御信号によって制御される、請求項１に記載のスパイキングニューラルネットワーク。
【請求項10】
前記スパイキングニューラルネットワークが、複数の第１のグループの重み適用素子を備え、各第１のグループの重み適用素子内の前記重み適用素子の各々１つが、それぞれのシナプス前積分器から同じシナプス入力信号を受信するように接続され、
各第１のグループの重み適用素子が、前記複数のシナプス前積分器のうちの異なる１つからシナプス入力信号を受信するように接続される、請求項１に記載のスパイキングニューラルネットワーク。
【請求項11】
前記スパイキングニューラルネットワークが複数の入力ニューロンを含み、前記入力ニューロンのそれぞれ１つが、それぞれ第１のグループの重み適用素子にシナプス入力信号を提供するために、シナプス前パルス信号を前記シナプス前積分器のそれぞれ１つに提供するように接続される、請求項１０に記載のスパイキングニューラルネットワーク。
【請求項12】
前記スパイキングニューラルネットワークが、複数の第２のグループの重み適用素子を備え、各第２のグループの重み適用素子が、シナプス出力信号を前記複数の出力ニューロンのうちの異なる１つに提供するように接続される、請求項１０に記載のスパイキングニューラルネットワーク。
【請求項13】
前記スパイキングニューラルネットワークが、完全な同期、クラスタ若しくは非同期状態、入力パターンにおける不均一性、ニューロシナプス素子時空間ダイナミクス、非線形スパイキング挙動及び／又は周波数適応性を含む、使用中の様々なパターン活動を示す、請求項１に記載のスパイキングニューラルネットワーク。
【請求項14】
前記重み適用素子の各々が、極性出力電流を生成するために前記シナプス出力信号を受信するように構成された極性選択素子を更に備える、請求項１に記載のスパイキングニューラルネットワーク。
【請求項15】
前記シナプス前積分器が、複数の前記重み適用素子への入力のためのシナプス入力電流を生成するように構成される、請求項１に記載のスパイキングニューラルネットワーク。
【請求項16】
スパイキングニューラルネットワークのためのシナプス前積分及び重み適用の方法であって、前記スパイキングニューラルネットワークが、複数のシナプス前積分器と、複数の重み適用素子と、複数の出力ニューロンとを備え、前記方法が、前記複数のシナプス前積分器の各々によって、前記シナプス前積分器で電荷の蓄積を引き起こすシナプス前パルス信号を受信することと、
前記複数のシナプス前積分器の各々によって、シナプス入力信号が所定の時間ダイナミクスを有するように、前記蓄積された電荷に基づいて前記シナプス入力信号を生成することと、
前記複数の重み適用素子のうちの第１のグループの重み適用素子によって、前記複数のシナプス前積分器のうちの最初の１つから前記シナプス入力信号を受信することと、
シナプス出力電流を生成するために、前記第１のグループの重み適用素子の各重み適用素子によって前記シナプス入力信号に重み値を適用することであって、前記シナプス出力電流の強度が前記適用された重み値の関数である、適用することと、
前記複数の出力ニューロンの各々によって、前記複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流を受け取り、前記受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号を生成することと
を含む、シナプス前積分及び重み適用の方法。
【請求項17】
前記重み適用素子の各々が、前記シナプス前積分器から前記シナプス入力信号を受信し、前記シナプス入力信号に基づいてシナプス入力電流を生成することと
前記重み値を記憶することと、
前記記憶された重み値を前記シナプス入力電流に適用して、前記シナプス出力電流を生成することと
のために構成された重み適用回路を備える、請求項１６に記載のシナプス前積分及び重み適用の方法。
【請求項18】
前記シナプス前積分器が、調整可能な時定数から独立した調整可能な利得を生成し、前記時定数が、前記シナプス前積分器内の前記蓄積された電荷を分離するリーク電流を決定し、前記シナプス前積分器の前記シナプス入力信号の前記時間ダイナミクスを特徴付ける、請求項１６に記載のシナプス前積分及び重み適用の方法。
【請求項19】
前記スパイキングニューラルネットワークが、複数の第１のグループの重み適用素子を備え、各第１のグループの重み適用素子内の前記重み適用素子の各々１つが、それぞれのシナプス前積分器から同じシナプス入力信号を受信するように接続され、
各第１のグループの重み適用素子が、前記複数のシナプス前積分器のうちの異なる１つからシナプス入力信号を受信するように接続される、請求項１６に記載のシナプス前積分及び重み適用の方法。
【請求項20】
前記スパイキングニューラルネットワークが複数の入力ニューロンを含み、前記入力ニューロンのそれぞれ１つが、それぞれ第１のグループの重み適用素子にシナプス入力信号を提供するために、シナプス前パルス信号を前記シナプス前積分器のそれぞれ１つに提供するように接続される、請求項１９に記載のシナプス前積分及び重み適用の方法。
【請求項21】
前記極性選択素子が、前記シナプス出力電流を複製又は反転するように構成される、請求項１４に記載のスパイキングニューラルネットワーク。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【0115】
上記の実施形態のうちの２つ以上が、任意の適切な様式で組み合わせられてもよい。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［Ｃ１］
複数のシナプス前積分器（２０９）と、複数の重み適用素子（２１０）と、複数の出力ニューロン（２２０）と
を備えるスパイキングニューラルネットワーク（１００）であって、
前記複数のシナプス前積分器（２１３）の各々が、前記シナプス前積分器において電荷の蓄積を引き起こすシナプス前パルス信号（２０４）を受信し、シナプス入力信号が所定の時間ダイナミクスを有するように、前記蓄積された電荷に基づいて前記シナプス入力信号（２１４）を生成するように適合され、
前記複数の重み適用素子（２１０）のうちの第１のグループの重み適用素子（２１１）が、前記複数のシナプス前積分器（２１３）のうちの最初の１つから前記シナプス入力信号（２１４）を受信するように接続され、
前記第１のグループの重み適用素子の各重み適用素子（２１１）が、シナプス出力電流（２１５）を生成するために、前記シナプス入力信号（２１４）に重み値を適用するように適合され、前記シナプス出力電流の強度が前記適用された重み値の関数であり、
前記複数の出力ニューロン（２２２）の各々が、前記複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流（２１４）を受け取り、前記受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号（２２３）を生成するように接続される、スパイキングニューラルネットワーク（１００）。
［Ｃ２］
前記重み適用素子の各々が、
前記シナプス前積分器から前記シナプス入力信号を受信し、前記シナプス入力信号に基づいてシナプス入力電流を生成するように構成されたシナプス入力受信機と、
前記重み値を記憶するように構成された重み記憶素子と、
前記シナプス出力電流を生成するために、前記重み記憶素子に記憶された前記重み値を前記シナプス入力電流に適用するように構成された修正素子と
を含む、重み適用回路を備え、
前記重み値が、好ましくはデジタル形式で記憶され、電流型デジタル－アナログ変換器を介してアナログ領域に変換され、
前記電流型デジタル－アナログ変換器が、好ましくはＲ－２Ｒアーキテクチャに基づき、
電流型デジタル－アナログ変換器が、好ましくは所定の係数を適用して前記シナプス入力電流を減衰させ、前記減衰されたシナプス入力電流に基づいて前記シナプス出力電流を生成する、Ｃ１に記載のスパイキングニューラルネットワーク。
［Ｃ３］
前記重み記憶素子に記憶された前記重み値が調整可能であり、好ましくは、前記重み記憶素子に記憶された前記重み値が学習規則に基づいて調整される、Ｃ２に記載のスパイキングニューラルネットワーク。
［Ｃ４］
前記ネットワークが、前記シナプス前パルス信号が前記スパイキングニューラルネットワークの構成に基づいて前記シナプス前積分器に割り当てられるように、シナプス前入力スパイクに基づいて前記シナプス前パルス信号を供給するように構成された行スパイクデコーダを更に備える、Ｃ１～３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ５］
前記スパイキングニューラルネットワークが、前記シナプス前パルス信号を生成する入力ニューロンを含み、前記シナプス前積分器が、異なる入力ニューロンから生じる時間スパイクを多重化する、Ｃ１～４のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ６］
前記シナプス前積分器が生成する前記シナプス入力信号の前記所定の時間ダイナミクスが、ＡＭＰＡ、ＮＭＤＡ、ＧＡＢＡ Ａ 、又はＧＡＢＡ Ｂ の時間ダイナミクスである、Ｃ１～５のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ７］
前記シナプス前積分器が、調整可能な時定数から独立した調整可能な利得を生成し、前記時定数が、前記シナプス前積分器内の前記蓄積された電荷を分離するリーク電流を決定し、前記シナプス前積分器の前記シナプス入力信号の前記時間ダイナミクスを特徴付ける、Ｃ１～６のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ８］
前記シナプス前積分器が制御信号によって構成可能であり、好ましくは、前記制御信号が前記シナプス入力信号の時間形状を制御する、Ｃ１～７のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ９］
前記出力ニューロンが、前記ニューロンダイナミクスを制御するためなど、ニューロン制御信号によって制御される、Ｃ１～８のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１０］
前記スパイキングニューラルネットワークが、複数の第１のグループの重み適用素子を備え、
各第１のグループの重み適用素子内の前記重み適用素子の各々１つが、それぞれのシナプス前積分器から同じシナプス入力信号を受信するように接続され、
各第１のグループの重み適用素子が、前記複数のシナプス前積分器のうちの異なる１つからシナプス入力信号を受信するように接続される、Ｃ１～９のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１１］
前記スパイキングニューラルネットワークが複数の入力ニューロンを含み、前記入力ニューロンのそれぞれ１つが、それぞれ第１のグループの重み適用素子にシナプス入力信号を提供するために、シナプス前パルス信号を前記シナプス前積分器のそれぞれ１つに提供するように接続される、Ｃ１０に記載のスパイキングニューラルネットワーク。
［Ｃ１２］
前記スパイキングニューラルネットワークが、複数の第２のグループの重み適用素子を備え、各第２のグループの重み適用素子が、シナプス出力信号を前記複数の出力ニューロンのうちの異なる１つに提供するように接続される、Ｃ１～１１のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１３］
前記スパイキングニューラルネットワークが、完全な同期、クラスタ若しくは非同期状態、入力パターンにおける不均一性、ニューロシナプス素子時空間ダイナミクス、非線形スパイキング挙動及び／又は周波数適応性を含む、使用中の様々なパターン活動を示す、Ｃ１～１２のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１４］
複数の重み適用素子への入力のためのシナプス入力電流を生成するように構成されたシナプス前積分回路であって、
シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信するように構成された入力素子であって、好ましくは、前記シナプス前パルス信号が時空間スパイク列である、入力素子と、
前記シナプス前パルス信号に応答して電荷を蓄積するように構成されたキャパシタと、
前記キャパシタによって蓄積された前記電荷の少なくとも一部を放電するように構成されたリーク素子と、
前記複数の重み適用素子に供給するために、前記キャパシタによって蓄積された前記電荷に基づいて前記シナプス入力信号を生成するように構成された出力素子と
を備える、シナプス前積分回路。
［Ｃ１５］
前記シナプス入力信号の前記時間ダイナミクスを制御するように適合された制御素子を更に備え、前記制御素子が、
制御信号、好ましくは制御電圧を受信し、
前記制御信号に基づいて前記キャパシタによる電荷の蓄積を調節し、
前記キャパシタ上の最大電荷を制御することによって、前記シナプス入力信号の最大振幅を調節する
ように構成される、Ｃ１４に記載のシナプス前積分回路。
［Ｃ１６］
後続の重み適用のためのシナプス入力信号を生成するように構成されたシナプス前積分回路であって、
シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信するように構成された入力素子であって、前記シナプス前パルス信号が時空間スパイク列である、入力素子と、
前記時空間スパイク列内のスパイクに基づいて電荷を蓄積するように構成されたキャパシタと、
前記キャパシタによって蓄積された前記電荷の少なくとも一部を放電するように構成されたリーク素子と、
前記キャパシタによって蓄積された前記電荷に基づいて前記シナプス入力信号を生成するように構成された出力素子と、
前記シナプス入力信号の前記生成が前記時空間スパイク列によって制御されるように、前記シナプス前パルス信号に基づいて前記出力素子によって実施される前記シナプス入力信号の前記生成を制御するように構成された出力制御素子であって、好ましくは前記シナプス入力信号が前記時空間スパイク列のスパイク中に生成されない、出力制御素子と、
制御信号、好ましくは制御電圧を受信し、
前記キャパシタによって蓄積される電荷の量が前記時空間スパイク列におけるスパイクの持続時間及び前記キャパシタの容量値、好ましくは前記キャパシタの製造ばらつきに依存しないように、前記キャパシタによる電荷の蓄積を調節し、
前記キャパシタ上の最大電荷を制御することによって、前記シナプス入力信号の時間形状及び最大振幅を調節する
ように構成された制御素子と
を備える、シナプス前積分回路。
［Ｃ１７］
前記出力制御素子が、電界効果トランジスタ及びインバータを備え、前記インバータが、前記シナプス前入力信号に基づいて前記出力制御素子の前記電界効果トランジスタのゲート－ソース電圧を印加するように構成され、好ましくは、前記ゲート－ソース電圧が、前記シナプス前入力信号がスパイキングしていないときに印加され、前記シナプス入力信号が、前記出力制御素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流によって生成される、Ｃ１６に記載のシナプス前積分回路。
［Ｃ１８］
前記リーク素子が、時定数によって制御され、好ましくは、前記時定数が、ＡＭＰＡ、ＮＭＤＡ、ＧＡＢＡ Ａ 又はＧＡＢＡ Ｂ の時間ダイナミクスを特徴付ける、Ｃ１４～１７のいずれか一項に記載のシナプス前積分回路。
［Ｃ１９］
前記リーク素子が電界効果トランジスタを備え、前記時定数が前記リーク素子の前記電界効果トランジスタの前記ゲート－ソース電圧であり、前記キャパシタが前記リーク素子の前記電界効果トランジスタの前記ドレイン－ソース電流によって放電される、Ｃ１８に記載のシナプス前積分回路。
［Ｃ２０］
前記入力素子が、電界効果トランジスタを備え、前記シナプス前パルス信号が、前記入力素子の前記電界効果トランジスタの前記ゲート－ソース電圧であり、前記入力素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流が、前記キャパシタを充電する、Ｃ１４～１９のいずれか一項に記載のシナプス前積分回路。
［Ｃ２１］
前記出力素子が、電界効果トランジスタを備え、前記キャパシタによって蓄積された前記電荷が、前記出力素子の前記電界効果トランジスタの前記ゲート－ソース電圧を生成し、前記出力素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流が、前記シナプス入力信号を生成する、Ｃ１４～２０のいずれか一項に記載のシナプス前積分回路。
［Ｃ２２］
前記制御素子が電界効果トランジスタを備え、前記制御信号が前記制御素子の前記電界効果トランジスタの前記ゲート－ソース電圧であり、前記キャパシタが前記制御素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流によって充電される、Ｃ１４～２０のいずれか一項に記載のシナプス前積分回路。
［Ｃ２３］
前記出力素子が、電圧領域において前記シナプス入力信号を生成するように構成された出力カレントミラー、又は、
前記電圧領域において前記シナプス入力信号を生成するように構成された出力カスコードカレントミラーであって、結果として生じる前記シナプス入力信号が２つの電圧信号を含む、出力カスコードカレントミラー
を更に備える、Ｃ１４～２２のいずれか一項に記載のシナプス前積分回路。
［Ｃ２４］
前記シナプス入力信号が、前記キャパシタが放電されているときに指数関数的に減少する、Ｃ１４～２３のいずれか一項に記載のシナプス前積分回路。
［Ｃ２５］
シナプス出力電流を複製又は反転するように構成された極性選択回路であって、
前記シナプス出力電流を受け取るように構成された極性入力素子と、
極性入力信号に基づいてソーシング又はシンキングカレントミラーを選択するように構成された極性選択端子であって、
前記ソーシングカレントミラーが、前記シナプス出力電流を複製するように構成され、
前記シンキングカレントミラーが、前記シナプス出力電流を反転させるように構成された、極性選択端子と、
前記複製又は反転されたシナプス出力電流に基づいて極性出力電流を生成する極性出力素子と
を備える、極性選択回路。
［Ｃ２６］
前記重み適用素子の各々が、極性選択素子を更に備え、前記極性選択素子が、Ｃ２６に記載の前記極性選択回路を備え、それにより、Ｃ１～１３のいずれか一項からの前記シナプス出力信号が前記極性選択回路によって使用されて前記極性出力電流が生成され、好ましくは、前記入力ニューロンが前記極性出力電流を受け取り、前記複製されたシナプス出力電流が興奮性シナプス出力信号に対応し、前記反転されたシナプス出力電流が抑制性シナプス出力信号に対応する、Ｃ１～１３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ２７］
前記シナプス前積分器が、Ｃ１４～２４のいずれか一項に記載のシナプス前積分回路を備える、Ｃ２６に記載のスパイキングニューラルネットワーク。
［Ｃ２８］
スパイキングニューラルネットワークのためのシナプス前積分及び重み適用の方法であって、前記スパイキングニューラルネットワークが、複数のシナプス前積分器（２０９）と、複数の重み適用素子（２１０）と、複数の出力ニューロン（２２０）とを備え、前記方法が、
前記複数のシナプス前積分器（２１３）の各々によって、前記シナプス前積分器で電荷の蓄積を引き起こすシナプス前パルス信号（２０４）を受信することと、
前記複数のシナプス前積分器（２１３）の各々によって、シナプス入力信号が所定の時間ダイナミクスを有するように、前記蓄積された電荷に基づいて前記シナプス入力信号（２１４）を生成することと、
前記複数の重み適用素子（２１０）のうちの第１のグループの重み適用素子（２１１）によって、前記複数のシナプス前積分器（２１３）のうちの最初の１つから前記シナプス入力信号（２１４）を受信することと、
シナプス出力電流（２１５）を生成するために、前記第１のグループの重み適用素子の各重み適用素子（２１１）によって前記シナプス入力信号（２１４）に重み値を適用することであって、前記シナプス出力電流の強度が前記適用された重み値の関数である、適用することと、
前記複数の出力ニューロン（２２２）の各々によって、前記複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流（２１４）を受け取り、前記受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号（２２３）を生成することと
を含む、シナプス前積分及び重み適用の方法。
［Ｃ２９］
前記重み適用素子の各々が、
前記シナプス前積分器から前記シナプス入力信号を受信し、前記シナプス入力信号に基づいてシナプス入力電流を生成することと
前記重み値を記憶することと、
前記記憶された重み値を前記シナプス入力電流に適用して、前記シナプス出力電流を生成することと
のために適合された重み適用回路を備える、Ｃ２８に記載のシナプス前積分及び重み適用の方法。
［Ｃ３０］
前記シナプス前積分器が、調整可能な時定数から独立した調整可能な利得を生成し、前記時定数が、前記シナプス前積分器内の前記蓄積された電荷を分離するリーク電流を決定し、前記シナプス前積分器の前記シナプス入力信号の前記時間ダイナミクスを特徴付ける、Ｃ２８又は２９に記載のシナプス前積分及び重み適用の方法。
［Ｃ３１］
前記スパイキングニューラルネットワークが、複数の第１のグループの重み適用素子を備え、
各第１のグループの重み適用素子内の前記重み適用素子の各々１つが、それぞれのシナプス前積分器から同じシナプス入力信号を受信するように接続され、
各第１のグループの重み適用素子が、前記複数のシナプス前積分器のうちの異なる１つからシナプス入力信号を受信するように接続される、Ｃ２８～３０のいずれか一項に記載のシナプス前積分及び重み適用の方法。
［Ｃ３２］
前記スパイキングニューラルネットワークが複数の入力ニューロンを含み、前記入力ニューロンのそれぞれ１つが、それぞれ第１のグループの重み適用素子にシナプス入力信号を提供するために、シナプス前パルス信号を前記シナプス前積分器のそれぞれ１つに提供するように接続される、Ｃ３１に記載のシナプス前積分及び重み適用の方法。
［Ｃ３３］
スパイキングニューラルネットワークのためのシナプス前積分の方法であって、
複数の重み適用素子への入力のためのシナプス入力電流を生成するように構成されたシナプス前積分回路を提供することと、
シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信することであって、好ましくは、前記シナプス前パルス信号が時空間スパイク列である、受信することと、
前記シナプス前パルス信号に応答して電荷を蓄積することと、
蓄積された前記電荷の少なくとも一部をリーク素子を通じて放電することと、
前記複数の重み適用素子に供給するために、蓄積された前記電荷に基づいてシナプス入力信号を生成することと
を含む、方法。
［Ｃ３４］
スパイキングニューラルネットワークのためのシナプス前積分の方法であって、
後続の重み適用のためのシナプス入力信号を生成するように構成されたシナプス前積分回路を提供することと、
シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信することであって、前記シナプス前パルス信号が時空間スパイク列である、受信することと、
前記時空間スパイク列内のスパイクに基づいて電荷をキャパシタによって蓄積することと、
前記キャパシタによって蓄積された前記電荷の少なくとも一部をリーク素子を通じて放電することと、
前記キャパシタによって蓄積された前記電荷に基づいて前記シナプス入力信号を生成することと、
前記シナプス入力信号の前記生成が前記時空間スパイク列によって制御されるように、前記シナプス前パルス信号に基づいて前記出力素子によって実施される前記シナプス入力信号の前記生成を制御することであって、好ましくは前記シナプス入力信号が前記時空間スパイク列のスパイク中に生成されない、制御することと、
制御信号、好ましくは制御電圧を受信し、
前記キャパシタによって蓄積される電荷の量が前記時空間スパイク列におけるスパイクの持続時間及び前記キャパシタの容量値、好ましくは前記キャパシタの製造ばらつきに依存しないように、電荷の前記蓄積を調節し、
前記キャパシタ上の最大電荷を制御することによって、前記シナプス入力信号の時間形状及び最大振幅を調節する、
ように構成された制御素子を提供することと
を含む、方法。
［Ｃ３５］
シナプス出力電流を複製又は反転するように構成された極性選択回路を提供することと、
前記シナプス出力電流を受信することと、
極性入力信号に基づいてソーシング又はシンキングカレントミラーを選択することと、
前記シナプス出力電流を複製すること及び／又は前記シナプス出力電流を反転させることと、
前記複製又は反転されたシナプス出力電流に基づいて極性出力電流を生成することと
を含む、極性選択のための方法。
［Ｃ３６］
Ｃ１～１３、２６～２７のいずれか一項に記載のスパイキングニューラルネットワークを使用して入力信号を分類する方法。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［Ｃ１］
複数のシナプス前積分器（２０９）と、複数の重み適用素子（２１０）と、複数の出力ニューロン（２２０）と
を備えるスパイキングニューラルネットワーク（１００）であって、
前記複数のシナプス前積分器（２１３）の各々が、前記シナプス前積分器において電荷の蓄積を引き起こすシナプス前パルス信号（２０４）を受信し、シナプス入力信号が所定の時間ダイナミクスを有するように、前記蓄積された電荷に基づいて前記シナプス入力信号（２１４）を生成するように適合され、
前記複数の重み適用素子（２１０）のうちの第１のグループの重み適用素子（２１１）が、前記複数のシナプス前積分器（２１３）のうちの最初の１つから前記シナプス入力信号（２１４）を受信するように接続され、
前記第１のグループの重み適用素子の各重み適用素子（２１１）が、シナプス出力電流（２１５）を生成するために、前記シナプス入力信号（２１４）に重み値を適用するように適合され、前記シナプス出力電流の強度が前記適用された重み値の関数であり、
前記複数の出力ニューロン（２２２）の各々が、前記複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流（２１４）を受け取り、前記受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号（２２３）を生成するように接続される、スパイキングニューラルネットワーク（１００）。
［Ｃ２］
前記重み適用素子の各々が、
前記シナプス前積分器から前記シナプス入力信号を受信し、前記シナプス入力信号に基づいてシナプス入力電流を生成するように構成されたシナプス入力受信機と、
前記重み値を記憶するように構成された重み記憶素子と、
前記シナプス出力電流を生成するために、前記重み記憶素子に記憶された前記重み値を前記シナプス入力電流に適用するように構成された修正素子と
を含む、重み適用回路を備え、
前記重み値が、好ましくはデジタル形式で記憶され、電流型デジタル－アナログ変換器を介してアナログ領域に変換され、
前記電流型デジタル－アナログ変換器が、好ましくはＲ－２Ｒアーキテクチャに基づき、
電流型デジタル－アナログ変換器が、好ましくは所定の係数を適用して前記シナプス入力電流を減衰させ、前記減衰されたシナプス入力電流に基づいて前記シナプス出力電流を生成する、Ｃ１に記載のスパイキングニューラルネットワーク。
［Ｃ３］
前記重み記憶素子に記憶された前記重み値が調整可能であり、好ましくは、前記重み記憶素子に記憶された前記重み値が学習規則に基づいて調整される、Ｃ２に記載のスパイキングニューラルネットワーク。
［Ｃ４］
前記ネットワークが、前記シナプス前パルス信号が前記スパイキングニューラルネットワークの構成に基づいて前記シナプス前積分器に割り当てられるように、シナプス前入力スパイクに基づいて前記シナプス前パルス信号を供給するように構成された行スパイクデコーダを更に備える、Ｃ１～３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ５］
前記スパイキングニューラルネットワークが、前記シナプス前パルス信号を生成する入力ニューロンを含み、前記シナプス前積分器が、異なる入力ニューロンから生じる時間スパイクを多重化する、Ｃ１～４のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ６］
前記シナプス前積分器が生成する前記シナプス入力信号の前記所定の時間ダイナミクスが、ＡＭＰＡ、ＮＭＤＡ、ＧＡＢＡ Ａ 、又はＧＡＢＡ Ｂ の時間ダイナミクスである、Ｃ１～５のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ７］
前記シナプス前積分器が、調整可能な時定数から独立した調整可能な利得を生成し、前記時定数が、前記シナプス前積分器内の前記蓄積された電荷を分離するリーク電流を決定し、前記シナプス前積分器の前記シナプス入力信号の前記時間ダイナミクスを特徴付ける、Ｃ１～６のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ８］
前記シナプス前積分器が制御信号によって構成可能であり、好ましくは、前記制御信号が前記シナプス入力信号の時間形状を制御する、Ｃ１～７のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ９］
前記出力ニューロンが、前記ニューロンダイナミクスを制御するためなど、ニューロン制御信号によって制御される、Ｃ１～８のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１０］
前記スパイキングニューラルネットワークが、複数の第１のグループの重み適用素子を備え、
各第１のグループの重み適用素子内の前記重み適用素子の各々１つが、それぞれのシナプス前積分器から同じシナプス入力信号を受信するように接続され、
各第１のグループの重み適用素子が、前記複数のシナプス前積分器のうちの異なる１つからシナプス入力信号を受信するように接続される、Ｃ１～９のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１１］
前記スパイキングニューラルネットワークが複数の入力ニューロンを含み、前記入力ニューロンのそれぞれ１つが、それぞれ第１のグループの重み適用素子にシナプス入力信号を提供するために、シナプス前パルス信号を前記シナプス前積分器のそれぞれ１つに提供するように接続される、Ｃ１０に記載のスパイキングニューラルネットワーク。
［Ｃ１２］
前記スパイキングニューラルネットワークが、複数の第２のグループの重み適用素子を備え、各第２のグループの重み適用素子が、シナプス出力信号を前記複数の出力ニューロンのうちの異なる１つに提供するように接続される、Ｃ１～１１のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１３］
前記スパイキングニューラルネットワークが、完全な同期、クラスタ若しくは非同期状態、入力パターンにおける不均一性、ニューロシナプス素子時空間ダイナミクス、非線形スパイキング挙動及び／又は周波数適応性を含む、使用中の様々なパターン活動を示す、Ｃ１～１２のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１４］
複数の重み適用素子への入力のためのシナプス入力電流を生成するように構成されたシナプス前積分回路であって、
シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信するように構成された入力素子であって、好ましくは、前記シナプス前パルス信号が時空間スパイク列である、入力素子と、
前記シナプス前パルス信号に応答して電荷を蓄積するように構成されたキャパシタと、
前記キャパシタによって蓄積された前記電荷の少なくとも一部を放電するように構成されたリーク素子と、
前記複数の重み適用素子に供給するために、前記キャパシタによって蓄積された前記電荷に基づいて前記シナプス入力信号を生成するように構成された出力素子と
を備える、シナプス前積分回路。
［Ｃ１５］
前記シナプス入力信号の前記時間ダイナミクスを制御するように適合された制御素子を更に備え、前記制御素子が、
制御信号、好ましくは制御電圧を受信し、
前記制御信号に基づいて前記キャパシタによる電荷の蓄積を調節し、
前記キャパシタ上の最大電荷を制御することによって、前記シナプス入力信号の最大振幅を調節する
ように構成される、Ｃ１４に記載のシナプス前積分回路。
［Ｃ１６］
後続の重み適用のためのシナプス入力信号を生成するように構成されたシナプス前積分回路であって、
シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信するように構成された入力素子であって、前記シナプス前パルス信号が時空間スパイク列である、入力素子と、
前記時空間スパイク列内のスパイクに基づいて電荷を蓄積するように構成されたキャパシタと、
前記キャパシタによって蓄積された前記電荷の少なくとも一部を放電するように構成されたリーク素子と、
前記キャパシタによって蓄積された前記電荷に基づいて前記シナプス入力信号を生成するように構成された出力素子と、
前記シナプス入力信号の前記生成が前記時空間スパイク列によって制御されるように、前記シナプス前パルス信号に基づいて前記出力素子によって実施される前記シナプス入力信号の前記生成を制御するように構成された出力制御素子であって、好ましくは前記シナプス入力信号が前記時空間スパイク列のスパイク中に生成されない、出力制御素子と、
制御信号、好ましくは制御電圧を受信し、
前記キャパシタによって蓄積される電荷の量が前記時空間スパイク列におけるスパイクの持続時間及び前記キャパシタの容量値、好ましくは前記キャパシタの製造ばらつきに依存しないように、前記キャパシタによる電荷の蓄積を調節し、
前記キャパシタ上の最大電荷を制御することによって、前記シナプス入力信号の時間形状及び最大振幅を調節する
ように構成された制御素子と
を備える、シナプス前積分回路。
［Ｃ１７］
前記出力制御素子が、電界効果トランジスタ及びインバータを備え、前記インバータが、前記シナプス前入力信号に基づいて前記出力制御素子の前記電界効果トランジスタのゲート－ソース電圧を印加するように構成され、好ましくは、前記ゲート－ソース電圧が、前記シナプス前入力信号がスパイキングしていないときに印加され、前記シナプス入力信号が、前記出力制御素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流によって生成される、Ｃ１６に記載のシナプス前積分回路。
［Ｃ１８］
前記リーク素子が、時定数によって制御され、好ましくは、前記時定数が、ＡＭＰＡ、ＮＭＤＡ、ＧＡＢＡ Ａ 又はＧＡＢＡ Ｂ の時間ダイナミクスを特徴付ける、Ｃ１４～１７のいずれか一項に記載のシナプス前積分回路。
［Ｃ１９］
前記リーク素子が電界効果トランジスタを備え、前記時定数が前記リーク素子の前記電界効果トランジスタの前記ゲート－ソース電圧であり、前記キャパシタが前記リーク素子の前記電界効果トランジスタの前記ドレイン－ソース電流によって放電される、Ｃ１８に記載のシナプス前積分回路。
［Ｃ２０］
前記入力素子が、電界効果トランジスタを備え、前記シナプス前パルス信号が、前記入力素子の前記電界効果トランジスタの前記ゲート－ソース電圧であり、前記入力素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流が、前記キャパシタを充電する、Ｃ１４～１９のいずれか一項に記載のシナプス前積分回路。
［Ｃ２１］
前記出力素子が、電界効果トランジスタを備え、前記キャパシタによって蓄積された前記電荷が、前記出力素子の前記電界効果トランジスタの前記ゲート－ソース電圧を生成し、前記出力素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流が、前記シナプス入力信号を生成する、Ｃ１４～２０のいずれか一項に記載のシナプス前積分回路。
［Ｃ２２］
前記制御素子が電界効果トランジスタを備え、前記制御信号が前記制御素子の前記電界効果トランジスタの前記ゲート－ソース電圧であり、前記キャパシタが前記制御素子の前記電界効果トランジスタを流れる前記ドレイン－ソース電流によって充電される、Ｃ１４～２０のいずれか一項に記載のシナプス前積分回路。
［Ｃ２３］
前記出力素子が、電圧領域において前記シナプス入力信号を生成するように構成された出力カレントミラー、又は、
前記電圧領域において前記シナプス入力信号を生成するように構成された出力カスコードカレントミラーであって、結果として生じる前記シナプス入力信号が２つの電圧信号を含む、出力カスコードカレントミラー
を更に備える、Ｃ１４～２２のいずれか一項に記載のシナプス前積分回路。
［Ｃ２４］
前記シナプス入力信号が、前記キャパシタが放電されているときに指数関数的に減少する、Ｃ１４～２３のいずれか一項に記載のシナプス前積分回路。
［Ｃ２５］
シナプス出力電流を複製又は反転するように構成された極性選択回路であって、
前記シナプス出力電流を受け取るように構成された極性入力素子と、
極性入力信号に基づいてソーシング又はシンキングカレントミラーを選択するように構成された極性選択端子であって、
前記ソーシングカレントミラーが、前記シナプス出力電流を複製するように構成され、
前記シンキングカレントミラーが、前記シナプス出力電流を反転させるように構成された、極性選択端子と、
前記複製又は反転されたシナプス出力電流に基づいて極性出力電流を生成する極性出力素子と
を備える、極性選択回路。
［Ｃ２６］
前記重み適用素子の各々が、極性選択素子を更に備え、前記極性選択素子が、Ｃ２６に記載の前記極性選択回路を備え、それにより、Ｃ１～１３のいずれか一項からの前記シナプス出力信号が前記極性選択回路によって使用されて前記極性出力電流が生成され、好ましくは、前記入力ニューロンが前記極性出力電流を受け取り、前記複製されたシナプス出力電流が興奮性シナプス出力信号に対応し、前記反転されたシナプス出力電流が抑制性シナプス出力信号に対応する、Ｃ１～１３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ２７］
前記シナプス前積分器が、Ｃ１４～２４のいずれか一項に記載のシナプス前積分回路を備える、Ｃ２６に記載のスパイキングニューラルネットワーク。
［Ｃ２８］
スパイキングニューラルネットワークのためのシナプス前積分及び重み適用の方法であって、前記スパイキングニューラルネットワークが、複数のシナプス前積分器（２０９）と、複数の重み適用素子（２１０）と、複数の出力ニューロン（２２０）とを備え、前記方法が、
前記複数のシナプス前積分器（２１３）の各々によって、前記シナプス前積分器で電荷の蓄積を引き起こすシナプス前パルス信号（２０４）を受信することと、
前記複数のシナプス前積分器（２１３）の各々によって、シナプス入力信号が所定の時間ダイナミクスを有するように、前記蓄積された電荷に基づいて前記シナプス入力信号（２１４）を生成することと、
前記複数の重み適用素子（２１０）のうちの第１のグループの重み適用素子（２１１）によって、前記複数のシナプス前積分器（２１３）のうちの最初の１つから前記シナプス入力信号（２１４）を受信することと、
シナプス出力電流（２１５）を生成するために、前記第１のグループの重み適用素子の各重み適用素子（２１１）によって前記シナプス入力信号（２１４）に重み値を適用することであって、前記シナプス出力電流の強度が前記適用された重み値の関数である、適用することと、
前記複数の出力ニューロン（２２２）の各々によって、前記複数の重み適用素子のうちの第２のグループの重み適用素子からシナプス出力電流（２１４）を受け取り、前記受け取った１つ以上のシナプス出力電流に基づいて時空間スパイク列出力信号（２２３）を生成することと
を含む、シナプス前積分及び重み適用の方法。
［Ｃ２９］
前記重み適用素子の各々が、
前記シナプス前積分器から前記シナプス入力信号を受信し、前記シナプス入力信号に基づいてシナプス入力電流を生成することと
前記重み値を記憶することと、
前記記憶された重み値を前記シナプス入力電流に適用して、前記シナプス出力電流を生成することと
のために適合された重み適用回路を備える、Ｃ２８に記載のシナプス前積分及び重み適用の方法。
［Ｃ３０］
前記シナプス前積分器が、調整可能な時定数から独立した調整可能な利得を生成し、前記時定数が、前記シナプス前積分器内の前記蓄積された電荷を分離するリーク電流を決定し、前記シナプス前積分器の前記シナプス入力信号の前記時間ダイナミクスを特徴付ける、Ｃ２８又は２９に記載のシナプス前積分及び重み適用の方法。
［Ｃ３１］
前記スパイキングニューラルネットワークが、複数の第１のグループの重み適用素子を備え、
各第１のグループの重み適用素子内の前記重み適用素子の各々１つが、それぞれのシナプス前積分器から同じシナプス入力信号を受信するように接続され、
各第１のグループの重み適用素子が、前記複数のシナプス前積分器のうちの異なる１つからシナプス入力信号を受信するように接続される、Ｃ２８～３０のいずれか一項に記載のシナプス前積分及び重み適用の方法。
［Ｃ３２］
前記スパイキングニューラルネットワークが複数の入力ニューロンを含み、前記入力ニューロンのそれぞれ１つが、それぞれ第１のグループの重み適用素子にシナプス入力信号を提供するために、シナプス前パルス信号を前記シナプス前積分器のそれぞれ１つに提供するように接続される、Ｃ３１に記載のシナプス前積分及び重み適用の方法。
［Ｃ３３］
スパイキングニューラルネットワークのためのシナプス前積分の方法であって、
複数の重み適用素子への入力のためのシナプス入力電流を生成するように構成されたシナプス前積分回路を提供することと、
シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信することであって、好ましくは、前記シナプス前パルス信号が時空間スパイク列である、受信することと、
前記シナプス前パルス信号に応答して電荷を蓄積することと、
蓄積された前記電荷の少なくとも一部をリーク素子を通じて放電することと、
前記複数の重み適用素子に供給するために、蓄積された前記電荷に基づいてシナプス入力信号を生成することと
を含む、方法。
［Ｃ３４］
スパイキングニューラルネットワークのためのシナプス前積分の方法であって、
後続の重み適用のためのシナプス入力信号を生成するように構成されたシナプス前積分回路を提供することと、
シナプス前パルス信号、好ましくはシナプス前パルス電圧を受信することであって、前記シナプス前パルス信号が時空間スパイク列である、受信することと、
前記時空間スパイク列内のスパイクに基づいて電荷をキャパシタによって蓄積することと、
前記キャパシタによって蓄積された前記電荷の少なくとも一部をリーク素子を通じて放電することと、
前記キャパシタによって蓄積された前記電荷に基づいて前記シナプス入力信号を生成することと、
前記シナプス入力信号の前記生成が前記時空間スパイク列によって制御されるように、前記シナプス前パルス信号に基づいて前記出力素子によって実施される前記シナプス入力信号の前記生成を制御することであって、好ましくは前記シナプス入力信号が前記時空間スパイク列のスパイク中に生成されない、制御することと、
制御信号、好ましくは制御電圧を受信し、
前記キャパシタによって蓄積される電荷の量が前記時空間スパイク列におけるスパイクの持続時間及び前記キャパシタの容量値、好ましくは前記キャパシタの製造ばらつきに依存しないように、電荷の前記蓄積を調節し、
前記キャパシタ上の最大電荷を制御することによって、前記シナプス入力信号の時間形状及び最大振幅を調節する、
ように構成された制御素子を提供することと
を含む、方法。
［Ｃ３５］
シナプス出力電流を複製又は反転するように構成された極性選択回路を提供することと、
前記シナプス出力電流を受信することと、
極性入力信号に基づいてソーシング又はシンキングカレントミラーを選択することと、
前記シナプス出力電流を複製すること及び／又は前記シナプス出力電流を反転させることと、
前記複製又は反転されたシナプス出力電流に基づいて極性出力電流を生成することと
を含む、極性選択のための方法。
［Ｃ３６］
Ｃ１～１３、２６～２７のいずれか一項に記載のスパイキングニューラルネットワークを使用して入力信号を分類する方法。
【国際調査報告】