特許 7569133 シナプス再利用を伴う人工知能ハードウェア

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-08

(45)【発行日】2024-10-17

(54)【発明の名称】シナプス再利用を伴う人工知能ハードウェア

(51)【国際特許分類】

   G06N 3/049 20230101AFI20241009BHJP

   G06N 3/063 20230101ALI20241009BHJP

【ＦＩ】

G06N3/049

G06N3/063

【請求項の数】 20

(21)【出願番号】P 2022520174

(86)(22)【出願日】2020-09-21

(65)【公表番号】

(43)【公表日】2022-12-21

(86)【国際出願番号】 IB2020058760

(87)【国際公開番号】W WO2021064506

(87)【国際公開日】2021-04-08

【審査請求日】2023-02-24

(31)【優先権主張番号】16/592,130

(32)【優先日】2019-10-03

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(72)【発明者】

【氏名】ロイ、サブフラジット

【審査官】佐藤 直樹

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０００５１０８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／００８９５５７（ＵＳ，Ａ１）

【文献】特開２０１８－１３６９１９（ＪＰ，Ａ）

【文献】特表２０１６－５３７７１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０４９

Ｇ０６Ｎ ３／０６３

(57)【特許請求の範囲】

【請求項1】

複数の人工ニューロンと、
前記複数の人工ニューロンのうち対応する１つにそれぞれが関連付けられている複数の人工シナプスと、
複数の人工ニューロンのうちの対応する１つにそれぞれが関連付けられている複数の可変利得増幅器と、
複数の入力ソースのうち少なくとも１つを、対応する可変利得増幅器および対応する人工シナプスを介して前記複数の人工ニューロンのそれぞれに接続し、時計信号を生成するように構成されているルータと、
時分割スキーマ、前記時計信号および所与の時間の間にスパイクを送信する入力ソースのアイデンティティに基づいて前記複数の可変利得増幅器のそれぞれに利得を設定するように構成されている利得構成コントローラと
を含み、
前記時計信号は、前記スパイクおよび設定する利得が同期して受信および増幅されるように前記ルータおよび前記可変利得増幅器を駆動する、回路。

【請求項2】

前記複数の人工ニューロンのうちの所与の人工ニューロンに接続されている多数の入力ソースは、前記時分割スキーマと前記複数の入力ソースからのスパイク送信速度とに基づく、請求項１に記載の回路。

【請求項3】

前記ルータおよび前記利得構成コントローラは、前記複数の人工ニューロンの第１の人工ニューロンが第１の利得で前記複数の入力ソースの第１の入力ソースから第１のスパイクを受信し、前記複数の人工ニューロンの第２の人工ニューロンが前記第１の利得とは独立して設定された第２の利得で前記複数の入力ソースの第１の入力ソースから前記第１のスパイクを受信することを可能にする、請求項１に記載の回路。

【請求項4】

前記ルータおよび前記利得構成コントローラは、前記複数の人工ニューロンの第１の人工ニューロンが第１の時間の間に前記複数の入力ソースの第１の入力ソースから第１のスパイクを受信し、前記複数の人工ニューロンの第２の人工ニューロンが前記第１の時間で前記複数の入力ソースの第２の入力ソースから第２のスパイクを受信することを可能にする、請求項１に記載の回路。

【請求項5】

前記複数の入力ソースの第１の入力ソースは、第１の送信速度でスパイクを送信し、前記複数の入力ソースの第２の入力ソースは、前記第１の送信速度とは異なる第２の送信速度でスパイクを送信する、請求項１に記載の回路。

【請求項6】

前記ルータは、前記複数の入力ソースからの入力スパイクを受信して格納するレジスタを含み、前記レジスタは、前記時分割スキーマに基づいて前記入力スパイクを前記レジスタから再送信するように構成される、請求項１に記載の回路。

【請求項7】

前記ルータおよび前記利得構成コントローラは、前記複数の人工ニューロンの第１の人工ニューロンが第１の利得で前記複数の入力ソースの第１の入力ソースから第１のスパイクを受信し、前記第１の人工ニューロンが前記第１の利得とは独立して設定された第２の利得で前記複数の入力ソースの第２の入力ソースから第２のスパイクを受信することを可能にする、請求項１に記載の回路。

【請求項8】

前記複数の人工ニューロン、前記複数の人工シナプス、前記複数の可変利得増幅器、ルータ、および前記利得構成コントローラは、単一の集積回路上に画定される、請求項１に記載の回路。

【請求項9】

複数の人工ニューロンと、
前記複数の人工ニューロンのうち対応する１つにそれぞれが関連付けられている複数の人工シナプスと、
複数の人工ニューロンのうちの対応する１つにそれぞれが関連付けられている複数の可変利得増幅器と、
複数の入力ソースのうち少なくとも１つを、対応する可変利得増幅器および対応する人工シナプスを介して前記複数の人工ニューロンのそれぞれに接続するように構成されているルータと、
時分割スキーマおよび所与の時間の間にスパイクを送信する入力ソースのアイデンティティに基づいて前記複数の可変利得増幅器のそれぞれに利得を設定するように構成されている利得構成コントローラと
を含み、
前記複数の可変利得増幅器のそれぞれは、対応する人工ニューロンに対して対応する１つの人工シナプスの上流に配置される、回路。

【請求項10】

スパイキング・ニューラル・ネットワーク（ＳＮＮ）内のニューロンを訓練することと、
訓練に基づいて入力ソースの時分割スキーマを前記ニューロンに割り当てることと、
前記訓練に基づいて、時分割スキーマ内のニューロンの利得を割り当てることと、
前記入力ソースからの入力を受信することと、
前記割り当てられた利得と、所与の入力が受信される所与の入力ソースとに基づいて、所与のニューロンに対する所与の利得を設定することと、
前記利得に従って前記所与の入力を前記所与のニューロンに送信することと
を含む方法。

【請求項11】

前記所与の利得を設定することは、
前記所与の入力が受信された所与の入力ソースのアイデンティティに基づいて前記所与の利得を設定すること
をさらに含む、請求項１０に記載の方法。

【請求項12】

前記ニューロンの第１のニューロンは、第１の利得で前記入力ソースの第１の入力ソースから第１の入力を受信し、前記ニューロンの第２のニューロンは、前記第１の利得とは異なる第２の利得で前記第１の入力を受信する、請求項１０に記載の方法。

【請求項13】

前記ニューロンの第１のニューロンは、第１の時間で前記入力ソースの第１の入力ソースから第１の入力を受信し、前記ニューロンの第２のニューロンは、前記第１の時間で前記入力ソースの第２の入力ソースから第２の入力を受信する、請求項１０に記載の方法。

【請求項14】

前記時分割スキーマにおける対応する時間まで、レジスタに受信された入力を格納すること
をさらに含む、請求項１０に記載の方法。

【請求項15】

前記所与の利得を設定することは、
前記所与の入力が受信された所与の入力ソースに関連付けられている前記対応する時間に基づいて、前記所与の利得を設定すること
をさらに含む、請求項１４に記載の方法。

【請求項16】

前記入力ソースのうち１つの入力ソースから２つの入力スパイクを受信することに応答して、前記２つの入力スパイクの早期に受信した入力スパイクを前記１つの入力ソースからドロップすること
をさらに含む、請求項１４に記載の方法。

【請求項17】

前記ニューロンのうち１つのニューロンへの送信のための１つの時分割の間に、少なくとも２つの入力スパイクを受信することに応答して、前記少なくとも２つの入力スパイクを衝突させること
をさらに含む、請求項１４に記載の方法。

【請求項18】

可変利得増幅器を含む信号パスと、
前記信号パスを介して複数の入力ソースに接続された人工ニューロンと、
前記複数の入力ソースのうちの所与の時間の間にスパイクを送信する入力ソースのアイデンティティおよび前記複数の入力ソースに接続されるルータによって生成された時計信号に基づいて可変利得増幅器に利得を設定するように構成された利得構成コントローラと
を含み、
前記時計信号は、前記スパイクおよび設定する利得が同期して受信および増幅されるように前記ルータおよび前記可変利得増幅器を駆動する、システム。

【請求項19】

前記複数の入力ソースに接続され、前記信号パスを介して前記複数の入力ソースのうち１つの入力ソースを一度に前記人工ニューロンに接続するように構成されたルータ
をさらに含む、請求項１８に記載のシステム。

【請求項20】

前記利得構成コントローラおよび前記複数の入力ソースに接続されており、前記利得構成コントローラに対し、前記複数の入力ソースのどの入力ソースが前記スパイクを送信しているかを識別するように構成されているルータ
をさらに含む、請求項１８に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

人工ニューラル・ネットワーク（ＡＮＮ）は、人工知能アプリケーションにおいて使用され、脳内の構造物をモデルとしたハードウェアおよびソフトウェアを用いて、天然の脳の学習能力および認識能力をシミュレートする。ニューラル・ネットワークでは、様々なアルゴリズムが、ニューロンと呼ばれる一連の接続されたユニットまたはノードを介して、パターン認識によって様々なタスクを実行するように「教示」することができる。これらのニューロンは、シナプスと呼ばれる接続を介して、ニューラル・ネットワーク内の他のニューロンと入力および出力を内部で共有する。ニューラル・ネットワークが訓練されると、様々なニューロンが、これらのシナプスを越えて様々な他のニューロンから受信される異なる入力に対して異なる重みを提供するように訓練される。

【0002】

スパイキング・ニューラル・ネットワーク（ＳＮＮ）は、２つのニューロンの間で情報を伝達するために、所与のシナプスに沿った時間的な動作電位または「スパイク」の使用を介して、生物学的ニューラル・ネットワーク（すなわち、動物の脳）の挙動をモデル化する第３世代のＡＮＮである。ＳＮＮは、人工知能をモデル化するためにより生物的に現実性があると考えられ、超大規模集積（ＶＬＳＩ）回路などのハードウェアとして統合された場合に、ノイズ耐性、低電力、低電圧の実装を提供するとともに、ＡＮＮの以前の世代よりも演算面で強力である。

【0003】

ハードウェアにおいてＳＮＮをモデル化する場合は、先代のＡＮＮと比較してＳＮＮの豊富な非線形ダイナミクスを実現するために、製作者は（Ｓ字型ニューロンまたはパーセプトロンに基づくＡＮＮと比較して）さらに多くのトランジスタを使用する必要があるが、このことは、ＳＮＮを表現するのに必要な総メモリの増加と、そのようなハードウェア実装の消費電力の相応の増加に繋がることがある。シナプスの数は、典型的には、ＳＮＮにおいてニューロンの数に勝るため、ＳＮＮは、多数のハードウェアコンポーネント（例えば、トランジスタ）を実装に必要とすることがあり、チップ上に相応の大量のスペースを必要とする。部品を収容するためのより大きなスペースの要求に加えて、追加の部品は、ＳＮＮの複雑さの拡大につれて動作にさらに多くの電力を必要とし、それゆえに、ＳＮＮを実装するには嵩高く製造の困難な消費電力の大きな回路を生じる。

【発明の概要】

【0004】

本発明の一実施形態によれば、複数の人工ニューロンと、複数の人工ニューロンのうち対応する１つにそれぞれが関連付けられている複数の人工シナプスと、複数の人工ニューロンのうちの対応する１つにそれぞれが関連付けられている複数の可変利得増幅器と、複数の入力ソースのうち少なくとも１つを対応する可変利得増幅器および対応する人工シナプスを介して複数の人工ニューロンのそれぞれに接続するように構成されているルータと、時分割スキーマおよび所与の時間の間にスパイクを送信する入力ソースのアイデンティティに基づいて複数の可変利得増幅器のそれぞれに利得を設定し、それによってスペースをより小さく、実装のためのコンポーネントをより少なく、かつ電力をより少なく使用して、入力ソースとその中に画定されたニューロンとの間に多重の専用経路を含む回路を動作させるように構成されている利得構成コントローラとを、含む回路が提供される。

【0005】

いくつかの態様では、上記または下記のいずれかの回路との組合せで、複数の人工ニューロンのうち所与の人工ニューロンに接続された多数の入力ソースは、時分割スキーマと、複数の入力ソースからのスパイク送信レートとに基づいて、共有する送信経路上での信号衝突の可能性を有利に低減する。

【0006】

いくつかの態様では、上記または下記のいずれかの回路との組合せで、ルータおよび利得構成コントローラは、複数の人工ニューロンの第１の人工ニューロンが第１の利得で複数の入力ソースの第１の入力ソースから第１のスパイクを受信し、複数の人工ニューロンの第２の人工ニューロンが第１の利得とは独立して設定された第２の利得で複数の入力ソースの第１の入力ソースから第１のスパイクを受信することを可能にして、異なるニューロンが互いに独立して入力ソースの効果を解釈することを有利に可能にする。

【0007】

いくつかの態様では、上記または下記のいずれかの回路との組合せで、ルータおよび利得構成コントローラは、複数の人工ニューロンの第１の人工ニューロンが第１の時間の間に複数の入力ソースの第１の入力ソースから第１のスパイクを受信し、複数の人工ニューロンの第２の人工ニューロンが第１の時間で複数の入力ソースの第２の入力ソースから第２のスパイクを受信することを可能にして、異なるニューロンが異なる信号源から独立した信号受信を行うことを有利に可能にする。

【0008】

複数の入力ソースの第１の入力ソースは、第１の送信速度でスパイクを送信し、複数の入力ソースの第２の入力ソースは、第１の送信速度とは異なる第２の送信速度でスパイクを送信して、独立して動作される入力ソースから入力を回路が受け入れることを有利に可能にする。

【0009】

いくつかの態様では、上記または下記のいずれかの回路との組合せで、ルータは、複数の入力ソースからの入力スパイクを受信して格納し、時分割スキーマに基づいて入力スパイクをレジスタから再送信して、共有の送信経路上での信号衝突の可能性を有利に低減するように構成されたレジスタを含む。

【0010】

いくつかの態様では、 上記または下記のいずれかの回路との組合せで、ルータおよび利得構成コントローラは、共有の時計信号を介して制御され、ルータおよび利得構成コントローラの動作を有利に整合させる。

【0011】

いくつかの態様では、 上記または下記のいずれかの回路との組合せで、複数の可変利得増幅器のそれぞれは、対応する人工ニューロンに対して対応する１つの人工シナプスの上流に配置され、入力が受信されたソースに基づいてシナプスがどのように入力を解釈するかを有利に制御する。

【0012】

いくつかの態様では、上記または下記のいずれかの回路との組合せで、複数の人工ニューロン、複数の人工シナプス、複数の可変利得増幅器、ルータ、および利得構成コントローラは、信号遅延を有利に低減し、回路によって提供される空間使用量の低減をより最大限に活用するように、単一の集積回路上に画定される。

【0013】

本発明の一実施形態によれば、スパイキング・ニューラル・ネットワーク（ＳＮＮ）内のニューロンを訓練することと、訓練に基づいて入力ソースの時分割スキーマをニューロンに割り当てることと、訓練に基づいて、時分割スキーマ内のニューロンの利得を割り当てることと、入力ソースからの入力を受信することと、割り当てられた利得と、所与の入力が受信される所与の入力ソースとに基づいて、所与のニューロンに対する所与の利得を設定することと、利得に従って所与の入力を所与のニューロンに送信し、それによって、スペースをより小さく、実装のためのコンポーネントをより少なく、かつ電力をより少なく使用して、中に画定されたニューロンに対する入力ソースへの複数の専用経路を含む回路を動作させる１つまたは複数の入力ソースに対し共有の送信経路を用いるニューロンを含む回路を動作させることとを含む、方法が提供される。

【0014】

いくつかの態様では、 上記または下記のいずれかの方法との組合せでは、所与の利得を設定することは、所与の入力が受信された所与の入力ソースのアイデンティティに基づいて所与の利得を設定して、共有の送信経路を使用しながら、訓練に基づいて異なる重みを信号に適用することを有利に可能にすることをさらに含む。

【0015】

いくつかの態様では、上記または下記のいずれかの方法との組合せでは、ニューロンの第１のニューロンは、第１の利得で入力ソースの第１の入力ソースから第１の入力を受信し、ニューロンの第２のニューロンは、第１の利得とは異なる第２の利得で第１の入力を受信して、異なるニューロンが互いに独立して入力ソースの効果を解釈することを有利に可能にする。

【0016】

いくつかの態様では、上記または下記のいずれかの方法との組合せでは、ニューロンの第１のニューロンは、第１の時間で入力ソースの第１の入力ソースから第１の入力を受信し、ニューロンの第２のニューロンは、第１の時間で入力ソースの第２の入力ソースから第２の入力を受信して、異なる信号源からの異なるニューロンによる独立した信号受信を有利に可能にする。

【0017】

いくつかの態様では、上記または下記のいずれかの方法との組合せでは、方法は、時分割スキーマにおける対応する時間までレジスタに受信された入力を格納して、共有の送信経路のために時間ベースの多重化スキーマを有利に使用することをさらに含む。

【0018】

いくつかの態様では、上記または下記のいずれかの方法との組合せでは、所定の利得を設定することは、所与の入力が受信された所与の入力ソースに関連付けられている対応する時間に基づいて所与の利得を設定して、共通の送信経路のために時間ベースの多重化スキーマを有利に使用することをさらに含む。

【0019】

いくつかの態様では、上記または下記のいずれかの方法との組合せでは、方法は、入力ソースのうち１つの入力ソースから２つの入力スパイクを受信することに応答して、２つの入力スパイクの早期に受信した入力スパイクを１つの入力ソースからドロップして、共有の送信経路上の信号衝突の効果または頻度を有利に低減することをさらに含む。

【0020】

いくつかの態様では、上記または下記のいずれかの方法との組合せでは、方法は、ニューロンのうち１つのニューロンへの送信のための１つの時分割の間に、少なくとも２つの入力スパイクを受信することに応答して、少なくとも２つの入力スパイクを衝突させて、より少ないソフトウェアの制御ハードウェアを有利に必要とする、およびその代わりに信号衝突を無視または補償するようにＳＮＮの堅牢性に依存することを含む。

【0021】

本発明の一実施形態によれば、可変利得増幅器を含む信号パスと、信号パスを介して複数の入力ソースに接続された人工ニューロンと、複数の入力ソースのうちのどの入力ソースが人工ニューロンに入力スパイクを送信するかに基づいて可変利得増幅器に利得を設定して、ニューロンが共有の送信経路を越えて多重ソースから多重入力を受信するのを有利に可能にし、それによって、それによって、スペースをより小さく、実装のためのコンポーネントをより少なく、かつ電力をより少なく使用して、専用の送信経路を用いてニューロンを動作させるように構成された利得構成コントローラとを含む、システムが提供される。

【0022】

いくつかの態様では、上記または下記のいずれかのシステムとの組合せで、システムは、複数の入力ソースに接続され、信号パスを介して複数の入力ソースのうち１つの入力ソースを一度に人工ニューロンに接続して、共有の送信経路上での信号衝突の可能性を有利に低減するように構成されたルータを、さらに含む。

【0023】

いくつかの態様では、上記または下記のいずれかのシステムとの組合せで、システムは、利得構成コントローラと複数の入力ソースとを接続するルータをさらに含み、ルータは、利得構成コントローラに対して、複数の入力ソースのどの入力ソースが入力スパイクを送信しているかを識別して、どの入力スパイクがどのニューロンにルーティングされるか、およびニューロンと入力ソースとの同一性に基づいてそれらの入力スパイクが受信される利得を有利に制御するように構成されているルータを、さらに含む。

【図面の簡単な説明】

【0024】

【図1】本開示の実施形態によるいくつかの入力ソースからの入力を受信するニューロンの一例を示す図である。

【図2】本開示の実施形態による、いくつかのニューロンを管理して、いくつかの入力ソースから各ニューロンに対する１つの対応するシナプスを介して入力を受信するための、集積回路レイアウトの一例を示す図である。

【図3A】本開示の実施形態による、様々な時刻における様々なスパイク送信を示す図である。

【図3B】本開示の実施形態による、様々な時刻における様々なスパイク送信を示す図である。

【図3C】本開示の実施形態による、様々な時刻における様々なスパイク送信を示す図である。

【図3D】本開示の実施形態による、様々な時刻における様々なスパイク送信を示す図である。

【図3E】本開示の実施形態による、様々な時刻における様々なスパイク送信を示す図である。

【図4A】本開示の実施形態による人工ニューロンの回路を示す図である。

【図4B】本開示の実施形態による人工ニューロンの回路を示す図である。

【図5A】本開示の実施形態による人工シナプス用回路を示す図である。

【図5B】本開示の実施形態による人工シナプス用回路を示す図である。

【図6】本開示の実施形態による、シナプスを再使用する際に使用するための可変利得を割り当てる方法のフローチャートである。

【図7】本開示の実施形態による、シナプスを再使用する際に使用するための可変利得を適用する方法のフローチャートである。

【図8】本開示の実施形態による集積回路を製作する方法のフローチャートである。

【発明を実施するための形態】

【0025】

本開示は、ニューロンへの多重入力のためにシナプスを再使用することによって、メモリ使用量およびチップ面積を低減させた、ＳＮＮ（スパイキング・ニューラル・ネットワーク）をハードウェアで実装することを提供する。最大Ｘ個の入力を受信するために各ニューロンのＸ個のシナプスをプロビジョニングする代わりに、シナプス再使用は、ニューロンがＸ個より少ないシナプスを用いてＸ個の入力を受信することを可能にする。様々な実施形態では、ニューロンはそれぞれ、時分割多重化（ＴＤＭ）を用いてそのシナプスの送信経路を共有する最大Ｘ個の入力を受信し、ニューロンによってスパイクがどのように受信されるかを調整する、単一の入力シナプスを備える。したがって、ハードウェアで実装されるシナプスの数の低減は、スペース要件、製作に必要なコンポーネントの数、およびこれらのコンポーネントを駆動するのに必要な電力を削減することに繋がる。

【0026】

図１は、本開示の実施形態による、ｎ個の入力ソース１２０ａ～ｎ（概して入力ソース１２０）からの入力を受信するニューロン１１０の一例を示す。ニューロン１１０の例示的な回路は、図４Ａおよび図４Ｂに関してより詳細に説明されるが、尤も、他の回路を様々な実施形態で使用することができる。

【0027】

入力ソース１２０は、ＡＮＮ （人工ニューラル・ネットワーク）より前の層にあるニューロン１１０、ＡＮＮに入力されるデータの直接供給（例えば、ニューロン１１０がＡＮＮの第１の層にある場合）、またはＡＮＮ内の同じまたは後の層の別のニューロン１１０からのフィードバック入力であってもよい。ニューロン１１０は、入力ソース１２０から様々なデータを受信し、このデータは、関連付けられた入力ソース１２０の動作電位が満たされた際に、「スパイク」として受信される。次に、これらの入力は、ニューロン１１０によって処理されて、いつ出力スパイクを「発火させる」かを決定し、一方で、ＳＮＮの出力として、またはＳＮＮにおける別のニューロン１１０への入力として送信されてもよい。

【0028】

ＳＮＮにおいて、ニューロン１１０は、あり得る時間間隔毎に出力を（必ずしも）生成しない。代わりに、ニューロン１１０は、以前に与えられた入力に基づいて出力スパイクを生じるか否かを決定する。これらの入力は経時的に減衰し得るが、それゆえに、下流の消費のための出力スパイクをニューロン１１０が生成するようにニューロン１１０の動作電位を乗り越えるのに十分な数もしくは強度またはその両方の入力を、所与の期間内に受信する必要がある。したがって、他のニューロン１１０を含む入力ソース１２０から受信され得る所与のニューロン１１０によって受信された入力は、他のニューロン１１０からの動作電位がいつ満たされるかに応じて、様々な時間で受信される。

【0029】

ニューロン１１０は、異なる時間に入力ソース１２０から送られた入力を受け取ることができ、入力ソース１２０は、あり得る時間間隔毎にニューロン１１０に信号を（必ずしも）送らないため、ニューロン１１０は、異なる時間で入力ソース１２０とニューロン１１０との間の共有のパスを越えていくつかの入力を受信することができる。入力ソース１２０からニューロン１１０への入力を提供するために１つ（または少なくともそれより少ない）信号パスを使用することによって、各入力ソース１２０とニューロン１１０との間に用意された専用信号パスを用いる実装と比較して、ニューロン１１０を画定する集積回路上でハードウェアをより少なく、電力をより少なく、スペースをより少なく使用することができる。例えば、１０個の入力ソース１２０からの入力を受信するように構成されている１０個のニューロン１１０を有する集積回路では、本開示による１０個の信号パスのみに比較すると、専用の信号パスが用いられた場合には、１００個の信号パスが実装される必要があるものとなる。

【0030】

図２は、本開示の実施形態によるｍ個のニューロン１００ａ～ｍのそれぞれについて対応する１つのシナプス２１０ａ～ｍ（概して、シナプス２１０）を介して、最大ｎ個の入力ソース１２０ａ～ｎから入力を受信する最大ｍ個のニューロン１１０ａ～ｍを管理するための、集積回路レイアウト２００の一例を図示する。シナプス２１０の例示的な回路が、図５Ａおよび図５Ｂに関してより詳細に説明されるが、他の回路を様々な実施形態で使用することができる。

【0031】

ＳＮＮにおいて、１つの層内の各ニューロン１１０は、後続の層内の各ニューロン１１０に必ずしも接続されておらず、代わりに、ルータ２２０が、特定のニューロン１１０を有する特定の入力ソース１２０をリンクするために含まれている。ルータ２２０からニューロン１１０ａ～ｍ内に繋がる各信号パスに含まれているのは、対応する可変利得増幅器２５０ａ～ｍ（概して、増幅器２５０）およびシナプス２１０ａ～ｍである。様々な実施形態では、増幅器２５０およびシナプス２１０は、図示された順序または逆の順序で（例えば、関連する増幅器２５０から上流または下流にシナプス２１０を有して）、対応する信号パス上に含まれてもよい。様々な実施形態では、ルータ２２０は、どの入力ソース１２０およびニューロン１１０がリンクされるべきかを識別するＳＮＮの訓練フェーズに基づいて、１つまたは複数の入力ソース１２０ａ～ｎを１つまたは複数のニューロン１１０ａ～ｍにリンクまたは接続し、それらがどのＳＮＮ訓練の反復後でも調整され得るように構成される。

【0032】

いくつかの実施形態では、ＳＮＮの構成に基づいて、全てのニューロン１１０が全ての入力ソース１２０からの入力を受信する訳ではないが、ルータ２２０は任意の特定の入力ソース１２０を任意の特定のニューロン１１０に接続することができ、１つの信号パスを越えて１つまたは複数の入力ソース１２０を１つのニューロン１１０に接続することができる。例えば、時刻ｔ_１で、第１の入力ソース１２０ａおよび第２の入力ソース１２０ｂは、それぞれ第１のスパイクおよび第２のスパイクを送信し得る。この例では、ルータ２２０は、第１の入力ソース１２０ａと第２のニューロン１１０ｂとを有する第１のニューロン１１０ａを、第２の入力ソース１２０ｂに接続するが、第１のニューロン１１０ａを第２の入力ソース１２０ｂに、または第２のニューロン１１０ｂを第１の入力ソース１２０ａに接続しない。したがって、ルータ２２０は、スパイクが衝突することなく、多重ニューロン１１０ａが異質な入力ソース１２０からスパイクを受信することを可能にする。これに対して、上記の例では、ルータ２２０が第１のニューロン１１０ａを第１の入力ソース１２０ａおよび第２の入力ソース１２０ｂにリンクさせると、２つのスパイクが衝突するものとなり、第１のニューロン１１０ａは、入力がどこから受信されたか、そのような入力をどのように扱うかという定義を失うことがある。しかし、様々な他の入力ソース１２０が、スパイクを互いに同時に送信することを予測（または許可）されていないか、または送信されたスパイクの衝突を避けるようにその他時間的に分離されている際に、ルータ２２０は、それらの他の入力ソース１２０を第１のニューロン１１０ａに接続することがある。例えば、時間分割された再送信などのためにルータ２２０がスパイクをキャッシュする際に、ルータ２２０は、第１のニューロン１１０ａとｎ個の異なる入力ソース１２０ａ～ｎとを、そのそれぞれが時間周期の個別の時分割内で送信するように制約されると、接続し得る。

【0033】

様々な実施形態では、ルータ２２０は、時計信号２６０に従って駆動され、様々な入力ソース１２０が様々な時間に様々なニューロン１１０にどのようにリンクされるかを変更する。例えば、時刻ｔ_０で、ルータ２２０は、第１の入力リソース１２０ａを第１のニューロン１１０ａおよび第２のニューロン１１０ｂに接続できるが、第３のニューロン１１０ｃには接続できない。後の時刻ｔ_１において、ルータ２２０は、第２の入力リソース１２０ｂを第１のニューロン１１０ａ、第２のニューロン１１０ｂ、および第３のニューロン１１０ｃに接続することができる。このような実施形態では、いくつかの入力ソース１２０が異なる時刻に個々のニューロン１１０に接続され得るものの、所与のニューロン１１０に接続された１つの入力リソース１２０よりも時間がかからないことが、ルータ２２０により保証される。さらに、ルータ２２０は、どのニューロン１１０が所与の時間に入力を受信できるかを変更することができる。したがって、ルータ２２０は、時分割スキーマに従い、様々なニューロン１１０と入力ソース１２０との間の接続を確立または分断して、別々の入力リソース１２０からの割り当てられた時間枠の外側に生成されたスパイクが、所与のニューロン１１０のための共有の信号パス越えて衝突するのを防止することができる。

【0034】

いくつかの実施形態では、ルータ２２０は、各入力ソース１２０ａ～ｎから入力スパイクを受信し、入力スパイクの受信された入力ソース１２０を識別した後に、入力スパイクを全てのニューロン１１０ａ～ｍに再送信する。入力リソース１２０の同一性に基づいて、各ニューロン１１０ａ～ｍは、入力スパイクをその入力リソース１２０に対する独立して調整された利得（入力スパイクをブロックするかまたはその他受信の閾値を入力スパイクが下回るようにする利得を含む－事実上ニューロン１１０に入力スパイクを受信させないようにする）に従って受信する。この独立して調整された利得は、ＳＮＮの訓練または学習フェーズの間、様々な入力リソース１２０からの入力スパイクのためにニューロン１１０によって学習された重みに基づいている。

【0035】

様々な実施形態では、ルータ２２０は、入力ソース１２０から受信したスパイクを受信して保持し、時分割スキーマ内の指定された時分割でニューロン１１０に送信するための任意のレジスタ２２１を含む。例えば、ある１秒の期間を用いた時分割スキーマでは、レジスタ２２１は、その１秒の期間に受信された任意の入力を保持し、格納されたスパイクを指定された時分割で時間内に送信することができる。レジスタ２２１は、各入力ソース１２０のための別々のメモリ・ユニットを含み、次いで、個々の入力ソース１２０から受信したスパイクを、連結されたニューロン１１０に再送信することができる。いくつかの実施形態では、レジスタ２２１は、時計信号２６０に従って駆動され、メモリに格納されたスパイクをいつ再送信するかを決定するが、その時点で、レジスタ２２１は、関連付けられた入力ソース１２０が次の期間に別のスパイクを送るか否かに基づいて、メモリがスパイクを含有する（または含有しない）ことを可能にする。

【0036】

さらに、レジスタ２２１は、多重入力ソース１２０からの信号パスを越える衝突を回避する一助となることができる。例えば、２つ（またはそれを超える）入力スパイクが別々の入力ソース１２０から同じ時刻ｔ_０に受信される場合、各スパイクは、各入力ソース１２０に関連付けられたレジスタ２２１の別々のセクションに保持され、別々の時刻に（例えば、第１の入力スパイクが時刻ｔ_１に、および第２の入力スパイクが時刻ｔ_２に）行先ニューロン１１０に再送信されてもよい。別の例では、２つの（またはそれを超える）入力スパイクが別々の入力リソース１２０から同じ時刻ｔ_０に受信される場合、１つのスパイクが、再送信されてもよいし、受信時刻ｔ_０に行先ニューロン１１０に送信されることを可能となってもよく、一方、他方の入力スパイクは、後の時点での再送信のためにレジスタ２２１に保持される。いくつかの実施形態では、レジスタ２２１は、１つの入力リソース１２０から期間中に受信した多重信号を結合して、増幅されたスパイクを信号パスに提供することができる。例えば、個々のスパイクがＸの振幅で入力リソース１２０から送信され、１つの入力リソース１２０が時間内に２つのスパイクを送信する場合、レジスタ２２１は、その入力リソース１２０に関連付けられた次の時分割において、２Ｘの値のスパイクを保持し、再送信することができる。

【0037】

利得設定制御部２３０は、時分割スキーマに基づいて、個々の可変利得増幅器２５０ａ～ｍが、所与の時刻に、関連付けられた信号パスにどのような利得を適用するかを制御する。

【0038】

いくつかの実施形態では、例えば、第１の増幅器２５０ａは、時刻ｔ_ｘでｘの利得、時刻ｔ_ｘ＋１でｙの利得、時刻ｔ_ｘ＋２でｚの利得を適用し、このパターンを３時分割毎に繰り返すことができる（例えば、時刻ｔ_２ｘでＸ、時刻ｔ_２ｘ＋１でＹ、時刻ｔ_２ｘ＋２でＺ）。第２から第ｍの増幅器２５０～ｍは、対応するニューロン１１０がＳＮＮにおいてどのように訓練されたかに基づいて、第１の増幅器２５０ａとは独立して様々な利得を適用する。時計信号２６０は、利得構成コントローラ２３０を駆動して、時分割スキーマにおいて異なる時分割で増幅器２５０ａ～ｍに適用される利得を変更する。ルータ２２０が時計信号２６０を受信する様々な実施形態では、ルータ２２０および利得構成コントローラ２３０は、同じ時計信号２６０によって駆動され、それゆえに、利得および入力スパイクが互いに同期して受信および増幅されることが保証される。

【0039】

いくつかの実施形態では、時計信号２６０が、利得構成コントローラ２３０（および任意選択的にルータ２２０）の拡張によって、ルータ２２０とニューロン１１０との間の信号パスの時分割多重化を制御する。時分割多重化は、入力リソース１２０から稀にスパイクが受信されるというＳＮＮの性質を利用する。入力リソース１２０は、一定の信号を送るのではなく、動作電位が満たされた際にスパイクを生成し、そうでなければ動作電位が満たされる次の時間まで静止している。そのため、時計信号に応じて１つの信号パス上に適用された個々の利得を管理することによって、利得構成コントローラ２３０は、いくつかの入力ソース１２０により共有されるシナプス２１０を定義する１組のハードウェアをニューロン１１０が再使用できることを保証し、それに対応して学習された重みを入力ソース１２０に適用することができる。

【0040】

いくつかの実施形態では、ルータ２２０は、スパイクが受信された入力ソース１２０のアイデンティティに基づいて時計信号２６０を生成し、この時計信号２６０は、任意に分割された時分割多重化スキームで利得構成コントローラ２３０を（増幅器２５０の拡張によって）制御する。例えば、ｘミリ秒（ｍｓ）毎に新たな時分割に入る代わりに、ルータ２２０は、入力スパイクが第１の入力リソース１２０ａから受信された際に、第１の入力リソース１２０ａに関連付けられた利得に増幅器２５０の利得を設定するように、利得構成コントローラ２３０に信号を送ることができる。同様に、入力スパイクが第２の入力ソース１２０ｂからのものであると判定したことに応答して、利得構成コントローラ２３０は、関連付けられた増幅器２５０の利得を、第２の入力ソース１２０ｂに関連付けられた利得などに設定する。したがって、信号パスは、受信された入力スパイクに基づいて多重化され、異なる入力リソース１２０に対して異なる時間でシナプス・ハードウェア（例えば、増幅器２５０、シナプス２１０、およびトレース）を再使用するように構成される。

【0041】

図３Ａ～図３Ｅは、本開示の実施形態による、様々な時刻における様々なスパイク送信３００ａ～ｅを示す。関連付けられた入力ソース１２０の対応するニューロン（１１０）のためにシナプス２１０が運ぶ訓練された重みを反映するように増幅器２５０の利得を一意に設定するよう、利得構成コントローラ２３０は、ニューロン１１０と併せてＳＮＮの学習フェーズの一部として訓練される。

【0042】

例えば、図３Ａの第１の増幅器２５０ａの第１のスパイク送信３００ａを考える。図３Ａにおいて、第１の入力ソース１２０ａから時刻ｔ_１で第１のスパイク３１０が受信され、第１の増幅器２５０ａは、第１のスパイク３１０に第１の利得を適用して、３の振幅で第１のスパイクを出力する。同様に、増幅器２５０は、時刻ｔ_２で第２の入力ソース１２０ｂから第２スパイク３２０を増幅し、時刻ｔ_３で第３の入力ソース１２０ｃから第３のスパイク３３０を増幅し、時刻ｔ_４で第４の入力ソース１２０ｄから第４のスパイク３４０を増幅して、そのスパイクが受信された入力ソース１２０に対する関連付けられた利得を反映する。図示するように、増幅器２５０は、第２のスパイク３２０を増幅して２の振幅を有し、第３のスパイク３３０を増幅して４の振幅を有し、第４のスパイク３４０を増幅して３の振幅を有する。増幅器２５０は、所与の入力ソース１２０に関連付けられている時間（例えば、時計信号駆動性の利得構成コントローラ２３０によって制御される）に基づいて、または入力ソース１２０の識別（例えば、ルータ２２０で決定される）に基づいて、関連付けられた利得のために設定されてもよい。図示するように、第１の増幅器２５０ａは、いくつかの異なる重みを適用することができるが、学習された重みが同じ（例えば、第１のスパイク３１０と第４のスパイク３４０）である際には、異なる時刻で／異なる入力ソース１２０に対して、同じ重みを適用することができる。

【0043】

図３Ｂは、第２の増幅器２５０ｂに対する第２のスパイク送信３００ｂを示し、第２の増幅器２５０ｂは、図３Ａに図示する第１のスパイク送信３００ａと同じ時刻ｔ_１～ｔ_４で増幅され得る。第２の増幅器２５０ｂは、第１の増幅器２５０ａとは異なるシナプス２１０およびニューロン１１０（すなわち、第１のシナプス２１０ａおよび第１のニューロン１１０ａではなく第２のシナプス２１０ｂおよび第２のニューロン１１０ｂ）に関連しているため、第２の増幅器２５０ｂは独立して制御され、第２のニューロン１１０ｂの学習された利得を入力スパイクに適用する。したがって、同じ入力ソース１２０からスパイクを受信しても、図３Ａおよび図３Ｂにおける第１のスパイク３３０Ａ、第２のスパイク３３０Ｂ、および第３のスパイク３３０ｃの異なる振幅によって標示されるように、それらに適用される利得を異なるものとすることができる。しかし、ＳＮＮの訓練は、例えば、どちらも各第４のスパイク３４０の振幅３を結果として生じる図３Ａおよび図３Ｂの第４の入力ソース１２０ｄからスパイクに適用される利得など、異なる増幅器２５０で同じ入力ソース１２０に対する同じ利得を与えることができる。

【0044】

図３Ｃは、第３の増幅器２５０ｃに対する第３のスパイク送信３００ｃを図示し、第３の増幅器２５０は、図３Ａに図示する第１のスパイク送信３００ａと同じ時刻ｔ_１～ｔ_４で増幅され得る。様々な実施形態では、増幅器２５０は、１つまたは複数の入力ソース１２０に対する関連付けられたシナプス２１０の受信閾値３９０を下回る利得に調整され得る。例えば、第３の増幅器２５０ｃは、時刻ｔ_１でまたは第１の入力ソース１２０ａに対して、利得を適用しないか、または第１の時分割の振幅１の受信閾値３９０を下回る利得を適用するように訓練される。したがって、第１のスパイク３１０の振幅が受信閾値３９０よりも小さいため、第３のニューロン１１０ｃは、第１のスパイク３１０を事実上受信しない。

【0045】

図３Ｄは、図３Ａに図示する第１のスパイク送信３００ａと同じ時刻ｔ_１～ｔ_４で増幅され得る第４の増幅器２５０ｄに対する第４のスパイク送信３００ｄを図示する。様々な実施形態では、ルータ２２０は、異なる入力ソース１２０（およびその異なる数）を異なるシナプス２１０に同時にリンクすることができる。例えば、図３Ａに図示する第１のシナプス２１０ａと同様に、第４シナプス２１０ｄ（第４の増幅器２５０ｄおよび第４のニューロン１１０ｄに対応する）は、第１の入力ソース１２０ａ、第２の入力ソース１２０ｂ、および第３の入力ソース１２０ｃに連結されている。但し、図３Ａの第１のシナプス２１０ａも第４の入力ソース１２０ｄに連結されているのに対し、第４のシナプス２１０ｄは連結されていない。同様に、第４のシナプス２１０ｄは、第５の入力ソース１２０ｅに連結されているのに対し、第１シナプス２１０ａは連結されていない。したがって、時刻ｔ_４において、第１のシナプス２１０ａおよび第４のシナプス２１０ｄは、図示された例では、異なる入力ソース１２０からの入力を受信する。

【0046】

図３Ｅは、第５の増幅器２５０ｅに対する第５のスパイク送信３００ｅを図示し、第５の増幅器２５０ｅは、図３Ａに図示した第１のスパイク送信３００Ａと同じ時刻ｔ_１～ｔ_４にわたって、しかし異なる速度で、増幅され得る。例えば、第５の増幅器２５０ｅは、図３Ａの第１の増幅器２５０ａと同様に第１から第４の入力ソース１２０ａ～ｄから入力スパイクを受信して増幅することができるが、第１から第４の入力スパイク３１０～３４０とは異なる速度または周波数で受信された第６の入力ソース１２０ｆからも入力スパイクを受信し増幅する。図示するように、第５の増幅器２５０ｅは、（振幅２に対して）同じ利得を第５の入力スパイク３５０と第６の入力スパイク３６０との両方に適用するが、それはどちらも同じ入力ソース１２０（すなわち、第６の入力ソース１２０ｆ）から受信されるためである。第６の入力ソース１２０ｆは、他の例示された入力ソース１２０とは異なる速度で入力スパイクを生成し、その場合、ルータ２２０および利得構成コントローラ２３０は、関連する時間に関連する利得を適用し、第５のニューロン１１０ｅに対する単一の入力信号パス上での衝突を回避する。

【0047】

図４Ａは、本開示の実施形態による、人工ニューロン４００ａ（概して、人工ニューロン４００）の１つの回路を示し、図４Ｂは、ニューロン１１０として用いられ得る人工ニューロン４００ｂの別の回路を示す。理解されるように、図４Ａおよび図４Ｂに示された人工ニューロン４００以外の回路が、本開示の様々な実施形態においてニューロン１１０として用いられてもよく、人工ニューロン４００は、ニューロン１１０としての使用に適した回路コンポーネントおよび構成の非限定的な例として提供される。

【0048】

図４Ａでは、第１のトランジスタ４１０ａ（概して、トランジスタ４１０）および第２のトランジスタ４１０ｂ（どちらもｐ－チャネルとして図示）は、カレント・ミラーを画定し、活性化電位が満たされた際に人工ニューロン４００ａの出力を発生する第４のトランジスタ４１０ｄおよび第５のトランジスタ４１０ｅから形成されるインバータに接続された第３のトランジスタ４１０ｃからフィードバックを受信する。第６のトランジスタ４１０ｆ（各ゲートでイネーブル電圧ＥＮを供給される）が、加算トランジスタとして設けられ、対応するシナプス２１０からの様々な入力スパイクを経時的に加える。さらに、入力スパイクからの加算電圧を経時的に「リーク」させるために、第７のトランジスタ４１０ｇ（各ゲートにリーク電圧Ｖ_Ｌを供給する）とキャパシタ４２０とが設けられて、加算入力のレベルが経時的に減衰するものとなる。リークにより、ニューロン１１０は入力が受信されたことを「忘れる」ことが有利に可能となり、それゆえに、出力スパイクを生じるか否かを決定する際に、入力が受信される強度もしくは周波数またはその両方の両方が考慮される。フィードバックにより、ニューロン１１０は出力スパイクが生成されると「リセットする」ことが有利に可能となり、以後の出力スパイクを発生させるのに十分な強度もしくは周波数またはその両方の新しい入力スパイクのセットが必要となる。

【0049】

図４Ｂにおいて、人工ニューロン４００ｂは、カレント・ミラー回路と、加算回路と、インバータ回路とを含む。カレント・ミラー回路は、互いのゲートに接続された第１のトランジスタ４１０ａおよび第２のトランジスタ４１０ｂ（どちらもｐ－チャネルとして図示）を含む。第１および第２のトランジスタ４１０ａ、ｂのドレインは、対応するシナプス２１０からの入力に接続されている。経時的に受信した対応するシナプス（２１０）からの入力スパイクを加えるためのプルアップ・トランジスタとして、第３のトランジスタ４１０ｃ（ｎ－チャネルとして図示）が設けられている。第４のトランジスタ４１０ｄ（ｐ－チャネルとして図示）および第５のトランジスタ４１０ｅ（ｎ－チャネルとして図示）はインバータを形成し、このインバータは、活性化電位が満たされた際に人工ニューロン（４００ａ）の出力を生成する。有利にはリークおよびフィードバック回路を含むニューロン１１０にわたって、人工ニューロン４００ｂは、より少ない回路コンポーネント（およびそれに対応してより少ない製作スペースおよび動力）を要し、時間的に独立しているため、ある期間にわたって入力を「忘れる」ことがある「リークし易い」ニューロン１１０に比較して、長期間にわたって入力受信器を用いて出力スパイクを生成することができる。

【0050】

図５Ａは、人工シナプス５００ａの１つの回路（概して、人工シナプス５００）を示し、図５Ｂは、本開示の実施形態によるシナプス２１０として使用され得る人工シナプス５００ｂの別の回路を示す。理解されるように、図５Ａおよび図５Ｂに示された人工シナプス５００以外の回路が、本開示の様々な実施形態でシナプス２１０として用いられてもよく、人工シナプス５００は、シナプス２１０としての使用に適した回路コンポーネントおよび構成の非限定的な例として提供される。

【0051】

図５Ａでは、第１のトランジスタ４１０ａは、対応するゲートで、ルータ２２０または対応する増幅器２５０からの入力Ｖ_ｉｎに接続され、第１のトランジスタ４１０ａのソースは接地されている。第２のトランジスタ４１０ｂのソースは、第１のトランジスタ４１０ａのドレインに接続され、人工シナプス５００ａを越えてスパイクを送信するためにルーティング／スケジューリングされた入力ソース１２０に基づいて変化し得る重み入力Ｖ_ｗが、第２のトランジスタ４１０ｂのゲートに接続されている。第２のトランジスタ４１０ｂのドレインには、第３のトランジスタ４１０ｃおよび第４のトランジスタ４１０ｄの各ソースが接続されている。第３のトランジスタ４１０ｃのゲートは、人工シナプス５００ａの閾値レベルに対して入力される閾値電圧Ｖ_ｔｈｒに接続され、第３のトランジスタ４１０ｃのソースは、コレクタ電圧Ｖ_ｃｃを搬送するレールに接続されている。第４のトランジスタ４１０ｄのゲートは、コレクタ電圧Ｖ_ｃｃを搬送するレールにキャパシタ４２０を介して接続されている。第５のトランジスタ４１０ｅは、それぞれ対応するソースおよびドレインによってコレクタ電圧Ｖ_ｃｃと第４のトランジスタ４１０ｄのドレインとを搬送するレールに接続され、ゲートで電圧Ｖ_ｔａｕに接続されている。人工シナプス５００ａからの出力は、第４および第５のトランジスタ４１０ｄ、ｅのドレインとノードを共有し、入力Ｖ_ｉｎの満たす人工シナプス５００ａの動作電位に応じて、対応するニューロン１１０への入力を行う。

【0052】

図５Ｂでは、第１のトランジスタ４１０ａは、対応するゲートで、ルータ２２０または対応する増幅器２５０からの入力Ｖ_ｉｎに接続され、第１のトランジスタ４１０ａのソースは接地されている。さらに、第１のトランジスタ４１０ａの本体は、重み入力Ｖｗに接続されており、重み入力Ｖ_ｗは、入力Ｖ_ｉｎの満たす人工シナプス５００ｂの動作電位に応じて、人工シナプス５００ｂを越えてスパイクを送信するためにルーティング／スケジューリングされた入力ソース１２０に基づいて変化し得る。第２のトランジスタ４１０ｂおよび第３のトランジスタ４１０ｃのドレインは、対応するニューロン１１０に接続されたレールに、その入力として接続されている。第２および第３のトランジスタ４１０ｂ、ｃのゲートは、相補的なサインの入力に（例えば、サインと、

【0053】

【数1】

【0054】

のそれぞれに）接続されている。第２および第３のトランジスタ４１０ｂ、ｃのソースはどちらも、第１のトランジスタのドレインに接続されている。

【0055】

図６は、本開示の実施形態によるシナプス２１０の再使用時に使用するための可変利得を割り当てるための方法６００のフローチャートである。方法６００は、ブロック６１０で開始し、オペレータは、１つまたは複数の入力ソース１２０からの入力スパイクを搬送するために再使用される１つの対応するシナプス２１０からそれぞれ入力を受信するいくつかのニューロン１１０を含むＳＮＮを訓練する。ＳＮＮは、様々な機械学習モデルに従って各ニューロン１１０が各入力ソース１２０にどの重みを割り当てるかを決定するように、いくつかの反復にわたって訓練されてもよい。

【0056】

ブロック６２０では、オペレータは、再使用可能なシナプス２１０を含む信号パス上の増幅器２５０での使用のために、ニューロン１１０による訓練中に種々の入力ソース１２０に割り当てられた重みを利得に翻訳する。

【0057】

ブロック６３０では、オペレータは、様々な入力ソース１２０から再使用可能なシナプス２１０を介して搬送されるべき入力スパイクに対し時分割スキーマを割り当てる。

【0058】

いくつかの実施形態では、時間分割スキーマは実時間を割り当て、その実時間の間に、入力ソース１２０から（例えば、ルータ２２０のレジスタ２２１で）受信した信号は、ニューロン１１０に再送信され、増幅器２５０は、ブロック６２０毎に割り当てられた対応する利得に設定される。このような実施形態では、利得構成コントローラ２３０およびルータ２２０は、レジスタ２２１に格納された所与の入力ソース１２０からいつスパイクを送信するか、ならびに対応する入力ソース１２０の時間もしくは識別またはその両方に基づいて様々な増幅器２５０にどの利得を設定するかを決定するように、共有の時計信号２６０によって制御される。

【0059】

いくつかの実施形態では、時間分割スキーマは、スパイクとスパイクが受信された入力ソース１２０の識別とを受信することに応答して動作する。このような実施形態では、ルータ２２０は、入力スパイクが受信された入力ソース１２０の識別を利得構成コントローラ２３０）に指示し、利得構成コントローラ２３０は、その同一性に従って増幅器２５０の利得を設定する。それゆえに増幅器２５０の利得は、続いて入力スパイクが受信されるまでセットされたままであり、その時点で、ルータ２２０は、増幅器２５０によって適用される利得を更新する利得構成コントローラ２３０への新しい入力ソース１２０を識別する。また、増幅器２５０が設定されている利得を利得構成コントローラ２３０が変更する際に、ルータ２２０の指示する入力ソース１２０と利得構成コントローラ２３０との同一性を用いて時計信号２６０を送ってもよい。

【0060】

ブロック６４０では、オペレータは、訓練に基づいて時分割スキーマ内に利得を割り当てる。様々な実施形態では、特定の入力ソース１２０から入力スパイクを受信することに応答して特定の増幅器２５０に適用される利得は、利得構成コントローラ２３０内のルックアップ・テーブルまたは他の論理構造に格納される。次いで、方法６００は完結し得る。

【0061】

図７は、本開示の実施形態による、シナプスを再使用する際に使用するための可変利得を適用する方法７００のフローチャートである。方法７００は、ブロック７１０で始まり、ブロック７１０では、ルータ２２０は、特定の入力ソース１２０から入力スパイクを受信する。ルータ２２０は、各入力ソース１２０および各ニューロン１１０に接続されるが、入力ソース１２０をニューロン１１０に選択的にリンクすることができる（すなわち、全てのニューロン１１０が必ずしも全ての入力ソース１２０に接続される訳ではない）。いくつかの実施形態では、ルータ２２０が循環し、ルータ２２０を介して入力ソース１２０が時計信号２６０に基づきニューロン１１０に接続されている。

【0062】

任意選択的にブロック７２０では、ルータ２２０は、レジスタ２２１または他のキャッシング・デバイスを含み、入力スパイクが時分割スキーマに従って所定の時間に行先ニューロン１１０に進められるか、または入力スパイクが個々のニューロン１１０によって用いられる共用の入力パスを越えて他の入力スパイクと衝突しないことを保証する。そうでない場合は、ルータ２２０は、入力スパイクをレジスタ２２１に格納することなく、信号パスを越えて入力スパイクをニューロン１１０に進めることができるため、方法７００は、ブロック７２０を実行せずにブロック７３０に進むことができる。

【0063】

ブロック７３０では、利得構成コントローラ２３０は、入力スパイクをニューロン１１０に送信する入力ソース１２０に基づいて増幅器２５０の利得を調整する。様々な実施形態では、利得構成コントローラ２３０は、各ニューロン１１０が１つの入力ソース１２０からの入力スパイクに割り当てる学習した重みに基づいて、第１の増幅器２５０ａ（第１のニューロン１１０ａに対応）の利得を、第２の増幅器２５０ｂ（第２のニューロン１１０ｂに対応）の利得とは独立して設定する。いくつかの実施形態では、第１の入力ソース１２０ａを第１のニューロン１１０ａに、第２の入力ソース１２０ｂを第２のニューロン１１０ｂにリンクするルータ２２０と、それぞれリンクされた入力ソースにこれらのニューロン１１０により割り当てられた関連付けられた重みとに基づいて、利得構成コントローラ２３０は、第１の増幅器２５０ａ（第１のニューロン１１０ａに対応）の利得を、第２の増幅器２５０ｂ（第２のニューロン１１０ｂに対応）の利得とは独立して設定する。したがって、いくつかの入力ソース１２０は、入力スパイクに適用される多様な重みを有する所与のニューロン１１０に、単一の経路を越えてリンクされ、それゆえに、所与のニューロン１１０を含むニューラル・ネットワークを表すのに必要なハードウェアの量を減少させることができる。

【0064】

ブロック７４０では、入力スパイクは、行先ニューロン１１０に伝わる。入力スパイクは、ルータ２２０から各行先ニューロン１１０へ、増幅器２５０とその１つのニューロン１１０に対応するシナプス２１０とを含む共有の信号パスを介して移動する。増幅器２５０は、学習した利得を入力スパイクに適用し、シナプス２１０は、入力スパイクをブロックするかまたは対応するニューロン１１０に前進させるかを判定する。次いで、方法７００は完結し得る。

【0065】

図８は、本開示の実施形態による集積回路を製作する方法８００のフローチャートである。方法８００のブロックが図８に設定された順序で提示されているが、当業者は、回路の作製が多くの場合に層で行われる、すなわち、所与の層上に異なるコンポーネントのいくつかの部分を形成し得る添加プロセスにおいて、回路のコンポーネントをベースまたは基板層からパターニングし堆積させることを理解するものとなる。製作プロセスはまた、後の添加ステップで追加の材料が堆積されるボイドまたは領域を画定するために、材料を除去するためのエッチングまたはアブレーションのステップを含むことがある。そのため、方法８００の要素は、少なくとも部分的に並行して実行され、最初／最後に実行される要素がないことが理解できよう。

【0066】

ブロック８１０では、製造者は、ルータ２２０をパターニングする。ルータ２２０は、１つまたは複数の入力ソース１２０を、チップ上に画定された１つまたは複数のニューロン１１０に接続する（例えば、ブロック８２０）。様々な実施形態では、製造者は、チップ上に画定された他のニューロン１１０として入力ソース１２０をパターニングするか、または、ルータ２２０内に入力されることによってチップ上のニューロン１１０に送信されるようにチップ外ニューロン１１０またはデータ・ソースのトレースをパターニングしてもよい。

【0067】

ブロック８２０では、製作者は、ニューロン１１０をパターニングする。ニューロン１１０は、１つまたは複数のトランジスタを含み、レジスタ、キャパシタ、およびインダクタを含んで回路内のＳＮＮのアルゴリズムまたは論理演算を表すことがあり、この回路は、ある期間にわたって以前の入力を減衰するかまたは「忘れる」能力を有するメモリを含む。ニューロン１１０は、ニューロン１１０によって具現化された論理演算が満たされた際に出力スパイクが送信される出力ポートを含む。様々な実施形態では、ニューロン１１０は、入力ソース１２０として、同じまたは異なるチップ上の他のニューロン１１０にリンクされる。

【0068】

ブロック８３０では、製作者は、ルータ２２０とニューロン１１０との間に信号パスをパターニングし、信号パスは、増幅器２５０とシナプス２１０とを含む。各ニューロン１１０は、１つの信号パスに関連付けられ、信号パスは、対応する増幅器２５０と１つのシナプス２１０とを含む。様々な実施形態では、シナプス２１０は、増幅器２５０の上流に位置する（すなわち、対応するニューロン１１０からは増幅器２５０よりも遠い）が、他の実施形態ｓシナプス２１０は、増幅器２５０の下流に位置する（すなわち、対応するニューロン１１０からは増幅器２５０よりも近い）。増幅器２５０は、利得構成コントローラ２３０からの制御信号に基づいて可変利得を提供するように制御可能である。各シナプス２１０は、少なくとも１つのトランジスタを含み、閾値を満たすシナプス２１０によって受信された入力スパイクに応答して、対応するニューロン１１０に進められる出力を生じるためのその閾値により構成される。

【0069】

ブロック８４０では、製作者は、利得構成コントローラ２３０をパターニングする。様々な実施形態では、利得構成コントローラ２３０は、増幅器２５０と時計信号２６０およびルータ２２０に対する１つまたは複数のジェネレータとに接続された論理制御ユニットまたはマイクロプロセッサである。様々な実施形態では、製作者は、利得構成コントローラ２３０のメモリ（例えば、電気的に消去可能なプログラム可能な読出し専用メモリ（ＥＥＰＲＯＭ））に制御ロジックを符号化して、どのような条件下で（例えば、時分割スキーマおよびＳＮＮの訓練に基づいて）、どのような利得に各増幅器２５０を設定するかを制御する。

【0070】

製作者は、単一チップまたは他の超大規模集積（ＶＬＳＩ）回路上でブロック８１０～８４０を実行してもよいし、別々のチップ上でブロック８１０～８４０のうちの１つまたは複数を実行し、別々のチップを合わせて接続して回路を形成してもよい。例えば、製作者は、他のコンポーネントとは別に利得構成コントローラ２３０を製作（または第２の制作者を使用）して、利得構成コントローラ２３０を他のコンポーネントと統合することによってブロック８４０を実行してもよい。

【0071】

本発明の様々な実施形態の説明が、例示のために提示されてきたが、網羅的であること、または開示された実施形態に限定されることを意図するものではない。記載された実施形態の範囲および趣旨から逸脱することなく、多くの修正および変形が当業者には明らかになるであろう。本明細書で使用される用語は、実施形態の原理、実用的な適用、もしくは市場で発見された技術を超える技術的な改善を最も良く説明するために、または本明細書に開示された実施形態を他の当業者が理解することを可能にするように選択されたものである。

【0072】

以下、本開示に提示される実施形態を参照する。但し、本開示の範囲は、具体的に記載される実施形態に限定されるものではない。代わりに、異なる実施形態に関連するか否かにかかわらず、以下の特徴および要素の任意の組合せが、想定された実施形態を実装し実践することが想定されている。さらに、本明細書に開示された実施形態は、他の可能な解決策を超えるかまたは従来技術に勝る利点を達成し得るが、所与の実施形態によって特定の利点が達成されるか否かは、本開示の範囲を限定するものではない。そのため、以下の態様、特徴、実施形態、および利点は、例証に過ぎず、特許請求の範囲に明示的に記載されている場合を除いて、添付の特許請求の範囲の要素または限定を考慮されていない。同様に、「本発明」は、本明細書に開示される本発明の主題の一般化として解釈されるべきではなく、特許請求の範囲に明示的に記載されている場合を除いて、添付の特許請求の範囲の要素または限定であるものと考えられるべきではない。

【0073】

本発明の態様は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または概して本明細書では「回路」、「モジュール」または「システム」と呼ばれることがあるソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとることができる。

【0074】

本発明は、システム、方法、もしくはコンピュータ・プログラム製品、またはそれらの組合せであり得る。コンピュータ・プログラム製品は、プロセッサに本発明の態様を行わせるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（または複数の媒体）を含んでいてもよい。

【0075】

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持および格納することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、以下に限定されないが、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または前述の任意の適した組合せとしてよい。コンピュータ可読記憶媒体のより具体的な例の非網羅的な一覧としては、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル汎用ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、機械的に符号化されたデバイス、例えば、命令を上に記録したパンチ・カードまたは溝内の隆起構造など、および前述の任意の適切な組合せが挙げられる。コンピュータ可読記憶媒体は、本明細書で使用される際に、それ自体が電波または他の自由に伝搬する電磁波、導波管または他の送信媒体（例えば、光ファイバ・ケーブルを通る光パルス）を伝搬する電磁波、またはワイヤを介して送信される電気信号などの一時的な信号であるものと解釈されるべきではない。

【0076】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各演算／処理デバイスに、またはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、もしくは無線ネットワーク、またはそれらの組合せを介して外部コンピュータまたは外部記憶装置に、ダウンロードすることができる。ネットワークは、銅送信ケーブル、光送信ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバ、またはそれらの組合せを含むことができる。各演算／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各演算／処理デバイス内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を送る。

【0077】

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または１つもしくは複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードのいずれかとしてよく、プログラミング言語としては、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語が挙げられる。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に、ユーザのコンピュータ上で部分的に、スタンドアロン・ソフトウェア・パッケージとして、ユーザのコンピュータ上で部分的にかつリモート・コンピュータ上に部分的に、またはリモート・コンピュータ上で部分的にもしくはリモート・コンピュータ上で全体的に、実行してもよい。後者のシナリオでは、リモート・コンピュータが、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含めた任意のタイプのネットワークを介してユーザのコンピュータに接続されていてもよいし、または接続が、外部コンピュータに（例えば、インターネットサービスプロバイダを用いてインターネットを介して）なされていてもよい。いくつかの実施形態では、例えば、プログラム可能なロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラム可能なロジックアレイ（ＰＬＡ）を含めた電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報によって、コンピュータ可読プログラム命令を実行してもよい。

【0078】

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書に説明される。フローチャート図もしくはブロック図またはその両方の各ブロック、ならびにフローチャート図もしくはブロック図またはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

【0079】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令がフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックにおいて指定された機能／動作を実装する手段を生成するように、機械を生成し得る。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、もしくは他のデバイス、またはそれらの組合せを特定の方法で機能させることのできるコンピュータ可読記憶媒体に格納されてもよく、ゆえに、命令を中に格納したコンピュータ可読記憶媒体は、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックにおいて指定された機能／動作の態様を実装する命令を含む、製品を含み得る。

【0080】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される命令がフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックにおいて指定された機能／動作を実装するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイス上にロードされて、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で実施させて、コンピュータ実装プロセスを生じる。

【0081】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実施形態のアーキテクチャ、機能性、および動作を説明する。この点に関して、フローチャートまたはブロック図の各ブロックは、指定されたロジック機能を実装するための１つまたは複数の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表すことがある。いくつかの代替的な実施形態では、ブロックに記載された機能は、図に記載された順序の外に生じ得る。例えば、連続して示される２つのブロックが、実際には、実質的に同時に実行されてもよいし、またはブロックが、関与する機能性に応じて、逆の順序で実行されてもよい。また、ブロック図もしくはフローチャート図またはその両方の各ブロック、ならびにブロック図もしくはフローチャート図またはその両方におけるブロックの組合せは、指定された機能もしくは動作を実行するか、または専用ハードウェアとコンピュータ命令との組合せを実施する、専用ハードウェアベースのシステムによって実装できることに留意されたい。

【0082】

前述の記載は本発明の実施形態を対象とするが、本発明の他のまたはさらに別の実施形態が、その基本的な範囲から逸脱することなく考案されてもよく、その範囲は、下記の特許請求の範囲により決定される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】