(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-12
(45)【発行日】2024-07-23
(54)【発明の名称】レジリエントニューラルネットワーク
(51)【国際特許分類】
G06N 3/049 20230101AFI20240716BHJP
G06N 3/047 20230101ALI20240716BHJP
G06N 3/063 20230101ALI20240716BHJP
【ＦＩ】
G06N3/049
G06N3/047
G06N3/063
【請求項の数】
15
(21)【出願番号】P 2021527142
(86)(22)【出願日】2019-11-18
(65)【公表番号】
(43)【公表日】2022-01-21
(86)【国際出願番号】 EP2019081662
(87)【国際公開番号】W WO2020099680
(87)【国際公開日】2020-05-22
【審査請求日】2022-10-25
(31)【優先権主張番号】62/768,927
(32)【優先日】2018-11-18
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521211620
【氏名又は名称】インナテラ・ナノシステムズ・ビー．ブイ．
【氏名又は名称原語表記】ＩＮＮＡＴＥＲＡ ＮＡＮＯＳＹＳＴＥＭＳ Ｂ．Ｖ．
【住所又は居所原語表記】Ｐａｔｒｉｊｓｗｅｇ ２０，２２８９ ＥＸ，ＲＩＪＳＷＩＪＫ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100219542
【弁理士】
【氏名又は名称】大宅 郁治
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】ズジャージョ、アミール
(72)【発明者】
【氏名】クマール、スメート・スシェール
【審査官】児玉 崇晶
(56)【参考文献】
【文献】特開平０４－００７６６０（ＪＰ，Ａ）
【文献】特表２０１７－５０９９７８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０２４２７４５（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０３２２３８４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０４
Ｇ０６Ｎ ３／０６３
(57)【特許請求の範囲】
【請求項1】
入力信号を分類するためのスパイキングニューラルネットワーク（１１０）であって、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロン（１）と、前記ネットワーク（１１０）を形成するように前記スパイキングニューロン（１）を相互接続する複数のシナプス素子（２）とを備え、各シナプス素子（２）は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子（２）は、各シナプス素子（２）によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロン（１）の各々は、前記シナプス素子（２）の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記シナプス素子（２）の前記重みは、境界値によって境界付けられ、前記境界値は確率値である、スパイキングニューラルネットワーク（１１０）。
【請求項2】
前記シナプス素子（２）の前記重みは、確率的重み更新を使用して構成され、前記スパイキングニューラルネットワーク（１１０）における前記確率的重み更新を設定するために使用されるランダム変数は、独立しており、全く同様に分布している、請求項１に記載のスパイキングニューラルネットワーク（１１０）。
【請求項3】
すべてのシナプス素子（２）は、その出力、すなわち、ポストシナプスニューロン（１）が発火した場合、その入力、すなわち、プレシナプスニューロン（１）の活性化統計値を集め、前記活性化統計値は、入力分布のサンプルから実行時に収集され、および／または、前記重みは、【数1】
【請求項4】
スパイキングニューロンｉ内に接続されたシナプス素子（２）の前記重みは、前記スパイキングニューラルネットワーク（１１０）における前記スパイキングニューロンｉのシナプス駆動Γｉを境界付けることよって境界付けられ、前記スパイキングニューラルネットワーク（１１０）内の前記スパイキングニューロンｉのうちの１つのスパイキングニューロンのシナプス駆動Γｉは、前記ニューロン内に接続されたすべてのシナプス素子（２）の総伝達関数を記述する時間依存関数である、請求項１～３のいずれか一項に記載のスパイキングニューラルネットワーク（１１０）。
【請求項5】
分散は、前記シナプス駆動Γｉの各シナプス駆動の分散の式を取得することによって調整可能であり、前記分散の式は、制御パラメータに依存し、前記シナプス駆動Γｉの各シナプス駆動の前記分散は、前記制御パラメータを調整することによって調整可能であり、好ましくは、前記制御パラメータは、前記シナプス駆動Γｉの各シナプス駆動の前記分散が所定の値を下回るように調整され、それにより、前記スパイキングニューラルネットワーク（１１０）内のニューロンｉの各ニューロンの前記シナプス駆動Γｉは、雑音効果が最小である前記シナプス駆動Γｉの平衡点Γｉ ＊の周りに境界付けられ、さらに好ましくは、
前記シナプス駆動Γｉの前記平衡点Γｉ ＊は、前記スパイキングニューラルネットワーク（１１０）内のすべてのニューロンについてベクトル形式で、Γ＊＝（Γ１ ＊，．．．，Γｎ ＊）Ｔと書くことができ、ここで、雑音行列σはゼロであり、すなわちσ（Γ＊）＝０である、請求項４に記載のスパイキングニューラルネットワーク（１１０）。
【請求項6】
前記スパイキングニューラルネットワーク（１１０）内の前記スパイキングニューロンｉの前記シナプス駆動Γｉは、Γ＝（Γ１，．．．，Γｎ）Ｔとして前記スパイキングニューラルネットワーク（１１０）内のすべてのニューロンについてベクトル形式で書くことができ、ここで、ｎは、前記スパイキングニューラルネットワーク（１１０）内のニューロンの数であり、Γは次式を満たし、ｄΓ＝Ｎ（Γ（ｔ））ｄｔ＋σ（Γ（ｔ））ｄω（ｔ）、
ここで、Ｎ（Γ（ｔ））は名義行列部分であり、σ（Γ）はガウス白色雑音過程ｄω（ｔ）に対する状態依存雑音行列であり、ωは、前記スパイキングニューラルネットワーク（１１０）における雑音を記述するウィーナー過程であり、
ｄΓの式は、以下の連続時間代数リアプノフ方程式を満たすΓ（ｔ）の分散共分散行列Ｋ（ｔ）に関して書き換え可能であり、
Ｎ（Γ（ｔ））Ｋ（ｔ）＋Ｋ（ｔ）［Ｎ（Γ（ｔ））］Ｔ＋σ（Γ（ｔ））［σ（Γ（ｔ））］Ｔ＝０、
前記シナプス駆動Γｉの各シナプス駆動の前記分散についての式を取得するステップは、前記分散共分散行列Ｋ（ｔ）の対角値を決定することを備える、請求項５に記載のスパイキングニューラルネットワーク。
【請求項7】
前記スパイキングニューラルネットワーク（１１０）は、マルチコアソリューション内のコアアレイの特定のコア内にあり、各コアは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされたスパイキングニューロン（１）のプログラマブルネットワーク（１１０）からなり、前記コアアレイ内のコア間の通信は、プログラマブル相互接続構造を介して配置される、請求項１～６のいずれか一項に記載のスパイキングニューラルネットワーク（１１０）。
【請求項8】
前記スパイキングニューラルネットワーク（１１０）は、より大きいスパイキングニューラルネットワーク（１１０）を、複数のサブネットワークに区分したサブネットワークであり、各サブネットワークは、前記シナプス素子（２）のサブセットからシナプス出力信号を受信するように接続された前記スパイキングニューロン（１）のサブセットを備え、前記サブネットワークは、前記サブネットワークに印加されたサブネットワーク入力パターン信号に応答して、サブネットワーク出力パターン信号を生成するように適応され、各サブネットワークは、コアのアレイ内の１つまたは複数のコアの一部を形成し、各コアは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされたスパイキングニューロン（１）のプログラマブルネットワークからなり、前記コアアレイ内のコア間の通信は、プログラマブル相互接続構造を介して配置される、請求項１～６のいずれか一項に記載のスパイキングニューラルネットワーク（１１０）。
【請求項9】
請求項１～８のいずれか一項に記載の前記スパイキングニューラルネットワーク（１１０）備える、集積回路。
【請求項10】
スパイキングニューラルネットワーク（１１０）における雑音効果を減少させるように前記スパイキングニューラルネットワーク（１１０）を構成するための方法であって、前記スパイキングニューラルネットワーク（１１０）は、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロン（１）と、前記ネットワーク（１１０）を形成するように前記スパイキングニューロン（１）を相互接続する複数のシナプス素子（２）とを備え、
各シナプス素子（２）は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子（２）は、各シナプス素子（２）によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロン（１）の各々は、前記シナプス素子（２）の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、前記方法は、
境界値によって前記シナプス素子（２）の前記重みを境界付けることを備え、前記境界値は確率値である、方法。
【請求項11】
前記シナプス素子（２）の前記重みは、確率的重み更新を使用して構成され、前記スパイキングニューラルネットワーク（１１０）における前記確率的重み更新を設定するために使用されるランダム変数は、独立しており、全く同様に分布している、請求項１０に記載の方法。
【請求項12】
すべてのシナプス素子（２）は、その出力、すなわち、ポストシナプスニューロンが発火した場合、その入力、すなわち、プレシナプスニューロンの活性化統計値を集め、前記活性化統計値は、入力分布のサンプルから実行時に収集され、および／または、前記重みは、【数2】
【請求項13】
スパイキングニューロンｉ内に接続されたシナプス素子（２）の前記重みは、前記スパイキングニューラルネットワーク（１１０）における前記スパイキングニューロンｉのシナプス駆動Γｉを境界付けることよって境界付けられ、前記スパイキングニューロンｉのうちの１つのスパイキングニューロンのシナプス駆動Γｉは、前記ニューロン内に接続されたすべてのシナプス素子（２）の総伝達関数を記述する時間依存関数である、請求項１０～１２のいずれか一項に記載の方法。
【請求項14】
分散は、前記シナプス駆動Γｉの各シナプス駆動の分散の式を取得することによって調整可能であり、前記分散の式は、制御パラメータに依存し、前記シナプス駆動Γｉの各シナプス駆動の前記分散は、前記制御パラメータを調整することによって調整可能であり、好ましくは、前記制御パラメータは、前記シナプス駆動Γｉの各シナプス駆動の前記分散が所定の値を下回るように調整され、それにより、前記スパイキングニューラルネットワーク（１１０）内のニューロンｉの各ニューロンの前記シナプス駆動Γｉは、雑音効果が最小である前記シナプス駆動Γｉの平衡点Γｉ ＊の周りに境界付けられ、さらに好ましくは、
前記シナプス駆動Γｉの前記平衡点Γｉ ＊は、前記スパイキングニューラルネットワーク（１１０）内のすべてのニューロンについてベクトル形式で、Γ＊＝（Γ１ ＊，．．．，Γｎ ＊）Ｔと書くことができ、ここで、雑音行列σはゼロであり、すなわちσ（Γ＊）＝０である、請求項１３に記載の方法。
【請求項15】
前記スパイキングニューラルネットワーク（１１０）内の前記スパイキングニューロンｉの前記シナプス駆動Γｉは、Γ＝（Γ１，．．．，Γｎ）Ｔとして前記スパイキングニューラルネットワーク（１１０）内のすべてのニューロンについてベクトル形式で書くことができ、ここで、ｎは、前記スパイキングニューラルネットワーク（１１０）内のニューロンの数であり、Γは次式を満たし、ｄΓ＝Ｎ（Γ（ｔ））ｄｔ＋σ（Γ（ｔ））ｄω（ｔ）、
ここで、Ｎ（Γ（ｔ））は名義行列部分であり、σ（Γ）はガウス白色雑音過程ｄω（ｔ）に対する状態依存雑音行列であり、ωは、前記スパイキングニューラルネットワーク（１１０）における雑音を記述するウィーナー過程であり、
ｄΓの式は、以下の連続時間代数リアプノフ方程式を満たすΓ（ｔ）の分散共分散行列Ｋ（ｔ）に関して書き換え可能であり、
Ｎ（Γ（ｔ））Ｋ（ｔ）＋Ｋ（ｔ）［Ｎ（Γ（ｔ））］Ｔ＋σ（Γ（ｔ））［σ（Γ（ｔ））］Ｔ＝０、
前記シナプス駆動Γｉの各シナプス駆動の前記分散についての式を取得するステップは、前記分散共分散行列Ｋ（ｔ）の対角値を決定することを備える、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本開示は、概して、自動信号認識技法に関し、より具体的には、スパイキングニューロンを使用するハードウェアレジリエント（hardware-resilient）深層学習推論アクセラレータのためのシステムおよび方法に関する。
【背景技術】
【0002】
[0002] 自動信号認識（ＡＳＲ）は、信号の構成特徴の識別を通した信号の認識を指す。ＡＳＲは、例えば、とりわけ、音声／発話認識システムにおいて話者の音声および話された単語を認識するため、心電図（ＥＣＧ）において不整脈を認識するため、モーション制御システムにおいてジェスチャの形状を決定するためなど、様々な用途で利用されている。ＡＳＲは、典型的には、入力信号の短いサンプル中に存在するパターンを特徴付けることによって実行され、したがって、正確なパターン認識能力が、効果的なＡＳＲシステムにとって必須である。
【0003】
[0003] ＡＳＲシステムのための入力信号を導出するためにいくらかの物理量を測定することは、複数のタイプのセンサからのデータの融合を必要とし得る。例えば、ハンドヘルド入力デバイスを使用して手のジェスチャを認識することは、動きを測定するための加速度計からのデータと、向きを測定するためのジャイロスコープからのデータとの融合を必要とし得る。両方のセンサからのデータを組み合わせることにより、３次元空間におけるジェスチャの検出が可能となる。
【0004】
[0004] 一般に、データ融合とは、個々のソースからのデータの解釈における不確実性を減らすために、異なる潜在的に異種（heterogeneous）のソースから収集されたデータを統合することを指す。融合プロセス中に、異なる入力信号における本質的特徴が融合信号において適切に表現されることが重要である。
【0005】
[0005] パターン認識および融合は、典型的には、マイクロプロセッサおよび／またはデジタルシグナルプロセッサを使用して実行され、その両方は、記憶されたプログラムアーキテクチャをインプリメントする。このアーキテクチャは、ストリーミングデータの分析には本質的に非効率的である。単一のプロセッサ上で、パターンの抽出および認識が順次実施される。これは、パターン抽出および識別が、一般的な単純化した命令セット（例えば、ＲＩＳＣまたはＣＩＳＣ命令セット）に関して実現され、信号サンプル中のすべてのパターンに対して長い実行シーケンスをもたらすからである。入力信号における複雑なパターンは、より複雑な信号処理アルゴリズムの使用を必要とし、パターン認識エンジンからのリアルタイム応答を必要とするシステムでは、プロセッサのためのより高いクロック周波数の使用をさらに必要とする。電力制約デバイス（例えば、ポータブル電子デバイス、ウェアラブルデバイス等）では、これは実現可能でない。さらに、順次実行パラダイムに起因して、マイクロプロセッサ上のパターン認識動作の待ち時間および電力損失が、パターンの複雑さおよびレパートリーが増大するにつれて大幅に増大する。入力信号に雑音があると、分析の複雑さがさらに増大し、パフォーマンスおよび効率に悪影響を及ぼす。
【0006】
[0006] データ融合は、マイクロプロセッサのための非ネイティブ動作である。これは、入力信号またはデータストリームが融合され得る前に、それらの情報コンテンツが抽出されなければならず、その後に他のストリームからの対応するコンテンツと組み合わされなければならないことを意味する。その結果、マイクロプロセッサインプリメンテーションでは、融合のための各入力信号／データソースは、独立したパターン認識パイプラインによって別個に処理され、ルールベースのフレームワークが続いて異なるパターン認識結果を組み合わせる。このアプローチは、入力信号またはデータストリームごとに、パターン認識インフラストラクチャの複数の呼び出しを必要とし、電力損失の増大につながる。さらに、パターン認識のためのロード・ストアアーキテクチャのマイクロプロセッサおよびデジタルシグナルプロセッサ（ＤＳＰ）の制限は、パターンの複雑さが増大するにつれて、これらのパターンを認識する電力および待ち時間コストも増大することを意味する。待ち時間コストはクロック周波数を増加させることによって軽減することができるが、これは電力損失のさらなる増大という犠牲を払って達成される。同様に、融合の質は、入力信号に対して実施される処理およびＡＳＲの複雑さ、融合される信号の数、およびマイクロプロセッサまたはＤＳＰの電算能力によって制限される。処理の順次性は、融合ベースのＡＳＲのスループットを低減し、したがって、信号におけるパターンの複雑さが増大するにつれて、マイクロプロセッサまたはＤＳＰを使用して融合され得る入力信号の数が減少する。
【0007】
[0007] ディープニューラルネットワーク（ＤＮＮ：Deep neural network）の形態の人工ニューラルネットワークが、マイクロプロセッサインプリメンテーションの代替として提案されている。ＤＮＮは、多数の機械学習アプリケーションの基礎を形成しており、発話および画像認識を始めとして、ＤＮＮを利用するアプリケーションの数は指数関数的に増加しているが、これらは、主に大量のデータの処理、または変化する環境への高速適応のために、本質的な制限を受ける。
【0008】
[0008] 最初に、ハードウェアディープネットワークアクセラレータが標準同期デジタル論理上にインプリメントされた。ニューラルネットワークの高レベルの並列性は、デジタルシステムにおける（典型的な）直列および時間多重化処理において複製されず、反対に、メモリおよび処理要素が共局在化されたアナログ電算ノードとして実現されるハードウェアＤＮＮエミュレータの電算プリミティブが、速度、サイズ、および消費電力に関して著しい改善を提供する。
【0009】
[0009] 生物学的神経回路網モデルでは、個々の各ニューロンは、非同期に、スパース（sparse）イベントまたはスパイクを介して通信する。このようなイベントベースのスパイキングニューラルネットワーク（ＳＮＮ：spiking neural network）では、状態を変化させるニューロンのみがスパイクを生成し、後続の層における信号処理をトリガし得、その結果、電算リソースを節約する。スパイキングニューラルネットワーク（ＳＮＮ）は、多くの異なる用途のためのＡＳＲを実現する有望な手段である。
【0010】
[0010] ＳＮＮは、整数または実数値ベクトルとしてではなくむしろ、１つまたは複数の正確に調時された（電圧）スパイクの形態で情報を符号化する。推論（すなわち、ある特徴が入力信号に存在することを推論すること）のための電算が、アナログ領域および時間領域において効果的に実行される。この理由から、ＳＮＮは、典型的には、フルカスタム混合信号集積回路としてハードウェアにおいて実現されている。これにより、より小さいネットワークサイズを有することに加えて、人工ニューラルネットワークの相当物よりも数桁低いエネルギー消費で推論機能を実行することが可能になる。
【0011】
[0011] ＳＮＮは、スパイキングニューロン間の接続の強度を決定付けるシナプスによって相互接続されたスパイキングニューロンのネットワークからなる。この強度は重みとして表され、これは、プレシナプスニューロンの出力の、ポストシナプスニューロンへの入力に対する影響を緩和する。典型的には、これらの重みは、ネットワークを大量のラベル付けされた入力データにさらし、所望のネットワーク出力が達成されるまでシナプスの重みを徐々に調整することを伴うトレーニングプロセスにおいて設定される。
【0012】
[0012] ＳＮＮは、入力信号における増幅領域、時間領域、および周波数領域の特徴を一意の空間的および時間的のコード化されたスパイクシーケンスに符号化することができるという原理に依拠して、パターン認識およびセンサデータ融合に直接適用され得る。
【0013】
[0013] これらのシーケンスの生成は、スパイキングニューロンの１つまたは複数のアンサンブルの使用に依拠し、アンサンブルはニューロンの協働グループである。各アンサンブルは、特定の信号処理機能、すなわち、例えば特徴符号化、調節、フィルタリング、データ融合、分類を実行する。各アンサンブルは、スパイキングニューロンの１つまたは複数の相互接続層からなり、層内および層間の接続性は、特定のトポロジに従う。各アンサンブルのサイズ（ニューロンの数）、それらの接続性（シナプスのトポロジおよび数）、およびそれらの構成（層の数および重み）は、入力信号の特性、例えば、ダイナミックレンジ、帯域幅、タイムスケール、または入力信号中の特徴の複雑さに依存する。その結果、音声パターンマッチングシステムの場合に使用されるアンサンブルは、手書き認識システムで使用されるものとは異なる可能性が高い。
【0014】
[0014] 一般に、入力信号における認識されることになる特徴の複雑さが増大するにつれて、それらを処理するのに必要なアンサンブルのサイズも増加する。スパイキングニューラルネットワークハードウェアは、任意の接続トポロジのインプリメンテーションを容易にするプログラマブル相互接続構造（programmable interconnect structure）を使用して接続されたスパイキングニューロン、シナプスの構成可能アレイを利用することができる。しかしながら、大きいアンサンブルをインプリメントするためには、根底にあるＳＮＮハードウェアが少なくとも必要な数のニューロンおよびシナプスを有することが必要である。
【0015】
[0015] ＳＮＮが必要とする基本動作はアナログ電子回路によって非常に効率的に実現されるが、製造プロセスに起因するマイクロ電子回路における不可避の変動が、それらの機能的特性、例えば抵抗、キャパシタンス、利得、時間応答等における歪みを誘発する。特に、より小さい製造プロセスジオメトリおよびより低い動作電流では、これらの回路は、量子効果および外部雑音にますます影響されやすく、信号対雑音比を事実上低減し、処理パフォーマンスを制限する。これらの非理想性の影響は、ドライバ、バイアス、エンコーダ／デコーダ回路がより長い相互接続にわたってより多数のデバイスによって共有される大型アレイの場合に増大する。
【発明の概要】
【0016】
[0016] 上述の先行技術の欠点に対処するために、本開示の第１の態様によれば、入力信号を分類するためのスパイキングニューラルネットワークが提案される。スパイキングニューラルネットワークは、複数のスパイキングニューロンと、ネットワークを形成するようにスパイキングニューロンを相互接続する複数のシナプス素子（synaptic element）とを備え、各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するようにシナプス入力信号に重みを適用するように適応されており、シナプス素子は、各シナプス素子によって適用された重みを調整するように構成可能である。スパイキングニューロンの各々は、シナプス素子の１つまたは複数からシナプス出力信号の１つまたは複数を受信し、受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列（spatio-temporal spike train）出力信号を生成するように適応されている。ネットワークは、複数のサブネットワークに区分され、各サブネットワークは、シナプス素子のサブセットからシナプス出力信号を受信するように接続されたスパイキングニューロンのサブセットを備える。サブネットワークは、サブネットワークに印加されたサブネットワーク入力パターン信号に応答してサブネットワーク出力パターン信号を生成するように適応されている。さらに、各サブネットワークは、コアのアレイ内の１つまたは複数のコアの一部を形成し、各コアは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされたスパイキングニューロンのプログラマブルネットワークからなり、コアアレイ内のコア間の通信は、プログラマブル相互接続構造を介して配置される。
【0017】
[0017] 一実施形態では、プログラマブル相互接続構造は、切り替え可能な行列を備える。
【0018】
[0018] 一実施形態では、切り替え可能な行列は、複数の出力信号を、コアアレイ内の第１のコアからコアアレイ内の第２のコアの複数の入力にルーティングするように適応された複数のルータを備える。
【0019】
[0019] 一実施形態では、プログラマブル相互接続構造は、コアアレイ内のコア間にパケット交換ネットワークを形成する。一実施形態では、プログラマブル相互接続構造はアドレスイベント表現を使用する。一実施形態では、プログラマブル相互接続構造は同期または非同期通信を使用する。一実施形態では、コアアレイは集積回路にインプリメントされ、プログラマブル相互接続構造はネットワークオンチップを備える。
【0020】
[0020] 一実施形態では、ネットワークオンチップはリアルタイムで構成可能である。
【0021】
[0021] 一実施形態では、シナプス素子に対する学習ルール、重み記憶機構（weight storage mechanism）、または通信プロトコルのいずれかは、コアアレイの単一のコアにおいて不均一に（heterogeneously）適用される。一実施形態では、シナプス素子に対する学習ルール、重み記憶機構、または通信プロトコルのいずれかは、コアアレイ内の複数のコアにわたって不均一に適用される。一実施形態では、コアアレイ内のコアのうちの１つまたは複数のコアの学習ルール構成は、学習ルールブロックを使用してインプリメントされる。一実施形態では、同じ学習ルールを使用するコアは、学習ルールをインプリメントする共通学習ルールブロックを使用する。
【0022】
[0022] 一実施形態では、コアアレイ内の各コア内および／またはコアにわたる学習ルールの分布は、実行時に動的に構成可能である。
【0023】
[0023] 一実施形態では、サブネットワークのうちの１つは、サブネットワークの入力信号を分類するための分類器の一部である。
【0024】
[0024] 一実施形態では、サブネットワークのうちの１つは、そのサブネットワークへの入力信号を分類するための分類器のアンサンブルの一部である。一実施形態では、シナプス素子の重みは、確率的重み更新（stochastic weight updates）を使用して構成される。
【0025】
[0025] 一実施形態では、シナプス素子の重みは、境界値（bound values）によって境界付けられ、境界値は確率値（stochastic values）である。
【0026】
[0026] 本開示の第２の態様によれば、本開示の第１の態様のコアアレイにインプリメントされるスパイキングニューラルネットワークを備える集積回路が開示される。
【0027】
[0027] 本開示の第３の態様によれば、スパイキングニューラルネットワークを区分し、コアアレイ上にマッピングする方法が開示される。ここで、スパイキングニューラルネットワークは、複数のスパイキングニューロンと、ネットワークを形成するようにスパイキングニューロンを相互接続する複数のシナプス素子とを備え、各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するようにシナプス入力信号に重みを適用するように適応されており、シナプス素子は、各シナプス素子によって適用された重みを調整するように構成可能であり、スパイキングニューロンの各々は、シナプス素子の１つまたは複数からシナプス出力信号の１つまたは複数を受信し、受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されている。さらに、コアアレイは、複数のコアを備え、各コアは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされたスパイキングニューロンのプログラマブルネットワークからなり、コアアレイ内のコア間の通信は、プログラマブル相互接続構造を介して配置される。ここで、本方法は、ネットワークが複数のサブネットワークに区分されることを備え、ここにおいて、各サブネットワークは、シナプス素子のサブセットからシナプス出力信号を受信するように接続されたスパイキングニューロンのサブセットを備える。サブネットワークは、シナプス素子のサブセットに印加されたサブネットワーク入力パターン信号に応答して、スパイキングニューロンのサブセットからサブネットワーク出力パターン信号を生成するように適応されており、各サブネットワークは１つまたは複数のコア上にマッピングされる。
【0028】
[0028] 一実施形態では、スパイキングニューラルネットワークを、１つまたは複数のコアにインプリメントされたサブネットワークに区分することは、マッピング方法によって決定される。マッピング方法は、制約駆動区分（constraint-driven partitioning）を備える。制約は、各それぞれのサブネットワークの関数にリンクされたパフォーマンスメトリック（performance metric）である。
【0029】
[0029] 本開示の第４の態様によれば、スパイキングニューラルネットワークが開示される。スパイキングニューラルネットワークは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、ネットワークを形成するようにスパイキングニューロンを相互接続する複数のシナプス素子とを備え、各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するようにシナプス入力信号に重みを適用するように適応されており、シナプス素子は、各シナプス素子によって適用された重みを調整するように構成可能であり、スパイキングニューロンの各々は、シナプス素子の１つまたは複数からシナプス出力信号の１つまたは複数を受信し、受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されている。さらに、学習ルール、重み記憶機構、および／または通信プロトコルが、スパイキングニューラルネットワーク内のニューロンおよび／またはシナプス素子にわたって不均一に適用される。
【0030】
[0030] 本開示の第５の態様によれば、スパイキングニューロンと、スパイキングニューロンに接続されたシナプス素子とを備えるスパイキングニューラルネットワークが開示される。ここで、シナプス素子は、シナプス入力信号を受信するように適応された第１および第２の受容体を備え、第１および第２の受容体は、それぞれ、シナプス入力信号に基づいて第１および第２の受容体信号を生成する。シナプス素子は、シナプス出力信号を生成するように第１の受容体信号に重みを適用し、シナプス素子は、第２の受容体信号に少なくとも基づいてシナプス素子によって適用された重みを調整するように構成可能である。スパイキングニューロンは、シナプス素子からシナプス出力信号を受信し、受信されたシナプス出力信号に少なくとも応答して時空間スパイク列出力信号を生成するように適応されている。
【0031】
[0031] 一実施形態では、ニューロンは制御信号を放出し、制御信号は、第２の受容体信号と共に、シナプス素子によって適用された重みを調整する。
【0032】
[0032] 一実施形態では、制御信号は誤差逆伝播信号である。
【0033】
[0033] 一実施形態では、ニューロンは、樹状突起、軸索、および細胞体を備え、制御信号は、ニューロンの樹状突起および／または軸索および／または細胞体から生じる。
【0034】
[0034] 一実施形態では、制御信号は、ニューロンの活動電位によって生成される１つまたは複数のスパイクを備える。一実施形態では、第１の受容体の減衰時間は、第２の受容体の減衰時間よりも速い。一実施形態では、第１の受容体は、スパイキングニューロンのためのソース電流またはシンク電流を生成する。
【0035】
[0035] 一実施形態では、第１の受容体はローパスフィルタを備える。一実施形態では、第２の受容体は電位依存性受容体（voltage-gated receptor）を形成する。一実施形態では、第２の受容体は、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、および／または増幅器を備える。一実施形態では、第１の受容体はＡＭＰＡ受容体、またはＧＡＢＡ受容体、またはＮＭＤＡ受容体である。
【0036】
[0036] 本開示の第６の態様によれば、スパイキングニューラルネットワーク内のシナプス素子の重みを調整するための方法が開示され、スパイキングニューラルネットワークは、シナプス素子に接続されたスパイキングニューロンを備える。シナプス素子は、シナプス入力信号を受信するように適応された第１および第２の受容体を備え、第１および第２の受容体は、シナプス入力信号を受信し、それぞれ、シナプス入力信号に基づいて第１および第２の受容体信号を生成する。シナプス素子は、シナプス出力信号を生成するように第１の受容体信号に重みを適用する。少なくとも第２の受容体信号に基づいて、シナプス素子の重みが調整され、スパイキングニューロンは、シナプス素子からシナプス出力信号を受信し、受信されたシナプス出力信号に少なくとも応答して時空間スパイク列出力信号を生成する。
【0037】
[0037] 一実施形態では、ニューロンは制御信号を放出し、制御信号は、第２の受容体信号と共に、シナプス素子によって適用された重みを調整する。
【0038】
[0038] 一実施形態では、制御信号は誤差逆伝播信号である。
【0039】
[0039] 一実施形態では、ニューロンは、樹状突起、軸索、および細胞体を備え、制御信号は、ニューロンの樹状突起および／または軸索および／または細胞体から生じる。
【0040】
[0040] 一実施形態では、制御信号は、ニューロンの活動電位によって生成される１つまたは複数のスパイクを備える。一実施形態では、第１の受容体の減衰時間は、第２の受容体の減衰時間よりも速い。一実施形態では、第１の受容体は、スパイキングニューロンのためのソース電流またはシンク電流を生成する。
【0041】
[0041] 一実施形態では、第１の受容体はローパスフィルタを備える。一実施形態では、第２の受容体は電位依存性受容体を形成する。一実施形態では、第２の受容体は、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、および／または増幅器を備える。一実施形態では、第１の受容体はＡＭＰＡ受容体、またはＧＡＢＡ受容体、またはＮＭＤＡ受容体である。
【0042】
[0042] 本開示の第７の態様によれば、本開示の第５の態様のスパイキングニューラルネットワークを備える集積回路が開示される。
【0043】
[0043] 本開示の第８の態様によれば、スパイキングニューラルネットワークにおける雑音効果を減少させるようにスパイキングニューラルネットワークを構成するための方法が開示される。スパイキングニューラルネットワークは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、ネットワークを形成するようにスパイキングニューロンを相互接続する複数のシナプス素子とを備える。各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するようにシナプス入力信号に重みを適用するように適応されており、シナプス素子は、各シナプス素子によって適用された重みを調整するように構成可能である。スパイキングニューロンの各々は、シナプス素子の１つまたは複数からシナプス出力信号の１つまたは複数を受信し、受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されている。スパイキングニューラルネットワーク内のスパイキングニューロンｉのうちの１つのスパイキングニューロンのシナプス駆動（synaptic drive）Γｉは、ニューロン内に接続されたすべてのシナプス素子の総伝達関数（total transfer function）を記述する時間依存関数である。本方法は、シナプス駆動Γｉの各シナプス駆動の分散の式を取得することを備え、分散の式は、制御パラメータに依存する。シナプス駆動Γｉの各シナプス駆動の分散は、制御パラメータを調整することによって調整可能である。制御パラメータは、シナプス駆動Γｉの各シナプス駆動の分散が所定の値を下回るように調整され、それにより、スパイキングニューラルネットワーク内のニューロンｉの各ニューロンのシナプス駆動Γｉが、雑音効果が最小であるシナプス駆動Γｉの平衡点（equilibrium point）
（以下、便宜上「Γｉ
＊」と表記する）の周りに境界付けられる（bound around）。
【数1】
【0044】
[0044] 一実施形態では、スパイキングニューラルネットワーク内のスパイキングニューロンｉのシナプス駆動Γｉは、Γ＝（Γ１，．．．，Γｎ）Ｔとしてスパイキングニューラルネットワーク内のすべてのニューロンについてベクトル形式で書くことができ、ここで、ｎは、スパイキングニューラルネットワーク内のニューロンの数であり、Γは次式を満たし、
ｄΓ＝Ｎ（Γ（ｔ））ｄｔ＋σ（Γ（ｔ））ｄω（ｔ）
[0045] ここで、Ｎ（Γ（ｔ））は名義行列（nominal matrix）部分であり、σ（Γ）はガウス白色雑音過程（Gaussian white noise process）ｄω（ｔ）に対する状態依存雑音行列であり、ωは、スパイキングニューラルネットワークにおける雑音を記述するウィーナー過程であり、ここにおいて、ｄΓの式は、以下の連続時間代数リアプノフ方程式（continuous-time algebraic Lyapunov equation）を満たすΓ（ｔ）の分散共分散行列Ｋ（ｔ）に関して書き換え可能であり、
Ｎ（Γ（ｔ））Ｋ（ｔ）＋Ｋ（ｔ）［Ｎ（Γ（ｔ））］Ｔ＋σ（Γ（ｔ））［σ（Γ（ｔ））］Ｔ＝０
[0046] シナプス駆動Γｉの各シナプス駆動の分散についての式を取得するステップは、分散共分散行列Ｋ（ｔ）の対角値を決定することを備える。
ｄΓ＝Ｎ（Γ（ｔ））ｄｔ＋σ（Γ（ｔ））ｄω（ｔ）
[0045] ここで、Ｎ（Γ（ｔ））は名義行列（nominal matrix）部分であり、σ（Γ）はガウス白色雑音過程（Gaussian white noise process）ｄω（ｔ）に対する状態依存雑音行列であり、ωは、スパイキングニューラルネットワークにおける雑音を記述するウィーナー過程であり、ここにおいて、ｄΓの式は、以下の連続時間代数リアプノフ方程式（continuous-time algebraic Lyapunov equation）を満たすΓ（ｔ）の分散共分散行列Ｋ（ｔ）に関して書き換え可能であり、
Ｎ（Γ（ｔ））Ｋ（ｔ）＋Ｋ（ｔ）［Ｎ（Γ（ｔ））］Ｔ＋σ（Γ（ｔ））［σ（Γ（ｔ））］Ｔ＝０
[0046] シナプス駆動Γｉの各シナプス駆動の分散についての式を取得するステップは、分散共分散行列Ｋ（ｔ）の対角値を決定することを備える。
【0045】
[0047] 一実施形態では、シナプス駆動Γｉの平衡点Γｉ
＊は、スパイキングニューラルネットワーク内のすべてのニューロンについてベクトル形式で、
（以下、便宜上「Γ＊＝（Γ１
＊，．．．，Γｎ
＊）Ｔ」と表記する）と書くことができ、ここで、雑音行列σはゼロであり、すなわちσ（Γ＊）＝０である。
【数2】
【0046】
[0048] 一実施形態では、制御パラメータはコンピュータシミュレーションによって調整される。
【0047】
[0049] 本開示の第９の態様によれば、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、ネットワークを形成するようにスパイキングニューロンを相互接続する複数のシナプス素子とを備えるスパイキングニューラルネットワークが開示される。各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するようにシナプス入力信号に重みを適用するように適応されており、シナプス素子は、各シナプス素子によって適用された重みを調整するように構成可能である。スパイキングニューロンの各々は、シナプス素子の１つまたは複数からシナプス出力信号の１つまたは複数を受信し、受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されている。スパイキングニューラルネットワーク内のスパイキングニューロンｉのうちの１つのスパイキングニューロンのシナプス駆動Γｉは、ニューロン内に接続されたすべてのシナプス素子の総伝達関数を記述する時間依存関数である。シナプス駆動Γｉの各シナプス駆動の分散は、スパイキングニューラルネットワーク内のニューロンｉの各ニューロンのシナプス駆動Γｉが、雑音効果が最小であるシナプス駆動Γｉの平衡点Γｉ
＊の周りに境界付けられるように、所定の値を下回る。
【0048】
[0050] 実施形態について、次に添付の概略図面を参照してほんの一例として説明し、ここで対応する参照記号が対応する部分を示す。
【図面の簡単な説明】
【0049】
【図1】[0051] ニューロンおよびシナプス素子からなる例示的なニューラルネットワークを示す。
【図2】[0052] マイクロコントローラ集積回路内のスパイキングニューラルネットワークを概略的に示す。
【図3】[0053] ニューロモルフィック（neuromorphic）コアのアレイを有する学習システムのための高レベルアーキテクチャを示す。
【図4】[0054] 単一のコア内のブースティングアルゴリズムのグラフィカル表現を示す。
【図5】[0055] 単一のコア内で複数のアンサンブルシステムを組み合わせることのグラフィカル表現を示す。
【図6】[0056] マルチコアインプリメンテーションにおいて複数のコアにわたる複数のアンサンブルシステムを組み合わせることのグラフィカル表現を示す。
【図7A】[0057] シナプス構造の概念図を示す。
【図7B】[0058] ニューロシナプス構造の概念図を示す。
【図8】[0059] 無限ネットワークの正味活動（net activity）を示す。
【図9】[0060] 有限ネットワークの正味活動を示す。
【0050】
[0061] 図は例示目的のためだけに意図され、特許請求の範囲によって策定される範囲または保護の限定としての役割をしない。
【実施形態の説明】
【0051】
[0062] 以下、特定の実施形態についてさらに詳細に説明する。しかしながら、これらの実施形態が本開示の保護の範囲を制限するものとして解釈されてはならないことを理解されたい。
【0052】
[0063] 図１は、ニューラルネットワーク１０の簡略図である。ニューロン１はシナプス素子２を介して互いに接続されている。図面が乱雑にならないように、少数のニューロンおよびシナプス素子しか図示していない（また一部にしか参照番号を付していない）。図１に示す接続トポロジ、すなわちシナプス素子２がニューロン１を互いに接続する方法は、単に例にすぎず、多くの他のトポロジを採用してもよい。各シナプス素子２が、ニューロン１の入力に信号を送信することができ、信号を受信した各ニューロン１が、信号を処理し、続いて出力を生成することができ、この出力は、さらなるシナプス素子２を介して他のニューロン１に送信される。各シナプス素子２は、特定の重みが割り当てられており、この重みは、重み付けされたシナプス出力信号を生成するように、シナプス素子が送受信する各シナプス入力信号に適用される。したがって、シナプス素子の重みは、シナプス素子２によって接続される２つのニューロン１間の因果関係の種類の尺度である。この関係は、因果的（正の重み）、反因果的（負の重み）、または非存在（ゼロ重み）であり得る。
【0053】
[0064] ニューロン１およびシナプス素子２は、例えばアナログ回路要素またはデジタルハードワイヤード論理回路を使用して、ハードウェアにインプリメントされ得る。それらはまた、部分的にハードウェアかつ部分的にソフトウェアに、または完全にソフトウェアにインプリメントされ得る。ハードウェアまたは少なくとも部分的なハードウェアへのインプリメンテーションが好ましく、すなわち、ソフトウェアが個々のニューロンを模倣するソフトウェアを実行する大型プロセッサを使用するのではなくむしろ、個々のニューロンの機能を実行するためにハードウェア回路または要素が使用される。これらの（部分）ハードウェアインプリメンテーションは、より高速の処理を達成し、例えば、はるかに高速なパターン認識と、ニューロンおよびシナプス素子のブロックが必要なときにのみ活性化されるイベント駆動型処理とを可能にする。
【0054】
[0065] ニューラルネットワーク１０は、スパイキングニューラルネットワークであり得る。この場合、ニューロン１は、１つまたは複数のスパイクまたはニューロン生成イベントの形態でニューロン出力信号を生成するスパイキングニューロンである。スパイキングニューロン１は、ニューロン内の膜電位（例えば、エネルギー電位、または電圧もしくは電流レベル）が所定のしきい値に達したときにのみ発火する（すなわち、出力スパイクを生成する）ように構成され得る。スパイキングニューロンの膜電位は、受信された入力信号の結果として変化し、すなわち、シナプス素子からニューロンが受信したシナプス出力信号は、蓄積、積分、またはそうでない場合処理されて膜電位を変更する。シナプス素子２の重みが正であるとき、そのシナプス素子から受信されたシナプス出力信号は、信号を受信するスパイキングニューロン１を興奮させ、それらの膜電位を上昇させる。シナプス素子２の重みが負であるとき、そのシナプス素子から受信されたシナプス出力信号は、信号を受信するスパイキングニューロン１を抑制し、それらの膜電位を低下させる。シナプス素子２の重みがゼロであるとき、そのシナプス素子から受信されたシナプス出力信号は、信号を受信するスパイキングニューロン１に対していかなる影響も及ぼさない。
【0055】
[0066] スパイキングニューロン１の膜電位がしきい値に達すると、ニューロンが発火し、発火時にスパイクを生成し、発火の結果として膜電位が減少する。その後膜電位が再びしきい値に達した場合、ニューロンは再び発火し、第２のスパイクを生成する。したがって、各スパイキングニューロン１は、接続されたシナプス素子２から受信した入力信号に応答して１つまたは複数のスパイクを生成するように構成され、スパイクは時空間スパイク列（spatio-temporal spike train）を形成する。スパイキングニューロン１は、その膜電位が所定のしきい値に達したときにのみ発火するので、時間情報のコード化および処理がニューラルネットワーク１０に組み込まれる。このようにして、時空間スパイク列が、スパイキングニューラルネットワーク１１０において生成され、この時空間スパイク列は、ネットワーク１０のスパイキングニューロン１によって生成されたスパイクの時間的シーケンスである。
【0056】
[0067] スパイク列の時間的特性は、入力信号の振幅および周波数特徴を符号化する。時間的特性は、刺激（例えば、シナプス素子からの入力信号）の開始とニューロンの出力時のスパイクの生成との間の待ち時間と、同じニューロンからの連続するスパイク間の待ち時間と、入力刺激が適用される持続時間中にニューロンによって発火されるスパイクの数とを備える。
【0057】
[0068] シナプス素子２は、例えば、シナプス素子のそれぞれの重みが、例えばニューラルネットワーク１０をトレーニングすることによって変化することができるように構成可能であり得る。ニューロン１は、シナプス素子からの信号に応答するように構成可能であり得る。例えば、スパイキングニューラルネットワークの場合、ニューロン１は、特定の信号が、膜電位、膜電位が静止膜電位に向かって自然に減衰するのにかかる時間、静止膜電位の値、スパイキングニューロン１のスパイクをトリガするしきい値を増加または減少させるように構成され得る。ニューロン１の構成は、例えば、トレーニング中に一定に保たれ得るか、または可変であり得、特定のトレーニングセットについてのニューラルネットワーク１０のトレーニングにおいて設定され得る。
【0058】
[0069] 入力信号１１は、例えば、複数の異なるサンプリングされた入力信号、または時空間スパイク列である。入力は、信号サンプルのアナログ・デジタル変換値、または例えばアナログもしくはデジタル積分器の場合サンプルのデジタル値、またはアナログ積分器の場合サンプルのアナログ値であり得る。
【0059】
[0070] ニューラルネットワーク１０の出力信号１２は、例えば、時空間スパイク列であり、これは、出力ニューロン１から読み出され、さらに分類され、出力変換段階によって、ユーザが選択した出力コードのタイプに対応するデジタル値のセットに変換され得る。
【0060】
[0071] 図２は、スパイキングニューラルネットワーク１１０を備えるマイクロコントローラ集積回路１００の高レベルアーキテクチャの１つの実施形態を例示する。このコンテキストでは、マイクロコントローラ１００は、データ収集、感知、パターン認識、および物理信号の作動の経済的な手段である。
【0061】
[0072] スパイキングニューラルネットワーク１１０は、１つまたは複数のストリーミング入力データポート１１１に接続され、このストリーミング入力データポート１１１は、時空間スパイク列に変換されることになる入力をスパイキングニューラルネットワーク１１０に提供する。スパイキングニューラルネットワーク１１０は、１つまたは複数の出力ポート１１２に接続される。メモリマップ制御および構成インターフェース１１３は、スパイキングニューラルネットワーク１１０の構成パラメータ、例えばシナプス重みおよび／またはニューロン構成を制御し、とりわけ、周辺機器（例えば、Ａ／Ｄ変換器、Ｄ／Ａ変換器、バンドギャップ、ＰＬＬ）と、ニューロン、シナプス、および可塑性（学習）回路の制御および適応のための回路とをさらに含み得る。インターフェース１１３は、スパイキングニューラルネットワーク１１０の設定が保存されるメモリデバイス１０２を読み出し、スパイキングニューラルネットワーク１１０に信号を送り、それに応じてハードウェアを設定する。インターフェース１１３は、アナログ信号をスパイキングニューラルネットワーク１１０に送り得る。設定は、スパイキングニューラルネットワーク１１０の各ニューロン１もしくはシナプス素子２の構成パラメータ、またはネットワークトポロジを含み得る。
【0062】
[0073] 各ニューロン１は、そのニューロン１の正確な発火挙動を制御する構成パラメータのセットを有し得る。例えば、ニューロンは、発火しきい値を用いて設計され得、この発火しきい値は、入力を受信した結果としてニューロンに蓄積する電圧、エネルギー、または他の変数のしきい値を表し、ニューロンは、蓄積された変数が発火しきい値を満たすかまたは超えると出力スパイク（電圧、電流、またはエネルギースパイクなど）を生成する。ニューロンは、蓄積された変数に対する調整を決定するために、ニューロンへの入力を積分する積分関数をインプリメントし得る。さらに、ニューロンはまた、（ａ）ニューロン内の蓄積変数が時間とともに減衰する割合を表す漏れ率（leakage rate）、（ｂ）ニューロンへの入力信号がないときに蓄積変数が時間とともに減衰する値を表す蓄積変数の静止値、（ｃ）ニューロン内の蓄積変数の増加を決定するために入力信号が積分される時間を表す積分時定数、（ｄ）ニューロンの発火直後のニューロン内の蓄積変数の値を表す不応レベル、（ｅ）ニューロン内の蓄積変数がニューロンの発火後に静止値まで上昇するのに必要な時間期間を表す不応期、を用いて設計され得る。これらのパラメータは、ニューロンごとに予め決定され、および／または構成可能であり、および／または調整可能であり得る。例えば、臨界入力信号特徴のエネルギー含量に一致するようにニューロンの発火しきい値、漏れ率、積分時定数、および不応期を調整することによって、ニューロン１は、その特徴を含む入力信号で刺激されたときに１つまたは複数の正確に調時されたスパイクを生成する。
【0063】
[0074] シナプス素子２の構成パラメータは、シナプス素子２の重みおよび利得を含む。シナプス素子２の重みは、典型的には、シナプス素子２を調整するために使用され、一方、シナプス素子２の利得は、ハードウェアにおける信号の増幅のために使用され、典型的には、ローパスフィルタのインプリメンテーションに関係する。典型的には、利得はネットワーク１１０の初期化時に固定されるが、重みはスパイキングニューラルネットワーク１１０の進化／トレーニングに基づいて変化し得る。
【0064】
[0075] マイクロコントローラ集積回路１００はさらに、集積回路１００の電算および制御を実行するためのマイクロプロセッサコア１０１を備える。例えば、マイクロプロセッサコア１０１は、メモリマップ制御および構成インターフェース１１３とメモリデバイス１０２との間の通信を監視することができる。
【0065】
[0076] メモリデバイス１０２は、任意のコンピュータ可読記憶媒体であり得る。メモリデバイス１０２は、非一時的記憶媒体であり得る。例示的なコンピュータ可読記憶媒体は、（ｉ）情報が永続的に記憶され得る書込み不可記憶媒体（例えば、ＣＤ－ＲＯＭドライブによって読取り可能なＣＤ－ＲＯＭディスク、ＲＯＭチップ、または任意のタイプのソリッドステート不揮発性半導体メモリなどのコンピュータ内の読取り専用メモリデバイス）、および（ｉｉ）変更可能な情報が記憶され得る書込み可能記憶媒体、例えば、ハードディスクドライブまたは任意のタイプのソリッドステートランダムアクセス半導体メモリ、フラッシュメモリを含むが、それらに制限されない。
【0066】
[0077] 外部バス１０４が、１つまたは複数のセンサまたは他のデータソース１０３に接続される。マイクロコントローラ集積回路１００は、センサ１０５に直接取り付けることもできる。センサは、最初にアナログ・デジタル変換器１０６を通過し得る。１つまたは複数のシリアル入力／出力ポート１０７、および汎用入力／出力ポート１０８が、マイクロコントローラ集積回路１００上に存在し得る。外部機器の直接アクセスが、ダイレクトメモリアクセス（ＤＭＡ）１０９によってマイクロコントローラ集積回路１００のメモリに配置され得る。
【0067】
[0078] 図３は、コア２００のアレイに配置された複数のニューロシナプス（neuro-synaptic）コア２１０を有する学習システムのための高レベルアーキテクチャを示す。各コア２１０は、ハードウェアにインプリメントされたニューロン１のネットワークを備え、ニューロンはシナプス素子２によって相互接続されている。単一のコア２１０は、完全なスパイキングニューラルネットワーク、または別個のサブネットワークを形成するスパイキングニューラルネットワークの一部分をインプリメントし得る。このようにして、大きいスパイキングニューラルネットワークが、いくつかのより小さいサブネットワークに区分され得、各サブネットワークは、アレイ２００のコア２１０のうちの１つにインプリメントされる。１つの実施形態では、コア２１０は、図２に示す、入力データポート１１１、出力ポート１１２、および／または制御および構成インターフェース１１３が関連付けられたスパイキングニューラルネットワーク１１０をインプリメントし得る。
【0068】
[0079] 大きいスパイキングニューラルネットワーク１１０をより小さいサブネットワークに区分し、各々がそれら自体の必須回路を有する１つまたは複数のコア２１０上にサブネットワークの各々をインプリメントすることによって、特に大型アレイの場合、より小さいプロセスジオメトリおよびより低い動作電流で動作する回路の非理想性の一部が緩和される。したがって、コアベースのインプリメンテーションアプローチは、物理的な非理想性の影響を低減する。
【0069】
[0080] 協働グループを形成するニューロンのサブネットワークまたはアンサンブルは、例えば、データ変換、特徴符号化、または分類のみを扱う、分類器、分類器のアンサンブル、ニューロンのグループ等を形成することができる。
【0070】
[0081] そのようなレジームでは、アンサンブルの大きいネットワークが区分され、コアのアレイ上にマッピングされ、その各々は、スパイキングニューロンのプログラマブルネットワークを含む。結果として、各コアは、単一のアンサンブル、または複数の小さいアンサンブル（コア内のニューロンおよびシナプスの数に関連して）をインプリメントするか、または大きいアンサンブルの場合には単一のアンサンブルの一部のみをインプリメントし、他の部分はアレイの他のコア上にインプリメントされる。アンサンブルがどのように区分されてコアにマッピングされるかの様式は、マッピング方法によって決定される。マッピング方法は、制約駆動区分を備えることができる。制約は、それぞれの各サブネットワークの機能にリンクされたパフォーマンスメトリックであり得る。パフォーマンスメトリックは、電力領域制限、メモリ構造、メモリアクセス、時定数、バイアス、技術限定、レジリエンス（resilience）、許容される不一致のレベル、およびネットワークまたは物理的アーチファクトに依存し得る。
【0071】
[0082]
[0083] アレイ２００の周囲は、生体ニューロンの細胞体および軸索小丘の作用を模したシナプス回路の行を含む。さらに、アレイ２００内の各ニューロシナプスコア２１０は、ローカルルータ２０２を有し、これは、専用のリアルタイムで再構成可能なネットワークオンチップ内の他のコア２１０のルータ２０２と通信する。
[0083] アレイ２００の周囲は、生体ニューロンの細胞体および軸索小丘の作用を模したシナプス回路の行を含む。さらに、アレイ２００内の各ニューロシナプスコア２１０は、ローカルルータ２０２を有し、これは、専用のリアルタイムで再構成可能なネットワークオンチップ内の他のコア２１０のルータ２０２と通信する。
【0072】
[0084] ローカルルータ２０２およびそれらの接続２０１は、コアアレイ２００のコア２１０間にプログラマブル相互接続構造を形成する。コア２１０は、切り替え可能な行列を通して接続される。したがって、コアアレイ２００の異なるコア２１０が、プログラマブル相互接続構造を介して接続される。特に、コアアレイ２００の異なるコア２１０上にインプリメントされたスパイキングニューラルネットワークの異なる部分が、プログラマブル相互接続構造を介して相互接続される。このように、量子効果および外部雑音が、各コアに個別に作用するだけであり、ネットワーク全体には作用しない。したがって、これらの影響が軽減される。
【0073】
[0085] コアアレイ２００上のインプリメントされたスパイキングニューラルネットワーク１１０は、スパイキングニューラルネットワーク１１０がコア２１０内のニューロン間の密な接続を有するが、異なるコア２１０間の疎な接続を有するという意味で、高いモジュール性を有し得る。このようにして、雑音および量子効果がコア間でさらに低減され、それでもなお、サブネットワークが、例えば、高い複雑性を可能にすることによって分類精度を増加させることを可能にする。
【0074】
[0086] プログラマブル相互接続構造は、コアアレイ２００内のコア２１０間にパケット交換ネットワークを形成することができる。例えば、ローカルルータ２０２は、データをパケットにグループ化することができ、パケットは次いで、接続２０１を介して送信される。これらの接続２０１は、デジタルネットワークを形成することができる。パケットは、ヘッダとペイロードから構成され得る。パケット内のペイロードが抽出されて使用される宛先コア２１０にパケットを方向付けるために、ヘッダ内のデータがローカルルータ２０２によって使用される。データは、例えば、コアアレイ２００の１つまたは複数のコア２１０上で区分およびインプリメントされたスパイキングニューラルネットワークのサブネットワークのうちの１つのサブネットワークの出力であり得る。データはまた、センサまたは別の外部デバイスから入力され得る。
【0075】
[0087] プログラマブル相互接続構造はまた、接続されることになるニューロンのアドレスが異なるコアに送られるアドレスイベント表現（address-event representation）も使用し得る。
【0076】
[0088] さらに、同期通信または非同期通信のいずれかが使用され得る。同期通信の例は、任意のクロックベースの通信であり、非同期通信の例は、例えばハンドシェイクプロトコルである。
【0077】
[0089] コアアレイ内のコアは、マイクロコントローラ集積回路１００上にネットワークオンチップを形成することができる。ネットワークオンチップは、マイクロコントローラ集積回路１００のスケーラビリティおよび電力効率を改善する。
【0078】
[0090] ネットワークオンチップのトポロジ、例えば、メッシュ、トーラス、ツリー、リング、スターは、システムのパラメータに基づいて選択される。使用されるルーティングアルゴリズムは、ネットワーク１１０のトポロジおよび特性の両方に依存する。ルーティングアルゴリズムの複雑さは、例えば、ターゲットへの複数の最短経路を考慮し、その後、フリットごとにこれらの経路のうちの１つをランダムに選択することによって増大し得る（その結果、より良好なネットワーク負荷をもたらす）。任意の所与の時間におけるネットワーク負荷についての情報およびヒューリスティックを使用することによって、さらなる効率を得ることができる。静的ルーティングテーブルまたはソースベースのルーティングを含む他のタイプのルーティングアプローチが存在する。
【0079】
[0091] ネットワークオンチップは、リアルタイムで再構成可能であり得るか、または生産段階中に静的に定義され得る。ネットワークオンチップがリアルタイムで再構成可能であるとき、コアアレイ２００内のコア２１０の設定およびそれらの相互接続構造設定を変更することができる。この変更は、例えば、マイクロコントローラ集積回路の入力または出力の変化、分類の精度または安定性に対する異なる要求、その学習ルールに基づくネットワークの進化、および通信プロトコルの変化に基づいて行うことができる。
【0080】
[0092] 本発明は、ニューロシナプスコア２１０が同種の学習ルール、重み記憶タイプ（weight storage type）、および／または通信プロトコルをシナプス行列に適用することができることを包含する。換言すれば、１つのコア内で、同種の学習ルール、重み記憶タイプ、および／または通信プロトコルを設定することができる。
【0081】
[0093] スパイキングニューラルネットワーク１１０全体は、１つのコア２１０内にインプリメントされた１つの単一エンティティとして（例えば、任意の再帰型ニューラルネットワーク構造（またはフィードバック信号のない単純なフィードフォーワードネットワーク）をインプリメントするためにすべてのフィードバック接続が適所にあるニューロン１およびシナプス２のクロスバー構造として）インプリメントされ得る。代替的に、スパイキングニューラルネットワーク１１０全体は、複数のコア２１０にわたって拡がり得、ここで、各コア２１０は、例えば、ディープニューラルネットワークのコンテキストにおいて、特定の層（単数または複数）、または層の一部をインプリメントする。ネットワークをどのように分割するかについての判定は、適用事例（例えば、レーダ、ライダー、画像、超音波、生体電位感知）に完全に基づく。
【0082】
[0094] 一実施形態では、すべてのニューロシナプスコア２１０は、それらのシナプス行列の各々に同じ学習ルール、重み記憶タイプ、および／または通信プロトコルを適用し得る。
【0083】
[0095] 一実施形態では、ニューロシナプスコア２１０は、それらのシナプス行列の各々に異なる学習ルール、重み記憶タイプ、および／または通信プロトコルを適用し得る。
【0084】
[0096] 一実施形態では、スパイキングニューラルネットワーク１１０全体のニューロシナプスアレイは、最適な性能・電力・面積のトレードオフに依存して異種学習ルールをインプリメントする単一のコア２１０として編成され得る。
【0085】
[0097] 別の実施形態では、コア２１０内のシナプス行列の異なる領域は、同じ構成レジスタによって駆動される共通の学習ルールブロックによってインプリメントされ得る同じ学習ルールを用いて構成され得る。コア２１０内のシナプス行列のこの領域のサイズは、特殊回路を作るために設計時に構成可能であり得るか、または実行時に動的に構成可能であり得、コア２１０内のシナプス行列がシナプス回路の異種クラスタリングを有し、各クラスタが異なる学習ルールをインプリメントする。この異種クラスタリングは、適用された学習ルールに基づいて、各ニューロンユニットをコア２１０内のシナプス行列の決定されたクラスタにマッピングするために、特別なマッピングまたは合成アルゴリズムを必要とし得る。
【0086】
[0098] 学習ルールブロックは、シナプス素子ごとに、シナプス素子のグループごとに、またはコアアレイ２００のコア２１０ごとにインプリメントされ得る。学習ルールブロックは、例えば構成インターフェース１１３にインプリメントされた回路からなることができる。
【0087】
[0099] 別の実施形態では、コアアレイ２００内の１つまたは複数のコア２１０の異なるセットが、同じ構成レジスタによって駆動される共通の学習ルールブロックによってインプリメントされ得る同じ学習ルールを用いて構成され得る。コアアレイ２００内のコア２１０のこのセットのサイズは、コア２１０の特殊セットを作成するために設計時に構成可能であり得るか、または実行時に動的に構成可能であり得、コアアレイ２００がコア２１０の異種クラスタリングを有し、各クラスタが異なる学習ルールをインプリメントする。この異種クラスタリングもまた、適用された学習ルールに基づいて、各ニューロンユニットをコア２１０の決定されたクラスタにマッピングするために、特別なマッピングまたは合成アルゴリズムを必要とし得る。
【0088】
[00100] コア２１０にわたってだけでなく、単一のコア２１０内でも異なる／異種学習ルールをインプリメントすることが可能である。
【0089】
[00101] コアアレイ２００のコア２１０の異なるセット、およびコア２１０内のシナプス行列の異なる領域が異なる学習ルールをインプリメントすることができるので、設計はより柔軟である。さらに、異なる学習ルールを適用することによって、特定の入力が、コアアレイ２００の特定の領域に対して異なる影響を有することになる。このようにして、異なる学習ルールがインプリメントされた異なる領域にわたって最適化を行うことができ、その結果、ネットワーク１１０全体がより良好に機能するようになる。最後に、異なる学習ルールが異なる入力信号に対してより良好に機能することができ、その結果、ネットワークを、ネットワークのどの部分においてどの学習ルールが必要とされるかに合わせることができる。
【0090】
[00102] さらに、一実施形態では、コアアレイ２００内の１つのコア２１０、または１つまたは複数のコア２１０のセット内のシナプス行列の各領域はまた、デジタルメモリ、容量記憶、双安定機構などの異なる重み記憶機構をインプリメントすることができ、各領域は異なる電力要件を有する。
【0091】
[00103] コアアレイ２００内のコア２１０のセットは、異なる通信プロトコルをインプリメントすることができる。これは、設計をより柔軟にする。したがって、コアアレイ２００のコア２１０は、特に、同じまたは異なる学習ルール、重み記憶タイプ、および／または通信プロトコルがそれらのシナプス行列の各々に適用されるのを可能にするので、ハードウェアへのスパイキングニューラルネットワーク１１０の実用的かつ柔軟なインプリメンテーションが可能となる。
【0092】
[00104] 脳の認知能力が、アンサンブルニューロン活動または電算の合同形態から現れ、すなわち、ニューロンの協働グループ（サブネットワークまたはアンサンブル）は、学習をトリガし、包括的知覚能力を強め、感覚モダリティの減少を補償する機能的神経状態をつくり、ニューロンのグループの合同活動は、単一のニューロン発火の信頼できない確率的性質を克服する。
【0093】
[00105] その後、生物学の様相を反映しようとする多数のアーキテクチャ、すなわち、複数の（並列）分類器を使用することができ、同じ刺激に対して、または刺激の様々な部分もしくは特徴に対して機能して、例えば、特徴選択、信頼度推定、欠落特徴、増分学習、誤り訂正等の様々な機械学習複雑性を改善する。入力信号の特徴空間は、複数の分類器を使用して区分され得る。同様に構成されたニューラルネットワークのアンサンブルが、分類パフォーマンスを改善するために利用され得る。ブースティング手順を用いて、強力な分類器（バイナリ分類問題について任意に低い誤差を有する）を分類器のアンサンブルから構築することができ、アンサンブルを構成するこれらの分類器の任意のものの誤差は、ランダム推測の誤差よりも単に良好である。
【0094】
[00106] 結果として、（ｉ）個々の分類器のためのトレーニングデータの選択、（ｉｉ）アンサンブルメンバを生成するために使用される特定の手順、および／または（ｉｉｉ）アンサンブル判定を取得するための組み合わせルールに基づいて、例えば、バギング、ランダムフォレスト（決定木のアンサンブル）、複合分類器システム、混合エキスパート（ＭｏＥ：mixture of experts）、スタック一般化（stacked generalization）、コンセンサス集合（consensus aggregation）、複数の分類器の組合せ、動的分類器選択、分類器融合、ニューラルネットワークのコミッティ、および分類器アンサンブルを含む複数のアンサンブルシステムを考案することができる。
【0095】
[00107] 図４は、コアアレイ２００の単一のコア２１０内のブースティングアルゴリズムのグラフィカル表現を示す。図４では、コアアレイ２００の単一のコア２１０内にインプリメントされた複数の分類器３００が示されている。分類器３００は、分類器３００のアンサンブルを形成する。
【0096】
[00108] 分類器３００のアンサンブルは、コアアレイ２００の単一のコア２１０上にインプリメントされ得るスパイキングニューラルネットワーク１１０のサブネットワークの一例である。
【0097】
[00109] 分類器３００は、出力ニューロンのセットを有し（各クラスに対して１つ）、その各々が、その発火確率分布にしたがってイベント（スパイク）を発火させると仮定される。特定の分類器３００が、シナプス素子２によって接続されたニューロン１（またはニューロン１およびシナプス素子２）の異なる層３０１、３０２、３０３を備え得る。各層は異なる機能性を有し得、例えば、層３０１はデータ変換を実行することができ、層３０２は特徴符号化を実行することができ、層３０３は分類を実行することができる。各分類器３００内に存在する出力層も存在し得る。出力層は、コアアレイ２００の特定のコア２１０のローカルルータ２０２に接続され得る。ローカルルータ２０２間の接続２０１を使用して、特定の分類器３００または分類器３００のアンサンブルの出力は、コアアレイ２００内の他のコア２１０に方向付けられ得、このようにしてスパイキングニューラルネットワーク１１０の他のサブネットワークに方向付けられ得る。
【0098】
[00110] 図５は、コアアレイ２００の単一のコア２１０内で複数のアンサンブル分類器システムを組み合わせることのグラフィカル表現を示す。
【0099】
[00111] 最初に、ブースティングアルゴリズムに基づいてインプリメントされる分類器３００のアンサンブル４０１は、入力４０４を受信し、その後、その出力を、混合エキスパートアルゴリズムに基づいてインプリメントされる第２のアンサンブル４０２に送る。層間のシナプス素子４１０は、学習ルールとしてトリプルベースのスパイクタイミング依存可塑性（Ｔ－ＳＴＤＰ：tripled-based spike timing dependent plasticity）を使用してトレーニングされ得る。ＳＴＤＰでは、ニューロン１への入力スパイクが、平均してそのニューロン１の出力スパイクの直前に発生する傾向がある場合、その特定の入力は幾分強くされる。入力スパイクが平均して出力スパイクの直後に発生する傾向がある場合、その特定の入力は重みを調整することによって幾分弱くされる。したがって、ポストシナプスニューロン１の興奮の原因であり得る入力は、特定のシナプス素子２の重みを上げて調整することによって将来的に寄与する可能性がさらに高くなるが、ポストシナプススパイクの原因ではない入力は、特定のシナプス素子２の重みを下げることによって将来的に寄与する可能性が低くなる。このＳＴＤＰ方法は、一対のスパイクを使用するので、対ベースである。Ｔ－ＳＴＤＰは、スパイクのトリプレットが使用される点で通常のＳＴＤＰとは異なる。
【0100】
[00112] ゲーティングネットワーク（gating network）４０８を使用して、トレーニング中にエキスパート間でデータ区分が設定され、出力を結合する。ゲーティングネットワーク４０８は、いわゆる「ゴールデンリファレンス（golden reference）」としてトレーニング中に使用することができ、異なるエキスパート結果をプールするためのフィルタまたは伝達関数を定義し、教師信号として機能する。エキスパートはトレーニングパターンを学習するために競争し、ゲーティングネットワーク４０８はその競争を仲介する。プーリングおよび結合システム４０９は、すべての異なるエキスパートの出力をプールして１つの出力４０６に結合し、混合エキスパート層の出力４０６を、ブースティングアルゴリズムに基づいてインプリメントされた分類器３００の第３のアンサンブル４０３への入力として出力する。第３のアンサンブル４０３の出力４０７は、コア２１０のローカルルータ２０２に出力され得、相互接続２０１を介して、コアアレイ２００の他のコア２１０またはスパイキングニューラルネットワーク１１０の出力ポート１１２に送られ得る。
【0101】
[00113] 図６は、マルチコアインプリメンテーションにおいて複数のコアにわたって複数のアンサンブルシステムを組み合わせることのグラフィカル表現を示す。
【0102】
[00114] 最初に、第１のコア５１０Ａにおいて、ブースティングアルゴリズムに基づいてインプリメントされる分類器３００のアンサンブル４０１は、入力４０４を受信し、その後、その出力を、混合エキスパートアルゴリズムに基づいてインプリメントされる第２のアンサンブル４０２に送る。第２のアンサンブル４０２のプーリングおよび結合システム４０９は、その出力を第１のコア５１０Ａの第１のローカルルータ５０２Ａに出力し、次いで、この第１のコア５１０Ａは、この出力を、相互接続５０１Ａ、５０１Ｂを介して第２のコア５１０Ｂの第２のローカルルータ５０２Ｂに向けて送る。次いで、このデータは、第２のコア５１０Ｂ上に存在する第３のアンサンブル４０３に対する入力として使用される。したがって、このシステムは、スパイキングニューラルネットワーク１１０がある方法で区分され、異なる方法でコアアレイ２００上にマッピングされるという点で、図５に示すシステムとは異なる。すなわち、この実施形態では、アンサンブルは２つの異なるコア５１０Ａ、５１０Ｂに分割され、各々がそれ自体の必須回路を有する。
【0103】
[00115] 分類器出力の後続のマージを表す動的モデルを考案することは、特有のラベル付けされていない各パターンを最良適合分類器に割り振るための方式を強要する。分類器は、確率的ｗｉｎｎｅｒ－ｔａｋｅｓ－ａｌｌとして定義され、ここでは、単一のニューロンのみが、入力において提示された任意のデータに対してスパイクすることができる。トレーニング可能な結合器は、どの分類器が特徴空間のどの部分において正確であり、その後、それに応じて結合されることができるかを決定することができる。
【0104】
[00116] 一般性を失うことなく、ブースティングアルゴリズムにおいて、弱および強の確率的で近似的に正しい（ＰＡＣ：probably approximately correct）学習モデルの同等性が前提条件であり、すなわち、同じでないサブ仮説がトレーニングされる、異なる分布を生成する。確率的で近似的に正しい（ＰＡＣ）学習は、機械学習における電算学習理論における数学的解析のためのフレームワークである。ここで、学習者はサンプルを受信し、あるクラスの可能な関数から一般化関数を選択しなければならない。目標は、高い確率（「確率的」の部分）で、選択された関数が低い一般化誤差（「近似的に正しい」の部分）を有することである。
【0105】
[00117] 対照的に、適応型混合エキスパートは、異なるサブタスクを多様な学習者に割り振ることによってパフォーマンスの向上を得る。アンサンブル学習アルゴリズムの大部分、例えばスタッキングは、最初に基本予測子をトレーニングし、その後、結合モデルを調整しようと試みる。
【0106】
[00118] 混合エキスパートおよびブースティングは、異なるカテゴリの問題のために意図されたものであり、これは特有の利点および欠点をもたらす。ブースティングでは、分布は、主に、個々の分類器が、前者の分類器が誤っているまたは一致していないデータパターンについてのエキスパートとして進行することを可能にするように指定される。しかしながら、混合エキスパートでは、データパターンは、基本的であるが一貫したサブセットに分離され、その後、個々のサブセットに必要な学習プロセスは、元のデータパターンほど複雑ではない。
【0107】
[00119] トレーニング中にエキスパート間でデータ区分を設定することと、出力を結合することの両方のために、同一のゲーティング関数（gating functions）が用いられる。ゲーティングネットワークは、典型的には、元のトレーニングデータに対して期待値最大化（ＥＭ：expectation-maximization）アルゴリズムを使用してトレーニングされる。
【0108】
[00120] 各アンサンブルまたはアンサンブルの組合せは、１つまたは複数のコア２１０にインプリメントされ得る。
【0109】
[00121] 図７Ａに示す一実施形態では、コア２１０内にシナプス素子６５２Ａ～Ｄを有するシナプス行列のハードウェアインプリメンテーションが示されている。シナプス素子６５２Ａ～Ｄの各々には、それぞれの重み６５３Ａ～Ｄが帰属している。第１の重み６５３Ａについてｗ２，１、第２の重み６５３Ｂについてｗ１，１、第３の重み６５３Ｃについてｗ２，２、第４の重み６５３Ｄについてｗ１，２と書くことができる。
【0110】
[00122] シナプス素子６５２Ａ、６５２Ｂへの入力信号６５０ＡはＸ１と書くことができ、シナプス素子６５２Ｃ、６５２Ｄへの入力信号６５０ＢはＸ２と書くことができる。これは、時空間スパイク列の一部としての電圧スパイクであり得る。各シナプス素子６５２Ａ、６５２Ｂにおいて、入力信号６５０Ａは、それぞれの重み６５３Ａ、６５３Ｂで乗算される。各シナプス素子６５２Ｃ、６５２Ｄにおいて、入力信号６５０Ｂは、それぞれの重み６５３Ｃ、６５３Ｄで乗算される。出力信号６５１Ａは、Σｉｗ１，ｉＸｉと書くことができ、出力信号６５１Ｂは、Σｉｗ２，ｉＸｉと書くことができる。これらの出力信号６５１Ａ、６５１Ｂは、１つまたは複数のニューロンに送られ得る。
【0111】
[00123] シナプス素子６５２Ａ～Ｄの重み６５３Ａ～Ｄは、１つまたは複数のイネーブルライン６５４とエラーライン６５５とを使用することによって設定され得る。イネーブルライン６５４は、重み６５３Ａ～Ｄをイネーブルし、システムに知られている正しい値を設定するが、エラーライン６５５は、重み設定における知覚された誤差に基づいて重み６５３Ａ～Ｄを更新する。これらの信号はアナログまたはデジタルであり得る。
【0112】
[00124] 別の実施形態では、ニューロシナプスアンサンブルの各々は、生体ニューロンの複数の（シナプス）受容体と、樹状突起（入力）および軸索細胞体（出力）の組合せとしてインプリメントされ得る。これについて図７Ｂに示す。
【0113】
[00125] 図７Ｂは、１つまたは複数のシナプス素子６０２を示す。時空間スパイク列のスパイク６０６部分が、シナプス素子６０２に入る。電算素子の入力において、３つの受容体がアクセス可能であり、ＮＭＤＡ受容体（ｒＮＭＤＡ）６０７Ａが、シナプス重みｗの活動依存性（activity-dependent）修正を提供し、ＡＭＰＡ受容体（ｒＡＭＰＡ）６０７Ｂが、ソース電流で細胞体を駆動するための高速シナプス電流を促進し、最終的に、ＧＡＢＡ受容体（ｒＧＡＢＡ）６０７Ｃが、ＧＡＢＡＡまたはＧＡＢＡＢ受容体が使用されるかどうかに依存して、シンク電流で高速または低速抑制性シナプス電流を促進することができる。ｒＡＭＰＡ６０７Ａおよび／またはｒＧＡＢＡ６０７Ｃの出力は、増幅器６０８への入力として使用され得る。
【0114】
[00126] この実施形態では、ｒＮＭＤＡ６０７Ａと、ｒＡＭＰＡ６０７ＢまたはｒＧＡＢＡ６０７Ｃのいずれかも有することもできる。重要なことに、異なる時間成分を有する受容体６０７Ａ～Ｃを使用することができる。ｒＡＭＰＡ６０７ＢおよびｒＧＡＢＡ６０７Ｃは、ローパスフィルタとしてインプリメントされ得る。一方、ｒＮＭＤＡ６０７Ａは、インプリメントされた学習ルールのプレシナプス回路に接続された、増幅およびフィルタリングの両方を有する電位依存性受容体としてインプリメントされ得る。フィルタリングは、バンドパスフィルタ、ローパスフィルタ、およびハイパスフィルタからなることができる。
【0115】
[00127] 増幅器６０８の出力は、シナプス素子６０２に接続されたニューロンの一部を形成する樹状突起６０１Ａに送られる。すべてのシナプス素子６０２からの出力は、次いで、積分器６０９によって時間にわたって積分される。積分された信号は、受容体６１０を介して、軸索６０３および細胞体６０４からなるニューロンの軸索細胞体６０１Ｂに送られる。シナプス素子の他のクラスタ６０５、６０６からの信号も、この時点で軸索細胞体６０１Ｂに入り得る。異なる積分器６１１を軸索細胞体６０１Ｂに配置することができる。スパイクが、活動電位を生成する軸索６０３によって解放されると、それは軸索細胞体６０１Ｂを離れ、例えば、時空間スパイク列におけるスパイクとして他のシナプス素子に向かって送られ得る。
【0116】
[00128] 受容体６１２および６１３は、それぞれ樹状突起６０１Ａおよび軸索細胞体６０１Ｂから誤差逆伝播信号（back-propagated signals）を取得する。これらは、例えばシナプス素子に加算され、時間導出６１４が行われ、結果として生じる信号がｒＮＭＤＡ６０７Ａ信号と乗算されて、増幅器６０８を、したがって各シナプス素子６０２の重みを修正する。
【0117】
[00129] この次元数の増加は、より多くの状態および遷移（および時定数）を可能にし、恒常的可塑性（homeostatic plastic）およびメタ可塑性（metaplastic）の相互作用のインプリメンテーションにおいてより柔軟性を提供し、すなわち、環境変化への適応のための機構を提供し、その結果、ロバストなニューラル電算を実現および維持する手段を提供する。
【0118】
[00130] 工学用語では、恒常的可塑性は、外部条件の変化または温度変動の結果としてのニューロン活動または内部接続性におけるドリフトの影響のバランスをとる誤差逆伝播信号制御の一形態である。
【0119】
[00131] この概念は、動作条件の変動に対するロバスト性を提供するので、スパイキングニューラルネットワーク１１０のハードウェア設計において重要な役割を有するが、限られた数の以前のインプリメンテーションは、主に、シリコンにおける長時定数の実現に関与する技術的制約の結果としての恒常的可塑性を含む。
【0120】
[00132] インプリメントされたシナプス素子６０２は、多数の電算能力、例えば、広範囲の受容体時定数およびコンダクタンス値ｇｍ、軸索および樹状突起遅延、最適なシナプス伝達関数の実現を可能にする。
【0121】
[00133] 学習およびメモリの根底にあるシナプス伝達の活動依存可塑性は、主に、受容体の生物物理学的特性におけるポストシナプス変化に起因する。
【0122】
[00134] シナプス電流の流れを調節するために、各受容体は、神経伝達物質の受容体への多重結合協同性（multi-binding cooperativity）などの非線形特性をモデリングする多重（トランス）コンダクタンスチャネルとして指定される。ＮＭＤＡ受容体６０７Ａによって媒介されるシナプス電流は、シナプス活動によって調節される。シナプス素子６０２における受容体数の高速修正は、シナプス接触の形成、安定性、形態、および密度を通じたシナプス有効性における活動依存性変化のための制御機構として機能している。樹状突起スパイクのグループ（バースト）がしきい値を超えるのに十分である場合、軸索６０３は活動電位を生成し、その後のスパイクは樹状突起６０１Ａ内に誤差逆伝播され、細胞体６０４信号と共に乗算され、ＮＭＤＡ受容体６０７Ａ信号に加算され、その後、重み制御を生成する。この準局所恒常性フレームワークは、ヘッブ型可塑性（Hebbian plasticity）を妨害することなく正規化関数を提供し、ポストシナプス強度の段階的調整を通して正味シナプス活性化を効果的に一定に保つ。
【0123】
[00135] 図７Ａおよび図７Ｂの両方のハードウェアインプリメンテーションは、必ずしも本発明のマルチコアインプリメンテーション内で使用される必要はないが、任意のスパイキングニューラルネットワーク１１０は、このようにして任意のハードウェアにインプリメントされ得る。
【0124】
[00136] 組み合わされたアンサンブルシステムの各々は、生物学的に妥当な機構にしたがって動作し、例えば、混合エキスパート非線形ゲーティング機構が、スパイクタイミング依存可塑性（ＳＴＤＰ）に基づき、ＳＴＤＰとニューロンの興奮性における活動依存性変化との組合せは、ベイズ情報処理（スパイキング期待値最大化（ＳＥＭ：spiking expectation-maximization）ネットワークと呼ばれる）を誘発する。
【0125】
[00137] 提案されたアンサンブルアーキテクチャは、個々のアンサンブルユニット（分類器）としてそのようなＳＥＭネットワークを利用することができる。ＳＥＭで使用される学習ルールは、重み依存ヘッブトリプレットＴＳＴＤＰルールである。分類器は、出力ニューロンのセットを有し（各クラスに対して１つ）、その各々が、その発火確率分布にしたがってイベント（スパイク）を発火させると仮定される。分類器は、確率的ｗｉｎｎｅｒ－ｔａｋｅｓ－ａｌｌ（ｓＷＴＡ）機構に従い、単一のニューロン１のみが、任意の提示された入力データに対して発火することができる。
【0126】
[00138] すべてのシナプスｗｉｊは、その出力（ポストシナプスニューロン）が発火した場合、その入力ｙｉ（プレシナプスニューロン）の活性化統計値を集める。これらの統計値は、増補入力分布のサンプルから実行時に収集することができる。このデータから、各重みは、各シナプスにおける２つのローカル仮想カウンタの対数積として解釈することができ、すなわち、一方はイベントの数を表し、一方はローカル学習率ηｉｊを表す。
【0127】
[00139] 結果として、スパイクイベントトリガ確率的オンライン学習ルールを導出することができる。
【数3】
【0128】
[00140] これは、シナプスｗｉｊにおいて、ニューロンｚｉのスパイキング時間における出力の移動平均の対数を近似する。
【0129】
[00141] スパイキングニューラルネットワーク１１０における確率的重み更新を設定するために使用される（ランダム）変数は、独立しており、全く同様に分布している。遷移に導入された確率性に起因して、分類器は、ターゲットクラスの様々な表現を学習する。その後、分類器応答は、集約された改善された分類器に組み合わされる。さらに、シナプス重みの境界値（bound values）に不確実性を加えることによって、分類器判定が活性化されるレベルを制御することができる。
【0130】
[00142] ニューロン１は、主として高速の全か無か（all-or-none）のイベント、すなわち、その膜電位におけるスパイクを通して、スパイキングニューラルネットワーク１１０において通信する。ニューロン集団における相対的スパイク発火時間は情報コードとして仮定され、ニューロン集団間の同期は情報を符号化および復号するための信号として仮定される。その結果、興奮性および抑制性ニューロンネットワークの神経電気特性は、次式のように表すことができる。
【数4】
【0131】
[00143] ここで、Γｉ（ｔ）は、本質的にシナプス強度を示す、時間ｔにおけるｉ番目のシナプス駆動であり、シナプス重みおよび利得関数に関して定義され、λｉは、シナプス電圧の指数関数的減衰を調節し、入力コンダクタンスのスパイク時間依存スケーリングを模倣する利得であり、関数ｆｉ（．．．）は、ｉ番目のニューロン発火率を表し、ｗｊｉは、ｉ番目のニューロン上のｊ番目のニューロン間の連結を指定する定数であり、ｖｒ，ｉ（ｔ）は、ｉ番目のニューロンへの入力電圧、例えば、感覚受容体からの神経インパルスを示す。重みｗｊｉを有する接続シナプス素子に対して、ｉ番目のニューロンはポストシナプスニューロンであり、ｊ番目のニューロンはプレシナプスニューロンである。ニューロンｉのシナプス駆動Γｉは、ニューロンｉを駆動するすべてのシナプス素子の総伝達関数と見なすことができ、例えば、ニューロンｉ等を駆動するシナプス素子の指数関数的減衰値、重み、および利得の関数であり得る。
【0132】
[00144] しかしながら、ニューロンは、スパイクの生成およびシナプス信号の伝達の両方において雑音が多い。雑音は、神経伝達物質の量子的放出、イオンチャネルのランダムな開口、バックグラウンド神経活動の連結等から生じる。
【0133】
[00145] その後、雑音は、ニューロン変動性を誘発し、環境刺激に対するニューロン感応性を増加させ、ニューロン間の同期に影響を及ぼし、確率的推論を容易にする。
【0134】
[00146] 不確実性モデルをマルコフ過程（Markov process）として導出し、ここで、確率積分は伊藤型確率微分方程式系として解釈され、その結果、時間的に変化する遅延および確率入力不確実性を用いて上式（１）を拡張する。
【数5】
【0135】
[00147] 式（２）の右側の最初の２つの項は、それぞれ、確率微分方程式の確定的ドリフト（deterministic drift）部分および確率的拡散部分であり、ここで、
、および、
と定義する。
【数6】
【数7】
【0136】
[00148] ここで、ω（ｔ）＝［ω１（ｔ），ω２（ｔ），．．．，ωｎ（ｔ）］Ｔは、入力電圧における雑音を記述し、ブラウン運動、すなわちｎ次元標準ウィーナー過程（n-dimensional standard Wiener process）によって表され、σ（Γ）＝ｄｉａｇ（［σ１（Γ１），σ２（Γ２），．．．，σｎ（Γｎ）］Ｔ）は、ガウス白色雑音過程ｄω（ｔ）に対する状態依存雑音行列を表す。時間依存関数δｊｉ（ｔ）は、時間ｔにおけるｊ番目のニューロンからｉ番目のニューロンへの信号の連続的な時間的に変化する時間遅延を示し、δｊｉ（ｔ）≧０，ｔ≧０である。
【0137】
[00149] 平均ダイナミクスの行列Ψおよびｗのすべてのエントリが、例えば（ｖｒ，ｉ（ｔ）＝０で）同期的に摂動されるという仮定がなされる。
【0138】
[00150] 仮定は、シナプス入力がデルタ様電流パルスに類似しており、その後、ガウス白色雑音が高速ＡＭＰＡ電流（２ｍｓ程度の減衰）およびＧＡＢＡＡ電流（５～１０ｍｓ程度の減衰）に対して有効であるとしてモデリングされ得るというものであるが、ＮＭＤＡ電流またはＧＡＢＡＢ電流（５０～１００ｍｓ程度の減衰）のような低速の電流に対しては、この仮定は当てはまらない場合がある。その結果、それらは、有色雑音としてモデリングされ、定常状態発火率内の非ゼロシナプス時定数が複雑な３Ｄフォッカー・プランク式（3-D Fokker-Planck expressions）を必要とすることを含む。
【0139】
[00151] このような方法論は実現可能であるが、より効果的なアプローチは、再スケーリングされた分散によって分散を置き換えること、すなわち、シナプス時定数τｓが主として変動の振幅に影響を及ぼすことに注目することからなる。したがって、有色雑音および白色雑音の電圧分散の比から、シナプス時定数依存低減係数
を、
で演繹することができ、ここで、τｍは膜時定数であり、
（以下、便宜上、「σＩｓｙｎ」と表記する）はシナプス電流の標準偏差である。したがって、ガウス白色雑音理論は依然として有効であり、分散σＩｓｙｎをσｒｅｄで置き換えるだけである。
【数8】
【数9】
【数10】
【0140】
[00152] 目標は、Γ（ｔ）の分散共分散行列を求めることである。式２は、（伊藤の）確立微分方程式のセットである。そこから、Γ（ｔ）の分散共分散行列を導出し、これは本質において、時変係数を有する線形の通常の微分方程式系である。解を求めるために、後退オイラー法（backward Euler）を用いて離散化を適用し、その結果、以下の式５に示す連続時間代数リアプノフに達する。これらは反復アプローチによって解かれ、解は式６で与えられる。
【0141】
[00153] 目標は、すべてのニューロンｉについてのシナプス駆動Γｉ（ｔ）の分散の式を求めることであり、これは、Γｉ（ｔ）のランダム値がそれらの平均値からどれだけ遠くに拡がっているかを測定するからである。シナプス駆動の分散は、シナプス駆動のその平均からの二乗偏差の期待値である。このような式を求めることによって、スパイキングニューラルネットワークを境界付けることができる。すなわち、スパイキングニューラルネットワークにおける雑音から生じるシナプス駆動の値の拡がりは、分散がより小さくなるように、特に分散が特定のハードウェアインプリメンテーションにおいて最小化されるように、分散の式を作るパラメータを微調整することによって制限され得る。
【0142】
[00154] Γ（ｔ）の分散共分散行列Ｋ（ｔ）の対角要素Ｋｉ，ｉ（ｔ）は、それぞれ、シナプス駆動Γｉ（ｔ）の分散によって与えられる。したがって、Γ（ｔ）の分散共分散行列Ｋ（ｔ）を解くことにより、すべてのニューロンｉについてのシナプス駆動Γｉ（ｔ）の分散の式が得られる。
【0143】
[00155] （２）を解くには、最初にσ（Γ）を求め、次いでその行列の平方根を得ることが必要である。マルコフチャネルモデルにおけるオープンチャネルの定常統計を使用して、コンダクタンスモデルにおける雑音過程を定義する。確定的ドリフトおよびゴールドウィン法によるＭ個のイオンチャネル（またはスパイキングニューラルネットワークにおけるシナプス素子の数）からσ（Γ）を構築するための一般的方法は、以下のように表すことができる。
【数11】
【0144】
[00156] ここで、Ｎは状態の数であり、ＩＮ×１は、すべてのエントリが１に等しいＮ×１列ベクトルであり、ＩＮ×Ｎは、Ｎ×Ｎ単位行列である。σ（Γ＊）＝０である平衡点Γ＊において、式（２）の雑音部分はゼロである。上式（４）を使用して、系の平衡点Γ＊を求めることができる。平衡点Γ＊では、スパイキングニューラルネットワークは安定し、すなわち、雑音はスパイキングニューラルネットワークの挙動に影響を及ぼさない。次に、ネットワークの境界が、すべてのニューロンｉに対するシナプス駆動Γｉ（ｔ）の分散の式を求めることによって決定される。
【0145】
[00157] 確率微分に伊藤の定理を適用し、続いて後退オイラー法を適用すると、Γ（ｔ）の分散共分散行列Ｋ（ｔ）（初期値Ｋ（０）＝Ｅ［ΓΓＴ］である）は、連続時間代数リアプノフ方程式として表すことができる。
【数12】
【0146】
[00158] 特定の時間ｔｒにおけるＫ（ｔ）は、（５）における系を解くことによって電算される。小さく密なリアプノフ方程式が、Ｂａｒｔｅｌｓ－Ｓｔｅｗａｒｔ法またはＨａｍｍａｒｌｉｎｇ法によって効率的に計算される。代替的に、符号関数ベースの技法によって、大きく密なリアプノフ方程式を電算することができる。一般に、ニューラルネットワークにおける確定的ドリフトの行列は、フルランク行列ではなく、その結果、（５）を標準形式の疎線形行列ベクトル系として書き換え、調整された交互方向法で解く。
【数13】
【0147】
[00159] ここで、Ｋｊは、反復ｊ＝１、２、．．．に対するｊ×ｎのランクを有し、ｎは、［σ（Γ）］ｒにおけるベクトルの数である。
【0148】
[00160] （２）においてネットワークを、確率的摂動が減少する、平衡点Γ＊、例えば点σ（Γ＊）＝０に安定させるために、変換Θ（ｔ）＝Γ（ｔ）－Γ＊を用いて平衡点Γ＊を原点にシフトし、
[00161] ここで、ｇ（Θ（ｔ））＝ｆ（Γ（ｔ）＋Γ＊）－ｆ（Γ（ｔ））であり、コントローラｕ（ｔ）は、
として設定され、
[00162] ここで、
であり、φ１、φ２は利得係数であり、γは０＜γ＜１を満たす。γ＝０の場合、ｕ（ｔ）は不連続であり、０＜γ＜１のとき、コントローラはΘに関して連続関数であり、γ＝１の場合、ｕ（ｔ）は漸近安定化として設定される。
【数14】
【数15】
[00162] ここで、
【数16】
【0149】
[00163] 一般性を失うことなく、図８および図９は、ネットワーク活動を例示しており、その結果、それぞれ、無限（unbounded）ネットワークおよび有限ネットワーク（bounded network）の平均ネットワーク活動ヒストグラムを例示する。
【0150】
[00164] 両方の図において、スパイキングニューラルネットワーク１１０への入力信号は同じである。しかしながら、スパイキングニューラルネットワーク１１０内のすべてのニューロンｉのシナプス駆動Γｉ（ｔ）を平衡点Γｉ
＊の周りの特定の範囲内に入れることでネットワークを境界付けることによって、有限ニューラルネットワークは、無限ネットワークほど雑音を受けない。平衡点Γｉ
＊の周りの特定の範囲は、シナプス駆動Γｉ（ｔ）の分散の式に生じるパラメータを選択することによって設定される。各シナプス駆動Γｉの分散は、ネットワーク１１０における雑音の量に対する最大許容値に依存する特定の値を下回る。この値は、予め定義することができ、特定の用途、入力信号、スパイキングニューラルネットワーク１１０によって行われる分類の精度要求等に依存する。
【0151】
[00165] 実際には、例えば、ハードウェアまたはソフトウェアのいずれかでネットワークをシミュレーションし、その後、上述したようにネットワークを境界付け、効果を評価することによって、ネットワーク１１０を境界付けることができる。ネットワーク１１０の境界付けは、重みが設定される学習プロセス中に実行され得る。雑音は、雑音によって影響を受けたときのネットワークの安定性をテストするために、人工的に付加またはシミュレーションされ得る。
【0152】
[00166] 上記は、コアアレイ２００内の１つの特定のコア２１０内のマルチコアソリューション、またはスパイキングニューラルネットワーク１１０の汎用ハードウェアインプリメンテーション内のいずれかにインプリメントされる、任意のスパイキングニューラルネットワーク１１０にインプリメントされ得る。
【0153】
[00167] 本発明は、各アンサンブルが特有の入出力伝達関数、例えばフィルタリング、増幅、乗算、加算を実現するマルチ受容体マルチ樹状突起のニューロシナプス構造のアンサンブルとしての再構成可能な多層電算ネットワークのインプリメンテーションとして実現することができる。
【0154】
[00168] 一実施形態では、分類器応答および活性化関数の制御および適応性のために、ニューロシナプス構造またはそのような構造のアンサンブルに対する信頼性および不確実性の境界を設定するための方法が考案されている。
【0155】
[00169] 一実施形態では、ニューロシナプス構造の次元数の増加が実現され、より多くの状態および遷移を可能にし、可塑性およびメタ可塑性相互作用のインプリメンテーション、ならびに様々なニューロン特性、例えば遅延またはシナプス伝達関数においてより柔軟性を提供する。
【0156】
[00170] 一実施形態では、アンサンブルまたはアンサンブルのセットにおける各ニューロシナプス構造が、一意の学習ルールをインプリメントする場合、複数の学習ルールがインプリメントされ得る。
【0157】
[00171] 一実施形態では、電荷または代表的な化学物質、例えばカルシウム、カリウム、ナトリウムの量の適応制御によって、特有の入出力伝達関数を生成することができる。
【0158】
[00172] 一実施形態では、正確な学習挙動を駆動し、ニューロシナプス構造の学習能力を改善するために、きめ細かい時間精度を実現することができる。
【0159】
[00173] 一実施形態では、結果として得られるネットワークにおける恒常的調節のインプリメンテーションを可能にするために、複数の時間的制御機構を実現することができる。
【0160】
[00174] 一実施形態では、局所的および大域的なポストシナプスの影響をモデリングするために複数の信号をインプリメントすることができる。
【0161】
[00175] 一実施形態では、アンサンブルのセットを、再構成可能なニューロシナプスアレイとして編成することができる。
【0162】
[00176] 一実施形態では、再構成可能なニューロシナプス構造を電算／信号処理コアとして編成することができ、各コアは、最適な性能・電力・面積のトレードオフに依存して、特定の学習ルール、重み記憶等をインプリメントする単一の異種または同種のタイプとして編成することができる。
【0163】
[00177] 生物学的神経系および従来の電算のエネルギー効率および認知パフォーマンスにおける大きい不一致が、特に制御されていないまたは雑音の多い感覚入力が存在するとき、物理的周囲とのリアルタイム相互作用に関連するタスクを用いて大いに例証される。しかしながら、ニューロモルフィックイベントベースのニューロンネットワークは、例によって学習する能力、動作の並列性、連想メモリ、多因子最適化、および拡張可能性に起因して、複雑な感覚信号の統計値の変化を学習し、それに適応する小型で低電力の認知システムのための固有の選択肢である。このニューロモルフィックネットワークのための新たなハードウェアレジリエント方法論は、生物医学的信号のパターンを検出すること（例えば、スパイク分類、発作検出等）、発話コマンド、画像（例えば手書き数字）の分類に及ぶ用途に対してエネルギー効率のよいソリューションを提供する設計を可能とし、サイバー物理システムおよびモノのインターネットにおけるスマートセンサまたはウェアラブルデバイスを含む、広範囲のデバイスにおいて適用されることができる。
【0164】
[00178] １つまたは複数の実施形態が、コンピュータシステムとの使用のためのコンピュータプログラム製品としてインプリメントされ得る。プログラム製品のプログラム（単数または複数）は、実施形態の機能（本明細書で説明した方法を含む）を定義し得、様々なコンピュータ可読記憶媒体上に含まれ得る。コンピュータ可読記憶媒体は、非一時的記憶媒体であり得る。例示的なコンピュータ可読記憶媒体は、（ｉ）情報が永続的に記憶され得る書込み不可記憶媒体（例えば、ＣＤ－ＲＯＭドライブによって読取り可能なＣＤ－ＲＯＭディスク、ＲＯＭチップ、または任意のタイプのソリッドステート不揮発性半導体メモリなどのコンピュータ内の読取り専用メモリデバイス）、および（ｉｉ）変更可能な情報が記憶され得る書込み可能記憶媒体、例えば、ハードディスクドライブまたは任意のタイプのソリッドステートランダムアクセス半導体メモリ、フラッシュメモリを含むが、それらに制限されない。
【0165】
[00179] 上記の実施形態のうちの２つ以上を、任意の適切な方法で組み合わせてもよい。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［Ｃ１］
入力信号を分類するためのスパイキングニューラルネットワークであって、複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記ネットワークは、複数のサブネットワークに区分され、
各サブネットワークは、前記シナプス素子のサブセットからシナプス出力信号を受信するように接続された前記スパイキングニューロンのサブセットを備え、
前記サブネットワークは、前記サブネットワークに印加されたサブネットワーク入力パターン信号に応答してサブネットワーク出力パターン信号を生成するように適応されており、
各サブネットワークは、コアのアレイ内の１つまたは複数のコアの一部を形成し、各コアは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされたスパイキングニューロンのプログラマブルネットワークからなり、
前記コアアレイ内のコア間の通信は、プログラマブル相互接続構造を介して配置される、スパイキングニューラルネットワーク。
［Ｃ２］
前記プログラマブル相互接続構造は、切り替え可能な行列を備える、Ｃ１に記載のスパイキングニューラルネットワーク。
［Ｃ３］
前記切り替え可能な行列は、複数の出力信号を、前記コアアレイ内の第１のコアから前記コアアレイ内の第２のコアの複数の入力にルーティングするように適応された複数のルータを備える、Ｃ２に記載のスパイキングニューラルネットワーク。
［Ｃ４］
前記プログラマブル相互接続構造は、前記コアアレイ内の前記コア間にパケット交換ネットワークを形成する、Ｃ１～３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ５］
前記プログラマブル相互接続構造は、アドレスイベント表現を使用する、Ｃ１～４のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ６］
前記プログラマブル相互接続構造は、同期または非同期通信を使用する、Ｃ１～５のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ７］
前記コアアレイは集積回路にインプリメントされ、前記プログラマブル相互接続構造は、ネットワークオンチップを備える、Ｃ１～６のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ８］
前記ネットワークオンチップは、リアルタイムで構成可能である、Ｃ７に記載のスパイキングニューラルネットワーク。
［Ｃ９］
前記シナプス素子に対する学習ルール、重み記憶機構、または通信プロトコルのいずれかは、前記コアアレイの単一のコアにおいて不均一に適用される、Ｃ１～８のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１０］
前記シナプス素子に対する学習ルール、重み記憶機構、または通信プロトコルのいずれかは、前記コアアレイ内の複数の前記コアにわたって不均一に適用される、Ｃ１～９のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１１］
前記コアアレイ内の前記コアのうちの１つまたは複数のコアの学習ルール構成は、学習ルールブロックを使用してインプリメントされる、Ｃ１～１０のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１２］
同じ学習ルールを使用する前記コアは、前記学習ルールをインプリメントする共通学習ルールブロックを使用する、Ｃ１１に記載のスパイキングニューラルネットワーク。
［Ｃ１３］
前記コアアレイ内の各コア内および／または前記コアにわたる学習ルールの分布は、実行時に動的に構成可能である、Ｃ１～１２のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１４］
前記サブネットワークのうちの１つは、前記サブネットワークの入力信号を分類するための分類器の一部である、Ｃ１～１３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１５］
前記サブネットワークのうちの１つは、そのサブネットワークへの入力信号を分類するための分類器のアンサンブルの一部である、Ｃ１～１４のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１６］
前記シナプス素子の前記重みは、確率的重み更新を使用して構成される、Ｃ１～１５のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１７］
前記シナプス素子の前記重みは、境界値によって境界付けられ、前記境界値は確率値である、Ｃ１～１６のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１８］
Ｃ１～１７のいずれか一項に記載の前記コアアレイにインプリメントされた前記スパイキングニューラルネットワークを備える、集積回路。
［Ｃ１９］
スパイキングニューラルネットワークを区分し、コアアレイ上にマッピングする方法であって、前記スパイキングニューラルネットワークは、複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記コアアレイは、複数のコアを備え、
各コアは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされたスパイキングニューロンのプログラマブルネットワークからなり、
前記コアアレイ内のコア間の通信は、プログラマブル相互接続構造を介して配置され、
前記方法は、
前記ネットワークを複数のサブネットワークに区分することと、ここにおいて、各サブネットワークは、前記シナプス素子のサブセットからシナプス出力信号を受信するように接続されたスパイキングニューロンのサブセットを備え、前記サブネットワークは、シナプス素子の前記サブセットに印加されたサブネットワーク入力パターン信号に応答して、スパイキングニューロンの前記サブセットからサブネットワーク出力パターン信号を生成するように適応されており、
各サブネットワークを前記１つまたは複数のコア上にマッピングすることと
を備える、方法。
［Ｃ２０］
前記スパイキングニューラルネットワークを、前記１つまたは複数のコアにインプリメントされた前記サブネットワークに前記区分することは、マッピング方法によって決定され、
前記マッピング方法は、制約駆動区分を備え、
前記制約は、各それぞれのサブネットワークの関数にリンクされたパフォーマンスメトリックである、Ｃ１９に記載の方法。
［Ｃ２１］
スパイキングニューラルネットワークであって、
ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子と
を備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
学習ルール、重み記憶機構、および／または通信プロトコルは、前記スパイキングニューラルネットワーク内の前記ニューロンおよび／または前記シナプス素子にわたって不均一に適用される、スパイキングニューラルネットワーク。
［Ｃ２２］
スパイキングニューロンと、前記スパイキングニューロンに接続されたシナプス素子とを備える、スパイキングニューラルネットワークであって、
前記シナプス素子は、シナプス入力信号を受信するように適応された第１および第２の受容体を備え、
前記第１および第２の受容体は、それぞれ、前記シナプス入力信号に基づいて第１および第２の受容体信号を生成し、
前記シナプス素子は、シナプス出力信号を生成するように前記第１の受容体信号に重みを適用し、
前記シナプス素子は、前記第２の受容体信号に少なくとも基づいて、前記シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンは、前記シナプス素子から前記シナプス出力信号を受信し、前記受信されたシナプス出力信号に少なくとも応答して時空間スパイク列出力信号を生成するように適応されている、スパイキングニューラルネットワーク。
［Ｃ２３］
前記ニューロンは制御信号を放出し、前記制御信号は、前記第２の受容体信号と共に、前記シナプス素子によって適用された前記重みを調整する、Ｃ２２に記載のスパイキングニューラルネットワーク。
［Ｃ２４］
前記制御信号は誤差逆伝播信号である、Ｃ２３に記載のスパイキングニューラルネットワーク。
［Ｃ２５］
前記ニューロンは、樹状突起、軸索、および細胞体を備え、前記制御信号は、前記ニューロンの前記樹状突起および／または軸索および／または細胞体から生じる、Ｃ２３または２４に記載のスパイキングニューラルネットワーク。
［Ｃ２６］
前記制御信号は、前記ニューロンの活動電位によって生成される１つまたは複数のスパイクを備える、Ｃ２３～２５のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ２７］
前記第１の受容体の減衰時間は、前記第２の受容体の減衰時間よりも速い、Ｃ２２～２６のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ２８］
前記第１の受容体は、前記スパイキングニューロンのためのソース電流またはシンク電流を生成する、Ｃ２２～２７のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ２９］
前記第１の受容体はローパスフィルタを備える、Ｃ２２～２８のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３０］
前記第２の受容体は電位依存性受容体を形成する、Ｃ２２～２９のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３１］
前記第２の受容体は、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、および／または増幅器を備える、Ｃ２２～３０のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３２］
前記第１の受容体はＡＭＰＡ受容体である、Ｃ２２～３１のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３３］
前記第１の受容体はＧＡＢＡ受容体である、Ｃ２２～３１のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３４］
前記第２の受容体はＮＭＤＡ受容体である、Ｃ２２～３３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３５］
スパイキングニューラルネットワーク内のシナプス素子の重みを調整するための方法であって、前記スパイキングニューラルネットワークは、前記シナプス素子に接続されたスパイキングニューロンを備え、
前記シナプス素子は、シナプス入力信号を受信するように適応された第１および第２の受容体を備え、
前記第１および第２の受容体は、前記シナプス入力信号を受信し、それぞれ、前記シナプス入力信号に基づいて第１および第２の受容体信号を生成し、
前記シナプス素子は、シナプス出力信号を生成するように前記第１の受容体信号に重みを適用し、
少なくとも前記第２の受容体信号に基づいて、前記シナプス素子の前記重みが調整され、
前記スパイキングニューロンは、前記シナプス素子から前記シナプス出力信号を受信し、前記受信されたシナプス出力信号に少なくとも応答して時空間スパイク列出力信号を生成する、方法。
［Ｃ３６］
前記ニューロンは制御信号を放出し、前記制御信号は、前記第２の受容体信号と共に、前記シナプス素子によって適用された前記重みを調整する、Ｃ３５に記載の方法。
［Ｃ３７］
前記制御信号は誤差逆伝播信号である、Ｃ３６に記載の方法。
［Ｃ３８］
前記ニューロンは、樹状突起、軸索、および細胞体を備え、前記制御信号は、前記ニューロンの前記樹状突起および／または軸索および／または細胞体から生じる、Ｃ３６または３７に記載の方法。
［Ｃ３９］
前記制御信号は、前記ニューロンの活動電位によって生成される１つまたは複数のスパイクを備える、Ｃ３６～３８のいずれか一項に記載の方法。
［Ｃ４０］
前記第１の受容体の減衰時間は、前記第２の受容体の減衰時間よりも速い、Ｃ３５～３９のいずれか一項に記載の方法。
［Ｃ４１］
前記第１の受容体は、前記スパイキングニューロンのためのソース電流またはシンク電流を生成する、Ｃ３５～４０のいずれか一項に記載の方法。
［Ｃ４２］
前記第１の受容体はローパスフィルタを備える、Ｃ３５～４１のいずれか一項に記載の方法。
［Ｃ４３］
前記第２の受容体は電位依存性受容体を形成する、Ｃ３５～４２のいずれか一項に記載の方法。
［Ｃ４４］
前記第２の受容体は、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、および／または増幅器を備える、Ｃ３５～４３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ４５］
前記第１の受容体はＡＭＰＡ受容体である、Ｃ３５～４４のいずれか一項に記載の方法。
［Ｃ４６］
前記第１の受容体はＧＡＢＡ受容体である、Ｃ３５～４４のいずれか一項に記載の方法。
［Ｃ４７］
前記第２の受容体はＮＭＤＡ受容体である、Ｃ３５～４６のいずれか一項に記載の方法。
［Ｃ４８］
Ｃ２２～３４のいずれか一項に記載のスパイキングニューラルネットワークを備える集積回路。
［Ｃ４９］
スパイキングニューラルネットワークにおける雑音効果を減少させるように前記スパイキングニューラルネットワークを構成するための方法であって、
前記スパイキングニューラルネットワークは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記スパイキングニューラルネットワーク内の前記スパイキングニューロンｉのうちの１つのスパイキングニューロンのシナプス駆動Γ ｉ は、前記ニューロン内に接続されたすべてのシナプス素子の総伝達関数を記述する時間依存関数であり、前記方法は、
前記シナプス駆動Γ ｉ の各シナプス駆動の分散の式を取得することを備え、前記分散の式は、制御パラメータに依存し、
前記シナプス駆動Γ ｉ の各シナプス駆動の前記分散は、前記制御パラメータを調整することによって調整可能であり、
前記制御パラメータは、前記シナプス駆動Γ ｉ の各シナプス駆動の前記分散が所定の値を下回るように調整され、それにより、前記スパイキングニューラルネットワーク内の前記ニューロンｉの各ニューロンの前記シナプス駆動Γ ｉ は、雑音効果が最小である前記シナプス駆動Γ ｉ の平衡点Γ ｉ ＊ の周りに境界付けられる、方法。
［Ｃ５０］
前記スパイキングニューラルネットワーク内の前記スパイキングニューロンｉの前記シナプス駆動Γ ｉ は、Γ＝（Γ １ ，．．．，Γ ｎ ） Ｔ として前記スパイキングニューラルネットワーク内のすべてのニューロンについてベクトル形式で書くことができ、ここで、ｎは、前記スパイキングニューラルネットワーク内のニューロンの数であり、Γは次式を満たし、
ｄΓ＝Ｎ（Γ（ｔ））ｄｔ＋σ（Γ（ｔ））ｄω（ｔ）、
ここで、Ｎ（Γ（ｔ））は名義行列部分であり、σ（Γ）はガウス白色雑音過程ｄω（ｔ）に対する状態依存雑音行列であり、ωは、前記スパイキングニューラルネットワークにおける雑音を記述するウィーナー過程であり、
ｄΓの式は、以下の連続時間代数リアプノフ方程式を満たすΓ（ｔ）の分散共分散行列Ｋ（ｔ）に関して書き換え可能であり、
Ｎ（Γ（ｔ））Ｋ（ｔ）＋Ｋ（ｔ）［Ｎ（Γ（ｔ））］ Ｔ ＋σ（Γ（ｔ））［σ（Γ（ｔ））］ Ｔ ＝０、
前記シナプス駆動Γ ｉ の各シナプス駆動の前記分散についての式を取得するステップは、前記分散共分散行列Ｋ（ｔ）の対角値を決定することを備える、Ｃ４９に記載の方法。
［Ｃ５１］
前記シナプス駆動Γ ｉ の前記平衡点Γ ｉ ＊ は、前記スパイキングニューラルネットワーク内のすべてのニューロンについてベクトル形式で、Γ ＊ ＝（Γ １ ＊ ，．．．，Γ ｎ ＊ ） Ｔ と書くことができ、ここで、前記雑音行列σはゼロであり、すなわちσ（Γ ＊ ）＝０である、Ｃ５０に記載の方法。
［Ｃ５２］
前記制御パラメータはコンピュータシミュレーションによって調整される、Ｃ４９～５１のいずれか一項に記載の方法。
［Ｃ５３］
スパイキングニューラルネットワークであって、
ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子と
を備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記スパイキングニューラルネットワーク内の前記スパイキングニューロンｉのうちの１つのスパイキングニューロンのシナプス駆動Γ ｉ は、前記ニューロン内に接続されたすべてのシナプス素子の総伝達関数を記述する時間依存関数であり、
前記シナプス駆動Γ ｉ の各シナプス駆動の分散は、前記スパイキングニューラルネットワーク内の前記ニューロンｉの各ニューロンの前記シナプス駆動Γ ｉ が、雑音効果が最小である前記シナプス駆動Γ ｉ の平衡点Γ ｉ ＊ の周りに境界付けられるように、所定の値を下回る、スパイキングニューラルネットワーク。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［Ｃ１］
入力信号を分類するためのスパイキングニューラルネットワークであって、複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記ネットワークは、複数のサブネットワークに区分され、
各サブネットワークは、前記シナプス素子のサブセットからシナプス出力信号を受信するように接続された前記スパイキングニューロンのサブセットを備え、
前記サブネットワークは、前記サブネットワークに印加されたサブネットワーク入力パターン信号に応答してサブネットワーク出力パターン信号を生成するように適応されており、
各サブネットワークは、コアのアレイ内の１つまたは複数のコアの一部を形成し、各コアは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされたスパイキングニューロンのプログラマブルネットワークからなり、
前記コアアレイ内のコア間の通信は、プログラマブル相互接続構造を介して配置される、スパイキングニューラルネットワーク。
［Ｃ２］
前記プログラマブル相互接続構造は、切り替え可能な行列を備える、Ｃ１に記載のスパイキングニューラルネットワーク。
［Ｃ３］
前記切り替え可能な行列は、複数の出力信号を、前記コアアレイ内の第１のコアから前記コアアレイ内の第２のコアの複数の入力にルーティングするように適応された複数のルータを備える、Ｃ２に記載のスパイキングニューラルネットワーク。
［Ｃ４］
前記プログラマブル相互接続構造は、前記コアアレイ内の前記コア間にパケット交換ネットワークを形成する、Ｃ１～３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ５］
前記プログラマブル相互接続構造は、アドレスイベント表現を使用する、Ｃ１～４のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ６］
前記プログラマブル相互接続構造は、同期または非同期通信を使用する、Ｃ１～５のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ７］
前記コアアレイは集積回路にインプリメントされ、前記プログラマブル相互接続構造は、ネットワークオンチップを備える、Ｃ１～６のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ８］
前記ネットワークオンチップは、リアルタイムで構成可能である、Ｃ７に記載のスパイキングニューラルネットワーク。
［Ｃ９］
前記シナプス素子に対する学習ルール、重み記憶機構、または通信プロトコルのいずれかは、前記コアアレイの単一のコアにおいて不均一に適用される、Ｃ１～８のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１０］
前記シナプス素子に対する学習ルール、重み記憶機構、または通信プロトコルのいずれかは、前記コアアレイ内の複数の前記コアにわたって不均一に適用される、Ｃ１～９のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１１］
前記コアアレイ内の前記コアのうちの１つまたは複数のコアの学習ルール構成は、学習ルールブロックを使用してインプリメントされる、Ｃ１～１０のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１２］
同じ学習ルールを使用する前記コアは、前記学習ルールをインプリメントする共通学習ルールブロックを使用する、Ｃ１１に記載のスパイキングニューラルネットワーク。
［Ｃ１３］
前記コアアレイ内の各コア内および／または前記コアにわたる学習ルールの分布は、実行時に動的に構成可能である、Ｃ１～１２のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１４］
前記サブネットワークのうちの１つは、前記サブネットワークの入力信号を分類するための分類器の一部である、Ｃ１～１３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１５］
前記サブネットワークのうちの１つは、そのサブネットワークへの入力信号を分類するための分類器のアンサンブルの一部である、Ｃ１～１４のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１６］
前記シナプス素子の前記重みは、確率的重み更新を使用して構成される、Ｃ１～１５のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１７］
前記シナプス素子の前記重みは、境界値によって境界付けられ、前記境界値は確率値である、Ｃ１～１６のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１８］
Ｃ１～１７のいずれか一項に記載の前記コアアレイにインプリメントされた前記スパイキングニューラルネットワークを備える、集積回路。
［Ｃ１９］
スパイキングニューラルネットワークを区分し、コアアレイ上にマッピングする方法であって、前記スパイキングニューラルネットワークは、複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記コアアレイは、複数のコアを備え、
各コアは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされたスパイキングニューロンのプログラマブルネットワークからなり、
前記コアアレイ内のコア間の通信は、プログラマブル相互接続構造を介して配置され、
前記方法は、
前記ネットワークを複数のサブネットワークに区分することと、ここにおいて、各サブネットワークは、前記シナプス素子のサブセットからシナプス出力信号を受信するように接続されたスパイキングニューロンのサブセットを備え、前記サブネットワークは、シナプス素子の前記サブセットに印加されたサブネットワーク入力パターン信号に応答して、スパイキングニューロンの前記サブセットからサブネットワーク出力パターン信号を生成するように適応されており、
各サブネットワークを前記１つまたは複数のコア上にマッピングすることと
を備える、方法。
［Ｃ２０］
前記スパイキングニューラルネットワークを、前記１つまたは複数のコアにインプリメントされた前記サブネットワークに前記区分することは、マッピング方法によって決定され、
前記マッピング方法は、制約駆動区分を備え、
前記制約は、各それぞれのサブネットワークの関数にリンクされたパフォーマンスメトリックである、Ｃ１９に記載の方法。
［Ｃ２１］
スパイキングニューラルネットワークであって、
ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子と
を備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
学習ルール、重み記憶機構、および／または通信プロトコルは、前記スパイキングニューラルネットワーク内の前記ニューロンおよび／または前記シナプス素子にわたって不均一に適用される、スパイキングニューラルネットワーク。
［Ｃ２２］
スパイキングニューロンと、前記スパイキングニューロンに接続されたシナプス素子とを備える、スパイキングニューラルネットワークであって、
前記シナプス素子は、シナプス入力信号を受信するように適応された第１および第２の受容体を備え、
前記第１および第２の受容体は、それぞれ、前記シナプス入力信号に基づいて第１および第２の受容体信号を生成し、
前記シナプス素子は、シナプス出力信号を生成するように前記第１の受容体信号に重みを適用し、
前記シナプス素子は、前記第２の受容体信号に少なくとも基づいて、前記シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンは、前記シナプス素子から前記シナプス出力信号を受信し、前記受信されたシナプス出力信号に少なくとも応答して時空間スパイク列出力信号を生成するように適応されている、スパイキングニューラルネットワーク。
［Ｃ２３］
前記ニューロンは制御信号を放出し、前記制御信号は、前記第２の受容体信号と共に、前記シナプス素子によって適用された前記重みを調整する、Ｃ２２に記載のスパイキングニューラルネットワーク。
［Ｃ２４］
前記制御信号は誤差逆伝播信号である、Ｃ２３に記載のスパイキングニューラルネットワーク。
［Ｃ２５］
前記ニューロンは、樹状突起、軸索、および細胞体を備え、前記制御信号は、前記ニューロンの前記樹状突起および／または軸索および／または細胞体から生じる、Ｃ２３または２４に記載のスパイキングニューラルネットワーク。
［Ｃ２６］
前記制御信号は、前記ニューロンの活動電位によって生成される１つまたは複数のスパイクを備える、Ｃ２３～２５のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ２７］
前記第１の受容体の減衰時間は、前記第２の受容体の減衰時間よりも速い、Ｃ２２～２６のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ２８］
前記第１の受容体は、前記スパイキングニューロンのためのソース電流またはシンク電流を生成する、Ｃ２２～２７のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ２９］
前記第１の受容体はローパスフィルタを備える、Ｃ２２～２８のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３０］
前記第２の受容体は電位依存性受容体を形成する、Ｃ２２～２９のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３１］
前記第２の受容体は、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、および／または増幅器を備える、Ｃ２２～３０のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３２］
前記第１の受容体はＡＭＰＡ受容体である、Ｃ２２～３１のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３３］
前記第１の受容体はＧＡＢＡ受容体である、Ｃ２２～３１のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３４］
前記第２の受容体はＮＭＤＡ受容体である、Ｃ２２～３３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ３５］
スパイキングニューラルネットワーク内のシナプス素子の重みを調整するための方法であって、前記スパイキングニューラルネットワークは、前記シナプス素子に接続されたスパイキングニューロンを備え、
前記シナプス素子は、シナプス入力信号を受信するように適応された第１および第２の受容体を備え、
前記第１および第２の受容体は、前記シナプス入力信号を受信し、それぞれ、前記シナプス入力信号に基づいて第１および第２の受容体信号を生成し、
前記シナプス素子は、シナプス出力信号を生成するように前記第１の受容体信号に重みを適用し、
少なくとも前記第２の受容体信号に基づいて、前記シナプス素子の前記重みが調整され、
前記スパイキングニューロンは、前記シナプス素子から前記シナプス出力信号を受信し、前記受信されたシナプス出力信号に少なくとも応答して時空間スパイク列出力信号を生成する、方法。
［Ｃ３６］
前記ニューロンは制御信号を放出し、前記制御信号は、前記第２の受容体信号と共に、前記シナプス素子によって適用された前記重みを調整する、Ｃ３５に記載の方法。
［Ｃ３７］
前記制御信号は誤差逆伝播信号である、Ｃ３６に記載の方法。
［Ｃ３８］
前記ニューロンは、樹状突起、軸索、および細胞体を備え、前記制御信号は、前記ニューロンの前記樹状突起および／または軸索および／または細胞体から生じる、Ｃ３６または３７に記載の方法。
［Ｃ３９］
前記制御信号は、前記ニューロンの活動電位によって生成される１つまたは複数のスパイクを備える、Ｃ３６～３８のいずれか一項に記載の方法。
［Ｃ４０］
前記第１の受容体の減衰時間は、前記第２の受容体の減衰時間よりも速い、Ｃ３５～３９のいずれか一項に記載の方法。
［Ｃ４１］
前記第１の受容体は、前記スパイキングニューロンのためのソース電流またはシンク電流を生成する、Ｃ３５～４０のいずれか一項に記載の方法。
［Ｃ４２］
前記第１の受容体はローパスフィルタを備える、Ｃ３５～４１のいずれか一項に記載の方法。
［Ｃ４３］
前記第２の受容体は電位依存性受容体を形成する、Ｃ３５～４２のいずれか一項に記載の方法。
［Ｃ４４］
前記第２の受容体は、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、および／または増幅器を備える、Ｃ３５～４３のいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ４５］
前記第１の受容体はＡＭＰＡ受容体である、Ｃ３５～４４のいずれか一項に記載の方法。
［Ｃ４６］
前記第１の受容体はＧＡＢＡ受容体である、Ｃ３５～４４のいずれか一項に記載の方法。
［Ｃ４７］
前記第２の受容体はＮＭＤＡ受容体である、Ｃ３５～４６のいずれか一項に記載の方法。
［Ｃ４８］
Ｃ２２～３４のいずれか一項に記載のスパイキングニューラルネットワークを備える集積回路。
［Ｃ４９］
スパイキングニューラルネットワークにおける雑音効果を減少させるように前記スパイキングニューラルネットワークを構成するための方法であって、
前記スパイキングニューラルネットワークは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記スパイキングニューラルネットワーク内の前記スパイキングニューロンｉのうちの１つのスパイキングニューロンのシナプス駆動Γ ｉ は、前記ニューロン内に接続されたすべてのシナプス素子の総伝達関数を記述する時間依存関数であり、前記方法は、
前記シナプス駆動Γ ｉ の各シナプス駆動の分散の式を取得することを備え、前記分散の式は、制御パラメータに依存し、
前記シナプス駆動Γ ｉ の各シナプス駆動の前記分散は、前記制御パラメータを調整することによって調整可能であり、
前記制御パラメータは、前記シナプス駆動Γ ｉ の各シナプス駆動の前記分散が所定の値を下回るように調整され、それにより、前記スパイキングニューラルネットワーク内の前記ニューロンｉの各ニューロンの前記シナプス駆動Γ ｉ は、雑音効果が最小である前記シナプス駆動Γ ｉ の平衡点Γ ｉ ＊ の周りに境界付けられる、方法。
［Ｃ５０］
前記スパイキングニューラルネットワーク内の前記スパイキングニューロンｉの前記シナプス駆動Γ ｉ は、Γ＝（Γ １ ，．．．，Γ ｎ ） Ｔ として前記スパイキングニューラルネットワーク内のすべてのニューロンについてベクトル形式で書くことができ、ここで、ｎは、前記スパイキングニューラルネットワーク内のニューロンの数であり、Γは次式を満たし、
ｄΓ＝Ｎ（Γ（ｔ））ｄｔ＋σ（Γ（ｔ））ｄω（ｔ）、
ここで、Ｎ（Γ（ｔ））は名義行列部分であり、σ（Γ）はガウス白色雑音過程ｄω（ｔ）に対する状態依存雑音行列であり、ωは、前記スパイキングニューラルネットワークにおける雑音を記述するウィーナー過程であり、
ｄΓの式は、以下の連続時間代数リアプノフ方程式を満たすΓ（ｔ）の分散共分散行列Ｋ（ｔ）に関して書き換え可能であり、
Ｎ（Γ（ｔ））Ｋ（ｔ）＋Ｋ（ｔ）［Ｎ（Γ（ｔ））］ Ｔ ＋σ（Γ（ｔ））［σ（Γ（ｔ））］ Ｔ ＝０、
前記シナプス駆動Γ ｉ の各シナプス駆動の前記分散についての式を取得するステップは、前記分散共分散行列Ｋ（ｔ）の対角値を決定することを備える、Ｃ４９に記載の方法。
［Ｃ５１］
前記シナプス駆動Γ ｉ の前記平衡点Γ ｉ ＊ は、前記スパイキングニューラルネットワーク内のすべてのニューロンについてベクトル形式で、Γ ＊ ＝（Γ １ ＊ ，．．．，Γ ｎ ＊ ） Ｔ と書くことができ、ここで、前記雑音行列σはゼロであり、すなわちσ（Γ ＊ ）＝０である、Ｃ５０に記載の方法。
［Ｃ５２］
前記制御パラメータはコンピュータシミュレーションによって調整される、Ｃ４９～５１のいずれか一項に記載の方法。
［Ｃ５３］
スパイキングニューラルネットワークであって、
ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子と
を備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の１つまたは複数から前記シナプス出力信号の１つまたは複数を受信し、前記受信された１つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記スパイキングニューラルネットワーク内の前記スパイキングニューロンｉのうちの１つのスパイキングニューロンのシナプス駆動Γ ｉ は、前記ニューロン内に接続されたすべてのシナプス素子の総伝達関数を記述する時間依存関数であり、
前記シナプス駆動Γ ｉ の各シナプス駆動の分散は、前記スパイキングニューラルネットワーク内の前記ニューロンｉの各ニューロンの前記シナプス駆動Γ ｉ が、雑音効果が最小である前記シナプス駆動Γ ｉ の平衡点Γ ｉ ＊ の周りに境界付けられるように、所定の値を下回る、スパイキングニューラルネットワーク。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】