知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】スパイキングニューラルネットワーク
(51)【国際特許分類】
G06N 3/08 20230101AFI20240930BHJP
G06N 3/049 20230101ALI20240930BHJP
【ＦＩ】
G06N3/08
G06N3/049
【請求項の数】
19
(21)【出願番号】P 2021527165
(86)(22)【出願日】2019-11-14
(65)【公表番号】
(43)【公表日】2022-01-18
(86)【国際出願番号】 EP2019081373
(87)【国際公開番号】W WO2020099583
(87)【国際公開日】2020-05-22
【審査請求日】2022-10-25
(31)【優先権主張番号】62/768,927
(32)【優先日】2018-11-18
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521211620
【氏名又は名称】インナテラ・ナノシステムズ・ビー．ブイ．
【氏名又は名称原語表記】ＩＮＮＡＴＥＲＡ ＮＡＮＯＳＹＳＴＥＭＳ Ｂ．Ｖ．
【住所又は居所原語表記】Ｐａｔｒｉｊｓｗｅｇ ２０，２２８９ ＥＸ，ＲＩＪＳＷＩＪＫ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100219542
【弁理士】
【氏名又は名称】大宅 郁治
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】クマール、スメート・スシェール
(72)【発明者】
【氏名】ズジャージョ、アミール
【審査官】児玉 崇晶
(56)【参考文献】
【文献】米国特許出願公開第２０１７／０２３６０２７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０３１６３１０（ＵＳ，Ａ１）
【文献】特開平０４－００７６６０（ＪＰ，Ａ）
【文献】特表２０１６－５３９４０７（ＪＰ，Ａ）
【文献】特開平０８－２１２３２９（ＪＰ，Ａ）
【文献】特開２０１３－０６５３３６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０８
Ｇ０６Ｎ ３／０４９
(57)【特許請求の範囲】
【請求項1】
入力パターン信号を分類するためのスパイキングニューラルネットワーク（１００、４００、１１００、１２００）であって、ハードウェア又はハードウェアとソフトウェアとの組み合わせにおいて実装された複数のスパイキングニューロン（１）と、前記ネットワークを形成するために前記スパイキングニューロン（１）を相互接続する複数のシナプス素子（２）とを備え、各シナプス素子（２）は、シナプス入力信号を受信し、前記シナプス入力信号に重みを印加して、シナプス出力信号を生成するように適合され、前記シナプス素子（２）は、各シナプス素子（２）によって印加された前記重みを調整するように構成可能であり、
前記スパイキングニューロン（１）の各々は、前記シナプス素子（２）のうちの１つ以上から前記シナプス出力信号のうちの１つ以上を受信し、前記受信された１つ以上のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適合され、
前記スパイキングニューラルネットワークは、前記シナプス素子（２）の第１のサブセットからシナプス出力信号を受信するために接続された前記スパイキングニューロン（１）の第１のサブセットを備える第１のサブネットワークを備え、
前記第１のサブネットワークは、シナプス素子（２）の前記第１のサブセットに印加されたサブネットワーク入力パターン信号に応答して、スパイキングニューロン（１）の前記第１のサブセットからサブネットワーク出力パターン信号を生成するように適合され、 シナプス素子（２）の前記第１のサブセットの前記重みは、前記サブネットワーク出力パターン信号が訓練セットの一意のサブネットワーク入力パターン信号毎に一意であるように、サブネットワーク入力パターン信号の前記訓練セット上で前記サブネットワークを訓練することによって構成され、一意性の程度は、スパイキングニューロン及び／又はシナプス素子の前記第１のサブセットの動作パラメータを通じて制御可能である、スパイキングニューラルネットワーク。
【請求項2】
各一意のサブネットワーク出力パターン信号間のそれぞれの距離は、所定の閾値よりも大きく、前記距離は、出力パターンメトリックによって測定される、請求項１に記載のスパイキングニューラルネットワーク。
【請求項3】
前記スパイキングニューロン（１）及びシナプス素子（２）は、２つのそれぞれの異なるサブネットワーク入力パターン信号に応答して生成された前記サブネットワークの２つの出力パターン信号間の、出力パターンメトリックによって測定されたそれぞれの距離が前記訓練セットの全てのサブネットワーク入力パターン信号に対して最大化されるように構成され、各それぞれの距離は、前記出力パターン信号が前記入力パターン信号の特徴間を区別するために必要とされる少なくとも第１の最小感度閾値を満たすまで最大化される、請求項１又は２に記載のスパイキングニューラルネットワーク。
【請求項4】
シナプス素子の前記第１のサブセットの前記重みは、特定の時間に所望の出力ニューロンにおいて、及びサブネットワーク入力パターン信号の前記印加に付随して同時に他のニューロンにおいてスパイクを誘発することによって、半教師あり訓練方法を使用して前記サブネットワーク入力パターン信号の訓練セット上で前記サブネットワークを訓練することによって構成され、前記サブネットワークは、所望の前記サブネットワーク出力パターン信号で応答するように構成され、所望のスパイクは、ある特定の入力パターンに対する一意の応答を取得するために、特定の時間に人工的に誘発される、請求項１～３のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項5】
所望の時間に前記サブネットワークのニューロンｎにおいて人工的にスパイクを誘発することによって、前記サブネットワークの先行する層におけるニューロンと前記ニューロンｎとの間の関係の性質は、因果的、反因果的、又は非因果的として確立される、請求項４に記載のスパイキングニューラルネットワーク。
【請求項6】
シナプス素子の前記第１のサブセットの前記重みは、因果連鎖スパイクタイミング依存可塑性（ＣＣ－ＳＴＤＰ）学習規則を使用して構成され、前記ＣＣ－ＳＴＤＰ学習規則は、所望の出力ニューロンと前記サブネットワークの先行する層におけるニューロンとの間の因果関係の識別を可能にし、因果関係のこの経路に沿った介在シナプス素子の前記重みを調整させ、前記ＣＣ－ＳＴＤＰ学習規則を使用して、前記サブネットワーク出力パターン信号は、特定のサブネットワーク出力パターン信号に到達するために、特定のサブネットワーク入力パターン信号に応答して発火した前記サブネットワークの出力ニューロンの異なる母集団と、それらの正確な発火時間に向かってステアリングされる、請求項１～５のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項7】
前記ＣＣ－ＳＴＤＰ学習規則は、発火イベントが前記サブネットワークの後続の層におけるニューロンの発火に寄与する場合にのみ、前記発火イベントに基づいてシナプス素子の前記第１のサブセットの重みを調整する、請求項６に記載のスパイキングニューラルネットワーク。
【請求項8】
前記ＣＣ－ＳＴＤＰ学習規則を使用して前記訓練することは、特定の時間にスパイキングニューロンの前記第１のサブセットのニューロンにおけるスパイク生成を誘発及び／又は抑制することを備え、好ましくは、ニューロンにおけるスパイク生成を誘発することは、バイアス電圧入力によって、膜の発火閾値を超える電圧まで前記ニューロンの前記膜を駆動し、それによってスパイクの前記生成を誘発するか、又は前記特定の時間に前記ニューロンの出力に人工スパイクを注入することを備える、及び／又は、
ニューロンにおけるスパイク生成を抑制することは、その不応電圧又は最低可能電圧まで前記ニューロンの膜を駆動し、スパイクの前記生成を防止するか、又は前記ニューロンにおけるスパイク生成を無効にすることを備える、請求項６又は７に記載のスパイキングニューラルネットワーク。
【請求項9】
前記ＣＣ－ＳＴＤＰ学習規則は、以下の規則に従ってニューロンｉとニューロンｊとの間に位置するシナプス素子の重みｗi,jを変化させ、【数1】
【請求項10】
前記第２の学習規則は、前記ＳＴＤＰ学習規則であり、ｔspike i、ｔspike j及びｔspike kは、ニューロンｉ、ｊ及びｋがそれぞれスパイクする正確な時間を指す、請求項９に記載のスパイキングニューラルネットワーク。
【請求項11】
前記スパイキングニューロンの各々は、前記ニューロンの応答を前記受信された１つ以上のシナプス出力信号に合うように調整するように構成可能である、請求項１～１０のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項12】
スパイクは、１つ以上の発火時間に前記スパイキングニューロンによって生成され、シナプス素子の前記サブセット及び／又はニューロンの前記サブセットは、２つの一意のサブネットワーク入力パターン信号に対して発火するニューロンの前記サブセットの発火時間の２つのセットの和集合が前記訓練セットの全てのサブネットワーク入力パターン信号に対して最小化されるように構成される、請求項１～１１のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項13】
各和集合は、前記出力パターン信号が前記入力パターン信号の特徴間を区別するために必要とされる少なくとも第２の最小感度閾値を満たすまで最小化される、請求項１２に記載のスパイキングニューラルネットワーク。
【請求項14】
前記ネットワークは、前記シナプス素子（２）の第２のサブセットからシナプス出力を受信するために接続された前記スパイキングニューロン（１）の第２のサブセットを備える第２のサブネットワークを備え、前記第２のサブネットワークは、シナプス素子（２）の前記第２のサブセットに印加された第２のサブネットワーク入力パターン信号を受信し、ニューロン（１）の前記第２のサブセットから対応する第２のサブネットワーク出力パターン信号を生成するように適合され、
シナプス素子（２）の前記第２のサブセットの構成は、前記第２のサブネットワーク出力パターン信号が前記第２のサブネットワーク入力パターン信号中の一意の特徴毎に一意であるように調整され、
前記ネットワークは、前記シナプス素子（２）の第３のサブセットからシナプス出力を受信するために接続された前記スパイキングニューロン（１）の第３のサブセットを備える第３のサブネットワークを備え、
前記第１及び第２のサブネットワーク出力パターン信号は、前記第３のサブネットワークの入力パターン信号であり、
シナプス素子（２）の前記第３のサブセットの構成は、前記第３のサブネットワーク出力パターン信号が前記第１及び第２のサブネットワークの両方からの前記入力パターン信号中の一意の特徴、並びにそれらの一意の組み合わせ毎に一意であるように調整され、そのため、前記第１及び第２のサブネットワークの両方からの前記入力パターン信号中に存在する前記特徴は、前記第３のサブネットワークによって符号化される、請求項１～１３のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項15】
前記ネットワークは、シナプス素子（２）及びスパイキングニューロン（１）の複数のサブネットワークを備え、それについて、前記サブネットワーク出力パターン信号は、前記サブネットワーク入力パターン信号中の一意の特徴毎に一意であり、前記ネットワークは、前記ネットワーク中で特定のシーケンシャルな順序を有する複数の層に分割されることができ、
前記複数のサブネットワークは、各それぞれのサブネットワークが属する前記複数の層の前記特定のシーケンシャルな順序でインスタンス化される、請求項１～１４のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項16】
ニューロン（１）のセットは、ニューロンの１つ以上の複数のテンプレートネットワーク中に配置され、ニューロンの特定のテンプレートネットワークの前記ニューロン（１）は、前記ニューラルネットワークのサブネットワークを形成し、前記サブネットワーク出力パターン信号は、前記サブネットワーク入力パターン信号中の一意の特徴毎に一意であり、
前記ニューラルネットワーク中の各テンプレートネットワークは、２つの一意のサブネットワーク入力パターン信号に対して発火するニューロンの前記サブセットの発火時間の２つのセットの和集合が前記訓練セットの全てのサブネットワーク入力パターン信号に対して最小化されるように構成された事前訓練されたサブネットワークとしてインスタンス化される、請求項１～１５のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項17】
前記ニューラルネットワークは、入力として１つ以上のサンプリングされたアナログ又はデジタル入力信号を取り、前記入力信号をスパイキングニューラルネットワーク入力パターン信号の代表セットに変換するように構成される、請求項１～１６のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
【請求項18】
ハードウェア又はハードウェアとソフトウェアとの組み合わせにおいて実装された複数のスパイキングニューロン（１）と、スパイキングニューラルネットワークを形成するために前記スパイキングニューロン（１）を相互接続する複数のシナプス素子（２）とを備えるスパイキングニューラルネットワーク（１００、４００、１１００、１２００）を使用して入力パターン信号を分類するための方法であって、前記シナプス素子（２）の各々は、シナプス入力信号を受信し、前記シナプス入力信号に重みを印加して、シナプス出力信号を生成するように適合され、前記シナプス素子（２）は、各シナプス素子（２）によって印加された前記重みを調整するように構成可能であり、
前記スパイキングニューロン（１）の各々は、前記シナプス素子（２）のうちの１つ以上から前記シナプス出力信号のうちの１つ以上を受信し、前記受信された１つ以上のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適合され、
前記方法は、
前記スパイキングニューラルネットワークの第１のサブネットワークを定義することと、前記第１のサブネットワークは、前記シナプス素子（２）の第１のサブセットからシナプス出力信号を受信するために接続された前記スパイキングニューロン（１）の第１のサブセットを備える、
前記サブネットワーク出力パターン信号が訓練セットの一意のサブネットワーク入力パターン信号毎に一意であるように、サブネットワーク入力パターン信号の前記訓練セット上で前記サブネットワークを訓練することによってシナプス素子（２）の前記第１のサブセットの前記重みを構成することと、ここにおいて、一意性の程度は、スパイキングニューロン（１）及び／又はシナプス素子（２）の前記第１のサブセットの動作パラメータを通じて制御可能である、
前記スパイキングニューラルネットワークの第１のサブネットワークにサブネットワーク入力パターン信号を印加することと、前記第１のサブネットワークは、前記シナプス素子（２）の第１のサブセットからシナプス出力信号を受信するために接続された前記スパイキングニューロン（１）の第１のサブセットを備える、
前記サブネットワーク入力パターン信号に応答してスパイキングニューロン（１）の前記第１のサブセットによって生成されたサブネットワーク出力パターン信号を受信することと、ここにおいて、前記出力パターン信号は、前記入力パターン信号の１つ以上の特徴を識別する、
を備える、方法。
【請求項19】
システムによって実行されるスパイキングニューラルネットワーク（１００、４００、１１００、１２００）を構成する方法であって、前記方法は、メモリデバイスに備えられたテンプレートライブラリから１つ以上のテンプレートネットワーク又は１つ以上のテンプレートネットワークの構成に関する情報を取得することと、ここにおいて、前記メモリデバイスは、記憶されたテンプレートライブラリを備えるメモリデバイスであって、前記テンプレートライブラリは、前記スパイキングニューラルネットワーク（１００、４００、１１００、１２００）のサブネットワークとして使用するためのスパイキングニューロン（１）及びシナプス素子（２）の１つ以上のテンプレートネットワークの構成に関する情報を備え、各テンプレートネットワークは、前記シナプス素子（２）のセットからシナプス出力を受信するために接続された、ハードウェア又はハードウェアとソフトウェアとの組み合わせにおいて実装された前記スパイキングニューロン（１）のセットを備え、各テンプレートネットワークは、シナプス素子（２）の前記セットに印加されたテンプレートネットワーク入力パターン信号を受信し、ニューロン（１）の前記セットから対応するテンプレートネットワーク出力パターン信号を生成するように適合され、シナプス素子（２）の前記セットの構成は、前記テンプレートネットワーク出力パターン信号が訓練セットの一意のテンプレートネットワーク入力パターン信号毎に一意であるように、テンプレートネットワーク入力パターン信号の前記訓練セット上で前記テンプレートネットワークを訓練することによって調整され、一意性の程度は、前記テンプレートネットワークのスパイキングニューロン（１）及び／又はシナプス素子（２）の動作パラメータを通じて制御可能であり、前記訓練セットは、特定のタスクを実行するために前記テンプレートネットワークを訓練するために使用され、そのため、前記スパイキングニューラルネットワークの前記サブネットワークは、前記特定のタスクを実行するために事前訓練された形で前記テンプレートネットワークの構成に関する前記情報に基づいてインスタンス化されることができる、
前記テンプレートネットワークが実行するために事前訓練された前記特定のタスクを前記スパイキングニューラルネットワークの前記サブネットワークが実行することが可能であるように、前記スパイキングニューラルネットワークの前記サブネットワークとして前記１つ以上のテンプレートネットワークをインスタンス化することと、
を備える、方法。
【発明の詳細な説明】
【技術分野】
【0001】
[0001]本開示は、一般に、スパイキングニューラルネットワークを構成することに関する。より詳細には、限定するものではないが、本開示は、スパイキングニューロンから構築されたパターン認識装置を構成することと、一意の応答方法を使用して構成的な形でスパイキングニューラルネットワークを構築するためのシステム及び方法とに関する。
【背景技術】
【0002】
[0002]自動信号認識（ＡＳＲ）とは、信号の構成特徴の識別を通じた信号の認識を指す。ＡＳＲは、例えば、とりわけ、音声／発話認識システムにおいて話者の音声及び発声された単語を認識するために、心電図（ＥＣＧ）において不整脈を認識するために、動き制御システムにおいてジェスチャの形状を決定するために、幅広い用途において利用される。ＡＳＲは、典型的には、入力信号の短いサンプル中に存在するパターンを特徴付けることによって実行され、このことから、正確なパターン認識能力が、効果的なＡＳＲシステムにとって基本である。
【0003】
[0003]ＡＳＲシステムのための入力信号を導出するためにいくつかの物理量を測定することは、複数のタイプのセンサからのデータの融合を必要とし得る。例えば、ハンドヘルド入力デバイスを使用して手のジェスチャを認識することは、動きを測定するための加速度計からのデータと、向きを測定するためのジャイロスコープからのデータとの融合を必要とし得る。両方のセンサからのデータを組み合わせることは、３次元空間中でのジェスチャの検出を可能にする。
【0004】
[0004]一般に、データ融合は、それらの個々のソースからのデータの解釈における不確実性を低下させるために、異なる潜在的に異種のソースから収集されたデータの統合を指す。融合プロセス中に、異なる入力信号中の本質的な特徴が融合された信号中で適切に表されることが重要である。
【0005】
[0005]パターン認識及び融合は、典型的には、マイクロプロセッサ及び／又はデジタル信号プロセッサを使用して実行され、それらの両方が、記憶されたプログラムアーキテクチャを実装する。このアーキテクチャは、ストリーミングデータの分析にとって本質的に非効率的である。単一のプロセッサ上で、パターンの抽出及び認識が逐次（ sequentially）実行される。これは、パターン抽出及び識別が、一般的な単純化した命令セット（例えば、ＲＩＳＣ又はＣＩＳＣ命令セット）に関して実現され、信号サンプル中の全てのパターンに対して長い実行シーケンスをもたらすからである。入力信号中の複雑なパターンは、より複雑な信号処理アルゴリズムの使用を必要とし、それは、パターン認識エンジンからのリアルタイム応答を必要とするシステムでは、プロセッサのためのより高いクロック周波数の使用を更に必要とする。（ポータブル電子デバイス、ウェアラブルデバイス、等などの）電力制約デバイスでは、これは実現可能ではない。更に、逐次実行パラダイム（sequential execution paradigm）に起因して、マイクロプロセッサ上でのパターン認識動作のレイテンシ及び電力損失は、パターンの複雑さ及びレパートリーが増大するにつれて大幅に増大する。入力信号中の雑音の存在は、分析の複雑さを更に増大させ、性能及び効率に悪影響を及ぼす。
【0006】
[0006]データ融合は、マイクロプロセッサのための非ネイティブ動作である。これは、入力信号又はデータストリームが融合されることができる前に、それらの情報コンテンツが抽出されなければならず、その後、他のストリームからの対応するコンテンツと組み合わされなければならないことを意味する。その結果として、マイクロプロセッサ実装では、融合のための各入力信号／データソースは、独立したパターン認識パイプラインによって別々に処理され、その後に規則ベースのフレームワークが続き、異なるパターン認識結果を組み合わせる。このアプローチは、各入力信号又はデータストリームに対してパターン認識インフラストラクチャの複数の呼び出しを必要とし、電力損失の増大につながる。更に、パターン認識のためのロードストアアーキテクチャマイクロプロセッサ（load-store architecture microprocessors）及びデジタルシグナルプロセッサ（ＤＳＰ）の制限は、パターンの複雑さが増大するにつれて、これらのパターンを認識する電力及びレイテンシコストも増大することを意味する。レイテンシコストは、クロック周波数を増大させることによって軽減されることができるが、これは、更に増大した電力損失を犠牲にして達成される。同様に、融合の品質は、入力信号に対して実行される処理及びＡＳＲの複雑さ、融合される信号の数、及びマイクロプロセッサ又はＤＳＰの計算能力によって制限される。処理のシーケンシャルな性質は、融合ベースのＡＳＲのスループットを低減し、このことから、信号中のパターンの複雑さが増大するにつれて、マイクロプロセッサ又はＤＳＰを使用して融合されることができる入力信号の数は減少する。
【0007】
[0007]人工ニューラルネットワークは、マイクロプロセッサ実装の代替として提案されている。スパイキングニューラルネットワーク（ＳＮＮ）は、多くの異なる用途のためのＡＳＲを実現する有望な手段である。ＳＮＮは、整数又は実数値ベクトルとしてではなく、１つ以上の正確に時間指定された（電圧）スパイクの形態で情報を符号化する。パターン分類のための計算は、アナログドメイン及び時間ドメイン中で効果的に実行される。この理由のために、ＳＮＮは、典型的には、フルカスタム混合信号集積回路（full-custom mixed signal integrated circuits）としてハードウェアで実現される。これは、それらが、より小さいネットワークサイズを有することに加えて、それらの人工ニューラルネットワーク対応物よりも数桁低いエネルギー消費でパターン分類を実行することを可能にする。
【0008】
[0008]ＳＮＮは、スパイキングニューロン間の接続の強度を決定付けるシナプスによって相互接続されたスパイキングニューロンのネットワークから成る。この強度は重みとして表され、それは、シナプス後ニューロンへの入力に対するシナプス前ニューロンの出力の影響を緩和する。典型的には、これらの重みは、ネットワークを大量のラベル付けされた入力データに曝し、所望のネットワーク出力が達成されるまでシナプスの重みを徐々に調整することを伴う訓練プロセスにおいて設定される。しかしながら、実際には、これらの量のラベル付きデータは、単に存在しない場合がある。
【0009】
[0009]更に、モノリシック方式で大きい多層ネットワークを訓練することは、ネットワークのいくつかの層にわたって誤差を逆伝搬させる必要があることに起因して、その解が計算コストの高い複雑な最適化問題をネットワークサイズがもたらすので、時間が掛かる。
【0010】
[0010]スパイキングニューラルネットワークは、典型的には、誤差を決定するために、シナプスによって接続された２つのニューロンの相対発火時間に基づく学習規則に依拠する。一般的な学習規則は、スパイクタイミング依存可塑性（spike timing dependent plasticity）又はＳＴＤＰと呼ばれる。この方法は、シナプスの重みを設定するために、ＳＮＮの潜在的に教師なし訓練を可能にするが、本質的に不安定である。これは、ＳＴＤＰが個々のシナプスにおける重み調整をターゲットとし、ネットワークレベルでシナプス重みを平衡させるための機構を欠いているからである。結果として、ＳＴＤＰプロセスは不安定であり得、発散シナプス重み構成（divergent synaptic weight configuration）をもたらす可能性がある。ネットワーク中のシナプスによって形成される興奮性及び抑制性接続の大きさ及び分布を平衡させることによってこの問題を軽減することが可能であり得るが、このプロセスは、実装することが困難であり、安定した収束重み構成（convergent weight configuration）をもたらすために網羅的探索を必要とする。スパイキングニューラルネットワークはまた、従来の逆伝播方法で訓練され得る。しかしながら、これらの技法は、ネットワークの異なる層にわたるニューロン間の複雑な因果関係に起因して、深い多層ネットワークに適用されるとき、計算コストが高い。
【発明の概要】
【0011】
[0011]先行技術の上述された欠点に対処するために、本開示の態様によると、入力パターン信号を分類するためのスパイキングニューラルネットワークが提案され、ハードウェア又はハードウェアとソフトウェアとの組み合わせにおいて実装された複数のスパイキングニューロンと、ネットワークを形成するためにスパイキングニューロンを相互接続する複数のシナプス素子とを備える。各シナプス素子は、シナプス入力信号を受信し、シナプス入力信号に重みを印加して、シナプス出力信号を生成するように適合され、シナプス素子は、各シナプス素子によって印加された重みを調整するように構成可能であり、スパイキングニューロンの各々は、シナプス素子のうちの１つ以上からシナプス出力信号のうちの１つ以上を受信し、受信された１つ以上のシナプス出力信号に応答して時空間スパイク列出力信号（spatio-temporal spike train output signal）を生成するように適合される。
【0012】
[0012]スパイキングニューラルネットワークは、シナプス素子の第１のサブセットからシナプス出力信号を受信するために接続されたスパイキングニューロンの第１のサブセットを備える第１のサブネットワークを備える。第１のサブネットワークは、シナプス素子の第１のサブセットに印加されたサブネットワーク入力パターン信号に応答して、スパイキングニューロンの第１のサブセットからサブネットワーク出力パターン信号を生成するように適合され、シナプス素子の第１のサブセットの重みは、サブネットワーク出力パターン信号が訓練セットの一意のサブネットワーク入力パターン信号毎に異なるように、サブネットワーク入力パターン信号の訓練セット上でサブネットワークを訓練することによって構成される。
【0013】
[0013]一実施形態では、各異なるサブネットワーク出力パターン信号間の距離は、所定の閾値よりも大きく、距離は、出力パターンメトリックによって測定される。スパイキングニューロン及びシナプス素子は、２つのそれぞれの異なるサブネットワーク入力パターン信号に応答して生成されたサブネットワークの２つの出力パターン信号間の、出力パターンメトリックによって測定されたそれぞれの距離が訓練セットの全てのサブネットワーク入力パターン信号に対して最大化されるように構成され得る。各それぞれの距離は、出力パターン信号が入力パターン信号の特徴間を区別するために必要とされる少なくとも第１の最小感度閾値を満たすまで最大化され得る。
【0014】
[0014]特徴は、その信号及び／又はその信号内の対象のパターンの識別を可能にする入力パターン信号の任意の特性である。パターンは、１つ以上の特徴から構成され得る。例えば、ＥＣＧ入力信号中の関連する特徴は、心拍の異なる段階を特徴付ける様々な時間変動振幅であり得、オーディオ入力信号については、関連する特徴は、オーディオ信号がサンプリングされる各離散時間間隔内の信号の周波数コンテンツであり得、又は画像入力信号については、関連する特徴は、画像中に存在する基本形状及び線であり得る。追加の例が本明細書に提供される。
【0015】
[0015]スパイキングニューラルネットワークでは、スパイキングニューロンの各々は、ニューロンの応答を受信された１つ以上のシナプス出力信号に合うように調整するように構成可能であり得る。スパイクは、１つ以上の発火時間にスパイキングニューロンによって生成され得、シナプス素子のサブセット及び／又はニューロンのサブセットは、２つの異なるサブネットワーク入力パターン信号に対して発火するニューロンのサブセットの発火時間の２つのセットの和集合が訓練セットの全てのサブネットワーク入力パターン信号に対して最小化されるように構成され得る。各和集合は、出力パターン信号が入力パターン信号の特徴間を区別するために必要とされる少なくとも第２の最小感度閾値を満たすまで最小化され得る。
【0016】
[0016]スパイキングニューラルネットワークは、シナプス素子の第２のサブセットからシナプス出力を受信するために接続されたスパイキングニューロンの第２のサブセットを備える第２のサブネットワークを備え得、第２のサブネットワークは、シナプス素子の第２のサブセットに印加された第２のサブネットワーク入力パターン信号を受信し、ニューロンの第２のサブセットから対応する第２のサブネットワーク出力パターン信号を生成するように適合され、シナプス素子の第２のサブセットの構成は、第２のサブネットワーク出力パターン信号が第２のサブネットワーク入力パターン信号中の一意の特徴毎に異なるように調整され、ネットワークは、シナプス素子の第３のサブセットからシナプス出力を受信するために接続されたスパイキングニューロンの第３のサブセットを備える第３のサブネットワークを備え、第１及び第２のサブネットワーク出力パターン信号は、第３のサブネットワークの入力パターン信号であり、シナプス素子の第３のサブセットの構成は、第３のサブネットワーク出力パターン信号が第１及び第２のサブネットワークの両方からの入力パターン信号中の一意の特徴、並びにそれらの一意の組み合わせ毎に異なるように調整され、そのため、第１及び第２のサブネットワークの両方からの入力パターン信号中に存在する特徴は、第３のサブネットワークによって符号化される。
【0017】
[0017]第３のサブネットワークのシナプス素子は、第１及び第２のサブネットワークからの入力パターン信号が特定の入力パターンの重要性に従って重み付けされるように構成され得る。ネットワークは、シナプス素子及びスパイキングニューロンの複数のサブネットワークを備え得、それについて、サブネットワーク出力パターン信号は、サブネットワーク入力パターン信号中の一意の特徴毎に異なり、ネットワークは、ネットワーク中で特定のシーケンシャルな順序を有する複数の層に分割されることができ、複数のサブネットワークは、各それぞれのサブネットワークが属する複数の層の特定のシーケンシャルな順序でインスタンス化される。
【0018】
[0018]スパイキングニューラルネットワークでは、シナプス素子は、構成可能なスイッチマトリクスとして配置され得る。
【0019】
[0019]ニューロン、シナプス素子の構成情報、ニューロン及びシナプス素子の相互接続トポロジ、並びに／又はニューラルネットワークの出力構成は、構成メモリ上に保存され得、構成情報は、ニューラルネットワークが初期化状態にされたときに構成メモリからロードされ得る。
【0020】
[0020]ニューロンのセットは、ニューロンの１つ以上の複数のテンプレートネットワーク中に配置され得、ニューロンの特定のテンプレートネットワークのニューロンは、ニューラルネットワークのサブネットワークを形成し、サブネットワーク出力パターン信号は、サブネットワーク入力パターン信号中の一意の特徴毎に異なり、ニューラルネットワーク中の各テンプレートネットワークは、事前訓練された形でインスタンス化された。
【0021】
[0021]ニューラルネットワークは、入力として１つ以上のサンプリングされた入力信号を取り、入力信号をニューラルネットワーク入力パターン信号の代表セットに変換するように構成され得る。ニューラルネットワークの出力パターン信号は、１つ以上の出力クラスに分類され得る。
【0022】
[0022]本発明の態様によると、ハードウェア又はハードウェアとソフトウェアとの組み合わせにおいて実装された複数のスパイキングニューロンと、ネットワークを形成するためにスパイキングニューロンを相互接続する複数のシナプス素子とを備えるスパイキングニューラルネットワークを使用して入力パターン信号を分類するための方法が提案され、シナプス素子の各々は、シナプス入力信号を受信し、シナプス入力信号に重みを印加して、シナプス出力信号を生成するように適合され、シナプス素子は、各シナプス素子によって印加された重みを調整するように構成可能であり、スパイキングニューロンの各々は、シナプス素子のうちの１つ以上からシナプス出力信号のうちの１つ以上を受信し、受信された１つ以上のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適合される。方法は、スパイキングニューラルネットワークの第１のサブネットワークを定義することと、第１のサブネットワークは、シナプス素子の第１のサブセットからシナプス出力信号を受信するために接続されたスパイキングニューロンの第１のサブセットを備える、 サブネットワーク出力パターン信号が訓練セットの一意のサブネットワーク入力パターン信号毎に異なるように、サブネットワーク入力パターン信号の訓練セット上でサブネットワークを訓練することによってシナプス素子の第１のサブセットの重みを構成することと、 スパイキングニューラルネットワークの第１のサブネットワークにサブネットワーク入力パターン信号を印加することと、第１のサブネットワークは、シナプス素子の第１のサブセットからシナプス出力信号を受信するために接続されたスパイキングニューロンの第１のサブセットを備える、 サブネットワーク入力パターン信号に応答してスパイキングニューロンの第１のサブセットによって生成されたサブネットワーク出力パターン信号を受信することと、ここにおいて、出力パターン信号は、入力パターン信号の１つ以上の特徴を識別する、 を行うステップを備える。
【0023】
[0023]本発明の別の態様によると、入力信号中の所定の特徴の分類のための方法が提案される。方法は、上述されたニューラルネットワークを構築及び訓練することと、ニューラルネットワークに少なくとも１つのサンプリングされた入力信号をサブミットすることと、ニューラルネットワークの１つ以上の出力クラスに、少なくとも１つのサンプリングされた入力信号中の特徴を分類することと、を備える。
【0024】
[0024]本発明の更に別の態様によると、スパイキングニューラルネットワークのサブネットワークとして使用するためのスパイキングニューロンの１つ以上のテンプレートネットワーク又はその構成に関する情報を備えるテンプレートライブラリが提供され、各テンプレートネットワークは、シナプス素子のセットからシナプス出力を受信するために接続されたスパイキングニューロンのセットを備える。各テンプレートネットワークは、シナプス素子のセットに印加されたテンプレートネットワーク入力パターン信号を受信し、ニューロンのセットから対応するテンプレートネットワーク出力パターン信号を生成するように適合される。シナプス素子のセットの構成は、テンプレートネットワーク入力パターン信号の訓練セット上でテンプレートネットワークを訓練することによって調整され、そのため、テンプレートネットワーク出力パターン信号は、訓練セットの一意のテンプレートネットワーク入力パターン信号毎に異なり、訓練セットは、特定のタスクを実行するためにテンプレートネットワークを訓練するために使用され、そのため、各テンプレートネットワークは、特定のタスクを実行するために事前訓練された形でスパイキングニューラルネットワークのサブネットワークとして使用されることができるか、又はそのため、スパイキングニューラルネットワークのサブネットワークは、特定のタスクを実行するために事前訓練された形でテンプレートネットワークの構成に関する情報に基づいてインスタンス化されることができる。
【0025】
[0025]本発明の更に別の態様によると、スパイキングニューラルネットワークを構成するための方法が提案され、方法は、上述されたテンプレートライブラリから１つ以上のテンプレートネットワーク又は１つ以上のテンプレートネットワークの構成に関する情報を取得することと、テンプレートネットワークが実行するために事前訓練された特定のタスクをスパイキングニューラルネットワークのサブネットワークが実行することが可能であるように、スパイキングニューラルネットワークのサブネットワークとして１つ以上のテンプレートネットワークをインスタンス化することと、を備える。
【0026】
[0026]本発明は、別々に訓練されたより小さいネットワーク段を使用して、ボトムアップ方式でパターン分類器を実現するための方法から成る。パターン分類器の各段は、共通の方法を使用してその特定の機能について訓練され、実現されている機能に固有の異なる訓練目的（training objectives）が適用される。訓練プロセスは、重みを適合させるときのシナプスの長距離因果影響を考慮する方法によって支援され、このことから、ＳＴＤＰが直面する不安定性の問題を克服する。３つの方法は、他の方法から独立して使用され得る。方法は、異なる信号タイプに適用可能であり、複数の信号にわたってパターンを認識及び相関させることができる、低レイテンシパターン認識装置の実現を可能にする。方法は、実装が柔軟なままであることを付随的に保証しながら、パターン認識装置の訓練及び展開時間を簡略化し、以前に訓練されたパターン認識ネットワークの再使用を容易にする。
【0027】
[0027]ここで、実施形態が、例としてのみ、添付の概略図を参照して説明され、添付の概略図において対応する参照符号は、対応する部分を示す。
【図面の簡単な説明】
【0028】
【図1】[0028]ニューロン及びシナプス素子から成る例証的なニューラルネットワークを示す。
【図2】[0029]各々が別々に訓練され、後続の段中でインスタンス化された、データ変換器、入力符号化器、及びパターン分類器段の統合を通じたパターン認識装置の構成を示す。
【図3A】[0030]どのように入力符号化器がサンプリングされた入力信号を時空間スパイク列に変換するかを概略的に示す。
【図3B】[0031]スパイクタプル（spike tuples）の形態で記述された３つの入力パターンについての所望のスパイク応答の例を示す。
【図4】[0032]シナプス後ニューロンと後続のネットワーク層におけるニューロンとの間の深い因果関係、反因果関係、及び非因果関係を識別するための因果連鎖ＳＴＤＰの原理を示す。
【図5A】[0033]２つの別個のスパイクコーディングされたデータストリームの融合を通じたセンサ融合パターン認識装置の構成と、融合されたスパイク列を使用する後続のパターン分類とを示す。
【図5B】[0034]複数の時間スパイク列がどのように単一の融合されたスパイク列に融合されるかを概略的に示す。
【図6】[0035]スパイキングニューロンのネットワークを使用して、複数のデータストリームを融合し、融合されたストリームに対して自動信号認識を実行することができるシステムを示す。
【図7A】[0036]入力信号をどのようにニューロンにインターフェースするかの例を示す。
【図7B】[0037]入力信号をどのようにニューロンにインターフェースするかの例を示す。
【図8】[0038]リセットパルスをどのように生成するかの例を示す。
【図9】[0039]スパイキングニューロンのネットワークを使用して、複数のデータストリームを融合し、結果として生じる融合されたストリームに対して自動信号認識を実行するための方法を示す。
【図10】[0040]構成可能なスイッチマトリクスを通じて相互接続されたニューロン及びシナプス素子のアレイを示す。
【図11】[0041]ニューロン及びシナプス素子上へのＡＳＲパイプライン段の実例的なマッピングを例示する、構成されたアレイの例を示す。
【0029】
[0042]図面は、例示的な目的のみを意図され、特許請求の範囲によって規定される範囲又は保護の制限としての役割を果たすものではない。
【発明を実施するための形態】
【0030】
[0043]以下、ある特定の実施形態が、更に詳細に説明される。しかしながら、これらの実施形態は、本開示についての保護の範囲を限定するものとして解釈されない場合があることが理解されるべきである。
【0031】
[0044]図１は、ニューラルネットワーク１００の簡略図である。ニューロン１は、シナプス素子２を介して互いに接続されている。画像を混乱させないために、少数のニューロン及びシナプス素子のみが示されている（一部のみに参照番号が付されている）。図１に示された接続トポロジ、即ち、シナプス素子２がニューロン１を互いに接続する方法は、単なる例に過ぎず、多くの他のトポロジが用いられ得る。各シナプス素子２は、ニューロン１の入力に信号を送信することができ、信号を受信する各ニューロン１は、信号を処理することができ、その後出力を生成することができ、出力は、更なるシナプス素子２を介して他のニューロン１に送信される。各シナプス素子２は、重み付けされたシナプス出力信号を生成するために、シナプス素子が受信及び送信する各シナプス入力信号に印加されるある特定の重みを割り当てられる。シナプス素子の重みは、このことから、シナプス素子２によって接続される２つのニューロン１間の因果関係の種類の尺度である。関係は、因果的（正の重み）、反因果的（負の重み）、又は非存在（０重み）であり得る。
【0032】
[0045]ニューロン１及びシナプス素子２は、例えばアナログ回路素子又はデジタルハードワイヤード論理回路を使用して、ハードウェアで実装されることができる。それらはまた、部分的にハードウェアで、及び部分的にソフトウェアで、又は完全にソフトウェアで実装されることができる。ハードウェアでの実装は、例えば遙かにより高速なパターン認識を可能にするより高速な処理と、ニューロン及びシナプス素子のブロックが必要なときにのみ起動されるイベント駆動型処理とを達成するために好ましい。
【0033】
[0046]ニューラルネットワーク１００は、スパイキングニューラルネットワークであり得る。ニューロン１は、従って、スパイキングニューロンであり、スパイキングニューロンは、１つ以上のスパイクの形態でニューロン出力信号を生成する。スパイキングニューロン１は、ニューロン内の膜電位（例えば、エネルギー電位、又は電圧若しくは電流レベル）が所定の閾値に到達したときにのみ発火する（即ち、出力スパイクを生成する）ように構成され得る。スパイキングニューロンの膜電位は、受信された入力信号の結果として変化し、即ち、シナプス素子からニューロンによって受信されたシナプス出力信号は、膜電位を変えるために蓄積され、積分され、又は別様に処理される。シナプス素子２の重みが正である場合、そのシナプス素子から受信されたシナプス出力信号は、信号を受信するスパイキングニューロン１を興奮させ、それらの膜電位を上昇させる。シナプス素子２の重みが負であるとき、そのシナプス素子から受信されたシナプス出力信号は、信号を受信するスパイキングニューロン１を抑制し、それらの膜電位を低下させる。シナプス素子２の重みが０であるとき、そのシナプス素子から受信されたシナプス出力信号は、信号を受信するスパイキングニューロン１に何ら影響を有さない。
【0034】
[0047]スパイキングニューロン１の膜電位が閾値に達すると、ニューロンが発火し、発火時にスパイクを生成し、発火の結果として膜電位が低減される。膜電位がその後再び閾値に達した場合、ニューロンは再び発火し、第２のスパイクを生成する。各スパイキングニューロン１は、このことから、接続されたシナプス素子２から受信された入力信号に応答して１つ以上のスパイクを生成するように構成され、スパイクは、時空間スパイク列を形成する。スパイキングニューロン１は、その膜電位が所定の閾値に到達したときにのみ発火するので、時間情報のコーディング及び処理がニューラルネットワーク１００中に組み込まれる。このようにして、ネットワーク１００のスパイキングニューロン１によって生成されたスパイクの時間シーケンスである時空間スパイク列がスパイキングニューラルネットワーク１００中で生成される。
【0035】
[0048]スパイク列の時間特性は、入力信号の振幅及び周波数特徴を符号化する。時間特性は、刺激（例えば、シナプス素子からの入力信号）の開始とニューロンの出力におけるスパイクの生成との間のレイテンシと、同じニューロンからの連続するスパイク間のレイテンシと、入力刺激が印加される持続時間中にニューロンによって発火されるスパイクの数とを備える。
【0036】
[0049]シナプス素子２は、例えばニューラルネットワーク１００を訓練することによって、例えばシナプス素子のそれぞれの重みを変更することができるように構成可能であり得る。ニューロン１は、シナプス素子からの信号に応答するように構成可能であり得る。例えば、スパイキングニューラルネットワークの場合、ニューロン１は、膜電位、膜電位が静止電位に向かって自然に減衰するのに掛かる時間、静止電位の値、スパイキングニューロン１のスパイクをトリガする閾値を、ある特定の信号が増大又は減少させるように構成されることができる。ニューロン１の構成は、例えば、訓練中に一定に保たれることができるか、又は可変であり、特定の訓練セット上でのニューラルネットワーク１００の訓練において設定されることができる。
【0037】
[0050]入力信号１１は、例えば、複数の異なるサンプリングされた入力信号、又は時空間スパイク列である。入力は、信号サンプルのアナログ－デジタル変換された値、又は例えばアナログ若しくはデジタル積分器の場合ではサンプルのデジタル値、又はアナログ積分器の場合ではサンプルのアナログ値であり得る。
【0038】
[0051]ニューラルネットワーク１００の出力信号１２は、例えば時空間スパイク列であり、時空間スパイク列は、出力ニューロン１から読み出され、更に分類され、出力変換段によって、ユーザによって選択された出力コードのタイプに対応するデジタル値のセットに変換されることができる。
【0039】
[0052]パターン認識などの動作は、いくつかのステップ（例えば、データ変換、特徴符号化、分類）で達成され得る。本実施形態は、これらのステップが、シナプス素子及びニューロンの標準化されたサブネットワーク（セル）を使用して実現され、各アプリケーションドメインのための柔軟な訓練方法を使用して構成されることを可能にする。訓練方法の目的は、ニューラルネットワークの各段又はサブネットワークを構成して、入力信号中の各一意のパターン又は特徴に対する一意の応答を生成することである。
【0040】
[0053]図２は、この例では、データ変換器段２０１と、入力符号化器段２０２と、パターン分類器段２０３とを含む、いくつかの構成段の統合によって形成されたニューラルネットワークの構成を示す。各段は、別々に訓練され、後続の段の訓練のためにネットワーク中でインスタンス化されることができる。「インスタンス化された」という用語は、サブネットワークを形成するネットワークの一部分、例えばネットワークの段又はセルが典型的には訓練によって以前に構成されており、サブネットワークの構成データがネットワーク全体内でそのサブネットワークを構成するために使用されるプロセスを指す。
【0041】
[0054]データ変換器段２０１は、ニューラルネットワークによる処理のために入力パターン信号を受信する。この例では、データ変換器段２０１は、セル３０１として示され、データ変換器段２０２は、セル３０２の一部として示され、パターン分類器段２０３は、セル３０３の一部として示される。各セル３０１、３０２、３０３は、セルが実装することを意図された機能を実現するトポロジ中で接続された、ネットワークのシナプス素子２のサブセット及びニューロン１のサブセットによって形成されるサブネットワークを備える。各セル３０１、３０２、３０３は、パラメータ化され、即ち、とりわけ、異なる数のシナプス素子２、ニューロン１、入力接続、出力接続、隠れ層接続（即ち、出力の入力には見えないニューロンの層の間の接続）を有するように構成されることができる。
【0042】
[0055]段２０１、２０２、２０３の各々中のシナプス素子２の重みは、訓練によって構成され得る。この例では、データ変換器段２０１は、最初にセル３０１中で訓練される。データ変換器段２０１を訓練した後、訓練されたデータ変換器段２０１及びセル３０１の構成設定が保存され得る。これらの保存された設定は、次いで、セル３０２を構成するために使用され得、セル３０２は、データ変換器段２０１及び入力符号化器段２０３の両方を含む。
【0043】
[0056]セル３０２が次いで訓練され得、訓練された符号化器段２０３及びセル３０２の構成設定が保存され得る。これらの保存された設定は、次いで、セル３０３を構成するために使用され得、セル３０３は、データ変換器段２０１、入力符号化器段２０３、及びパターン分類器段２０３を含む。セル３０３が、次いで訓練され得、訓練されたパターン分類器段２０３及びセル３０３の結果として生じる構成設定が保存され得る。
【0044】
[0057]訓練は、一意の応答アルゴリズムを使用して達成され得る。一意の応答アルゴリズムは、各セルのシナプス素子の重みの構成を実現し、それは、入力信号中の一意の特徴がセルのニューロン１の一意の応答にトランスコーディングされることをもたらす。スパイキングニューロンの場合、これは、一意のスパイキング応答であり得る。一意の応答アルゴリズムが、以下に更に説明される。セルの応答の一意性は、入力パターン信号１１中の異なる特徴をセルの異なる出力信号１２Ａ、１２Ｂ、１２Ｃに分離するためのセルの能力を示す。スパイキングニューロンの場合、これらの異なる出力信号１２Ａ、１２Ｂ、１２Ｃは、異なる出力スパイク列、例えば、セルの出力ニューロンからの時空間スパイク列出力の一意のセットであり得る。時空間スパイク列出力のセットの一意性は、セルの各出力ニューロンによって生成されるスパイクの数及び／又はスパイクのタイミングによって決定され得る。その結果として、ネットワークの訓練中、各応答の一意性は、入力がネットワークに提示されてスパイクに変換された後にテストされ、訓練されているセルのシナプス素子の重みは、各セル３０１、３０２、３０３の出力応答１２Ａ、１２Ｂ、１２Ｃが一意性基準を満たすまで、一意の応答方法を使用して適合される。教師入力１３Ａ、１３Ｂ、１３Ｃが、以下に説明されるように、各セル３０１、３０２、３０３に対する所望の一意の応答を取得するために使用されることができる。
【0045】
[0058]より高いレベルの機能を実現するために、以前に訓練されたセル３０１、３０２、３０３は、ボトムアップ方式でインスタンス化及び相互接続されることができ、即ち、最も低いレベルのセル３０１が最初に訓練され、次いで、後続の段２０２を包含するより高いレベルのセル３０２中でインスタンス化されることができる。中間レベルセル３０２が、次いで、後続の段２０３を包含するより高いレベルのセル３０３中でインスタンス化されることができる。より高いレベルのセルの各作成に続いて、一意の応答アルゴリズムが呼び出される。
【0046】
[0059]セル３０１、３０２、３０３は、異なるアプリケーションドメイン中の特定の機能のためにこのようにして訓練されることができ、訓練されたセルの構成設定は、それらが異なるネットワーク中で再使用されることができるテンプレートライブラリ中に保存されることができる。例えば、発声単語認識ネットワークの入力符号化器段２０２は、ホットワードトリガリングネットワーク（hot-word triggering network）中で何ら変更を加えることなく再使用されることができる。そのような再使用は、全体的な訓練時間及び複雑さの低減を容易にする。
【0047】
[0060]図３Ａは、どのように入力符号化器２２がサンプリングされた入力信号２０を時空間スパイク列２４に変換するかを概略的に示す。入力符号化器２２の各出力ニューロンは、時間スパイク列である出力信号２３を形成する。入力符号化器２２は、構成２１によって構成され、ここで、例えば入力符号化器のシナプス素子の重みが設定される。
【0048】
[0061]図３Ｂは、スパイキングニューラルネットワークのセルへの３つの異なる入力パターンに対する３つの所望のスパイク応答１４Ａ、１４Ｂ、１４Ｃの例を示す。この例における各応答は、セルの出力ニューロンＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５によって生成される１つ以上の時空間スパイク列のセットの形態を取る。各応答１４Ａ、１４Ｂ、１４Ｃは、各ネットワークに対して選択され得る離散時間ビン１５Ａ、１５Ｂ、１５Ｃについて記述される。時間ビン１５Ａ、１５Ｂ、１５Ｃは、セルに対する第１の入力刺激の開始とそのセルの出力ニューロンからの最後の応答との間の時間と少なくとも同じ大きさであり得る。時間ビンは、セルのフォールスルーレイテンシ（fall-through latency）の倍数であり得、倍数は、入力刺激の結果としてセルの出力ニューロン毎に生成されるスパイクの典型的な数に等しい。
【0049】
[0062]一意の応答方法の各呼び出し中に、セル３０１、３０２、３０３は、処理されるべき入力パターンから導出された入力データ１１に曝される可能性がある。入力データ１１は、処理のためにニューラルネットワークに提示される入力パターンｐから導出される。
【0050】
[0063]入力パターンｐは、例えば、音声認識アプリケーションのためのオーディオ信号、画像認識アプリケーションのための静止画像若しくはビデオ画像、又はパターン認識システムに適した多くの他のタイプのパターンを備え得る。入力データ１１は、単一の時間変動データ項目（例えば、オーディオ信号から導出された単一のデータストリーム、例えば、マイクロフォンによって出力されたアナログ若しくはデジタル信号）、複数のデータ項目（例えば、ＣＣＤアレイによって出力された静止画像の個々のピクセルを表す入力データのセット）、複数の時間変動データ項目（例えば、ビデオ画像の個々のピクセルを表す入力データストリームのセット）、又は単一のデータ項目から生成された複数の増補バージョン（例えば、入力信号の組み合わせ）を備え得る。
【0051】
[0064]セル３０１、３０２、３０３のシナプス素子２の重みは、シナプス重みを適合させるときに長距離因果関係を考慮する学習規則である因果連鎖スパイクタイミング依存可塑性（ＣＣ－ＳＴＤＰ：Causal Chain Spike-timing-dependent plasticity）を使用して適合され得る。この意味で、それは、重みを適合させるときに短距離因果関係を考慮するだけで、いくつかの訓練セットを使用した重みの更新を極めて不安定でカオス的なものにし、主に局所的な挙動の結果にする、従来のスパイクタイミング依存可塑性（ＳＴＤＰ）学習規則とは異なる。ＣＣ－ＳＴＤＰが以下に更に提示される。セルが訓練されると、訓練されたセルのための構成設定は、テンプレートセルのライブラリ中に記憶され得、その後、そこからリコールされ、再使用され得る。
【0052】
[0065]各入力パターンｐに対する所望のスパイク応答１４Ａ、１４Ｂ、１４Ｃは、入力パターンｐから導出された入力データ１１が提示される各時間ビンにおけるスパイク応答を指定するタプルとして記述されることができる。例えば、タプルは、入力データ１１に応答して発火したセルの出力ニューロン（Ａp）の母集団（population）と、それらの正確な発火時間（Ｂp）とを指定し得る。応答の一意性は、典型的にはＡp及びＢpの関数である距離関数又はメトリック（例えば、Ｖｉｃｔｏｒ Ｐｕｒｐｕｒａ又はＶａｎ Ｒｏｓｓｕｍ距離関数）を使用して、他の入力パターンに対するセルの応答からのその距離を計算することによって決定される。
【0053】
[0066]好ましい実施形態では、各入力パターンｐに対して、セットＡpは、単一の出力ニューロン１を包含する互いに素なセットを記述することができ、セットＢpは、その出力ニューロン１が応答するときに対応する時間ビンを記述することができる。このことから、この実施形態では、各入力パターンｐは、最も早く応答する単一のニューロン１によって識別されることができる。同じ又は他のニューロンからの後の応答は、例えば、ウィナーテークオール（winner-take-all）ネットワークを使用して抑制されるか、又は無視されることができる。追加のロバスト性のために、タプルは、ニューロンの応答の強度（入力データ１１が適用された期間中に単一の最も早いスパイキングニューロンによって生成されたスパイクイベントの数Ｃpとして表される）を記述する追加フィールド（Ｃp）で増補されることができる。
【0054】
[0067]代替の実施形態では、各パターンｐに対して、セットＡpは、複数の出力ニューロン１を包含する互いに素なセットであり得、セットＢpは、それらのニューロンの応答時間を包含する同一サイズのセットであり得る。セルの応答は、以下に提示される因果連鎖ＳＴＤＰ規則を使用して、所望のスパイクタプルに到達するために、異なるＡp及びＢp値に向かってステアリング（ steered）されることができる。
【0055】
[0068]Ｂp値は、対応するニューロン１の発火に寄与するシナプス素子における重みを増大させることによって低減されることができるが、Ｂp値は、それらの重みを減少させることによって増大されることができる。これは、出力ニューロン１の因果発火を人工的に促進することによって、又は入力データ１１の適用に付随して早期スパイクを誘発（ inducing）することによって反因果発火を促進することによって、達成されることができる。これは、寄与経路の正又は負のシナプス重み調整をそれぞれ引き起こす。
【0056】
[0069]図３Ｂでは、所望のスパイク応答１４Ａ、１４Ｂ、１４Ｃが、３つの入力パターンｐについて示されている。第１の入力パターンの応答は、第１の時間ビン１５Ａ中に生成され、第２のパターンの応答は、第２の時間ビン１５Ｂ中に生成され、第３のパターンの応答は、第３の時間ビン１５Ｃ中に生成された。第１のパターン（ｐ1）は、タプル
を有する。第２のパターン（ｐ2）は、タプル
を有する。最後に、第３のパターン（ｐ3）は、タプル
を有する。
【数1】
【数2】
【数3】
【0057】
[0070]一意の応答方法の目的は、各一意の入力パターンについて一意の時空間スパイク列のセットを生成することであり得る。これらの時空間スパイク列は、正確に時間指定された電気パルスのシーケンスとして構成され得る。応答の一意性は、以下に説明されるように記述されることができる。
【0058】
[0071]Ａは、出力スパイク列を生成するニューロンのセットを示す。ｐを所与の既知の入力パターンとする。ＡのサブセットであるＡpは、所与の入力パターンｐに対して発火するニューロンのセットを示す。Ａs＝｛Ａp｜ｐ∈Ｐ｝を、全ての既知の入力パターンＰのセットの各入力パターンｐに対して発火するニューロンの全てのセットのセットとする。
【0059】
[0072]更に、
を、特定の入力パターンｐに対するニューロンｉの正確な発火時間のセットとする。
を、特定の入力パターンｐに対する全ての出力ニューロンについての正確な発火時間１、２、・・・、ＮOのセットのセットとする。全ての既知の入力パターンＰのセットの全ての入力パターンｐについての正確な発火時間を包含するセットのセットをＢs＝｛Ｂp｜ｐ∈Ｐ｝と示す。
【数4】
【数5】
【0060】
[0073]一実施形態では、入力データ１１に対するネットワークの応答は、例えば、時間変動入力の各所与のサンプリングウィンドウ内で、以下の規則のうちの１つ以上が適用される場合、一意と呼ばれることができる。第１の規則として、Ｐ中の全ての一意の入力パターンｐ、ｑ（このことからｐ≠ｑ）に対して、Δ（Ａp，Ａq）≠０が成り立つべきである。第２の規則として、Ｐ中の全ての一意の入力パターンｐ、ｑに対して、Δ（Ｂp，Ｂq）≠０が成り立つべきである。
【0061】
[0074]距離Δ（Ａp，Ａq）及びΔ（Ｂp，Ｂq）は、とりわけ、Ｖｉｃｔｏｒ－Ｐｕｒｐｕｒａ、Ｖａｎ Ｒｏｓｓｕｍ、ＩＳＩ、又はＳＰＩＫＥ距離などの適切なスパイク距離メトリックΔ（・，・）を使用して共に計算されることができる。
【0062】
[0075]これらの規則は、シナプス重みの構成のための目的として適用されることができ、ここで、それらは、以下のように言い換えられることができる。第１の重み構成目的は、Ａs中の全てのＡpに対して、Ａs中の各Ａqに対する距離Δ（Ａp，Ａq）を最大化することであり得、ここで、ｑは、Ｐ中の特定の異なる入力パターンである。第２の重み構成目的は、Ｂs中の全てのＢpに対して、Ｂs中の各Ｂqに対する距離Δ（Ｂp，Ｂq）が最大化され、Ｂs中の各Ｂqに対する和集合Ｂp∪Ｂqが最小化されることであり得、ここで、ｑは、Ｐ中の特定の異なる入力パターンである。
【0063】
[0076]所望のスパイクタプルは、これらの重み構成目的に基づいて生成されることができ、例えば、入力符号化器段２０２は、以下で提示されるようにＣＣ－ＳＴＤＰを使用して訓練されることができる。この演習の目的は、入力パターン中の特徴間を区別するために後続の段が使用することができる一意の応答をもたらす入力符号化器段２０２の構成に到達することである。
【0064】
[0077]構成目的は、最適条件をもたらすことを意図されるが、これは、計算コストが高くあり得る。より単純なアプローチは、入力符号化器段の出力が後続の処理段中の特徴間を区別するために必要とされる最小感度閾値を少なくとも満たす点まで、Δ（Ａp，Ａq）、Δ（Ｂp，Ｂq）が増大し、Ｂp∪Ｂqが減少するように、目的を制限することである。これは、符号化のロバスト性及び品質に影響を及ぼすことなく、重み構成訓練プロセスのランタイムが低減されることを可能にする。
【0065】
[0078]スパイクタプルのフルセットが全ての対象のパターンについて記述又は生成されると、セル３０１、３０２、３０３中のニューロン１接続のシナプス素子２の重みは、それらが提示された入力パターンに対する所望の一意の応答を示すように訓練されることができる。教師あり学習レジームでは、この訓練は、教師あり方法（例えば、とりわけ、自動符号化器法、網羅的探索、勾配降下、逆伝搬を使用）を使用して実行される。しかしながら、これは、計算コストが高価である。以下では、新しいＳＴＤＰ重み容易化方式（new STDP weight facilitation scheme）に依拠する半教師あり訓練方法を説明する。半教師ありとは、結果として生じる誤差が何であるかを言うのではなく、例えば、ある特定の入力パターンに対する一意の応答を取得するための所望の又は必要なスパイクが何であること言うことを意味することができる。
【0066】
[0079]従来のＳＴＤＰでは、シナプス素子の重み変化は、その特定のシナプス素子２によって互いに接続された２つのニューロン１の相対発火時間に依存する。しかしながら、結果として生じる重み変化は、主に局所的な挙動の結果である。因果連鎖ＳＴＤＰ（ＣＣ－ＳＴＤＰ）は、代わりに、シナプス前ニューロンの因果関係のより長い連鎖における重み変化を断定（predicates）し、即ち、重みは、発火イベントがネットワークの後続の層におけるニューロンの発火に寄与する場合にのみ調整される。
【0067】
[0080]図４は、ＣＣ－ＳＴＤＰ学習規則の原理を示し、それは、重みｗ1,2を有する特定のシナプス素子２のシナプス前ニューロンＮ１とシナプス後ニューロンＮ２との間の深い因果関係、反因果関係、及び非因果関係と、ネットワークの後続の層におけるニューロンＮ３、Ｎ４、Ｎ５とを識別することができる。
【0068】
[0081]ＣＣ－ＳＴＤＰ規則は、特定の出力スパイク応答を取得するために、セルの半教師あり訓練において適用されることができる。例えば、ｎが、特定の時間ｔspike nにスパイクが望まれる特定の出力ニューロンであると仮定する。訓練中、ニューロンｎにおいて時間ｔspike nにスパイクを人工的に誘発することによって、ネットワークの早期層におけるニューロンとニューロンｎとの間の関係の性質が確立されることができる。これらの関係は、因果的（早期層におけるニューロンが出力ニューロンにおいてスパイクを引き起こす）、反因果的（早期層におけるニューロンが出力ニューロンにおいてスパイクを引き起こさないが、２つのニューロンがそれらの発火において同期され、初期ニューロンが出力ニューロンの後に発火する）、又は非因果的（２つのニューロンがそれらの発火挙動においていかなる同期性も有さない）であり得る。ＣＣ－ＳＴＤＰは、このことから、ネットワークの先行する層におけるニューロンと所望の出力ニューロンとの間の因果関係の識別を可能にすることができ、因果関係のこの経路に沿った介在シナプス素子の重みを調整させることができる。
【0069】
[0082]スパイクが望ましくない場合があるニューロンにおいて、セルへの入力サンプルの提示に付随して、即ち同じ時間間隔でスパイクを誘発することによって、反因果関係がエミュレートされることができる。これは、出力ニューロンを全ての先行する層におけるニューロンの前に発火させることができ、このことから、反因果関係をもたらし、次に、この経路に沿った介在シナプス素子の局所的な抑圧を引き起こす。
【0070】
[0083]このことから、特定の時間ｔspike kに所望の出力ニューロン（１つ以上）においてスパイクを誘発し、入力刺激の印加に付随して同時に他のニューロンにおいてスパイクを誘発することによって、ネットワークは、所望のスパイキング応答パターンで応答するように構成される。
【0071】
[0084]ニューロンｉとニューロンｊとの間に位置するシナプス素子の重みｗi,jは、例えば、以下の規則に従って変化することができる：
【数6】
【0072】
[0085]ここで、式（１）では、Δｗi,jは、ニューロンｉとニューロンｊとの間のシナプス素子に対する有効な重み変化であり、ｗj,kは、ニューロンｊと後続の層のニューロンｋとの間のシナプス素子の重みである。ｔspike i、ｔspike j及びｔspike kは、ニューロンｉ、ｊ及びｋがそれぞれスパイクする正確な時間を指す。δｗi,jは、スパイキングのそれらの相対時間による、ニューロンｉとニューロンｊとの間のシナプス素子における重み変化であり、ＳＴＤＰ学習規則を使用して計算され得る。
【0073】
[0086]このことから、式（１）の学習規則によると、ニューロンｉとニューロンｊとの間のシナプス素子における重み変化が正であるべきである場合、及びニューロンｊとニューロンｋとの間の重みが非０である場合、及びニューロンｋがニューロンｉ及びニューロンｊの両方よりも遅くスパイクする場合、Δｗi,j＝δｗi,jである。ニューロンｉとニューロンｊとの間のシナプス素子における重み変化が負であるべき場合、Δｗi,j＝δｗi,jである。最後に、ニューロンｋがスパイクしない場合、ニューロンｋが直ちにスパイクする場合、又はニューロンｋがニューロンｉ若しくはニューロンｊのうちのいずれかよりも早くスパイクする場合、又はニューロンｊとニューロンｋとの間の重みが０である場合、重み変化は０になる。後者の場合、ニューロンｉ発火とニューロンｋ発火との間に因果関係はないようである。
【0074】
[0087]代替的な学習規則も使用され得、その場合、上記の式におけるスパイク時間パラメータは、選択された学習規則の基本パラメータ（例えば、スパイクレート）によって置き換えられ得る。
【0075】
[0088]この原理は、図４を参照して説明されることができる。例えば、スパイクは、特定の出力ニューロンにおいて特定の時間に誘発される（例えば、ニューロンＮ３においてスパイク時間ｔspike N3＝４ｍｓに、ニューロンＮ４においてスパイク時間ｔspike N4＝３ｍｓに、及びニューロンＮ５において誘発スパイクなし）。このようにして、所望の特定の時空間スパイク出力パターンが作成される。この所望の出力パターンは、スパイキングニューラルネットワークの特定の時空間入力パターン（例えば、ｔspike N1＝１ｍｓに発火するニューロンＮ１）に属する。例えば、この入力パターン及び特定のシナプス重みｗ1,2により、ニューロンＮ２は、ｔspike N2＝３ｍｓに発火する。シナプス素子に対する有効な重み変化Δｗ1,2は、例えば上記の式（１）を使用して計算されることができる。ｗ2,3≠０であるので、及びｗ1,2＞０である場合、この特定の時間に発火するニューロンＮ３からの寄与は、δｗ1,2である。ｗ2,4＝０であるので、シナプス重み上で発火するニューロンＮ４からの結果として生じる変化は０である。ニューロンＮ５はスパイクしないので、ニューロンＮ５からの結果として生じる変化は０である。
【0076】
[0089]ＣＣ－ＳＴＤＰがスパイキングニューラルネットワークを訓練するために使用される実施形態では、特定の時間に特定のニューロン１におけるスパイク生成を誘発及び／又は抑制することが可能であることが必要であり得る。例として、これは、以下の方法で行われることができる（このリストは網羅的ではない）。スパイクを誘発するために、１つの方法は、バイアス電圧入力によって、発火閾値を超える電圧まで対応するニューロンの膜を駆動し、それによってスパイクの生成を誘発することであろう。別の方法は、所望の時間にニューロンの出力に人工スパイクを注入することであり得る。スパイクを防止するために、１つの方法は、不応電圧（refractory voltage）又は最低可能電圧まで対応するニューロンの膜を駆動し、スパイクの生成を防止することであろう。代替として、例えばニューロン入力を積分器から切断し、それによって例えばスパイク生成回路を出力から切断することによって、ニューロンにおけるスパイク生成を無効にすることができる。ニューロン中でのスパイク生成を誘発又は無効化するためのこれらの信号は、教師入力１３Ａ、１３Ｂ、１３Ｃとして例示されており、それらは、各セル３０１、３０２、３０３に対する所望の一意の応答を取得するために使用されることができる。
【0077】
[0090]図５Ａは、２つの別個のデータストリーム１１Ａ、１１Ｂの融合と、パターン分類器段２０４中の融合されたストリーム１２Ｃを使用する後続のパターン分類とを通じたセンサ融合パターン認識装置の構成を示す。パターン分類器段２０４の出力１２Ｄは、例えば、パターン分類器段２０４の出力ニューロンによって生成された時空間スパイク列１２Ｄのセットであり得、ここで、セット１２Ｄの各スパイク列は、パターン分類器段２０４中の単一の特定の出力ニューロンによって生成される。
【0078】
[0091]即ち、層が段中に複数の同時セル（例えば、融合システム中の入力符号化器段を形成する複数の入力符号化器２０２Ａ、２０２Ｂ）を有する場合、これらのセル２０２Ａ、２０２Ｂの各々は、後続の段２０３を有するセル中でインスタンス化される前に最初に構成されることができる。ネットワークの全ての段は、教師入力１３Ａ１、１３Ａ２、１３Ｂ１、１３Ｂ２、１３Ｃ、１３Ｄを使用して訓練され得る。全ての同時セルが同一のデータに対して同一の機能を実行する場合（例えば、レーダートランシーバにおける異なる受信アンテナの入力符号化、又は異なる方向に向けられた異なるマイクロフォンの入力符号化）、各インスタンスに対して別個の訓練シーケンスを実行する必要はない場合がある。むしろ、単一の訓練されたセルは、複数回インスタンス化されることができる。結果として、訓練されたセル又はその構成は、同じ機能を実行するために異なるスパイキングニューラルネットワークにおいて実装されることができる。従って、スパイキングニューラルネットワークの構成中に、同じ機能が必要とされる場合、いかなる新たな訓練も必要とすることなく、既に訓練されたセルが実装されることができる。スパイキングニューラルネットワークの構成は、このことから、掛かる時間がより短くなり、複雑さがより少なくなる。
【0079】
[0092]メモリデバイスは、訓練されたセルのテンプレートライブラリとして使用されるように構成されることができる。そのようなメモリデバイス上に、スパイキングニューラルネットワークの１つ以上の訓練されたセルのソフトウェア及び／又はハードウェア設定が記憶されることができる。そのようなセルのシナプス素子２の構成設定は、例えば、シナプス素子のそれぞれの重みであり得る。そのようなセルのニューロン１の構成設定は、例えば、発火閾値、漏出率、静止値、不応レベル、不応期間、又はニューロンの他のパラメータであり得る。
【0080】
[0093]各セルは、特定の機能を実行するように訓練される。特定のスパイキングニューラルネットワーク中で、その特定の機能を有するそのような新しいセルが必要であるとき、セルは、最初から訓練される必要がなく、それは、時間を節約し、スパイキングニューラルネットワークが遥かにより効率的に実装されることを可能にする。代わりに、その機能のために設計された事前訓練されたセルからの構成設定は、テンプレートライブラリとして構成されたメモリデバイスから取得されることができる。事前訓練されたセル構成設定を使用して新しいセルをインスタンス化することによって、新しいセルは、事前訓練されたセルと同じ方法で機能することが可能になる。
【0081】
[0094]メモリデバイスは、任意のコンピュータ可読記憶媒体であり得る。メモリデバイスは、非一時的記憶媒体であり得る。例示的なコンピュータ可読記憶媒体は、（ｉ）情報が永久的に記憶され得る書込み不能記憶媒体（例えば、ＣＤ－ＲＯＭドライブによって可読なＣＤ－ＲＯＭディスク、ＲＯＭチップ、又は任意のタイプのソリッドステート不揮発性半導体メモリなどのコンピュータ内の読み出し専用メモリデバイス）、及び（ｉｉ）変更可能な情報が記憶され得る書込み可能記憶媒体、例えば、ハードディスクドライブ又は任意のタイプのソリッドステートランダムアクセス半導体メモリ、フラッシュメモリを含むが、それらに限定されない。
【0082】
[0095]テンプレートライブラリはまた、各々が特定の機能を実行するように事前訓練されたハードウェアスパイキングニューラルネットワークセルの集合であり得る。これらのハードウェアセルは、その特定の機能を有するセルを必要とするスパイキングニューラルネットワーク中で直接使用されることができる。
【0083】
[0096]図５Ａでは、２つのデータ変換器段２０１Ａ、２０１Ｂは、セル３０１Ａ、３０１Ｂ中の入力パターン信号１１Ａ、１１Ｂでそれぞれ訓練され得、スパイク応答出力１２Ａ１、１２ＡＢを生成する。セル３０１Ａ、３０１Ｂの構成は、各々が後続の段、即ち入力符号化器段２０２Ａ、２０２Ｂも含むセル３０２Ａ、３０２Ｂ中に保存され、インスタンス化され得る。セル３０２Ａ、３０２Ｂは、入力パターン信号１１Ａ、１１Ｂでそれぞれ訓練され得、それは、データ変換器段２０１Ａ、２０１Ｂの出力１２Ａ１、１２Ｂ１が入力符号化器段２０２Ａ、２０２Ｂへの入力データとなることをもたらす。セル３０２Ａ、３０２Ｂの構成は、同様に、後続の段、即ちデータ融合段２０３も含むセル３０３中に保存され、インスタンス化され得る。セル３０３は、入力パターン信号１１Ａ及び１１Ｂの両方を使用して訓練され得、それは、入力符号化器段２０２Ａ及び２０２Ｂの出力１２Ａ２及び１２Ｂ２がデータ融合段２０３への入力データになることをもたらす。入力符号化器段２０２Ａ及び２０２Ｂの出力１２Ａ２及び１２Ｂ２の時空間スパイク列は、その後、データ融合段２０３の１つ以上のニューロン１に同時に入射する。データ融合段２０３の出力１２Ｃは、複数のスパイク列（入力符号化器段２０２Ａ、２０２Ｂからの出力１２Ａ２及び１２Ｂ２）による関節刺激に応答して生成された、時間スパイク列（データ融合段２０３が１つの出力ニューロン１のみを備える場合）又は時空間スパイク列のセット（データ融合段２０３が複数の出力ニューロン１を備える場合）である。結果として生じるスパイク列（１つ以上）の融合されたセット１２Ｃは、融合された全ての入力パターン信号１１Ａ、１１Ｂの特徴空間の組み合わせを表す。その結果として、融合されたスパイク列は、現在の時間ウィンドウ中の入力パターン信号中に存在する全ての特徴を符号化する。
【0084】
[0097]例えば、入力パターン１１Ａ、１１Ｂの特徴ｅ及びｆをそれぞれ包含する入力スパイク列１２Ａ２、１２Ｂ２の２つのセットを融合するとき、結果として生じる融合されたスパイク列（１つ以上）１２Ｃは、特徴ｅ及びｆの両方の対応する一意の表現を包含する。データ融合段２０３を構成する目標は、融合された出力信号１２Ｃの特徴サブ空間への各入力パターン信号１１Ａ、１１Ｂの完全な特徴空間のこの一意のマッピングを達成することである。
【0085】
[0098]それらのそれぞれの入力パターン信号Ｍα及びＭβ中の特徴を符号化し、スパイク列Ｐα及びＰβの２つのセットを生成する２つの入力符号化器α及びβを検討する。
【0086】
[0099]符号化したいであろう信号Ｍα中のｕ個の既知の特徴のセットは、Φ（α）＝｛φ1，φ2，・・・，φu｝として与えられ、それは、このことから、信号Ｍαの特徴空間である。｛１，・・・，ｕ｝中のｉについての各特徴φiは、時空間スパイク列のセットとして符号化される。Ａα＝｛Ａ1，Ａ2，・・・，Ａu｝は、特徴φiに対して発火する出力ニューロンＡiのセットのセットである。全てのｕ個の既知の特徴に対するニューロンの正確な発火時間を包含するセットのセットは、Ｂα＝｛Ｂ1，Ｂ2，・・・，Ｂu｝であり、ここで、Ｂαにおける各Ｂiは、特徴φiに対する出力ニューロンの正確な発火時間のセットである。
【0087】
[00100]データ融合が無損失であるために、融合されたスパイク列（１つ以上）Φ（γ）の特徴空間は、異なる入力信号の個々の特徴空間を包含することができる：
Φ（γ）＝Φ（α）・Φ（β）＋Φ（α）＋Φ（β） （２）
Φ（γ）＝Φ（α）・Φ（β）＋Φ（α）＋Φ（β） （２）
【0088】
[00101]特徴空間Φ（γ）に対応する時空間スパイク列は、入力符号化について述べた規則１及び規則２を守ることができ、即ち、そのため、それらは、後続の処理段がスパイクコーディングされた特徴間を区別することを可能にするのに十分な一意性を有することができる。このことから、スパイクタプルの生成は、上述された一意の応答方法を使用することができ、入力スパイク列中の特徴の各一意の組み合わせは、融合ブロック中の出力時空間スパイク列の一意のセットをもたらす。
【0089】
[00102]図５Ｂは、実施例において、複数の時間スパイク列３０Ａ、３０Ｂがどのように単一の融合されたスパイク列３５に融合されるかを概略的に示す。時間スパイク列３０Ａ、３０Ｂは各々、シナプス素子３１Ａ、３１Ｂを通じて送信され、ニューロン３４上でインバウンドする。ニューロン３４は、１つ以上のシナプス素子３３を介してニューロン３４に接続された反復接続３２を有することができる。融合されたスパイク列３５は、第１の時間スパイク列３０Ａ及び第２の時間スパイク列３０Ｂの両方の特徴空間の組み合わせを表す。融合されたスパイク列３５中のこれらの特徴の表現は十分に一意であるため、後続の処理段は、第１の時間スパイク列３０Ａのスパイク符号化された特徴と第２の時間スパイク列３０Ｂのスパイク符号化された特徴との間を区別することができる。
【0090】
[00103]データ融合を使用する信号認識システムでは、データソースは、最終結果に対するそれらの影響に基づいて重要性が異なり得る。ある特定の特徴は、信号認識プロセスにとって主要なものであり得るが、他の特徴は、認識結果の品質を向上させる役割しか果たさない。その結果として、Ａα及びＡβの融合された特徴空間を表すスパイク列のセットであるＡγのサイズは、あまり重要でない特徴の影響を減少させることによってサイズが低減されることができる。これは、少なくとも３つの方法で行われ得る。
【0091】
[00104]第１に、特定の入力スパイク列のあまり重要でない特徴に付随して、データ融合段２０３の出力ニューロン中に反因果スパイクを導入することによる。この方法は、入力パターンのうちのいずれも所望の特徴を包含しない場合に適用可能であり得る。
【0092】
[00105]第２に、あまり望ましくない特徴はまた、融合プロセスにおける各々の優先度に対応する、各入力符号化器段２０２Ａ及び２０２Ｂからの出力を受信するデータ融合段２０３の入力シナプス素子中に重みバイアスを導入することによって抑制され得る。その結果として、入力符号化器段２０２Ａ、２０２Ｂからのスパイク列は、それらが融合される前に、データ融合段２０３の出力に対するそれらの所望の影響に従って重み付けされることができる。これは、入力信号と結果として生じる融合された表現との間のエネルギー伝達の制御を容易にする。信号の優先度バイアスを増大させることにより、融合された表現に対するその信号の影響を高めることができる。信号についてのバイアスを最大化することは、融合された表現に入力信号を複製させる。逆に、信号についての優先度バイアス重みを最小化することは、融合された表現に対するその影響を低減することができるのに対して、重みを完全に無効化することは、融合された結果に対する信号の影響を完全に排除する。融合中、空間スパイク分布Ａα及びＡβは、データ融合段２０３の構成によって実現される伝達関数ｆを通じて融合された空間分布Ａγに変換される。このことから、優先度バイアスされた実施形態では、融合された分布は、以下の形を取る。
Ａγ＝ｆ（（Ａα，ｗα），（Ａβ，ｗβ））及びＢγ＝ｆ（（Ｂα，ｗα），（Ｂβ，ｗβ）） （３）
Ａγ＝ｆ（（Ａα，ｗα），（Ａβ，ｗβ））及びＢγ＝ｆ（（Ｂα，ｗα），（Ｂβ，ｗβ）） （３）
【0093】
[00106]式（３）では、ｗα及びｗβは、データ融合段２０３に対するスパイク列セットＰα及びＰβの影響を制御する優先度バイアス重みセットである。
【0094】
[00107]第３の方法は、ほぼ間違いなく最も単純であり、任意の特徴を抑制又は減少させるのではなく、代わりにその影響を融合された表現中に含めることを伴う。この特徴に対応する表現は、後続の分類段２０４中で単に無視され得、即ち、対象でないクラスを割り当てられ得る。このアプローチは、望ましくない特徴の組み合わせを明確に分類するので精度の増大に寄与し、それによって所望の特徴のより正確な識別を可能にする。
【0095】
[00108]次に、融合及びパターン認識のためのシステムにおける上記の原理の適用が説明される。
【0096】
[00109]図６は、マイクロプロセッサ又はハードウェア論理システム６００とインターフェースされたスパイキングニューラルネットワーク４００に基づく、データ融合及び自動信号認識のためのシステム７００の実施形態の簡略化されたブロック図である。
【0097】
[00110]スパイキングニューロンネットワーク４００は、１つ以上の入力符号化器段４０１1、・・・、４０１Nを備え、入力符号化器段４０１1、・・・、４０１Nの各々は、構成データ７１７によって構成可能である。入力符号化器段４０１1、・・・、４０１Nは、入力パターン信号７１１1、・・・、７１１Nを受信し、これらの入力パターン信号を、各入力パターン信号７１１1、・・・、７１１Nの特徴空間を符号化する時空間スパイク列Ｐ1、・・・、ＰNに変換し得る。入力パターン信号７１１1、・・・、７１１Nのセットは、例えば、入力パターンデータをサンプリングして信号のセットを生成することによって、例えば、ＣＣＤアレイ画像センサを使用して画像を記録して、各々が画像センサの１つ以上のピクセルによって記録された画像データを表す入力パターン信号７１１1、・・・、７１１Nのセットを生成することによって導出され得る。
【0098】
[00111]各スパイク列Ｐ1，・・・，ＰNは、各入力パターン信号７１１1，・・・，７１１Nに応答して入力符号化器段４０１1，・・・，４０１Nの１つ以上のニューロンによって生成された、正確に時間指定された電圧スパイクのシーケンスを備え得る。
【0099】
[00112]複数のニューロンが単一の入力パターン信号７１１1、・・・、７１１Nを符号化するために使用される場合、複数のニューロンの各々からの出力は、上述された時間特性のうちの１つ以上を有する１つ以上のスパイクを備えるスパイク列であり得る。入力符号化器段４０１1，・・・，４０１Nの出力ニューロンによって生成されたアグリゲートされたスパイク列Ｐ1，・・・，ＰNは、提示された入力パターン信号７１１1，・・・，７１１Nに対する符号化された時空間スパイク応答を共に表す。
【0100】
[00113]図７Ａは、ニューロン１が、シナプス素子２からの出力信号などの入力信号８０１とどのようにインターフェースされるかを示す。ニューロン１は、ニューロン１が入力信号８０１に反応する方法を変えるであろうある特定の構成を有し、ここで、ニューロン構成は、構成信号ＣNを使用して設定され得る。入力信号８０１及びニューロン構成に応じて、ニューロン１は、ある特定の時空間スパイク列Ｓを出力するであろう。図７Ｂでは、入力信号８０２は、各々がある特定の方法で構成された複数のシナプス素子２Ａ、２Ｂからのシナプス出力信号の組み合わせであり、ここで、各シナプス素子の構成は、構成信号ＣSB、ＣSBを使用して設定され得る。シナプス素子２Ａ、２Ｂは、入力として、入力信号８０３又は別のニューロン８０４からの反復入力を有することができる。
【0101】
[00114]各ニューロン１は、そのニューロン１の正確な発火挙動を制御する構成パラメータＣのセットを有することができる。例えば、ニューロンは、発火閾値を用いて設計され得、発火閾値は、入力を受信した結果としてニューロン中に蓄積する電圧、エネルギー、又は他の変数の閾値を表し、ここで、ニューロンは、蓄積された変数が発火閾値を満たすか又は超えるときに出力スパイク（電圧、電流、又はエネルギースパイクなど）を生成する。ニューロンは、蓄積された変数に対する調整を決定するためにニューロンへの入力を積分する積分関数を実装し得る。加えて、ニューロンはまた、（ａ）ニューロン中の蓄積された変数が経時的に減衰するレートを表す漏出率、（ｂ）ニューロンへのいかなる入力信号もない場合に蓄積された変数が経時的に減衰するであろう値を表す蓄積された変数の静止値、（ｃ）ニューロン中の蓄積された変数の任意の増大又は減少を決定するために入力信号が積分される時間を表す積分時定数、（ｄ）ニューロンの発火直後のニューロン中の蓄積された変数の値を表す不応レベル、（ｅ）ニューロンの発火後にニューロン中の蓄積された変数が静止値まで上昇するために必要な時間期間を表す不応期間、で設計され得る。これらのパラメータは、各ニューロンについて事前決定され、及び／又は構成可能であり、及び／又は調整可能であり得る。例えば、臨界入力信号特徴のエネルギー量に一致するようにニューロンの発火閾値、漏出率、積分時定数、及び不応期間を調整することによって、ニューロン１は、その特徴を包含する入力信号で刺激されたときに、１つ以上の正確に時間指定されたスパイクを生成するであろう。
【0102】
[00115]図６に戻って参照すると、各入力符号化器段４０１1、・・・、４０１Nは、複数のスパイキングニューロン１を備え得る。入力符号化器段４０１1、・・・、４０１Nへの入力は、アナログ値又はデジタル値（例えば、入力パターンデータのアナログ－デジタル変換された値）であり得る。デジタル積分器でニューロンを使用するとき、ニューロンへの各入力信号のデジタル値は、ニューロンの積分器への直接入力として提供される。入力信号のビット幅（Ｂs）と積分器のビット幅（Ｂi）は、以下の例証的な方法のうちの１つ又は組み合わせによって一致される。
【0103】
[00116]第１の方法として、Ｂs＞Ｂiであるとき、デジタル入力の後続（Ｂs－Ｂi）ビットが破棄される。第２の方法として、デジタル入力は、Ｂi＞Ｂsであるとき、（Ｂi－Ｂs）後続「０」ビットでパディングされる。第３の方法として、デジタル入力は、Ｂn後続「０」ビットでパディングされるか、又はＢn後続ビットが破棄され、ここで、Ｂnは、デジタル入力の振幅が膜の電圧範囲内でシフトされることを可能にする構成可能なパラメータであり得る。このシフトはまた、サンプル値のパディングと切り捨てとの組み合わせを使用することによって、入力信号と積分器ビット幅とが一致するときに実現されることができる。
【0104】
[00117]アナログ積分器でニューロン１を使用するとき、デジタル値は、Ｂsシナプス素子２へのシナプス前入力として提供されることができ、そのシナプス後出力端子は、入力符号化器段４０１1、・・・、４０１Nのニューロン１に接続される。振幅シフトは、デジタルニューロンについて前述されたように、入力信号ベクトル（ビットのストリングを備える）をＢnビットだけパディング及び／又は切り捨てることによって実現されることができる。別の実施形態では、入力信号のアナログ値は、アナログ積分器への入力として直接提供されることができる。アナログ値は、ある時間期間にわたって積分器に提示されることができ、例えば、積分器に電荷を蓄積させる。適した閾値電圧を選択することによって、ニューロンの正確な発火時間を、アナログ入力信号値の振幅に反比例して変化させることができる（即ち、振幅がより高いほど、ニューロンはより早く発火する）。更に、適切に選択された感度閾値を有する複数のニューロン１を利用することによって、複雑なマルチレベルアナログ－スパイク変換器が実現されることができる。
【0105】
[00118]そのような実施形態では、データ変換器段２０１1，・・・，２０１Nが含まれ得、それは、入力パターン信号７１１1，・・・，７１１Nの提示されたアナログ電圧値を、例えば入力値間の距離と出力スパイク応答間の対応する距離とが比例する一意の等価スパイク表現に変換する。入力符号化器段４０１1，・・・，４０１Nは、次いで、データ変換段２０１1，・・・，２０１Nからのトランスコーディングされたスパイク応答において識別された特徴を一意の表現に符号化する。
【0106】
[00119]システム７００に供給された入力パターン信号７１１1、・・・、７１１Nは、変動するダイナミックレンジを有し得る：低いものもあれば、高いものもある。絶対ダイナミックレンジは、それ自体重要ではない場合があるが、異なる振幅の特徴間を区別する能力は、重要であり得る。その結果として、入力符号化器段４０１1、・・・、４０１Nの構成が、対象の全ての既知の特徴をもたらし、それらが生じるいずれの振幅においても、一意のスパイク表現に符号化されることを保証することが必要であり得、即ち、その意図は、対象の範囲中の１つよりも多くの振幅において一意のスパイク特性を取得することであり得る。
【0107】
[00120]その結果として、入力符号化器段４０１1，・・・，４０１Nは、任意の数の入力を接続し、入力パターン信号７１１1，・・・，７１１N中に存在する特徴を符号化する任意の数のスパイク列出力Ｐ1，・・・，ＰNを生成するニューロン１のグループを備え得、ここで、入力信号７１１1，・・・，７１１Nは、例えば、入力パターン信号の単一のサンプリングされたデータ点、又は入力パターン信号の空間的若しくは時間的若しくは時空間的な一連のサンプリングされたデータ点として定義されることができる。
【0108】
[00121]入力パターン信号中で検出されるべき特徴又はパターンは、例えば、単一のサンプリングされた入力データ点又はサンプリングされた入力データ点のセットの特定のコンテンツ、例えば、特定の時点における入力信号の振幅、バイナリ画像フレーム中のある特定のロケーションにおける「オン」ピクセルの存在、特定の時点における特定の入力信号属性の強度であり得る。
【0109】
[00122]検出されるべき特徴又はパターンはまた、入力信号を形成する一連のサンプリングされたデータ点におけるコンテンツの空間シーケンス、例えば、バイナリ画像中のオブジェクトのエッジに対応する「オン」ピクセル中に存在することができる。
【0110】
[00123]検出されるべき特徴又はパターンはまた、入力信号を形成する単一のデータ点の複数のサンプルにわたるコンテンツの時間シーケンス中、又はサンプリングされたデータ点の複数の空間シーケンスにわたるコンテンツの時間シーケンス中にあり得る。例えば、入力信号中の三角波パターンを特徴付ける、振幅の上昇シーケンスの後に続く振幅の下降シーケンス、又は経時的な物体の移動に対応する、入力信号を形成するビデオ画像の複数のフレームにわたる物体のエッジの変位。
【0111】
[00124]図６に示された実施形態に戻って参照すると、入力符号化器段４０１1，・・・，４０１Nによって生成されたスパイク列出力Ｐ1，・・・，ＰNは、最初に、上記で説明されたように、優先度バイアスモジュール４０２中で優先度バイアス方式に従ってオプションとして重み付けされ、次いで、図６に図示されたデータ融合段４０３中で融合される。結果として生じる時空間スパイク列７１２は、次いで、分類器段４０４によって受信され、分類器段４０４は、時空間スパイク列７１２を分類する。分類器段４０４は、トランスコーディングされた表現中に存在する最も強い時空間パターンを識別し、これを例えば特定の出力ニューロンと関連付けることができる。
【0112】
[00125]分類器の入力は、例えば、入力信号７１１1、・・・、７１１Nのただ１つのセットを有するシステムの場合、例えば、入力符号化器段からのスパイク列Ｐ1、・・・、ＰNのセット、又は、符号化され、その後、スパイク列７１２の代表セット中に融合される入力信号７１１1、・・・、７１１Nの複数のセットを有するシステムの場合、データ融合段４０３からのスパイク列７１２のセット、のうちのいずれかであり得る。図６では、分類器段４０４は、データ融合段４０３からその入力７１２を取得する。
【0113】
[00126] 分類器の出力７１３は、出力ポートＲ上の時空間スパイク列７１３の分類されたセットであり得、ここで、各スパイク列７１３は、分類器４０４中の単一の特定の出力ニューロンによって、又は複数の出力ニューロンによって生成されることができる。一意の応答原理に準拠する分類器の実施形態では、スパイクは、各一意の入力特徴又は入力パターン信号中の入力特徴の一意の組み合わせについて、別個の出力ニューロンによって生成されることができる。この実施形態では、対象の各パターンについてのスパイクタプルは、特定の時間間隔でスパイクし、少なくとも１つのスパイクを有する単一のニューロンから成る（即ち、Ａpは、パターンｐについての単位セットである）。出力ポートは、その結果として、少なくとも対象のパターンと同数のスパイク列を包含することができる。
【0114】
[00127]これを前述された重み構成目的に関して言い換えると、Ａを、既知の入力パターンに応答して出力スパイク列７１３を生成する分類器の出力ニューロンの一般的なセットとし、Ａpを、所与の既知の入力パターンｐに対して発火するニューロンを包含するＡのサブセットとし、Ａs＝｛Ａp｜ｐ∈Ｐ｝を、全てのＡpのスーパーセットとし、既知の入力パターンｐのセット中の全てのｐに対して、次に、上記が成り立つ分類器段４０４に対して：Ａs中の各Ａpは、単位セットになり、ｐ≠ｑであるＰ中の各ｑに対して、Ａp≠Ａqが成り立つ。
【0115】
[00128]次に、再び図６を参照すると、出力変換段５０１を備える論理ユニット５００は、分類器段４０４からの出力７１３（例えば、時空間スパイク列７１３のセット）を、例えば、例えば辞書６０１に記憶され、それから取り出されることができるデジタルコード７１４に変換することができる。
【0116】
[00129]分類器段４０４の出力は、このことから、時空間スパイク列７１３のセットであり得、１つ以上の特定のスパイク列７１３は、特定の特性を示し、このことから、例えば、入力パターン７１１1、・・・、７１１Nが特定のクラス又はラベルに属するものとして識別されることを可能にする。出力変換段５０１は、スパイク列特性を、辞書６０１に記憶され、それから取り出されることができるデジタルコード７１４に変換することによって、この識別プロセスを容易にすることができる。
【0117】
[00130]スパイク列中の特徴情報は、いくつかの形態、例えば、入力刺激が提示された経過時間期間中に分類器段４０４の出力ニューロン１が発火した母集団コード、入力刺激が提示されてから特定の時間期間内に分類器段４０４の出力ニューロン１が最初に発火した母集団時間コード、入力刺激が提示された経過時間期間中に分類器４０４の出力ニューロン１によっていくつのスパイクが生成されたかを記述する母集団レートコード、分類器段４０４の特定の出力ニューロン１が発火した正確な時間を記述する時間コード、最後に、分類器段４０４の特定の出力ニューロン１の発火率を記述するレートコード、で符号化され得る。
【0118】
[00131]空間及び時間スパイキング情報の組み合わせは、純粋に空間的な分類器４０４の出力よりも多くの詳細を提供することができる。例えば、入力パターン信号７１１1、・・・、７１１Nが２つの支配的な特徴Ｘ及びＹを包含し、一方が他方よりも強いと考える。２つの特徴の相対強度は、それらのそれぞれの分類段出力７１３の発火率を測定することによって決定されることができる。代替として、より強い特徴は、対応する出力ニューロン１の時間コードに基づいて、具体的にはどの出力ニューロン１がより早く発火したかを決定することによって、識別されることができる。
【0119】
[00132]出力変換段５０１は、分類器の出力ポート上のスパイクアクティビティを分析するための回路を包含することができる。回路は、例えば、ユーザ構成７１７に従って、アレイのニューロン１のスパイキング挙動に対してユーザが実行したい分析のタイプ、即ち、スパイキング母集団、正確なスパイクタイミング、発火率、及びそれらの組み合わせに基づいて起動される。
【0120】
[00133]コードタイプ母集団の場合、変換の方法は、ニューロンが入力パターン信号の印加に続いて現在の時間間隔中にスパイクしたかどうかを示すために、分類器段４０４の出力ニューロン毎に１つのレジスタを有することから成る。コードタイプ母集団の場合、変換の方法は、入力パターン信号の印加に続いて現在の時間間隔においてどのニューロンが最初にスパイクしたかを示すために、分類器段４０４の出力ニューロン毎に１つのレジスタを有することから成る。最も早いスパイクイベントが登録された後、他のレジスタは無効にされる。コードタイプ母集団レートの場合、変換の方法は、入力パターン信号の印加に続いて現在の時間間隔中に出力ニューロンによって生成されたスパイクの数をカウントするために、分類器段４０４の出力ニューロン毎にカウンタを有することから成る。非０のスパイクカウント値を有するカウンタも、母集団コードを示す。コードタイプ時間の場合、変換の方法は、入力パターン信号の印加から出力ニューロンがスパイクするまでに経過した時間を正確に測定するために、分類器段４０４の出力ニューロン毎に時間－デジタル変換器を有することから成る。最後に、コードタイプレートの場合、変換の方法は、入力パターン信号の印加に続いて現在の時間間隔中に出力ニューロンによって生成されたスパイクの数をカウントするために、分類器段４０４の出力ニューロン毎にカウンタを有することから成る。
【0121】
[00134]出力変換段５０１への入力は、分類器段４０４の全ての出力ニューロン１からのスパイクのベクトル７１３であり得、回路５０１からの出力７１４は、ユーザによって選択された出力コードのタイプに対応するデジタル値のセットであり得る。出力変換段５０１への入力７１３は、信号サンプルが有効である時間ウィンドウの持続時間中に提示されることができる。出力変換段５０１からの出力７１４は、時間ウィンドウの終わりに有効であり得、次の時間ウィンドウが始まる前にリセットされることができる。分類出力７１３は、入力パターン信号（１つ以上）７１１1、・・・、７１１N中のパターンの一意のフィンガープリントとして利用されることができる単一のハッシュコード又はハッシュコードのセットに変換されることができる。
【0122】
[00135]次に、再び図６を参照すると、ハッシュテーブル又は辞書ルックアップ機能６０１を備えるマイクロプロセッサ又は論理回路６００がデジタルコード７１４を取得し、その後、認識された特徴に対応するユーザ空間識別子を決定するためにハッシュテーブル又は辞書ルックアップ動作が実行されることができる。
【0123】
[00136]この動作は、分類器段４０４の出力をユーザ空間、即ち入力パターンのユーザ定義識別子に復号することを可能にする。構成段階中に、パターン認識装置４００は、サンプル特徴及びパターンで訓練され得、生成されたハッシュコードが記録されることができる。サンプルパターンは、例えば、ハッシュテーブル又は辞書６０１中に生成されたハッシュコードと共に記憶され得るユーザ定義識別子を割り当てられることができる。ランタイム時に、認識装置４００が信号中の特徴を認識するために使用されるとき、生成されたハッシュコードは、認識された特徴に対応するユーザ空間識別子を決定するために、ハッシュテーブル又は辞書ルックアップ動作において使用される。
【0124】
[00137]図６に示されたリセット生成器及びシーケンサ７１８は、例えば、新しいサンプリングウィンドウの開始時に、例えば、データ融合段４０３、分類器段４０４、及び出力変換段５０１のコンテンツをリセットすることができる。この動作は、ネットワーク４００から残留スパイクを除去し、以前のウィンドウの影響なしに次のサンプリングウィンドウが評価されることを可能にする。
【0125】
[00138]サンプリングウィンドウは、ウィンドウサイズに等しい深さの入力バッファとして実装されることができる。代替として、構成可能な仮想サンプリングウィンドウは、ネットワーク中でのスパイキング挙動を停止させ、出力段をリセットする周期的なリセット信号の使用を通じて実現されることができる。そのような方法におけるサンプリングウィンドウは、リセット信号と同じ期間を有することができる。サンプリングウィンドウを構成するとき、期間は、最長の既知の特徴を完全に収容するように十分に長くあるべきであるが、各ウィンドウの特徴コンテンツが最小化され、このことから特徴認識の精度を増大させるように十分に小さくあるべきである。サンプリングウィンドウの幅は、システム７００が検出することができる特徴の粒度に影響を与える可能性がある。一般に、サンプリングウィンドウ持続時間は、入力信号中に特徴が存在する時間スケールよりも大きくなければならず、サンプリングレートはナイキストレート以上であると言える。異なるタイムスケールにおける特徴は、複数の入力符号化器段４０１1、・・・、４０１N、又は単一の入力符号化器段４０１1、・・・、４０１Nの使用を通じて検出されることができる。サンプリングウィンドウの長さはまた、出力変換段５０１中で使用されるカウンタの幅に対して影響を及ぼす可能性がある。
【0126】
[00139]図８は、リセットパルスの生成の例を示す。クロック情報９０４は、アップカウンタ９０１の値を変える。サンプリング期間９０５に関する情報と共に、アップカウンタ９０１の値は、比較器９０２にサブミットされる。比較器９０２は、アップカウンタ９０１の値が依然としてサンプリング期間９０５内にあるかどうかをチェックする。もはやそうでない場合、比較器９０２は、信号をパルス発生器９０３に送り、パルス発生器９０３は、リセット信号９０６を図６の信号７１６としてアップカウンタ９０１とシステム７００内のそれぞれのモジュールとの両方に送る。
【0127】
[00140]同様に、リセット信号について、２つの連続するリセットパルス間の期間は、例えば、以下の公式に従うことができる：
ｔreset≧ｍａｘ（ｔfeature）＋ｍａｘ（ｔfallthrough）＋ｔoutput＋ｍａｘ（ｔlookup） （４）
ｔreset≧ｍａｘ（ｔfeature）＋ｍａｘ（ｔfallthrough）＋ｔoutput＋ｍａｘ（ｔlookup） （４）
【0128】
[00141]式（４）では、ｔfeatureは、特徴の持続時間であり、ｔfallthroughは、スパイク列が入力符号化器段から分類器段の出力に伝搬するためのフォールスルーレイテンシであり、ｔoutputは、ハッシュ又はハッシュのセットを生成するための出力変換段のレイテンシであり、ｔlookupは、ハッシュテーブル／辞書ルックアップ動作のための最悪のレイテンシである。
【0129】
[00142]リセットパルスの持続時間は、適切なコンポーネントのリセット回路をトリガするのに十分でなければならない。リセット中、ネットワーク４００中の全てのニューロン１の状態がリセットされ、即ち、例えば、膜電圧が静止状態に戻され、インターフェース信号がそれらの初期化状態（即ち、システムがプログラムされた後にそれらが有していた状態）にリセットされ、シナプス読み出し回路がリセットされ（重みが保持され）、飛行中のシナプス更新が放棄される。出力段５００では、ニューロン１における母集団及び発火率を追跡するカウンタ及びレジスタもリセットされることができる。リセットは、入力符号化器段４０１1、・・・、４０１Nに影響せず、サンプリングウィンドウ間の遷移中であってもスパイクに対する入力パターン信号７１１1、・・・、７１１Nの連続的な符号化を保証する。
【0130】
[00143]図９は、複数の異なる入力パターン信号の、スパイク列の単一の代表セットへの融合を実行し、その後、パターン／特徴を検出及び識別するためにこのスパイク列に対して自動信号認識を実行するための方法１０００を例示する。方法１０００は、開始点１０００Ｓにおいて開始する。
【0131】
[00144]第１のステップ１００１では、新しい信号サンプルが、１つ以上の入力符号化器段４０１1、・・・、４０１Nによって時空間スパイク列として符号化される。１つ以上の出力符号化器の出力は、時空間スパイク列Ｐ1，・・・，ＰNである。
【0132】
[00145]第２のステップ１００２では、スパイク列Ｐ1，・・・，ＰNは、優先度バイアスによる融合におけるそれらの重要度に従って重み付けされる。優先度バイアスモジュール４０２の出力は、重み付けされた異なる時空間スパイク列である。
【0133】
[00146]第３のステップ１００３では、異なる時空間スパイク列は、データ融合段４０３によって、個々の特徴サブ空間を包含するスパイク列７１２の代表セットに統合される。データ融合段の出力は、融合された時空間スパイク列７１２である。
【0134】
[00147]第４のステップ１００４では、分類器段４０４は、融合後スパイク列７１２中で、空間、時間、及びレート特徴を分類する。時間スパイク列は、このようにしてカテゴリ化される。
【0135】
[00148]第５のステップ１００５では、出力変換段５０１は、カテゴリ化されたスパイク列７１３を分類コード７１４に変換する。
【0136】
[00149]第６のステップ１００６では、方法は、新しいサンプリングウィンドウが開始するまで待機し得る。
【0137】
[00150]第７のステップでは、分類コード７１４に対応するパターン識別子７００のハッシュテーブル又は辞書６０１におけるルックアップ及び出力が実行される。
【0138】
[00151]最後に、第８のステップ１００８では、データ融合段４０３、分類器段４０４、及び出力変換段５０１がリセットされる。
【0139】
[00152]方法は、次いで、再び第１のステップ１００１から開始して繰り返されることができる。
【0140】
[00153]一般に、本明細書で説明されるシステム及び方法は、一意の刺激に応答して一意の時空間スパイク列を生成する手段としてスパイキングニューロン１のネットワークを使用し、ここで、応答の一意性は、スパイキングニューロン１及び相互接続ネットワークの動作パラメータを通じて制御可能である。システムは、構成可能なパラメータを有するシナプス素子２を通じて相互接続された、構成可能なパラメータを有するスパイキングニューロン１のアレイから成る。アレイを複数の異なるネットワークに仮想的に区分することによって、システムは、複数の機能を同時に実現することができる。
【0141】
[00154]例えば、１つのネットワークは、複数の異なるサンプリングされた入力信号を、入力信号の特徴空間を完全に符号化する時空間スパイク列の代表セットに変換することを実現し得る。
【0142】
[00155]第２の構成では、本発明は、複数の異なるサンプリングされた入力信号を、全ての入力信号の個々の特徴空間のスーパーセットである特徴空間を有する時空間スパイク列の単一の代表セットに変換することを実現し得る。
【0143】
[00156]第３の構成では、本発明は、ネットワークの一意性の適切な構成を通じて、時空間スパイク列の１つ以上の出力クラスへの分類を実現し得る。
【0144】
[00157]本発明のニューロン、シナプス素子、及び相互接続ネットワークの構成可能性は、同じアレイ中のニューロンの別個のグループ上の全て３つの構成を異なる組み合わせで同時に実現することを容易にする。シナプス素子は、構成可能なスイッチマトリクスとして機能する。
【0145】
[00158]実施形態によるスパイキングニューラルネットワーク１１００が図１０に示されており、ここで、ニューロンＮ０、・・・、Ｎ７は、構成可能なスイッチ１１０３を介して構成可能なシナプス素子２のアレイ１１０２から成る構成可能なスイッチマトリクスを通じて相互接続されたニューロン１１０１のアレイ中に配置される。
【0146】
[00159]入力信号１１０４は、シナプス素子２の重みに従ってシナプス素子１１０２のアレイを介してニューロンＮ０、・・・、Ｎ７に送信され得る。加えて、２つのニューロンＮ０、・・・、Ｎ７は、シナプス素子２の重み及び構成可能なスイッチ１１０３の接続トポロジに従って、シナプス素子１１０２のアレイ及び構成可能なスイッチ１１０３を介して相互接続され得る。入力信号１１０４をニューロンＮ０，・・・，Ｎ７に接続するか、又はニューロンＮ０，・・・，Ｎ７のペアを相互接続するシナプス素子２における正の重みは、シナプス後ニューロンＮ０，・・・，Ｎ７の興奮をもたらす。これらの接続シナプス素子２における負の重みは、シナプス後ニューロンＮ０、・・・、Ｎ７の抑制をもたらし、これらの接続シナプス素子２における０重みは、シナプス後ニューロンＮ０、・・・、Ｎ７への接続をもたらさない。
【0147】
[00160]ニューロンＮ０、・・・、Ｎ７及びシナプス素子２のための構成パラメータ、相互接続トポロジ、並びに出力段構成パラメータは、スパイキングニューラルネットワーク１１００が初期化状態に設定される度に構成メモリからロードされることができる。この動作により、ニューロンＮ０、・・・、Ｎ７が、ロードされた相互接続トポロジ及びシナプス重みに従って相互接続され、ニューロン及びシナプス素子パラメータが、関連するロードされた構成パラメータに従って初期化され、システムパラメータが、関連するロードされた構成パラメータに従って初期化され、出力辞書又はハッシュテーブルが、構成メモリ中に記憶されたエントリでポピュレートされる。
【0148】
[00161]入力信号１１０４は、シナプス素子２のサブセットにサブミットされ、ネットワーク１１００は、出力復号器に送られることができるある特定の出力１１０５を生成する。
【0149】
[00162]スパイキングニューラルネットワーク１１００は、ニューロンＮ０、・・・、Ｎ７及びシナプス素子２上への説明されたニューラルネットワーク段の実例的なマッピングを例示する、構成されたシナプスアレイ１２０２の例を示す図１１に示されているように実装され得る。
【0150】
[00163]入力符号化器段１２１１Ａ、１２１１Ｂ、データ融合段１２１２、及び分類器段１２１３は、スパイキングニューラルネットワーク１２００中に例示されるように実装されることができる。出力変換は、デジタル論理回路を使用して実施されることができ、ハッシュテーブル／辞書ルックアップ動作は、一実施形態では、スパイキングニューラルネットワークに付随するマイクロプロセッサ上で実行されるソフトウェアコードとして実施されることができ、別の実施形態では、デジタル論理回路を使用して実施されることができる。
【0151】
[00164]ネットワーク段１２１１Ａ、１２１１Ｂ、１２１２、１２１３の各々の基礎となる原理は同じであり、各段１２１１Ａ、１２１１Ｂ、１２１２、１２１３は、入力刺激が提示されると、その構成パラメータに従って一意の応答を生成する。入力符号化器段１２１１Ａ、１２１１Ｂの目的は、入力パターン信号１２０４Ａ、１２０４Ｂ中に存在する各一意の特徴に対する一意の応答を生成することであり得る。データ融合段１２１２の目的は、入力符号化器段１２１１Ａ、１２１１Ｂからの入力スパイク列の各一意の組み合わせに対する一意の応答を生成することであり得る。分類器段１２１３の目的は、各一意の特徴又は特徴の組み合わせに対する一意の分類応答を生成することであり得る。
【0152】
[00165]１つ以上の実施形態は、コンピュータシステムと共に使用するためのコンピュータプログラム製品として実装され得る。プログラム製品のプログラム（１つ以上）は、実施形態の機能（本明細書で説明される方法を含む）を定義し得、様々なコンピュータ可読記憶媒体上に包含されることができる。コンピュータ可読記憶媒体は、非一時的記憶媒体であり得る。例示的なコンピュータ可読記憶媒体は、（ｉ）情報が永久的に記憶され得る書込み不能記憶媒体（例えば、ＣＤ－ＲＯＭドライブによって可読なＣＤ－ＲＯＭディスク、ＲＯＭチップ、又は任意のタイプのソリッドステート不揮発性半導体メモリなどのコンピュータ内の読み出し専用メモリデバイス）、及び（ｉｉ）変更可能な情報が記憶され得る書込み可能記憶媒体、例えば、ハードディスクドライブ又は任意のタイプのソリッドステートランダムアクセス半導体メモリ、フラッシュメモリを含むが、それらに限定されない。
【0153】
[00166]上記の実施形態のうちの２つ以上は、任意の適切な形で組み合わされ得る。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［Ｃ１］
入力パターン信号を分類するためのスパイキングニューラルネットワークであって、ハードウェア又はハードウェアとソフトウェアとの組み合わせにおいて実装された複数のスパイキングニューロンと、前記ネットワークを形成するために前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、前記シナプス入力信号に重みを印加して、シナプス出力信号を生成するように適合され、前記シナプス素子は、各シナプス素子によって印加された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子のうちの１つ以上から前記シナプス出力信号のうちの１つ以上を受信し、前記受信された１つ以上のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適合され、
前記スパイキングニューラルネットワークは、前記シナプス素子の第１のサブセットからシナプス出力信号を受信するために接続された前記スパイキングニューロンの第１のサブセットを備える第１のサブネットワークを備え、
前記第１のサブネットワークは、シナプス素子の前記第１のサブセットに印加されたサブネットワーク入力パターン信号に応答して、スパイキングニューロンの前記第１のサブセットからサブネットワーク出力パターン信号を生成するように適合され、
シナプス素子の前記第１のサブセットの前記重みは、前記サブネットワーク出力パターン信号が訓練セットの一意のサブネットワーク入力パターン信号毎に異なるように、サブネットワーク入力パターン信号の前記訓練セット上で前記サブネットワークを訓練することによって構成される、スパイキングニューラルネットワーク。
［Ｃ２］
各異なるサブネットワーク出力パターン信号間の距離は、所定の閾値よりも大きく、前記距離は、出力パターンメトリックによって測定される、Ｃ１に記載のスパイキングニューラルネットワーク。
［Ｃ３］
前記スパイキングニューロン及びシナプス素子は、２つのそれぞれの異なるサブネットワーク入力パターン信号に応答して生成された前記サブネットワークの２つの出力パターン信号間の、出力パターンメトリックによって測定されたそれぞれの距離が前記訓練セットの全てのサブネットワーク入力パターン信号に対して最大化されるように構成される、Ｃ１又は２に記載のスパイキングニューラルネットワーク。
［Ｃ４］
各それぞれの距離は、前記出力パターン信号が前記入力パターン信号の特徴間を区別するために必要とされる少なくとも第１の最小感度閾値を満たすまで最大化される、Ｃ３に記載のスパイキングニューラルネットワーク。
［Ｃ５］
前記スパイキングニューロンの各々は、前記ニューロンの応答を前記受信された１つ以上のシナプス出力信号に合うように調整するように構成可能である、Ｃ１～４のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ６］
スパイクは、１つ以上の発火時間に前記スパイキングニューロンによって生成され、シナプス素子の前記サブセット及び／又はニューロンの前記サブセットは、２つの異なるサブネットワーク入力パターン信号に対して発火するニューロンの前記サブセットの発火時間の２つのセットの和集合が前記訓練セットの全てのサブネットワーク入力パターン信号に対して最小化されるように構成される、Ｃ１～５のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ７］
各和集合は、前記出力パターン信号が前記入力パターン信号の特徴間を区別するために必要とされる少なくとも第２の最小感度閾値を満たすまで最小化される、Ｃ６に記載のスパイキングニューラルネットワーク。
［Ｃ８］
前記ネットワークは、前記シナプス素子の第２のサブセットからシナプス出力を受信するために接続された前記スパイキングニューロンの第２のサブセットを備える第２のサブネットワークを備え、
前記第２のサブネットワークは、シナプス素子の前記第２のサブセットに印加された第２のサブネットワーク入力パターン信号を受信し、ニューロンの前記第２のサブセットから対応する第２のサブネットワーク出力パターン信号を生成するように適合され、
シナプス素子の前記第２のサブセットの構成は、前記第２のサブネットワーク出力パターン信号が前記第２のサブネットワーク入力パターン信号中の一意の特徴毎に異なるように調整され、
前記ネットワークは、前記シナプス素子の第３のサブセットからシナプス出力を受信するために接続された前記スパイキングニューロンの第３のサブセットを備える第３のサブネットワークを備え、
前記第１及び第２のサブネットワーク出力パターン信号は、前記第３のサブネットワークの入力パターン信号であり、
シナプス素子の前記第３のサブセットの構成は、前記第３のサブネットワーク出力パターン信号が前記第１及び第２のサブネットワークの両方からの前記入力パターン信号中の一意の特徴、並びにそれらの一意の組み合わせ毎に異なるように調整され、そのため、前記第１及び第２のサブネットワークの両方からの前記入力パターン信号中に存在する前記特徴は、前記第３のサブネットワークによって符号化される、Ｃ１～７のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ９］
前記第３のサブネットワークの前記シナプス素子は、前記第１及び第２のサブネットワークからの前記入力パターン信号が特定の入力パターンの重要性に従って重み付けされるように構成される、Ｃ６に記載のスパイキングニューラルネットワーク。
［Ｃ１０］
前記ネットワークは、シナプス素子及びスパイキングニューロンの複数のサブネットワークを備え、それについて、前記サブネットワーク出力パターン信号は、前記サブネットワーク入力パターン信号中の一意の特徴毎に異なり、
前記ネットワークは、前記ネットワーク中で特定のシーケンシャルな順序を有する複数の層に分割されることができ、
前記複数のサブネットワークは、各それぞれのサブネットワークが属する前記複数の層の前記特定のシーケンシャルな順序でインスタンス化される、Ｃ１～９のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１１］
前記シナプス素子は、構成可能なスイッチマトリクスとして配置される、Ｃ１～１０のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１２］
前記ニューロン、シナプス素子の構成情報、前記ニューロン及びシナプス素子の相互接続トポロジ、並びに／又は前記ニューラルネットワークの出力構成は、構成メモリ上に保存され、
前記構成情報は、前記ニューラルネットワークが初期化状態にされたときに前記構成メモリからロードされる、Ｃ１～１１のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１３］
ニューロンのセットは、ニューロンの１つ以上の複数のテンプレートネットワーク中に配置され、ニューロンの特定のテンプレートネットワークの前記ニューロンは、前記ニューラルネットワークのサブネットワークを形成し、
前記サブネットワーク出力パターン信号は、前記サブネットワーク入力パターン信号中の一意の特徴毎に異なり、
前記ニューラルネットワーク中の各テンプレートネットワークは、事前訓練された形でインスタンス化された、Ｃ１～１２のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１４］
前記ニューラルネットワークは、入力として１つ以上のサンプリングされた入力信号を取り、前記入力信号をニューラルネットワーク入力パターン信号の代表セットに変換するように構成される、Ｃ１～１３のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１５］
前記ニューラルネットワークの出力パターン信号は、１つ以上の出力クラスに分類される、Ｃ１～１４のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１６］
ハードウェア又はハードウェアとソフトウェアとの組み合わせにおいて実装された複数のスパイキングニューロンと、前記ネットワークを形成するために前記スパイキングニューロンを相互接続する複数のシナプス素子とを備えるスパイキングニューラルネットワークを使用して入力パターン信号を分類するための方法であって、
前記シナプス素子の各々は、シナプス入力信号を受信し、前記シナプス入力信号に重みを印加して、シナプス出力信号を生成するように適合され、前記シナプス素子は、各シナプス素子によって印加された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子のうちの１つ以上から前記シナプス出力信号のうちの１つ以上を受信し、前記受信された１つ以上のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適合され、
前記方法は、
前記スパイキングニューラルネットワークの第１のサブネットワークを定義することと、前記第１のサブネットワークは、前記シナプス素子の第１のサブセットからシナプス出力信号を受信するために接続された前記スパイキングニューロンの第１のサブセットを備える、
前記サブネットワーク出力パターン信号が訓練セットの一意のサブネットワーク入力パターン信号毎に異なるように、サブネットワーク入力パターン信号の前記訓練セット上で前記サブネットワークを訓練することによってシナプス素子の前記第１のサブセットの前記重みを構成することと、
前記スパイキングニューラルネットワークの第１のサブネットワークにサブネットワーク入力パターン信号を印加することと、前記第１のサブネットワークは、前記シナプス素子の第１のサブセットからシナプス出力信号を受信するために接続された前記スパイキングニューロンの第１のサブセットを備える、
前記サブネットワーク入力パターン信号に応答してスパイキングニューロンの前記第１のサブセットによって生成されたサブネットワーク出力パターン信号を受信することと、ここにおいて、前記出力パターン信号は、前記入力パターン信号の１つ以上の特徴を識別する、
を備える、方法。
［Ｃ１７］
入力信号中の所定の特徴の分類の方法であって、前記方法は、
Ｃ１４及びＣ１５に記載のニューラルネットワークを構築及び訓練することと、
前記ニューラルネットワークに少なくとも１つのサンプリングされた入力信号をサブミットすることと、
前記ニューラルネットワークの１つ以上の出力クラスに、少なくとも１つのサンプリングされた入力信号中の前記特徴を分類することと、
備える、方法。
［Ｃ１８］
スパイキングニューラルネットワークのサブネットワークとして使用するためのスパイキングニューロンの１つ以上のテンプレートネットワーク又はその構成に関する情報を備えるテンプレートライブラリであって、
各テンプレートネットワークは、前記シナプス素子のセットからシナプス出力を受信するために接続された前記スパイキングニューロンのセットを備え、
各テンプレートネットワークは、シナプス素子の前記セットに印加されたテンプレートネットワーク入力パターン信号を受信し、ニューロンの前記セットから対応するテンプレートネットワーク出力パターン信号を生成するように適合され、
シナプス素子の前記セットの構成は、前記テンプレートネットワーク出力パターン信号が訓練セットの一意のテンプレートネットワーク入力パターン信号毎に異なるように、テンプレートネットワーク入力パターン信号の前記訓練セット上で前記テンプレートネットワークを訓練することによって調整され、
前記訓練セットは、特定のタスクを実行するために前記テンプレートネットワークを訓練するために使用され、
そのため、各テンプレートネットワークは、前記特定のタスクを実行するために事前訓練された形でスパイキングニューラルネットワークのサブネットワークとして使用されることができるか、又はそのため、前記スパイキングニューラルネットワークの前記サブネットワークは、前記特定のタスクを実行するために事前訓練された形で前記テンプレートネットワークの構成に関する前記情報に基づいてインスタンス化されることができる、テンプレートライブラリ。
［Ｃ１９］
スパイキングニューラルネットワークを構成する方法であって、前記方法は、
Ｃ１７に記載のテンプレートライブラリから１つ以上のテンプレートネットワーク又は１つ以上のテンプレートネットワークの構成に関する情報を取得することと、
前記テンプレートネットワークが実行するために事前訓練された前記特定のタスクを前記スパイキングニューラルネットワークのサブネットワークが実行することが可能であるように、前記スパイキングニューラルネットワークの前記サブネットワークとして前記１つ以上のテンプレートネットワークをインスタンス化することと、
を備える、方法。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［Ｃ１］
入力パターン信号を分類するためのスパイキングニューラルネットワークであって、ハードウェア又はハードウェアとソフトウェアとの組み合わせにおいて実装された複数のスパイキングニューロンと、前記ネットワークを形成するために前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、前記シナプス入力信号に重みを印加して、シナプス出力信号を生成するように適合され、前記シナプス素子は、各シナプス素子によって印加された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子のうちの１つ以上から前記シナプス出力信号のうちの１つ以上を受信し、前記受信された１つ以上のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適合され、
前記スパイキングニューラルネットワークは、前記シナプス素子の第１のサブセットからシナプス出力信号を受信するために接続された前記スパイキングニューロンの第１のサブセットを備える第１のサブネットワークを備え、
前記第１のサブネットワークは、シナプス素子の前記第１のサブセットに印加されたサブネットワーク入力パターン信号に応答して、スパイキングニューロンの前記第１のサブセットからサブネットワーク出力パターン信号を生成するように適合され、
シナプス素子の前記第１のサブセットの前記重みは、前記サブネットワーク出力パターン信号が訓練セットの一意のサブネットワーク入力パターン信号毎に異なるように、サブネットワーク入力パターン信号の前記訓練セット上で前記サブネットワークを訓練することによって構成される、スパイキングニューラルネットワーク。
［Ｃ２］
各異なるサブネットワーク出力パターン信号間の距離は、所定の閾値よりも大きく、前記距離は、出力パターンメトリックによって測定される、Ｃ１に記載のスパイキングニューラルネットワーク。
［Ｃ３］
前記スパイキングニューロン及びシナプス素子は、２つのそれぞれの異なるサブネットワーク入力パターン信号に応答して生成された前記サブネットワークの２つの出力パターン信号間の、出力パターンメトリックによって測定されたそれぞれの距離が前記訓練セットの全てのサブネットワーク入力パターン信号に対して最大化されるように構成される、Ｃ１又は２に記載のスパイキングニューラルネットワーク。
［Ｃ４］
各それぞれの距離は、前記出力パターン信号が前記入力パターン信号の特徴間を区別するために必要とされる少なくとも第１の最小感度閾値を満たすまで最大化される、Ｃ３に記載のスパイキングニューラルネットワーク。
［Ｃ５］
前記スパイキングニューロンの各々は、前記ニューロンの応答を前記受信された１つ以上のシナプス出力信号に合うように調整するように構成可能である、Ｃ１～４のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ６］
スパイクは、１つ以上の発火時間に前記スパイキングニューロンによって生成され、シナプス素子の前記サブセット及び／又はニューロンの前記サブセットは、２つの異なるサブネットワーク入力パターン信号に対して発火するニューロンの前記サブセットの発火時間の２つのセットの和集合が前記訓練セットの全てのサブネットワーク入力パターン信号に対して最小化されるように構成される、Ｃ１～５のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ７］
各和集合は、前記出力パターン信号が前記入力パターン信号の特徴間を区別するために必要とされる少なくとも第２の最小感度閾値を満たすまで最小化される、Ｃ６に記載のスパイキングニューラルネットワーク。
［Ｃ８］
前記ネットワークは、前記シナプス素子の第２のサブセットからシナプス出力を受信するために接続された前記スパイキングニューロンの第２のサブセットを備える第２のサブネットワークを備え、
前記第２のサブネットワークは、シナプス素子の前記第２のサブセットに印加された第２のサブネットワーク入力パターン信号を受信し、ニューロンの前記第２のサブセットから対応する第２のサブネットワーク出力パターン信号を生成するように適合され、
シナプス素子の前記第２のサブセットの構成は、前記第２のサブネットワーク出力パターン信号が前記第２のサブネットワーク入力パターン信号中の一意の特徴毎に異なるように調整され、
前記ネットワークは、前記シナプス素子の第３のサブセットからシナプス出力を受信するために接続された前記スパイキングニューロンの第３のサブセットを備える第３のサブネットワークを備え、
前記第１及び第２のサブネットワーク出力パターン信号は、前記第３のサブネットワークの入力パターン信号であり、
シナプス素子の前記第３のサブセットの構成は、前記第３のサブネットワーク出力パターン信号が前記第１及び第２のサブネットワークの両方からの前記入力パターン信号中の一意の特徴、並びにそれらの一意の組み合わせ毎に異なるように調整され、そのため、前記第１及び第２のサブネットワークの両方からの前記入力パターン信号中に存在する前記特徴は、前記第３のサブネットワークによって符号化される、Ｃ１～７のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ９］
前記第３のサブネットワークの前記シナプス素子は、前記第１及び第２のサブネットワークからの前記入力パターン信号が特定の入力パターンの重要性に従って重み付けされるように構成される、Ｃ６に記載のスパイキングニューラルネットワーク。
［Ｃ１０］
前記ネットワークは、シナプス素子及びスパイキングニューロンの複数のサブネットワークを備え、それについて、前記サブネットワーク出力パターン信号は、前記サブネットワーク入力パターン信号中の一意の特徴毎に異なり、
前記ネットワークは、前記ネットワーク中で特定のシーケンシャルな順序を有する複数の層に分割されることができ、
前記複数のサブネットワークは、各それぞれのサブネットワークが属する前記複数の層の前記特定のシーケンシャルな順序でインスタンス化される、Ｃ１～９のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１１］
前記シナプス素子は、構成可能なスイッチマトリクスとして配置される、Ｃ１～１０のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１２］
前記ニューロン、シナプス素子の構成情報、前記ニューロン及びシナプス素子の相互接続トポロジ、並びに／又は前記ニューラルネットワークの出力構成は、構成メモリ上に保存され、
前記構成情報は、前記ニューラルネットワークが初期化状態にされたときに前記構成メモリからロードされる、Ｃ１～１１のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１３］
ニューロンのセットは、ニューロンの１つ以上の複数のテンプレートネットワーク中に配置され、ニューロンの特定のテンプレートネットワークの前記ニューロンは、前記ニューラルネットワークのサブネットワークを形成し、
前記サブネットワーク出力パターン信号は、前記サブネットワーク入力パターン信号中の一意の特徴毎に異なり、
前記ニューラルネットワーク中の各テンプレートネットワークは、事前訓練された形でインスタンス化された、Ｃ１～１２のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１４］
前記ニューラルネットワークは、入力として１つ以上のサンプリングされた入力信号を取り、前記入力信号をニューラルネットワーク入力パターン信号の代表セットに変換するように構成される、Ｃ１～１３のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１５］
前記ニューラルネットワークの出力パターン信号は、１つ以上の出力クラスに分類される、Ｃ１～１４のうちのいずれか一項に記載のスパイキングニューラルネットワーク。
［Ｃ１６］
ハードウェア又はハードウェアとソフトウェアとの組み合わせにおいて実装された複数のスパイキングニューロンと、前記ネットワークを形成するために前記スパイキングニューロンを相互接続する複数のシナプス素子とを備えるスパイキングニューラルネットワークを使用して入力パターン信号を分類するための方法であって、
前記シナプス素子の各々は、シナプス入力信号を受信し、前記シナプス入力信号に重みを印加して、シナプス出力信号を生成するように適合され、前記シナプス素子は、各シナプス素子によって印加された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子のうちの１つ以上から前記シナプス出力信号のうちの１つ以上を受信し、前記受信された１つ以上のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適合され、
前記方法は、
前記スパイキングニューラルネットワークの第１のサブネットワークを定義することと、前記第１のサブネットワークは、前記シナプス素子の第１のサブセットからシナプス出力信号を受信するために接続された前記スパイキングニューロンの第１のサブセットを備える、
前記サブネットワーク出力パターン信号が訓練セットの一意のサブネットワーク入力パターン信号毎に異なるように、サブネットワーク入力パターン信号の前記訓練セット上で前記サブネットワークを訓練することによってシナプス素子の前記第１のサブセットの前記重みを構成することと、
前記スパイキングニューラルネットワークの第１のサブネットワークにサブネットワーク入力パターン信号を印加することと、前記第１のサブネットワークは、前記シナプス素子の第１のサブセットからシナプス出力信号を受信するために接続された前記スパイキングニューロンの第１のサブセットを備える、
前記サブネットワーク入力パターン信号に応答してスパイキングニューロンの前記第１のサブセットによって生成されたサブネットワーク出力パターン信号を受信することと、ここにおいて、前記出力パターン信号は、前記入力パターン信号の１つ以上の特徴を識別する、
を備える、方法。
［Ｃ１７］
入力信号中の所定の特徴の分類の方法であって、前記方法は、
Ｃ１４及びＣ１５に記載のニューラルネットワークを構築及び訓練することと、
前記ニューラルネットワークに少なくとも１つのサンプリングされた入力信号をサブミットすることと、
前記ニューラルネットワークの１つ以上の出力クラスに、少なくとも１つのサンプリングされた入力信号中の前記特徴を分類することと、
備える、方法。
［Ｃ１８］
スパイキングニューラルネットワークのサブネットワークとして使用するためのスパイキングニューロンの１つ以上のテンプレートネットワーク又はその構成に関する情報を備えるテンプレートライブラリであって、
各テンプレートネットワークは、前記シナプス素子のセットからシナプス出力を受信するために接続された前記スパイキングニューロンのセットを備え、
各テンプレートネットワークは、シナプス素子の前記セットに印加されたテンプレートネットワーク入力パターン信号を受信し、ニューロンの前記セットから対応するテンプレートネットワーク出力パターン信号を生成するように適合され、
シナプス素子の前記セットの構成は、前記テンプレートネットワーク出力パターン信号が訓練セットの一意のテンプレートネットワーク入力パターン信号毎に異なるように、テンプレートネットワーク入力パターン信号の前記訓練セット上で前記テンプレートネットワークを訓練することによって調整され、
前記訓練セットは、特定のタスクを実行するために前記テンプレートネットワークを訓練するために使用され、
そのため、各テンプレートネットワークは、前記特定のタスクを実行するために事前訓練された形でスパイキングニューラルネットワークのサブネットワークとして使用されることができるか、又はそのため、前記スパイキングニューラルネットワークの前記サブネットワークは、前記特定のタスクを実行するために事前訓練された形で前記テンプレートネットワークの構成に関する前記情報に基づいてインスタンス化されることができる、テンプレートライブラリ。
［Ｃ１９］
スパイキングニューラルネットワークを構成する方法であって、前記方法は、
Ｃ１７に記載のテンプレートライブラリから１つ以上のテンプレートネットワーク又は１つ以上のテンプレートネットワークの構成に関する情報を取得することと、
前記テンプレートネットワークが実行するために事前訓練された前記特定のタスクを前記スパイキングニューラルネットワークのサブネットワークが実行することが可能であるように、前記スパイキングニューラルネットワークの前記サブネットワークとして前記１つ以上のテンプレートネットワークをインスタンス化することと、
を備える、方法。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】