知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-13
(54)【発明の名称】過渡同期性によるＳＮＮの適応
(51)【国際特許分類】
G06N 3/049 20230101AFI20231005BHJP
【ＦＩ】
G06N3/049
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023519512
(86)(22)【出願日】2021-10-04
(85)【翻訳文提出日】2023-03-28
(86)【国際出願番号】 EP2021077323
(87)【国際公開番号】W WO2022073946
(87)【国際公開日】2022-04-14
(31)【優先権主張番号】63/087,384
(32)【優先日】2020-10-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521211620
【氏名又は名称】インナテラ・ナノシステムズ・ビー．ブイ．
【氏名又は名称原語表記】ＩＮＮＡＴＥＲＡ ＮＡＮＯＳＹＳＴＥＭＳ Ｂ．Ｖ．
【住所又は居所原語表記】Ｐａｔｒｉｊｓｗｅｇ ２０，２２８９ ＥＸ，ＲＩＪＳＷＩＪＫ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ジャヨ、アミール
(72)【発明者】
【氏名】クマール、スミート・スシェール
(57)【要約】
本発明は、スパイキングニューラルネットワークを構成するための方法に関する。スパイキングニューラルネットワークは、複数のスパイキングニューロンと、ハードウェアにおいて少なくとも部分的に実装されるネットワークを形成するようにスパイキングニューロンを相互接続する複数のシナプス要素とを備える。シナプス要素のそれぞれは、シナプス入力信号を受信するように適合されており、シナプス出力信号を生成するために、重みをシナプス入力信号に適用するように適合されており、シナプス要素は、シナプス要素のそれぞれによって適用された重みを調整するように構成可能である。スパイキングニューロンのそれぞれは、シナプス出力信号のうちの１つ以上をシナプス要素のうちの１つ以上から受信するように適合されており、受信された１つ以上のシナプス出力信号に応答して、時空間スパイク列出力信号を生成するように適合されている。ネットワーク内の応答ローカルクラスタは、スパイキングニューロンのセットと、スパイキングニューロンのセットを相互接続する複数のシナプス要素とを備える。方法は、応答ローカルクラスタ内のシナプス要素の重み及びスパイキングニューロンのスパイキング挙動を設定することであって、これにより、応答ローカルクラスタへの入力信号が、周波数領域において表されたときの所定の振動周波数を含むときに、応答ローカルクラスタ内のネットワーク状態は、周期定常状態であり、これにより、応答ローカルクラスタ内のネットワーク状態は、所定の振動周波数で周期的である、設定することを含む。
【特許請求の範囲】
【請求項1】
スパイキングニューラルネットワークを構成するための方法であって、前記スパイキングニューラルネットワークは、複数のスパイキングニューロンと、ハードウェアにおいて少なくとも部分的に実装される前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス要素とを備え、
前記シナプス要素のそれぞれは、シナプス入力信号を受信するように適合されており、シナプス出力信号を生成するために、重みを前記シナプス入力信号に適用するように適合されており、前記シナプス要素は、前記シナプス要素のそれぞれによって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンのそれぞれは、前記シナプス出力信号のうちの１つ以上を前記シナプス要素のうちの１つ以上から受信するように適合されており、前記受信された１つ以上のシナプス出力信号に応答して、時空間スパイク列出力信号を生成するように適合されており、
前記ネットワーク内の応答ローカルクラスタは、前記スパイキングニューロンのセットと、前記スパイキングニューロンの前記セットを相互接続する複数のシナプス要素とを備え、
前記方法は、
前記応答ローカルクラスタ内の前記シナプス要素の前記重み及び前記スパイキングニューロンの前記スパイキング挙動を設定することであって、これにより、前記応答ローカルクラスタへの入力信号が、前記周波数領域において表されたときの所定の振動周波数を含むときに、前記応答ローカルクラスタ内の前記ネットワーク状態は、周期定常状態であり、これにより、前記応答ローカルクラスタ内の前記ネットワーク状態は、前記所定の振動周波数で周期的である、設定すること
を含む、方法。
【請求項2】
前記応答ローカルクラスタ内の前記シナプス要素の前記重み及び前記スパイキングニューロンの前記スパイキング挙動を前記設定することは、前記必要とされる周期定常状態挙動が達せられるように、前記シナプス要素の重み及び前記スパイキングニューロンの前記スパイキング挙動を最適化することによって、前記応答ローカルクラスタを反復訓練することを含む、請求項１に記載のスパイキングニューラルネットワークを構成するための方法。
【請求項3】
前記応答ローカルクラスタへの入力信号が前記所定の振動周波数を含むときに、前記応答ローカルクラスタ内のニューロンの前記セットの確率分布活動又は統計パラメータは、前記所定の振動周波数で周期定常である、請求項１又は２に記載のスパイキングニューラルネットワークを構成するための方法。
【請求項4】
前記周期定常状態は、前記方程式【数1】
式中、Ｔは、前記所定の期間であり、Φ（ｔ，τ）は、前記応答ローカルクラスタ内の全てのニューロンの前記シナプス駆動Γ（ｔ）の前記状態遷移行列であり、Ｆ（ｔ）は、前記式
【数2】
Ｋ（ｔ）は、前記シナプス駆動Γ（ｔ）の前記自己相関関数であり、このうち、Ｋ０は、前記初期条件である、請求項１～３のいずれか一項に記載のスパイキングニューラルネットワークを構成するための方法。
【請求項5】
前記スパイキングニューラルネットワークは、駆動ローカルクラスタを備え、前記駆動ローカルクラスタは、前記スパイキングニューロンのセットと、前記スパイキングニューロンの前記セットを相互接続する複数のシナプス要素とを備え、これにより、前記駆動ローカルクラスタの出力信号は、前記応答ローカルクラスタへの入力信号として機能し、これにより、前記駆動ローカルクラスタ及び前記応答ローカルクラスタは、特定の結合強度で結合されており、前記方法は、前記駆動ローカルクラスタから前記応答ローカルクラスタへの入力信号が、前記周波数領域において表されたときの前記所定の振動周波数を含まないときに、又は前記特定の結合強度が、所定の結合強度よりも小さいときに、前記応答ローカルクラスタ内の前記ネットワーク状態を、定常状態及び／又は時変状態を有するように設定することを更に含む、請求項１～４のいずれか一項に記載のスパイキングニューラルネットワークを構成するための方法。
【請求項6】
前記応答ローカルクラスタ内の前記シナプス要素の前記重み及び前記スパイキングニューロンの前記スパイキング挙動を前記設定することは、前記必要とされる定常状態挙動及び／又は時変挙動が達せられるように、前記シナプス要素の重み及び前記スパイキングニューロンの前記スパイキング挙動を最適化することによって、前記応答ローカルクラスタを反復訓練することを含む、請求項５に記載のスパイキングニューラルネットワークを構成するための方法。
【請求項7】
前記応答ローカルクラスタが、前記周波数領域において表されたときの前記所定の振動周波数を含まない入力信号を前記駆動ローカルクラスタから受信したときに、又は前記特定の結合強度が、前記所定の結合強度よりも小さいときに、前記応答ローカルクラスタ内のニューロンの前記セットの確率分布活動又は統計パラメータは、定常又は非定常である、請求項５又は６に記載のスパイキングニューラルネットワークを構成するための方法。
【請求項8】
前記定常状態は、前記方程式【数3】
式中、Ｋ（ｔ）∝は、前記シナプス駆動Γ（ｔ）の前記自己相関関数Ｋ（ｔ）の前記定常状態値であり、Ｆ（ｔ）は、前記式
【数4】
式中、Φ（ｔ，τ）は、前記応答ローカルクラスタ内の全てのニューロンの前記シナプス駆動Γ（ｔ）の前記状態遷移行列であり、ｄωは、無限小確率的変化であり、Ｅ（ｔ）は、
【数5】
前記時変状態は、前記行列方程式
【数6】
前記行列方程式は、前記微分リアプノフ行列方程式
【数7】
【請求項9】
前記応答ローカルクラスタの構造次元数における増加は、前記駆動ローカルクラスタと前記応答ローカルクラスタとの間の一般化外部同期を確実にすることによって実現され、一般化外部同期は、前記所定の結合強度以上である前記特定の結合強度による前記応答ローカルクラスタへの前記駆動ローカルクラスタの前記結合である、請求項５～８のいずれか一項に記載のスパイキングニューラルネットワークを構成するための方法。
【請求項10】
前記一般化外部同期は、前記シナプス駆動Γ（ｔ）の前記平均自己相関関数１／Ｎ×｛Σ Ｅ［Γ（ｔ＋τ／２）Γ（ｔ－τ／２）Ｔ］｝に基づいて確実にされ、式中、τは、前記遅延であり、Ｎは、前記応答ローカルクラスタ内のニューロンの数であり、前記平均は、前記ニューロン集団にわたる、請求項９に記載のスパイキングニューラルネットワークを構成するための方法。
【請求項11】
前記定常状態数値解、時変数値解、及び／又は周期定常状態解は、前記ニューロンのニューロン活動の前記同期をもたらす前記応答ローカルクラスタ内の前記ニューロン間のフィードバック結合を使用することによって得られる、請求項１～１０のいずれか一項に記載のスパイキングニューラルネットワークを構成するための方法。
【請求項12】
前記周波数領域において表現可能な入力信号を処理するためのスパイキングニューラルネットワークであって、複数のスパイキングニューロンと、ハードウェアにおいて少なくとも部分的に実装される前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス要素とを備えるスパイキングニューラルネットワークにおいて、前記シナプス要素のそれぞれは、シナプス入力信号を受信するように適合されており、シナプス出力信号を生成するために、重みを前記シナプス入力信号に適用するように適合されており、前記シナプス要素は、前記シナプス要素のそれぞれによって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンのそれぞれは、前記シナプス出力信号のうちの１つ以上を前記シナプス要素のうちの１つ以上から受信するように適合されており、前記受信された１つ以上のシナプス入力信号に応答して、時空間スパイク列出力信号を生成するように適合されており、
前記ネットワーク内の応答ローカルクラスタは、前記スパイキングニューロンのセットと、ニューロンの前記セットを相互接続する複数のシナプス要素とを備え、
前記応答ローカルクラスタへの入力信号が、前記周波数領域において表されたときの所定の第１の振動周波数を含むときに、前記ローカルクラスタ内のニューロンの前記セットの確率分布活動又は統計パラメータは、前記所定の第１の振動周波数で周期定常である、スパイキングニューラルネットワーク。
【請求項13】
周期定常である、前記ローカルクラスタ内のニューロンの前記セットの前記確率分布活動又は統計パラメータは、前記方程式【数8】
式中、Ｔは、前記所定の期間であり、Φ（ｔ，τ）は、前記応答ローカルクラスタ内の全てのニューロンの前記シナプス駆動Γ（ｔ）の前記状態遷移行列であり、Ｆ（ｔ）は、前記式
【数9】
Ｋ（ｔ）は、前記シナプス駆動Γ（ｔ）の前記自己相関関数であり、このうち、Ｋ０は、前記初期条件である、請求項１２に記載のスパイキングニューラルネットワーク。
【請求項14】
前記スパイキングニューラルネットワークは、駆動ローカルクラスタを備え、前記駆動ローカルクラスタは、前記スパイキングニューロンのセットと、前記スパイキングニューロンの前記セットを相互接続する複数のシナプス要素とを備え、これにより、前記駆動ローカルクラスタの出力信号は、前記応答ローカルクラスタへの入力信号として機能し、これにより、前記駆動ローカルクラスタ及び前記応答ローカルクラスタは、特定の結合強度で結合されており、前記応答ローカルクラスタが、前記周波数領域において表されたときの前記所定の振動周波数を含まない入力信号を前記駆動ローカルクラスタから受信したときに、又は前記特定の結合強度が、所定の結合強度よりも小さいときに、前記応答ローカルクラスタ内のニューロンの前記セットの確率分布活動又は統計パラメータは、定常又は非定常である、請求項１２又は１３に記載のスパイキングニューラルネットワーク。
【請求項15】
定常である、前記ローカルクラスタ内のニューロンの前記セットの前記確率分布活動又は統計パラメータは、前記方程式【数10】
式中、Ｋ（ｔ）∝は、前記シナプス駆動Γ（ｔ）の前記自己相関関数Ｋ（ｔ）の前記定常状態値であり、Ｆ（ｔ）は、前記式
【数11】
式中、Φ（ｔ，τ）は、前記応答ローカルクラスタ内の全てのニューロンの前記シナプス駆動Γ（ｔ）の前記状態遷移行列であり、ｄωは、無限小確率的変化であり、Ｅ（ｔ）は、
【数12】
非定常である、前記ローカルクラスタ内のニューロンの前記セットの前記確率分布活動又は統計パラメータは、前記行列方程式
【数13】
前記行列方程式は、前記微分リアプノフ行列方程式
【数14】
【請求項16】
前記駆動ローカルクラスタは、前記スパイキングニューラルネットワークの入力エンコーダであり、前記入力エンコーダは、サンプリングされた入力信号を時空間スパイク列に変換し、前記時空間スパイク列は、その後、前記応答ローカルクラスタによって後に処理される、請求項１２～１５に記載のスパイキングニューラルネットワーク。
【請求項17】
スパイキングニューラルネットワークを使用して、前記周波数領域において表現可能な入力信号の特定の周波数部分を処理するための方法であって、請求項１２～１６のいずれか一項に記載のスパイキングニューラルネットワーク、又は請求項１～１１のいずれか一項に記載の方法により得られたスパイキングニューラルネットワークを使用すること、
時空間スパイク列の形態の入力信号を前記スパイキングニューラルネットワークの前記応答ローカルクラスタに供給することであって、前記入力信号は、１つ又は複数の周波数部分を含む、供給すること、
前記所定の振動周波数を含む前記入力信号の前記特定の周波数部分が、前記入力信号の他の周波数部分よりも、前記応答ローカルクラスタの前記ニューロンに大きい効果をもたらすように、前記応答ローカルクラスタを使用して前記入力信号を処理すること
を含む方法。
【請求項18】
物理信号を適応処理するための物理信号推論プロセッサであって、特定の信号特徴を前記物理信号から選択及び抽出するための選択器及び抽出器、
前記物理信号から抽出された前記特定の信号特徴に基づいて前記物理信号の前記分類及び処理を実行するスパイキングニューラルネットワーク
を備えるプロセッサにおいて、
前記プロセッサは、現在の動作コンテキスト及び前記最適な特徴セットを確立する動作ブロックを更に備え、
前記プロセッサは、前記選択器及び抽出器へのフィードバックループを備え、前記選択器及び抽出器は、異なる信号特徴が前記特定の処理タスクに基づいて選択及び抽出され得るという意味で、適応型である
ことを特徴とするプロセッサ。
【請求項19】
物理信号を適応処理するための方法であって、請求項１８に記載の物理信号推論プロセッサにおいて物理信号を受信すること、
前記選択器及び抽出器を使用して特定の信号特徴を選択及び抽出すること、
前記スパイキングニューラルネットワークを使用して前記特定の信号特徴を処理すること、
前記動作ブロックを使用して現在の動作コンテキスト及び前記最適な特徴セットを判定すること、
必要に応じて選択及び抽出される前記信号特徴を適応変化させるために、フィードバック信号を前記選択器及び抽出器に送ることを含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、自動信号認識技法に関し、特に、スパイキングニューロンのネットワーク内の過渡同期性機構及びホメオスタシス調節の実装を可能にする時間的制御及び適応に関する。
【背景技術】
【0002】
生物学的ニューラルネットワークモデルにおいて、個々のニューロンのそれぞれは、スパースなイベント又はスパイクにより非同期的に通信する。このようなイベントベースのスパイキングニューラルネットワーク（Spiking Neural Network、ＳＮＮ）内で、状態を変化させるニューロンのみが、スパイクを生成し、後続の層における信号処理をトリガし得、結果として、計算資源を節約する。スパイキングニューラルネットワーク（ＳＮＮ）は、多くの異なるアプリケーションについて、自動信号認識（Automatic Signal Recognition、ＡＳＲ）、信号の構成要素特徴の識別による信号の認識を実現する有望な手段である。
【0003】
ＳＮＮは、整数又は実数値ベクトルとしてではなく、１つ以上の正確なタイムド（電圧）スパイクの形態で情報を符号化する。推論のための計算（すなわち、入力信号内のある特徴の存在の推論）は、アナログ及び時間領域において有効に実行され得る。結果として、ＳＮＮは、典型的には、フルカスタム混合信号集積回路としてハードウェアにおいて実現され、これは、ＳＮＮが、より小さいネットワークサイズを有することに加えて、ＳＮＮの相対物ディープニューラルネットワーク（Deep Neural Network、ＤＮＮ）よりも数桁低いエネルギー消費で推論機能を実行することを可能にする。
【0004】
ＳＮＮは、接続されたニューロン間の接続の強度を決定するシナプスによって相互接続されたスパイキングニューロンのネットワークからなる。この強度は、重みとして表され、重みは、ポストシナプスニューロンへの入力へのプレシナプスニューロンの出力の効果を緩和する。典型的には、これらの重みは、訓練プロセスにおいて設定され、訓練プロセスは、ネットワークを大量のラベル付けされた入力データに曝すことと、所望のネットワーク出力が達成されるまで、シナプスの重みを徐々に調整することとを含む。
【0005】
入力信号内の振幅領域、時間領域、及び周波数領域特徴が、固有の空間及び時間符号化スパイクシーケンスに符号化され得るという原理に依存して、ＳＮＮは、パターン認識及びセンサデータ融合に直接適用され得る。
【0006】
ニューロモルフィックＳＮＮエミュレータ、例えば、神経系内に存在する神経生物学的アーキテクチャを模倣する電子アナログ／混合信号回路を含むシステムは、分散型（非ノイマンの意味で、すなわち、計算要素及び記憶が共局在化されて、記憶貯蔵及び複雑な非線形動作をもたらし、記憶貯蔵及び複雑な非線形動作は、ネットワーク内のニューロンによって同時に実行される）並列イベント駆動型システムを形成し、分散型並列イベント駆動型システムは、（物理的特性、発火頻度、ホメオスタシス（挙動）調節などの適応を含む）適応、自己組織化、及び学習などの能力を提供する。
【0007】
ロバストなニューロモルフィックシステムの出力の特有の特徴は、指定されたニューロンの調整された興奮性と、これらのニューロンの正しい（すなわち、使用される学習規則又は動作の周波数によって課された境界又は定義内の正しい）時間的協調／フェージングを維持する回路レベルの相互作用との組み合わせである。回路レベルの相互作用の例は、脳生化学的（Ｎａ－、Ｋ－、Ｃａ－）機構を模倣／モデル化しニューロン発火及び周波数適応に影響を与える回路である。
【0008】
ＳＮＮの複雑さ及び計算能力は、ＳＮＮのダイナミクス、特に、ＳＮＮの活動の空間的局在化及び時間的変動により評価される。ＳＮＮのダイナミクス（及びアーキテクチャ定式化）は、従来の（ＡＮＮ）コネクショニストモデル、例えば、多層フィードフォワードネットワーク又は回帰ネットワークに時間符号化で適合され得る。
【0009】
しかしながら、ＳＮＮ固有の特性は、従来のネットワークとは明らかに異なるため、ＳＮＮは、これらの従来のネットワークに関連する厳格なスキームに従う必要がない。
【0010】
しかしながら、現在、ユーザが関心をもち得る特定の所定の周波数範囲の分類又は更なる処理において使用され得る適応訓練されたＳＮＮ又は適応訓練されたＳＮＮの一部分をＳＮＮのユーザに提示する実用的なマッピング方法はない。従来のＳＮＮマッピングは、ネットワーク過渡ダイナミクスの制御／同期のための効率的な機構を提供せず、結果として、入力信号の選択された周波数を取得する、該周波数に高感度である、又は該周波数をフィルタ除去するためのネットワーク能力を制限して、実際、ネットワークが、時空間スパイク列内の周波数コンテンツを完全に使用するのを妨げる。
【0011】
例えば、レーダ信号、ライダ信号、画像信号、若しくは音声信号を処理するときに、又は信号が周波数領域において表され得る任意の他のアプリケーションを処理するときに、信号は、ある情報を符号化する異なる周波数範囲からなる。ＳＮＮを使用して周波数領域内の特定の周波数範囲を処理すること、及びネットワークサブ群の同期挙動を有する高レベルのネットワークモジュール性及び粒度を可能にすることは、費用有効性、適応性、拡張可能性、及び信頼性に関してＳＮＮの実用的な実装可能性を大きく向上させる。
【発明の概要】
【0012】
従来技術の上記の欠点に対処するために、本開示の第１の態様によれば、スパイキングニューラルネットワークを構成するための方法であって、スパイキングニューラルネットワークは、複数のスパイキングニューロンと、ハードウェアにおいて少なくとも部分的に実装されるネットワークを形成するようにスパイキングニューロンを相互接続する複数のシナプス要素とを備え、シナプス要素のそれぞれは、シナプス入力信号を受信するように適合されており、シナプス出力信号を生成するために、重みをシナプス入力信号に適用するように適合されており、シナプス要素は、シナプス要素のそれぞれによって適用された重みを調整するように構成可能であり、スパイキングニューロンのそれぞれは、シナプス出力信号のうちの１つ以上をシナプス要素のうちの１つ以上から受信するように適合されており、受信された１つ以上のシナプス出力信号に応答して、時空間スパイク列出力信号を生成するように適合されており、ネットワーク内の応答ローカルクラスタは、スパイキングニューロンのセットと、スパイキングニューロンのセットを相互接続する複数のシナプス要素とを備え、方法は、応答ローカルクラスタ内のシナプス要素の重み及びスパイキングニューロンのスパイキング挙動を設定することであって、これにより、応答ローカルクラスタへの入力信号が、周波数領域において表されたときの所定の振動周波数を含むときに、応答ローカルクラスタ内のネットワーク状態は、周期定常状態であり、これにより、応答ローカルクラスタ内のネットワーク状態は、所定の振動周波数で周期的である、設定することを含む、方法が提案されている。
【0013】
このようにして、スパイキングニューラルネットワークは、あるローカルクラスタへの入力信号が所定の振動周波数を含むときに、スパイキングニューラルネットワーク内に含まれた該ローカルクラスタが周期定常状態にあり得るように構成され得る。これは、入力信号の部分これが所定の振動周波数に近く所定の振動周波数を含む、入力信号の他の部分よりも、ローカルクラスタに大きい効果をもたらすことを意味する。これは、このようにして構成されたスパイキングニューラルネットワークが、周波数領域内の特定の（所定の）周波数範囲を処理することを可能にする。
【0014】
一実施形態では、応答ローカルクラスタ内のシナプス要素の重み及びスパイキングニューロンのスパイキング挙動を設定することは、必要とされる周期定常状態挙動が達せられるように、シナプス要素の重み及びスパイキングニューロンのスパイキング挙動を最適化することによって、応答ローカルクラスタを反復訓練することを含む。
【0015】
このようにして、特定の入力信号への応答ローカルクラスタの応答は、有効に構成され得、望まれる挙動が、信頼性をもって達せられる。
【0016】
更なる実施形態では、応答ローカルクラスタへの入力信号が所定の振動周波数を含むときに、応答ローカルクラスタ内のニューロンのセットの確率分布活動又は統計パラメータは、所定の振動周波数で周期定常である。
【0017】
更なる実施形態では、周期定常状態は、方程式
【0018】
【数1】
【0019】
の解であり、
式中、Ｔは、所定の期間であり、Φ（ｔ，τ）は、応答ローカルクラスタ内の全てのニューロンのシナプス駆動Γ（ｔ）の状態遷移行列であり、F（t）は、式
式中、Ｔは、所定の期間であり、Φ（ｔ，τ）は、応答ローカルクラスタ内の全てのニューロンのシナプス駆動Γ（ｔ）の状態遷移行列であり、F（t）は、式
【0020】
【数2】
【0021】
によって与えられるようにシナプス駆動Γ（ｔ）の確率的部分の確定関数であり、
Ｋ（ｔ）は、シナプス駆動Γ（ｔ）の自己相関関数であり、このうち、Ｋ０は、初期条件である。
Ｋ（ｔ）は、シナプス駆動Γ（ｔ）の自己相関関数であり、このうち、Ｋ０は、初期条件である。
【0022】
このようにして、有効な拡張可能な信頼性のある方法が、周期定常状態を得るために、スパイキングニューラルネットワーク、特にローカルクラスタを構成するために得られる。
【0023】
更なる実施形態では、スパイキングニューラルネットワークは、駆動ローカルクラスタを備え、駆動ローカルクラスタは、スパイキングニューロンのセットと、スパイキングニューロンのセットを相互接続する複数のシナプス要素とを備え、これにより、駆動ローカルクラスタの出力信号は、応答ローカルクラスタへの入力信号として機能し、これにより、駆動ローカルクラスタ及び応答ローカルクラスタは、特定の結合強度で結合されており、方法は、駆動ローカルクラスタから応答ローカルクラスタへの入力信号が、周波数領域において表されたときの所定の振動周波数を含まないときに、又は特定の結合強度が、所定の結合強度よりも小さいときに、応答ローカルクラスタ内のネットワーク状態を、定常状態及び／又は時変状態を有するように設定することを更に含む。
【0024】
更なる実施形態では、応答ローカルクラスタ内のシナプス要素の重み及びスパイキングニューロンのスパイキング挙動を設定することは、必要とされる定常状態挙動及び／又は時変挙動が達せられるように、シナプス要素の重み及びスパイキングニューロンのスパイキング挙動を最適化することによって、応答ローカルクラスタを反復訓練することを含む。
【0025】
このようにして、特定の入力信号への応答ローカルクラスタの応答は、有効に構成され得、望まれる挙動が、信頼性をもって達せられる。
【0026】
更なる実施形態では、応答ローカルクラスタが、周波数領域において表されたときの所定の振動周波数を含まない入力信号を駆動ローカルクラスタから受信したときに、又は特定の結合強度が、所定の結合強度よりも小さいときに、応答ローカルクラスタ内のニューロンのセットの確率分布活動又は統計パラメータは、定常又は非定常である。
【0027】
更なる実施形態では、定常状態は、方程式
【0028】
【数3】
【0029】
の解であり、
式中、Ｋ（ｔ）∝は、シナプス駆動Γ（ｔ）の自己相関関数Ｋ（ｔ）の定常状態値であり、Ｆ（ｔ）は、式
式中、Ｋ（ｔ）∝は、シナプス駆動Γ（ｔ）の自己相関関数Ｋ（ｔ）の定常状態値であり、Ｆ（ｔ）は、式
【0030】
【数4】
【0031】
によって与えられるようにシナプス駆動Γ（ｔ）の確率的部分の確定関数であり、
式中、Φ（ｔ，τ）は、応答ローカルクラスタ内の全てのニューロンのシナプス駆動Γ（ｔ）の状態遷移行列であり、ｄωは、無限小確率的変化であり、Ｅ（ｔ）は、
式中、Φ（ｔ，τ）は、応答ローカルクラスタ内の全てのニューロンのシナプス駆動Γ（ｔ）の状態遷移行列であり、ｄωは、無限小確率的変化であり、Ｅ（ｔ）は、
【0032】
【数5】
【0033】
によって定義された確定関数であり、
時変状態は、行列方程式
時変状態は、行列方程式
【0034】
【数6】
【0035】
の解であり、
行列方程式は、微分リアプノフ行列方程式
行列方程式は、微分リアプノフ行列方程式
【0036】
【数7】
【0037】
の連続時間代数リアプノフ行列方程式であり、式中、Ｐｒ及びＱｒは、Ｅ及びＦの離散化バージョンであり、ｔｒは、数値積分時点を意味する。
【0038】
このようにして、有効な拡張可能な信頼性のある方法が、定常状態及び／又は時変状態を得るために、スパイキングニューラルネットワーク、特にローカルクラスタを構成するために得られる。
【0039】
更なる実施形態では、応答ローカルクラスタの構造次元数における増加は、駆動ローカルクラスタと応答ローカルクラスタとの間の一般化外部同期を確実にすることによって実現され、一般化外部同期は、所定の結合強度以上である特定の結合強度による応答ローカルクラスタへの駆動ローカルクラスタの結合である。
【0040】
このようにして、例えば、ネットワークサブ群の同期挙動を有する高レベルのネットワークモジュール性及び粒度が得られ、これは、適応性及び拡張可能性に関してＳＮＮの実用的な実装可能性を向上させる。
【0041】
更なる実施形態では、一般化外部同期は、シナプス駆動Γ（ｔ）の平均自己相関関数
【0042】
【数8】
【0043】
に基づいて確実にされ、式中、τは、遅延であり、Ｎは、応答ローカルクラスタ内のニューロンの数であり、平均は、ニューロン集団にわたる。
【0044】
更なる実施形態では、定常状態数値解、時変数値解、及び／又は周期定常状態解は、ニューロンのニューロン活動の同期をもたらす応答ローカルクラスタ内のニューロン間のフィードバック結合を使用することによって得られる。
【0045】
本開示の第２の態様によれば、周波数領域において表現可能な入力信号を処理するためのスパイキングニューラルネットワークであって、複数のスパイキングニューロンと、ハードウェアにおいて少なくとも部分的に実装されるネットワークを形成するようにスパイキングニューロンを相互接続する複数のシナプス要素とを備えるスパイキングニューラルネットワークにおいて、シナプス要素のそれぞれは、シナプス入力信号を受信するように適合されており、シナプス出力信号を生成するために、重みをシナプス入力信号に適用するように適合されており、シナプス要素は、シナプス要素のそれぞれによって適用された重みを調整するように構成可能であり、スパイキングニューロンのそれぞれは、シナプス出力信号のうちの１つ以上をシナプス要素のうちの１つ以上から受信するように適合されており、受信された１つ以上のシナプス入力信号に応答して、時空間スパイク列出力信号を生成するように適合されており、ネットワーク内の応答ローカルクラスタは、スパイキングニューロンのセットと、ニューロンのセットを相互接続する複数のシナプス要素とを備え、応答ローカルクラスタへの入力信号が、周波数領域において表されたときの所定の第１の振動周波数を含むときに、ローカルクラスタ内のニューロンのセットの確率分布活動又は統計パラメータは、所定の第１の振動周波数で周期定常である、スパイキングニューラルネットワークが開示されている。
【0046】
このようにして、スパイキングニューラルネットワークは、あるローカルクラスタへの入力信号が所定の振動周波数を含むときに、スパイキングニューラルネットワーク内に含まれた該ローカルクラスタが周期定常状態にあり得るように構成され得る。これは、入力信号の部分これが所定の振動周波数に近く所定の振動周波数を含む、入力信号の他の部分よりも、ローカルクラスタに大きい効果をもたらすことを意味する。これは、このようにして構成されたスパイキングニューラルネットワークが周波数領域内の特定の（所定の）周波数範囲を処理することを可能にする。
【0047】
一実施形態では、周期定常である、ローカルクラスタ内のニューロンのセットの確率分布活動又は統計パラメータは、方程式
【0048】
【数9】
【0049】
の周期定常状態解によって記述され、
式中、Ｔは、所定の期間であり、Φ（ｔ，τ）は、応答ローカルクラスタ内の全てのニューロンのシナプス駆動Γ（ｔ）の状態遷移行列であり、Ｆ（ｔ）は、式
式中、Ｔは、所定の期間であり、Φ（ｔ，τ）は、応答ローカルクラスタ内の全てのニューロンのシナプス駆動Γ（ｔ）の状態遷移行列であり、Ｆ（ｔ）は、式
【0050】
【数10】
【0051】
によって与えられるようにシナプス駆動Γ（ｔ）の確率的部分の確定関数であり、
Ｋ（ｔ）は、シナプス駆動Γ（ｔ）の自己相関関数であり、このうち、Ｋ０は、初期条件である。
Ｋ（ｔ）は、シナプス駆動Γ（ｔ）の自己相関関数であり、このうち、Ｋ０は、初期条件である。
【0052】
更なる実施形態では、スパイキングニューラルネットワークは、駆動ローカルクラスタを備え、駆動ローカルクラスタは、スパイキングニューロンのセットと、スパイキングニューロンのセットを相互接続する複数のシナプス要素とを備え、これにより、駆動ローカルクラスタの出力信号は、応答ローカルクラスタへの入力信号として機能し、これにより、駆動ローカルクラスタ及び応答ローカルクラスタは、特定の結合強度で結合されており、応答ローカルクラスタが、周波数領域において表されたときの所定の振動周波数を含まない入力信号を駆動ローカルクラスタから受信したときに、又は特定の結合強度が、所定の結合強度よりも小さいときに、応答ローカルクラスタ内のニューロンのセットの確率分布活動又は統計パラメータは、定常又は非定常である。
【0053】
更なる実施形態では、定常である、ローカルクラスタ内のニューロンのセットの確率分布活動又は統計パラメータは、方程式
【0054】
【数11】
【0055】
の定常状態数値解によって記述され、
式中、Ｋ（ｔ）∝は、シナプス駆動Γ（ｔ）の自己相関関数Ｋ（ｔ）の定常状態値であり、Ｆ（ｔ）は、式
式中、Ｋ（ｔ）∝は、シナプス駆動Γ（ｔ）の自己相関関数Ｋ（ｔ）の定常状態値であり、Ｆ（ｔ）は、式
【0056】
【数12】
【0057】
によって与えられるようにシナプス駆動Γ（ｔ）の確率的部分の確定関数であり、
式中、Φ（ｔ，τ）は、応答ローカルクラスタ内の全てのニューロンのシナプス駆動Γ（ｔ）の状態遷移行列であり、ｄωは、無限小確率的変化であり、Ｅ（ｔ）は、
式中、Φ（ｔ，τ）は、応答ローカルクラスタ内の全てのニューロンのシナプス駆動Γ（ｔ）の状態遷移行列であり、ｄωは、無限小確率的変化であり、Ｅ（ｔ）は、
【0058】
【数13】
【0059】
によって定義された確定関数であり、非定常である、ローカルクラスタ内のニューロンのセットの確率分布活動又は統計パラメータは、行列方程式
【0060】
【数14】
【0061】
の時変数値解によって記述され、
行列方程式は、微分リアプノフ行列方程式
行列方程式は、微分リアプノフ行列方程式
【0062】
【数15】
【0063】
の連続時間代数リアプノフ行列方程式であり、式中、Ｐｒ及びＱｒは、Ｅ及びＦの離散化バージョンであり、ｔｒは、数値積分時点を意味する。
【0064】
更なる実施形態では、駆動ローカルクラスタは、スパイキングニューラルネットワークの入力エンコーダであり、入力エンコーダは、サンプリングされた入力信号を時空間スパイク列に変換し、時空間スパイク列は、その後、応答ローカルクラスタによって後に処理される。
【0065】
本開示の第３の態様によれば、スパイキングニューラルネットワークを使用して、周波数領域において表現可能な入力信号の特定の周波数部分を処理するための方法であって、本開示の第２の態様若しくは第２の態様の実施形態に記載のスパイキングニューラルネットワーク、又は本開示の第１の態様若しくは第１の態様の実施形態により得られたスパイキングニューラルネットワークを使用すること、
時空間スパイク列の形態の入力信号をスパイキングニューラルネットワークの応答ローカルクラスタに供給することであって、入力信号は、１つ又は複数の周波数部分を含む、供給すること、所定の振動周波数を含む入力信号の特定の周波数部分が、入力信号の他の周波数部分よりも、応答ローカルクラスタのニューロンに大きい効果をもたらすように、応答ローカルクラスタを使用して入力信号を処理することを含む方法が開示されている。
時空間スパイク列の形態の入力信号をスパイキングニューラルネットワークの応答ローカルクラスタに供給することであって、入力信号は、１つ又は複数の周波数部分を含む、供給すること、所定の振動周波数を含む入力信号の特定の周波数部分が、入力信号の他の周波数部分よりも、応答ローカルクラスタのニューロンに大きい効果をもたらすように、応答ローカルクラスタを使用して入力信号を処理することを含む方法が開示されている。
【0066】
このようにして、スパイキングニューラルネットワークへの入力信号が周波数領域において表され得る任意のアプリケーションを処理するときに、信号は、ある情報を符号化する異なる周波数範囲からなり、特定の周波数範囲は、特定の様式で処理され得、したがって、ネットワークサブ群の同期挙動を有する高レベルのネットワークモジュール性及び粒度を可能にし、したがって、費用有効性、適応性、拡張可能性、及び信頼性に関してＳＮＮの実用的な実装可能性を向上させる。
【0067】
本開示の第４の態様によれば、物理信号を適応処理するための物理信号推論プロセッサ（physical signal to inference processor）であって、特定の信号特徴を物理信号から選択及び抽出するための選択器及び抽出器、物理信号から抽出された特定の信号特徴に基づいて物理信号の分類及び処理を実行するスパイキングニューラルネットワークを備えるプロセッサにおいて、プロセッサは、現在の動作コンテキスト及び最適な特徴セットを確立する動作ブロックを更に備え、プロセッサは、選択器及び抽出器へのフィードバックループを備え、選択器及び抽出器は、異なる信号特徴が特定の処理タスクに基づいて選択及び抽出され得るという意味で、適応型であることを特徴とするプロセッサが開示されている。
【0068】
このようにして、最適な特徴セットが、物理信号推論プロセッサによって動作コンテキストごとに選択され得、スパイキングニューラルネットワークの使用の適応性、費用有効性、及び最適化を向上させる。
【0069】
本開示の第５の態様によれば、物理信号を適応処理するための方法であって、本開示の第４の態様に記載の物理信号推論プロセッサにおいて物理信号を受信すること、選択器及び抽出器を使用して特定の信号特徴を選択及び抽出すること、スパイキングニューラルネットワークを使用して特定の信号特徴を処理すること、動作ブロックを使用して現在の動作コンテキスト及び最適な特徴セットを判定すること、必要に応じて選択及び抽出される信号特徴を適応変化させるために、フィードバック信号を選択器及び抽出器に送ることを含む方法が開示されている。
【0070】
このようにして、最適な特徴セットが、この方法を介して選択され得、したがって、物理信号を適応処理し、スパイキングニューラルネットワークの使用の適応性、費用有効性、及び最適化を向上させる。
【図面の簡単な説明】
【0071】
ここで、対応する参照符号が対応する部分を示す添付の概略図面を参照して、実施形態について、例としてのみ説明する。
【図1】ニューロンとシナプス要素とからなる例示的なニューラルネットワークを示す図である。
【図2】マイクロコントローラ集積回路内のスパイキングニューラルネットワークを概略的に示す図である。
【図3】適応型スパイキングニューラルネットワークを有する例示的なランタイム物理信号推論信号プロセッサ（physical signal to inference signal processor）を概略的に示す図である。
【図4】スパイク適応機構の公称値を左端の２つのグラフに示す図であり、ナトリウム及びカリウムコンダクタンス活性化及び不活性化ダイナミクスをモデル化するためのリセット及び不応期機構を中央の２つのグラフに示す図であり、スパイク生成における挿入された変動性を右端のグラフに示す図である。
【図5】異なる同期セルアセンブリを有するネットワークを示す図である。
【図6】アナログニューロンの電圧トレースを上のグラフに示す図であり、シナプス活性化を中央のグラフに示す図であり、同期及びホメオスタシス調節を下のグラフに示す図である。
【図7】非調節状態を上部に示し、調節状態を下部に示す図であり、個々のニューロンの経時的な活動を左側の２つのグラフに示す図であり、（非）調節ネットワークのネットワーク活動を右側の２つのグラフに示す図である。
【0072】
図は、例示のためのみであることが意図されており、特許請求の範囲によって定義されている範囲又は保護の限定として機能しない。
【発明を実施するための形態】
【0073】
以下、ある実施形態について更に詳細に説明する。しかしながら、これらの実施形態は、例示のみであり、本開示の保護の範囲を限定するとして解釈されないことを理解されたい。
【0074】
図１は、ニューラルネットワーク１００の簡略図である。ニューロン１は、シナプス要素２を介して互いに接続されている。図面を不明瞭にしないために、少数のニューロン及びシナプス要素のみが示されている（いくつかのみに参照番号がつけられている）。図１に示す接続トポロジー、すなわち、シナプス要素２がニューロン１を互いに接続する様式は、例のみであり、他の多くのトポロジーが採用されてもよい。シナプス要素２のそれぞれは、信号をニューロン１の入力に送信することができ、信号を受信するニューロン１のそれぞれは、信号を処理することができ、その後、出力を生成することができ、出力は、更なるシナプス要素２を介して他のニューロン１に送信される。シナプス要素２のそれぞれには、ある重みが割り当てられており、重みは、荷重シナプス出力信号を生成するために、シナプス要素が受信及び送信するシナプス入力信号のそれぞれに適用される。したがって、シナプス要素の重みは、シナプス要素２によって接続された２つのニューロン１間の因果関係の種類の尺度である。関係は、因果（正の重み）関係、反因果（負の重み）関係、又は非存在（０の重み）関係であり得る。
【0075】
ニューロン１及びシナプス要素２は、例えば、アナログ回路若しくは回路要素、又はデジタルハードワイヤード論理回路若しくは回路要素、又はこれらの組み合わせを使用して、ハードウェアにおいて実装され得る。例えば、ニューロンのそれぞれ及びシナプス要素のそれぞれは、ハードウェア回路又は回路要素として実装され得る。このタイプのハードウェア実装はまた、ソフトウェアを使用して実行される機能を含むことができ、このため、ニューロン及びシナプス要素は、ハードウェアにおいて部分的に実装され、ソフトウェアにおいて部分的に実装され、すなわち、個々のニューロン及びシナプス要素の機能を実行するためにソフトウェアを実行するハードウェア回路で実装される。これは、ソフトウェアが個々のニューロン及びシナプス要素を模倣する、ソフトウェアを実行する大きいプロセッサを使用する設計とは対照的である。これらの（部分的に）ハードウェア実装は、入力信号のはるかにより速い処理を達成することができ、例えば、これらの（部分的に）ハードウェア実装は、はるかにより速いパターン認識と、ニューロン及びシナプス要素のブロックが必要に応じてのみ活性化される、はるかにより速いイベント駆動型処理とを可能にする。
【0076】
ニューラルネットワーク１００は、スパイキングニューラルネットワークであり得る。次いで、ニューロン１は、スパイキングニューロンであり、スパイキングニューロンは、ニューロン出力信号を１つ以上のスパイク又はニューロン生成イベントの形態で生成する。スパイキングニューロン１は、ニューロン内の膜電位（例えば、エネルギー電位、又は電圧若しくは電流レベル）が所定の閾値に達したときにのみ、発火する（すなわち、出力スパイクを生成する）ように構成され得る。スパイキングニューロンの膜電位は、受信された入力信号の結果として変化し、すなわち、ニューロンによってシナプス要素から受信されたシナプス出力信号は、膜電位を変更するために、累算される、積分される、又は別法で処理される。シナプス要素２の重みが正であるときに、該シナプス要素から受信されたシナプス出力信号は、信号を受信するスパイキングニューロン１を興奮させて、スパイキングニューロン１の膜電位を上昇させる。シナプス要素２の重みが負であるときに、該シナプス要素から受信されたシナプス出力信号は、信号を受信するスパイキングニューロン１を抑制して、スパイキングニューロン１の膜電位を低下させる。シナプス要素２の重みが０であるときに、該シナプス要素から受信されたシナプス出力信号は、信号を受信するスパイキングニューロン１の膜電位に効果をもたらさない。
【0077】
スパイキングニューロン１の膜電位が閾値に達したときに、ニューロンは、発火して、発火時にスパイクを生成し、膜電位は、発火の結果として低減される。その後、膜電位が閾値に再び達した場合に、ニューロンは、再び発火して、第２のスパイクを生成する。したがって、スパイキングニューロン１のそれぞれは、接続されたシナプス要素２から受信された入力信号に応答して、時空間スパイク列を形成する１つ以上のスパイクを生成するように構成されている。スパイキングニューロン１の膜電位が所定の閾値に達したときにのみスパイキングニューロン１は発火するため、時間情報のコーディング及び処理は、ニューラルネットワーク１００に組み込まれる。このようにして、時空間スパイク列は、スパイキングニューラルネットワーク１００において生成され、時空間スパイク列は、ネットワーク１００のスパイキングニューロン１によって生成されたスパイクの時間シーケンスである。
【0078】
スパイク列の時間特性は、入力信号の振幅及び周波数特徴を符号化する。これらの時間特性は、刺激（例えば、シナプス要素からの入力信号）の開始とニューロンの出力におけるスパイクの生成との間の待機時間と、同じニューロンからの逐次的スパイク間の待機時間と、入力刺激が適用されている持続時間内にニューロン発火によって生成されたスパイクの数とを含む。
【0079】
シナプス要素２は、例えば、シナプス要素の重みのそれぞれが、例えば、ニューラルネットワーク１００を訓練することによって変動することができるように構成可能であり得る。ニューロン１は、ニューロン１がシナプス要素からの信号に応答するように構成可能であり得る。例えば、スパイキングニューラルネットワークの場合に、ニューロン１は、ある信号が、膜電位、膜電位が静止電位に向かって自然に減衰するのにかかる時間、静止電位の値、及び／又はスパイキングニューロン１のスパイクをトリガする閾値を増加又は減少させるように構成され得る。ニューロン１の構成は、例えば、訓練中に一定に保たれ得る又は変動可能であり得、特定の訓練セットを使用してニューラルネットワーク１００を訓練することによって設定され得る。
【0080】
入力信号１１は、例えば、複数の異なるサンプリングされた入力信号、又は時空間スパイク列であってもよい。入力は、信号サンプルのアナログデジタル変換された値、又は例えばアナログ若しくはデジタル積分器の場合のサンプルのデジタル値、又はアナログ積分器の場合のサンプルのアナログ値であり得る。
【0081】
ニューラルネットワーク１００の出力信号１２は、例えば、時空間スパイク列であり、時空間スパイク列は、出力ニューロン１から読み出され得、更に分類され得、出力変換ステージによって、ユーザによって選択された出力コードのタイプに対応するデジタル値のセットに変換され得る。
【0082】
生物学的ＳＮＮは、低い平均活動を有する、スパースな不規則なニューロン間接続を特徴とすることができ、スパースな不規則なニューロン間接続において、活性ニューロンのみが情報処理に寄与している。スパースなニューロン間接続の例は、ニューロンのローカルクラスタの形成、短い又は長い経路ループ、及び同期セルアセンブリである。
【0083】
セルアセンブリとも称されるローカルクラスタは、ニューロンの群と、強い共有興奮性入力を有する、ニューロンを相互接続するシナプス要素とを示す。このようなローカルクラスタ内のニューロンは、ローカルクラスタのニューロンの十分なサブセットが刺激されたときに、群全体として動作的に活性化される傾向がある。このようにして、ローカルクラスタは、処理装置として考えられ得る。ローカルクラスタのニューロン間の関連付け、すなわち、クラスタが定義される可能な機構は、異なる形態をとり得る。
【0084】
ニューロンの群の同期応答は、ニューロンのローカルクラスタを定義する１つの例である。対象の一例は、刺激に応答する、ローカルクラスタ内のニューロンの時変（周期（cyclo））周期活性化である。ローカルクラスタが定義される他の可能な機構は、組み込み冗長性（すなわち、フェイルセーフ動作を確実にするための追加の回路／ニューロン）、平均化（すなわち、最終結果は、複数のニューロンの平均であり、単一のニューロンでない）、レイヤ定義（レイヤは、とりわけ、ネットワーク概念及びレイヤサイズと、ネットワーク深さとに基づいて定義され得る）などであり得る。ＳＮＮは、ニューロン間の複雑な動的相互作用により、例えば、ローカルクラスタ内のニューロン間の通信又は異なるローカルクラスタ間の通信により定義された複雑なシステムとして挙動する。
【0085】
ニューロンの同期活性化が、ローカルクラスタを形成するための機構として使用される場合に、結果として、短期記憶（Short Term Memory、ＳＴＭ）は、残響（すなわち、ニューロンの周期活性化）によって持続された、ローカルクラスタ内のニューロンの持続的活動として表されてもよく、長期記憶（Long Term Memory、ＬＴＭ）は、例えば可塑性機構又は他の学習方法による、新しいローカルクラスタの形成に対応する。このフレームワーク内で、ニューロンの群についての発火時間の同期は、ニューロンの特定のサブセットによる一連の同期発火として、時空間統合を提供するニューロンの特定のサブセットの集合的な同期として、及びニューロンのサブセット内のポリクロナイゼーションの拡張された概念として、検査される。
【0086】
同期ニューロン応答は、ニューロン活動の様々な態様に関連付けられた２つ以上のイベントの時間における相関発生として、ここで定義され得る。この同期は、特定の周波数での又は特定の周波数近くのニューロンのサブセットの同期発火率及び／又は発火時間の形態をとり得る。ニューロンの複数のサブセットはそれぞれ、異なる周波数で同期することができ、学習／記憶形成のための、又はフィルタリングなどのある他の事前定義された信号処理機能のためのこれらのサブセットの役割を反映する。ローカルクラスタは、ポリクロナイゼーション、スパイキング活動の再現可能な時間ロックパターンをシナプス強化の結果として示すローカルクラスタへのＳＮＮ内のニューロンの群の自己組織化によって形成され得る。
【0087】
一実施形態では、ローカルクラスタ内のニューロンは、同期ニューロン応答を有し、このため、ニューロンは、同期発火する（すなわち、出力スパイクを生成する）。この同期応答は、異なる形態をとり得る。ローカルクラスタのニューロンは、ある振動周波数で反復サイクルにおいて同じ時間及び同じ率で周期的に発火し得る。
【0088】
ある変動が、経時的な出力スパイクタイミング及び率においてあり得、例えば、振動周波数は、実質的に一定であってもよく、又は経時的に低減若しくは増加してもよい。ある変動が、ローカルクラスタのニューロン間で出力スパイクタイミング及び率においてあり得、このため、あるニューロンの発火時間は、振動周波数で発火するニューロンのピークのある時間窓、すなわち、最大数のニューロンが発火するときの振動サイクルのピークのある時間窓内にある。ローカルクラスタ内のニューロンについてのスパイク発火の時間のこの分布は、ガウス曲線又は同等の統計的分布（例えば、対数正規分布、ポアソン分布、指数分布など）に従うことができ、最大数の出力スパイクは、振動周波数で発生し、スパイクの発生は、ピークから遠くなるにつれて漸次により少なくなる。指定された時間窓は、振動周期内の時間範囲として理解され得、振動周期内の時間範囲において、入力信号は、所定の周波数で振動しているローカルクラスタに最大の効果をもたらす。
【0089】
ローカルクラスタは、全体として、本明細書に記載の同期周期ニューロン発火を示し得る。これは、ローカルクラスタの全てのニューロンが周期的に発火すること、又は全てのニューロン未満のニューロンが、周期的に発火するが、例えば、ローカルクラスタの平均スパイキング活動が、本明細書に記載の同期周期挙動に従うことに起因して、発生し得る。ここで、平均スパイキング活動は、特定の時間範囲内のローカルクラスタの平均活動である。平均スパイキング活動は、複数の所定の振動周期にわたって増加又は減少し得る。これは、周波数又は率ベースのコーディングの一例である。刺激についての全てではないがほとんどの情報は、ニューロンの発火率に含まれていると想定される。所与の刺激によって生成された活動電位のシーケンスは、試行ごとに変動するため、ニューロン応答は、典型的には、統計的に又は確率論的に処理される。
【0090】
ローカルクラスタが同期振動していないが、例えば、入力信号を待っているときに、ローカルクラスタ内のニューロンは、これらの入力信号が、ローカルクラスタが高感度を有する所定の周波数で逐次的に到着する場合に、入力信号により応答性になる。
【0091】
好適な符号化の他の例は、時間的又は待機時間又は最初のスパイクまでの時間符号化、及び代替として、順位符号化である。時間的又は待機時間又は最初のスパイクまでの時間符号化は、スパイクの相対的タイミング、両耳間遅延時間、又はスパイク間のタイミング差に関連する。順位符号化は、正確なタイミング情報ではなく、スパイクが到着する順序のみを検査する。
【0092】
概して、例えば、ローカルクラスタ内のニューロンに関連する統計パラメータ又は確率分布の活動を見ることができる。したがって、統計パラメータの一例は、平均スパイキング活動である。確率分布の場合に、例えば、ローカルクラスタ内のニューロンがスパイクしたときに、例えば、第１のモーメント（期待値）、第２の中心モーメント（分散）、第３の標準化モーメント（歪度）、及び第４の標準化モーメント（尖度）を見ることができる。
【0093】
シナプス遅延、すなわち、シナプス要素にわたる信号の伝導に必要な時間は、振動／過渡ダイナミクスにおける遷移、結果として、ＳＮＮのコヒーレント及びインコヒーレント状態に必要とされる素量である。確率的入力、又は固有発火頻度における不均一性のいずれかの形態のノイズは、ニューロン間の振動のコヒーレンスを減少させる。ここで、振動は、ＳＮＮ内のニューラル活動の律動的又は反復的パターンである。ニューロンは、個々のニューロン内の機構によって、又はニューロン間の相互作用によって駆動される振動活動を多くの様式で生成することができる。個々のニューロン内で、振動は、膜電位における振動、又は活動電位の律動的パターンのいずれかとして出現することができ、次いで、これは、シナプス後ニューロンの振動活性化を生成する。ローカルクラスタのレベルにおいて、多数のニューロンの同期活動は、ローカルクラスタ内の振動を生じさせ得る。ニューロンの群内の振動活動は、ニューロン間のフィードバック結合から生じ得、ニューロン間のフィードバック結合は、ニューロンの発火パターンの同期をもたらす。振動及び関連付けられた振動活動は、率、スパイク一致、及び他の時間パターンの存在などのスパイク列特性を解析するために使用される概念のうちの１つである。
【0094】
同期の役割は、振動周波数に依存し、例えば、（ローカルレベルにおいて使用される）より低い周波数の振動の同期は、特定のプロセス（学習、適応、ＳＴＭ／ＬＴＭなど）を実装する過渡ネットワークを確立し得、（グローバルレベルにおいて使用される）より高い周波数の振動の同期は、プロセス結果についての情報、例えば、電力又は位相ロックのいずれかのクロス周波数変調を通信し得る。このようなクロス周波数変調において、第１のセルアセンブリは、ある変調方法によって、例えば、フィードバックループにより２つの振動子をクロスカップリングすること、低周波数位相による高周波数振幅の変調などによって、第２のセルアセンブリを変調している。全体的な結合強度は、ネットワークが、安定した活動レジームにおいて又は無秩序な活動レジームにおいて動作するかを定義する。より強い不均一性は、同期性とは非常に異なりスパイク時間の明白な協調なしで完全に非同期であり得る状態を、常にもたらす。概して、より高い結合強度は、より多くの同期性をもたらす。同期による情報伝送及び信号積分は、スパイキングニューラルネットワークの高レベルの費用有効性、適応性、拡張可能性、及び信頼性を提供する。
【0095】
ニューロンは、主に、高速の全か無かのイベントにより、すなわち、ニューロンの膜電位におけるスパイクにより、ネットワーク内で通信する。ニューロン集団内の相対的なスパイク発火時間は、ネットワークによって搬送される情報コードとして理解され、ニューロン集団間の同期は、情報を符号化及び復号するための信号として理解される。ニューロン特性及び関連付けられた変数は、ニューロン状態を記述する（例えば、膜電位の時間経過を記述する）。符号化される情報は、例えば、これらのニューロン状態によって表され得る。ニューロン又はニューロンの集団が振動及び同期したときに、これらの変数のそれぞれはまた、同じ周波数で振動することができ、振動周期ごとに１回同じ値に戻ることができ、の１つのこのような振動（例えば、膜電位）は、スパイクの後続のスパイク間間隔を有するスパイクに対応する。
【0096】
次に、確率的セルアセンブリの時間ダイナミクスを最適化し、スパイキングニューラルネットワークとの情報伝送を向上させるセルアセンブリの同期を可能にするマッピング方法の実装について説明する。
【0097】
（不連続関数であり得る）関数ｆｊ（．）（これは非線形変換であり、数学的便宜のために、関数ｆｊ（．）は、φ（ｘ）＝ｔａｎｈ（ｘ）としてモデル化されているが、φの他の選択が可能である）は、入出力伝達関数を指定するために使用され、入出力伝達関数は、興奮（／抑制）電圧ｖｊ
Ｅ（．）（それぞれ、ｖｊ
Ｉ（．））を、ｊ番目のニューロンの膜を介して、ｊ番目のニューロンの（Ｈｚでの）発火率に変換する。上付きＥ及び上付きＩは、興奮性及び抑制性をそれぞれ意味し、興奮性ニューロン又は抑制性ニューロンにそれぞれ関連する。結果として、受信又はシナプス後ｉ番目のニューロン内の電圧ｖｉ（ｔ）は、
【0098】
【数16】
【0099】
【数17】
【0100】
によって与えられ、
式中、
式中、
【0101】
【数18】
【0102】
及び
【0103】
【数19】
【0104】
は、発火時間ｔｊ及び発火時間ｔｊ’における興奮性及び抑制性伝達（すなわちシナプス前）ニューロンの発火をそれぞれ示す指数である。興奮性及び抑制性伝達ニューロンの数は、ｎＥ及びｎＩとしてそれぞれ示され、αｊ
Ｅ（．）及びαｊ
Ｉ（．）は、興奮性及び抑制性シナプス後電位の発展をそれぞれ記述する関数である。更に、ｖｔｈ，ｉ
Ｅ（．）及びｖｔｈ，ｉ
Ｅ（．）は、連続閾値入力電圧であり、連続閾値入力電圧は、膜電位への一定入力、すなわち、膜電位への外因性寄与を指定し、膜電位への外因性寄与は、外部刺激電圧であり得る。閾値電圧は、対応するニューロンがスパイクすることができるように膜電位が達する必要がある電圧であり、閾値が満たされたときに、興奮性ニューロンの場合にニューロンは発火し、又はニューロンは、シナプス後（抑制性）ニューロンセル内で活動電位生成の抑制をもたらす。ニューロン連結性行列ｗｉｊのエントリは、ｉ番目のニューロンへのｊ番目のニューロンの結合強度を表す。
【0105】
興奮性集団と抑制性集団との相互作用は、上記の式（１）及び（２）における交差項によって、完全な同期状態又は部分的な同期構成体をもたらすことができ、これは、抑制性ダイナミクスを増加させることによって向上することができる。スパースなランダム接続性を有する不均一抑制性ネットワーク内で、抑制ダイナミクスは、集団活動を抑止すること、及びニューラル再活性化を生成することの両方において二重性を提供する。ネットワークが飽和したときに、ネットワークは、入力信号を適切に処理することができない。ニューラル再活性化により、ネットワークは、入力信号に再び応答性になることができる。抑制の概念は、とりわけ、ネットワーク内の空間及び時間の両方における、活動の中断又は遮断と、活動パターンの制限とを伴う。しかしながら、抑制性介在ニューロンは、興奮についての停止信号のみを提供するのではなく、ニューロンネットワーク内の動作ダイナミクスは、興奮力が有効な抑制力によって打ち消される場合にのみ維持され得る。
【0106】
興奮性ニューロンから隣接する抑制性ニューロンへの入力が十分に強いときに、回路内のスパイク伝達の同期は発生する。結合強度は、抑制性神経支配によって制御され、抑制性入力が存在するときに、すなわち、中間結合のときに、ニューロンは、小さい律動性／同期性でスパイクする。以下の方程式（６）の抑制性スパイク時間依存可塑性（Spike-Time Dependent Plasticity、ＳＴＤＰ）関数は、対称であり、シナプスコンダクタンスにおける減少を助長し、対照的に、興奮性ＳＴＤＰ関数は、反対称であり、増強作用に偏る。
【0107】
上記の方程式中の関数τ（ｔ）は、時間ｔの有界微分関数であり、時間ｔの有界微分関数について、以下の条件
【0108】
【数20】
【0109】
が満たされ、
式中、ｒ及びｈは、正定数である。λｉ （Ｅ，Ｉ）が利得である、
式中、ｒ及びｈは、正定数である。λｉ （Ｅ，Ｉ）が利得である、
【0110】
【数21】
【0111】
は、シナプス電圧の指数関数形崩壊を調節し、入力コンダクタンスのスパイク時間依存スケーリングを模倣し、αｉ
（Ｅ，Ｉ）（ｔ）＝Ｂ（Ｅ，Ｉ）ｅ－ｔ／λｉ（Ｅ，Ｉ）を想定すると、ｉ番目の（興奮性又は抑制性）後シナプスニューロンのシナプス駆動を
【0112】
【数22】
【0113】
によって定義することができる。
【0114】
シナプス駆動は、シナプス強度を本質的に示す。ニューロンｉのシナプス駆動Γｉは、ニューロンｉを駆動する全てのシナプス要素の総伝達関数として理解され得、これは、例えば、ニューロンｉを駆動するシナプス要素の指数関数形崩壊値、重み、及び利得などの関数であることができる。（１）、（２）、及び（４）から、これは、
【0115】
【数23】
【0116】
ということになる。
【0117】
スパイクタイミング依存可塑性（ＳＴＤＰ）学習及び長期可塑性（Long－Term Plasticity、ＬＴＰ）を含む場合を考えた場合に、以下の境界及び変化
【0118】
【数24】
【0119】
を得、
式中、η＋及びη－は、ソフトな境界であり、すなわち、大きい重みについて、シナプス抑圧が、増強よりも優勢である。
式中、η＋及びη－は、ソフトな境界であり、すなわち、大きい重みについて、シナプス抑圧が、増強よりも優勢である。
【0120】
ニューロンは、スパイクの発生及びシナプス信号の送信の両方においてノイズを有する。ノイズは、ニューラルトランスミッタの量子的放出、イオンチャネルのランダムな開口、バックグラウンドニューラル活動の結合などから生じる。その後、ノイズは、ニューロン変動性を誘発して、環境刺激へのニューロン感度を増加させ、ニューロン間の同期に影響し、確率的推論を容易にする。
【0121】
連結性行列の要素ｗｉｊは、相関［ｗｉｊｗｊｉ］Ｊ＝ρを有するガウス分布から引き出され、式中、角括弧［・］Ｊは、ランダム接続の実現にわたる平均を示す。パラメータρは、接続の対称度を定量化し、すなわち、ρ＝０について、要素ｗｉｊ及びｗｊｉは独立し、連結性行列は完全に非対称であり、ρ＝１について、連結性行列は完全に対称であり、ρ＝－１について、連結性行列は完全に反対称である。対称度は、特定のネットワーク構成の発展、すなわち、構成が偶然の結果である可能性がどれくらいであるかを観察するために採用され得る。
【0122】
その後、時変遅延を有する確率的ニューラルネットワークの一般化外部同期の定義は、
【0123】
【数25】
【0124】
【数26】
【0125】
で拡張され得、
式中、ｘ及びｙは、特有のセルアセンブリ又はローカルクラスタを表し、すなわち、ｘネットワークは、駆動ネットワークを形成し、ｙネットワークは、応答ネットワークを形成する。したがって、駆動ネットワークｘは、応答ネットワークｙ内の応答を駆動する。セルアセンブリｙは、摂動を経験する。セルアセンブリは、互いに直接隣接して位置することができ、すなわち、駆動ネットワークｘの少なくとも１つの出力ニューロンは、応答ネットワークｙの少なくとも１つの入力ニューロンに直接接続され得る。セルアセンブリｘ及びセルアセンブリｙは、例えば、ネットワークの別個の層若しくは同じ層内に位置することができ、又はセルアセンブリｘ及びセルアセンブリｙは、いくつかのハードウェアによって分離され得、いくつかのハードウェアは、単一のスパイキングニューラルネットワークを有効に形成するように、２つのスパイキングニューラルネットワークを結合する。時間依存関数ω（ｔ）は、入力電圧におけるノイズを記述し、ブラウン運動、すなわち、ｎ次元の標準ウィーナー過程によって表される。本発明者らは、ノイズ強度関数σｉ（ｘ，ｙ，ｔ）が、リプシッツ条件を満たし、正定数ｐ，ｑが、トレース（σｉ Ｔσｉ）≦ｐｘＴｘ＋ｑｙＴｙであるように存在すると想定する。ニューロンの選択的刺激で、本発明者らは、興奮／抑制バランス、ネットワークダイナミクス、及び実行された計算などのいくつかの特定のニューラルネットワーク特徴をターゲットにすることができる。ここで、興奮／抑制バランスとは、ニューロンが、（スパースな）一致検出レジームにおいて最適に動作することができ、すなわち、シナプスの大部分が、興奮性であり、発火率が低いことと、ニューロンが、ほぼバランスのとれた興奮及び抑制で、並びに高い出力発火率で、バランスのとれたレジームにおいて最適に動作することができることとを指す。
式中、ｘ及びｙは、特有のセルアセンブリ又はローカルクラスタを表し、すなわち、ｘネットワークは、駆動ネットワークを形成し、ｙネットワークは、応答ネットワークを形成する。したがって、駆動ネットワークｘは、応答ネットワークｙ内の応答を駆動する。セルアセンブリｙは、摂動を経験する。セルアセンブリは、互いに直接隣接して位置することができ、すなわち、駆動ネットワークｘの少なくとも１つの出力ニューロンは、応答ネットワークｙの少なくとも１つの入力ニューロンに直接接続され得る。セルアセンブリｘ及びセルアセンブリｙは、例えば、ネットワークの別個の層若しくは同じ層内に位置することができ、又はセルアセンブリｘ及びセルアセンブリｙは、いくつかのハードウェアによって分離され得、いくつかのハードウェアは、単一のスパイキングニューラルネットワークを有効に形成するように、２つのスパイキングニューラルネットワークを結合する。時間依存関数ω（ｔ）は、入力電圧におけるノイズを記述し、ブラウン運動、すなわち、ｎ次元の標準ウィーナー過程によって表される。本発明者らは、ノイズ強度関数σｉ（ｘ，ｙ，ｔ）が、リプシッツ条件を満たし、正定数ｐ，ｑが、トレース（σｉ Ｔσｉ）≦ｐｘＴｘ＋ｑｙＴｙであるように存在すると想定する。ニューロンの選択的刺激で、本発明者らは、興奮／抑制バランス、ネットワークダイナミクス、及び実行された計算などのいくつかの特定のニューラルネットワーク特徴をターゲットにすることができる。ここで、興奮／抑制バランスとは、ニューロンが、（スパースな）一致検出レジームにおいて最適に動作することができ、すなわち、シナプスの大部分が、興奮性であり、発火率が低いことと、ニューロンが、ほぼバランスのとれた興奮及び抑制で、並びに高い出力発火率で、バランスのとれたレジームにおいて最適に動作することができることとを指す。
【0126】
摂動が発生したときに、ニューロン計算要素は、摂動符号、強度、及び位相に基づいてスパイクを作成し、すなわち、結合されたニューロンのクラスタ（セルアセンブリ）は、クラスタ相関入力からもたらされた位相差を保持することができる。周波数応答が変更された場合に、ニューロンのそれぞれは、スパイキングの位相を調整することに留意されたい。ノードｉについての適応型コントローラｕｉ（ｔ）は、
【0127】
【数27】
【0128】
として表され、
式中、Ｊ（Ｂｉ（．））は、ベクトル関数Ｂｉ（Γｘ，ｉ）のジョルダン行列であり、εｉ＝ｙｉ（ｔ）－Ｂｉ（Γｘ，ｉ（ｔ））は、同期誤差であり、ｋは、十分に大きい正定数である。したがって、適応型コントローラは、駆動ネットワークｘと応答ネットワークｙとの間の同期誤差が小さくなるように、応答ネットワークｙ内のニューロンのシナプス駆動を制御するために使用される。このようにして、同期は、駆動ネットワークｘと応答ネットワークｙとの間で発生する。上記のように、全体的な結合強度ｕは、ネットワークが、安定した活動レジームにおいて又は無秩序な活動レジームにおいて動作するかを定義する。より強い不均一性、例えば、セルアセンブリｘ及びセルアセンブリｙが同じ周波数で振動しないことは、同期性とは非常に異なりスパイク時間の明白な協調なしで完全に非同期であり得る状態を、常にもたらす。概して、より高い結合強度は、より多くの同期性をもたらす。
式中、Ｊ（Ｂｉ（．））は、ベクトル関数Ｂｉ（Γｘ，ｉ）のジョルダン行列であり、εｉ＝ｙｉ（ｔ）－Ｂｉ（Γｘ，ｉ（ｔ））は、同期誤差であり、ｋは、十分に大きい正定数である。したがって、適応型コントローラは、駆動ネットワークｘと応答ネットワークｙとの間の同期誤差が小さくなるように、応答ネットワークｙ内のニューロンのシナプス駆動を制御するために使用される。このようにして、同期は、駆動ネットワークｘと応答ネットワークｙとの間で発生する。上記のように、全体的な結合強度ｕは、ネットワークが、安定した活動レジームにおいて又は無秩序な活動レジームにおいて動作するかを定義する。より強い不均一性、例えば、セルアセンブリｘ及びセルアセンブリｙが同じ周波数で振動しないことは、同期性とは非常に異なりスパイク時間の明白な協調なしで完全に非同期であり得る状態を、常にもたらす。概して、より高い結合強度は、より多くの同期性をもたらす。
【0129】
このようにして、平均自己相関関数に基づく確率的ニューラルネットワークの一般化外部同期を確実にすることによる、セルアセンブリｙの構造次元数における増加（セルアセンブリｙ内で同期したニューロンの量における増加）が記述される。この記述は、不均一性、接続性のスパース性、及びノイズに対してロバストである機構を提供する。
【0130】
次に、（８）は、
【0131】
【数28】
【0132】
としての標準形態での線形確率微分方程式の系として定式化され得る。
【0133】
（１０）の解は、
【0134】
【数29】
【0135】
によって与えられ、
式中、Φ（ｔ，τ）は、状態遷移行列であり、状態遷移行列は、ｄΦ（ｔ，τ）／ｄｔ＝Ｅ（ｔ）Φ（ｔ，τ），Φ（τ，τ）＝Ｉｍの解としてのｔの関数として求められる、時間τと時間ｔとの間の力学系の時間発展を記述する。方程式（１１）を解くことは、確率
式中、Φ（ｔ，τ）は、状態遷移行列であり、状態遷移行列は、ｄΦ（ｔ，τ）／ｄｔ＝Ｅ（ｔ）Φ（ｔ，τ），Φ（τ，τ）＝Ｉｍの解としてのｔの関数として求められる、時間τと時間ｔとの間の力学系の時間発展を記述する。方程式（１１）を解くことは、確率
【0136】
【数30】
【0137】
積分を含む。確定行列関数Ｅ（ｔ）及び確定行列関数Ｆ（ｔ）が、対象の時間間隔内で有界である場合に、全ての初期値ベクトルΓ（ｔ０）について一意解が存在する。
【0138】
ニューロンスパイクのタイミング、例えば、ニューロン出力の時間的協調に加えて、ニューロンスパイク間の明確に定義されたタイムラグで一致してスパイクするニューロンは、感覚入力についての情報を伝達する。結果として、一致スパイキングで、ネットワークの内部状態は相関され得、具体的には、例えば、シーン内の視覚オブジェクトなどのコヒーレントなエンティティを形成する知覚コンテンツを表す、ニューロンサブ集団の同期群は相関され得る。
【0139】
ネットワーク活動は、平均自己相関関数（自己相関関数は、信号と、遅延の関数としての信号自体の遅延コピーとの相関である）Γ（ｔ）の１／Ｎ×｛ΣＥ［Γ（ｔ＋τ／２）Γ（ｔ－τ／２）Ｔ］｝に基づいて記述され得、式中、τは、遅延であり、平均は、ニューロン集団にわたる。Ｋ（ｔ）をΓの自己相関行列、すなわち、Ｅ［Γ（ｔ＋τ／２）Γ（ｔ－τ／２）Ｔ］として定義し、確率微分における
【0140】
【数31】
【0141】
の定理を使用し、その後、両方の側の期待値を取って、本発明者らは、微分リアプノフ行列方程式
【0142】
【数32】
【0143】
を得、
微分リアプノフ行列方程式についての解析解は、
微分リアプノフ行列方程式についての解析解は、
【0144】
【数33】
【0145】
の形態を有する。
【0146】
定常状態において、方程式（１２）は、
【0147】
【数34】
【0148】
として表され、
式中、下付きαは、定常状態値を示し、Ｅ及びＦは、確定行列関数Ｅ（ｔ）及び確定行列関数Ｆ（ｔ）を示す。定常状態は、安定した挙動を有するネットワークの状態を意味し、すなわち、システムの最近観察された挙動は、将来に継続する。定常状態における確率系において、様々な状態が反復する確率は、一定のままである。例えば、ネットワークが、直流のみを使用してアイドル状態にあるときに、定常状態は出現する。定常状態共分散関数は、以下、ｔ≦ｔ’である場合に、
式中、下付きαは、定常状態値を示し、Ｅ及びＦは、確定行列関数Ｅ（ｔ）及び確定行列関数Ｆ（ｔ）を示す。定常状態は、安定した挙動を有するネットワークの状態を意味し、すなわち、システムの最近観察された挙動は、将来に継続する。定常状態における確率系において、様々な状態が反復する確率は、一定のままである。例えば、ネットワークが、直流のみを使用してアイドル状態にあるときに、定常状態は出現する。定常状態共分散関数は、以下、ｔ≦ｔ’である場合に、
【0149】
【数35】
【0150】
であり、
ｔ＞ｔ’である場合に、
ｔ＞ｔ’である場合に、
【0151】
【数36】
【0152】
としてあるように、得られる。
【0153】
数値解を得るために、方程式（１２）は、任意の線形多段階公式（例えば、台形法、後退微分公式、又はルンゲクッタ法）などの好適なスキームを使用して、時間において離散化される必要がある。後退オイラー（１次の後退微分公式）を使用して、微分リアプノフ行列方程式（１２）は、連続時間代数リアプノフ行列方程式
【0154】
【数37】
【0155】
と称される特別な形態で記述され得る。
【0156】
ここで、ｔｒ＝ｔ（ｒ－１）＋ｈｒであり、式中、ｈｒは、数値積分時間ステップである。時点ｔｒのそれぞれにおいて、数値法は、厳密解への近似値を計算することができる。更に、行列Ｑｒ及び行列Ｐｒはそれぞれ、確定行列関数Ｅ及び確定行列関数Ｆの（時間における）離散化バージョン（数値積分法）である。
【0157】
Ｐｒが、スパースな大スケールである場合に、及びＱｒが、低ランクのものである場合に、本発明者らは、方程式（１７）をクリロフタイプの方法で解く。本発明者らは、
【0158】
【数38】
【0159】
及び
【0160】
【数39】
【0161】
を求めることによって、低ランク解を計算し、これにより、Ｋ（ｔｒ）＝ＵＯＵＴであり、式中、Ｕは、直交行列である。
【0162】
【数40】
【0163】
から出発して、
これは、Ｕの直交性を使用することによって、誘導型リアプノフ方程式（reduced Lyapunov equation）
これは、Ｕの直交性を使用することによって、誘導型リアプノフ方程式（reduced Lyapunov equation）
【0164】
【数41】
【0165】
を導き、
近似値は、ガレルキン条件の適用によって計算され、すなわち、Ｕが与えられると、本発明者らは、ガレルキン直交条件ＵＴＲ（ＵＯＵＴ）Ｕ＝０を課すことによって、Ｏを計算し、ここで、Ｒ（ＵＯＵＴ）：＝Ｐｒ（ＵＯＵＴ）＋（ＵＯＵＴ）Ｐｒ Ｔ＋ＱｒＱｒ Ｔは、ＵＯＵＴに関連付けられた残差である。
近似値は、ガレルキン条件の適用によって計算され、すなわち、Ｕが与えられると、本発明者らは、ガレルキン直交条件ＵＴＲ（ＵＯＵＴ）Ｕ＝０を課すことによって、Ｏを計算し、ここで、Ｒ（ＵＯＵＴ）：＝Ｐｒ（ＵＯＵＴ）＋（ＵＯＵＴ）Ｐｒ Ｔ＋ＱｒＱｒ Ｔは、ＵＯＵＴに関連付けられた残差である。
【0166】
これは、例えばバーテルススチュワート法で直接解かれ得る小さい密なリアプノフ方程式である。密なＰｒについて、本発明者らは、方程式（１７）を、有理行列関数に関連する、反復法の低ランクバージョンで解く。ｉ＝１，２，．．．についてのリアプノフ方程式（１７）についての仮定された反復は、Ｋ（０）＝０と、
【0167】
【数42】
【0168】
とによって与えられ、
式中、γｉは、反復シフトパラメータである。効率的な実装のために、反復を、反復のコレスキー係数、すなわち、Ｋｉ＝ＬｉＬｉ Ｈで置き換えることができ、係数Ｌｉに関して再定式化することができる。
式中、γｉは、反復シフトパラメータである。効率的な実装のために、反復を、反復のコレスキー係数、すなわち、Ｋｉ＝ＬｉＬｉ Ｈで置き換えることができ、係数Ｌｉに関して再定式化することができる。
【0169】
したがって、これは、方程式（１２）への時変解についての数学的記述を与える。これらは、例えば、安定した挙動を示さないネットワークであり、該ネットワークについて、ニューロンの活動は、経時的に変動する。
【0170】
周期定常状態解について（１つ存在する場合に）、全てのｔについて、Ｅ（ｔ＋ｋＴ）＝Ｅ（ｔ）及びＦ（ｔ＋ｋＴ）＝Ｆ（ｔ）であり、
【0171】
【数43】
【0172】
であり、ある期間について、Ｔ＞０である。方程式（１２）についての初期条件Ｋ０は、
【0173】
【数44】
【0174】
として表されるＫ（Ｔ）＝Ｋ０を設定することによって、方程式（１３）を満たし、
ここで、
ここで、
【0175】
【数45】
【0176】
であり、
これは、方程式（１２）を初期条件Ｋ（０）＝０で数値的に積分することによって、計算され得る。方程式（２１）は、行列Ｋ０のエントリについての代数線形方程式の系であり、この形態の方程式は、離散時間系についてのリアプノフ安定性理論からの該方程式の起源に起因して、離散時間代数リアプノフ行列方程式と通常称される。方程式（２１）は、連続時間代数リアプノフ行列方程式についてのバーテルススチュワートアルゴリズムで数値的に解かれ得る。
これは、方程式（１２）を初期条件Ｋ（０）＝０で数値的に積分することによって、計算され得る。方程式（２１）は、行列Ｋ０のエントリについての代数線形方程式の系であり、この形態の方程式は、離散時間系についてのリアプノフ安定性理論からの該方程式の起源に起因して、離散時間代数リアプノフ行列方程式と通常称される。方程式（２１）は、連続時間代数リアプノフ行列方程式についてのバーテルススチュワートアルゴリズムで数値的に解かれ得る。
【0177】
したがって、上記の方程式（１４）～（１６）は、定常状態数値解を記述し、方程式（１７）～（２０）は、時変数値解を記述し、最後に、方程式（２１）～（２２）は、周期定常状態数値解を記述した。これらの解は、スパイキングニューラルネットワークのネットワーク活動に関してスパイキングニューラルネットワークを記述し、すなわち、線形化解を記述し、線形化解は、スパイキングニューラルネットワークのセルアセンブリ又は他のローカルクラスタ内のニューロンのそれぞれについてのシナプス駆動を記述する。ローカルクラスタは、ネットワークの現在の状態に依存して、定常状態解、時変数値解、及び／又は周期定常状態数値解に従うことができる。
【0178】
したがって、スパイキングニューラルネットワーク内で、又はスパイキングニューラルネットワーク内のニューロンのサブセット内で、例えば、スパイキングニューラルネットワーク内のセルアセンブリ若しくは他のローカルクラスタ内で同期振動を得るために、同期振動挙動を有する異なるニューロンのネットワーク駆動は、方程式（２１）～（２２）に従う必要がある。スパイキングニューラルネットワーク内の特定のニューロンのシナプス駆動は、例えば、ニューロンに接続されたシナプス要素の重みのそれぞれを変動させることによって、ある信号がニューロンの膜電位を増加若しくは減少させる様式を構成することによって、ニューロンの膜電位が静止電位に向かって自然に減衰するのにかかる時間を構成することによって、ニューロンの静止電位の値を変化させることによって、及び／又はニューロンのスパイキングをトリガする閾値を変化させることによって、調整可能である。
【0179】
時間における特定のインスタンスにおけるシナプス駆動の値を定義するパラメータは、反復プロセスを介して、例えば、ソフトウェアを使用して最適化され得る。これは、ハードウェアのシミュレーションを介して行われてもよく、又はハードウェア実装及び出力の研究を介して直接行われてもよい。したがって、ネットワークは、特定のセルアセンブリが、同期振動挙動を記述する方程式に従うように、訓練され得る。
【0180】
換言すれば、駆動ネットワークｘが、所定の周波数で振動しており、応答ネットワークｙが、周期定常状態解を支配する方程式（２１）～（２２）に従うことを可能にするように、応答ネットワークｙがマッピングされており、駆動ネットワークｘと応答ネットワークｙとの間の接続強度が十分に強いときに、応答ネットワークｙは、方程式（２１）～（２２）によって支配された様式で振動する。次いで、振動周期は、所定の振動周期Ｔである。これは、応答ネットワークｙ内のニューロンのセットの確率分布活動又は統計パラメータが、駆動ネットワークｘが振動している周波数で周期定常であることを意味する。
【0181】
結合強度が十分に強くない場合に、応答ネットワークｙ内のニューロンのセットの確率分布活動又は統計パラメータは、定常又は非定常であり得る。駆動ネットワークｘと応答ネットワークｙとの間の結合を十分に強くする結合強度の値は、入力信号への特定の応答が得られるような所定の値であり得る。これは、アプリケーションごとに基づいて判定され得る。
【0182】
概して、駆動ネットワークｘは、応答ネットワークｙよりも、スパイキングニューラルネットワークへの入力として機能するセンサ又は他のデバイスから到来する入力信号に近いと考えられる。概して、これは、スパイク列が応答ネットワークｙによって処理される前に、スパイク列は、応答ネットワークｙを駆動するように駆動ネットワークｘによって処理されるためである。
【0183】
入力エンコーダは、サンプリングされた入力信号を時空間スパイク列に変換する。入力エンコーダの出力ニューロンのそれぞれは、時間スパイク列である出力信号を形成する。入力エンコーダは、特定の構成によって構成されており、特定の構成において、例えば、入力エンコーダのシナプス要素の重みが設定される。複数の入力エンコーダは使用され得る、入力信号周波数領域の複数の周波数範囲にわたって分割された、複数の入力エンコーダの実装。
【0184】
駆動ネットワークｘは、入力エンコーダであることができる。駆動ネットワークｘは、入力エンコーダに接続され得、これにより、入力エンコーダの出力信号である時空間スパイク列は、駆動ネットワークによって処理され、時空間スパイク列を駆動ネットワークｘ内に生じさせる。これらの時空間スパイク列は、スパイキングニューラルネットワークへのサンプリングされた入力信号内の特定の周波数を符号化するため、時空間スパイク列は、駆動ネットワークｘの特定のニューロン内に特定の周波数で発生する。これは、駆動ネットワークｘもこの特定の周波数で振動し得ることを意味するが、これは必要でない。
【0185】
駆動ネットワークｘ及び応答ネットワークｙは結合されているため、駆動ネットワークｘによって処理された時空間スパイク列は、次いで、応答ネットワークｙによって処理される。結果として、応答ネットワークｙは、定常、非定常、又は周期定常になり得、すなわち、応答ネットワークｙ内のニューロンのセットの確率分布活動又は統計パラメータは、定常、非定常、又は周期定常である。
【0186】
定常及び非定常の２つは、駆動ネットワークｘと応答ネットワークｙとの間の弱い結合強度、又は所定の周波数で時空間スパイク列の形態の入力信号を提供しない駆動ネットワークｘのいずれかの結果であり得る。
【0187】
したがって、周期定常の結果は、駆動ネットワークｘと応答ネットワークｙとの間の十分に強い結合強度と、所定の周波数で時空間スパイク列の形態で入力信号を提供する駆動ネットワークとの結果であり得る。
【0188】
同期振動するセルアセンブリが振動する周波数は、正入力定数であり、セルアセンブリがどの周波数に高感度である必要があるかに基づいて選択され得る。原則として、ローカルクラスタが振動することが可能である任意の周波数は、所定の周波数であることができる。
【0189】
ローカルクラスタ又はセルアセンブリ内の全てのニューロンは、正確に同じモーメントでスパイクする必要がなく、すなわち、完全に同期する必要がない。スパイキングの確率は、ニューロンが同じ時間で発火する可能性がよりあり得るように律動的に変調されてもよく、これは、振動をニューロンの平均活動において生じさせる。したがって、ローカルクラスタ又はセルアセンブリ内の大スケールな振動の周波数は、ローカルクラスタ又はセルアセンブリ内の個々のニューロンのそれぞれの発火パターンに一致する必要がない。
【0190】
同期振動するローカルクラスタ又はセルアセンブリ内のニューロンはまた、互いのある時間範囲内でスパイクし得、例えば、全てのニューロンは、振動周期の１０パーセントである時間範囲内で、又は振動周期の１パーセント以内である時間範囲内で、又は振動周期の０．１パーセント以内である時間範囲内で、又は振動周期の０．０１パーセント以内である時間範囲内でスパイクする。
【0191】
概して、スパイキングニューラルネットワークは最初に、スパイキングニューラルネットワークのタイミング要件を満たすように修正される。ローカルクラスタは、所定の周波数を中心とする周波数範囲内で動作することができ、範囲の中心からの距離は、３シグマ変動であり得る。範囲の中心からの他の距離は、１シグマ変動又は２シグマ変動であり得る。次に、ある時間範囲内の同期は、上記のように確率密度関数によって定義され得る。次いで、特定のシグマを選択することは、ある時間範囲をもたらすことができる。
【0192】
このある時間範囲内でスパイクする、ローカルクラスタのニューロンの数は、ローカルクラスタ内のニューロンの総数の５０パーセント以上、より好ましくは、７５パーセント以上、より好ましくは、９０パーセント以上、より好ましくは、９５パーセント以上、より好ましくは、９７．５パーセント以上、より好ましくは、９９パーセント以上であり得る。
【0193】
図２は、学習スパイキングニューラルネットワーク１１０を備えるマイクロコントローラ集積回路１００の高レベルアーキテクチャの一実施形態を示す。この文脈において、マイクロコントローラ１１０は、データ収集、感知、パターン認識、及び物理的信号の作動の経済的な手段である。スパイキングニューラルネットワーク内で、個々のニューロンは、スパースなイベント又はスパイクにより非同期的に通信する。スパイキングニューラルネットワークシステムは、ニューロシナプスコアを含むスパイク積分器の配列として実装される。学習スパイキングニューラルネットワークの１つの可能な実装は、国際公開第２０２０／０９９６８０（Ａ２）号に記載されている。
【0194】
スパイキングニューラルネットワーク１１０は、１つ以上のストリーミング入力データポート１１１に接続されており、１つ以上のストリーミング入力データポート１１１は、時空間スパイク列に変換される入力をスパイキングニューラルネットワーク１１０に提供する。スパイキングニューラルネットワーク１１０は、１つ以上の出力ポート１１２に接続されている。メモリマップド制御及び構成インターフェース１１３は、スパイキングニューラルネットワーク１１０の構成パラメータ、例えば、シナプス重み及び／又はニューロン構成を制御し、とりわけ、周辺機器（例えば、Ａ／Ｄ変換器、Ｄ／Ａ変換器、バンドギャップ、ＰＬＬ）と、ニューロン、シナプス及び可塑性（学習）回路の制御及び適応のための回路とを更に含むことができる。インターフェース１１３は、スパイキングニューラルネットワーク１１０のための設定が保存されているメモリデバイス１０２を読み出し、ハードウェアを適宜設定するために信号をスパイキングニューラルネットワーク１１０に送る。インターフェース１１３は、アナログ信号をスパイキングニューラルネットワーク１１０に送ることができる。設定は、スパイキングニューラルネットワーク１１０のニューロン１のそれぞれの若しくはシナプス要素２の構成パラメータ、又はネットワークトポロジーを含むことができる。
【0195】
ニューロン１のそれぞれは、該ニューロン１の正確な発火挙動を制御する構成パラメータのセットを有することができる。例えば、ニューロンは、発火閾値で設計され得、発火閾値は、入力を受信した結果としてニューロン内に累積する電圧、エネルギー、又は他の変数の閾値を表し、累積変数が、発火閾値を満たす又は発火閾値を超えるときに、ニューロンは、（電圧、電流、又はエネルギースパイクなどの）出力スパイクを生成する。ニューロンは、積分関数を実装し得、積分関数は、累積変数への調整を判定するために、ニューロンへの入力を積分する。加えて、ニューロンはまた、（ａ）ニューロン内の累積変数が経時的に減衰する速度を表す漏れ速度、（ｂ）ニューロンへの入力信号の非存在下で累積変数が経時的に減衰する値を表す、累積変数の静止値、（ｃ）ニューロン内の累積変数における増加を判定するために入力信号が経時的に積分される時間を表す積分時定数、（ｄ）ニューロンの発火直後のニューロン内の累積変数の値を表す不応レベル、（ｅ）ニューロンの発火後にニューロン内の累積変数が静止値へ上昇するのに必要とされる期間を表す不応期で設計されてもよい。これらのパラメータは、ニューロンのそれぞれについて、所定のパラメータ、及び／又は構成可能パラメータ、及び／又は調整可能パラメータであり得る。重要な入力信号特徴のエネルギー容量に一致するように、例えば、ニューロンの発火閾値、漏れ速度、積分時定数、及び不応期を調整することによって、ニューロン１は、該特徴を含む入力信号で刺激されたときに、１つ以上の正確なタイムドスパイクを生成する。
【0196】
シナプス要素２の構成パラメータは、シナプス要素２の重みと、シナプス要素２の利得とを含む。シナプス要素２の重みは、典型的には、シナプス要素２を調整するために使用され、シナプス要素２の利得は、ハードウェアにおける信号の増幅のために使用され、典型的には、ローパスフィルタ実装に関する。典型的には、利得は、ネットワーク１１０の初期化において固定されるが、重みは、スパイキングニューラルネットワーク１１０の発展／訓練に基づいて変化することができる。
【0197】
マイクロコントローラ集積回路１００は、集積回路１００の計算及び制御を実行するためのマイクロプロセッサコア１０１を更に備える。例えば、マイクロプロセッサコア１０１は、メモリマップド制御及び構成インターフェース１１３とメモリデバイス１０２との間の通信を監督することができる。
【0198】
メモリデバイス１０２は、任意のコンピュータ可読記憶媒体であることができる。メモリデバイス１０２は、非一時的記憶媒体であり得る。例示的なコンピュータ可読記憶媒体は、（ｉ）情報が永続的に記憶され得る非書き込み可能記憶媒体（例えば、コンピュータ内の読み取り専用メモリデバイス、例えば、ＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、ＲＯＭチップ、又は任意のタイプのソリッドステート不揮発性半導体メモリ）と、（ｉｉ）変更可能な情報が記憶され得る書き込み可能記憶媒体、例えば、ハードディスクドライブ又は任意のタイプのソリッドステートランダムアクセス半導体メモリ、フラッシュメモリとを含むが、これらに限定されない。
【0199】
外部バス１０４は、１つ又は複数のセンサ又は他のデータソース１０３に接続されている。マイクロコントローラ集積回路１００はまた、センサ１０５に直接取り付けられ得る。センサは最初に、アナログデジタル変換器１０６を通過することができる。１つ又は複数のシリアル入力／出力ポート１０７、及び汎用入力／出力ポート１０８は、マイクロコントローラ集積回路１００に存在し得る。外部装置の直接アクセスは、直接メモリアクセス（Direct Memory Access、ＤＭＡ）１０９によってマイクロコントローラ集積回路１００のメモリに配置され得る。
【0200】
ＳＮＮコアは、混合アナログデジタル計算プラットフォームを採用してもよく、すなわち、スパイク列は、アナログ情報をイベントのタイミング内に組み込み、その後、スパイク列は、シナプス行列の入力においてアナログ表現に変換されて戻される。
【0201】
本発明に開示のニューロシナプスコアは、シナプス回路及びニューロンユニットの反復配列として組織化され得、ここで、ユニットのそれぞれは、セルアセンブリを形成することができる。システムは、電子シナプスの存在を配列の接合部において組み込む。配列の周辺は、生物学的ニューロンの細胞体及び軸索丘の作用を模倣するシナプス回路の行を含む。更に、配列内のニューロシナプスコアのそれぞれは、ローカルルータを有することができ、ローカルルータは、専用リアルタイム再構成可能ネットワークオンチップ内の他のコアのルータと通信する。
【0202】
本発明における分類器は、出力ニューロンのセット（分類クラスのそれぞれについて１つ）を有することができ、出力ニューロンのそれぞれは、出力ニューロンのそれぞれの発火確率分布に従って、発火してイベント（スパイク）を生成する。ニューロシナプス計算要素は、ターゲット信号処理機能を支援することができる特定の特徴に向かって拡張可能な複雑な時空間ダイナミクスを生成することができる。
【0203】
ニューロンスパイキング特性は、特定のパラメータセットにより制御される。ニューロンは、（周波数）帯域通過デバイスとして機能し、（周波数）帯域通過デバイスにおいて、位相ロック状態は、ニューロン周波数適応ダイナミクス及びスパイク周波数適応ダイナミクスの両方の時定数に関連付けられた周波数で発生する。ここで、帯域通過デバイスは、帯域通過フィルタとして、すなわち、指定された（設計された）周波数帯域（範囲）内の信号のみを処理するとして理解され得る。スパイク周波数適応機構は、感覚信号処理についての特定の結果、例えば、刺激パラメータにおける変化を強調すること、スパイキング周波数飽和を防止すること、又は特定の刺激特徴への周波数応答を調整することをもたらす。ニューロシナプス要素のトポロジーは、自発的ニューロンスパイキングの規則性、例えば、発火率スケーリング因子及び固有ノイズの強度を制御して、コヒーレンス／周波数発生をもたらす。
【0204】
本発明は、ニューロシナプスコアが、過渡同期、ホメオスタシス調節、不均一学習規則、重み記憶タイプ、及び通信プロトコルをシナプス行列に適用することができることを包含する。
【0205】
一実施形態では、ニューロシナプスコアは、均一学習規則を実装する単一コアとして組織化され得る。別の実施形態では、シナプス行列の異なる領域は、過渡同期に依存して、不均一学習規則で構成され得る。シナプス行列のこの領域のサイズは、特殊化された回路を作成するように設計時に構成可能であり、又はランタイムに動的に構成可能であり、ここで、配列は、シナプス回路の不均一クラスタリングを有し、クラスタのそれぞれは、例えば、異なる学習規則を実装する。
【0206】
この不均一クラスタリングは、過渡同期性に基づいてニューロンユニットのそれぞれをシナプス行列の判定されたクラスタにマッピングするために、同期マッピング及び／又は合成アルゴリズムを必要とし得る。一般性の喪失なしに、適応型スパイキングニューラルネットワークは、例えば、レーダ、ライダ、及び生体物理信号推論のための、推論信号プロセッサへのランタイム物理信号の実装を可能にする。
【0207】
図３は、適応型スパイキングニューラルネットワークを有する例示的なランタイム物理信号推論信号プロセッサ２００を概略的に示す。図示のように、システム２００は、並列適応型チャネル選択器及び抽出器２０３のセットを含むことができ、並列適応型チャネル選択器及び抽出器２０３のセットにおいて、チャネルのそれぞれ又はチャネルのサブセットのそれぞれは、時間における任意の所与のモーメントで、特定の信号処理タスクに基づいて活性化され得る。
【0208】
物理信号２０１は、プロセッサ２００に入り、特定の信号処理タスクに基づいて、選択器及び抽出器２０３は、プロセッサ２００への入力として機能する特定の信号特徴形態物理信号２０１を選択及び抽出する。選択器及び抽出器を備える特徴選択及び抽出モジュール２０２の適応性は、特定の処理タスクに基づいて、異なる信号特徴が選択及び抽出され得ることを意味する。システムがこのようにしてより多用途になるため、これは重要である。異なるアプリケーションは、しばしば、完全に異なる信号特徴を必要とし、例えば、画像の解析は、心電図の解析とは異なる様式で行われ、画像ですら、画像から得たい情報に基づいて異なる様式で解析され得る。プロセッサ２００は適応型であるため、プロセッサ２００は、多くのアプリケーションのために使用され得る。
【0209】
次に、特徴選択及び抽出モジュール２０２から到来する異なる信号は、マルチプレクサ及び前処理段２０４を通過することができる。ここで、前処理（例えば、フィルタリング、増幅など）され単一の出力ラインで転送された特徴セット。いくつかの場合に、信号の前処理は必要でないことがある。
【0210】
適応型チャネル選択器及び抽出器からの特徴セットは、ＳＮＮ情報プロセッサ２０５に提供され、ＳＮＮ情報プロセッサ２０５は、前処理された信号の分類及び処理を実行し、アプリケーション特化信号情報推定を実行し、アプリケーション特化信号情報推定は、センサ波形、すなわちセンサ特化信号の完全な再構築の必要性を排除する。これは、エネルギー効率における著明な改善を提供する。特徴は、利得、帯域幅、ノイズフィルタリング、変動性境界などのいくつかのパラメータに沿って、ランタイムに活性化及び構成され得る。次いで、ＳＮＮから出力として到来する情報又は推論メトリック２０６は、特定のアプリケーションによって使用され得る。
【0211】
推論精密性は、信号ダイナミクス又は信号干渉などの環境条件に依存する。ランタイムに、動作設定及び条件ブロック２０７は、現在の動作コンテキストを確立し、結果として、最適な特徴セットを確立する。フィードバックループは、電力性能設計空間内でチャネル仕様を動的に適応させる。その後、ランタイム構成実行ユニットは、関連する設定のみを活性化及び構成する。
【0212】
処理タスク２０９及びパラメータ化された性能設定２１０にわたる訓練及びテストデータに基づいて、学習及び信号処理タスクのサブセット、例えば、ノイズフィルタリング、変動性境界、チャネル同期が選択され得る２０８。
【0213】
ニューロモルフィックシステムは、興奮性／抑制性ネットワーク相互作用条件、入力パターンにおける不均一性、及びニューロシナプス要素時空間ダイナミクスに依存して、広範囲のパターン活動、例えば、完全同期性、クラスタ又は非同期状態を表示し、図４及び図５を参照されたい。
【0214】
図４は、スパイク適応機構の公称値を左端の２つのグラフに示し、中央の２つのグラフに示された、ナトリウム（Ｎａ）及びカリウム（Ｋ）コンダクタンス活性化及び不活性化ダイナミクスをそれぞれモデル化する信号生成及び不応期機構における変動性を示し、同様のレベルの挿入された変動性を有するニューロンスパイクを右端のグラフに示す。
【0215】
図５は、異なる同期セルアセンブリ５０１～５１２を有するネットワークを示す。ネットワーク内の異なる位置において、いくつかのローカルクラスタ５０１～５１２が図示されており、いくつかのローカルクラスタ５０１～５１２は、同期挙動を表し、これらのニューロンは、同期振動し、例えば、同じ周波数でスパイクする。異なるローカルクラスタ５０１～５１２の挙動は、ネットワーク内のローカルクラスタ５０１～５１２のそれぞれについての要件に基づいて異なり得る。ＳＮＮは、適応型であり得、したがって、ローカルクラスタ５０１～５１２は、例えば、振動周波数を変化させることができ、又は単一のローカルクラスタ内に含まれたニューロンさえも変化することができる。
【0216】
【0217】
図６は、特定の時間範囲について、セルアセンブリ内のスパイキングニューロンの振動シンクロニシティにおける増加を示す。上のグラフで理解され得るように、スパイクは、時間においてますます局所化されるようになる。下のグラフでは、ニューロンが、振動周期内の同じ時間窓内でますますスパイクすることが理解され得る。中央のグラフで理解され得るように、セルアセンブリは、０パーセントに近づくシンクロニシティの量で開始するが、特定の時間範囲の終了において、シンクロニシティは、約８０パーセントに近づいている。アプリケーションに依存して、シンクロニシティの量は、更に増加し得る。
【0218】
図７は、非調節状態を上部に示し、調節状態を下部に示し、左側の２つのグラフは、個々のニューロンの経時的な活動を示し、右側の２つのグラフは、（非）調節ネットワークのネットワーク活動を示す。
【0219】
調節ネットワークは、同期振動挙動を示す。したがって、ネットワーク活動は、はるかにより局所化され、実質的に全てのニューロンは、振動周期内の特定の時間窓内でスパイクする。これは、対照的に、ネットワーク活動がほとんどランダムである上のグラフの非調節ネットワーク状態と。
【0220】
持続時間選択性曲線は、スパイク待機時間及び結果的な待機時間曲線における不均一性と争うために、非対称である。ターゲット周波数への位相ロック強度は、該曲線の離調パラメータ、例えば、初期周波数を変更することによって、制御される。シナプス結合により設定された初期過渡ダイナミクスは、ネットワークを定常動的レジームに案内する。結合の増加で、個々に発火するニューロンのアンサンブルからコヒーレントな同期ネットワークへの遷移が発生する。
【0221】
情報伝達に加えて、過渡同期性が（制御された）ターゲット周波数間の（瞬時）位相関係をとらえる程度が、検査された。ニューロンは、時間ロックパターンを生成し、コンダクタンス遅延及び可塑性規則間の相互作用に起因して、ネットワークは、再現可能な正確な発火シーケンスを有するニューロン群のセットを形成することができ、再現可能な正確な発火シーケンスは、活性化パターンを条件とする。コンダクタンスが増加するにつれて（結果として、ネットワークへの正味興奮をもたらす）、発火率は、増加することができ、より低い変動係数でより均一になることができる。低周波数同期挙動の同調化は、位相の再組織化を含み、このため、最適な位相、すなわち、最も興奮性の位相が、進行中の入力刺激におけるイベントの時間特性と整合する。したがって、入力信号特徴からの信号とローカルクラスタの発火との間の位相差は、位相ロックに起因して消失する。シナプス電流のシーケンス、すなわち、外向き電流、内向き電流は、個々のニューロン内の活動電位の生成における時間ジッタを減少させ、結果として、同期活動及びホメオスタシス調節の制御性の増加を有するネットワークを作成する。
【0222】
このようにして、スパイキングニューラルネットワーク内のセルアセンブリの同期振動を使用して、ネットワークは、（変換された）入力信号内の特定の周波数に高感度になる。
【0223】
本発明は、マッピング方法の実装に関し、マッピング方法は、確率的セルアセンブリの時間ダイナミクスを最適化し、スパイキングニューラルネットワーク内の情報伝送を向上させるセルアセンブリの同期を可能にする。
【0224】
本発明は、システム時間遅延及び確率的入力妨害での興奮性及び抑制性スパイキングネットワークについての確率的シナプス駆動発火率の同期のための方法に更に関する。
【0225】
本発明は、確率的ニューラルネットワークの一般化外部同期を平均自己相関関数に基づいて確実にすることによって、セルアセンブリ構造次元数における増加を更に実現し、不均一性、接続性のスパース性、及びノイズに対してロバストである機構を提供する。
【0226】
本発明は、同期性機構を更に実装し、同期性機構は、ヘブ学習、すなわち、相関入力が強化される傾向があること（スパイクタイミング依存可塑性）などのヘドニスティックアプローチと互換性がある。
【0227】
本発明は、スパイキングニューラルネットワーク情報プロセッサシステムを更に実装し、スパイキングニューラルネットワーク情報プロセッサシステムは、アプリケーション特化信号情報推定を実行し、アプリケーション特化信号情報推定は、センサ波形の完全な再構築の必要性を排除する。
【0228】
本発明は、時空間的に無秩序な活動パターンからパルス活動へのシステム固有遷移のための手順に更に関し、これは、刺激における構造若しくは感覚不変量、又はシーンにおける視覚オブジェクトなどの、コヒーレントエンティティを形成するコンテンツを表し、ニューラル回路がディストラクタの存在下で関連情報を現実的な感覚刺激から抽出することを可能にする。
【0229】
本発明は、計算要素を更に実装し、計算要素は、複雑な時空間ダイナミクスを生成することが可能であり、複雑な時空間ダイナミクスは、ネットワーク活動の位相ロックに加えて、時間依存計算を実行するために、周波数応答における変化及びスパイキングの位相の結果的な調整などの特定の特性に向けて拡張され得る。
【0230】
１つ以上の実施形態は、コンピュータシステムと共に使用するためのコンピュータプログラム製品として実装されてもよい。プログラム製品のプログラム（複数可）は、（本明細書に記載の方法を含む）実施形態の機能を定義することができ、様々なコンピュータ可読記憶媒体に含まれ得る。コンピュータ可読記憶媒体は、非一時的記憶媒体であってもよい。例示的なコンピュータ可読記憶媒体は、（ｉ）情報が永続的に記憶され得る非書き込み可能記憶媒体（例えば、コンピュータ内の読み取り専用メモリデバイス、例えば、ＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、ＲＯＭチップ、又は任意のタイプのソリッドステート不揮発性半導体メモリ）と、（ｉｉ）変更可能な情報が記憶され得る書き込み可能記憶媒体、例えば、ハードディスクドライブ又は任意のタイプのソリッドステートランダムアクセス半導体メモリ、フラッシュメモリとを含むが、これらに限定されない。
【0231】
上記の実施形態のうちの２つ以上は、任意の適切な様式で組み合わせられてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】