特許 6227565 スパイキングニューラル計算のための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6227565

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】スパイキングニューラル計算のための方法および装置

(51)【国際特許分類】

   G06N 3/04 20060101AFI20171030BHJP

   G06N 3/08 20060101ALI20171030BHJP

【ＦＩ】

   G06N3/04 190

   G06N3/08 120

【請求項の数】15

【全頁数】92

(21)【出願番号】特願2014-556696(P2014-556696)

(86)(22)【出願日】2013年2月7日

(65)【公表番号】特表2015-510195(P2015-510195A)

(43)【公表日】2015年4月2日

(86)【国際出願番号】US2013025225

(87)【国際公開番号】WO2013119872

(87)【国際公開日】20130815

【審査請求日】2016年1月8日

(31)【優先権主張番号】13/369,095

(32)【優先日】2012年2月8日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】ハンジンジャー、ジェイソン・フランク

(72)【発明者】

【氏名】アパリン、ブラディミル

【審査官】 多賀 実

(56)【参考文献】

【文献】 特開平０７−２６２１５７（ＪＰ，Ａ）

【文献】 特開２００２−００８０３２（ＪＰ，Ａ）

【文献】 元木誠，外２名，「パルスニューラルネットワークのための入出力パルスのタイミングを調節する教師あり学習則」，電子情報通信学会技術研究報告 ニューロコンピューティング，社団法人電子情報通信学会，２００４年１０月１１日，第104巻，第348号，pp.1-6

【文献】 Michael Schmitt，"On computing Boolean functions by a spiking neuron"，Annals of Mathematics and Artificial Intelligence，DO，Kluwer Academic Publishers，１９９８年 ３月 １日，Vol.24, No.1-4，pp.181-191

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ３／０２−３／１０

(57)【特許請求の範囲】

【請求項1】

スパイキングニューラルネットワークを使用して学習する方法であって、
１つまたは複数の学習人工ニューロンの各々において、論理入力のセットを与えることと、ここにおいて、真の因果的論理関係が論理入力の前記セットに課される、
論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、
前記１つまたは複数の学習人工ニューロンの各々について、前記受信された入力スパイクを使用して前記論理入力の各々に関連する遅延を調整することであって、その結果、前記学習人工ニューロンが、前記真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延に合う出力スパイクを放出することと、
を備える上記方法。

【請求項2】

前記１つまたは複数の学習人工ニューロンの各々について、前記調整することの前に前記論理入力の各々に関連する前記遅延を初期化することをさらに備える、請求項１に記載の方法。

【請求項3】

前記１つまたは複数の学習人工ニューロンの各々において、論理入力の前記セットを与えることが、複数の論理入力を備えるグループから論理入力の各セットを選択することを備える、請求項１に記載の方法。

【請求項4】

前記グループが前記複数の論理入力の複数の否定をさらに備え、ここにおいて、論理入力の各セットを選択することが、前記複数の論理入力と前記複数の否定とを備える前記グループから論理入力の各セットを選択することを備える、請求項３に記載の方法。

【請求項5】

入力人工ニューロンとして前記複数の論理入力の各々をモデル化することと、
前記複数の論理入力の各々について、１つまたは複数の否定ベクトルのうちの少なくとも１つが前記論理入力のための否定表示を有する場合、前記論理入力の否定を表す否定人工ニューロンを与えることと、ここにおいて、論理入力の各セットが前記否定ベクトルのうちの１つに従って選択される、
をさらに備える請求項３に記載の方法。

【請求項6】

各学習人工ニューロンが前記否定ベクトルのうちの１つに対応し、ここにおいて、前記複数の論理入力の各々について、前記入力人工ニューロンのまたはそれの対応する否定人工ニューロンの出力が、前記否定ベクトルに従って前記学習人工ニューロンの入力に結合される、請求項５に記載の方法。

【請求項7】

前記入力人工ニューロンの各々が、前記対応する否定人工ニューロンを抑制する、または、
前記否定表示が−１を備える、請求項５に記載の方法。

【請求項8】

前記１つまたは複数の学習人工ニューロンが、前記学習人工ニューロンからの前記出力スパイクのタイミングに基づいて、前記真の因果的論理関係に対応する前記１つまたは複数の論理条件を学習したと判断することをさらに備える、請求項１に記載の方法。

【請求項9】

前記１つまたは複数の学習人工ニューロンが前記１つまたは複数の論理条件を学習したと判断することは、前記複数の学習人工ニューロンの間の発火のパターンまたはコインシデンスを判断することを備える、請求項８に記載の方法。

【請求項10】

前記学習人工ニューロンの各々からの出力に結合された一時的コインシデンス認識人工ニューロンを与えることと、ここにおいて、前記一時的コインシデンス認識人工ニューロンは、しきい値数の前記学習人工ニューロンがほぼ同じ時間に発火する場合、発火するように構成される、
前記一時的コインシデンス認識人工ニューロンが発火する場合、前記１つまたは複数の学習人工ニューロンが、前記真の因果的論理関係に対応する前記論理条件のうちの少なくとも１つを学習した、と判断することと、
をさらに備える、請求項１に記載の方法。

【請求項11】

論理入力の各セットにおいて前記入力スパイク間の前記変動するタイミングを受信することが、論理入力の前記セットにおいて変動するブールベクトルを受信することを備える、請求項１に記載の方法。

【請求項12】

前記変動するブールベクトルにおいて前記入力スパイク間の比較的長い遅延が論理ＦＡＬＳＥを表し、前記入力スパイク間の比較的短い遅延が論理ＴＲＵＥを表す、請求項１１に記載の方法。

【請求項13】

スパイキングニューラルネットワークを使用して学習するための装置であって、
１つまたは複数の学習人工ニューロンの各々において、論理入力のセットを与えるための手段と、ここにおいて、真の因果的論理関係が論理入力の前記セットに課される、
論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信するための手段と、
前記１つまたは複数の学習人工ニューロンの各々について、前記受信された入力スパイクを使用して前記論理入力の各々に関連する遅延を調整するための手段であって、その結果、前記学習人工ニューロンが、前記真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延に合う出力スパイクを放出するための手段と、
を備える上記装置。

【請求項14】

スパイキングニューラルネットワークを使用して学習するための方法を、コンピュータに実施させるためのプログラムであって、該方法は下記を具備する、
１つまたは複数の学習人工ニューロンの各々において論理入力のセットを与えることと、ここにおいて、真の因果的論理関係が論理入力の前記セットに課される、
論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、
前記１つまたは複数の学習人工ニューロンの各々について、前記受信された入力スパイクを使用して前記論理入力の各々に関連する遅延を調整することであって、その結果、前記学習人工ニューロンが、前記真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延に合う出力スパイクを放出すること。

【請求項15】

スパイキングニューラルネットワークを使用して学習するための装置であって、
１つまたは複数の学習人工ニューロンの各々において論理入力のセットを与えることと、ここにおいて、真の因果的論理関係が論理入力の前記セットに課される、
論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、
前記１つまたは複数の学習人工ニューロンの各々について、前記受信された入力スパイクを使用して前記論理入力の各々に関連する遅延を調整することであって、その結果、前記学習人工ニューロンが、前記真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延に合う出力スパイクを放出することと、
を行うように構成された処理ユニットを備える上記装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001]本出願は、両方とも参照により本明細書に組み込まれる、本明細書とともに出願された「METHODS AND APPARATUS FOR SPIKING NEURAL COMPUTATION」と題する米国特許出願第１３／３６８，９９４号（代理人整理番号第１１３０７５Ｕ１号）、および本明細書とともに出願された「METHODS AND APPARATUS FOR SPIKING NEURAL COMPUTATION」と題する米国特許出願第１３／３６９，０８０号（代理人整理番号第１１３０７５Ｕ２号）に関する。

【0002】

[0002]本開示のいくつかの態様は、一般にニューラルネットワークに関し、より詳細には、１つまたは複数のニューロンから構成されるスパイキングニューラルネットワーク（spiking neural network）を動作させることに関し、ここにおいて、単一のニューロンが、何らかの任意の精度で何らかの一般的な変換を計算することが可能である。

【背景技術】

【0003】

[0003]人工ニューラルネットワークは、人工ニューロン（すなわち、ニューロンモデル）の相互結合されたグループから構成される数学的または計算的モデルである。人工ニューラルネットワークは、人間の脳において見つけられるものなど、生物学的ニューラルネットワークの構造および／または機能から導出され得る（またはそれに少なくとも大まかに基づき得る）。人工ニューラルネットワークが観測から機能を推論することができるので、そのようなネットワークは、タスクまたはデータの複雑さが手動でこの機能を設計することを実行不可能にする適用例において、特に有用である。

【0004】

[0004]１つのタイプの人工ニューラルネットワークはスパイキングニューラルネットワークであり、これは、それの動作モデルならびにニューロンおよびシナプスの状態に時間の概念を組み込み、それによって、このタイプの神経シミュレーションにおけるリアリズムのレベルを増加させる。スパイキングニューラルネットワークは、膜電位（membrane potential）がしきい値に達するときのみ、ニューロンが発火するという概念に基づく。ニューロンが発火するとき、そのニューロンは、他のニューロンに進むスパイクを生成し、他のニューロンは、今度は、この受信されたスパイクに基づいてそれらの膜電位を上げるまたは下げる。

【0005】

[0005]旧来、情報は、主に、排他的にではないとしても、ニューロンの発火率（rate of firing）においてコーディングされると考えられていた。情報がニューロン発火率においてコーディングされる場合、単に、Ｏｊａ則などの率ベースの学習則を用いて発火率変換としてニューロンをモデル化することと比較して、膜ダイナミクスと、時間精度を用いたスパイキングイベントと、スパイクタイミング依存可塑性（ＳＴＤＰ：spike-timing dependent plasticity）とを用いてニューロンをモデル化するための著しい計算オーバーヘッドがあり得る。

【発明の概要】

【0006】

[0006]本開示のいくつかの態様は、一般にスパイキングニューラル計算に関し、より詳細には、スパイキングニューラルネットワークにおいて１つまたは複数のニューロンを使用することに関し、ここにおいて、単一のニューロンが、何らかの任意の精度で何らかの一般的な変換を計算することが可能であり、ここにおいて、情報がスパイクの相対的タイミングにおいてコーディングされる。

【0007】

[0007]本開示のいくつかの態様は、スパイキングニューラルネットワークを実装するための方法を提供する。本方法は、概して、第１のニューロンモデルにおいて少なくとも１つの入力を受信することと、上記入力に基づいて、第１のニューロンモデルの第１の出力スパイク時間と基準時間との間の相対時間を判断することと、相対時間に基づいて第１のニューロンモデルから出力スパイクを放出することとを含む。

【0008】

[0008]本開示のいくつかの態様は、スパイキングニューラルネットワークを実装するための装置を提供する。本装置は、概して、第１のニューロンモデルにおいて少なくとも１つの入力を受信することと、上記入力に基づいて、第１のニューロンモデルの第１の出力スパイク時間と基準時間との間の相対時間を判断することと、相対時間に基づいて第１のニューロンモデルから出力スパイクを放出することとを行うために構成された処理ユニットを含む。

【0009】

[0009]本開示のいくつかの態様は、スパイキングニューラルネットワークを実装するための装置を提供する。本装置は、概して、第１のニューロンモデルにおいて少なくとも１つの入力を受信するための手段と、上記入力に基づいて、第１のニューロンモデルの第１の出力スパイク時間と基準時間との間の相対時間を判断するための手段と、相対時間に基づいて第１のニューロンモデルから出力スパイクを放出するための手段とを含む。

【0010】

[0010]本開示のいくつかの態様は、スパイキングニューラルネットワークを実装するためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、概して、第１のニューロンモデルにおいて少なくとも１つの入力を受信することと、上記入力に基づいて、第１のニューロンモデルの第１の出力スパイク時間と基準時間との間の相対時間を判断することと、相対時間に基づいて第１のニューロンモデルから出力スパイクを放出することとを行うために実行可能な命令を有するコンピュータ可読媒体を含む。

【0011】

[0011]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習する方法を提供する。本方法は、概して、ニューロンモデルへの入力に関連する現在遅延に従ってニューロンモデルにおいて入力スパイクを遅延させることであって、ここにおいて、入力スパイクが、ニューロンモデルのための基準時間に対する入力スパイク時間に発生する、遅延させることと、遅延された入力スパイクに少なくとも部分的に基づいてニューロンモデルから出力スパイクを放出することと、ニューロンモデルからの出力スパイクの放出とニューロンモデルのための基準時間との間の実際の時間差を判断することと、ターゲット時間差と実際の時間差との間の差、上記入力に関連する現在遅延、および入力スパイクのための入力スパイク時間に基づいて、現在遅延を調整することとを含む。

【0012】

[0012]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するための装置を提供する。本装置は、概して、ニューロンモデルへの入力に関連する現在遅延に従ってニューロンモデルにおいて入力スパイクを遅延させることであって、ここにおいて、入力スパイクが、ニューロンモデルのための基準時間に対する入力スパイク時間に発生する、遅延させることと、遅延された入力に少なくとも部分的に基づいてニューロンモデルから出力スパイクを放出することと、ニューロンモデルからの出力スパイクの放出とニューロンモデルのための基準時間との間の実際の時間差を判断することと、ターゲット時間差と実際の時間差との間の差、上記入力に関連する現在遅延、および入力スパイクのための入力スパイク時間に基づいて、現在遅延を調整することとを行うために構成された処理ユニットを含む。

【0013】

[0013]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するための装置を提供する。本装置は、概して、ニューロンモデルへの入力に関連する現在遅延に従ってニューロンモデルにおいて入力スパイクを遅延させるための手段であって、ここにおいて、入力スパイクが、ニューロンモデルのための基準時間に対する入力スパイク時間に発生する、遅延させるための手段と、遅延された入力に少なくとも部分的に基づいてニューロンモデルから出力スパイクを放出するための手段と、ニューロンモデルからの出力スパイクの放出とニューロンモデルのための基準時間との間の実際の時間差を判断するための手段と、ターゲット時間差と実際の時間差との間の差、上記入力に関連する現在遅延、および入力スパイクのための入力スパイク時間に基づいて、現在遅延を調整するための手段とを含む。

【0014】

[0014]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、概して、ニューロンモデルへの入力に関連する現在遅延に従ってニューロンモデルにおいて入力スパイクを遅延させることであって、ここにおいて、入力スパイクが、ニューロンモデルのための基準時間に対する入力スパイク時間に発生する、遅延させることと、遅延された入力に少なくとも部分的に基づいてニューロンモデルから出力スパイクを放出することと、ニューロンモデルからの出力スパイクの放出とニューロンモデルのための基準時間との間の実際の時間差を判断することと、ターゲット時間差と実際の時間差との間の差、上記入力に関連する現在遅延、および入力スパイクのための入力スパイク時間に基づいて、現在遅延を調整することとを行うために実行可能な命令を有するコンピュータ可読媒体を含む。

【0015】

[0015]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習する方法を提供する。本方法は、概して、１つまたは複数の学習ニューロンモデルの各々において論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係（causal logical relation）が論理入力のセットに課される、与えることと、論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、１つまたは複数の学習ニューロンモデルの各々について、受信された入力スパイクを使用して論理入力の各々に関連する遅延を調整することであって、その結果、学習ニューロンモデルが、真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延を満たす出力スパイクを放出する、調整することとを含む。

【0016】

[0016]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するための装置を提供する。本装置は、概して、１つまたは複数の学習ニューロンモデルの各々において論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係が論理入力のセットに課される、与えることと、論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、１つまたは複数の学習ニューロンモデルの各々について、受信された入力スパイクを使用して論理入力の各々に関連する遅延を調整することであって、その結果、学習ニューロンモデルが、真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延を満たす出力スパイクを放出する、調整することとを行うために構成された処理ユニットを含む。

【0017】

[0017]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するための装置を提供する。本装置は、概して、１つまたは複数の学習ニューロンモデルの各々において論理入力のセットを与えるための手段であって、ここにおいて、真の因果的論理関係が論理入力のセットに課される、与えるための手段と、論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信するための手段と、１つまたは複数の学習ニューロンモデルの各々について、受信された入力スパイクを使用して論理入力の各々に関連する遅延を調整するための手段であって、その結果、学習ニューロンモデルが、真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延を満たす出力スパイクを放出する、調整するための手段とを含む。

【0018】

[0018]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、概して、１つまたは複数の学習ニューロンモデルの各々において論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係が論理入力のセットに課される、与えることと、論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、１つまたは複数の学習ニューロンモデルの各々について、受信された入力スパイクを使用して論理入力の各々に関連する遅延を調整することであって、その結果、学習ニューロンモデルが、真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延を満たす出力スパイクを放出する、調整することとを行うために実行可能な命令を有するコンピュータ可読媒体を含む。

【0019】

[0019]本開示のいくつかの態様は、一般的な線形システムのニューラル計算のためのシステムを提供する。本システムは、概して、膜電位を有する反リーキー積分発火ニューロンであって、ここにおいて、膜電位は、入力がない場合に指数関数的に増加し、ここにおいて、膜電位は、入力時のステップにおいて増加し、ここにおいて、膜電位は、基準時間に再設定電位に再設定され、ここにおいて、ニューロンは、膜がしきい値を超える場合、スパイクする、反リーキー積分発火ニューロンと、遅延を有するが、荷重を有さず、シナプス後フィルタリング（post-synaptic filtering）を有しない、反リーキー積分発火ニューロンへの入力を結合する１つまたは複数のシナプスとを含む。いくつかの態様では、反リーキー積分発火ニューロンは、膜電位がしきい値を超えるとスパイクし、基準時間は、スパイクにおけるまたはスパイクの後の時間であり、再設定時に、遅延を受けるシナプス入力はクリアされる。

【0020】

[0020]本開示のいくつかの態様は、一般ニューロンモデル化の方法を提供する。本方法は、概して、ニューロンのための遅延された入力イベント時に、その入力をニューロンの状態に適用し、ニューロンの予測される将来スパイク時間を計算することと、予測される将来スパイク時間にニューロンのためのスパイキングイベントを再スケジュールすることと、ニューロンのためのスパイクイベント時に、膜電位を再設定し、ニューロンの次の予測される将来スパイク時間を計算することであって、ここにおいて、膜電位の再設定は、ニューロンが持続時間内にスパイクすることになることを保証する値への再設定である、再設定し、計算することとを含む。

【0021】

[0021]本開示のいくつかの態様は、スパイキングニューロンを使用して線形システムを計算する方法を提供する。本方法は、概して、入力値の対数の負数に基づいて入力基準時間に対する入力時間スパイク時間を判断することと、線形係数に対数的に関係する時間遅延だけ入力を遅延させることと、反リーキー積分発火ニューロンモデルに基づいて出力基準時間に対する出力スパイク時間を計算することとを含む。いくつかの態様では、上記対数は、膜電位の関数として膜電位の変化の係数の指数値に等しい底を有する。いくつかの態様によれば、シナプス後ニューロンへのニューロン出力は、絶対値によって負値を表し、正の係数の場合は抑制（inhibition）を表し、負の係数の場合は興奮（excitation）を表し、ここにおいて、シナプス後ニューロンへのニューロン出力は、絶対値によって正値を表し、負の係数の場合は抑制を表し、正の係数の場合は興奮を表す。いくつかの態様では、正または負であり得る入力値が２つのニューロンを使用して表され、一方が整流された値として正の領域を表し、他方がその値の整流された負数として負の領域を表す。

【0022】

[0022]本開示のいくつかの態様は、スパイキングニューラルネットワークにおいてタイミング情報を変換する方法を提供する。本方法は、概して、１つまたは複数のニューロンの２つ以上のグループに入力として伝搬基準フレーム波（propagating reference frame wave）を適用することであって、ここにおいて、基準フレーム波が、２つ以上のグループの各々への適用の前に異なる量だけ遅延された発振興奮性および／または抑制性電位である、適用することと、ニューロン（またはスパイクが入力されたニューロン）に適用された伝搬基準フレーム波に対するそのニューロンのスパイクの時間において情報を符号化および／または復号することとを含む。

【0023】

[0023]本開示のいくつかの態様は、ニューロンを使用して自己参照相対時間を非自己参照相対時間に変換するための装置を提供する。本装置は、概して、入力時に設定され、その入力に続いて指数関数的に減衰する、入力状態と、入力状態が再設定される前に後続の入力において入力状態を記憶する入力ラッチと、基準入力時に入力ラッチ値だけ増分され、その後、しきい値を超えるまで指数関数的に増大する、膜状態であって、その後、膜状態が再設定され、そこで、膜状態が、再設定の後に基準入力まで増大しない、膜状態とを含む。

【0024】

[0024]本開示のいくつかの態様は、スパイキングニューラルネットワークにおいて遅延を学習する方法を提供する。本方法は、概して、現在入力遅延だけ入力を遅延させることであって、ここにおいて、入力が、第１の基準に対する時間に発生するスパイクの形態の入力である、遅延させることと、第２の基準に対する出力スパイク時間として現在発火遅延を判断することと、ターゲット発火遅延と現在発火遅延との間の差を計算することと、ターゲット発火遅延と現在発火遅延との間の差と、現在入力遅延と、入力スパイク相対時間および学習率とに応じた量だけ、入力遅延を調整することとを含む。

【0025】

[0025]本開示のいくつかの態様は、スパイキングニューラルネットワークを動作させるための方法を提供する。本方法は、概して、ニューロンモデルにおいて入力スパイクの入力スパイク時間を判断することであって、入力スパイク時間が第１の基準時間に対する、判断することと、複数の入力スパイクがある場合に第２の基準時間に対する出力スパイクのための第１の出力スパイク時間を判断することであって、出力スパイク時間が、第１の基準時間に対する入力スパイク時間に基づく、判断することと、ニューロンモデルの脱分極スパイク間遅延（depolarization-to-spike delay）に基づいて、複数の入力スパイクがない場合に第２の基準時間に対する出力スパイクのための第２の出力スパイク時間を判断することとを含む。

【0026】

[0026]本開示のいくつかの態様は、スパイキングニューラルネットワークを動作させるための方法を提供する。本方法は、概して、第１の基準時間に値をサンプリングすることと、サンプリングされた値を遅延として符号化することと、第２の基準時間に対する時間遅延において入力スパイクを生成することによってニューロンモデルに上記値を入力することとを含む。

【0027】

[0027]本開示の上記で具陳された特徴が詳細に理解され得るように、添付の図面にその一部が示される態様を参照することによって、上記で簡単に要約されたより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、本開示の範囲を限定するものと見なされるべきではないことに留意されたい。

【図面の簡単な説明】

【0028】

【図1】[0028]本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。

【図2】[0029]本開示のいくつかの態様による、実数値領域からスパイクタイミング領域への変換を示す図。

【図3】[0030]本開示のいくつかの態様による、相対時間とシフトされた時間フレームとの間の関係を示すタイミング図。

【図4】[0031]本開示のいくつかの態様による、樹状遅延（dendritic delay）を示すニューロンモデルのブロック図。

【図5】[0032]本開示のいくつかの態様による、ニューロンの指数関数的に増大する膜電位と発火とを示す図。

【図6】[0033]本開示のいくつかの態様による、単一の反リーキー積分発火（ＡＬＩＦ：anti-leaky-integrate-and-fire）ニューロンモデルのためのアーキテクチャのブロック図。

【図7】[0034]本開示のいくつかの態様による、非自己参照シナプス後ニューロン（ＮＳＲ−ＰＯＳＴ：non-self-referential post-synaptic neuron）基準時間と自己参照（ＳＲ：self-referential）基準時間との間の差を示すタイミング図ならびに関連するシナプス前（pre-synaptic）およびシナプス後ニューロンの図。

【図8】[0035]本開示のいくつかの態様による、ニューロン上での興奮性入力と抑制性入力につながる、正および負の値と正および負のスケーリング値とのすべての可能な組合せを示す図。

【図9】[0036]本開示のいくつかの態様による、抑制性入力として結合される負値をニューロンコーディング［−ｘ_i（ｔ）］₊を用いて正に表すことを示す図。

【図10】[0037]本開示のいくつかの態様による、ニューロンモデルを使用してスカラー値をスケーリングするための例示的な動作の流れ図。

【図11A】[0038]本開示のいくつかの態様による、０．１ｍｓの時間分解能を使用して単一のニューロンモデルの単一の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値と、時間に対する出力値と、線形性とを示す図。

【図11B】[0039]本開示のいくつかの態様による、１．０ｍｓの時間分解能を使用して単一のニューロンモデルの単一の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値と、時間に対する出力値と、線形性とを示す図。

【図12A】[0040]本開示のいくつかの態様による、０．１ｍｓの時間分解能を使用して単一のニューロンモデルの１０個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値と、時間に対する出力値と、線形性とを示す図。

【図12B】[0041]本開示のいくつかの態様による、１．０ｍｓの時間分解能を使用して単一のニューロンモデルの１０個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値と、時間に対する出力値と、線形性とを示す図。

【図13A】[0042]本開示のいくつかの態様による、正のスケーリング値と負のスケーリング値の両方を使用して、１．０ｍｓの時間分解能を使用して単一のニューロンモデルの１０個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値と、時間に対する出力値と、線形性とを示す図。

【図13B】[0043]本開示のいくつかの態様による、正のスケーリング値と負のスケーリング値の両方を使用して、ただし図１３Ａとの比較のために抑制への反転を間違って省略して、１．０ｍｓの時間分解能を使用して単一のニューロンモデルの１０個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値と、時間に対する出力値と、線形性とを示す図。

【図14】[0044]本開示のいくつかの態様による、正のスケーリング値と負のスケーリング値の両方と、ニューロンモデルの膜電位に追加された雑音項とを使用して、１．０ｍｓの時間分解能を使用して単一のニューロンモデルの１０個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値と、時間に対する出力値と、線形性とを示す図。

【図15】[0045]本開示のいくつかの態様による、２つのニューロンに同じ基準を与えることを示す図。

【図16】[0046]本開示のいくつかの態様による、２つのニューロンのための基準を使用するフィードフォワード事例を示す図。

【図17】[0047]本開示のいくつかの態様による、２つのニューロンのための基準を使用するフィードバック事例を示す図。

【図18】[0048]本開示のいくつかの態様による、一連のニューロンのための伝搬基準波を示す図。

【図19】[0049]本開示のいくつかの態様による、図１８の伝搬基準波を有する一連のニューロンのための例示的なタイミング図。

【図20】[0050]本開示のいくつかの態様による、例示的なｇ−ニューロンを使用することを示す図。

【図21】[0051]本開示のいくつかの態様による、ニューロンモデルへの１つ、２つ、４つ、８つ、１６個、および３２個の入力のための線形性グラフを示す図。

【図22】[0052]本開示のいくつかの態様による、相対時間に基づいてニューロンモデルから出力スパイクを放出するための例示的な動作の流れ図。

【図22A】[0053]図２２に示される動作を実行することが可能な例示的な手段を示す図。

【図23】[0054]本開示のいくつかの態様による、シナプス後ニューロンの発火におそらく影響を及ぼし得る入力スパイクと、影響を及ぼさないことになる別の入力スパイクとを示す図。

【図24】[0055]本開示のいくつかの態様による、５つの代表的なシナプス前ニューロンとシナプス後ニューロンとを示す図。

【図25A】[0056]本開示のいくつかの態様による、雑音の多いバイナリ入力ベクトルのための係数を学習した例示的な結果を示す図。

【図25B】本開示のいくつかの態様による、雑音の多いバイナリ入力ベクトルのための係数を学習した例示的な結果を示す図。

【図26】[0057]本開示のいくつかの態様による、入力の各々について遅延と荷重とのグラフにおいて雑音の多いバイナリ入力ベクトルのための係数を学習した例示的な結果を示す図。

【図27】[0058]本開示のいくつかの態様による、雑音の多い実数値入力ベクトルのための係数を学習した例示的な結果を示す図。

【図28A】[0059]本開示のいくつかの態様による、論理ＯＲ関係の場合の第１の反復の後の遅延のグラフ。

【図28B】[0060]本開示のいくつかの態様による、論理ＡＮＤ関係の場合の第１の反復の後の遅延のグラフ。

【図29A】[0061]本開示のいくつかの態様による、論理ＯＲ関係の場合のいくつかの反復の後の遅延のグラフ。

【図29B】[0062]本開示のいくつかの態様による、論理ＡＮＤ関係の場合のいくつかの反復の後の遅延のグラフ。

【図30】[0063]本開示のいくつかの態様による、論理関係を学習するための（反復の数の関数としての）収束を示す図。

【図31】[0064]本開示のいくつかの態様による、スパイキングニューラルネットワークにおける学習のための否定とアンサンブル演繹（ensemble deduction）の両方を実装することを示す図。

【図32】[0065]本開示のいくつかの態様による、スパイキングニューラルネットワークにおける学習のための例示的な動作の流れ図。

【図32A】[0066]図３２に示される動作を実行することが可能な例示的な手段を示す図。

【図33】[0067]本開示のいくつかの態様による、スパイキングニューラルネットワークにおける因果的学習のための例示的な動作の流れ図。

【図33A】[0068]図３３に示される動作を実行することが可能な例示的な手段を示す図。

【発明を実施するための形態】

【0029】

[0069]添付の図面を参照しながら本開示の様々な態様が以下でより十分に説明される。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わされるにせよ、本明細書で開示される本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示される本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

【0030】

[0070]「例示的」という単語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明されるいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈されるべきであるとは限らない。

【0031】

[0071]本明細書では特定の態様が説明されるが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかが、例として図と好適な態様についての以下の説明とで示される。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。

【0032】

例示的なニューラルシステム
[0072]図１に、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的なニューラルシステム１００を示す。ニューラルシステム１００は、シナプス結合のネットワーク１０４を介してニューロンの別のレベル１０６に結合されたニューロンのあるレベル１０２を備え得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、典型的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。

【0033】

[0073]図１に示されるように、レベル１０２における各ニューロンは、前のレベル（図１に図示せず）の複数のニューロンによって生成され得る入力信号１０８を受信し得る。信号１０８は、レベル１０２のニューロンへの入力（たとえば、入力電流）を表し得る。そのような入力は、膜電位に充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル（たとえば、レベル１０６）に転送されるべき出力スパイクを生成し得る。

【0034】

[0074]図１に示されるように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合（または単に「シナプス」）のネットワーク１０４によって達成され得る。シナプス１０４は、レベル１０２のニューロン（シナプス１０４に対するシナプス前ニューロン）から出力信号（すなわち、スパイク）を受信し得る。いくつかの態様では、これらの信号は、調整可能なシナプス荷重

【数1】

[この文献は図面を表示できません]

【0035】

，．．．，

【数2】

[この文献は図面を表示できません]

【0036】

に従ってスケーリングされ得る（ただし、Ｐは、レベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数である）。他の態様では、シナプス１０４は、いかなるシナプス荷重をも適用しないことがある。さらに、（スケーリングされた）信号は、レベル１０６における各ニューロン（シナプス１０４に対するシナプス後ニューロン）の入力信号として合成され得る。レベル１０６におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、次いで、シナプス結合の別のネットワークを使用して別のレベルのニューロンに転送され得る（図１に図示せず）。

【0037】

[0075]ニューラルシステム１００は、ソフトウェアでまたはハードウェアで（たとえば、電気回路によって）エミュレートされ、画像およびパターン認識、機械学習、モータ制御など、広い範囲の適用例において利用され得る。ニューラルシステム１００における各ニューロン（またはニューロンモデル）は、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。

【0038】

例示的なスパイキングニューラル計算
[0076]ニューラルネットワークを設計するための様々な方法が提案されている。たとえば、ニューラルシミュレーションを設計または合成する方法が、最近、ニューラルエンジニアリングフレームワーク（ＮＥＦ：Neural Engineering Framework）を使用してＥｌｉａｓｍｉｔｈおよびＡｎｄｅｒｓｏｎによって提案された。たとえば、Ｃｈｒｉｓ Ｅｌｉａｓｍｉｔｈ＆Ｃｈａｒｌｅｓ Ｈ．Ａｎｄｅｒｓｏｎ、Ｎｅｕｒａｌ Ｅｎｇｉｎｅｅｒｉｎｇ：Ｃｏｍｐｕｔａｔｉｏｎ， Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ， ａｎｄ Ｄｙｎａｍｉｃｓ ｉｎ Ｎｅｕｒｏｂｉｏｌｏｇｉｃａｌ Ｓｙｓｔｅｍｓ、ＭＩＴ Ｐｒｅｓｓ（２００３）、ｈｔｔｐ：／／ｃｏｍｐｎｅｕｒｏ．ｕｗａｔｅｒｌｏｏ．ｃａ、およびＣｈｒｉｓ Ｅｌｉａｓｍｉｔｈ、Ａ Ｕｎｉｆｉｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｂｕｉｌｄｉｎｇ ａｎｄ Ｃｏｎｔｒｏｌｌｉｎｇ Ｓｐｉｋｉｎｇ Ａｔｔｒａｃｔｏｒ Ｎｅｔｗｏｒｋｓ、Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ １７、１２７６−１３１４（２００５）を参照されたい。この方法は、（ｉによってインデックス付けされた）ニューロンのセットのアクティビティ｛ａ_i｝において、符号化された値を表すことに依拠する。値は、アクティビティの線形関数によって推定され得、

【数3】

[この文献は図面を表示できません]

【0039】

である。

【0040】

[0077]その値を表すために、ニューロンポピュレーション（neuron population）のアクティビティは、それらのアクティビティからその値を推定することができるセット｛φ_i｝が存在するように、十分に多様でなければならない。たとえば、すべてのニューロンが同じダイナミクスを有する場合、アクティビティは、その値の正確なまたは精密な表現を取得するには不十分に多様であり得る。

【0041】

[0078]ニューロン発火率がニューロンアクティビティ測度として使用され得る。ただし、フィルタリングされたスパイクトレイン（spike train）としてアクティビティを表すことによって時間コードが組み込まれ得ることが提案された。

【数4】

[この文献は図面を表示できません]

【0042】

上式で、ｙ_i（ｔ）はバイナリ値である（１がスパイクを表し、０がスパイクなしを表す）。有意な情報の保存がなければ、これは、シナプスごとのシナプス後フィルタｈ_i（ｔ）を有することに依拠し、そのｈ_i（ｔ）は有意な時定数を有する。ＥｌｉａｓｍｉｔｈおよびＡｎｄｅｒｓｏｎは、シナプス後フィルタのダイナミクスがニューロンの応答のダイナミクスを支配すると実際に仮定し、時定数τをもつフィルタを

【数5】

[この文献は図面を表示できません]

【0043】

としてモデル化した。

【0044】

[0079]事実上、これは、ブール時系列ｙ_i（ｔ）を発火率と同様の実数値時系列ａ_i（ｔ）に変換する。残念ながら、これは情報損失を生じる（または、別の観点から、表される値の分解能が制限される）。これは、ニューロンポピュレーションサイズを増加させることによって補償され得る。最後に、上記方法は、所望の関数（それが識別情報以外であると仮定して）を達成するために入力を線形的に変換するためにシナプス荷重を使用する。

【0045】

[0080]ＮＥＦのための全ニューラル記述は、（１）各ニューロンｊへの各入力ニューロンｉのための上記で説明された形態のシナプス後フィルタｈ_ij（ｔ）と、（２）入力を復号するための各ニューロンｊへの各入力ニューロンｉのためのシナプス荷重ｗ_ijと、（３）入力を再符号化するためのシナプス荷重と、（４）細胞体ダイナミクスとを含む。

【0046】

[0081]しかしながら、この方法に伴ういくつかの問題がある。第１に、上記方法が単に発火率を使用して適用され得るので、それはスパイキングニューロン形態において非効率的なソリューションである。言い換えれば、率ベースのニューラルネットワークが使用され得る場合、スパイキングニューラルネットワークを使用するための動機は何であるのか？上記方法は、ブールシーケンスを実数値シーケンスに変換するにすぎない。第２に、上記方法は、計算量的に複雑であり、シナプスごとのシナプス後フィルタと、符号化および復号の変換および荷重とを必要とする。第３に、値空間を表すために符号化／復号のための十分な基礎がなければならないので、システムを表すためにニューロンの多様なポピュレーションが使用されなければならない。これは、システムが、異なる同調曲線（入力の関数としての発火率）をもつニューロンを必要とすることを意味する。第４に、学習は未解決の問題である。

【0047】

[0082]同様に、他の以前の方法は、ニューロンの発火率においてまたはニューロンのポピュレーションの発火アクティビティにおいて、情報を表している。このポピュレーションコーディングタイプの方式は、しばしば、（ポアソン発火ニューロンなどの）確率的発火モデルのニューロンとともに使用される。これらのタイプの方式は、ポピュレーションコード化平均発火率を判断するためにスパイキング挙動の観測のウィンドウを必要とし、これは情報を表す。確率的方法はまた、外部雑音を導入する前でさえ本質的に雑音が多く、したがって不利である。これらの方式のいずれも、コードとしての発火率のこの使用、精密な荷重の使用、および複雑な計算方式のため、問題を解決しない。

【0048】

[0083]したがって、必要なものは、普遍的に適用される、高効率な、生物学的に一貫性があるスパイキングニューラルネットワークを実装するための技法および装置である。したがって、３つの重要な問題の領域、すなわち、効率、生物学的一貫性、および普遍性または一般性が上記の記述において提示された。

【0049】

[0084]本明細書で使用される「効率」という用語は、概して、基本的スカラー関数を計算するために複数のニューロンまたはニューロンポピュレーションを必要とせず、発火率値を取得するために出力を観測し、出力を変換し、平均化するための著しい時間を必要としない、ニューロン計算システムを指す。また、ニューロンは、計算量的に非複雑であり、非確率的であるべきであり、フィルタの計算または精密な浮動小数点計算を必要とするべきではない。

【0050】

[0085]本明細書で使用される「生物学的に一貫性がある」という用語は、概して、ニューロンダイナミクスおよび結合処理が、生物学的に動機を与えられる（現実的である）べきであり、単にエンジニアリングまたは計算量的便宜によって指定されるべきではないことを意味する。その上、情報は、理想的には、ニューロンの平均発火率ではなくニューロンのスパイキングにおいてコーディングされるべきである。シナプス強度分布など、ニューロンパラメータ、およびパラメータ範囲は、同様に生物学的に一貫性があるべきである。

【0051】

[0086]本明細書で使用される「普遍」という用語は、概して、一般的な計算または制御システムと等価なニューラル計算システムを指す。そのようなシステムは、線形システム、または線形サブシステムの組合せとしてモデル化され得る。任意の線形システムが式

【数6】

[この文献は図面を表示できません]

【0052】

によって記述され得る。

【0053】

[0087]線形システムのこの公式化は、ベクトルｘが入力、内部状態変数、または出力を含み得るという点で、一般的である（第１のタイプの典型的な公式化は、

【数7】

[この文献は図面を表示できません]

【0054】

を表すことによって入力と状態とを分離する）。任意の線形制御システムがこれらの項において表され得る（とはいえ、行列Ｗエントリのうちのいくつかはシステムに応じて０であり得、したがって「入力」は、式自体によってではなく外部イベントによって更新され得る）。基本的に、したがって、要素

【数8】

[この文献は図面を表示できません]

【0055】

に関心をもち、これは、ベクトルｘの各要素のダイナミクスを表す。本開示の態様は線形システムに限定されないが、これは、線形性が、所望の非線形関数によって置き換えられ得、または線形性が、線形システムモデルを用いて非線形関数をモデル化するために使用され得るので、いくつかの態様について説明するための極めて一般的なフレームワークである。

【0056】

[0088]本開示の態様は、スパイキングニューラルネットワークのための方法を含む。ただし、荷重は不要である。言い換えれば、結合が、存在するか（有意なシナプス）または存在しない（有意でないまたは存在しないシナプス）ことがある。本開示のいくつかの態様は、バイナリ値入力および出力を使用し、シナプス後フィルタリングを必要としない。しかしながら、本開示のいくつかの態様は結合遅延のモデル化を伴い得る。

【0057】

[0089]本開示のいくつかの態様によれば、本明細書で説明される方法を使用して、任意の線形システムが、シナプス荷重またはシナプス後フィルタの必要なしに、スパイキングニューロンを使用して効率的に計算され得、情報が、各個々のスパイクにおいてコーディングされる。情報は、各スパイクの相対的タイミングにおいてコーディングされ得、したがって、率において情報を判断するためにアクティビティを蓄積する必要はない。ニューロンスパイク応答時間が、直接（決定論的）、離散または連続時間において、イベントベースの方法で計算され、したがって計算およびメモリアクセスをさらに節約し得る。単一のニューロンが任意の精度の線形変換を表すことができるので、本開示のいくつかの態様は、変数の任意のセットのために最小数のニューロンを使用し得る。その上、いくつかの態様は、忠実度を保持するために異なる同調曲線をもつニューロンを必要としない。本開示のいくつかの態様はまた、確率的発火またはポピュレーションコーディングを必要としない。いくつかの態様はまた、時間的にコーディングされたパターンを分類するニューロンを用いてインターフェースされ得る。言い換えれば、本開示のいくつかの態様は、入力の変換を計算するために使用され得、これは、次いで、入力のアスペクトを分類または認識するために使用され得る。逆に、時間パターンに対するニューロンの応答は、いくつかの態様に従って動作するニューロンのセットに供給され得る。

【0058】

[0090]本開示のいくつかの態様は、生物学的に一貫性がある挙動を示す。たとえば、いくつかの態様はシナプス荷重を使用しない。ニューロン間の結合があるか、またはニューロン間の結合がない。生物学では、樹状突起スパインは、成長して（ロケーションに応じた）公称強度のシナプスになるか、または消滅する傾向がある。別の例として、いくつかの態様は、時間においてコーディングされた情報を自己参照形態から非自己参照形態に変換するために伝搬基準フレーム波を使用する。生物学では、異なる皮質領域間のオフセットを含めて、興奮と抑制との間の局部発振が観測されている。また別の例として、いくつかの態様は、脱分極しきい値にあるかまたはそれに近いニューロンモデルを使用し、脱分極しきい値を上回ると、ニューロンの膜電位は、さらなる入力がなくても増加する。生物学的神経回路が、同様に、この脱分極しきい値においてまたはその近くで動作し得る。

【0059】

[0091]本開示のいくつかの態様はまた、確率的または決定論的発火モデルとともに使用され得る。また、雑音が、これらのモデルタイプのいずれかの上で追加（許容）され得る。そのようなモデルが、（雑音なしに）基礎をなす決定論的モードで動作され得るので、これらのモデルは、高速で信頼できる計算を実行し、雑音の追加を適切に扱い得る。

【0060】

[0092]本開示のいくつかの態様はまた、イベントベースのまたはスケジュールされたニューロン方法を含み、その方法において、計算のコストが時間分解能から独立していることがあるので、電力消費を低減し得る。これはまた、生物学的脳が効率的な電力消費のためのスパースコーディングをどのように／なぜ利用するかを説明し得る。

【0061】

[0093]本開示のいくつかの態様のための別の利点は、これらの態様が非同期または同期のモードまたは形態で動作し得ることである。非同期形態では、サンプリングレートは入力の有意性に比例し得る。入力が無視できるかまたは低いとき、サンプリングレートは低く、したがって電力およびリソースを節約し得る。入力が有意であるかまたは大きいとき、サンプリングレートは増加し、したがって精度と応答時間の両方を増加させ得る。

【0062】

[0094]これらおよび追加の利点は、以下に続く説明において明らかになる。本開示の態様についての利点の多くが、他の従来の方法とニューロンモデルとについての特定の欠点の欠如に関して表され得ることに留意されたい。

【0063】

相対時間において情報をコーディングすること
[0095]情報が、ニューロンのスパイク間の相対時間において、またはあるニューロンのスパイクと別のニューロンのスパイクとの間の（またはさらにより一般的に、後で明らかになるように、あるニューロンのスパイクと何らかの基準時間との間の）相対時間において符号化され得ると仮定されたい。いくつかの態様では、情報は、２つの基本形態、すなわち、（１）同じニューロンの連続するスパイク間の相対時間、および（２）あるニューロンのスパイクと別のニューロン（または基準）のスパイクとの間の相対時間において、スパイク間の相対的タイミングにおいて表され得る。

【0064】

[0096]厳密に言えば、第１の事例では、相対時間は、連続するスパイク間のものである必要はなく、第２の事例では、相対時間は、シナプス前ニューロンとシナプス後ニューロンとの間のものである必要はない。とにかく、この相対時間をτとし、その結果、τは以下のように値ｘに関係し、

【数9】

[この文献は図面を表示できません]

【0065】

である。

【0066】

[0097]事実上、相対時間は、ｑを底とする上記値の対数である。上記の変換は、実数値（可変）領域に／から相対時間（スパイクタイミング）領域を変換する。したがって、上記値の任意のスケーリングは相対時間における時間差にすぎず、

【数10】

[この文献は図面を表示できません]

【0067】

であり、上式で、Δτ_jk＝−ｌｏｇ_qｗ_jkである。したがって、スパイク間の遅延において表される値は、単に遅延を追加することによって任意の量によってスケーリングされ得る。

【0068】

[0098]図２に、本開示のいくつかの態様による、実数値領域２００からスパイクタイミング領域２１０への変換を示す。実数値領域２００では、ニューロンｋ２０４の出力値ｘ_kを取得するために、ニューロンｊ２０２の出力値ｘ_jがｗによってスケーリングされる。スパイクタイミング領域２１０では、ニューロンｋ２０４の相対時間τ_kを判断するために、遅延ｚがニューロンｊ２０２の相対時間τ_jに追加される。

【0069】

[0099]因果的システムでは、時間遅延が正であることに留意されたい。ただし、１よりも小さいファクタによって値をスケーリングすることは、任意に大きい公称量だけスパイク間の遅延を短縮し、次いで全体的スケーリングを達成するのに十分な量を再加算することによって、達成され得、Δτ_jk’＝−Ｔ＋Δτ_jk、または

【数11】

[この文献は図面を表示できません]

【0070】

である。

【0071】

[00100]これがニューロンを用いてどのように行われ得るかが以下でさらに詳細に説明される。今のところ、１に等しいかまたはそれよりも大きい何らかのスケーリングが達成され得る場合、何らかの任意のスケーリングがこの概念を使用して達成され得ると仮定され得る。実際のネットワークでは、相対時間遅延は（入力がない場合に公称ニューロン発火率によって与えられる、またはあるニューロンから別のニューロンへの結合によって招かれ得る最大遅延によって与えられる）ある最大値に制限され得る。これは、所望の値範囲が、基礎をなす値をスケーリングすることによってカバーされ得るので、達成され得るスケーリングを制限しないことがある。

【0072】

[00101]相対的タイミングの形態間で変換することは、（１）同じニューロンｉの連続するスパイク間の相対時間τ_iを、ニューロンｊのスパイクとニューロンｋ（または基準ｋ）のスパイクとの間の相対時間τ_jkに変換することと、（２）ニューロンｊのスパイクとニューロンｋ（または基準ｋ）のスパイクとの間の相対時間τ_jkを、同じニューロンｉの連続するスパイク間の相対時間τ_iに変換することとを含み得る。

【0073】

[00102]自己参照相対時間τ_iと非自己参照相対時間τ_jkとの間の差は、スパイクトレインを考慮することによって確かめられ得る。ニューロンｊのスパイキング出力をｙ_j（ｔ）によって記述されるものとし、

【数12】

[この文献は図面を表示できません]

【0074】

上式で、ｓはスパイクのインデックス（第１の、第２の、第３のなど）である。したがって、ｙ_j（ｔ）はバイナリシーケンスにすぎない。ニューロンｊの連続するスパイク間の相対時間は

【数13】

[この文献は図面を表示できません]

【0075】

である。しかしながら、ニューロンｊのスパイクｓとニューロンｋ（または基準ｋ）のスパイクｒとの間の相対時間は

【数14】

[この文献は図面を表示できません]

【0076】

である。

【0077】

[00103]次に、ニューロンｊからの出力ｙ_j（ｔ）がニューロンｋへの入力としてサブミットされると仮定されたい。時間ｔに、それが、スパイクｓより前のすべての入力スパイクの処理に続く場合、スパイクｓのみが関心の対象であり得、したがって、

【数15】

[この文献は図面を表示できません]

【0078】

である。

【0079】

[00104]次に、上記時間はまた、任意の基準時間ｔ_rにシフトされ得、ただし、ｔ＝ｔ_r＋ｔ’である。次に、シフトされた時間において、

【数16】

[この文献は図面を表示できません]

【0080】

である。

【0081】

[00105]次に、スパイクに同じ時間シフトを適用して、

【数17】

[この文献は図面を表示できません]

【0082】

、および省略表現（short hand）

【数18】

[この文献は図面を表示できません]

【0083】

を使用して、

【数19】

[この文献は図面を表示できません]

【0084】

を取得する。

【0085】

[00106]図３は、上記で説明されたように、相対時間とシフトされた時間フレームとの間の関係を示すタイミング図３００である。タイミング図３００および上記の式から、あるニューロンから別のニューロンへの任意のスパイクトレイン入力が、基準時間に対する次のスパイクのタイミングに関して、および結合における遅延に配慮して、考慮され得ることが確かめられ得る。相対時間および時間基準シフトのこれらの概念は、以下の本開示のいくつかの態様の説明にとって中心となる。

【0086】

一般的なスパイキングニューラルシステム
[00107]ニューロンの多くの生物学的に一貫性があるモデルが提案されている。特に生物学的に一貫性がありフレキシブルである１つのスパイキングニューロンモデルは、微分方程式の以下のペア、

【数20】

[この文献は図面を表示できません]

【0087】

、およびスパイキング条件、

【数21】

[この文献は図面を表示できません]

【0088】

によって記述される、イジケヴィッチ（Ｉｚｈｉｋｅｖｉｃｈ）の単純なモデルであり、
上式で、ｃ_iは（コンダクタンスなどから導出された）ニューロンパラメータであり、ｖ_r、ｖ_t、およびｖ_θは膜電圧しきい値であり、Ｉは時間ｔにおける正味入力であり、上式で、一般にｖ_θ＞ｖ_t＞ｖ_rであり、一般に、不応時間期間（refractory time period）以外において、ｖ＞ｖ_rである。スパイキング条件が満たされない場合、出力ｙ（ｔ）＝０である。しかしながら、電圧式は、２つの領域、すなわち、（１）ニューロンがリーキー積分発火（ＬＩＦ）ニューロンのように動作する、ｖ＜ｖ_t、および（２）ニューロンが反リーキー積分発火（ＡＬＩＦ）ニューロンのように動作する、ｖ＞ｖ_tにおいて動作する。

【0089】

[00108]ｖ＜ｖ_tであるとき、差ｖ−ｖ_tの大きさが大きくなると、差ｖ−ｖ_rの大きさが小さくなり、その結果、それら２つは互いにバランスをとると見なされ得ることに留意されたい。その上、一般性の喪失なしに、ｖ_r＝０を設定し、ｃ₃、ｃ₄、およびｃ₅に従ってパラメータをスケーリングし得、その結果、ｖ＜ｖ_tの場合、簡略化し、

【数22】

[この文献は図面を表示できません]

【0090】

を書き得、上式で、ｐ＜０である。ここで、電圧領域が、一般性の喪失なしに量ｖ_tだけシフトされている。対照的に、ｖ＞ｖ_tであるとき、項（ｖ−ｖ_t）は（ｖ−ｖ_r）よりも大きい傾きで増大し、したがって、ｖ＞ｖ_tの場合、簡略化し、

【数23】

[この文献は図面を表示できません]

【0091】

を書くために動機を与えられ得、上式で、ｐ＜０である。重要なことは、ｐの符号が反転され、その結果、電圧が、ますますより高速に何度も増大することである。

【0092】

一般に、任意のバックグラウンド入力アクティビティ、入力雑音レベル、または前のスパイクを前提として、任意の所与のスパイクが、ｖ＜ｖ_tからｖ＞ｖ_tにバランスを傾け得る。上記の一般化は、ニューロンレベルがこのバランスのマージン内で維持され得ることを反映し、したがって、（スパイキングの後にまたはスパイクに続く不応期間の後に）初期にｖ_t＝０を一般化し、設定し得る。しかしながら、これらの一般化により、上記２つの異なる領域において電圧を調和させることは、それらの間で変換するための補償計算をたいがい伴い得る（すなわち、ｖが、ｐ＜０領域においてしきい値ｖ_θに達したとき、ｖは、ｐ＜０領域においてｖ＝ｖ−ｖ_θ≒０に変換され、その逆も同様である）。これは行うのが簡単であるが、後で明らかになるように、領域間で移動する必要がないことがあるので、それは本開示の態様に不要である。また、ｃ₂、ｃ₄、およびｃ₅の特定のパラメータ設定について、状態変数ｕがこれらのダイナミクスに対して無視できる寄与を有し得ることが観測され得、したがって、一般に

【数24】

[この文献は図面を表示できません]

【0093】

に簡略化し得る。

【0094】

[00109]事実上、イジケヴィッチの単純なモデルが動作の領域に応じてリーキーまたは反リーキー積分発火（ＡＬＩＦ）ニューロンに簡略化され（すなわち、そのようなニューロンとしてモデル化され）得ることを確かめることができる。その上、シナプス後フィルタリングがなく、荷重がないと仮定される場合、入力スパイクは、（樹状または軸索遅延などの）何らかの結合遅延を受けるニューロンｋへの入力として使用され得、その結果、

【数25】

[この文献は図面を表示できません]

【0095】

となる。

【0096】

[00110]図４は、本開示のいくつかの態様による、樹状遅延線として結合遅延を示すニューロンモデル４１０のブロック図４００である。入力ｙ_iのための樹状入力線は、各入力ｙ_iのための結合遅延を表す樹状遅延要素４１２に結合される。遅延された入力は、次いで、Ｉ_kを取得するために加算器４１４によって（線形的に）加算される。

【0097】

[00111]次に、上付き文字＋がｐ＞０領域を表し、上付き文字−がｐ＜０領域を表すと仮定されたい。ニューロンｋのための反リーキー領域について、

【数26】

[この文献は図面を表示できません]

【0098】

であり、上式で、ｃ^-（ｋ，ｌ）は、シナプス後ニューロンｋのためのシナプスｌに対応するシナプス前ニューロンのインデックスである。そのようなニューロンは、一般に、膜電位が０を上回って（すなわち、何らかの量またはしきい値だけ０を上回って）上げられたとき、基準時間ｔ_rに開始する、指数関数的に増大する膜電位を有することになる。

【0099】

[00112]たとえば、図５に、時間に関してニューロンのそのような指数関数的に増大する膜電位と発火とを示す。図５では、ｙ軸５０４がニューロンの膜電位を表し、ｘ軸５０２が時間を表す。図示されるように、基準時間ｔ_rに、ニューロンの膜電位が、ある量だけ０を上回るとき、その電位は指数関数的に増大する。この時点の後に、ニューロンは、一般に、電位を０以下に戻すのに十分な抑制性入力がない限り、発火することになる。一般に、興奮性入力は、ニューロンが、よりすぐに発火することを引き起こすことになるにすぎない。たとえば、図５に示されるように、時間ｔ_jにおけるニューロンｊからの入力は、ニューロンが、よりすぐに発火することを引き起こす。これは一般的な公式化である。たとえば、ニューロンが発火する時間に基準時間を設定し得る。次いで、発火時に、ニューロンは、直ちに０を上回る小さい値に再設定された電圧を有するにすぎない。

【0100】

[00113]シナプス前ニューロンのインデックスを同等に使用して

【数27】

[この文献は図面を表示できません]

【0101】

を書き得る。

【0102】

[00114]ラプラス変換をとって、

【数28】

[この文献は図面を表示できません]

【0103】

を取得し得、上式で、一般化に従って、

【数29】

[この文献は図面を表示できません]

【0104】

である。今のところ、実際にニューロンｋの最後のスパイクである、基準時間が使用され得、したがって、

【数30】

[この文献は図面を表示できません]

【0105】

である。シフトされた時間

【数31】

[この文献は図面を表示できません]

【0106】

において逆ラプラス変換をとることは

【数32】

[この文献は図面を表示できません]

【0107】

を与える。

【0108】

[00115]τ_kについて解くと、

【数33】

[この文献は図面を表示できません]

【0109】

である。

【0110】

[00116]操作は

【数34】

[この文献は図面を表示できません]

【0111】

を与える。

【0112】

[00117]

【数35】

[この文献は図面を表示できません]

【0113】

を定義すると、

【数36】

[この文献は図面を表示できません]

【0114】

であり、上式で、

【数37】

[この文献は図面を表示できません]

【0115】

である。

【0116】

[00118]時間分解能Δｔを用いた離散時間形態では、

【数38】

[この文献は図面を表示できません]

【0117】

である。

【0118】

[00119]ｑ＝（１＋Δｔｐ⁺）^1/Δtを定義すると、

【数39】

[この文献は図面を表示できません]

【0119】

である。

【0120】

[00120]シフトされた時間

【数40】

[この文献は図面を表示できません]

【0121】

における非再帰的形態では、

【数41】

[この文献は図面を表示できません]

【0122】

である。

【0123】

[00121]スパイクが自己参照時間τ_kに発生すると仮定し、考慮されるすべての入力が（すなわち、一般性の喪失なしに）そのスパイキング時間の前に発生すると仮定すると、

【数42】

[この文献は図面を表示できません]

【0124】

であり、上式で、

【数43】

[この文献は図面を表示できません]

【0125】

である。

【0126】

[00122]上記で説明されたように、所望の線形システムは以下のように表され得る。

【数44】

[この文献は図面を表示できません]

【0127】

また、値から時間への変換は、ｘ＝ｑ^-τまたはτ＝−ｌｏｇ_qｘとして表され得る。したがって、単一のニューロンｋが、変換

【数45】

[この文献は図面を表示できません]

【数46】

[この文献は図面を表示できません]

【0128】

によって所望の線形結果を計算しようとして利用され得る。

【0129】

[00123]η_k＝Δω_kによって名目上モデル化される、η_kを最小限に抑えるために、一般に、Δω_k→０を望むか、またはニューロンがしきい値

【数47】

[この文献は図面を表示できません]

【0130】

をスパイクすることを望む。η_kを最小限に抑えることは厳密には必要ではないが、それは正確なマッピングのための動機を促進する。

【0131】

[00124]所望の演算を実装するために、単に遅延を設定し得、

【数48】

[この文献は図面を表示できません]

【0132】

である。

【0133】

[00125]一般性の喪失なしに、

【数49】

[この文献は図面を表示できません]

【0134】

を設定し得、その結果、

【数50】

[この文献は図面を表示できません]

【0135】

となり、したがって、十分に大きいスパイキングしきい値を選定することによってη_k項の最小限に必要とされるサイズを制御し得る。

【0136】

[00126]また、この単一のニューロンｋは、無限時間分解能が与えられる場合（すなわち、Δｔ→０）、無限分解能を用いて実数値演算を処理し得、その場合、

【数51】

[この文献は図面を表示できません]

【0137】

であることに留意されたい。ただし、実際には、これは必要ではないことがある。これは、連続時間において演算することが連続更新を必要としないので、必ずしも望ましくないとは限らないことに留意されたい。たいがい、イベント（入力またはスパイク、また、これらのイベントは、上記で与えられた非ネスト表現を前提として計算され得る）時に式を更新するにすぎないことがある。とはいえ、時間ステップΔｔ＞０における離散時間系演算について、

【数52】

[この文献は図面を表示できません]

【0138】

である。また、値と相対時間との間の変換のための対数の底として、ｑは、時間分解能が対数スケールにおいて値分解能にどのように影響を及ぼすことになるかに影響を及ぼす。今度は、これは、ｐ⁺＞０を条件とするパラメータｐ⁺に依存する。

【0139】

[00127]最後に、これはニューロン演算

【数53】

[この文献は図面を表示できません]

【0140】

と標示され得る。スパイクタイミング領域では、

【数54】

[この文献は図面を表示できません]

【0141】

である。しかし、値領域では、

【数55】

[この文献は図面を表示できません]

【0142】

である。

【0143】

[00128]この演算は実際に計算されないことがあるが、むしろ、等価な計算が、微分方程式、

【数56】

[この文献は図面を表示できません]

【0144】

、上式で、

【数57】

[この文献は図面を表示できません]

【0145】

であり、およびスパイキング条件、

【数58】

[この文献は図面を表示できません]

【0146】

によって支配される、スパイキングニューロンによって実行される。

【0147】

[00129]入力がない場合、ニューロンは

【数59】

[この文献は図面を表示できません]

【0148】

に発火することになる。したがって、（入力が最もすぐのスパイキング時間に作用するための）最大非自己参照入力時間は（最小遅延を仮定すると）

【数60】

[この文献は図面を表示できません]

【0149】

である。同様に、遅延について、

【数61】

[この文献は図面を表示できません]

【0150】

である。したがって、

【数62】

[この文献は図面を表示できません]

【0151】

である。

【0152】

[00130]逆に、分解能Δｔを用いた離散時間系における最も小さい非０時間遅延はΔｔである。したがって、非０効果について、

【数63】

[この文献は図面を表示できません]

【0153】

である。

【0154】

[00131]同様に、（非０／非瞬時の場合の）ニューロンの出力は範囲が

【数64】

[この文献は図面を表示できません]

【0155】

に制限される。したがって、コーディングされた値は、範囲、

【数65】

[この文献は図面を表示できません]

【0156】

内にある。

【0157】

[00132]ｘ_k＝１の値は入力遅延０を与え、

【数66】

[この文献は図面を表示できません]

【0158】

の値は

【数67】

[この文献は図面を表示できません]

【0159】

の入力遅延を与えることが留意され得る。したがって、一般に、範囲［０，１］内の入力を用いて演算し得る。しかしながら、出力は、Δω_kだけオフセットされ、せいぜい、荷重範囲のため、Ｎ／ｑｖ_θ（Ｎ個の入力の場合）であり得る。したがって、出力の意味は、以下のように任意に再定義され得る。

【数68】

[この文献は図面を表示できません]

【0160】

あるニューロンの出力を別のニューロンの入力に供給することに関してこれが意味することは、以下の説明において説明される。

【0161】

[00133]要約すれば、十分な時間分解能を前提として単一のニューロンを用いて任意の精度の値を計算するのに十分強力である、線形表現の普遍的計算のためのニューロンフレームワークが今では与えられている。そのニューロンは、スパイキングの後にまたは不応期間の後に０を上回る公称設定に再設定された電圧を有する、反リーキー積分発火（ＡＬＩＦ）ニューロンである。そのニューロンのシナプスは、荷重を有さず、シナプス後フィルタを有しない。しかしながら、その結合は遅延を有する。図６は、本開示のいくつかの態様による、単一の反リーキー積分発火（ＡＬＩＦ）

【数69】

[この文献は図面を表示できません]

【0162】

ニューロンｋのためのアーキテクチャのブロック図６００である。

【0163】

[00134]ニューロンのシミュレーションまたは実装は、連続時間または離散時間において行われ得る。離散時間演算は、上記の（１つまたは複数の）離散時間式の反復によって段階的に進み得る。しかしながら、連続時間（および離散時間）実装は、時間ｔに発生する入力イベント時に以下のようにイベントベースの方法でも実行され得る。

【0164】

１．連続時間式または離散時間式、

【数70】

[この文献は図面を表示できません]

【0165】

のいずれかを使用して、前のイベント時間

【数71】

[この文献は図面を表示できません]

【0166】

における状態に基づいてニューロン状態変数

【数72】

[この文献は図面を表示できません]

【0167】

を更新する。

【0168】

２．入力

【数73】

[この文献は図面を表示できません]

【数74】

[この文献は図面を表示できません]

【0169】

を追加する。

【0170】

３．スパイクについて検査し、

【数75】

[この文献は図面を表示できません]

【0171】

である場合、ｙ_k（ｔ）＝１であり、

【数76】

[この文献は図面を表示できません]

【0172】

を再設定する。

【0173】

４．時間ｔ＋Δτ_klにニューロンｋからのシナプスを用いて各ニューロンｌについてイベントをスケジュールする。

【0174】

５．連続時間式または離散時間式、

【数77】

[この文献は図面を表示できません]

【数78】

[この文献は図面を表示できません]

【0175】

のいずれかを使用して、ニューロンがさらなる入力なしにいつ発火することになるかを検査する。

【0176】

６．現在スケジュールされている、さらなる入力なし発火イベント（firing-absent-further-input event）を時間

【数79】

[この文献は図面を表示できません]

【0177】

に再スケジュールする。ニューロンがさらなる入力なしに発火しない場合、時間

【数80】

[この文献は図面を表示できません]

【0178】

は、事実上、無限大、または何らかの十分に大きい数、またはそれらのインジケータに（代替的に、それが決して実行されることがないように、過去の時間に）設定され得ることに留意されたい。

【0179】

７．さらなる入力なし発火イベント時に、ｙ_k（ｔ）＝１を設定し、

【数81】

[この文献は図面を表示できません]

【0180】

を再設定する。

【0181】

[00135]離散時間において演算する場合、イベントのスケジュールされた時間は、時間分解能Δｔの最も近い倍数に丸められるかまたはさもなければ変換され得、たとえば、

【数82】

[この文献は図面を表示できません]

【0182】

であることに留意されたい。

【0183】

[00136]上記で説明されたように、入力における情報は、図７に示されるように、シナプス後ニューロン（たとえば、ニューロンｋ）またはシナプス後ニューロンに対する非自己参照形態または（ＮＳＲ−ＰＯＳＴ）の、入力スパイク時間７０２と前の出力スパイク時間７０４との間のスパイクの時間差（τ_jk）においてコーディングされる。対照的に、出力における情報は、シナプス後ニューロンまたは自己参照（ＳＲ）形態の連続するスパイク間の時間差（τ_k）においてコーディングされる。

【0184】

[00137]上記で説明された方法は、一般化され得、入力または出力形態のためにＳＲまたは（シナプス後ニューロンに対するＮＳＲであるにせよ、何らかの第３のニューロンに対するＮＳＲであるにせよ）ＮＳＲを使用し得る。この一般化は以下でより詳細に説明される。

【0185】

外部入力または出力のために情報を変換すること
[00138]入力が、スパイクトレインｙ_i（ｔ）としてシナプスに与えられ得る。しかしながら、感覚入力シーケンスは、しばしば実数値形態ｘ_i（ｔ）のものである。そのようなシーケンスは、いくつかの方法でＳＲまたはＮＳＲスパイクトレインに変換され得る。最初に、基本形態が考慮される。

【0186】

[00139]シーケンスｘ_i（ｔ）は、以下のアルゴリズムに従って、ＳＲ時間的コード化スパイクシーケンスｙ_i（ｔ）に変換され得る。

【0187】

１．ニューロンｉがスパイクした最後の時間を

【数83】

[この文献は図面を表示できません]

【0188】

とする（任意に０に初期設定される）（すなわち、

【数84】

[この文献は図面を表示できません]

【0189】

を

【数85】

[この文献は図面を表示できません]

【0190】

の前の値に設定する）。

【0191】

２．

【数86】

[この文献は図面を表示できません]

【0192】

を計算し、上式で、

【数87】

[この文献は図面を表示できません]

【0193】

は、

【数88】

[この文献は図面を表示できません]

【0194】

の後の短い時間期間Ｔ（または代替的に

【数89】

[この文献は図面を表示できません]

【0195】

より前の短い時間期間Ｔ）にわたる（平均値などの）ｘ_i（ｔ）の関数である。

【0196】

３．次のスパイクの時間を

【数90】

[この文献は図面を表示できません]

【0197】

とする。

【0198】

[00140]逆変換を実行するために、ｘ_i（ｔ）は、スパイクが時間ｔに発生するまで、

【数91】

[この文献は図面を表示できません]

【0199】

に設定され得る。次いで、

【数92】

[この文献は図面を表示できません]

【0200】

を設定し、上式で、

【数93】

[この文献は図面を表示できません]

【0201】

である。

【0202】

[00141]シーケンスｘ_i（ｔ）は、以下のアルゴリズムに従って、ＮＳＲ時間的コード化スパイクシーケンスｙ_i（ｔ）に変換され得る。

【0203】

１．ニューロンｋがスパイクした最後の時間を

【数94】

[この文献は図面を表示できません]

【0204】

とする（任意に０に初期設定される）（すなわち、

【数95】

[この文献は図面を表示できません]

【0205】

を

【数96】

[この文献は図面を表示できません]

【0206】

の前の値に設定する）。

【0207】

２．

【数97】

[この文献は図面を表示できません]

【0208】

を計算し、上式で、

【数98】

[この文献は図面を表示できません]

【0209】

は、

【数99】

[この文献は図面を表示できません]

【0210】

の後の短い時間期間Ｔ（または代替的に

【数100】

[この文献は図面を表示できません]

【0211】

より前の短い時間期間Ｔ）にわたる（平均値などの）ｘ_i（ｔ）の関数である。

【0212】

３．次のスパイクの時間を

【数101】

[この文献は図面を表示できません]

【0213】

とする。

【0214】

[00142]逆変換を実行するために、ｘ_i（ｔ）は、スパイクが時間ｔに発生するまで、

【数102】

[この文献は図面を表示できません]

【0215】

に設定され得る。次いで、

【数103】

[この文献は図面を表示できません]

【0216】

を設定し、上式で、

【数104】

[この文献は図面を表示できません]

【0217】

である。

【0218】

[00143]この時点で、任意の数の入力から単一の出力への線形変換を実装するために単一のニューロンが使用され得ることが今では明白であり得る。しかしながら、複数のニューロンを使用することによって、Ｎ個の入力からＭ個の出力への任意の変換、

【数105】

[この文献は図面を表示できません]

【0219】

が、行列Ｗの行を前提として計算される遅延を用いてＭ個のニューロンによって計算され得る。その上、それらの出力のいくつかは、入力としてフィードバックされ得る（すなわち、重複があり得る）。

【0220】

[00144]上記では、各入力フレームについて発生するであろう最もすぐのスパイクのみが考慮された。これは、ニューロンモデルにおける微妙さ（subtlety）である。事実上、ＡＬＩＦニューロンは、上記で説明されたように、発火時の追加の演算を用いてモデル化された（すなわち、スパイクについて検査するとき、

【数106】

[この文献は図面を表示できません]

【0221】

である場合、ｙ_k（ｔ）＝１であり、

【数107】

[この文献は図面を表示できません]

【0222】

を再設定し、ｔ_clear＜ｔの場合、すべての入力ｙ_k（ｔ_clear）をクリアする）。これが意味することは、発火時に、ニューロンが、細胞体にまだ伝搬していない任意の入力を忘れることである。したがって、ニューロンは、単に余分の入力のため、再び発火しないことになる。

【0223】

[00145]ただし、これは厳密には必要ではない。代替として、ニューロンは、再び発火することと、時々の誤差を単に許容することとを可能にされ得る。これに対処するための別の方法は、特定の出力のみが、意味を有するためにとられる、フレーム同様のモードでシステムを駆動する発振をセットアップすることである。別の方法は、しばらくの間発火を防ぎ、次の計算のためにシステムをクリアするために、抑制を使用することである。したがって、これを回避するための多くの方法がある。本開示の残りは、上記のモデルを使用して続く。

【0224】

[00146]また、所望される場合、異なる底（たとえば、異なるｑ）があらゆるニューロンのために使用され得ることが留意され得る。単一の入力について、Δω_k→０と仮定すると、

【数108】

[この文献は図面を表示できません]

【0225】

である。異なるパラメータｑが入力ｑ_jと出力ｑ_kとのために使用される場合、

【数109】

[この文献は図面を表示できません]

【数110】

[この文献は図面を表示できません]

【0226】

である。値領域では、これは、スケーリングの別の手段を与えるだけでなく、これは、異なる範囲内で異なるニューロンを動作させることと、それらをインターフェースすることとをも可能にする。

【0227】

[00147]いくつかの態様では、上記の変換の代替は、実数値入力をＳＲスパイクまたはＮＳＲスパイクのいずれかに変換するためにプロキシニューロンを使用することである（この目的で任意のタイプのニューロンが使用され得る）。

【0228】

[00148]次に、負の荷重（係数）が考慮される。値領域において負の荷重に対応する非複素数値遅延がない。負の荷重を適用するために、入力は、興奮性の代わりに抑制性に切り替えられ得る。すなわち、単に符号を反転し得る。

【数111】

[この文献は図面を表示できません]

【0229】

を想起されたい、上式で、

【数112】

[この文献は図面を表示できません]

【0230】

である。したがって、ω_jkの負値について、ω_jkの絶対値を使用して、Δτ_jk、

【数113】

[この文献は図面を表示できません]

【0231】

を判断し、ただし、次いで、入力を負値に設定して、

【数114】

[この文献は図面を表示できません]

【0232】

を達成されたい。

【0233】

[00149]図８に、本開示のいくつかの態様による、ニューロン８１０上での興奮性入力８０６と抑制性入力８０８につながる、正および負の入力値８０２と正および負のスケーリング値８０４とのすべての可能な組合せを示す。

【0234】

[00150]ただし、異なる問題が、同じ変数の負値と正値の両方を表している。これを克服するための１つの方法は、負の荷重の代わりに入力の負数を使用することである。したがって、その問題は、負入力ならびに正入力を作成する問題になる。

【数115】

[この文献は図面を表示できません]

【0235】

ただし、各々は、正の大きさまたは０のみをとるにすぎないことがある（すなわち、負入力は二重の負値または正値を表すことができず、正入力は負値を表すことができない）。０が無限の（または極めて大きい）相対的入力タイミングに変換することに留意されたい。

【0236】

[00151]次に、正の荷重を用いて負入力に対処するために上記の荷重否定と等価なことが行われ得る。負値は、図９の上側図９０２に示されるように、ニューロンコーディング［−ｘ_i（ｔ）］₊を用いて正に表され、抑制性入力８０８として結合され得る。値と荷重の両方が負である場合、それらは消去され、異なることを行う必要はない。上側図９０２は、入力ニューロン９０６のための正および負の値を表すことを示しており、図９の下側図９０４は、入力ニューロンと出力ニューロン９０８の両方のための正および負の値を表すことを示している。

【0237】

[00152]重要なことは、（両方が関係する場合）領域（＋ｖｅ）と領域（−ｖｅ）とを出力のための別個の表現に分離し、次いで入力時に（興奮および抑制を使用して）それらを再結合することである。入力が特定の領域（たとえば、正）に制約される場合、この分離は行われる必要がない。

【0238】

例Ａ：スカラーをスケーリングすること
[00153]本開示のいくつかの態様は、スケーリングの例を用いて証明され得る。この例では、スパイキングニューロンはｘ_k（ｔ）＝ａ_ikｘ_i（ｔ）を実行し得る。言い換えれば、所望の出力は、入力のスケーリングされたバージョンである。この例は、基準時間として出力ニューロンのスパイクを使用して非同期フレームモードで全部スパイキングネットワーク（すべての入力および出力がスパイクの形態の入力および出力である）を使用する。時間分解能は無限（連続）または離散（固定ステップにおいてにせよ可変ステップにおいてにせよ）であり得ることを想起されたい。

【0239】

[00154]図１０は、本開示のいくつかの態様による、ニューロンモデルを使用してスカラー値をスケーリングするための例示的な動作１０００の流れ図である。動作１０００は、１００２および１００４において初期化から始まり得る。１００２において、所望の線形計算のための係数ａ_ikに対応するシナプス遅延Δτ_ikが計算され得る。１００４において、上記遅延は時間分解能Δｔに量子化され得る。その後、動作１０００はループに入る。１００６において、入力値ｘ_i（ｔ）が、出力ニューロンｋのスパイキング時にサンプリングされる。１００８において、値ｘ_i（ｔ）は、ニューロンｋの最後のスパイクに対するスパイク時間τ_ikに変換される。１０１０において、入力スパイク時間は時間分解能Δｔに量子化される。１０１２において、入力スパイクは、時間オフセットτ_ik＋Δτ_ikにおいてニューロンｋの細胞体にサブミットされる。１０１４において、ニューロンｋの出力スパイク時間τ_kが、分解能Δｔを用いて判断される。

【0240】

[00155]動作１０００中のループの各反復は、ニューロンｋの１つの出力スパイクに対応する。したがって、そのタイミングは、フレーム持続時間がニューロンｋのスパイク間間隔に依存するので、非同期である。この種類の非同期フレーム（基準）を使用するとき、入力のサンプリングレートは可変である。特に、総入力が大きく（値領域）、したがって入力遅延が小さい場合、ニューロンｋは、より早く発火し、したがって、短時間で再び入力をサンプリングする。総入力が小さい（値領域）場合、逆のことが発生する。したがって、入力のサンプリングレートは、出力値の大きさに比例する。これは、有意な入力値は、より頻繁にサンプリングされ、有意でない入力は、低いまたは最小のレートにおいてサンプリングされる傾向があり、それにより計算能力およびリソースを節約するという点で、利点を有する。

【0241】

[00156]これがどのように動作するかを確かめるために、所望のスカラー線形結果が、ただ単一のスパイキングニューロンｋを用いて取得され得る。上記で説明されたように、初期化について、

【数116】

[この文献は図面を表示できません]

【0242】

を計算し得る。この例では、時間分解能の効果を証明するために（連続時間の代わりに）離散時間系が使用される。この例では、Δｔ＝０．１ｍｓと仮定し、ｐ⁺＝０．１、ｖ₀＝１で任意に小さいΔω_k＝０．０１とする。これは、ｖ_θ＝１００、および約２１Ｈｚの最小ニューロン発火率、または４８ｍｓの期間を与える（いかなる入力もなし）。パラメータｑ≒１．１である。動作可能な係数範囲は０．０００１〜０．０１である。任意の係数ａ_ikがこの例では選定され（たとえば、係数最大値の１／２）、形態、

【数117】

[この文献は図面を表示できません]

【0243】

の、時間オフセットシヌソイドがサブミットされる。出力は、ａ_ik＝１／２が選定された場合、（Δω_kによる）０．０１〜最大０．０２のスケールでの出力となる。

【0244】

[00157]図１１Ａに、本開示のいくつかの態様による、０．１ｍｓの時間分解能を使用して単一のニューロンモデルの単一の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ１１０２と、時間に対する出力値のグラフ１１０４と、線形性グラフ１１０６とを示す。図１１Ｂに、本開示のいくつかの態様による、１．０ｍｓの時間分解能を使用して単一のニューロンモデルの単一の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ１１１２と、時間に対する出力値のグラフ１１１４と、線形性１１１６とを示す。図示されるように、ニューロンモデルは、時間コーディング領域において高度に線形である。もちろん、精度は時間分解能に依存する。したがって、時間分解能が１０×だけ劣化したとき、時間分解能による誤差は出力において顕著になる。

【0245】

例Ｂ：線形変換
[00158]この例では、同じ例Ａが使用されるが、より多くの入力が追加される。望まれるニューラルモデルは

【数118】

[この文献は図面を表示できません]

【0246】

である。

【0247】

[00159]係数は、ちょうど上記の例の場合のように設定される。１０個の入力が使用され、任意の係数が、範囲、たとえば最大係数値の小数［０．５ ０．６５ ０．５５ ０．５ ０．３９ ０．５９ ０．４ ０．８１ ０．８７ ０．３５］にわたって選定される。異なる量だけ各入力をオフセットすることを除いて、前の例と同じ入力フォーマット（オフセットシヌソイド）を使用し得る。三角法から、周波数が同じである場合、結果ｘ_k（ｔ）が、スケーリングされたシヌソイドであることを知っており、したがって、この例は、各入力について異なる周波数を、それをより興味深くするために使用する。単一のニューロンが、これを計算するために使用され、シナプス遅延は、ちょうど上記の例の場合のように、係数に従って割り当てられ、ｍｓにおいて［６．９ ４．３ ６ ７ ９．５ ５．３ ９．２ ２．１ １．４ １０．５］の遅延を与える。

【0248】

[00160]図１２Ａに、本開示のいくつかの態様による、０．１ｍｓの時間分解能を使用して単一のニューロンモデルの１０個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ１２０２と、時間に対する出力値のグラフ１２０４と、線形性グラフ１２０６とを示す。図１２Ｂに、本開示のいくつかの態様による、１．０ｍｓの時間分解能を使用して単一のニューロンモデルの１０個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ１２１２と、時間に対する出力値のグラフ１２１４と、線形性グラフ１２１６とを示す。Δｔ＝１ｍｓであるとき、シナプス遅延も、分解能を失い、［７ ４ ６ ７ １０ ５ ９ ２ １ １１］になることに留意されたい。時間分解能に対する感度は、入力を追加するにつれて減少する。これは、図１２Ｂの線形性グラフ１２１６中の結果の垂直ビンの数において確かめられ得る。事実上、出力タイミングの範囲は、より多くの入力がある場合、大きくなる。時間における平均出力誤差は、Δｔ＝０．１ｍｓの場合は０．０１ｍｓを下回り、Δｔ＝１ｍｓの場合は０．１ｍｓを下回った。基本的に、これは、ニューロンが１０個のスパイクごとに約１つ、１つの時間分解能の誤差を有することを意味する。

【0249】

例Ｃ：正および負の係数
[00161]この例では、上記と同じ例が使用されるが、負の係数が含まれる。１０個の入力が使用され、任意の係数が、範囲、たとえば小数［０．５ ０．６５ ０．５５ ０．５ −０．３９ −０．５９ −０．４ ０．８１ ０．８８ ０．３５］にわたって選定される。遅延を計算するために、これらの絶対値が使用される。ただし、負値入力について、シナプスは抑制性に切り替えられる。

【0250】

[00162]図１３Ａに、本開示のいくつかの態様による、正のスケーリング値と負のスケーリング値の両方を使用して、１．０ｍｓの時間分解能を使用して単一のニューロンモデルの１０個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ１３０２と、時間に対する出力値のグラフ１３０４と、線形性グラフ１３０６とを示す。図１３Ｂに、正のスケーリング値と負のスケーリング値の両方を使用して、ただし抑制への反転を間違って省略して、１．０ｍｓの時間分解能を使用して単一のニューロンモデルの１０個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ１３１２と、時間に対する出力値のグラフ１３１４と、線形性グラフ１３１６とを示す。

【0251】

例Ｄ：雑音の多いＡＬＩＦ
[00163]様々な好適な方法のいずれかで雑音項を追加することによって、雑音がＡＬＩＦモデルに追加され得る。１つの単純な方法は、微分方程式係数ｐ⁺に雑音項を追加することである。

【数119】

[この文献は図面を表示できません]

【0252】

これは、膜電位が大きくなるにつれて、雑音項のための同じ値が膜電位のますます大きくなる変化を生成するので、雑音のアグレッシブな形態である。ただし、これは、ニューロンが発火により近いとき、余分の入力がこのニューロンに当たる場合に起こるであろうことであるので、これは、おそらく生物学的に一貫性がある。

【0253】

[00164]図１４に示されるこの例では、上記の雑音項が追加され、その雑音項が、Δｔ＝１ｍｓを仮定して、０平均とｐ⁺の値の標準偏差１０％とを用いたガウス分布を有することを除いて、上記の例Ｃが（正および負の係数とともに）繰り返される。雑音項は、白い（すなわち、加法性白色ガウス雑音（ＡＷＧＮ：additive white Gaussian noise））と仮定される。

【0254】

[00165]図１４に、本開示のいくつかの態様による、正のスケーリング値と負のスケーリング値の両方と、ニューロンモデルの膜電位に追加された雑音項とを使用して、１．０ｍｓの時間分解能を使用して単一のニューロンモデルの１０個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ１４０２と、時間に対する出力値のグラフ１４０４と、線形性グラフ１４０６とを示す。線形性グラフ１４０６中の任意の所与の時点のための線形性に対する有意な雑音中断にもかかわらず、平均して、ニューロンが、グラフ１４０４に示されるように、著しくうまく線形変換に従うことが可能であることを確かめることができる。

【0255】

相対時間参照を変換すること
[00166]このセクションは、２つの相対時間形態、すなわち自己参照（ＳＲ）と非自己参照（ＮＳＲ）との間で変換することに対処する。自己参照（ＳＲ）時間を非自己参照シナプス後ニューロン時間（ＮＳＲ−ＰＯＳＴ）に変換することは、（たとえば、図７に関して）上記で説明されたニューロンモデルが、ＮＳＲ−ＰＯＳＴ入力タイミングを許容し、ＳＲタイミングを出力するので、特別の関心の対象である。そのニューロンの入力を別のニューロンに供給することは、たいがい変換を伴い得る。ＮＳＲサブ形態の差異は、シナプス前スパイク時間が、シナプス後ニューロンスパイク時間（ＮＳＲ−ＰＯＳＴ）に対するものであるのか、第３のニューロンのスパイク時間（ＮＳＲ−ＴＨＩＲＤ）に対するものであるのかの間の差異である。

【0256】

[00167]重要な洞察は、上記で定義されたＡＬＩＦニューロンモデルが、スパイキングの時間に膜電位

【数120】

[この文献は図面を表示できません]

【0257】

を再設定することを含むことである。ただし、これは、ちょうど同じくらい容易に、スパイキング時に

【数121】

[この文献は図面を表示できません]

【0258】

を再設定することに再定義され得、上式で、ｖφ≦０である。事実上、これは、電位が入力によって０を上回って増加されるまで、サブスレッショルド状態において単純なニューロンをモデル化する。一般性の喪失なしに、入力大きさをｖ₀に設定し得る。次に、すべてのＳＲ出力タイミングは、最初に発生する入力に対するＮＳＲタイミングに変換されることになる。

【0259】

[00168]ただし、最初に発生する入力が入力ｒとして指定される場合、２つのニューロン（１つのシナプス前と１つのシナプス後）に同じ入力ｒを与えることが、

【数122】

[この文献は図面を表示できません]

【0260】

を

【数123】

[この文献は図面を表示できません]

【0261】

に変換するので、時間変換はニューロンにわたって制御され得る。一例として、図１５に、シナプス前ニューロン１５０４とシナプス後ニューロン１５０６とに同じ入力ｒ１５０２を与えることを示す。

【0262】

[00169]ただし、最初に発生するどちらの入力でも自動的に基準を与えるので、実際の基準は存在する必要さえない。唯一の必須条件は、情報が入力間の相対時間差においてコーディングされることである。これは、相互依存性を作成するために入力間のラテラル抑制を使用することを含む、様々な方法で達成され得る。代替として、基準は、基準が発火することを引き起こすのに十分である入力とともに、基準への入力としてすべての入力を結合することによって、駆動され得る。したがって、基準は、第１の入力の発火の関数として発火することになる。これは、問題をも解決し、また、出力の相対的読出しのための指示として単一の要素（基準）を与える。図１６に、単一の入力のためのこのフィードフォワード事例を示す。

【0263】

[00170]いくつかの態様では、図１７に示されるように上記のことを達成するためにフィードバックも使用され得る。これはあまり一般的でない事例であるが、すぐ下流のニューロンが基準として使用されるので、それは、τ_kを計算するための入力としてτ_jkに正確に対応するので、それは、示すべき自然な事例である。

【0264】

[00171]上記の修正（すなわち、ニューロンの電位をｖ₀以外の値に再設定すること）は別の目的で使用され得る。スパイキング（または他の基準時間）時に、

【数124】

[この文献は図面を表示できません]

【0265】

を再設定する代わりに、

【数125】

[この文献は図面を表示できません]

【0266】

とすると仮定されたい。ｖ₊＞ｖ₀である場合、これは次の発火を進めることになる（すなわち、τ_kを減少させることになる）。代替として、ｖ₊＜ｖ₀である場合、これは次の発火を遅延させることになる（すなわち、τ_kを増加させることになる）。これは、ニューロンの構成が、ｖ₀を前提として計算されるようにとどまる（すなわち、ｖ₀の値が、ｖ₊に等しくなるように変更されない）と仮定している。たとえば、基準時間と、ニューロン電位が、それが（ｖ₊＞ｖ₀の代わりに）ｖ₀に再設定された場合にｖ₊に達していたであろう仮定的時間との間に、入力がなかったであろうと仮定すると、τ_kの変化は

【数126】

[この文献は図面を表示できません]

【0267】

によって与えられる。

【0268】

[00172]逆のこと（増加）が、ｖ₊＜ｖ₀を設定することによって達成され得る。値τ_k＝−ｌｏｇ_qｘ_kの定義を想起すれば、その値に対する上記のことの効果は、

【数127】

[この文献は図面を表示できません]

【0269】

または

【数128】

[この文献は図面を表示できません]

【0270】

である。したがって、単に再設定電圧ｖ₊、

【数129】

[この文献は図面を表示できません]

【0271】

を調整することによって、値領域においてファクタ

【数130】

[この文献は図面を表示できません]

【0272】

によって

【数131】

[この文献は図面を表示できません]

【0273】

ニューロンの出力を任意に変更し得る。

【0274】

[00173]

【数132】

[この文献は図面を表示できません]

【0275】

ニューロンはまた、入力と出力とのために異なる時間範囲内で動作し得る。出力タイミングは、概して、

【数133】

[この文献は図面を表示できません]

【0276】

の範囲内で変動し得、上式で、（再設定電位がｖ₀であると仮定して）

【数134】

[この文献は図面を表示できません]

【0277】

である。この上限は、ニューロンが入力なしに発火することになる時間である。ただし、最小の観測される時間は、入力タイミングと入力遅延の組合せのため、一般にΔｔとはならない。これは、事実上、上限に対して出力時間範囲を圧縮することになり、その結果、後続のニューロンへの入力のためにこの範囲を再拡大することが望ましいことがある。これは、関係する量だけ前の基準から遅延された新しい基準を使用することによって、容易に行われ得る。

【0278】

[00174]最小遅延が

【数135】

[この文献は図面を表示できません]

【0279】

であり、その結果、

【数136】

[この文献は図面を表示できません]

【0280】

となると仮定されたい。したがって、

【数137】

[この文献は図面を表示できません]

【0281】

後（代替的に、前であり得る）のスパイクタイミングを有する基準に変更することによって、時間範囲をオフセットすることによって

【数138】

[この文献は図面を表示できません]

【0282】

によって値をスケーリングし得る。たとえば、最小遅延τ_kが２０ｍｓである場合、２０ｍｓ後である基準を使用することによって２０ｍｓを減算し得る。これは、値領域量をより大きい範囲にスケールアップすることになる。式の離散時間形態が上記で使用されたが、類似する演算が、上記で証明されたように連続形態で行われ得る。

【0283】

[00175]いくつかの態様では、伝搬基準波を使用してマルチニューロンシステム（たとえば、図１のニューラルシステム１００）のタイミングをとり得る。伝搬基準波は、ニューロンのための基準再設定時間として働き、これは、異なる時間に異なるニューロンを再設定する。したがって、シナプス前ニューロンの出力は、適宜に遅延された基準変化を与えることによってシナプス後ニューロンのための入力に適宜に変換され得る。

【0284】

[00176]図１８に、本開示のいくつかの態様による、一連のニューロンのための伝搬基準波を示す。図１８では、レイヤｎ−１ニューロン１８０２が、基準として入力ｒ１５０２を受信する。入力ｒ１５０２は第１の遅延（ｚ₁）１８０４だけ遅延され、遅延されたｒ（遅延された’）はレイヤｎニューロン１８０６のための基準として働く。遅延されたｒは第２の遅延（ｚ₂）１８０８だけさらに遅延され、得られた遅延されたｒ（遅延された’’）はレイヤｎ＋１ニューロン１８１０のための基準として働く。第１の遅延１８０４は、第２の遅延１８０８と同じであるかまたはそれとは異なり得る。

【0285】

[00177]いくつかの態様では、この伝搬基準フレーム波は、入力（書込み）および出力（読出し）のための基準としても使用され得る。その基準は、レイヤにわたって伝搬する背景雑音または発振レベルとしても供給され得る。基準フレーム波はまた、上述のように（すなわち、（１つまたは複数の）前のレイヤ、または（１つまたは複数の）後続のレイヤの前のフレーム、またはそれらの組合せによって）自己生成され得る。

【0286】

[00178]フレーム波の別の随意の利益は、それが、（除去されない限り）シナプス後ニューロンの余分の発火を引き起こし得る遅い入力に対処するための代替方法を与えることであり、すなわち、出力が、興奮と抑制との波において基準を使用してシステムを通してクロック制御され、その結果、規定時間内で基準に続く出力のみが作用される。

【0287】

[00179]図１９に、本開示のいくつかの態様による、図１８の伝搬基準波を有する一連のニューロンのための例示的なタイミング図１９００を示す。レイヤｎ−１ニューロン１８０２はニューロンｉと見なされ得、レイヤｎニューロン１８０６はニューロンｊと見なされ得、レイヤｎ＋１ニューロン１８１０はニューロンｋと見なされ得る。

【0288】

[00180]いくつかの態様では、代替が、図２０に描かれるようにｇ^-ニューロン２００２と見なされるものを使用することであり得る。このタイプのニューロンの目的は、図２０に示されるように、ＳＲをＮＳＲに、またはτ_jをτ_jrに変換することである。これを達成する１つの方法は、ニューロンの脱分極を駆動するためにＳＲ入力タイミングがラッチされ、使用される、ｇ−ニューロンのための特殊ダイナミック演算を伴う。（他の入力とは別様に扱われる）基準入力上で脱分極を調整することによって、出力タイミングはＮＳＲ形態で判断され得る。これは、以下でさらに詳細に説明される。

【0289】

[00181]ニューロン

【数139】

[この文献は図面を表示できません]

【0290】

のダイナミクスを

【数140】

[この文献は図面を表示できません]

【数141】

[この文献は図面を表示できません]

【数142】

[この文献は図面を表示できません]

【0291】

によって定義されるものとし、上式で、ｕ_jは入力状態であり、

【数143】

[この文献は図面を表示できません]

【0292】

は入力ラッチであり、

【数144】

[この文献は図面を表示できません]

【0293】

はニューロン膜電位またはニューロンの状態である。

【0294】

[00182]ラプラス変換をとることは、

【数145】

[この文献は図面を表示できません]

【数146】

[この文献は図面を表示できません]

【数147】

[この文献は図面を表示できません]

【0295】

を与える。

【0296】

[00183]ｃ^-（ｊ）＝ｉおよび

【数148】

[この文献は図面を表示できません]

【0297】

とする。

【数149】

[この文献は図面を表示できません]

【0298】

を仮定すると、

【数150】

[この文献は図面を表示できません]

【0299】

である。

【0300】

[00184]

【数151】

[この文献は図面を表示できません]

【0301】

を仮定して逆ラプラス変換を計算すると、

【数152】

[この文献は図面を表示できません]

【0302】

である。

【0303】

[00185]

【数153】

[この文献は図面を表示できません]

【0304】

およびλ＝０を仮定すると、

【数154】

[この文献は図面を表示できません]

【0305】

である。

【0306】

[00186]さらにｖ_j（０）＝０への初期化を仮定すると、

【数155】

[この文献は図面を表示できません]

【0307】

である。

【0308】

[00187]

【数156】

[この文献は図面を表示できません]

【0309】

を仮定して逆ラプラス変換をとると、

【数157】

[この文献は図面を表示できません]

【0310】

である。

【0311】

[00188]条件しきい値

【数158】

[この文献は図面を表示できません]

【0312】

時に、スパイキング時の演算を

【数159】

[この文献は図面を表示できません]

【0313】

として定義すると、

【数160】

[この文献は図面を表示できません]

【0314】

である。

【0315】

[00189]したがって、ＳＲ τ_iからＮＳＲ τ_ijへの変換が

【数161】

[この文献は図面を表示できません]

【数162】

[この文献は図面を表示できません]

【0316】

としてモデル化され得ることを確かめることができる。線形性について、μ^-＝１→α＝−βである。等価性について、η^-＝０である。ただし、対照的に、

【数163】

[この文献は図面を表示できません]

【0317】

とする。

【0318】

[00190]同じことが、同様に離散時間分解能Δｔにおいて行われ得る。

【数164】

[この文献は図面を表示できません]

【数165】

[この文献は図面を表示できません]

【数166】

[この文献は図面を表示できません]

【0319】

[00191]遅延分解能Δτについて、

【数167】

[この文献は図面を表示できません]

【数168】

[この文献は図面を表示できません]

【0320】

である。

【0321】

[00192]上記に等しく、

【数169】

[この文献は図面を表示できません]

【0322】

である。したがって、

【数170】

[この文献は図面を表示できません]

【0323】

である。概して統合すると、Δｔ（たとえば、Δｔ＝１）、Δτ（たとえば、Δτ＝Ｔ^-）、およびα＝−β＝ｌｏｇ（１−（Δｔβ）²）≒０．２を選択し得る。

【0324】

[00193]（ＳＲ入力をＮＳＲ出力に名目上変換する）

【数171】

[この文献は図面を表示できません]

【0325】

ニューロン形態は、したがって（ＮＳＲ−ＰＯＳＴ入力をＳＲ出力に名目上変換する）

【数172】

[この文献は図面を表示できません]

【0326】

ニューロン形態と組み合わせて使用され（それとインターフェースされ）得る。事実上、これらのニューロンを反対側のタイプに結合し得る。これらのニューロンが結合され、その結果、ニューロンが同じタイプのニューロンに結合しない場合、ＳＲ相対的タイミングとＮＳＲ相対的タイミングとの間の変換の他の形態の必要がない。

【0327】

入力の数を用いたＡＬＩＦ線形性の特徴づけ
[00194]このセクションは、変動する数の入力とともに上記で説明されたニューロンモデルの線形性の特徴づけに対処する。この特徴づけのために、ランダム入力およびランダム係数が使用される。離散系がこの特徴づけのために任意に選択され、簡単のために、Δｔ＝１ｍｓの時間分解能が使用される。線形性グラフ２１０１、２１０２、２１０４、２１０８、２１１６、および２１３２が、それぞれ１つ、２つ、４つ、８つ、１６個、および３２個の入力について図２１に示されている。入力の数が増加するにつれて、実効分解能は、範囲が増加するので、増加する。しかしながら、精度は減少し得る。これは一様分布の結果にすぎない。その効果が出力（および入力および係数）の値の範囲に応じて変動し得ることに留意されたい。精度はまた、一般に、上記の例において示されたように、より良い時間分解能であれば根本的に改善する。

【0328】

なぜＡＬＩＦか？
[00195]ある程度まで、単純なモデルを含む、ＬＩＦおよび他のニューロンモデルは、線形的に予測可能な発火を有する。その差は、線形予測子を使用してそれを用いて予測することができる忠実度または精度にある。

【0329】

[00196]なぜＡＬＩＦニューロンを使用することが示唆されるかを理解するために、

【数173】

[この文献は図面を表示できません]

【0330】

ニューロン形態が時間領域において考察される。

【数174】

[この文献は図面を表示できません]

【0331】

上式で、

【数175】

[この文献は図面を表示できません]

【0332】

である。

【0333】

[00197]ｐ⁺＞０を選定する場合、モデルはＡＬＩＦである。しかし、ｐ⁺＜０を選定する場合、モデルはＬＩＦである。事実上、ｐ⁺＜０である場合、ｑ＜１（すなわち、小数）であり、１／ｑ＞１である。小数の底をもつ対数は、１よりも大きい何らかの引数について、負となる。さらなる入力なしに発火するための時間は

【数176】

[この文献は図面を表示できません]

【0334】

である。

【0335】

[00198]したがって、正であるべき時間（因果的）について、

【数177】

[この文献は図面を表示できません]

【0336】

であり、これは、ニューロンがすでにスパイクした（しきい値を超えた）ことをこれが意味するので、矛盾する。これは、ＬＩＦがいくぶん予測可能でないことを意味しない。それは、ＡＬＩＦを用いて行わるように、ＬＩＦを使用して理想的な線形予測可能性のためのニューロンモデルを容易に設計することができないことを意味するにすぎない。

【0337】

[00199]図２２は、本開示のいくつかの態様による、相対時間に基づいてニューロンモデルから出力スパイクを放出するための例示的な動作２２００の流れ図である。動作２２００は、ハードウェアで（たとえば、１つまたは複数の処理ユニットによって）、ソフトウェアで、またはファームウェアで実行され得る。

【0338】

[00200]動作は、２２０４において、第１のニューロンモデルにおいて少なくとも１つの入力を受信することによって、開始し得る。上記入力は、バイナリ値入力スパイクまたはスパイクトレインなど、スパイク時間領域における入力を備え得る。いくつかの態様では、上記入力は、実数値領域における入力を備え得る。

【0339】

[00201]第１のニューロンモデルは、たとえば、ＡＬＩＦニューロンモデルであり得る。いくつかの態様では、第１のニューロンモデルは、指数関数的に増大する膜電位を有し得、抑制性入力がない場合に脱分極し続け得る。興奮性入力は、第１のニューロンモデルが、第１のニューロンモデルが興奮性入力なしに発火するであろうよりもすぐに発火することを引き起こし得る。

【0340】

[00202]２２０６において、第１のニューロンモデルの第１の出力スパイク時間と基準時間との間の相対時間が、受信された入力に基づいて判断され得る。上記入力が（入力スパイクとは対照的に）入力値を備えるとき、２２０６において相対時間を判断することは、相対時間として入力値を符号化することを含み得る。この符号化することは、入力値の対数の負数として相対時間を計算することを備え得、ここにおいて、対数は、第１のニューロンモデルのための膜電位の関数として膜電位の変化の係数の指数値に等しい底を有する。

【0341】

[00203]２２１０において、出力スパイクが、相対時間に基づいて第１のニューロンモデルから放出され得る。いくつかの態様では、２２１２において、第１のニューロンモデルの膜電位が、出力スパイクを放出した後に、０を上回る公称設定に再設定され得る。

【0342】

[00204]いくつかの態様によれば、基準時間は第１のニューロンモデルの第２の出力スパイク時間を備え得、第２の出力スパイク時間は第１の出力スパイク時間の前に発生する。他の態様では、基準時間は第２のニューロンモデルの第２の出力スパイク時間を備え得、ここにおいて、第１のニューロンモデルの出力が第２のニューロンモデルの入力に結合され、ここにおいて、第２の出力スパイク時間は第１の出力スパイク時間の前に発生する。第１のニューロンモデルは、第１のニューロンモデルのための第１の膜電位の変化の第１の係数を有し得、第２のニューロンモデルは、変化の第１の係数とは異なる、第２のニューロンモデルのための第２の膜電位の変化の第２の係数を有し得る。いくつかの態様では、第２のニューロンモデルは、第１のニューロンモデルのための基準時間から遅延された別の基準時間を使用し得る。

【0343】

[00205]いくつかの態様では、動作２２００は、２２０２において第１のニューロンモデルによってモデル化される関数（たとえば、スケーリング関数または他の線形変換）に基づいて少なくとも１つの入力における遅延を判断することを含み得、これは、２２０４において少なくとも１つの入力を受信することの前に発生し得るが、発生する必要はない。２２０８において、相対時間は、上記遅延に基づいて調整され得、その結果、出力スパイクは、調整された相対時間に基づいて放出される。たとえば、関数はスカラーによる乗算を備え得、ここにおいて、２２０２において上記遅延を判断することは、上記遅延を判断するためにスカラーの絶対値を計算することを備え、ここにおいて、スカラーが負である場合は、第１のニューロンモデルへの入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、スカラーが正である場合は、第１のニューロンモデルへの入力に関連するシナプスが興奮性シナプスとして使用される。いくつかの態様では、関数は、以下でより詳細に説明されるように、恒常的プロセスまたはターゲット出力遅延に基づく学習関数であり得る。いくつかの態様によれば、２２０２において上記遅延を判断することは、上記遅延を所望の時間分解能に量子化することを伴い得、ここにおいて、２２０８において相対時間を調整することは、量子化された遅延に基づいて相対時間を調整することを備える。関数の精度は時間分解能に依存し得る。

【0344】

[00206]いくつかの態様によれば、２２０４において上記入力を受信することは、所望の時間分解能に基づくサンプリングレートを用いて上記入力をサンプリングすることを伴い得る。そのような態様では、２２０６において相対時間を判断することは、相対時間を時間分解能に量子化することを備え得る。

【0345】

[00207]いくつかの態様では、動作２２００は、２２１４において第１のニューロンモデルのための出力値を判断することをさらに備え得る。出力値は、放出された出力スパイクの時間と基準時間との間の時間差に基づいて判断され得、ここにおいて、出力値は、第１のニューロンモデルのための膜電位の変化の係数の指数値の逆数であり、指数は、上記逆数をとる前に時間差乗される。２２１６において、出力値は、ディスプレイ、または出力値を示すための他の好適な手段に出力され得る。

【0346】

学習
[00208]スパイキングネットワークにおける学習は、一般に、長期増強（ＬＴＰ）と長期抑圧（ＬＴＤ）の両方を備えるペアワイズスパイクタイミング依存可塑性（ＳＴＤＰ）則を使用して、モデル化される。ＬＴＰは、一般にシナプス後ニューロンがシナプス前ニューロンの後に発火するとき、シナプス荷重を増加させる。ＬＴＤは、一般に逆の順序が現れるとき、シナプス荷重を減少させる。一般に、指数モデルが両方のために使用される。

【0347】

[00209]詳細には、基本ＳＴＤＰ則では、荷重は、シナプス後スパイク時間ｔ_postがシナプス前スパイク時間ｔ_preの後に発生した場合は増加され、その順序が逆転された場合は減少される。その変化は、以下の式によって判断された異なる大きさを有し得る。

【数178】

[この文献は図面を表示できません]

【0348】

上式で、ΔＴ＝ｔ_post−ｔ_preであり、β値は、ＬＴＰおよびＬＴＤのための学習率を判断し、τは、（同じく異なり得る）ＬＴＰおよびＬＴＤの指数減衰のための時定数である。

【0349】

[00210]ただし、本明細書で説明される一般的なスパイキングニューラル計算では、荷重は不要である。とはいえ、結合が、ミュート（切断／無効化）され、ミュート解除（再接続／有効化）され得る。これが本開示の態様とどのように適合するかを理解するために、基準のフレームを考慮し得る。いくつかの態様では、情報は、スパイクと別のスパイク（または基準時間）との間の相対時間において時間的にコーディングされる。入力が、（シナプス遅延を含めて）ニューロンが発火する前に到着する場合、入力は、発火時間に影響を及ぼし得る。しかしながら、入力が、ニューロンが発火した後に到着する場合、入力は、（せいぜい）次の発火に影響を及ぼすにすぎないことがある。

【0350】

[00211]たとえば、図２３に示されるように、シナプス後ニューロンｋのためのある入力スパイク（２３０２におけるニューロンｊの出力スパイク＋結合遅延）は、ニューロンｋが２３０４において発火する前に到着し、２３０４における発火に影響を及ぼすために適時である。シナプス後ニューロンｋのための別の入力スパイク（２３０６におけるニューロンｊの出力スパイク＋結合遅延）は、ニューロンｋが２３０４において発火した後に到着し、この発火に影響を及ぼすためにはそのフレームにとってあまりに遅い。

【0351】

[00212]本開示の態様によれば、値領域では、ｘ＝ｑ^-τであり、したがって、（概してｑ＞１であるので）小さい値が長い時間τに対応する。したがって、入力が小さい十分な値を有する場合、それは、出力スパイクタイミングに何らかの影響を及ぼすためにはあまりに遅く到着するので、出力（結果）に対して有意でないことがある。上記で、この遅い到着が次の発火時間に影響を及ぼすのを防ぐ様々な方法が説明された。ただし、事実上有意でない入力を一時的にミュートするためにＳＴＤＰと同様の則を適用することによって、これを学習する自動的な方法もある。後で、その入力が有意になる場合、シナプスはミュート解除され得る。

【0352】

[00213]本開示のいくつかの態様では、シナプス遅延は、値領域において荷重を表す。遅延を学習することは、線形変換を学習することに対応する。したがって、学習則が、値領域において値の荷重（係数）を学習するために採用され得、これらの荷重は（スパイクタイミング領域において）遅延に変換され得る。

【0353】

[00214]代替として、時間領域に変換し、時間領域において遅延適応則を実行することによって、適応が遅延に直接適用され得る。

【0354】

[00215]これがどのように達成され得るかを確かめるために、入力の所与のセットについて出力遅延τ_kを有するニューロンｋを考慮されたい。

【0355】

ただし、ターゲット出力遅延を

【数179】

[この文献は図面を表示できません]

【0356】

とする。ターゲット出力遅延を取得するために、ターゲット入力遅延

【数180】

[この文献は図面を表示できません]

【0357】

が、以下に従って望まれる。

【数181】

[この文献は図面を表示できません]

【0358】

[00216]勾配をとることは、

【数182】

[この文献は図面を表示できません]

【0359】

を生じる。

【0360】

[00217]反転することは、

【数183】

[この文献は図面を表示できません]

【0361】

につながる。

【0362】

[00218]これは、遅延のための学習則を与え、

【数184】

[この文献は図面を表示できません]

【0363】

である。これは（Δω_k→０を仮定すると）

【数185】

[この文献は図面を表示できません]

【0364】

に簡略化され得る。

【0365】

[00219]上記の勾配の分母に対する特定の入力ｉの寄与が小さいと仮定すると、組み合わせて、なおさらに

【数186】

[この文献は図面を表示できません]

【0366】

に簡略化し得、これは、ターゲット発火時間と実際の発火時間との間の差、ならびに入力時間および現在遅延に依存する。パラメータφは適応レートを制御する。

【0367】

[00220]どちらのバージョンが使用されても、シナプス後ニューロン発火時間の後である細胞体における到着時間を有するそれらの入力について、遅延が調整されないことが推奨される。むしろ、そのような入力は、遅延調整を有しないか、または上記で説明されたようにＳＴＤＰと同様の方法に従って調整され得る（すなわち、極めて小さい量だけ減分され得る）。

【0368】

[00221]次に、ターゲットを考慮されたい。ターゲットは、何がニューロンから望まれるかにのみ依存する。ターゲットは任意に設定されることさえあり、ニューロンは、その場合、入力のための係数を学習することを可能にされ得る。代替として、意図的に範囲の限界において非線形性を利用するために、ターゲットを選定し得る。学習は、因果的入力の論理関係を判断することまたは何らかの任意の線形方程式を計算することを行うために使用され得る。

【0369】

[00222]最後に、ターゲットは、ニューロンの発火率、アクティビティ、またはリソース（エネルギー）使用を調節する恒常的プロセスとして解釈され得ることが留意され得る。この観点から、遅延学習則は「恒常的学習」と呼ばれることがある。

【0370】

例Ｅ：雑音の多いバイナリ入力のための係数を学習すること
[00223]この例では、遅延学習則は、雑音の多いバイナリ入力ベクトルのための係数を学習するために使用される。１５個の入力（シナプス前ニューロン）、および（合計１５個の入力について）各々からシナプス後ニューロンへの１つのシナプス／結合があると仮定されたい。（ランダムに選定された）同じバイナリ入力組合せにシナプス後ニューロンを繰り返しさらすことによって、遅延学習則は、シナプス後ニューロンが、所望のターゲット時間に発火を生じる遅延を学習することを可能にする。早い入力（すなわち、短い相対入力時間）がブール１を表すために使用され得、遅い入力（すなわち、長い相対入力時間）がブール０を表すために使用され得る。図２４に、本開示のいくつかの態様による、１５個のシナプス前ニューロンの５つの代表（Ａ〜Ｅ）２４０２とシナプス後ニューロン（Ｆ）２４０４とを示す。

【0371】

[00224]全白色ガウス雑音（ＡＷＧＮ：all white Gaussian noise）が、２．５ｍｓの標準偏差を用いて、時間領域において入力に追加される。これは、それが全体的時間範囲の大部分であるので、かなりの量の雑音である。しかしながら、本開示の態様は、正常に学習することが依然として可能である。

【0372】

[00225]図２５Ａおよび図２５Ｂに、本開示のいくつかの態様による、ターゲット出力遅延を達成するために入力遅延を学習した例示的な結果を示す。証明目的で、２つの異なる事例が示されている。図２５Ａでは、遅延は大きく初期化され、ターゲットは低く設定される。図２５Ｂでは、遅延は小さく初期化され、ターゲットは高く設定される。いずれの事例でも、学習は成功しており、高速である。

【0373】

[00226]図２６に、入力（ｘ軸）の各々について（ｍｓでの）遅延のグラフ２６００において、および係数（実数値の値領域）のグラフ２６１０において、雑音の多いバイナリ入力ベクトルのための係数を学習した結果を示す。遅延は入力対応を学習するために適応したことに留意されたい。

【0374】

例Ｆ：雑音の多い実数値入力のための係数を学習すること
[00227]この例では、遅延学習則は、雑音の多い実数値入力ベクトルのための係数を学習するために使用される。この例は、入力ベクトルにおける値がブールの代わりに実数値であることを除いて、上記の例と同じである。

【0375】

[00228]図２７に、本開示のいくつかの態様による、雑音の多い実数値入力ベクトルのための係数を学習した例示的な結果を示す。図２７のグラフ２７００、２７１０、および２７２０中の結果は、遅延学習則が、雑音の多い実数値入力のために等しくうまく動作することを示している。

【0376】

例Ｇ：ブール入力のための雑音の多い因果的論理関係を学習すること
[00229]この例では、遅延学習則は、変動するブール入力ベクトルの因果的論理関係を学習するために適用される。ここで、入力ベクトルは時間とともに変化しているが、遅延学習則が論理関係が何であるかを学習することができるかどうかを確かめるために、入力における一貫性がある論理関係が課される。第１の事例では、３つの入力のセットが、ＯＲ関係を表すために選定（１に設定）される。第２の事例では、すべての入力が、ＡＮＤ関係を表すために選定（１に設定）される。前の例に関しては雑音が追加される。この例では、設定は前の例と同じである。

【0377】

[00230]図２８Ａは、ＯＲ関係の場合の第１の反復の後の遅延のグラフ２８００であり、図２８Ｂは、ＡＮＤ関係の場合の第１の反復の後の遅延のグラフ２８１０である。遅延のうちのいくつかが、この単一の反復の後にすでに１ｍｓの初期値からわずかに増加されることが留意され得る。また、入力における関係が確かめられ得ることが留意され得る。図２８Ａでは、シナプス前ニューロンのうちの１つのみが早く発火し、したがって、入力のうちの３つのみが早く細胞体に達する（約１０ｍｓ）。他の入力は、より遅い（約２５ｍｓ）。図２８Ｂでは、すべてのシナプス前ニューロンが早く発火する。ただし、ニューロンはターゲット時間にまだ発火せず、むしろ、それはかなり早く発火する。

【0378】

[00231]図２９Ａは、図２８Ａに対応するＯＲ関係の場合のいくつかの反復の後の遅延のグラフ２９００であり、図２９Ｂは、図２８Ｂに対応するＡＮＤ関係の場合のいくつかの反復の後の遅延のグラフ２９１０である。次に、シナプス後ニューロンが、論理表現（入力に従ってＯＲまたはＡＮＤ）をコーディングする遅延を学習したことを確かめることができる。さらに、出力時間はターゲット通りである（図に示されていない）。図２９Ａでは、１つのシナプス前早期発火は、シナプス後ニューロンがターゲット通りに発火することを引き起こすのに十分である（すなわち、論理ＯＲ）（他の入力は、それらの総遅延が３０ｍｓ（ターゲット）を超えることを前提として確かめられ得るように、他の入力を、効果を及ぼすためにはあまりに遅くする、遅延を有する）。図２９Ｂでは、すべての入力が、概して、シナプス後ニューロンが時間通りに発火するために必要であるので、論理関係ＡＮＤは学習された。これは、より大きい遅延をたいがい伴う。

【0379】

[00232]図３０に、論理関係を学習するための（反復の数の関数としての）収束を示す。グラフ３０００は、論理ＯＲ関係の場合の収束を示しており、グラフ３０１０は、論理ＡＮＤ関係の場合の収束を示している。

【0380】

一般的な論理条件または因果的学習
[00233]ｘ_iを、（それぞれ）ｆａｌｓｅまたはｔｒｕｅのいずれかである論理変数ｉを表すブール値（０または１）とする。真の論理関係｛ｉ｝→ｊを真の原因関数（true cause function）によって定義されるものとし、

【数187】

[この文献は図面を表示できません]

【0381】

である。

【0382】

[00234]たとえば、

【数188】

[この文献は図面を表示できません]

【0383】

でありさえすれば、

【数189】

[この文献は図面を表示できません]

【0384】

である。

【0385】

[00235]線形伝達関数を以下のように定義されるものとする。

【数190】

[この文献は図面を表示できません]

【0386】

上式で、ｋの上付き文字はセットの事例を示し、ｎ^kは否定置換ベクトル（negation permutation vector）である。この関数は、（必ずしも遅延とは限らないが）遅延を表す値を与える。否定エントリは、−１を否定することまたは＋１を否定しないことのいずれかとしてコーディングされる。事実上、これは、ベクトルに従ってブール値入力をそれらの否定値に変換し、

【数191】

[この文献は図面を表示できません]

【0387】

である。

【0388】

[00236]さらに、係数

【数192】

[この文献は図面を表示できません]

【0389】

を、上記の関数が、真の論理包含（たとえば、Ａ、Ｂ、Ｃでない、およびＤでない）を有する、｛ｘ_i｝によって表される論理変数組合せについてθに等しくなるように、定義されるものとし、したがって、すべてのｋについて、以下の表現が満たされる。

【数193】

[この文献は図面を表示できません]

【0390】

[00237]これは、上記で説明したように恒常的学習のためのターゲットを設定することと等価である。事実上、上記のターゲットθは、出力遅延ターゲットに変換され得る。

【0391】

[00238]上記の式を置換すると、

【数194】

[この文献は図面を表示できません]

【0392】

であり、または

【数195】

[この文献は図面を表示できません]

【0393】

であり、または

【数196】

[この文献は図面を表示できません]

【0394】

である。

【0395】

[00239]したがって、十分な式を用いて、いくつかの未知数ｘ_iを前提として、セット｛ｘ_i｝における論理条件は、たとえば、入力としてすべてのアンサンブルニューロン出力を受信し、（同時に起こる入力タイミングの）しきい値時に発火する、別のニューロンを使用して、認識され得る。

【0396】

[00240]たとえば、上記の例のためのいくつかの事例を考慮されたい。否定なしに、（ｋ＝１と標示された）第１のニューロンが、真の因果関係（causation）を満たすための係数を学習することができる。しかしながら、それは、いくつかの他の条件をも満たすことになり、

【数197】

[この文献は図面を表示できません]

【0397】

である。これは、すべてのｉについて

【数198】

[この文献は図面を表示できません]

【0398】

である場合、上記の例における各変数について

【数199】

[この文献は図面を表示できません]

【0399】

であるからである。したがって、真の原因は明確に検出されないことがある。しかしながら、（ｋ＝２と標示された）別のニューロンが追加される場合、

【数200】

[この文献は図面を表示できません]

【0400】

である。

【0401】

[00241]ここで、組合せにおいて、４つの重複する論理条件（最初の４つ）のみがあるので、組合せにおいて、それら２つのニューロンは、あいまいさを低減するために使用され得ることが確かめられ得る。より多くのニューロンがある場合、あいまいさは完全になくされ得る。ただし、この特定の論理条件についてあいまいさを有しない否定ベクトルをも見つけ得る。

【数201】

[この文献は図面を表示できません]

【0402】

この場合、このニューロンは、真の原因に対応する論理条件が満たされる場合のみ、所望の遅延において発火することになるので、複数のニューロンの必要はない。

【0403】

[00242]しかしながら、概して、起こり得る任意の特定の論理条件のための解を有するために動機を与えられ得る。これのために、異なる否定ベクトルを用いたニューロンのアンサンブルが利用され得る。次いで、十分なこれらのニューロンが同じ時間に発火するときを検出する時間コインシデンス認識ニューロン（temporal coincidence recognition neuron）に自分の出力を供給し、それにより、真の原因に対応する論理条件を明確に認識し得る。十分なニューロンを有することは、一般に、ニューロンのポピュレーションが真の論理条件と偽の論理条件とを区別するときの（すなわち、所定の時間精度でコインシデンス発火（coincidence firing）によって測定されたニューロンが、一緒に、所望の程度または精度で、因果関係、結果の欠如、または両方のいずれかを正しく予測することができるときの）状態または条件を指す。

【0404】

[00243]図３１に、本開示のいくつかの態様による、否定とアンサンブル演繹の両方がどのように実装され得るかを示す。ニューロンＣ３１０２は１つの入力の一例である。ニューロンＣは、ニューロンＣの否定を表すニューロン（Ｃでない）３１０４を抑制する。ニューロンＣが遅く発火する場合、ニューロン（Ｃでない）は最初に発火することになることに留意されたい。短い遅延が大きい値（論理「ｔｒｕｅ」）を意味し、長い遅延が小さい値（論理「ｆａｌｓｅ」）を意味することを想起されたい。各々は、異なる否定ベクトルを用いた異なるニューロンへの入力である（すなわち、ニューロンＥ¹３１０６が、否定されないＣを使用し、ニューロンＥ²３１０８が、否定されたＣを使用する）。第３のニューロンＥ³（図示せず）が、使用される場合、Ｅ³のための否定ベクトルに応じて、否定されないＣまたは否定されたＣのいずれかを使用し得る。さらに、学習ニューロン３１０６、３１０８の各々は、各学習ニューロンのための否定ベクトルに従って、否定されたにせよ、否定されないにせよ、他の入力（たとえば、ニューロンＡ、ニューロン（Ａでない）、ニューロンＢ、ニューロン（Ｂでない）、ニューロンＤ、またはニューロン（Ｄでない））を有し得る。各入力に関連する遅延は、上記で説明されたように、ターゲット出力遅延を満たすために学習ニューロンにおいて適応される。これらの学習ニューロン３１０６、３１０８の出力はニューロンＲ３１１０への入力として供給され、ニューロンＲ３１１０は、それらの出力における時間コインシデンス（すなわち、ニューロンＥ¹およびＥ²が論理条件一致に関して同意するかどうか）を認識することが可能である。

【0405】

ヘッブ学習
[00244]ヘッブ学習は、入力と出力が互いに発火する、学習の形態である。ヘッブ学習則の単純な形態はＳＴＤＰ則であり、

【数202】

[この文献は図面を表示できません]

【0406】

であり、上式で、ΔＴ＝ｔ_post−ｔ_pre＝ｔ_k−ｔ_i＝τ_kr−τ_irであり、上式で、ｒは、時間基準を与える基準である。乗法的変化、ｗ_ik’＝ｗ_ik（１＋Δｗ_ik）を仮定し、時間領域に変換すると、

【数203】

[この文献は図面を表示できません]

【0407】

であり、または

【数204】

[この文献は図面を表示できません]

【0408】

であり、したがって、

【数205】

[この文献は図面を表示できません]

【0409】

である。

【0410】

[00245]したがって、ヘッブ学習は、時間領域において使用され、荷重なしに、入力／出力スパイクタイミングΔＴに応じて遅延を調整し得る。ΔＴの値が大きくなると、対数パラメータの値が１に近づき、したがって、遅延の変化が小さくなることに注目されたい。長期増強（ＬＴＰ）による荷重の増加は、正のΔＴについて正のＡ値を有し、したがって、対数パラメータは１よりも大きくなり、遅延の負の変化（増加）を与える。長期抑圧（ＬＴＤ）による荷重の減少は、負のΔＴについて負のＡ値を有し、したがって、対数パラメータは１よりも小さくなり、遅延の正の変化（増加）を与える。より長い遅延は、あまり有意でない入力を意味する。より短い遅延は、より有意な入力を意味する。

【0411】

[00246]図３２は、本開示のいくつかの態様による、出力スパイクを放出するためのスパイキングニューラルネットワークにおける学習のための例示的な動作３２００の流れ図である。動作３２００は、ハードウェアで（たとえば、１つまたは複数の処理ユニットによって）、ソフトウェアで、またはファームウェアで実行され得る。

【0412】

[00247]動作３２００は、３２０２において、ニューロンモデルへの入力（たとえば、樹状突起）に関連する現在遅延を初期化することによって、開始し得る。現在遅延は、いくつかの態様では０に初期化され得る。

【0413】

[00248]３２０４において、ニューロンモデルにおける入力スパイクが、現在遅延に従って遅延され得る。入力スパイクは、ニューロンモデルのための基準時間に対する入力スパイク時間に発生し得る。３２０６において、出力スパイクが、遅延された入力スパイクに少なくとも部分的に基づいてニューロンモデルから放出され得る。３２０８において、出力スパイクの出力スパイク時間とニューロンモデルのための基準時間との間の実際の時間差が判断され得る。

【0414】

[00249]３２１０において、上記入力に関連する現在遅延は、現在遅延、入力スパイクのための入力スパイク、およびターゲット時間差と実際の時間差との間の差に基づいて調整され得る。ターゲット時間差と実際の時間差との間の差がしきい値よりも大きいか、または反復の数が上限に達していない場合、３２０４〜３２１０における動作は、（現在遅延としての）調整された遅延を用いて繰り返され得る。３２０４〜３２１０における動作は、少なくとも、ターゲット時間差と実際の時間差との間の差がしきい値よりも小さいかまたはそれに等しくなるまで、または最大数の反復が実行される（すなわち、反復の数が上限に達する）まで、何回か繰り返され得る。いくつかの態様によれば、ターゲット時間差は、上記で説明されたように、ニューロンモデルを伴う恒常的プロセスのための設定点であり得る。

【0415】

[00250]３２１２において、スカラー値が、調整された遅延に基づいて判断され得る。言い換えれば、スカラー値はニューロンモデルによって学習されていた。スカラー値は、ニューロンモデルのための膜電位の変化の係数の指数値の逆数として判断され得、指数は、上記逆数をとる前に上記調整された遅延乗される。いくつかの態様では、スカラー値は線形変換の係数であり得る。いくつかの態様では、スカラー値は、ディスプレイ、またはスカラー値を示すための他の好適な手段に出力され得る。

【0416】

[00251]図３３は、本開示のいくつかの態様による、スパイキングニューラルネットワークにおける因果的学習のための例示的な動作３３００の流れ図である。動作３３００は、ハードウェアで（たとえば、１つまたは複数の処理ユニットによって）、ソフトウェアで、またはファームウェアで実行され得る。

【0417】

[00252]動作３３００は、３３０２において、１つまたは複数の学習ニューロンモデルの各々において論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係が論理入力のセットに課される、与えることによって、開始し得る。３３０４において、入力スパイク間の変動するタイミングが、論理入力の各セットにおいて受信され得る。３３０６において、１つまたは複数の学習ニューロンモデルの各々について、論理入力の各々に関連する遅延が、受信された入力スパイクを使用して調整され得、その結果、学習ニューロンモデルは、真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延を満たす出力スパイクを放出する。

【0418】

[00253]いくつかの態様では、３３０６において、１つまたは複数の学習ニューロンモデルの各々について、論理入力の各々に関連する遅延は、その遅延を調整する前に初期化され得る。

【0419】

[00254]いくつかの態様によれば、３３０２において論理入力のセットを与えることは、複数の論理入力を備えるグループから論理入力の各セットを選択することを含み得る。いくつかの態様では、上記グループは複数の論理入力の否定を含み得、ここにおいて、論理入力の各セットを選択することは、複数の論理入力と否定とを備える上記グループから論理入力の各セットを選択することを備える。

【0420】

[00255]動作３３００は、入力ニューロンモデルとして複数の論理入力の各々をモデル化することと、複数の論理入力の各々について、１つまたは複数の否定ベクトルのうちの少なくとも１つが論理入力のための否定指示を有する場合、論理入力の否定を表す否定ニューロンモデルを与えることであって、ここにおいて、論理入力の各セットが否定ベクトルのうちの１つに従って選択される、与えることとをさらに含み得る。この場合、各学習ニューロンモデルは否定ベクトルのうちの１つに対応し得、複数の論理入力の各々について、入力ニューロンモデルのまたはそれの対応する否定ニューロンモデルの出力が、否定ベクトルに従って学習ニューロンモデルの入力に結合され得る。いくつかの態様では、入力ニューロンモデルの各々は、対応する否定ニューロンモデルを抑制し得る。いくつかの態様では、否定指示は−１を備え得る。

【0421】

[00256]動作３３００は、学習ニューロンモデルからの出力スパイクのタイミングに基づいて、１つまたは複数の学習ニューロンモデルが、真の因果的論理関係に対応する１つまたは複数の論理条件を学習したと判断することをさらに含み得る。いくつかの態様では、この判断することは、学習ニューロンモデルの間の発火のコインシデンスまたはパターンを判断することを含み得る。

【0422】

[00257]いくつかの態様によれば、時間コインシデンス認識ニューロンモデルが、学習ニューロンモデルの各々からの出力に結合され得る。時間コインシデンス認識ニューロンモデルは、しきい値数の学習ニューロンモデルがほぼ同じ時間に発火する場合、発火するために構成され得る。動作３３００は、時間コインシデンス認識ニューロンモデルが発火する場合、１つまたは複数の学習ニューロンモデルが、真の因果的論理関係に対応する論理条件のうちの少なくとも１つを学習したと判断することをさらに含み得る。

【0423】

[00258]いくつかの態様によれば、３３０４において論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することは、論理入力のセットにおいて変動するブールベクトルを受信することを備え得る。いくつかの態様では、変動するブールベクトルにおいて、比較的短い遅延が論理ＴＲＵＥを表し、比較的長い遅延が論理ＦＡＬＳＥを表す。

【0424】

[00259]いくつかの態様では、調整された遅延、１つまたは複数の論理条件、および／または真の因果的論理関係は、ディスプレイ、またはこれらを示すための他の好適な手段に出力され得る。いくつかの態様では、学習ニューロンモデルはＡＬＩＦニューロンモデルを備え得る。

【0425】

結論
[00260]スパイクの相対時間において情報をコーディングすることによって、スパイキングニューロンを使用することの計算利点が実際にあり得る。したがって、任意の精度でスパイキングニューラルネットワークにおいて時間コーディングを効率的にシミュレートすることができるニューロンモデル（シミュレータ設計のタイプ）が本明細書で説明された。

【0426】

[00261]上記で説明されたように、相対時間コードへの対数変換を使用して、本明細書で開示されるスパイキングニューロンモデルを使用して、任意の線形システムが計算され得る。任意の個々のスパイクの情報コンテンツが時間分解能によってのみ制限され、したがって、単一のニューロンモデルが、任意の精度の線形変換を計算し、１つのスパイクにおいて結果を与え得る。いくつかの態様は、シナプス荷重またはシナプス後フィルタなしの例示的なニューロンモデルとして反リーキー積分発火（ＡＬＩＦ）ニューロンを使用する。計算は、時間遅延、および自己参照（ＳＲ）スパイクタイミングと非自己参照（ＮＳＲ）スパイクタイミングとの間の変換を使用して、対数値領域において発生し得る。第２のニューロンモデルを使用した、または生物学的発振によく似た、基準時間フレーム波を伝搬する方法を使用した、変換を含む、これを達成する複数の手段が上記で説明された。荷重乗算が実行される必要はなく、シナプス後フィルタが計算される必要はないので、連続または離散時間においてニューロン出力を計算する高効率な方法が可能である。

【0427】

[00262]さらに、スパイキングニューラルネットワークは、２つのタイプのイベント、すなわち、（１）遅延されたシナプス入力イベントと（２）予想される将来スパイク時間イベントとを含むイベントベースのスケジュールを使用して、ソフトウェアまたはハードウェアでシミュレートされ得る。シナプス前ニューロンが発火するとき、イベントは、ニューロン間の軸索または樹状遅延に応じて将来のある時間に各シナプス後ニューロンについてスケジュールされ得る。入力イベントが発生するとき、ニューロンの状態は、時間ステップにおいてではなく、前の更新から直接更新され得る。入力が追加され得、将来発火時間が直接計算され得る。これは、ニューロンが現在の状態を前提として発火しないことになる場合、無限であり得る。とにかく、将来発火時間イベントが再スケジュールされ得る。このようにして、タイミング（連続時間でも）における任意に高い精度が、追加コストなしにシミュレートされ、それにより電力消費を低減し得る。

【0428】

[00263]上記で説明された方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はされないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々な（１つまたは複数の）ハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示される動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図２２に示される動作２２００は、図２２Ａに示される手段２２００Ａに対応する。

【0429】

[00264]たとえば、示すための手段は、ディスプレイ（たとえば、モニタ、フラットスクリーン、タッチスクリーンなど）、プリンタ、または値を示すための他の好適な手段を備え得る。処理するための手段、受信するための手段、放出するための手段、追加するための手段、出力するための手段、再設定するための手段、遅延させるための手段、調整するための手段、繰り返すための手段、初期化するための手段、モデル化するための手段、与えるための手段、または判断するための手段は、１つまたは複数のプロセッサを含み得る、処理システムを備え得る。

【0430】

[00265]本明細書で使用される「判断」という用語は、多種多様なアクションを包含する。たとえば、「判断」は、計算、算出、処理、導出、調査、探索（たとえば、テーブル、データベースまたは別のデータ構造での探索）、確認などを含み得る。また、「判断」は、受信（たとえば、情報を受信すること）、アクセス（たとえば、メモリ中のデータにアクセスすること）などを含み得る。また、「判断」は、解決、選択、選定、確立などを含み得る。

【0431】

[00266]本明細書で使用される、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃをカバーするものとする。

【0432】

[00267]本開示に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明された機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

【0433】

[00268]本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備え得、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。

【0434】

[00269]本明細書で開示される方法は、説明された方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は特許請求の範囲から逸脱することなく変更され得る。

【0435】

[00270]説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスおよびブリッジを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプターを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプターは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに結合され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路をリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。

【0436】

[00271]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行することができる他の回路がある。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（読取り専用メモリ）、ＰＲＯＭ（プログラマブル読取り専用メモリ）、ＥＰＲＯＭ（消去可能プログラマブル読取り専用メモリ）、ＥＥＰＲＯＭ（電気消去可能プログラマブル読取り専用メモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。

【0437】

[00272]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加として、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。

【0438】

[00273]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部を提供する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、プロセッサをもつＡＳＩＣ（特定用途向け集積回路）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは１つまたは複数のＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明された様々な機能を実行し得る回路の任意の組合せを用いて、実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明された機能を最も良く実装し得るかを理解されよう。

【0439】

[00274]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。

【0440】

[00275]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

【0441】

[00276]したがって、いくつかの態様は、本明細書で提示される動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令をその上に記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

【0442】

[00277]さらに、本明細書で説明された方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にデバイスによってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明された方法を実行するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明された様々な方法は、デバイスが記憶手段をデバイスに結合するかまたは与えると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明された方法および技法をデバイスに提供するための任意の他の好適な技法が利用され得る。

【0443】

[00278]特許請求の範囲は、上記に示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
スパイキングニューラルネットワークを使用して学習する方法であって、
１つまたは複数の学習ニューロンモデルの各々において、論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係が論理入力の前記セットに課される、
論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、
前記１つまたは複数の学習ニューロンモデルの各々について、前記受信された入力スパイクを使用して前記論理入力の各々に関連する遅延を調整することであって、その結果、前記学習ニューロンモデルが、前記真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延に合う出力スパイクを放出する、
を備える上記方法。
［Ｃ２］
前記１つまたは複数の学習ニューロンモデルの各々について、前記調整することの前に前記論理入力の各々に関連する前記遅延を初期化すること
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記１つまたは複数の学習ニューロンモデルの各々において、論理入力の前記セットを与えることが、複数の論理入力を備えるグループから論理入力の各セットを選択することを備える、Ｃ１に記載の方法。
［Ｃ４］
前記グループが前記複数の論理入力の複数の否定をさらに備え、ここにおいて、論理入力の各セットを選択することが、前記複数の論理入力と前記複数の否定とを備える前記グループから論理入力の各セットを選択することを備える、Ｃ３に記載の方法。
［Ｃ５］
入力ニューロンモデルとして前記複数の論理入力の各々をモデル化することと、
前記複数の論理入力の各々について、１つまたは複数の否定ベクトルのうちの少なくとも１つが前記論理入力のための否定表示を有する場合、前記論理入力の否定を表す否定ニューロンモデルを与えることであって、ここにおいて、論理入力の各セットが前記否定ベクトルのうちの１つに従って選択される、
をさらに備えるＣ３に記載の方法。
［Ｃ６］
各学習ニューロンモデルが前記否定ベクトルのうちの１つに対応し、ここにおいて、前記複数の論理入力の各々について、前記入力ニューロンモデルのまたはそれの対応する否定ニューロンモデルの出力が、前記否定ベクトルに従って前記学習ニューロンモデルの入力に結合される、Ｃ５に記載の方法。
［Ｃ７］
前記入力ニューロンモデルの各々が、前記対応する否定ニューロンモデルを抑制する、Ｃ５に記載の方法。
［Ｃ８］
前記否定表示が−１を備える、Ｃ５に記載の方法。
［Ｃ９］
前記１つまたは複数の学習ニューロンモデルが、前記学習ニューロンモデルからの前記出力スパイクのタイミングに基づいて、前記真の因果的論理関係に対応する前記１つまたはより多くの論理条件を学習したと判断すること
をさらに備える、Ｃ１に記載の方法。
［Ｃ１０］
前記１つまたはより多くの学習ニューロンモデルが前記１つまたはより多くの論理条件を学習したと判断することは、前記複数の学習ニューロンモデルの間の発火のパターンまたはコインシデンスを判断することを備える、Ｃ９に記載の方法。
［Ｃ１１］
前記学習ニューロンモデルの各々からの出力に結合された一時的コインシデンス認識ニューロンモデルを与えることであって、ここにおいて、前記一時的コインシデンス認識ニューロンモデルは、しきい値数の前記学習ニューロンモデルがほぼ同じ時間に発火する場合、発火するために構成される、与えることと、
前記一時的コインシデンス認識ニューロンモデルが発火する場合、前記１つまたは複数の学習ニューロンモデルが、前記真の因果的論理関係に対応する前記論理条件のうちの少なくとも１つを学習した、と判断することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ１２］
論理入力の各セットにおいて前記入力スパイク間の前記変動するタイミングを受信することが、論理入力の前記セットにおいて変動するブールベクトルを受信することを備える、Ｃ１に記載の方法。
［Ｃ１３］
前記変動するブールベクトルにおいて前記入力スパイク間の比較的長い遅延が論理ＦＡＬＳＥを表し、前記入力スパイク間の比較的短い遅延が論理ＴＲＵＥを表す、Ｃ１２に記載の方法。
［Ｃ１４］
スパイキングニューラルネットワークを使用して学習するための装置であって、
１つまたはより多くの学習ニューロンモデルの各々において論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係が論理入力の前記セットに課される、
論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、
前記１つまたはより多くの学習ニューロンモデルの各々について、前記受信された入力スパイクを使用して前記論理入力の各々に関連する遅延を調整することであって、その結果、前記学習ニューロンモデルが、前記真の因果的論理関係に対応する１つまたは複数の論理条件に従ってターゲット出力遅延に合う出力スパイクを放出する、
を行うように構成された処理ユニットを備える上記装置。
［Ｃ１５］
前記処理ユニットが、前記１つまたはより多くの学習ニューロンモデルの各々について、前記遅延を調整する前に前記論理入力の各々に関連する前記遅延を初期化するように構成された、Ｃ１４に記載の装置。
［Ｃ１６］
前記処理ユニットが、複数の論理入力を備えるグループから論理入力の各セットを選択することによって論理入力の前記セットを前記１つまたは複数の学習ニューロンモデルの各々において与えるように構成された、Ｃ１４に記載の装置。
［Ｃ１７］
前記グループが前記複数の論理入力の否定をさらに備え、ここにおいて、論理入力の各セットを選択することが、前記複数の論理入力と前記複数の否定とを備える前記グループから論理入力の各セットを選択することを備える、Ｃ１６に記載の装置。
［Ｃ１８］
前記処理ユニットは、
入力ニューロンモデルとして前記複数の論理入力の各々をモデル化することと、
前記複数の論理入力の各々について、１つまたはより多くの否定ベクトルのうちの少なくとも１つが前記論理入力のための否定表示を有する場合、前記論理入力の否定を表す否定ニューロンモデルを与えることであって、ここにおいて、論理入力の各セットが前記否定ベクトルのうちの１つに従って選択される、
を行うようにさらに構成されたＣ１６に記載の装置。
［Ｃ１９］
各学習ニューロンモデルが前記否定ベクトルのうちの１つに対応し、ここにおいて、前記複数の論理入力の各々について、前記入力ニューロンモデルのまたはそれの対応する否定ニューロンモデルの出力が、前記否定ベクトルに従って前記学習ニューロンモデルの入力に結合される、Ｃ１８に記載の装置。
［Ｃ２０］
前記入力ニューロンモデルの各々が、前記対応する否定ニューロンモデルを抑制する、Ｃ１８に記載の装置。
［Ｃ２１］
前記否定表示が−１を備える、Ｃ１８に記載の装置。
［Ｃ２２］
前記処理ユニットは、
前記１つまたは複数の学習ニューロンモデルが、前記学習ニューロンモデルからの前記出力スパイクのタイミングに基づいて前記真の因果的論理関係に対応する前記１つまたはより多くの論理条件を学習したと判断するようにさらに構成された、Ｃ１４に記載の装置。
［Ｃ２３］
前記処理ユニットは、前記１つまたは複数の学習ニューロンモデルが前記学習ニューロンモデルの間の発火のパターンまたはコインシデンスを判断することによって、前記１つまたはより多くの論理条件を学習したと判断するように構成される、Ｃ２２に記載の装置。
［Ｃ２４］
前記処理ユニットは、
前記学習ニューロンモデルの各々からの出力に結合された一時的コインシデンス認識ニューロンモデルを与えるように、ここにおいて、前記一時的コインシデンス認識ニューロンモデルは、しきい値数の前記学習ニューロンモデルがほぼ同じ時間に発火する場合、発火するように構成される、
前記１つまたはより多くの学習ニューロンモデルが、前記一時的コインシデンス認識ニューロンモデルが発火する場合、前記真の因果的論理関係に対応する前記論理条件のうちの少なくとも１つを学習したと判断するようにさらに構成される、Ｃ１４に記載の装置。
［Ｃ２５］
前記処理ユニットは、論理入力の前記セットにおいて変動するブールベクトルを受信することによって、論理入力の各セットにおいて前記入力スパイク間の前記変動するタイミングを受信するように構成される、Ｃ１４に記載の装置。
［Ｃ２６］
前記変動するブールベクトルにおいて前記入力スパイク間の比較的長い遅延が論理ＦＡＬＳＥを表し、前記入力スパイク間の比較的短い遅延が論理ＴＲＵＥを表す、Ｃ２５に記載の装置。
［Ｃ２７］
スパイキングニューラルネットワークを使用して学習するための装置であって、
１つまたはより多くの学習ニューロンモデルの各々において、論理入力のセットを与えるための手段であって、ここにおいて、真の因果的論理関係が論理入力の前記セットに課される、
論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信するための手段と、
前記１つまたはより多くの学習ニューロンモデルの各々について、前記受信された入力スパイクを使用して前記論理入力の各々に関連する遅延を調整するための手段であって、その結果、前記学習ニューロンモデルが、前記真の因果的論理関係に対応する１つまたはより多くの論理条件に従ってターゲット出力遅延に合う出力スパイクを放出する、
を備える上記装置。
［Ｃ２８］
前記１つまたはより多くの学習ニューロンモデルの各々について、前記調整することの前に前記論理入力の各々に関連する前記遅延を初期化するための手段
をさらに備える、Ｃ２７に記載の装置。
［Ｃ２９］
前記１つまたはより多くの学習ニューロンモデルの各々において論理入力の前記セットを与えるための前記手段が、複数の論理入力を備えるグループから論理入力の各セットを選択するように構成された、Ｃ２７に記載の装置。
［Ｃ３０］
前記グループが前記複数の論理入力の否定をさらに備え、ここにおいて、論理入力の各セットを選択することが、前記複数の論理入力と前記複数の否定とを備える前記グループから論理入力の各セットを選択することを備える、Ｃ２９に記載の装置。
［Ｃ３１］
入力ニューロンモデルとして前記複数の論理入力の各々をモデル化するための手段と、
前記複数の論理入力の各々について、１つまたはより多くの否定ベクトルのうちの少なくとも１つが前記論理入力のための否定表示を有する場合、前記論理入力の否定を表す否定ニューロンモデルを与えるための手段であって、ここにおいて、論理入力の各セットが前記否定ベクトルのうちの１つに従って選択される、
をさらに備えるＣ２９に記載の装置。
［Ｃ３２］
各学習ニューロンモデルが前記否定ベクトルのうちの１つに対応し、ここにおいて、前記複数の論理入力の各々について、前記入力ニューロンモデルのまたはそれの対応する否定ニューロンモデルの出力が、前記否定ベクトルに従って前記学習ニューロンモデルの入力に結合される、Ｃ３１に記載の装置。
［Ｃ３３］
前記入力ニューロンモデルの各々が、前記対応する否定ニューロンモデルを抑制する、Ｃ３１に記載の装置。
［Ｃ３４］
前記否定表示が−１を備える、Ｃ３１に記載の装置。
［Ｃ３５］
前記１つまたはより多くの学習ニューロンモデルが、前記学習ニューロンモデルからの前記出力スパイクのタイミングに基づいて、前記真の因果的論理関係に対応する前記１つまたはより多くの論理条件を学習したと判断するための手段
をさらに備えるＣ２７に記載の装置。
［Ｃ３６］
前記１つまたはより多くの学習ニューロンモデルが前記１つまたは複数の論理条件を学習したと判断するための前記手段は、前記学習ニューロンモデルの間の発火のパターンまたはコインシデンスを判断するように構成されたＣ３５に記載の装置。
［Ｃ３７］
前記学習ニューロンモデルの各々からの出力に結合された一時的コインシデンス認識ニューロンモデルを与えるための手段であって、ここにおいて、前記時間コインシデンス認識ニューロンモデルは、しきい値数の前記学習ニューロンモデルがほぼ同じ時間に発火する場合、発火するように構成される、
前記一時的コインシデンス認識ニューロンモデルが発火する場合、前記１つまたは複数の学習ニューロンモデルが、前記真の因果的論理関係に対応する前記論理条件のうちの少なくとも１つを学習したと判断するための手段と
をさらに備えるＣ２７に記載の装置。
［Ｃ３８］
論理入力の各セットにおいて前記入力スパイク間の前記変動するタイミングを受信するための前記手段が、論理入力の前記セットにおいて変動するブールベクトルを受信するように構成された、Ｃ２７に記載の装置。
［Ｃ３９］
前記変動するブールベクトルにおいて前記入力スパイク間の比較的長い遅延が論理ＦＡＬＳＥを表し、前記入力スパイク間の比較的短い遅延が論理ＴＲＵＥを表すＣ３８に記載の装置。
［Ｃ４０］
スパイキングニューラルネットワークを使用して学習するためのコンピュータプログラム製品であって、
１つまたはより多くの学習ニューロンモデルの各々において論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係が論理入力の前記セットに課される、
論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、
前記１つまたはより多くの学習ニューロンモデルの各々について、前記受信された入力スパイクを使用して前記論理入力の各々に関連する遅延を調整することであって、その結果、前記学習ニューロンモデルが、前記真の因果的論理関係に対応する１つまたはより多くの論理条件に従ってターゲット出力遅延に合う出力スパイクを放出する、
を行うために実行可能な命令を備えるコンピュータ可読媒体を備える、コンピュータプログラム製品。
［Ｃ４１］
前記１つまたはより多くの学習ニューロンモデルの各々について、前記調整することの前に前記論理入力の各々に関連する前記遅延を初期化するために実行可能な命令をさらに備える、Ｃ４０に記載のコンピュータプログラム製品。
［Ｃ４２］
前記１つまたはより多くの学習ニューロンモデルの各々において、論理入力の前記セットを与えることが、複数の論理入力を備えるグループから論理入力の各セットを選択することを備える、Ｃ４０に記載のコンピュータプログラム製品。
［Ｃ４３］
前記グループが前記複数の論理入力の否定をさらに備え、ここにおいて、論理入力の各セットを選択することが、前記複数の論理入力と前記複数の否定とを備える前記グループから論理入力の各セットを選択することを備える、Ｃ４２に記載のコンピュータプログラム製品。
［Ｃ４４］
入力ニューロンモデルとして前記複数の論理入力の各々をモデル化することと、
前記複数の論理入力の各々について、１つまたはより多くの否定ベクトルのうちの少なくとも１つが前記論理入力のための否定表示を有する場合、前記論理入力の否定を表す否定ニューロンモデルを与えることであって、ここにおいて、論理入力の各セットが前記否定ベクトルのうちの１つに従って選択される、
を行うために実行可能な命令をさらに備えるＣ４２に記載のコンピュータプログラム製品。
［Ｃ４５］
各学習ニューロンモデルが前記否定ベクトルのうちの１つに対応し、ここにおいて、前記複数の論理入力の各々について、前記入力ニューロンモデルのまたはそれの対応する否定ニューロンモデルの出力が、前記否定ベクトルに従って前記学習ニューロンモデルの入力に結合される、Ｃ４４に記載のコンピュータプログラム製品。
［Ｃ４６］
前記入力ニューロンモデルの各々が、前記対応する否定ニューロンモデルを抑制する、Ｃ４４に記載のコンピュータプログラム製品。
［Ｃ４７］
前記否定表示が−１を備える、Ｃ４４に記載のコンピュータプログラム製品。
［Ｃ４８］
前記学習ニューロンモデルからの前記出力スパイクのタイミングに基づいて、前記１つまたは複数の学習ニューロンモデルが、前記真の因果的論理関係に対応する前記１つまたは複数の論理条件を学習したと判断するために実行可能な命令をさらに備える、Ｃ４０に記載のコンピュータプログラム製品。
［Ｃ４９］
ここから
前記１つまたは複数の学習ニューロンモデルが前記１つまたは複数の論理条件を学習したと判断することは、前記学習ニューロンモデルの間の発火のコインシデンスまたはパターンを判断することを備える、Ｃ４８に記載のコンピュータプログラム製品。
［Ｃ５０］
前記学習ニューロンモデルの各々からの出力に結合された時間コインシデンス認識ニューロンモデルを与えることであって、ここにおいて、前記時間コインシデンス認識ニューロンモデルは、しきい値数の前記学習ニューロンモデルがほぼ同じ時間に発火する場合、発火するために構成
される、与えることと、
前記時間コインシデンス認識ニューロンモデルが発火する場合、前記１つまたは複数の学習ニューロンモデルが、前記真の因果的論理関係に対応する前記論理条件のうちの少なくとも１つを学習したと判断することと
を行うために実行可能な命令をさらに備える、Ｃ４０に記載のコンピュータプログラム製品。
［Ｃ５１］
論理入力の各セットにおいて前記入力スパイク間の前記変動するタイミングを受信することが、論理入力の前記セットにおいて変動するブールベクトルを受信することを備える、Ｃ４０に記載のコンピュータプログラム製品。
［Ｃ５２］
前記変動するブールベクトルにおいて、前記入力スパイク間の比較的短い遅延が論理ＴＲＵＥを表し、前記入力スパイク間の比較的長い遅延が論理ＦＡＬＳＥを表す、Ｃ５１に記載のコンピュータプログラム製品。

【図1】

[この文献は図面を表示できません]

【図2】

[この文献は図面を表示できません]

【図3】

[この文献は図面を表示できません]

【図4】

[この文献は図面を表示できません]

【図5】

[この文献は図面を表示できません]

【図6】

[この文献は図面を表示できません]

【図7】

[この文献は図面を表示できません]

【図8】

[この文献は図面を表示できません]

【図9】

[この文献は図面を表示できません]

【図10】

[この文献は図面を表示できません]

【図11A】

[この文献は図面を表示できません]

【図11B】

[この文献は図面を表示できません]

【図12A】

[この文献は図面を表示できません]

【図12B】

[この文献は図面を表示できません]

【図13A】

[この文献は図面を表示できません]

【図13B】

[この文献は図面を表示できません]

【図14】

[この文献は図面を表示できません]

【図15】

[この文献は図面を表示できません]

【図16】

[この文献は図面を表示できません]

【図17】

[この文献は図面を表示できません]

【図18】

[この文献は図面を表示できません]

【図19】

[この文献は図面を表示できません]

【図20】

[この文献は図面を表示できません]

【図21】

[この文献は図面を表示できません]

【図22】

[この文献は図面を表示できません]

【図22A】

[この文献は図面を表示できません]

【図23】

[この文献は図面を表示できません]

【図24】

[この文献は図面を表示できません]

【図25A】

[この文献は図面を表示できません]

【図25B】

[この文献は図面を表示できません]

【図26】

[この文献は図面を表示できません]

【図27】

[この文献は図面を表示できません]

【図28A】

[この文献は図面を表示できません]

【図28B】

[この文献は図面を表示できません]

【図29A】

[この文献は図面を表示できません]

【図29B】

[この文献は図面を表示できません]

【図30】

[この文献は図面を表示できません]

【図31】

[この文献は図面を表示できません]

【図32】

[この文献は図面を表示できません]

【図32A】

[この文献は図面を表示できません]

【図33】

[この文献は図面を表示できません]

【図33A】

[この文献は図面を表示できません]