知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-10-02
(45)【発行日】2025-10-10
(54)【発明の名称】ニューラル・ネットワーク・システムのためのニューラル装置
(51)【国際特許分類】
G06N 3/065 20230101AFI20251003BHJP
G06N 3/049 20230101ALI20251003BHJP
【ＦＩ】
G06N3/065
G06N3/049
【請求項の数】
19
(21)【出願番号】P 2023519008
(86)(22)【出願日】2021-09-20
(65)【公表番号】
(43)【公表日】2023-11-01
(86)【国際出願番号】 IB2021058535
(87)【国際公開番号】W WO2022084765
(87)【国際公開日】2022-04-28
【審査請求日】2024-02-15
(31)【優先権主張番号】17/076,458
(32)【優先日】2020-10-21
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(72)【発明者】
【氏名】ウォズニアック、スタニスラフ
(72)【発明者】
【氏名】チメサ、リュビカ
(72)【発明者】
【氏名】パンタツ、アンゲリキ
【審査官】今城 朋彬
(56)【参考文献】
【文献】特開２０１８－１３６９１９（ＪＰ，Ａ）
【文献】特表２０１５－５３４１７２（ＪＰ，Ａ）
【文献】特表２０１７－５０９９５６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０２６９４８２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／０１４３２２９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００ー９９／００
Ｇ０６Ｆ １８／００－１８／４０
(57)【特許請求の範囲】
【請求項1】
ニューラル・ネットワーク・システムのためのニューラル装置であって、復号期間の間に、１つまたは複数の入力信号を受信することと、
前記復号期間の間に、前記１つまたは複数の入力信号を復号することであって、結果として復号された信号を生じる、前記復号することと、
前記復号期間が終了すると、前記復号された信号を、内部ニューラル・ダイナミクスを示すモデルを用いて処理することと、
前記処理された信号を用いて、１つまたは複数の出力信号を後続の復号期間において、前記ニューラル・ネットワーク・システムの別のニューラル装置に対してエンコードおよび放出することと
を行うように構成された装置。
【請求項2】
前記入力および出力信号の各々には、それぞれの前記装置における前記信号の到着時間における情報がエンコードされるし、同じ信号には、その到着時間に応じて異なる情報がエンコードされることができる、請求項１に記載の装置。
【請求項3】
前記装置は、ａ）前記１つまたは複数の入力信号を受信すると、前記入力信号に対して、前記入力信号の到着時間に対応する変調値を決定することと、
ｂ）前記決定された変調値によって、前記受信された信号を重み付けして、重み付けされた信号を作り出すことと、
ｃ）前記重み付けされた信号を、前記装置の入力状態の現在値に統合して、統合された値を作成することと、
ｄ）前記復号期間の間に、各受信された入力信号に対して動作ａ）～ｃ）を繰り返すことであって、前記復号された信号は、前記統合された値である、前記繰り返すことと
を行うことによって、前記入力信号を復号するように構成される、請求項１に記載の装置。
【請求項4】
前記装置は、前記変調値を前記到着時間における入力関数の値として決定するように構成され、前記入力関数は、時間依存区分線形関数である、請求項３に記載の装置。
【請求項5】
前記入力関数は、前記到着時間の増加する値と共に減少する値を備える、請求項４に記載の装置。
【請求項6】
前記装置は、前記変調値を前記到着時間における入力関数の値として決定するように構成され、前記入力関数は、予め規定された範囲の値が関わる時間依存非線形関数である、請求項３に記載の装置。
【請求項7】
前記装置は、出力関数を用いて前記１つまたは複数の出力信号をエンコードおよび放出するように構成され、前記出力関数は、前記後続の復号期間内の各時点に対する値をもたらすように構成され、前記装置は、決定された値の組み合わせが、前記処理された信号の値を表すように、前記出力関数の１つまたは複数の値を決定するように構成され、前記決定された値に対応する諸時点での前記１つまたは複数の出力信号をもたらす、
請求項１に記載の装置。
【請求項8】
前記出力関数は、時間依存区分線形関数または時間依存非線形関数を備える、請求項７に記載の装置。
【請求項9】
前記出力関数は、線形関数、指数関数、または階段関数である、請求項８に記載の装置。
【請求項10】
入力ユニットと、内部ニューロン・ダイナミクス・ユニットと、出力ユニットとを備え、前記入力ユニットは、前記１つまたは複数の入力信号の受信および復号を行うように構成され、前記内部ニューロン・ダイナミクス・ユニットは、前記復号された信号の処理を行うように構成され、前記出力ユニットは、１つまたは複数の出力信号のエンコードおよび放出を行うように構成される、請求項１に記載の装置。
【請求項11】
前記入力ユニットは、入力関数を用いて前記１つまたは複数の入力信号を復号するように構成され、前記出力ユニットは、出力関数を用いて１つまたは複数の出力信号をエンコードおよび放出するように構成される、請求項１０に記載の装置。
【請求項12】
前記別のニューラル装置は、前記ニューラル装置として動作するように構成され、前記ニューラル装置の前記出力関数と、前記別のニューラル装置の入力関数とは異なる、または同じ関数である、請求項１１に記載の装置。
【請求項13】
前記内部ニューロン・ダイナミクス・ユニットは、蓄積ブロックと、出力生成ブロックとを備え、前記内部ニューロン・ダイナミクス・ユニットは、前に受信された１つまたは複数の信号に対応する現在の状態変数を有し、前記出力生成ブロックは、前記現在の状態変数に基づいて現在の出力値を生成するために、活性化関数を用いるように構成され、前記蓄積ブロックは、
前記現在の出力値と、前記内部ニューロン・ダイナミクス・ユニットの時定数の減衰挙動を示す補正関数とを用いて、前記現在の状態変数の調整を計算することと、
現在の信号を受信することと、
前記計算された調整と、前記受信された信号とを用いて、前記現在の状態変数を更新することであって、前記更新された状態変数は、前記現在の状態変数となる、前記更新することと、
前記現在の状態変数に基づいて、前記出力生成ブロックに、前記現在の出力値を生成させることと
を繰り返し行うように構成される、請求項１０に記載の装置。
【請求項14】
前記蓄積ブロックは、前記出力生成ブロックの前記活性化関数とは異なる活性化関数を用いて、前記更新を行うように構成される、請求項１３に記載の装置。
【請求項15】
前記蓄積ブロックは、前記調整の前記計算のために用いられる、前記現在の出力値を示すリセット信号を、前記出力生成ブロックから受信するように構成される、請求項１３に記載の装置。
【請求項16】
前記出力生成ブロックは、前記現在の出力値を生成すると、前記調整の前記計算のために用いられる、前記現在の出力値を示すリセット信号を、前記蓄積ブロックに自動的に供給するように構成される、請求項１３に記載の装置。
【請求項17】
前記出力生成ブロックは、前記調整の前記計算のために用いられる、前記現在の出力値を示すリセット信号を、前記蓄積ブロックと前記出力生成ブロックとを接続するリセット・ゲートを通じて供給するように構成される、請求項１３に記載の装置。
【請求項18】
ニューラル装置のための方法であって、復号期間の間に、１つまたは複数の入力信号を受信することと、
前記復号期間の間に、前記１つまたは複数の入力信号を復号することであって、結果として復号された信号を生じる、前記復号することと、
前記復号期間が終了すると、内部ニューロン・ダイナミクスを示すモデルを用いて、前記復号された信号を処理することと、
前記処理された信号を用いて、ニューラル・ネットワーク・システムの別のニューラル装置に対して、後続の復号期間において、１つまたは複数の出力信号をエンコードおよび放出することと
を含む方法。
【請求項19】
コンピュータ可読プログラム・コードが具現化されたコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラム・コードは、請求項１８に記載の方法を実施するように構成される、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピュータ・システムの分野に関し、より詳細には、ニューラル・ネットワーク・システムのためのニューラル装置に関する。
【背景技術】
【0002】
ニューラル・ネットワークは、人工知能システムにおいて用いられる計算モデルである。ニューラル・ネットワークは、複数の人工ニューロンに基づき得る。各人工ニューロンは、１つまたは複数の他の人工ニューロンと接続されることができ、これらの接続（「リンク」）は、隣接したニューロンの起動状態を強化または抑止し得る。スパイキング・ニューラル・ネットワーク（ＳＮＮ：Spiking Neural Network）における人工ニューロンは、スパイクを生成するためにニューロンの膜電位だけ超えられなければならない、ファイアリング閾値（firing threshold）によってもたらされ得る。この閾値化は、スパイクを用いたエネルギー効率の良いスパース通信（sparse communication）を可能にする、人工スパイキング・ニューロンの構成要素となり得る。
【発明の概要】
【0003】
様々な実施形態は、独立請求項によって記述されるように、ニューラル・ネットワーク・システムのためのニューラル装置、方法、およびコンピュータ・プログラム製品をもたらす。従属請求項には、有利な実施形態が記述される。本開示の実施形態は、それらが相互に排他的でない場合は、互いに自由に組み合わされ得る。
【0004】
１つの態様において、本開示のいくつかの実施形態は、ニューラル・ネットワーク・システムのためのニューラル装置（「送出装置」）に関する。ニューラル装置は、復号期間の間に、１つまたは複数の入力信号を受信することと、復号期間の間に、１つまたは複数の入力信号を復号することであって、結果として復号された信号を生じる、復号することと、復号期間が終了すると、復号された信号を、内部ニューラル・ダイナミクスを示すモデルを用いて処理することと、処理された信号を用いて、１つまたは複数の出力信号を後続の復号期間において、ニューラル・ネットワーク・システムの別のニューラル装置（「受信装置」）に対してエンコードおよび放出することとを行うように構成され得る。
【0005】
他の態様において、本開示のいくつかの実施形態は、ニューラル装置のための方法に関する。方法は、復号期間の間に、１つまたは複数の入力信号を受信することと、復号期間の間に、１つまたは複数の入力信号を復号することであって、結果として復号された信号を生じる、復号することと、復号期間が終了すると、内部ニューラル・ダイナミクスを示すモデルを用いて、復号された信号を処理することと、処理された信号を用いて、ニューラル・ネットワーク・システムの別のニューラル装置に対して、後続の復号期間において、１つまたは複数の出力信号をエンコードおよび放出することとを含み得る。
【0006】
他の態様において、本開示のいくつかの実施形態は、複数のレイヤを備えた人工ニューラル・ネットワーク・システムに関し、複数のレイヤの少なくとも１つのレイヤは、前述の実施形態によるニューロン装置を含む、１つまたは複数のニューロン具現化を備え得る。例えば、人工ニューラル・ネットワーク・システムの各ニューロンは、前述の実施形態によるニューロン装置とすることができる。
【0007】
他の態様において、本開示のいくつかの実施形態は、コンピュータ可読プログラム・コードが具現化されたコンピュータ可読記憶媒体を備えたコンピュータ・プログラム製品に関する。コンピュータ可読プログラム・コードは、前述の実施形態による方法を実施するように構成され得る。
【0008】
以下では、図面を参照して、例のみとして、本開示の実施形態がより詳細に説明される。
【図面の簡単な説明】
【0009】
【図1】本開示のいくつかの実施形態と一致する、ニューロン装置の例を示す図である。
【図2】本開示のいくつかの実施形態と一致する、内部ニューロン・ダイナミクス・ユニットの例示の実装形態を示す図である。
【図3】本開示のいくつかの実施形態と一致する、ニューラル装置によって入力信号を処理する方法のフローチャートである。
【図4】本開示のいくつかの実施形態と一致する、変調値を決定するための例示の時間依存関数を示す図である。
【図5A】本開示のいくつかの実施形態と一致する、変調値を決定するための例示の時間依存関数を示す図である。
【図5B】本開示のいくつかの実施形態と一致する、変調値を決定するための例示の時間依存関数を示す図である。
【図6】本開示のいくつかの実施形態と一致する、内部ニューロン・ダイナミクス・ユニットによって出力値を生成する方法のフローチャートである。
【図7】本開示のいくつかの実施形態と一致する、２つのニューラル装置を用いて、信号を復号およびエンコードする方法を示す図である。
【図8A】本開示のいくつかの実施形態と一致する、例示のＳＮＮの試験精度を示すグラフである。
【図8B】本開示のいくつかの実施形態と一致する、例示のＳＮＮによって作り出されるスパイクの平均数を示すグラフである。
【発明を実施するための形態】
【0010】
本開示の様々な実施形態の説明は、例示のために提示されるが、網羅的であること、または開示される実施形態に限定されるものではない。当業者には、述べられる実施形態の範囲および思想から逸脱せずに、多くの変更形態および変形形態が明らかになるであろう。本明細書で用いられる専門用語は、実施形態の原理、実用的な応用例、または市場で見出される技術に対する技術的改良を説明するのを助けるように、または当業者が、本明細書で開示される実施形態を理解することを可能にするように選ばれた。
【0011】
いくつかの実施形態におけるニューラル装置は、異なる時間スケールにおいて、ニューロンの異なる部分が動作する、複数時間スケール・スパイキング・ニューロンをもたらし得る。いくつかの実施形態は、神経形態学的スパイク・ベースの装置のスパイキング能力を効率的に制御することによって、神経形態学的スパイク・ベースの装置の動作を強化し得る。具体的には、いくつかの実施形態は、入力タイミング情報を利用することができ、これは情報をより効率的に送信するための、理論的に魅力的な能力を有し得る。これは、標準のスパイキング・ニューロンと比べて精度を改善することができ、最新技術のレート符号化と比べて効率を改善し得る。さらに、これは近似の必要がない、通時的誤差逆伝播法（ＢＰＴＴ：Backpropagation Through Time）技術を用いたエンド・ツー・エンド訓練可能なＳＮＮを可能にし得る。このようにして、いくつかの実施形態は、豊富で正確な情報の送出および受信を強化するように、人工スパイキング・ニューロンのスパイキング・プロセスを改善し得る。
【0012】
例えば、復号された信号をモデルを用いて処理することは、例えば、手書き数字認識のための画像処理を可能にし得る。内部ニューロン・ダイナミクスを示す（またはそれを表す）モデルｆは、ニューラル装置の内部ニューロン・ダイナミクスのモデルとすることができる。モデルは、例えば、ソマティック計算のモデルとすることができる。モデルは、例えば、ステートフル・モデルとすることができる。モデルは、例えば、１つまたは複数の活性化関数と、例えばニューラル装置の膜電位を表す、内部状態とを用い得る。一例では、モデルは活性化関数、または複数の活性化関数の組み合わせとすることができる。
【0013】
ニューラル・ネットワーク・システムは、ＳＮＮなど、人工ニューラル・ネットワークを実装／実行するように構成され得る。一例では、ニューラル装置は、人工ニューラル・ネットワークのニューロンとして実装され得る。例えば、人工ニューラル・ネットワークは、複数のレイヤを備えることができ、複数のレイヤの各レイヤは、ニューロンを備え、諸ニューロンの各ニューロンは、ニューラル装置とすることができる。
【0014】
いくつかの実施形態によれば、入力および出力信号の各信号は、それぞれの装置における信号の到着時間における情報をエンコードし得る。入力信号および出力信号の各信号は、スパイクとすることができる。スパイクは、例えば、ゼロまたは１の値を有し得る。入力信号の各信号は、送出装置において、信号の到着時間に情報をエンコードし得る。入力信号は、例えば、ニューラル装置への１つまたは複数のフィードフォワード接続から、またはニューラル装置への１つまたは複数のリカレント接続（recurrent connection）から、あるいはその両方から受信され得る。ニューラル装置は、ニューラル・ネットワーク・システムの他のニューラル装置に、フィードフォワード接続またはリカレント接続、あるいはその両方を通じて接続され得る。出力信号の各信号は、受信装置において、信号の到着時間に情報をエンコードし得る。受信された信号は、ゼロ－１正規化実数値などの変数値とすることができる。例えば、値は、画像の画素の内容を示し得る。
【0015】
いくつかの実施形態によれば、装置は、ａ）諸入力信号うちの入力信号を受信すると、入力信号に対して、入力信号の到着時間に対応する変調値を決定することと、ｂ）決定された変調値によって、受信された信号を重み付けすることと、ｃ）重み付けされた信号を、装置の入力状態の現在値に統合することと、ｄ）復号期間の間に、各受信された入力信号に対して動作ａ）～ｃ）を繰り返すことであって、復号された信号は、統合された値とすることができる、繰り返すこととを行うことによって、入力信号を復号するように構成され得る。入力状態は、例えば、各復号期間に対して、所与の値、例えば、ゼロに（再）初期化され得る。
【0016】
例えば、動作ａ）で受信された入力信号の各入力信号は、信号に関連付けられたシナプス重みによって重み付けされ得る信号とすることができる。例えば、信号は、シナプス重みｗを有するシナプス・ユニットを通過することができ、信号は、シナプス重みｗによって重み付けされることができ、結果として、動作ａ）で受信される入力信号を生じる。
【0017】
いくつかの実施形態によれば、装置は、変調値を到着時間における入力関数の値として決定するように構成されることができ、入力関数は、時間依存区分線形関数である。これらの実施形態は、信号シーケンスの区別における入力ユニットの能力を強化し得る。例えば、同じ、信号のセットが複数回受信され、信号は毎回異なる時点で、異なる順序で受信される場合、これは結果として、異なる復号された信号を生じ得る。
【0018】
いくつかの実施形態によれば、入力関数は、増加する到着時間値と共に減少する値を有し得る。
【0019】
いくつかの実施形態によれば、装置は、変調値を到着時間における入力関数の値として決定するようにさらに構成されることができ、入力関数は、予め規定された範囲の値が関わる時間依存非線形関数である。この実施形態は、所与の復号期間に対して定義される区分線形関数と比較して、値の範囲は増加されることができ、および分解能は、次第にきめ細かい寄与を有するさらなるパルスの放出を通して維持され得るので、有利となり得る。
【0020】
いくつかの実施形態によれば、装置は、出力関数を用いて１つまたは複数の出力信号をエンコードおよび放出するように構成され得る。出力関数は、後続の復号期間内の各時点に対する値をもたらすように構成され得る。装置は、決定された値の組み合わせ（例えば、合計）が、処理された信号の値を表すように、出力関数の１つまたは複数の値を決定するようにさらに構成されることができ、決定された値に対応する諸時点での１つまたは複数の出力信号をもたらす。
【0021】
いくつかの実施形態によれば、出力関数は、時間依存区分線形関数または時間依存非線形関数とすることができる。
【0022】
いくつかの実施形態によれば、出力関数は、線形関数、指数関数、または階段関数とすることができる。
【0023】
いくつかの実施形態によれば、装置は、入力ユニットと、内部ニューロン・ダイナミクス・ユニットと、出力ユニットとを備え得る。入力ユニットは、１つまたは複数の入力信号の受信および復号を行うように構成され得る。内部ニューロン・ダイナミクス・ユニットは、復号された信号の処理を行うように構成されることができ、出力ユニットは、１つまたは複数の出力信号のエンコードおよび放出を行うように構成され得る。内部ニューロン・ダイナミクス・ユニットは、内部ダイナミクスを示すモデルを実装するように構成され得る。
【0024】
入力ユニットのそれぞれと、内部ニューロン・ダイナミクス・ユニットと、出力ユニットとは、そのそれぞれの動作を行うために、そのカーネルまたはダイナミクスを用い得る。入力ユニットは、樹状カーネルを有する樹状ユニットと呼ばれ得る。出力ユニットは、軸索カーネルを有する軸索ユニットと呼ばれ得る。内部ニューロン・ダイナミクス・ユニットは、内部ニューラル・ダイナミクスのモデルに従って、復号された信号を処理し得る（例えば、各連続した処理動作に対して）。内部ニューラル・ダイナミクスの範囲を制限することなく、さらなる説明は、モデルの例示的な例として、非線形、時間的に変化するものとすることができ、および内部状態が関わる関数を利用する。本開示は、樹状および軸索カーネルの高速動作の特徴と、内部ニューラル・ダイナミクスの低速動作の特徴とのバランスを取ることができる。高速動作の樹状および軸索カーネルは、タイミングを用いて情報を送信することを可能にし得る。低速動作の内部ニューラル・ダイナミクスは、より正確な入力および出力値を利用し得る。モデルｆの関数は、微分可能関数とすることができる。微分可能関数は、ＢＰＴＴによるエンド・ツー・エンド訓練を可能にし得る。
【0025】
いくつかの実施形態は、それらが簡単な神経形態学的ハードウェア実装形態をもたらし得るので、有利であり得る。例えば、同じおよび簡単な樹状および軸索カーネルが、ルックアップ・テーブル（ＬＵＴ）、発振器、またはキャパシタとして実装可能とすることができ、複数のニューロンによって共有され得る。コーディングは、ニューロン設計での変更なしに、ＬＵＴ再プログラミングを通して適合され得る（例えば、ハードウェア制限、タスク要件、要求される正確さなどに基づいて）。例えば、より長いカーネルは、より高い正確さをもたらし得る。カーネルには、線形、指数関数など、異なるエネルギー／レイテンシ・トレードオフがもたらされ得る。カーネルは、例えば、階段形状の、ジッタのあるスパイクの時間的位置に対してロバスト性があり得る。
【0026】
いくつかの実施形態によれば、入力ユニットは、入力関数（または樹状カーネル）を用いて、１つまたは複数の入力信号を復号するように構成され得る。出力ユニットは、出力関数（または軸索カーネル）を用いて、１つまたは複数の出力信号をエンコードおよび放出するように構成され得る。
【0027】
いくつかの実施形態によれば、送出装置の出力関数と、受信装置の入力関数とは、異なるまたは同じ関数とすることができる。これは、例えば、送出装置の軸索カーネルが受信装置の樹状カーネルに、それらが値を正確に通信できるように、対応することを可能にし得る。
【0028】
いくつかの実施形態によれば、内部ニューロン・ダイナミクス・ユニットは、蓄積ブロックと、出力生成ブロックとを備え得る。内部ニューロン・ダイナミクス・ユニットは、前に受信された１つまたは複数の信号に対応する現在の状態変数を有し得る。出力生成ブロックは、現在の状態変数に基づいて現在の出力値を生成するために、活性化関数を用いるように構成され得る。蓄積ブロックは、
・現在の出力値と、内部ニューロン・ダイナミクス・ユニットの時定数の減衰挙動を示す補正関数とを用いて、現在の状態変数の調整を計算することと、
・現在の信号を受信することと、
・計算された調整と、受信された信号とを用いて、現在の状態変数を更新することであって、更新された状態変数は、現在の状態変数となる、更新することと、
・現在の状態変数に基づいて、出力生成ブロックに、現在の出力値を生成させることと
を繰り返し行うように構成され得る。
この実施形態は、内部ニューラル・ダイナミクスのモデルの望ましい実装をもたらし得る。
・現在の出力値と、内部ニューロン・ダイナミクス・ユニットの時定数の減衰挙動を示す補正関数とを用いて、現在の状態変数の調整を計算することと、
・現在の信号を受信することと、
・計算された調整と、受信された信号とを用いて、現在の状態変数を更新することであって、更新された状態変数は、現在の状態変数となる、更新することと、
・現在の状態変数に基づいて、出力生成ブロックに、現在の出力値を生成させることと
を繰り返し行うように構成され得る。
この実施形態は、内部ニューラル・ダイナミクスのモデルの望ましい実装をもたらし得る。
【0029】
いくつかの実施形態によれば、蓄積ブロックは、出力生成ブロックの活性化関数とは異なる活性化関数を用いて、更新を行うように構成され得る。
【0030】
いくつかの実施形態によれば、蓄積ブロックは、調整の計算のために用いられる、現在の出力値を示すリセット信号を、出力生成ブロックから受信するように構成され得る。
【0031】
いくつかの実施形態によれば、出力生成ブロックは、現在の出力値を生成すると、調整の計算のために用いられる、現在の出力値を示すリセット信号を、蓄積ブロックに自動的に供給するように構成され得る。
【0032】
いくつかの実施形態によれば、出力生成ブロックは、調整の計算のために用いられる、現在の出力値を示すリセット信号を、蓄積ブロックと出力生成ブロックとを接続するリセット・ゲートを通じて供給するように構成され得る。
【0033】
図１は、本開示のいくつかの実施形態と一致する、ニューラル装置１００の例を示す。ニューラル装置１００は、神経形態学的ハードウェア実装形態を用いて実施され得る。例えば、ニューラル装置は、本開示の少なくとも一部を実施するために、メモリスタを用いた回路とすることができる。ニューラル装置１００は、代替として、例えば、アナログまたはデジタルＣＭＯＳ回路を用いて実施され得る。
【0034】
ニューラル装置１００は、入力ユニット１０２と、内部ニューロン・ダイナミクス・ユニット１０３と、出力ユニット１０４とを備え得る。ニューラル装置１００は、到来する信号または値を受信、および処理し得る。入力ユニット１０２は、復号期間ｐｋ内に存在する、１つまたは複数のスパイクのセット
を処理するように構成され得る。スパイクのセット
は、例えば、時間的符号化値／信号
を表し得る。例えば、スパイクのセットＳｋの各スパイクｒｉは、シナプス重みｗｉを有して、ｒｉとｗｉの乗算の結果とすることができるｗｉ×ｒｉとして重み付けされて、入力ユニット１０２の、シナプス・ユニット１０５を通過し得る。シナプス・ユニット１０５は、重みユニット１０６に、スパイクｒｉの重み付けされた値ｗｉ×ｒｉを供給するようにさらに構成され得る。スパイキング・ニューラル・ネットワークにおいて、ｒｉは０または１の値を有し得る。重みユニット１０６は、各重み付けされた値ｗｉ×ｒｉに対して、スパイクｒｉの到着時間に対応する変調値αｉを選択することができ、重み付けされた値ｗｉ×ｒｉは、例えば、ｗｉ×ｒｉ×αｉとして、選択された変調値によってコンボリューションされ（convolved）得る。重みユニット１０６は、ソマティック入力
を計算するようにさらに構成され得る。ソマティック入力
は、復号期間ｐｋ内のスパイクのセットＳｋの各スパイクの、計算された値ｗｉ×ｒｉ×αｉの合計として定義され得る。ソマティック入力
は、値
を復号した結果とすることができ、従って復号された信号と名付けられ得る。入力ユニット１０２は、ソマティック入力
を、内部ニューロン・ダイナミクス・ユニット１０３に供給するように構成され得る。
【数1】
を処理するように構成され得る。スパイクのセット
【数2】
は、例えば、時間的符号化値／信号
【数3】
を表し得る。例えば、スパイクのセットＳｋの各スパイクｒｉは、シナプス重みｗｉを有して、ｒｉとｗｉの乗算の結果とすることができるｗｉ×ｒｉとして重み付けされて、入力ユニット１０２の、シナプス・ユニット１０５を通過し得る。シナプス・ユニット１０５は、重みユニット１０６に、スパイクｒｉの重み付けされた値ｗｉ×ｒｉを供給するようにさらに構成され得る。スパイキング・ニューラル・ネットワークにおいて、ｒｉは０または１の値を有し得る。重みユニット１０６は、各重み付けされた値ｗｉ×ｒｉに対して、スパイクｒｉの到着時間に対応する変調値αｉを選択することができ、重み付けされた値ｗｉ×ｒｉは、例えば、ｗｉ×ｒｉ×αｉとして、選択された変調値によってコンボリューションされ（convolved）得る。重みユニット１０６は、ソマティック入力
【数4】
を計算するようにさらに構成され得る。ソマティック入力
【数5】
は、復号期間ｐｋ内のスパイクのセットＳｋの各スパイクの、計算された値ｗｉ×ｒｉ×αｉの合計として定義され得る。ソマティック入力
【数6】
は、値
【数7】
を復号した結果とすることができ、従って復号された信号と名付けられ得る。入力ユニット１０２は、ソマティック入力
【数8】
を、内部ニューロン・ダイナミクス・ユニット１０３に供給するように構成され得る。
【0035】
復号期間ｐｋが終了すると、内部ニューロン・ダイナミクス・ユニット１０３は、ソマティック入力
を、ソマティック出力
を計算するためにモデルｆを用いて処理し得る。言い換えれば、ニューラル・ダイナミクス・モデルｆは、ソマティック入力
を用いて、ソマティック出力
を計算し得る。モデルｆは、例えば、整流された線形活性化関数、ステップ関数、またはそれらの組み合わせとすることができる。モデルｆの他の例は、図２を参照して示される。内部ニューロン・ダイナミクス・ユニット１０３は、ソマティック出力
を出力ユニット１０４に供給するように構成され得る。
【数9】
を、ソマティック出力
【数10】
を計算するためにモデルｆを用いて処理し得る。言い換えれば、ニューラル・ダイナミクス・モデルｆは、ソマティック入力
【数11】
を用いて、ソマティック出力
【数12】
を計算し得る。モデルｆは、例えば、整流された線形活性化関数、ステップ関数、またはそれらの組み合わせとすることができる。モデルｆの他の例は、図２を参照して示される。内部ニューロン・ダイナミクス・ユニット１０３は、ソマティック出力
【数13】
を出力ユニット１０４に供給するように構成され得る。
【0036】
出力ユニット１０４は、軸索カーネルをソマティック出力
に適用して、後続の復号期間ｐｋ＋１内で放出される１つまたは複数の出力スパイクのセット
を生成し得る。例えば、ソマティック出力
が軸索カーネルの最大値より高い場合、複数のスパイクが復号期間ｐｋ＋１内で放出されることができ、なぜならソマティック出力
を表すために、複数の値が組み合わされる必要があり得るからである。ソマティック出力
がゼロに等しい場合、スパイクは放出され得ない。ソマティック出力
が軸索カーネルの値の範囲内である場合、復号期間ｐｋ＋１内に１つのスパイクが放出され得る。スパイクのセット
は、ニューラル装置１００を用いてここで述べられたように、スパイクのセット
を処理するように構成された別のニューラル装置に入力され得る。
【数14】
に適用して、後続の復号期間ｐｋ＋１内で放出される１つまたは複数の出力スパイクのセット
【数15】
を生成し得る。例えば、ソマティック出力
【数16】
が軸索カーネルの最大値より高い場合、複数のスパイクが復号期間ｐｋ＋１内で放出されることができ、なぜならソマティック出力
【数17】
を表すために、複数の値が組み合わされる必要があり得るからである。ソマティック出力
【数18】
がゼロに等しい場合、スパイクは放出され得ない。ソマティック出力
【数19】
が軸索カーネルの値の範囲内である場合、復号期間ｐｋ＋１内に１つのスパイクが放出され得る。スパイクのセット
【数20】
は、ニューラル装置１００を用いてここで述べられたように、スパイクのセット
【数21】
を処理するように構成された別のニューラル装置に入力され得る。
【0037】
図２は、本開示のいくつかの実施形態と一致する、内部ニューロン・ダイナミクス・ユニット１０３の他の例示の実装形態を示す。図２は、復号期間ｐｋの間に信号
を受信した後の、内部ニューロン・ダイナミクス・ユニット１０３のステータスを示す。本開示のいくつかの実施形態と一致する、出力値
を生成するために、内部ニューロン・ダイナミクス・ユニット１０３は、出力値を定義するために用いられ得る、時間依存状態変数
（例えば、これは膜電位を表し得る）が関わり得る。
【数22】
を受信した後の、内部ニューロン・ダイナミクス・ユニット１０３のステータスを示す。本開示のいくつかの実施形態と一致する、出力値
【数23】
を生成するために、内部ニューロン・ダイナミクス・ユニット１０３は、出力値を定義するために用いられ得る、時間依存状態変数
【数24】
（例えば、これは膜電位を表し得る）が関わり得る。
【0038】
内部ニューロン・ダイナミクス・ユニット１０３は、蓄積ブロック２０１と、出力生成ブロック２０３とを備え得る。蓄積ブロック２０１は、加算回路２１０と、乗算回路２１１と、起動回路２１２とを備え得る。乗算回路２１１は、例えば、リセット・ゲートとすることができる。蓄積ブロック２０１は、計算された状態変数を、分岐点２１４において、出力生成ブロック２０３と、乗算ロジック２１１とに、並行して出力するように構成され得る。分岐点２１４と、乗算ロジック２１１との間の接続２０９は、接続２０９が時間遅れを有することを示すために破線で示される。すなわち、内部ニューロン・ダイナミクス・ユニット１０３が、受信されたソマティック入力
を処理して、対応する
と
とを生成している時点で、接続２０９は、前の復号期間ｐｋ－１の、前の状態変数
の値を送信し得る。
【数25】
を処理して、対応する
【数26】
と
【数27】
とを生成している時点で、接続２０９は、前の復号期間ｐｋ－１の、前の状態変数
【数28】
の値を送信し得る。
【0039】
出力生成ブロック２０３は、起動ロジック２１５を備え得る。出力生成ブロック２０３は、蓄積ブロック２０１から状態変数を受信するように構成され得る。受信された状態変数に基づいて、出力生成ブロック２０３は、出力値を生成し、分岐点２１７において、別のニューラル装置と、内部ニューロン・ダイナミクス・ユニット１０３のリセット・モジュール２０７とに、並行して供給または出力し得る。リセット・モジュール２０７は、受信された出力値からリセット信号を生成し、リセット信号を乗算ロジック２１１に供給するように構成され得る。例えば、所与の出力値
に対して、リセット・モジュールは、値
を示すリセット信号を生成し得る。接続２２０は、接続２２０が時間遅れを有することを示すために破線で示される。すなわち、いくつかの実施形態において、内部ニューロン・ダイナミクス・ユニット１０３が、受信されたソマティック入力
を処理して、対応する
および
を生成している時点で、接続２２０は、前の出力値
を送信し得る。接続２０９および２２０は、内部ニューロン・ダイナミクス・ユニット１０３内のフィードバック能力を有効化し得る。具体的には、接続２０９は、蓄積ブロック内の自己ループ接続とすることができ、接続２２０は、状態リセットを行うためのゲート接続を起動し得る。
【数29】
に対して、リセット・モジュールは、値
【数30】
を示すリセット信号を生成し得る。接続２２０は、接続２２０が時間遅れを有することを示すために破線で示される。すなわち、いくつかの実施形態において、内部ニューロン・ダイナミクス・ユニット１０３が、受信されたソマティック入力
【数31】
を処理して、対応する
【数32】
および
【数33】
を生成している時点で、接続２２０は、前の出力値
【数34】
を送信し得る。接続２０９および２２０は、内部ニューロン・ダイナミクス・ユニット１０３内のフィードバック能力を有効化し得る。具体的には、接続２０９は、蓄積ブロック内の自己ループ接続とすることができ、接続２２０は、状態リセットを行うためのゲート接続を起動し得る。
【0040】
状態変数値
と、出力値
とを受信すると、乗算ロジック２１１は、調整を
として計算するように構成されることができ、ｌ（τ）は、時定数τを有する状態変数の減衰挙動を考慮に入れた補正関数である。ｌ（τ）の値は、例えば、ニューラル装置のメモリに記憶され得る。例えば、補正関数は、
として定義されることができ、ΔＴは、内部ニューロン・ダイナミクス・ユニット・サンプリング時間である。乗算回路２１１によって計算された調整は、出力され、加算回路２１０に供給され得る。加算回路２１０は、乗算回路２１１からの調整と、ソマティック入力
とを受信するように構成され得る。加算回路２１０は、受信された調整と、ソマティック入力
との合計を行って、
とするようにさらに構成され得る。この合計は、加算回路２１０によって、起動回路２１２に供給または出力され得る。起動回路２１２は、加算回路２１０から、計算された合計を受信するように構成され得る。起動回路２１２は、その活性化関数を計算された合計に適用して、状態変数
を
として計算するように構成され得る。結果としての状態変数
は、出力生成ブロック２０３の起動回路２１５と、乗算回路２１１とに、並行して出力され得る（乗算回路２１１に出力することは、次の受信されたソマティック入力
のために有用となり得る）。起動回路２１５は、状態変数
を受信し、状態変数
から出力値
を生成するように構成され得る。例えば、
であり、ｈは、シグモイド活性化関数などの活性化関数である。内部ニューロン・ダイナミクス・ユニット１０３は、一定値ｂを有する追加の入力を有し得るので、バイアスされることができ、一定値ｂ（バイアス値）が考慮に入れられ得る。例えば、バイアス値ｂは、
として、出力値ｙ（ｔ）を決定するために用いられ得る。これは、内部ニューロン・ダイナミクス・ユニット１０３の改善された性能を可能にし得る。生成された出力値
は、次の受信されたソマティック入力に対する使用のために、リセット・モジュール２０７に出力され得る。出力値
は、ソマティック出力
として供給され得る。
【数35】
と、出力値
【数36】
とを受信すると、乗算ロジック２１１は、調整を
【数37】
として計算するように構成されることができ、ｌ（τ）は、時定数τを有する状態変数の減衰挙動を考慮に入れた補正関数である。ｌ（τ）の値は、例えば、ニューラル装置のメモリに記憶され得る。例えば、補正関数は、
【数38】
として定義されることができ、ΔＴは、内部ニューロン・ダイナミクス・ユニット・サンプリング時間である。乗算回路２１１によって計算された調整は、出力され、加算回路２１０に供給され得る。加算回路２１０は、乗算回路２１１からの調整と、ソマティック入力
【数39】
とを受信するように構成され得る。加算回路２１０は、受信された調整と、ソマティック入力
【数40】
との合計を行って、
【数41】
とするようにさらに構成され得る。この合計は、加算回路２１０によって、起動回路２１２に供給または出力され得る。起動回路２１２は、加算回路２１０から、計算された合計を受信するように構成され得る。起動回路２１２は、その活性化関数を計算された合計に適用して、状態変数
【数42】
を
【数43】
として計算するように構成され得る。結果としての状態変数
【数44】
は、出力生成ブロック２０３の起動回路２１５と、乗算回路２１１とに、並行して出力され得る（乗算回路２１１に出力することは、次の受信されたソマティック入力
【数45】
のために有用となり得る）。起動回路２１５は、状態変数
【数46】
を受信し、状態変数
【数47】
から出力値
【数48】
を生成するように構成され得る。例えば、
【数49】
であり、ｈは、シグモイド活性化関数などの活性化関数である。内部ニューロン・ダイナミクス・ユニット１０３は、一定値ｂを有する追加の入力を有し得るので、バイアスされることができ、一定値ｂ（バイアス値）が考慮に入れられ得る。例えば、バイアス値ｂは、
【数50】
として、出力値ｙ（ｔ）を決定するために用いられ得る。これは、内部ニューロン・ダイナミクス・ユニット１０３の改善された性能を可能にし得る。生成された出力値
【数51】
は、次の受信されたソマティック入力に対する使用のために、リセット・モジュール２０７に出力され得る。出力値
【数52】
は、ソマティック出力
【数53】
として供給され得る。
【0041】
図３は、本開示のいくつかの実施形態と一致する、ニューラル装置、例えば１００によって、入力信号を処理する方法のフローチャートである。説明を簡単にするために、図３は、図４の簡略化された例を参照して述べられるが、本開示はこの例に限定されない。
【0042】
ニューラル装置は、（動作３０１で）復号期間ｐｋの間に、入力信号
を受信し得る。入力信号
は、時間的符号化値とすることができる。受信された入力信号
は、スパイクのセット
によって表され得る。図４の例に従って、受信された入力信号
は、スパイク４０１および４０２によって表され得る。図４は、復号期間ｐｋ＋１の間の、別の受信された入力信号
を示す。入力信号
は、スパイク４０３および４０４によって表され得る。
【数54】
を受信し得る。入力信号
【数55】
は、時間的符号化値とすることができる。受信された入力信号
【数56】
は、スパイクのセット
【数57】
によって表され得る。図４の例に従って、受信された入力信号
【数58】
は、スパイク４０１および４０２によって表され得る。図４は、復号期間ｐｋ＋１の間の、別の受信された入力信号
【数59】
を示す。入力信号
【数60】
は、スパイク４０３および４０４によって表され得る。
【0043】
ニューラル装置は、（動作３０３で）復号期間ｐｋの間に、入力信号
を復号することができ、結果として復号された信号
を生じる。入力信号
の復号は、次のように行われ得る。スパイクのセット
がニューラル装置のシナプスに到着したとき、スパイクは、それぞれのシナプス重みによって重み付けされることができ、結果としての値は、それぞれのカーネル値によってコンボリューションされることができ、それによって、復号された信号
は、特定の期間ｐｋにおける特定のニューロンに対して取得され得る。図４の例に従って、スパイク４０１および４０２は、それぞれシナプス重みＷ１およびＷ２によって重み付けされ得る。重み付けされた値は、次いでカーネル関数４０６のそれぞれのカーネル値によってコンボリューションされ得る。カーネル値は、復号期間ｐｋ内の２つのスパイクの時間位置での、カーネル関数４０６の値とすることができる。カーネル関数４０６は、線形カーネルとすることができる。結果としての値は、復号された信号
の値を取得するために合計されることができ、これはこの例では４である。同様に、スパイク４０３および４０４は、それぞれシナプス重みＷ１およびＷ２によって重み付けされ得る。重み付けされた値は、次いで、カーネル関数４０６のそれぞれのカーネル値によってコンボリューションされ得る。カーネル値は、復号期間ｐｋ＋１内の、２つのスパイク４０３および４０４の時間位置におけるカーネル関数４０６の値とすることができる。結果としての値は、復号された信号
の値を取得するために合計されることができ、これはこの例では、１．８である。
【数61】
を復号することができ、結果として復号された信号
【数62】
を生じる。入力信号
【数63】
の復号は、次のように行われ得る。スパイクのセット
【数64】
がニューラル装置のシナプスに到着したとき、スパイクは、それぞれのシナプス重みによって重み付けされることができ、結果としての値は、それぞれのカーネル値によってコンボリューションされることができ、それによって、復号された信号
【数65】
は、特定の期間ｐｋにおける特定のニューロンに対して取得され得る。図４の例に従って、スパイク４０１および４０２は、それぞれシナプス重みＷ１およびＷ２によって重み付けされ得る。重み付けされた値は、次いでカーネル関数４０６のそれぞれのカーネル値によってコンボリューションされ得る。カーネル値は、復号期間ｐｋ内の２つのスパイクの時間位置での、カーネル関数４０６の値とすることができる。カーネル関数４０６は、線形カーネルとすることができる。結果としての値は、復号された信号
【数66】
の値を取得するために合計されることができ、これはこの例では４である。同様に、スパイク４０３および４０４は、それぞれシナプス重みＷ１およびＷ２によって重み付けされ得る。重み付けされた値は、次いで、カーネル関数４０６のそれぞれのカーネル値によってコンボリューションされ得る。カーネル値は、復号期間ｐｋ＋１内の、２つのスパイク４０３および４０４の時間位置におけるカーネル関数４０６の値とすることができる。結果としての値は、復号された信号
【数67】
の値を取得するために合計されることができ、これはこの例では、１．８である。
【0044】
復号期間ｐｋが終了すると、（動作３０５で）ニューラル装置は、復号された信号
を内部ニューラル・ダイナミクスのモデルｆを用いて処理して、処理された信号
を、
として取得し得る。図４の例に従って、受信された信号
の処理された信号
は０．５であり、受信された信号
の処理された信号
は０．２である。
【数68】
を内部ニューラル・ダイナミクスのモデルｆを用いて処理して、処理された信号
【数69】
を、
【数70】
として取得し得る。図４の例に従って、受信された信号
【数71】
の処理された信号
【数72】
は０．５であり、受信された信号
【数73】
の処理された信号
【数74】
は０．２である。
【0045】
処理された信号
は、（動作３０７で）後続の復号期間ｐｋ＋１内で、１つまたは複数の出力信号を、ニューラル・ネットワーク・システムの別のニューラル装置に、エンコードおよび放出するために用いられ得る。これは、例えば、別のカーネル関数４０８を用いることによって行われ得る。処理された信号
に等しいカーネル関数４０８の値に関連付けられた時点は、スパイクが放出され得る時間となり得る。図４の例に従って、処理された信号
は、カーネル関数４０８における値０．５に対応する、時点４１０を識別するために用いられ得る。スパイク４１１は、このようにして時点４１０で放出され得る。同様に、処理された信号
は、カーネル関数４０８における値０．２に対応する、時点４１２を識別するために用いられ得る。スパイク４１３は、このようにして時点４１２で放出され得る。
【数75】
は、（動作３０７で）後続の復号期間ｐｋ＋１内で、１つまたは複数の出力信号を、ニューラル・ネットワーク・システムの別のニューラル装置に、エンコードおよび放出するために用いられ得る。これは、例えば、別のカーネル関数４０８を用いることによって行われ得る。処理された信号
【数76】
に等しいカーネル関数４０８の値に関連付けられた時点は、スパイクが放出され得る時間となり得る。図４の例に従って、処理された信号
【数77】
は、カーネル関数４０８における値０．５に対応する、時点４１０を識別するために用いられ得る。スパイク４１１は、このようにして時点４１０で放出され得る。同様に、処理された信号
【数78】
は、カーネル関数４０８における値０．２に対応する、時点４１２を識別するために用いられ得る。スパイク４１３は、このようにして時点４１２で放出され得る。
【0046】
図５Ａは、本開示のいくつかの実施形態と一致する、変調値を決定するための例示の時間依存関数（カーネル関数とも名付けられる）を示す。
【0047】
時間依存関数５０１は、復号期間ｐｋ内で、１０００の最大値、および１００の最小値を有する線形関数とすることができる。線形関数は、簡略化された実装形態および信頼性のある結果をもたらし得る。図５Ａに示されるように、関数５０１の１０個の値がもたらされ得る。１０個の値は、それぞれの１０個の時間スロットに関連付けられ得る。例えば、受信された値５４５に対して、時間スロット番号６は、値５４５に対応する（最も近いもの）時間として識別され得る。従って、その時間スロット番号６内で、１つのスパイクが放出され得る。しかし、その時間スロットは、値５００に関連付けられることができ、これは入力信号の実際の値に対して、４５の誤差を生じ得る。これを改善するために、図５Ｂの時間依存関数５１０が用いられ得る。時間依存関数５１０は、復号期間ｐｋ内で、５１２の最大値と１の最小値とを有する指数関数的カーネルとすることができる。指数関数的カーネルは、
の形とすることができ、Ｒは１０２４の範囲である。図５Ｂに示されるように、関数５１０の１０個の値がもたらされ得る。１０個の値は、それぞれの１０個の時間スロットに関連付けられ得る。同じ受信された値５４５に対して、時間スロット番号１、５、および１０が、値５４５に対応する時点として識別されることができ、なぜなら時間スロット１、５、および１０内のカーネル関数５１０の値の合計（５１２＋３２＋１）は、受信された値５４５に等しいからである。従ってこの場合、３つのスパイクが、時間スロット番号１、５、および１０において放出され得る。
【数79】
の形とすることができ、Ｒは１０２４の範囲である。図５Ｂに示されるように、関数５１０の１０個の値がもたらされ得る。１０個の値は、それぞれの１０個の時間スロットに関連付けられ得る。同じ受信された値５４５に対して、時間スロット番号１、５、および１０が、値５４５に対応する時点として識別されることができ、なぜなら時間スロット１、５、および１０内のカーネル関数５１０の値の合計（５１２＋３２＋１）は、受信された値５４５に等しいからである。従ってこの場合、３つのスパイクが、時間スロット番号１、５、および１０において放出され得る。
【0048】
図６は、本開示のいくつかの実施形態と一致する、蓄積ブロック２０１と、出力生成ブロック２０３とを備えた、内部ニューロン・ダイナミクス・ユニット１０３によって、出力値
を生成する方法のフローチャートである。内部ニューロン・ダイナミクス・ユニット１０３は、状態変数
と、出力値
とを有することができ、これらはそれぞれの予め規定された値（例えば、
および
）に初期化され得る。例えば、何らかの信号を受信および処理する前に、内部ニューロン・ダイナミクス・ユニット１０３は、初期値
と、出力値
とを有する、初期構成を有し得る。
【数80】
を生成する方法のフローチャートである。内部ニューロン・ダイナミクス・ユニット１０３は、状態変数
【数81】
と、出力値
【数82】
とを有することができ、これらはそれぞれの予め規定された値（例えば、
【数83】
および
【数84】
）に初期化され得る。例えば、何らかの信号を受信および処理する前に、内部ニューロン・ダイナミクス・ユニット１０３は、初期値
【数85】
と、出力値
【数86】
とを有する、初期構成を有し得る。
【0049】
動作６０１で、蓄積ブロック２０１は、現在の状態変数
の調整を、現在の出力値
と、内部ニューロン・ダイナミクス・ユニット１０３の時定数の減衰挙動を示す補正関数とを用いて、計算し得る。例えば、調整は、
として計算され得る。
【数87】
の調整を、現在の出力値
【数88】
と、内部ニューロン・ダイナミクス・ユニット１０３の時定数の減衰挙動を示す補正関数とを用いて、計算し得る。例えば、調整は、
【数89】
として計算され得る。
【0050】
調整を計算した後、蓄積ブロック２０１は、動作６０３で、現在の信号
を受信し得る。他の例では、信号
は、計算動作６０１の前に、またはそれと並行して受信され得る。
【数90】
を受信し得る。他の例では、信号
【数91】
は、計算動作６０１の前に、またはそれと並行して受信され得る。
【0051】
動作６０５で、現在の状態変数
は、蓄積ブロック２０１によって、計算された調整と受信された信号
とを用いて更新され得る。例えば、更新された値
は、
として取得され得る。従って、
が現在の状態変数となる。
【数92】
は、蓄積ブロック２０１によって、計算された調整と受信された信号
【数93】
とを用いて更新され得る。例えば、更新された値
【数94】
は、
【数95】
として取得され得る。従って、
【数96】
が現在の状態変数となる。
【0052】
動作６０７で、蓄積ブロック２０１は、出力生成ブロック２０３に、現在の出力値
を、現在の状態変数
に基づいて生成させ得る。
【数97】
を、現在の状態変数
【数98】
に基づいて生成させ得る。
【0053】
動作６０１～６０７は、各受信された後続の信号
に対して繰り返され得る。例えば、後続の信号
の処理のために用いられる第１の反復において、値
および
が、状態変数および出力の現在値となることができる。後続の信号
を処理するために用いられる第２の反復において、値
および
が、状態変数および出力の現在値となることができ、以下同様である。
【数99】
に対して繰り返され得る。例えば、後続の信号
【数100】
の処理のために用いられる第１の反復において、値
【数101】
および
【数102】
が、状態変数および出力の現在値となることができる。後続の信号
【数103】
を処理するために用いられる第２の反復において、値
【数104】
および
【数105】
が、状態変数および出力の現在値となることができ、以下同様である。
【0054】
図７は、本開示のいくつかの実施形態と一致する、２つのニューラル装置７０１および７０２を用いて、信号を復号およびエンコードする方法を示す図である。ニューラル装置７０１は送出装置と名付けられることができ、ニューラル装置７０２は受信装置と名付けられ得る。ニューラル装置７０１は、時間的符号化値
を受信し得る。値
は、復号期間ｐ１内の入力スパイクＸＬ１，１（ｔ）およびＸＬ１，２（ｔ）によって表され得る。ニューラル装置７０１の入力ユニット７０３は、入力スパイクを、
として復号し得る。ＷＬ１，ｋは、シナプス重みとすることができる。ｋｅｒｎｅｌｉｎは、入力カーネル、入力ユニット７０３の樹状カーネルとすることができる。復号された信号（またはソマティック入力）
は、ソマティック出力
を取得するために、ニューラル・ダイナミクス・モデルｆを用いて、ニューラル装置７０１の内部ニューロン・ダイナミクス・ユニット７０４によって処理され得る。例えば、ニューラル・ダイナミクス・モデルｆは、ソマティック入力
を用いて、ソマティック出力
を、
として計算し得る。ソマティック出力
は、出力スパイクＸＬ２（ｔ）を生成するために、ニューラル装置７０１の出力ユニット７０５によって用いられ得る。そのために、出力ユニット７０５は、軸索カーネルｋｅｒｎｅｌｏｕｔを適用して、各連続したタイムスタンプｔに対して
を評価し、ソマティック出力
を更新することによって、出力信号を決定し得る。
【数106】
を受信し得る。値
【数107】
は、復号期間ｐ１内の入力スパイクＸＬ１，１（ｔ）およびＸＬ１，２（ｔ）によって表され得る。ニューラル装置７０１の入力ユニット７０３は、入力スパイクを、
【数108】
として復号し得る。ＷＬ１，ｋは、シナプス重みとすることができる。ｋｅｒｎｅｌｉｎは、入力カーネル、入力ユニット７０３の樹状カーネルとすることができる。復号された信号（またはソマティック入力）
【数109】
は、ソマティック出力
【数110】
を取得するために、ニューラル・ダイナミクス・モデルｆを用いて、ニューラル装置７０１の内部ニューロン・ダイナミクス・ユニット７０４によって処理され得る。例えば、ニューラル・ダイナミクス・モデルｆは、ソマティック入力
【数111】
を用いて、ソマティック出力
【数112】
を、
【数113】
として計算し得る。ソマティック出力
【数114】
は、出力スパイクＸＬ２（ｔ）を生成するために、ニューラル装置７０１の出力ユニット７０５によって用いられ得る。そのために、出力ユニット７０５は、軸索カーネルｋｅｒｎｅｌｏｕｔを適用して、各連続したタイムスタンプｔに対して
【数115】
を評価し、ソマティック出力
【数116】
を更新することによって、出力信号を決定し得る。
【0055】
復号期間ｐ２内にある出力スパイクＸＬ２（ｔ）は、別のニューラル装置７０２において受信され得る。ニューラル装置７０１の場合のように、例えば、フィードフォワードのやり方で接続された任意のニューラル装置からの入力スパイクＸＬ２，ｋ（ｔ）と共に、ニューラル装置７０１から受信された入力スパイクＸＬ２（ｔ）と、リカレントのやり方で接続された任意のニューラル装置からの入力スパイクＸＬ３，ｌ（ｔ）とは、ニューラル装置７０２の入力ユニット７０６によって次のように復号され得る。
いくつかの実施形態でのニューラル装置７０１の復号された信号との違いは、ニューラル装置７０２においてリカレント接続が用いられ得ることである。ＨＬ２，ｌは、リカレント重みとすることができる。ソマティック入力
は、ソマティック出力
を取得するために、ニューラル・ダイナミクスｆを用いて、ニューラル装置７０２の内部ニューロン・ダイナミクス・ユニット７０７によって処理され得る。例えば、ニューラル・ダイナミクスｆは、ソマティック入力
を用いてソマティック出力
を、
として計算し得る。ソマティック出力
は、出力スパイクＸＬ３（ｔ）を生成するために、ニューラル装置７０２の出力ユニット７０８によって用いられ得る。そのために、出力ユニット７０８は、軸索カーネルｋｅｒｎｅｌｏｕｔを適用して、各連続したタイムスタンプｔに対して
を評価し、ソマティック出力
を更新することによって、出力信号を決定し得る。
【数117】
いくつかの実施形態でのニューラル装置７０１の復号された信号との違いは、ニューラル装置７０２においてリカレント接続が用いられ得ることである。ＨＬ２，ｌは、リカレント重みとすることができる。ソマティック入力
【数118】
は、ソマティック出力
【数119】
を取得するために、ニューラル・ダイナミクスｆを用いて、ニューラル装置７０２の内部ニューロン・ダイナミクス・ユニット７０７によって処理され得る。例えば、ニューラル・ダイナミクスｆは、ソマティック入力
【数120】
を用いてソマティック出力
【数121】
を、
【数122】
として計算し得る。ソマティック出力
【数123】
は、出力スパイクＸＬ３（ｔ）を生成するために、ニューラル装置７０２の出力ユニット７０８によって用いられ得る。そのために、出力ユニット７０８は、軸索カーネルｋｅｒｎｅｌｏｕｔを適用して、各連続したタイムスタンプｔに対して
【数124】
を評価し、ソマティック出力
【数125】
を更新することによって、出力信号を決定し得る。
【0056】
図８Ａおよび８Ｂは、本開示のいくつかの実施形態と一致する、例示のＳＮＮの試験精度およびスパイクの数を示すグラフである。この実施形態におけるＳＮＮは、ニューロンを備えることができ、各ニューロンは、本開示のいくつかの実施形態によるニューラル装置とすることができる。ニューロンのそれぞれは、入力および出力関数として区分線形カーネルを用い得る。ＳＮＮは、３つのレイヤを有することができ、入力レイヤは、７８４個の入力を有し、２つの連続したレイヤは、それぞれ本開示のいくつかの実施形態と一致する２５０個および１０個のニューラル装置を有する。ベースラインＳＮＮは、比較の目的のために用いられる。ベースラインＳＮＮは、共通レート符号化手法を用いてエンコードされた入力を受信する。試験を行うために、ＭＮＩＳＴ画像のデータセットが用いられる。図８Ａに示されるように、いくつかの実施形態と一致するＳＮＮは、（曲線８０２によって示されるような）ベースラインＳＮＮの９７．６８％の精度より高い、（曲線８０１によって示されるように）９７．８％の精度をもたらし得る。また、いくつかの実施形態と一致するＳＮＮのエポック（epoch）当たり、ニューロン当たり、および画像当たりのスパイクの平均数は、ベースラインＳＮＮのその数より著しく小さくなり得る。これはより高いコード効率、およびより少ないスパイクを可能にし得る。
【0057】
本明細書において本開示の態様は、本開示の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品の、フローチャート図またはブロック図あるいはその両方を参照して述べられる。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実施され得ることが理解されるであろう。
【0058】
本開示は、システム、方法、またはコンピュータ・プログラム製品あるいはその組み合わせとすることができる。コンピュータ・プログラム製品は、プロセッサに本開示の態様を遂行させるためのコンピュータ可読プログラム命令を有する、コンピュータ可読記憶媒体を含み得る。
【0059】
コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持および記憶することができる、有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、またはこれらの任意の適切な組み合わせとすることができるが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、パンチカードまたはその上に記録された命令を有する溝状の隆起構造などの機械的エンコード型デバイス、およびこれらの任意の適切な組み合わせを含む。本明細書で用いられるコンピュータ可読記憶媒体とは、電波または他の自由に伝搬する電磁波、導波路または他の伝送媒体を通して伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、または線材を通して伝送される電気信号など、一過性の信号自体を含むものと解釈されるべきではない。
【0060】
本明細書で述べられるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、またはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、または無線ネットワークあるいはその組み合わせを通じて外部コンピュータまたは外部記憶デバイスに、ダウンロードされ得る。ネットワークは、銅の伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバあるいはその組み合わせを備え得る。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信することができ、コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体における記憶のために転送する。
【0061】
本開示の動作を遂行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存型命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋（Ｒ）などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様なプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで書かれたソース・コードまたはオブジェクト・コードとすることができる。コンピュータ可読プログラム命令は、スタンド・アロン・ソフトウェア・パッケージとして、専らユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上および部分的にリモート・コンピュータ上で、あるいは専らリモート・コンピュータまたはサーバ上で、実行することができる。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通してユーザのコンピュータに接続されることができ、または外部コンピュータへの接続がなされ得る（例えば、インターネット・サービス・プロバイダを用いてインターネットを通して）。いくつかの実施形態において、例えば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む、電子回路は、本開示の態様を行うために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人化することによって、コンピュータ可読プログラム命令を実行し得る。
【0062】
本明細書において本開示の態様は、本開示の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品の、フローチャート図またはブロック図あるいはその両方を参照して述べられる。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実施され得ることが理解されるであろう。
【0063】
これらのコンピュータ可読プログラム命令は、コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置を通じて実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／作用／動作を実施し得るように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令はまた、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／作用／動作の態様を実施する命令を含んだ製品を備えるように、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイスあるいはその組み合わせに特定のやり方で機能するように指示することができるものであってもよい。
【0064】
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／作用／動作を実施するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイス上にロードされて、コンピュータによって実施されるプロセスを作り出すべく、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作を行わせるものであってもよい。
【0065】
図におけるフローチャートおよびブロック図は、本開示の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の、可能な実装形態のアーキテクチャ、機能性、および動作を示す。この関連において、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を備えるモジュール、セグメント、または命令の一部分を表し得る。いくつかの代替的実装形態において、ブロック内に記された機能は、図に記されたものとは異なる順序で生じ得る。例えば、連続して示される２つのブロックは、実際は、実質的に同時に実行されることができ、またはブロックは関わる機能性に応じて、時には逆の順序で実行され得る。またブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方におけるブロックの組み合わせは、指定された機能または作用を行う、または専用ハードウェアおよびコンピュータ命令の組み合わせを遂行する、専用ハードウェア・ベースのシステムによって実施され得ることが留意されるであろう。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】