特許 5792389 ノイズ制御を介したニューロン発火調節の方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5792389

(24)【登録日】2015年8月14日

(45)【発行日】2015年10月14日

(54)【発明の名称】ノイズ制御を介したニューロン発火調節の方法および装置

(51)【国際特許分類】

   G06N 3/063 20060101AFI20150928BHJP

【ＦＩ】

   G06N3/063

【請求項の数】30

【全頁数】16

(21)【出願番号】特願2014-521806(P2014-521806)

(86)(22)【出願日】2012年7月19日

(65)【公表番号】特表2014-523593(P2014-523593A)

(43)【公表日】2014年9月11日

(86)【国際出願番号】US2012047482

(87)【国際公開番号】WO2013013096

(87)【国際公開日】20130124

【審査請求日】2014年2月28日

(31)【優先権主張番号】13/187,939

(32)【優先日】2011年7月21日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】チャン、ビクター・ホッキウ

(72)【発明者】

【氏名】ベハバディ、バーディア

(72)【発明者】

【氏名】ハンジンジャー、ジェイソン・フランク

【審査官】 石川 亮

(56)【参考文献】

【文献】 特開２００４−３４８６３７（ＪＰ，Ａ）

【文献】 MARK D. MCDONNELL ET AL.，NEURAL MECHANISMS FOR ANALOG TO DIGITAL CONVERSION，PROCEEDINGS OF SPIE，２００４年 ３月２９日，VOL.5275，P.278-286

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／０６３

(57)【特許請求の範囲】

【請求項1】

電気回路であって、該電気回路は以下を備える、
前記電気回路の１つまたは複数のニューロン回路の発火率を監視するように構成された第１の回路と、
前記発火率を調整するために前記１つまたは複数のニューロン回路の１つまたは複数のシナプス入力に関連付けられたノイズを発火率の目標を維持するように、監視された前記発火率に基づいて制御するように構成された第２の回路。

【請求項2】

前記第２の回路が
前記発火率が前記目標の率未満である場合、前記１つまたは複数のシナプス入力に前記ノイズを注入する
ようにも構成されている、請求項１に記載の電気回路。

【請求項3】

注入される前記ノイズのレベルが、前記目標の率と前記発火率との間の差に基づく、請求項２に記載の電気回路。

【請求項4】

注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項２に記載の電気回路。

【請求項5】

前記第２の回路が
前記発火率が前記目標の率よりも大きい場合、前記１つまたは複数のシナプス入力から前記ノイズを除去する
ようにも構成されている、請求項１に記載の電気回路。

【請求項6】

除去される前記ノイズのレベルが、前記発火率と前記目標の率との間の差に基づく、請求項５に記載の電気回路。

【請求項7】

除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項５に記載の電気回路。

【請求項8】

前記第１の回路が、直接的な測定を介して前記発火率を監視するようにも構成されている、請求項１に記載の電気回路。

【請求項9】

前記第１の回路が
前記電気回路に関連付けられたリソースの消費の間接的な測定を介して前記発火率を監視する
ようにも構成されている、請求項１に記載の電気回路。

【請求項10】

前記１つまたは複数のニューロン回路のネットワークにあらかじめ定義されたレベルのバックグラウンドノイズを生成するように構成された第３の回路
をさらに備える請求項１に記載の電気回路。

【請求項11】

ニューラルネットワークにおけるノイズを制御するための方法であって、該方法は以下を備える、
前記ニューラルネットワークの１つまたは複数のニューロン回路の発火率を監視することと、
前記発火率を調整するために前記１つまたは複数のニューロン回路の１つまたは複数のシナプス入力に関連付けられたノイズを発火率の目標を維持するように、監視された前記発火率に基づいて制御すること。

【請求項12】

制御することが、
前記発火率が目標の率未満である場合、前記１つまたは複数のシナプス入力に前記ノイズを注入すること
を備える、請求項１１に記載の方法。

【請求項13】

注入される前記ノイズのレベルが、前記目標の率と前記発火率との間の差に基づく、請求項１２に記載の方法。

【請求項14】

注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項１２に記載の方法。

【請求項15】

制御することが、
前記発火率が目標の率よりも大きい場合、前記１つまたは複数のシナプス入力から前記ノイズを除去すること
を備える、請求項１１に記載の方法。

【請求項16】

除去される前記ノイズのレベルが、前記発火率と前記目標の率との間の差に基づく、請求項１５に記載の方法。

【請求項17】

除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項１５に記載の方法。

【請求項18】

前記発火率が直接的な測定を介して監視される、請求項１１に記載の方法。

【請求項19】

前記発火率が、前記ニューラルネットワークに関連付けられたリソースの消費の間接的な測定を介して監視される、請求項１１に記載の方法。

【請求項20】

前記ニューラルネットワークにあらかじめ定義されたレベルのバックグラウンドノイズを生成すること
をさらに備える請求項１１に記載の方法。

【請求項21】

装置であって、該装置は以下を備える、
前記装置の１つまたは複数のニューロン回路の発火率を監視するための手段と、
前記発火率を調整するために前記１つまたは複数のニューロン回路の１つまたは複数のシナプス入力に関連付けられたノイズを発火率の目標を維持するように、監視された前記発火率に基づいて制御するための手段。

【請求項22】

制御するための前記手段が、
前記発火率が前記目標の率未満である場合、前記１つまたは複数のシナプス入力に前記ノイズを注入するための手段
を備える、請求項２１に記載の装置。

【請求項23】

注入される前記ノイズのレベルが、前記目標の率と前記発火率との間の差に基づく、請求項２２に記載の装置。

【請求項24】

注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項２２に記載の装置。

【請求項25】

制御するための前記手段が、
前記発火率が前記目標の率よりも大きい場合、前記１つまたは複数のシナプス入力から前記ノイズを除去するための手段
を備える、請求項２１に記載の装置。

【請求項26】

除去される前記ノイズのレベルが、前記発火率と前記目標の率との間の差に基づく、請求項２５に記載の装置。

【請求項27】

除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、請求項２５に記載の装置。

【請求項28】

前記発火率が直接的な測定を介して監視される、請求項２１に記載の装置。

【請求項29】

前記発火率が、前記装置に関連付けられたリソースの消費の間接的な測定を介して監視される、請求項２１に記載の装置。

【請求項30】

前記装置にあらかじめ定義されたレベルのバックグラウンドノイズを生成するための手段
をさらに備える請求項２１に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示のいくつかの態様は、一般に、神経システム工学に関し、より詳細には、ノイズ制御を介したニューロン発火調節の方法および装置に関する。

【背景技術】

【0002】

ニューロンの基本的特性の１つは、出力信号（一般に活動電位の形態）を生成または発火させ得るように励起されるその能力である。内部ニューロン設定、すなわち閾値は、活動電位が点火されるかどうかを制御することができる。空間、時間的に合計された入力信号が閾値未満（すなわち、閾下）である場合、ニューロンは発火しない。しかしながら、合計された入力信号が閾値を上回る（すなわち、閾上）である場合、ニューロンは１つまたは複数の活動電位に点火する。

【0003】

閾値を有する代表的なニューロンでは、反応（入出力）曲線は、入力における変化が極めて小さい状態で非発火から常に発火に移行し得、したがって、ニューロンの励起可能な入力パターンの範囲が制限される。

【発明の概要】

【0004】

本開示のいくつかの態様は、電気回路を提供する。電気回路は、一般に、電気回路の１つまたは複数のニューロン回路の発火率を監視するように構成された第１の回路と、発火率を調整するために１つまたは複数のニューロン回路の１つまたは複数のシナプス入力に関連付けられたノイズを、発火率に基づいて制御するように構成された第２の回路とを含む。

【0005】

本開示のいくつかの態様は、ニューラルネットワークを実装するための方法を提供する。方法は、一般に、ニューラルネットワークの１つまたは複数のニューロン回路の発火率を監視することと、発火率を調整するために１つまたは複数のニューロン回路の１つまたは複数のシナプス入力に関連付けられたノイズを、発火率に基づいて制御することとを含む。

【0006】

本開示のいくつかの態様は、装置を提供する。装置は、一般に、装置の１つまたは複数のニューロン回路の発火率を監視するための手段と、発火率を調整するために１つまたは複数のニューロン回路の１つまたは複数のシナプス入力に関連付けられたノイズを、発火率に基づいて制御するための手段とを含む。

【0007】

本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部を示す態様を参照することによって、上記で簡単に要約したもののさらに具体的な説明が得られ得る。しかし、添付の図面は、本開示の特定の典型的な態様のみを示し、したがって、本開示の範囲の限定とみなされてはならず、その理由は、この説明が他の同等の効果のある態様をもたらし得るからであることに留意されたい。

【図面の簡単な説明】

【0008】

【図1】本開示のいくつかの態様による、例示的なニューロンのネットワークを示す図。

【図2】本開示のいくつかの態様による、ノイズがない場合のニューロンの発火の確率の一例を示す図。

【図3】本開示のいくつかの態様による、シナプスノイズが存在する場合のニューロンの発火の確率（確率的解放（probabilistic release））の一例を示す図。

【図4】本開示のいくつかの態様による、体細胞ノイズが存在する場合のニューロンの発火の確率（体細胞電流注入（somatic current injection））の一例を示す図。

【図5】本開示のいくつかの態様による、ノイズのフィードバックを介した恒常的な発火率の維持の一例を示す図。

【図6】本開示のいくつかの態様による、ニューロン回路のネットワークで実行され得る例示的な動作を示す図。

【図6A】図６に示される動作を実行することができる例示的な構成要素を示す図。

【発明を実施するための形態】

【0009】

添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得るものであり、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置を実施することができ、または方法を実施することができる。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置またはそのような方法をカバーするものとする。本明細書で開示する本開示の任意の態様が請求項の１つまたは複数の要素によって実施できることを理解されたい。

【0010】

「例示的な」という言葉は、例、事例、または例示として機能することを意味するように本明細書で使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利なものと解釈すべきではない。

【0011】

本明細書では特定の態様について説明するが、これらの態様の多くの変形体および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、限定的なものではなく本開示を説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびその均等物によって規定される。

【0012】

例示的な神経システム
図１は、本開示のいくつかの態様による、複数のレベルのニューロンを含む例示的な神経システム１００を示す。神経システム１００は、シナプス結合のネットワーク１０４を介して別のレベルのニューロン１０６に接続されたあるレベルのニューロン１０２を備え得る。簡単のために、図１には２レベルのニューロンのみが示されているが、代表的な神経システムには、より多くのレベルのニューロンが存在し得る。

【0013】

図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１には図示せず）の複数のニューロンによって生成され得る入力信号１０８を受信することができる。信号１０８は、レベル１０２のニューロンの入力電流を表し得る。この電流は、膜電位に充電するために、ニューロン膜に蓄積され得る。膜電位がその閾値に達すると、ニューロンは、点火し、次のレベルのニューロン（たとえば、レベル１０６）に転送される出力スパイクを生成することができる。

【0014】

図１に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合（または単に「シナプス」）のネットワーク１０４によって達成され得る。シナプス１０４は、レベル１０２のニューロンから出力信号（すなわち、スパイク）を受信し、調整可能なシナプスの重み

【数1】

【0015】

（式中、Ｐは、レベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数である）に従って、それらの信号をスケーリングし、スケーリングされた信号をレベル１０６における各ニューロンの入力信号として結合することができる。レベル１０６におけるあらゆるニューロンは、対応する結合された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、次いで、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに転送され得る。

【0016】

神経システム１００は、電気回路によってエミュレートすることができ、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用することができる。神経システム１００における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始する閾値までチャージされるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。

【0017】

一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去することができ、その代わりにより小さいメモリスタ素子が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の用途において適用され得る。さらに、シナプス１０４の各々は、メモリスタ素子に基づいて実装され得、シナプスの重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され、これによって、非常に大規模な神経システムハードウェア実装形態の実装が実用的になり得る。

【0018】

非線形の閾値反応
閾値を有する代表的なニューロン（たとえば、図１の神経システム１００のニューロン）の入出力反応曲線は、ニューロンの入力における変化が極めて小さい状態で非発火から常に発火に移行し得、したがって、ニューロンの励起可能な入力パターンの範囲が制限される。局部、広域、および全体のノイズ項を導入することによって、ニューロンの反応曲線の傾斜が減少し得る。このことは、より大きい１組の入力スパイクのパターンがニューロンを発火させることに効果的となし得る、すなわち、ニューロンは、ノイズがない状況で、本質的に小さい１組のパターンの代わりに、大きい範囲の入力パターンに反応することが可能になり得る。本開示で提案されるノイズ制御を介したニューロン発火調節は、柔軟性と効率の両方の利点を提供することができる。

【0019】

図２は、本開示のいくつかの態様による、ノイズがない場合のニューロン発火の確率の一例２００を示す。ノイズがない状況では、ニューロンの反応曲線は、ニューロンの発火閾値辺りで急な移行を有する非線形であり得る。言い換えれば、図２に示すように、それらの追加の入力が、合計された活動が閾値を超える原因になる場合、ニューロンは、ほんの少数のシナプス入力で、まったく発火しない（スパイクＰ（スパイク）＝０の確率を有する）から１００％の発火（スパイクＰ（スパイク）＝１の確率を有する）に移行し得る。

【0020】

図２の例示的なトレース２０２は、３４の同時活性化されたシナプスを有するニューロンは、活動電位に点火することに常に失敗し得るが、３５の同時活性化されたシナプスでは、ニューロンは、活動電位に常に点火することができることを示す。これは、ポイントニューロンモデル（point neuron model）においてだけでなく、マルチコンパートメントニューロンモデル（multi-compartmental neuron model）においても当てはまり得る。シナプスが細胞体から離れてより遠くに分散されている場合でも、それは、閾値の値に影響を与え得るとともに、（たとえば、図２のトレース２０２、２０４、２０６、２０８、２１０によって示されるように）移行の傾斜は極めて急なままであり得る。

【0021】

同時活性化されたシナプス活動の密度に不一致がある場合、ニューロンは、まったく反応しない可能性がある（入力スパイクの密度が閾値未満である場合）、または常に発火している可能性がある（密度が閾値を上回る場合）という点で、この急激な非線形閾値反応は、実際的な問題を掲示し得る。時間的符号化（temporal coding）では、このことは、ニューロンが符号化または復号（decode）することができるスパイクのパターンのサイズの範囲を制限し得る。たとえば、入力スパイクのパターンが３０のスパイクを備える場合、スパイクのパターンを符号化できるようになるには、ちょうど３０未満の閾値を有するニューロンを有することが必要とされ得る。たとえば、スパイクのパターンが２０のスパイクを備える場合、約３０の閾値を有するこれらのニューロンは、不一致であり得、２０のスパイク入力にもかかわらず、ニューロンは、常に閾下であるので、パターンを符号化することができない可能性がある。

【0022】

ノイズ制御を介した反応曲線の線形化
本開示のいくつかの態様は、ニューロンが反応する様々なスパイクのパターンのサイズの範囲を増加させるためにシナプスまたは体細胞ノイズ制御を利用することをサポートする。

【0023】

バックグラウンドノイズの存在は、入出力曲線の傾斜を変更し得、入力は、入力スパイクの数に対応し得、出力は、発火の確率に対応し得る。結果として、ノイズがない環境では、ニューロンは、２状態スイッチのように挙動し得、図２に示したように、ニューロンに点火するために必要とされる同時に起こる入力スパイクの数の急激な移行がある。ノイズが増加するにつれて、同時に起こるスパイクによって変わるニューロンの発火の確率の傾斜は減少し得、したがって、確率は低いが、図３および図４に示したように、ニューロンに点火するために必要とされる同時発生的な入力スパイクの数も低減し得る。一方、同じく、ノイズの増加は、高い確率でニューロンに点火するために必要とされる同時発生的な入力スパイクの数を増加させ得る。その結果、ノイズは、ニューロンが反応する入力スパイクのパターンのサイズの範囲を増大させ得る。

【0024】

ノイズ制御の範囲は、ソースに応じて、局部、広域、または全体であり得る。一態様では、ノイズは、個々のシナプスで調節され得、これは、局部のノイズ制御に対応する。代わりに、局部のノイズ制御は、特定のニューロンに属するシナプスを制御することによって、または、特定の層におけるニューロンのシナプスを制御することによって区別され得る。別の態様では、ノイズは、数千から百万のシナプスで調節され得、これは、広域のノイズ制御に対応する。さらに別の態様では、ノイズは、システムにおける全セットのシナプスで調節され得、これは、全体のノイズ制御に対応する。

【0025】

ノイズ制御を促進する潜在的な生物学的機構は、同様に、局部、広域、および全体の範囲に分けられ得る。一態様では、局部のスパイクノイズは、シナプスにおけるシナプス解放の確率性の程度によって促進され得る。別の態様では、広域のスパイクノイズは、個々のグリア細胞による自然発生的な神経伝達物質の解放の頻度によって（たとえば、各グリア細胞が最高１００，０００のシナプスに影響を及ぼす）、または、何百万ものシナプスに潜在的に影響を及ぼし得るギャップ結合リンクされた（gap-junction-linked）グリア細胞のネットワークによって促進され得る。さらに別の態様では、全体のスパイクノイズは、血流に解放されるホルモン調節によって促進され得、これは、一致するホルモン受容体を有する脳内のすべてのニューロンに影響を及ぼし得る。

【0026】

本開示のいくつかの態様によれば、すなわち、どのシナプスがノイズ制御によって影響を受けるかというノイズ制御の影響の範囲がある。さらに、ノイズ制御入力（たとえば、発火率）の範囲がある。一態様では、発火率は、ノイズ制御されたシナプスに対応するニューロンの発火率を表し得る。別の態様では、発火率は、ニューラルネットワークにおけるニューロンの個体群の平均発火率であり得る。

【0027】

ニューラルネットワークにおけるノイズ制御
ニューロンまたはニューロンのネットワークが広範囲にわたるスパイクのパターンのサイズに反応するように、個々のニューロンの反応曲線は、恒常的な発火率の監視およびノイズ制御を使用することによって調整され得る。図５は、本開示のいくつかの態様による、ノイズのフィードバックを介した恒常的な発火率の維持の例示的な制御シーケンス５００を示す。

【0028】

最初に、グリア（またはグリアネットワーク）５０２は、ニューロンのネットワーク（以下、ニューラルネットワーク）５０４に、中程度の（あらかじめ定義された）レベルのベースライン／バックグラウンドノイズを生成することができる。図５に示したように、グリア５０２は、たとえば、代謝またはリソースの消費の直接的な測定または間接的な測定を介してニューロンの発火率５０６を監視することができる。

【0029】

この後、恒常的な発火率に対する発火率５０６の調整が実行され得る。監視された発火率が低すぎる（すなわち、恒常的な発火率未満である）場合、ノイズ５０８はニューラルネットワーク５０４のシナプスに注入され得る。上記のように、ノイズの注入は、ニューロンに点火することができる入力スパイクのパターンの範囲を増大させ得、その結果、ニューロンの発火率が増加し得る。恒常的な発火率からの現在の発火率の偏差がより大きいほど、より多くの量のノイズがシナプスに注入され得る。一態様では、ノイズレベルの変化率は、システムの安定性を確実にするために、漸進的であり得る。

【0030】

一方、監視された発火率５０６が高すぎる（すなわち、恒常的な発火率よりも大きい）場合、ノイズ５１０はニューラルネットワーク５０４のシナプスから除去され得る。ノイズの除去は、ニューロンに点火することができる入力スパイクのパターンの範囲を縮小し得、その結果、ニューロンの発火率が低減し得る。恒常的な発火率からの現在の発火率の偏差がより大きいほど、より多くの量のノイズがシナプスから除去され得る。この場合も、ノイズレベルの変化率は、システムの安定性を確実にするために、漸進的であり得る。

【0031】

本開示の態様では、恒常的な発火率が達成されるまで、発火率５０６を監視し、調整することが繰り返され得る。

【0032】

恒常的な発火率に対する発火率５０６をチェックし、調整することは、以下のノイズ差分として表され得る。

【数2】

【0033】

式中、ｎはノイズレベル項またはノイズ利得制御項、ｎ₀は初期（あらかじめ定義された）ノイズ値、ｋはノイズレベルの変化率（すなわち、段階的なノイズ変化率を制御するあらかじめ定義されたパラメータ）、ｆ_hは恒常的な発火率、およびｆ_cは現在監視されている発火率である。ｆ_c＜ｆ_hである（すなわち、監視されている発火率が低すぎる）場合、時間に対するノイズの変化ｄｎ／ｄｔは正であり、すなわち、変化率に従ってノイズがシナプスに追加され得ることが式（１）から観察され得る。一方、ｆ_c＞ｆ_hである（すなわち、監視されている発火率が高すぎる）場合、時間に対するノイズの変化ｄｎ／ｄｔは負であり、すなわち、変化率に従ってノイズがシナプスから除去され得る。

【0034】

ノイズ項をニューロンまたはニューロンのネットワーク（ニューラルネットワーク）に導入することによって、ニューラルネットワークは、それが反応するスパイクのパターンのサイズの範囲を調節することが可能になり得る。ニューラルネットワークが広範囲にわたるスパイクのパターンのサイズに反応することが要求される場合、より大きいノイズ項がシステムに追加され得る。逆に、狭い範囲のスパイクのパターンのサイズが要求される場合、より小さい項が使用され得るか、ノイズ項がまったく使用されない場合もある。

【0035】

ニューラルネットワークに導入されているノイズ項は必ずしも実際のノイズレベルまたはノイズ成分ではなく、むしろノイズによって制御されるプロセスであり得ることに留意されたい。たとえば、ニューラルネットワークへのノイズ導入のプロセスは、Ｐｏｉｓｏｎスパイク生成器に関連付けられ得、生成器の利得は、１秒当たりの平均スパイクと対応し得る。本開示の一態様では、ニューラルネットワーク５０４は、１秒当たりのスパイク（レート）がノイズレベル項によって制御され得るＰｏｉｓｏｎスパイク生成器に関連付けられ得る。たとえば、Ｐｏｉｓｏｎスパイク生成器のレートは、公称レートで始まり得る。次いで、非ノイズ入力に加えて、生成器の出力（スパイク）がニューラルネットワークのシナプスに流れ込み得る。本開示の別の態様では、シナプスの重みは、ノイズレベル項に基づいて変わり得る。さらに別の態様では、ニューラルネットワークの１つまたは複数のニューロンの１つまたは複数の閾値は、ノイズレベル項に基づいて変わり得る。

【0036】

図５の恒常的な発火率の方法によるノイズ制御フィードバック方式を導入することによって、ニューラルネットワークは、その発火率を維持することができ、さらに入力スパイクのパターンのサイズの多様性に反応することが可能であり得る。入力スパイクのパターンが小さすぎ、ニューラルネットワークを励起することができない場合、恒常的な発火率からの偏差が検出され得、次いで、より大きい１組の入力スパイクのパターンが今すぐにニューラルネットワークを励起することができるように、ノイズが追加され得る。入力スパイクのパターンが大きすぎ、それらが常にニューラルネットワークを励起する場合、同様に、より小さい１組の入力スパイクのパターンが今すぐにニューラルネットワークを励起することができるように、ノイズが低減され得、それによって、恒常的な発火率に到達するまで、全体の発火率が低減する。

【0037】

図６は、本開示のいくつかの態様による、ニューラルネットワークで（たとえば、図５のニューラルネットワーク５０４で）実行され得る例示的な動作６００を示す。６０２で、ニューラルネットワークの１つまたは複数のニューロン回路の発火率が監視され得る。６０４で、発火率を調整するために１つまたは複数のニューロン回路の１つまたは複数のシナプス入力に関連付けられたノイズが制御され得る。

【0038】

本開示の一態様では、発火率が目標率未満（すなわち、恒常的な発火率未満）である場合、ノイズを制御することは、１つまたは複数のシナプス入力にノイズを注入することを備え得る。注入されるノイズのレベルは、目標率と発火率との間の差に基づき得る。さらに、注入されるノイズのレベルは、あらかじめ定義されたパラメータ（すなわち、ノイズレベルの変化率）によって制御され得る。

【0039】

本開示の別の態様では、発火率が目標率よりも大きい（すなわち、恒常的な発火率よりも大きい）場合、ノイズを制御することは、１つまたは複数のシナプス入力からノイズを除去することを備え得る。除去されるノイズのレベルは、発火率と目標率との間の差に基づき得る。さらに、除去されるノイズのレベルは、あらかじめ定義されたパラメータ（すなわち、ノイズレベルの変化率）によって制御され得る。

【0040】

上記で説明した方法の様々な動作は、対応する機能を実行することができる任意の好適な手段によって実行され得る。手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含むことができる。一般に、図に示される動作がある場合、これらの動作は、同様の番号を有する対応する対のミーンズプラスファンクション構成要素を有し得る。たとえば、図６に示す動作６００は、図６Ａに示す構成要素６００Ａに対応する。

【0041】

本明細書で使用する際、「決定すること」という用語は、様々なアクションを含む。たとえば、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、検索すること（たとえば、テーブル、データベース、または別のデータ構造を検索すること）、確認することなどを含み得る。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ内のデータにアクセスすること）などを含む場合がある。また、「決定すること」は、解決すること、選択すること、選出すること、確立することなどを含むことができる。

【0042】

本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、個々のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ〜ｂ、ａ〜ｃ、ｂ〜ｃ、およびａ〜ｂ〜ｃをカバーするものとする。

【0043】

上記の方法の様々な動作は、たとえば様々なハードウェアおよび／またはソフトウェア構成要素、回路および／またはモジュールなど、動作を実施することができる任意の好適な手段によって実施することができる。一般に、図に示される任意の動作は、動作を実施することができる対応する機能手段によって実施することができる。

【0044】

本開示に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいはここで説明された機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

【0045】

本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体内に常駐することができる。使用され得る記憶媒体のいくつかの例には、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。

【0046】

本明細書で開示された方法は、記載の方法を達成するための１つまたは複数のステップまたはアクションを備える。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されていない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく修正することができる。

【0047】

説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ここで使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

【0048】

したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実施するために１つまたは複数のプロセッサによって実行可能な命令を記憶（および／またはエンコード）するコンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

【0049】

ソフトウェアまたは命令は、伝送媒体を介して送信することもできる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。

【0050】

さらに、本明細書で説明する方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合、ユーザ端末および／または基地局によってダウンロードされ得、および／またはその他の方法で得られ得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明する方法を実施するための手段の転送を容易にするために、サーバに結合することができる。代わりに、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が、記憶手段をデバイスに結合したすぐ後、または提供したすぐ後に、様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理的記憶媒体など）を介して提供することができる。さらに、本明細書で説明する方法および技法をデバイスに与えるための任意の他の適切な技法を利用することができる。

【0051】

特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。上記の方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形を行うことができる。

【0052】

上記は本開示の態様を対象とするが、本開示の他の態様は、それらの基本的な範囲から逸脱することなく考案することができ、それらの範囲は、以下の特許請求の範囲によって決定される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ 電気回路であって、該電気回路は以下を備える、
前記電気回路の１つまたは複数のニューロン回路の発火率を監視するように構成された第１の回路と、
前記発火率を調整するために前記１つまたは複数のニューロン回路の１つまたは複数のシナプス入力に関連付けられたノイズを、前記発火率に基づいて制御するように構成された第２の回路。
［Ｃ２］ 前記第２の回路が
前記発火率が目標率未満である場合、前記１つまたは複数のシナプス入力に前記ノイズを注入する
ようにも構成されている、Ｃ１に記載の電気回路。
［Ｃ３］ 注入される前記ノイズのレベルが、前記目標率と前記発火率との間の差に基づく、Ｃ２に記載の電気回路。
［Ｃ４］ 注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、Ｃ２に記載の電気回路。
［Ｃ５］ 前記第２の回路が
前記発火率が目標率よりも大きい場合、前記１つまたは複数のシナプス入力から前記ノイズを除去する
ようにも構成されている、Ｃ１に記載の電気回路。
［Ｃ６］ 除去される前記ノイズのレベルが、前記発火率と前記目標率との間の差に基づく、Ｃ５に記載の電気回路。
［Ｃ７］ 除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、Ｃ５に記載の電気回路。
［Ｃ８］ 前記第１の回路が、直接的な測定を介して前記発火率を監視するようにも構成されている、Ｃ１に記載の電気回路。
［Ｃ９］ 前記第１の回路が
前記電気回路に関連付けられたリソースの消費の間接的な測定を介して前記発火率を監視する
ようにも構成されている、Ｃ１に記載の電気回路。
［Ｃ１０］ 前記１つまたは複数のニューロン回路のネットワークにあらかじめ定義されたレベルのバックグラウンドノイズを生成するように構成された第３の回路
をさらに備えるＣ１に記載の電気回路。
［Ｃ１１］ ニューラルネットワークを実装するための方法であって、該方法は以下を備える、
前記ニューラルネットワークの１つまたは複数のニューロン回路の発火率を監視することと、
前記発火率を調整するために前記１つまたは複数のニューロン回路の１つまたは複数のシナプス入力に関連付けられたノイズを、前記発火率に基づいて制御すること。
［Ｃ１２］ 制御することが、
前記発火率が目標率未満である場合、前記１つまたは複数のシナプス入力に前記ノイズを注入すること
を備える、Ｃ１１に記載の方法。
［Ｃ１３］ 注入される前記ノイズのレベルが、前記目標率と前記発火率との間の差に基づく、Ｃ１２に記載の方法。
［Ｃ１４］ 注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、Ｃ１２に記載の方法。
［Ｃ１５］ 制御することが、
前記発火率が目標率よりも大きい場合、前記１つまたは複数のシナプス入力から前記ノイズを除去すること
を備える、Ｃ１１に記載の方法。
［Ｃ１６］ 除去される前記ノイズのレベルが、前記発火率と前記目標率との間の差に基づく、Ｃ１５に記載の方法。
［Ｃ１７］ 除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、Ｃ１５に記載の方法。
［Ｃ１８］ 前記発火率が直接的な測定を介して監視される、Ｃ１１に記載の方法。
［Ｃ１９］ 前記発火率が、前記ニューラルネットワークに関連付けられたリソースの消費の間接的な測定を介して監視される、Ｃ１１に記載の方法。
［Ｃ２０］ 前記ニューラルネットワークにあらかじめ定義されたレベルのバックグラウンドノイズを生成すること
をさらに備えるＣ１１に記載の方法。
［Ｃ２１］ 装置であって、該装置は以下を備える、
前記装置の１つまたは複数のニューロン回路の発火率を監視するための手段と、
前記発火率を調整するために前記１つまたは複数のニューロン回路の１つまたは複数のシナプス入力に関連付けられたノイズを、前記発火率に基づいて制御するための手段。
［Ｃ２２］ 制御するための前記手段が、
前記発火率が目標率未満である場合、前記１つまたは複数のシナプス入力に前記ノイズを注入するための手段
を備える、Ｃ２１に記載の装置。
［Ｃ２３］ 注入される前記ノイズのレベルが、前記目標率と前記発火率との間の差に基づく、Ｃ２２に記載の装置。
［Ｃ２４］ 注入される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、Ｃ２２に記載の装置。
［Ｃ２５］ 制御するための前記手段が、
前記発火率が目標率よりも大きい場合、前記１つまたは複数のシナプス入力から前記ノイズを除去するための手段
を備える、Ｃ２１に記載の装置。
［Ｃ２６］ 除去される前記ノイズのレベルが、前記発火率と前記目標率との間の差に基づく、Ｃ２５に記載の装置。
［Ｃ２７］ 除去される前記ノイズのレベルが、あらかじめ定義されたパラメータによって制御される、Ｃ２５に記載の装置。
［Ｃ２８］ 前記発火率が直接的な測定を介して監視される、Ｃ２１に記載の装置。
［Ｃ２９］ 前記発火率が、前記装置に関連付けられたリソースの消費の間接的な測定を介して監視される、Ｃ２１に記載の装置。
［Ｃ３０］ 前記装置にあらかじめ定義されたレベルのバックグラウンドノイズを生成するための手段
をさらに備えるＣ２１に記載の装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図6A】