知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-21
(45)【発行日】2023-11-30
(54)【発明の名称】相互相関のための方法及び装置
(51)【国際特許分類】
G06F 17/15 20060101AFI20231122BHJP
G06N 3/063 20230101ALI20231122BHJP
H03K 5/159 20060101ALI20231122BHJP
H03K 5/19 20060101ALI20231122BHJP
H03K 5/26 20060101ALI20231122BHJP
G06G 7/60 20060101ALI20231122BHJP
G06N 3/049 20230101ALI20231122BHJP
【ＦＩ】
G06F17/15
G06N3/063
H03K5/159
H03K5/19 Z
H03K5/26 Z
G06G7/60
G06N3/049
【請求項の数】
6
(21)【出願番号】P 2021551866
(86)(22)【出願日】2020-03-15
(65)【公表番号】
(43)【公表日】2022-05-11
(86)【国際出願番号】 US2020022869
(87)【国際公開番号】W WO2020190825
(87)【国際公開日】2020-09-24
【審査請求日】2023-02-14
(31)【優先権主張番号】62/819,590
(32)【優先日】2019-03-17
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521387899
【氏名又は名称】エヌパーバー，インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】バートン，デイビッド，カール
【審査官】漆原 孝治
(56)【参考文献】
【文献】特表２０１４－５３５１１８（ＪＰ，Ａ）
【文献】特表２０１７－５１３１０８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０２４２７４４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００９／０２８７６２４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０１７４０２６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １７／１５
Ｇ０６Ｎ ３／０６３
Ｈ０３Ｋ ５／１５９
Ｈ０３Ｋ ５／１９
Ｈ０３Ｋ ５／２６
Ｇ０６Ｇ ７／６０
Ｇ０６Ｎ ３／０４９
(57)【特許請求の範囲】
【請求項1】
相互相関のための方法であって、少なくとも部分的に電子ハードウェアの構成を用いて実施される、有意な確率的コンテンツを含む第１のスパイクストリーム及び第１のイベントを受け取ることと、
少なくとも部分的に電子ハードウェアの構成を用いて実施される、有意な確率的コンテンツを含む第２のスパイクストリーム及び第２のイベントを受け取ることであって、前記第１及び前記第２のイベントは、一定の時間的関係を有する、ことと、
少なくとも部分的に電子ハードウェアの構成を用いて実施される、前記第１のスパイクストリームを第１の遅延ユニットに入力することと、
少なくとも部分的に電子ハードウェアの構成を用いて実施される、前記第１の遅延ユニットから第１の遅延されたスパイクストリームを出力することであって、前記第１の遅延ユニットによって生成される第１の遅延は、ゼロ秒の下限を有することと、
前記第１の遅延されたスパイクストリームから第１の遅延されたスパイクを受け取り次第、少なくとも部分的に電子ハードウェアの構成を用いて実施される、第１の累積値と第２の累積値とを比較して、第１の比較結果を生成することと、
前記第１の比較結果が、前記第１の累積値が前記第２の累積値よりも大きいことを示す場合、前記第１の遅延を増加させることと、
前記第１の比較結果が、前記第１の累積値が前記第２の累積値よりも小さいことを示す場合、前記第１の遅延を減少させることと、
前記第１の比較結果が生成された後で、前記第１の累積値及び前記第２の累積値をリセットすることと、
前記第１の比較結果が生成された後で、第１の重み付け関数及び第２の重み付け関数を生成するための第１のプロセスを再び開始することであって、前記第１の重み付け関数は単調に減少し、前記第２の重み付け関数は、単調に増加すると共に、前記第１の重み付け関数とは対称的に逆である、ことと、
前記第２のスパイクストリームから第２のスパイクを受け取り次第、前記第１の重み付け関数に従って、第１の重み値を第１のアキュムレータに蓄積することと、
前記第２のスパイクストリームから同じ前記第２のスパイクを受け取り次第、前記第２の重み付け関数に従って、第２の重み値を第２のアキュムレータに蓄積することと、を含む方法。
【請求項2】
前記第１の遅延ユニットを構成する第１のキューの長さを増やすことにより、前記第１の遅延を増加させることと、第１のキューの長さを減らすことにより、前記第１の遅延を低減することと、を更に含む、請求項１に記載の方法。
【請求項3】
前記第１の遅延ユニットによる計時がまだ開始されていない場合、前記第１のスパイクストリームから第１の遅延されていないスパイクが前記第１の遅延ユニットに入力されると、前記第１の遅延に等しい持続時間を計時することと、前記第１の遅延の任意の計時が完了すると、スパイクを出力することと、
第１の決定変数の第１の状態、及び以前の遅延されていないスパイクの持続時間中の第２の遅延されていないスパイクの受け取りに基づいて、前記以前の遅延されていないスパイクの前記持続時間を継続することを決定することと、
前記第１の決定変数の第２の状態、及び前記以前の遅延されていないスパイクの前記持続時間中の前記第２の遅延されていないスパイクの受け取りに基づいて、前記第１の遅延ユニットによる前記第１の遅延の計時を再び開始することを決定することと、
複数のインスタンスに渡って、前記以前の遅延されていないスパイクの前記持続時間中の、前記第２の遅延されていないスパイクの受け取りを、前記第１の決定変数に対して、前記第１及び前記第２の状態のほぼ等しい出現件数、保証することと、を更に含む、請求項１に記載の方法。
【請求項4】
前記第１のスパイクストリームから第１の遅延されていないスパイクを受け取ったときに、第１の指数関数的減少関数が第１の指数関数的増加関数よりも大きい場合、前記第１の指数関数的減少関数及び前記第１の指数関数的増加関数の両方を生成するために、第１の平均スパイクレートを増加させることと、前記第１のスパイクストリームから前記第１の遅延されていないスパイクを受け取ったときに、第１の指数関数的減少関数が第１の指数関数的増加関数よりも小さい場合、前記第１の指数関数的減少関数及び前記第１の指数関数的増加関数の両方を生成するために、第１の平均スパイクレートを減少させることと、
前記第１及び前記第２の重み付け関数を生成するために、前記第１の平均スパイクレートを使用することと、を更に含む、請求項１に記載の方法。
【請求項5】
前記第１のスパイクストリームから第１の遅延されていないスパイクを受け取ったときに、第１の指数関数的減少関数が第１の指数関数的増加関数よりも大きい場合、前記第１の指数関数的減少関数及び前記第１の指数関数的増加関数の両方を生成するために、第１の平均スパイクレートを増加させることと、前記第１のスパイクストリームから前記第１の遅延されていないスパイクを受け取ったときに、第１の指数関数的減少関数が第１の指数関数的増加関数よりも小さい場合、前記第１の指数関数的減少関数及び前記第１の指数関数的増加関数の両方を生成するために、第１の平均スパイクレートを減少させることと、
前記第１の遅延を計時するために、前記第１の平均スパイクレートを使用することと、を更に含む、請求項３に記載の方法。
【請求項6】
相互相関のためのシステムであって、少なくとも部分的に電子ハードウェアの構成を用いて、有意な確率的コンテンツを含む第１のスパイクストリーム及び第１のイベントを受け取る、第１のサブシステムと、
少なくとも部分的に電子ハードウェアの構成を用いて、有意な確率的コンテンツを含む第２のスパイクストリーム及び第２のイベントを受け取る、第２のサブシステムであって、前記第１及び前記第２のイベントは、一定の時間的関係を有する、第２のサブシステムと、
少なくとも部分的に電子ハードウェアの構成を用いて、前記第１のスパイクストリームを受け取り、第１の遅延されたスパイクストリームを出力する、第１の遅延ユニットであって、前記第１の遅延ユニットによって生成される第１の遅延は、ゼロ秒の下限を有する、第１の遅延ユニットと、
少なくとも部分的に電子ハードウェアの構成を用いて、前記第１の遅延されたスパイクストリームから第１の遅延されたスパイクを受け取り次第、第１の累積値と第２の累積値とを比較して、第１の比較結果を生成する、第３のサブシステムと、
前記第１の比較結果が、前記第１の累積値が前記第２の累積値よりも大きいことを示す場合、少なくとも部分的に電子ハードウェアの構成を用いて、前記第１の遅延を増加させる、第４のサブシステムと、
前記第１の比較結果が、前記第１の累積値が前記第２の累積値よりも小さいことを示す場合、少なくとも部分的に電子ハードウェアの構成を用いて、前記第１の遅延を減少させる、第５のサブシステムと、
前記第１の比較結果が生成された後で、少なくとも部分的に電子ハードウェアの構成を用いて、前記第１の累積値及び前記第２の累積値をリセットする、第６のサブシステムと、
前記第１の比較結果が生成された後で、少なくとも部分的に電子ハードウェアの構成を用いて、第１の重み付け関数及び第２の重み付け関数を生成するための第１のプロセスを再び開始する、第７のサブシステムであって、前記第１の重み付け関数は単調に減少し、前記第２の重み付け関数は、単調に増加すると共に、前記第１の重み付け関数とは対称的に逆である、第７のサブシステムと、
前記第２のスパイクストリームから第２のスパイクを受け取り次第、前記第１の重み付け関数に従って、少なくとも部分的に電子ハードウェアの構成を用いて、第１の重み値を第１のアキュムレータに蓄積する、第８のサブシステムと、
前記第２のスパイクストリームから同じ前記第２のスパイクを受け取り次第、前記第２の重み付け関数に従って、少なくとも部分的に電子ハードウェアの構成を用いて、第２の重み値を第２のアキュムレータに蓄積する、第９のサブシステムと、を含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本特許は、２０１９年３月１７日に出願された、David Carl Bartonを発明者とする、「Method and Apparatus for Cross Correlation」と題された米国特許出願第６２／８１９，５９０号の出願日の利益を主張するものであり、該出願は、その全体が参照により本明細書に組み込まれる。
【0002】
技術分野
本発明は、一般的に相互相関に関し、より具体的には、有意な確率的コンテンツを有するデータストリームの相互相関に関する。
本発明は、一般的に相互相関に関し、より具体的には、有意な確率的コンテンツを有するデータストリームの相互相関に関する。
【背景技術】
【0003】
背景技術
相互相関は、信号処理においてよく理解されており、様々なアプリケーションにおいて信号ストリーム間の相対的な遅延を発見するために使用されることが多い。相互相関の確立された方法では、複数の相対的な遅延オフセットにおける信号の類似度が比較され、通常は最大の類似度のオフセットが探索される。
相互相関は、信号処理においてよく理解されており、様々なアプリケーションにおいて信号ストリーム間の相対的な遅延を発見するために使用されることが多い。相互相関の確立された方法では、複数の相対的な遅延オフセットにおける信号の類似度が比較され、通常は最大の類似度のオフセットが探索される。
【0004】
必要とされる比較の反復の計算コストを緩和するために、多数の最適化が存在し、これには、ＦＦＴ及び様々なスライディングウィンドウ方式の使用が含まれる。それらの計算費用に加えて、確立された方法には、多くの比較を実施する必要性、及びストリーミングデータを処理する際のメモリバッファの必要性の両方のせいで、長い待ち時間をシステムに持ち込むという欠点もある。バッファは、継続的に、正及び負の遅延オフセットの両方について、双方向検索を可能にするために必要である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従って、待ち時間がより少なく、バッファリングを必要としない相互相関の方法が必要である。
【0006】
図面の簡単な説明
本明細書に組み込まれ本明細書の一部を構成する添付の図面は、本発明の幾つかの実施形態を示しており、説明文と共に、本発明の原理を説明するようにはたらく。
本明細書に組み込まれ本明細書の一部を構成する添付の図面は、本発明の幾つかの実施形態を示しており、説明文と共に、本発明の原理を説明するようにはたらく。
【図面の簡単な説明】
【0007】
【図1】スパイキングニューラルネットワークの領域における、マルチストリーム相互相関器の、例示的なアプリケーションシナリオを示す。
【図3】遅延学習部（Learn Delay）のＯｔｈｅｒ入力で発生するスパイクを分析するための基準フレームとして、Ｆ．Ｏ．Ｒ．ｄ入力に存在するスパイクの各対を使用した、遅延学習部の機能実装を示す。
【図4】Pythonプログラミング言語に基づく、遅延学習部の例示的な擬似コード実装を示す。
【図5】遅延学習部の例示的な電気的実装を示す。
【図6】遅延学習部の例示的な電気的実装を示す。
【図7】遅延学習部の例示的な電気的実装を示す。
【図9】指数関数的な減衰曲線と閾値検出とを結合させることによる、遅延生成部の実装の例を示す。
【図12】実際のＭＥＡＡＬＬが既知の場合の、スパイクの例示的な分布を示す。
【図13】ＭＥＡＡＬＬの値の推測（ＭＥＡｇｕｅｓｓと呼ぶ）が高過ぎる場合の、スパイクの例示的な分布を示す。
【図14】ＭＥＡＡＬＬの値の推測（ＭＥＡｇｕｅｓｓと呼ぶ）が低過ぎる場合の、スパイクの例示的な分布を示す。
【図15】式１がその全範囲の半分をもたらす（例えば、Ｐ＝０．５）点を解くのではなく、ＭＥＡを見つけるための等値性テスト方式を示す。
【図16】等値性テスト方式に基づく、Ｒａｔｅ Ａｌｌ学習部の回路実装を提示する。
【発明を実施するための形態】
【0008】
発明を実施するための様式
ここで、本発明の様々な実施形態を詳細に参照し、これらの実施形態の例が、添付の図面に示されている。できる限り、同一の又は同様の部分を指すために、図面全体を通じて同じ参照番号が使用される。
ここで、本発明の様々な実施形態を詳細に参照し、これらの実施形態の例が、添付の図面に示されている。できる限り、同一の又は同様の部分を指すために、図面全体を通じて同じ参照番号が使用される。
【0009】
以下で使用される、選ばれた用語の定義については、第３章（「選ばれた用語の用語集」）を参照されたい。
【0010】
詳細な説明の目次
１ はじめに
２ 相互相関ユニット
２．１ 一般的な考慮事項
２．２ 遅延学習部
２．２．１ 機能的な説明
２．２．２ 順次の動作及び擬似コード実装
２．２．３ 電気的実装
２．３ 遅延生成部－損失版
２．３．１ 競合解決
２．３．２ 電気的実装
２．４ Ｒａｔｅ Ａｌｌ学習部
３ 選ばれた用語の用語集
４ 計算機器
１ はじめに
２ 相互相関ユニット
２．１ 一般的な考慮事項
２．２ 遅延学習部
２．２．１ 機能的な説明
２．２．２ 順次の動作及び擬似コード実装
２．２．３ 電気的実装
２．３ 遅延生成部－損失版
２．３．１ 競合解決
２．３．２ 電気的実装
２．４ Ｒａｔｅ Ａｌｌ学習部
３ 選ばれた用語の用語集
４ 計算機器
【0011】
１ はじめに
相互相関には、多数の重要な用途があることが知られている。これらの中でも、スパイキングニューラルネットワークの領域において、相互相関は重要性を増し続けることが予測されており、そこでは、適切な動作のために相対的なスパイクタイミングが重要であり得る。
相互相関には、多数の重要な用途があることが知られている。これらの中でも、スパイキングニューラルネットワークの領域において、相互相関は重要性を増し続けることが予測されており、そこでは、適切な動作のために相対的なスパイクタイミングが重要であり得る。
【0012】
図１は、スパイキングニューラルネットワークの領域における、例示的なアプリケーションシナリオを示す。左側の入力は、スパイクの３つのストリーム、Ｓ１、Ｓ２、及びＳ３である。各スパイクストリームは、有意なランダム（又は確率的）コンテンツを含むことが予測されている。
【0013】
確率的コンテンツに関しては、スパイク間ギャップの（又はＩＳＧの）時間的サイズとしては、ランダムな分布（ポアソンであることが多い）を想定しており、各ＩＳＧ ｉは、以下の範囲内になる：
０秒＜ｉ＜∞秒
０秒＜ｉ＜∞秒
【0014】
ｉの時間範囲全体について、スパイクストリームの平均スパイクレートを、ｒＡＬＬと呼ぶ（なぜなら、これは、発生し得る全てのスパイクを含むレートであるからである）。
【0015】
そのようなコンテンツは、そのコンテンツが発生するストリームに関して、並びに他のストリームに対して、確率論的である。しかしながら、２つ以上の入力ストリームに渡って発現する、ランダムではないイベントが発生することも予測される。（以下の説明では、ランダムではないイベントを単に「イベント」と呼ぶことが多い。）
【0016】
各ストリームＳ１、Ｓ２、及びＳ３は、それぞれ、相互相関ユニット（又はＣＣＵ）０１１０、０１１２、及び０１１４のＦ．Ｏ．Ｒ．入力に結合される。各ＣＣＵは、「ＦＯＲｄ」とラベルが付された出力を有する。見て分かるように、各ＦＯＲｄ出力は、「Ｓｏｍａ」０１２１の入力に接続している。その最も基本的な機能レベルにおいて、Ｓｏｍａは、一種の同時性検出器としてはたらくように設計されることがあり、スパイクが、入力のそれぞれに同時に現れる度に、出力スパイクを生成する。
【0017】
以下の考察では、説明の便宜上、３つの入力ストリームが選択された。図１のシステムなどのシステムは、動作原理を変更することなく、任意の多数の入力に適用することができることが、容易に理解されよう。最少で２つの入力ストリームが必要である。全体として、図１などのシステムは、生物学的に着想を得たニューロンのモデルとして捉えることができる。生物学的に着想を得ている一方で、工学的（且つ非生物学的）観点から、図１は、マルチストリーム相互相関器又は「ＭＣＣ」を表していると理解することができる。
【0018】
ＭＣＣの２つ以上の入力ストリームにおいてイベントが発生すると、各入力ストリームにおける出現は、他のスパイクストリームにおける出現に対して、一定の時間的関係を有すると予測される。あるイベントのマルチストリーム出現は、互いに対して一定の時間的関係を有すると予測されるものの、そのような出現は、同時には起こらないことも予測される。
【0019】
任意の他のスパイク（即ち、任意の非イベントスパイク）は、そのスパイクが発生する入力ストリームの中でと、他の入力ストリームに関連する中での両方を考慮すると、全ての他の非イベントスパイクに対してランダムな関係を有すると予測される。任意のそのような非イベントスパイクを、「ランダムスパイク」と呼ぶ。
【0020】
各ＣＣＵ、０１１０、０１１２、及び０１１４の仕事は、複数のストリームに渡って、できる限り多くのイベント出現が、ＣＣＵの出力において同時に（従って、Ｓｏｍａ０１２１への入力において同時に）発生するように、遅延又は時間的オフセットを決定することである。
【0021】
【0022】
「ＦＯＲ」（代替的に、「Ｆ．Ｏ．Ｒ．」と表記されることもある）は、「基準フレーム」を意味する（特に断りの無い限り、「ＦＯＲ」又は「Ｆ．Ｏ．Ｒ．」という用語を本明細書で使用するのは、「基準フレーム」への言及であり、前置詞「ｆｏｒ」への言及ではない）。ＣＣＵのＦＯＲ入力に提示されるスパイクストリームは、何らかの変更の後で、ＣＣＵのＦＯＲｄ出力に現れる。遅延を挿入することにより、ＣＣＵは、ＦＯＲ入力に現れるスパイクに対して、ＦＯＲｄ出力ストリームを変更する可能性を有する。各ＣＣＵの「Ｏｔｈｅｒ」入力は、他のＣＣＵ（即ち、同じＳｏｍａに接続された他のＣＣＵ）のＦＯＲｄ出力に現れるスパイクの和集合であることが意図されている。
【0023】
見て分かるように、各ＣＣＵのＯｔｈｅｒ入力は、以下のように決定される。まず、全てのＣＣＵの出力スパイクが、ＯＲゲート０１２０によって一緒に結合され、単一の合成されたスパイクストリームが形成される。このＯＲゲートの出力は「ＡＮＹ」とラベル付けされている、なぜなら、任意のＣＣＵのＦＯＲｄ出力でスパイクが発生する限り、スパイクがそのＯＲゲートの出力で発生すると予測されるからである。
【0024】
各ＣＣＵ０１１０、０１１２、及び０１１４は、それぞれ、ＡＮＤゲート０１１１、０１１３、及び０１１５を備えている。見て分かるように、各ＡＮＤゲートは、そのＣＣＵのＯｔｈｅｒ入力が受け取るスパイクストリームをフィルタリング（即ち、除去）する。特に、そのＡＮＤゲートのＣＣＵによって与えられたスパイクが除去される。
【0025】
２ 相互相関ユニット
２．１ 一般的な考慮事項
従来の相関及び相互相関技術とは対照的に、本発明のＭＣＣは、多数の（例えば、数百又は数千の）ランダムスパイクの存在に依拠している。
２．１ 一般的な考慮事項
従来の相関及び相互相関技術とは対照的に、本発明のＭＣＣは、多数の（例えば、数百又は数千の）ランダムスパイクの存在に依拠している。
【0026】
ＭＣＣは、各ＣＣＵを他のＣＣＵから本質的に独立して動作させることにより、動作する。独立した動作の例外は、各ＣＣＵが、（例えば、他のＣＣＵのＦＯＲ入力に提示されるようなスパイクストリームの和集合ではなく、）他のＣＣＵのＦＯＲｄ出力の和集合を（Ｏｔｈｅｒ入力で）受け取るということである。
【0027】
【0028】
見て分かるように、ＣＣＵは２つの主要なユニットから構成される：
●遅延生成部（ブロック０２２５）、及び
●遅延学習部（ブロック０２２６）。
●遅延生成部（ブロック０２２５）、及び
●遅延学習部（ブロック０２２６）。
【0029】
遅延生成部は、入力スパイクストリームを（そのＦ．Ｏ．Ｒ．入力で）受け入れ、その出力（Ｆ．Ｏ．Ｒ．ｄと呼ばれる）においてこの入力ストリームの遅延版を生成する。遅延生成部のＦ．Ｏ．Ｒ．入力は、（０２１１とラベルを付された）ＣＣＵのＦ．Ｏ．Ｒ．入力に結合され、遅延生成部のＦ．Ｏ．Ｒ．ｄ出力は、（０２１２とラベルを付された）ＣＣＵのＦ．Ｏ．Ｒ．ｄ出力に結合される。
【0030】
遅延学習部は、（ＣＣＵのＯｔｈｅｒ入力０２１０から）ＣＣＵのＯｔｈｅｒスパイクストリームを受け入れ、且つ、遅延生成部のＦ．Ｏ．Ｒ．ｄ出力を（遅延学習部のＦ．Ｏ．Ｒ．ｄ入力において）受け入れる。遅延学習部は、Ｆ．Ｏ．Ｒ．ｄ入力に存在するスパイクの各対を、遅延学習部のＯｔｈｅｒ入力で発生するスパイクを分析するための基準フレームとして、使用する。
【0031】
遅延生成部が十分なメモリを搭載している場合、遅延生成部は、遅延する可能性は別として、Ｆ．Ｏ．Ｒ．入力におけるスパイクストリームと同一であるスパイクストリームを（Ｆ．Ｏ．Ｒ．ｄ出力において）再生することができる。これを、無損失版の遅延生成部と呼ぶことができる。
【0032】
用途に応じて、遅延生成部のメモリは、アナログ又はデジタル装置を用いて実装することができる。デジタル式の実装の場合、遅延生成部は、例えば、半導体ランダムアクセスメモリ（ＲＡＭ）を用いて実装される、ＦＩＦＯ（先入れ先出し）キュー又はバッファを含むことがある。アナログ式の実装の場合、遅延生成部は、電気ケーブル又は自由空間波伝搬キャビティなどの、任意の適切な信号又は導波路を含むことがある。
【0033】
しかしながら、一般的に、無損失版の遅延生成部は、無限の（又は無制限の）量のメモリを必要とすることがある。
【0034】
本発明の別の重要な態様は、ＣＣＵのＦ．Ｏ．Ｒ．入力に提示されるスパイクストリームの確率的性質を利用して、遅延生成部の出力において損失版のＦ．Ｏ．Ｒ．ｄを生成することである。実際、遅延生成部による（一度に）１つのスパイクのみのメモリが、ＣＣＵのＦ．Ｏ．Ｒ．ｄ出力において相関の取れた有用なスパイクストリームを生成するのに、十分であることがある。１つのスパイクのみのストレージを使用すると、遅延生成部は一種の「タイマー」と捉えることができる。スパイクがＦ．Ｏ．Ｒ．入力に現れたとき、タイマーを開始することができる。遅延期間の終了時に、タイマーは遅延生成部のＦ．Ｏ．Ｒ．ｄ出力用のスパイクを生成する。単一のスパイクメモリの使用については、以下の第２．３章（「遅延生成部」）で考察する。
【0035】
２．２ 遅延学習部
２．２．１ 機能的な説明
上記で紹介したように、遅延学習部は、Ｆ．Ｏ．Ｒ．ｄ入力に存在するスパイクの各対を、遅延学習部のＯｔｈｅｒ入力で発生するスパイクを分析するための基準フレームとして、使用する。図３は、この種の例示的な状況を示す。
２．２．１ 機能的な説明
上記で紹介したように、遅延学習部は、Ｆ．Ｏ．Ｒ．ｄ入力に存在するスパイクの各対を、遅延学習部のＯｔｈｅｒ入力で発生するスパイクを分析するための基準フレームとして、使用する。図３は、この種の例示的な状況を示す。
【0036】
見て分かるように、図３は２つの軸を含む：
●水平方向の時間軸。ここで、０．００秒≦ｔ≦０．６０秒。
●各Ｏｔｈｅｒスパイクに重みを割り当てるために使用される垂直軸（以下で更に説明する）。ここで、０．００≦重み≦１．００。
●水平方向の時間軸。ここで、０．００秒≦ｔ≦０．６０秒。
●各Ｏｔｈｅｒスパイクに重みを割り当てるために使用される垂直軸（以下で更に説明する）。ここで、０．００≦重み≦１．００。
【0037】
Ｏｔｈｅｒスパイクを評価するためのフレームワークとしてはたらく、遅延学習部のＦ．Ｏ．Ｒ．ｄ入力におけるスパイクの連続的な対を、ｎ及びｎ＋１と呼ぶことにする。時間ｔ＝０．００における垂直線は、（重み軸を表すのに加えて）、スパイクｎを示す（このスパイクは、０３１０ともラベル付けされている）。逆に、スパイクｎ＋１は、ｔ＝０．６０に図示されている（このスパイクは、０３１１ともラベル付けされている）。垂直軸に沿った、ｎ及びｎ＋１スパイクの大きさは、関連性はなく、単にグラフ表示の目的のために選ばれたものである。
【0038】
重み軸は、曲線０３２０及び０３２１と関連性がある。見て分かるように、０３２０は、ｅ－ｒｔの形式をした指数関数的な減衰曲線であり、ここで、ｒはレート、ｔは時間であり、ｒは（例の目的で）３に等しい。逆に、０３２１は、ｅ－ｒ（ｍ－ｔ）の形式をした指数関数的な増加曲線であり、ここでｒ及びｔは、０３２０と同じであり、ｍ（「最大（max）」時間）は０．６０秒に等しい。以下に説明する理由により、曲線０３２０及び０３２１は、それぞれ「Ｐｏｓｔ」及び「Ｐｒｅ」とも呼ばれる。
【0039】
Ｆ．Ｏ．Ｒ．ｄスパイクｎとｎ＋１との間に発生するＯｔｈｅｒスパイクのそれぞれには、ＰｏｓｔとＰｒｅの値の両方が割り当てられる。Ｐｏｓｔ値がＰｒｅ値よりも大きい場合のＯｔｈｅｒスパイクは、「ｐｒｅ」（又は前の）スパイクｎ＋１よりも、より強く「ｐｏｓｔ」（又は後の）スパイクｎであるとして特徴付けられる。逆に、Ｐｒｅ値がＰｏｓｔ値よりも大きい場合のスパイクは、「ｐｏｓｔ」（又は後の）スパイクｎよりも、より強く「ｐｒｅ」（又は前の）スパイクｎ＋１であるとして特徴付けられる。
【0040】
図３は、以下の値を有する２つの例示的なＯｔｈｅｒスパイクを示す：
●Ｏｔｈｅｒスパイク１：
○ｔ＝０．０６５秒
○Ｐｏｓｔ値＝０．７２３
○Ｐｒｅ値＝０．０５
●Ｏｔｈｅｒスパイク２：
○ｔ＝０．４４秒
○Ｐｏｓｔ値＝０．１１２
○Ｐｒｅ値＝０．４４６
●Ｏｔｈｅｒスパイク１：
○ｔ＝０．０６５秒
○Ｐｏｓｔ値＝０．７２３
○Ｐｒｅ値＝０．０５
●Ｏｔｈｅｒスパイク２：
○ｔ＝０．４４秒
○Ｐｏｓｔ値＝０．１１２
○Ｐｒｅ値＝０．４４６
【0041】
見て分かるように、各Ｏｔｈｅｒスパイクは、Ｐｏｓｔ及びＰｒｅ重み付け曲線と交差する場所に応じて、２つの重みを与えられる。
【0042】
１対のＦ．Ｏ．Ｒ．ｄスパイクｎとｎ＋１との間で発生することがある複数のＯｔｈｅｒスパイクに渡って、「ｐｏｓｔ」になるか又は「ｐｒｅ」になるかに向けた最終的な傾向は、以下のように決定及び補正することができる：
●全てのＰｏｓｔ値の合計を蓄積する（「ｐｏｓｔＡｃｃ」とも呼ぶ）、及び
●全てのＰｒｅ値の合計を蓄積する（「ｐｒｅＡｃｃ」とも呼ぶ）。
●ｐｏｓｔＡｃｃ＞ｐｒｅＡｃｃの場合：
○Ｏｔｈｅｒスパイクストリームは、結局のところ、Ｆ．Ｏ．Ｒ．ｄのスパイクの後に発生しているとみなされる。これは、結局のところ、Ｆ．Ｏ．Ｒ．ｄストリームが早いことも意味する。
○遅延学習部（例えば、図２の遅延学習部ブロック０２２６）は、「ｍｏｒｅ ｄ」出力においてコマンド（パルスなど）を発することにより、この早さを補正しようと努めることができる。
○「ｍｏｒｅ ｄ」コマンドに応答して、遅延生成部（例えば、遅延生成部ブロック０２２５を参照）は、Ｆ．Ｏ．Ｒ．入力とＦ．Ｏ．Ｒ．ｄ出力との間の遅延を、一定の増分量だけ増加させることができる。
●ｐｒｅＡｃｃ＞ｐｏｓｔＡｃｃの場合：
○Ｏｔｈｅｒスパイクストリームは、結局のところ、Ｆ．Ｏ．Ｒ．ｄのスパイクの前に発生しているとみなされる。これは、結局のところ、Ｆ．Ｏ．Ｒ．ｄストリームが遅いことも意味する。
○遅延学習部は、「ｌｅｓｓ ｄ」出力においてコマンド（パルスなど）を発することにより、この遅さを補正しようと努めることができる。
○応答して、遅延生成部は、Ｆ．Ｏ．Ｒ．入力とＦ．Ｏ．Ｒ．ｄ出力との間の遅延を、一定の増分量だけ低減することができる。
●全てのＰｏｓｔ値の合計を蓄積する（「ｐｏｓｔＡｃｃ」とも呼ぶ）、及び
●全てのＰｒｅ値の合計を蓄積する（「ｐｒｅＡｃｃ」とも呼ぶ）。
●ｐｏｓｔＡｃｃ＞ｐｒｅＡｃｃの場合：
○Ｏｔｈｅｒスパイクストリームは、結局のところ、Ｆ．Ｏ．Ｒ．ｄのスパイクの後に発生しているとみなされる。これは、結局のところ、Ｆ．Ｏ．Ｒ．ｄストリームが早いことも意味する。
○遅延学習部（例えば、図２の遅延学習部ブロック０２２６）は、「ｍｏｒｅ ｄ」出力においてコマンド（パルスなど）を発することにより、この早さを補正しようと努めることができる。
○「ｍｏｒｅ ｄ」コマンドに応答して、遅延生成部（例えば、遅延生成部ブロック０２２５を参照）は、Ｆ．Ｏ．Ｒ．入力とＦ．Ｏ．Ｒ．ｄ出力との間の遅延を、一定の増分量だけ増加させることができる。
●ｐｒｅＡｃｃ＞ｐｏｓｔＡｃｃの場合：
○Ｏｔｈｅｒスパイクストリームは、結局のところ、Ｆ．Ｏ．Ｒ．ｄのスパイクの前に発生しているとみなされる。これは、結局のところ、Ｆ．Ｏ．Ｒ．ｄストリームが遅いことも意味する。
○遅延学習部は、「ｌｅｓｓ ｄ」出力においてコマンド（パルスなど）を発することにより、この遅さを補正しようと努めることができる。
○応答して、遅延生成部は、Ｆ．Ｏ．Ｒ．入力とＦ．Ｏ．Ｒ．ｄ出力との間の遅延を、一定の増分量だけ低減することができる。
【0043】
（「ｍｏｒｅ ｄ」又は「ｌｅｓｓ ｄ」コマンドに応答して）遅延学習部の遅延が変化する増分量は、特定の用途、及びその用途の速度対精度の要件に基づいて、選択されることがある。一般的に、増分が小さいほど（より遅い学習レートとも呼ばれる）、イベントとＯｔｈｅｒストリームとの最良な同期を実現する遅延の値をＣＣＵが発見するための時間が長くなる。しかしながら、増分がより小さいと、必要な遅延値のより正確な決定につながるという利点がある。
【0044】
減少しているのと増加しているのと両方の指数関数的曲線を示したが、Ｐｏｓｔ及びＰｒｅ重み付けの目的のためには、様々な関数が適していることがある。適切な関数の主な基準は、次の通りである：
●Ｐｏｓｔ関数と対称的で反対であるＰｒｅ関数。
●それぞれスパイクｎ及びｎ＋１の時点で最大値になるＰｏｓｔ関数及びＰｒｅ関数。
●最大値から単調に減少するＰｏｓｔ関数及びＰｒｅ関数。
●Ｐｏｓｔ関数と対称的で反対であるＰｒｅ関数。
●それぞれスパイクｎ及びｎ＋１の時点で最大値になるＰｏｓｔ関数及びＰｒｅ関数。
●最大値から単調に減少するＰｏｓｔ関数及びＰｒｅ関数。
【0045】
２．２．２ 順次の動作及び擬似コード実装
前の副次的な章の考察では、以下のスパイクが同時に利用可能であるということに適合した態様での、遅延学習部の動作を説明した：
●Ｆ．Ｏ．Ｒ．ｄ入力のスパイクｎ及びｎ＋１、及び
●ｎＦ．Ｏ．Ｒ．ｄスパイクとｎ＋１Ｆ．Ｏ．Ｒ．ｄスパイクとの間の時間間隔中に、遅延学習部のＯｔｈｅｒ入力に存在する任意のスパイク。
前の副次的な章の考察では、以下のスパイクが同時に利用可能であるということに適合した態様での、遅延学習部の動作を説明した：
●Ｆ．Ｏ．Ｒ．ｄ入力のスパイクｎ及びｎ＋１、及び
●ｎＦ．Ｏ．Ｒ．ｄスパイクとｎ＋１Ｆ．Ｏ．Ｒ．ｄスパイクとの間の時間間隔中に、遅延学習部のＯｔｈｅｒ入力に存在する任意のスパイク。
【0046】
実際の動作中、ＣＣＵ（及びＣＣＵを一部とするＭＣＣ）は、スパイク毎に動作することが期待されている。例えば、スパイクｎと呼ぶことができる各スパイクが遅延学習部のＦ．Ｏ．Ｒ．ｄ入力に存在すると、遅延学習部が以下の２つの主な動作を実施することが、期待できる：
●ｎ－１スパイクがあった場合、スパイクｎ－１で始まった相互相関分析を完了するように努める。言い換えると、スパイクｎ－１及びｎを基準フレームとして相互相関分析を完了する。
●スパイクｎ＋１が到着すると、将来完了するであろう新しい相互相関分析を開始する。言い換えると、新たな相互相関分析を開始し、ここで、スパイクｎ及びｎ＋１は基準フレームとしてはたらく。
●ｎ－１スパイクがあった場合、スパイクｎ－１で始まった相互相関分析を完了するように努める。言い換えると、スパイクｎ－１及びｎを基準フレームとして相互相関分析を完了する。
●スパイクｎ＋１が到着すると、将来完了するであろう新しい相互相関分析を開始する。言い換えると、新たな相互相関分析を開始し、ここで、スパイクｎ及びｎ＋１は基準フレームとしてはたらく。
【0047】
特定の用途に応じて、遅延学習部をコンピュータプログラムとして、又は電気的ハードウェアとして、又はそれら２つの方式のハイブリッドの組み合わせとして実装することが望ましいことがある。
【0048】
図４は、Pythonプログラミング言語に基づく、遅延学習部の例示的な擬似コード実装を示す。太字の文字は、Pythonの構文及び記号意味と密接に対応している。Pythonの構文に従って、コメントが挿入されている。左側には、説明を助けるために行番号が追加されている。Pythonの構文及び記号意味からの主な発展は、５～１７行目の、代入演算子の右側にある。また、プロシージャーへの及びプロシージャーからのパラメータ又は他のデータの受け渡しは、非公式に扱われる。
【0049】
図４のプロシージャーは、「Learn_Delay_PC」と呼ばれ、接尾辞「PC」は擬似コードを示す。１行目。
【0050】
Learn_Delay_PCは、Ｆ．Ｏ．Ｒ．ｄ又はＯｔｈｅｒ入力のいずれかでスパイクが発生する度に呼び出される。
【0051】
複数の重要な値及び変数が、５～１７行目に渡って割り当てられているが、これらは、２２～４４行目に渡って、これらの変数を利用する擬似コードを考察する一部として、扱われることになる。
【0052】
２２行目では、最後のＯｔｈｅｒスパイクがLearn_Delay_PC（T及びTLOは、図４の８～９行目で定義される）を呼び出してからの時間（即ち、T－TLO）の量を基準として、Ｐｒｅアキュムレータの内容を指数関数的に減衰させることにより、Ｐｒｅアキュムレータ“ｐｒｅＡｃｃ”を更新する。以下で更に説明するように、ｐｒｅＡｃｃのこの指数関数的減衰は、Ｏｔｈｅｒスパイクが発生する度に、ｐｒｅＡｃｃに単位値を追加することと結びついている。
【0053】
各Ｏｔｈｅｒスパイクの時点でｐｒｅＡｃｃに単位値を追加すること、及びｐｒｅＡｃｃを（次のＦ．Ｏ．Ｒ．ｄスパイクの時まで）指数関数的に減衰させることは、図３に関して上述したｐｒｅＡｃｃ蓄積方法と数学的に等価である。即ち、各Ｏｔｈｅｒスパイクが発生すると、ｐｒｅＡｃｃに値ｅ－ｒ（ｍ－ｔ）を追加する（但し、ｍはｔの最大値である）ことと、減衰しないｐｒｅＡｃｃを有することである。
【0054】
ｐｒｅＡｃｃを指数関数的に減衰させることは、Ｐｒｅ値を蓄積するためには不必要に間接的な方法に思えるかもしれない。しかしながら、次の副次的な章で考察するように、ｅ－ｒ（ｍ－ｔ）は、ｅ－ｒｔと比べると、電子ハードウェアで実装するのには比較的に複雑な関数である。
【0055】
ｐｒｅＡｃｃへの更新に続いて、現在のスパイクがタイプＦ．Ｏ．Ｒ．ｄであるか又はＯｔｈｅｒであるかについて、テストが実施される。２５行目。Ｆ．Ｏ．Ｒ．ｄスパイクは、現在実行中の遅延学習部ユニットに「属している」とみなされる、というのも、その始まりは、同じＣＣＵに属する遅延生成部ユニットからであるためである。従って、IS_MINE変数がfalseであることは、Ｏｔｈｅｒスパイクを受け取ったことを示し、２６～３３行目が実行される。さもなければ、現在のスパイクはタイプＦ．Ｏ．Ｒ．ｄであり、３５～４５行目が実施される。
【0056】
IS_MINEがfalseであると仮定すると、以下のステップが実行される：
●現在のスパイクがタイプＯｔｈｅｒであることを考慮に入れるために、単位値がｐｒｅＡｃｃに追加される。２６行目。
●ｐｏｓｔＡｃｃに追加される値は、最後のＦ．Ｏ．Ｒ．ｄスパイク以降の、単位値の、単純な指数関数的減衰である。３０行目。
●Learn_Delay_PCの次の呼び出しに備えて、最後のＯｔｈｅｒスパイクの時刻が更新される。３２行目。
●現在のスパイクがタイプＯｔｈｅｒであることを考慮に入れるために、単位値がｐｒｅＡｃｃに追加される。２６行目。
●ｐｏｓｔＡｃｃに追加される値は、最後のＦ．Ｏ．Ｒ．ｄスパイク以降の、単位値の、単純な指数関数的減衰である。３０行目。
●Learn_Delay_PCの次の呼び出しに備えて、最後のＯｔｈｅｒスパイクの時刻が更新される。３２行目。
【0057】
IS_MINEがtrueであると仮定すると、以下のステップが実行される：
●前のＦ．Ｏ．Ｒ．ｄスパイクで開始した現在実行中の相互相関分析を完了する一環として、Ｏｔｈｅｒスパイクが発生したかどうかを決定するためのテストがまず行われる。３５行目。
●少なくとも１つのＯｔｈｅｒスパイクが発生していたと仮定すると、ｐｒｅＡｃｃの値とｐｏｓｔＡｃｃの値が比較される。３８行目。
○ｐｒｅＡｃｃ＞ｐｏｓｔＡｃｃである場合、結局のところ、Ｆ．Ｏ．Ｒ．ｄスパイクは、Ｏｔｈｅｒスパイクに比べて遅いとみなされる。変数Ｄによって表わされる遅延生成部からの遅延は、低減される。学習レートを制御する、低減の量は、３８行目の「-D_LR」によって表される。
○ｐｏｓｔＡｃｃ＞ｐｒｅＡｃｃである場合、結局のところ、Ｆ．Ｏ．Ｒ．ｄスパイクは、Ｏｔｈｅｒスパイクに比べて早いとみなされる。変数Ｄによって表わされる遅延生成部からの遅延は、増加される。学習レートを制御する、増加の量は、３８行目の「D_LR」によって表わされる。
●Ｄが許容限度内に保たれていることを保証するために、チェックを実施することができる。４０行目。
●新たな相互相関分析を開始する一環として、以下のステップが実施される：
○ｐｒｅＡｃｃ及びｐｏｓｔＡｃｃは、ゼロにリセットされる。４２行目。
○最後のＦ．Ｏ．Ｒ．ｄスパイクの時刻は、現在の時刻に更新される。４４行目。
●前のＦ．Ｏ．Ｒ．ｄスパイクで開始した現在実行中の相互相関分析を完了する一環として、Ｏｔｈｅｒスパイクが発生したかどうかを決定するためのテストがまず行われる。３５行目。
●少なくとも１つのＯｔｈｅｒスパイクが発生していたと仮定すると、ｐｒｅＡｃｃの値とｐｏｓｔＡｃｃの値が比較される。３８行目。
○ｐｒｅＡｃｃ＞ｐｏｓｔＡｃｃである場合、結局のところ、Ｆ．Ｏ．Ｒ．ｄスパイクは、Ｏｔｈｅｒスパイクに比べて遅いとみなされる。変数Ｄによって表わされる遅延生成部からの遅延は、低減される。学習レートを制御する、低減の量は、３８行目の「-D_LR」によって表される。
○ｐｏｓｔＡｃｃ＞ｐｒｅＡｃｃである場合、結局のところ、Ｆ．Ｏ．Ｒ．ｄスパイクは、Ｏｔｈｅｒスパイクに比べて早いとみなされる。変数Ｄによって表わされる遅延生成部からの遅延は、増加される。学習レートを制御する、増加の量は、３８行目の「D_LR」によって表わされる。
●Ｄが許容限度内に保たれていることを保証するために、チェックを実施することができる。４０行目。
●新たな相互相関分析を開始する一環として、以下のステップが実施される：
○ｐｒｅＡｃｃ及びｐｏｓｔＡｃｃは、ゼロにリセットされる。４２行目。
○最後のＦ．Ｏ．Ｒ．ｄスパイクの時刻は、現在の時刻に更新される。４４行目。
【0058】
【0059】
図５は、遅延学習部モジュールの最上位の制御及びインターフェースを示す。図６は、ｐｏｓｔＡｃｃ値を蓄積するのに関連した回路に焦点を当てており、図７は、ｐｒｅＡｃｃ値を蓄積するのに関連した回路に焦点を当てている。
【0060】
【0061】
【0062】
外部インターフェース０５１０の考察を続ける。
【0063】
Ｆ．Ｏ．Ｒ．ｄ入力に提示される各スパイクは、「ｔｗｏ ｓｈｏｔ」０５３０をトリガーする。第一に、ｔｗｏ ｓｈｏｔのｏｕｔ１は、比較増幅器０５４０を読み取ることにより、現在の基準フレームを完了する。第二に、ｏｕｔ２は、ｐｏｓｔＡｃｃ回路及びｐｒｅＡｃｃ回路をリセットし、その結果、次の基準フレームに渡る蓄積が開始できるようになる。
【0064】
ｏｕｔ１は、ＡＮＤゲート０５４１及び０５４２を有効にすることにより、比較器０５４０を読み取る。比較器０５４０の出力が論理上の０である場合、これらのＡＮＤゲートが有効にされると、ＡＮＤゲート０５４２はｏｎｅ ｓｈｏｔ０５３２にトリガー信号を提示する。ｏｎｅ ｓｈｏｔ０５３２は、トリガーされると、（インターフェース０５１０の）「ｌｅｓｓ ｄ」出力においてパルスを生成する。逆に、比較器０５４０の出力が論理上の１である場合、ＡＮＤゲート０５４１はｏｎｅ ｓｈｏｔ０５３１にトリガー信号を提示する。ｏｎｅ ｓｈｏｔ０５３１は、トリガーされると、（インターフェース０５１０の）「ｍｏｒｅ ｄ」出力においてパルスを生成する。
【0065】
比較器０５４０は、次の２つの信号、即ち、ｐｒｅＡｃｃを表す信号（「ｐｒｅＡｃｃ」と呼ばれる）及びｐｏｓｔＡｃｃを表す信号（「ｐｏｓｔＡｃｃ」と呼ばれる）を比較する。ｐｏｓｔＡｃｃ信号は、図６の回路によって生成され、一方、ｐｒｅＡｃｃ信号は、図７の回路によって蓄積される。ｐｒｅＡｃｃ信号及びｐｏｓｔＡｃｃ信号はそれぞれアナログであり、電圧レベルは蓄積された値を表している。ｐｒｅＡｃｃ信号の電圧がｐｏｓｔＡｃｃよりも高い場合、比較器０５４０は論理上の０を表す信号を出力する。上述したように、（ｔｗｏ ｓｈｏｔ０５３０のｏｕｔ１によって読み取られた際の）論理上の０は、「ｌｅｓｓ ｄ」出力からのパルスを引き起こす。逆に、ｐｏｓｔＡｃｃ＞ｐｒｅＡｃｃである場合、比較器０５４０は論理上の１を出力する。上述したように、（ｔｗｏ ｓｈｏｔ０５３０のｏｕｔ１によって読み取られた際の）論理上の１は、「ｍｏｒｅ ｄ」出力からのパルスを引き起こす。
【0066】
外部インターフェース０５１０について、考察すべき最後の接続は、Ｏｔｈｅｒ入力である。Ｆ．Ｏ．Ｒ．ｄ入力と同様に、Ｏｔｈｅｒにおけるスパイクも、ｔｗｏ ｓｈｏｔをトリガーする。この場合には、それはｔｗｏ ｓｈｏｔ０５３３になる。以下に更に説明するように、ｔｗｏ ｓｈｏｔ０５３３のｏｕｔ１は、（アクションの中でもとりわけ）ｐｏｓｔＡｃｃアキュムレータ及びｐｒｅＡｃｃアキュムレータのそれぞれの現在の電圧レベルのサンプリングを引き起こす。第二に、ｏｕｔ２は、ｐｏｓｔＡｃｃアキュムレータ及びｐｒｅＡｃｃアキュムレータのそれぞれを、新しい電圧レベルまで充電させる。
【0067】
図６に関して、コンデンサ０６５０は、ｐｏｓｔＡｃｃ信号（又はノード）の電圧を維持する。図３に関して上述したように、Ｐｏｓｔ ｎ関数０３２０に関しては、コンデンサ０６４０と抵抗器０６４１との組み合わせによって決定される。Ｐｏｓｔ ｎ関数は、図６では、減衰可変ノードにおいて利用可能である。
【0068】
上述したように、新しい基準フレームを開始する一環として、ｔｗｏ ｓｈｏｔ０５３０は（そのｏｕｔ２出力において）「リセット（Ｆ．Ｏ．Ｒ．）」信号をアサートする。図６に関しては、リセット（Ｆ．Ｏ．Ｒ．）信号は、以下のコンデンサのリセットを引き起こすことが分かる：
●スイッチ０６６０がｐｏｓｔＡｃｃノードを接地に結合することにより、ｐｏｓｔＡｃｃ値の蓄積がゼロにリセットされる。
●Ｐｏｓｔ ｎ関数０３２０は、スイッチングユニット０６４３のスイッチＳ１及びＳ２によって、新しい期間の指数関数的減衰へとリセットされる。具体的には、リセット（Ｆ．Ｏ．Ｒ．）パルスの持続時間の間：
○Ｓ１は、コンデンサ０６４０を単位値電圧源０６４２に結合する、及び
○Ｓ２は、コンデンサ０６４０が再充電されている間、減衰可変ノードが指数関数的減衰を再び開始するための正しい初期値を維持することを保証する。
●適切な時に、コンデンサ０６３２は、減衰可変ノードにおける電圧のサンプルを保持するために使用される。コンデンサ０６３２は、スイッチ０６６２がコンデンサ０６３２を接地に結合することにより、リセットされる。
●適切な時に、コンデンサ０６２２は、ｐｏｓｔＡｃｃノードにおける電圧のサンプルを保持するために使用される。コンデンサ０６２２は、スイッチ０６６１がコンデンサ０６２２を接地に結合することにより、リセットされる。
●スイッチ０６６０がｐｏｓｔＡｃｃノードを接地に結合することにより、ｐｏｓｔＡｃｃ値の蓄積がゼロにリセットされる。
●Ｐｏｓｔ ｎ関数０３２０は、スイッチングユニット０６４３のスイッチＳ１及びＳ２によって、新しい期間の指数関数的減衰へとリセットされる。具体的には、リセット（Ｆ．Ｏ．Ｒ．）パルスの持続時間の間：
○Ｓ１は、コンデンサ０６４０を単位値電圧源０６４２に結合する、及び
○Ｓ２は、コンデンサ０６４０が再充電されている間、減衰可変ノードが指数関数的減衰を再び開始するための正しい初期値を維持することを保証する。
●適切な時に、コンデンサ０６３２は、減衰可変ノードにおける電圧のサンプルを保持するために使用される。コンデンサ０６３２は、スイッチ０６６２がコンデンサ０６３２を接地に結合することにより、リセットされる。
●適切な時に、コンデンサ０６２２は、ｐｏｓｔＡｃｃノードにおける電圧のサンプルを保持するために使用される。コンデンサ０６２２は、スイッチ０６６１がコンデンサ０６２２を接地に結合することにより、リセットされる。
【0069】
一旦リセット（Ｆ．Ｏ．Ｒ．）信号が終了すると、コンデンサ０６４０と抵抗器０６４１との組み合わせは指数関数的減衰を開始し、Ｐｏｓｔ ｎ関数が、減衰可変ノードで利用可能になる。
【0070】
Ｏｔｈｅｒスパイクが発生した場合、（Ｆ．Ｏ．Ｒ．ｄスパイクによる）ｐｏｓｔＡｃｃノードのリセットに続いて、ｔｗｏ ｓｈｏｔ０５３３がトリガーされる。図６に関して、「サンプル（Ｏｔｈｅｒ）」信号のアサートにより、以下が引き起こされることが分かる：
●スイッチ０６３１を閉じることによる、減衰可変ノードにおける現在の電圧のサンプリング。
●スイッチ０６２１を閉じることによる、ｐｏｓｔＡｃｃノードにおける現在の電圧のサンプリング。
●スイッチ０６３１を閉じることによる、減衰可変ノードにおける現在の電圧のサンプリング。
●スイッチ０６２１を閉じることによる、ｐｏｓｔＡｃｃノードにおける現在の電圧のサンプリング。
【0071】
「サンプル（Ｏｔｈｅｒ）」信号のアサートに続いて、以下が発生する：
●スイッチ０６３１が開き、減衰可変ノードのサンプリングされた電圧がコンデンサ０６３２によって保持される。
●スイッチ０６２１が開き、ｐｏｓｔＡｃｃノードのサンプリングされた電圧がコンデンサ０６２２によって保持される。
●コンデンサ０６３２及び０６２２によって保持された電圧は、加算増幅器０６１０によって合計される。
●スイッチ０６３１が開き、減衰可変ノードのサンプリングされた電圧がコンデンサ０６３２によって保持される。
●スイッチ０６２１が開き、ｐｏｓｔＡｃｃノードのサンプリングされた電圧がコンデンサ０６２２によって保持される。
●コンデンサ０６３２及び０６２２によって保持された電圧は、加算増幅器０６１０によって合計される。
【0072】
次に、ｔｗｏ ｓｈｏｔ０５３３は、「充電 Ａｃｃ（Ｏｔｈｅｒ）」信号をアサートし、これは、図６のスイッチ０６１１を閉じる。これにより、比較器０６１２が、ｐｏｓｔＡｃｃノードにおける電圧を、加算増幅器０６１１の出力と比較するようになる。加算増幅器からの電圧は、減衰可変ノードでサンプリングされた量だけ、ｐｏｓｔＡｃｃノードの電圧よりも大きくなる。従って、比較器０６１２は、スイッチ０６１３を閉じさせ、ｐｏｓｔＡｃｃノードが加算増幅器の出力に実質的に等しい電圧に充電されるまで、閉じたままにする。
【0073】
理解されるように、「サンプル（Ｏｔｈｅｒ）」信号及び「充電 Ａｃｃ（Ｏｔｈｅｒ）」信号の順次のアサートの最終的な効果は、以下の通りである。各Ｏｔｈｅｒスパイクの時点で、ｐｏｓｔＡｃｃノードの電圧は、減衰可変ノードのその時の現在の電圧に等しい量だけ増加する。
【0074】
図７に関して、コンデンサ０７２０は、ｐｒｅＡｃｃ信号（又はノード）の電圧を維持する。しかしながら、図４のLearn_Delay_PC擬似コードに関して上述したように、ｐｒｅＡｃｃノードは、抵抗器０７２１との組み合わせに起因して、減衰するように設計される。上述のように、減衰するｐｒｅＡｃｃノードと各Ｏｔｈｅｒスパイクの単位電圧の付加との組み合わせは、（図３の）Ｐｒｅ ｎ＋１関数０３２１を決定すること、及びその値を減衰しないＰｒｅアキュムレータに追加することと、数学的に等価である。減衰するｐｒｅＡｃｃノード方式の、回路実装の観点からの相対的な単純さを、図７において理解することができる。
【0075】
上述したように、新しい基準フレームを開始する一環として、ｔｗｏ ｓｈｏｔ０５３０は（そのｏｕｔ２出力において）「リセット（Ｆ．Ｏ．Ｒ．）」信号をアサートする。図７に関しては、リセット（Ｆ．Ｏ．Ｒ．）信号は、以下のコンデンサのリセットを引き起こすことが分かる：
●スイッチ０７４１がｐｒｅＡｃｃノードを接地に結合することにより、ｐｒｅＡｃｃ値の蓄積がゼロにリセットされる。
●適切な時に、コンデンサ０７３２は、ｐｏｓｔＡｃｃノードにおける電圧のサンプルを保持するために使用される。コンデンサ０７３２は、スイッチ０７４０がコンデンサ０７３２を接地に結合することにより、リセットされる。
●スイッチ０７４１がｐｒｅＡｃｃノードを接地に結合することにより、ｐｒｅＡｃｃ値の蓄積がゼロにリセットされる。
●適切な時に、コンデンサ０７３２は、ｐｏｓｔＡｃｃノードにおける電圧のサンプルを保持するために使用される。コンデンサ０７３２は、スイッチ０７４０がコンデンサ０７３２を接地に結合することにより、リセットされる。
【0076】
Ｏｔｈｅｒスパイクが発生した場合、（Ｆ．Ｏ．Ｒ．ｄスパイクによる）ｐｒｅＡｃｃノードのリセットに続いて、ｔｗｏ ｓｈｏｔ０５３３がトリガーされる。図７に関して、「サンプル（Ｏｔｈｅｒ）」信号をアサートすると、スイッチ０７３１を閉じることにより、ｐｒｅＡｃｃノードにおいて、現在の電圧のサンプリングが発生することが分かる。
【0077】
「サンプル（Ｏｔｈｅｒ）」信号のアサートに続いて、以下が発生する：
●スイッチ０７３１が開き、ｐｒｅＡｃｃノードのサンプリングされた電圧がコンデンサ０７３２によって保持される。
●コンデンサ０７３２によって保持された電圧は、加算増幅器０７１０によって、電圧源０７１４からの単位電圧と合計される。
●スイッチ０７３１が開き、ｐｒｅＡｃｃノードのサンプリングされた電圧がコンデンサ０７３２によって保持される。
●コンデンサ０７３２によって保持された電圧は、加算増幅器０７１０によって、電圧源０７１４からの単位電圧と合計される。
【0078】
次に、ｔｗｏ ｓｈｏｔ０５３３は、「充電 Ａｃｃ（Ｏｔｈｅｒ）」信号をアサートし、これは、図７のスイッチ０７１１を閉じる。これにより、比較器０７１２が、ｐｒｅＡｃｃノードにおける電圧を、加算増幅器０７１０の出力と比較するようになる。加算増幅器からの電圧は、単位電圧源０７１４によって提供される量だけ、ｐｒｅＡｃｃノードの電圧よりも大きくなる。従って、比較器０７１２は、スイッチ０７１３を閉じさせ、ｐｒｅＡｃｃノードが加算増幅器の出力に実質的に等しい電圧に充電されるまで、閉じたままにする。
【0079】
理解されるように、「サンプル（Ｏｔｈｅｒ）」信号及び「充電 Ａｃｃ（Ｏｔｈｅｒ）」信号の順次のアサートの最終的な効果は、以下の通りである。各Ｏｔｈｅｒスパイクの時点で、ｐｒｅＡｃｃノードの電圧は、電圧源０７１４の単位電圧に等しい量だけ、増加する。この増加に続いて、ｐｒｅＡｃｃノードは、次の何れかが起きるまで、指数関数的減衰を再開する：
●Ｆ．Ｏ．Ｒ．ｄスパイクの発生と共に、現在の基準フレームが終了する。
●別のＯｔｈｅｒスパイクが発生する。
●Ｆ．Ｏ．Ｒ．ｄスパイクの発生と共に、現在の基準フレームが終了する。
●別のＯｔｈｅｒスパイクが発生する。
【0080】
２．３ 遅延生成部－損失版
２．３．１ 競合解決
上述したように、第２．１章（「一般的な考慮事項」）では、本発明の別の重要な態様は、遅延生成部の出力において損失版のＦ．Ｏ．Ｒ．ｄを生成するために、各ＣＣＵのＦ．Ｏ．Ｒ．入力に提示されるスパイクストリームの確率的性質を利用する、オプションである。
２．３．１ 競合解決
上述したように、第２．１章（「一般的な考慮事項」）では、本発明の別の重要な態様は、遅延生成部の出力において損失版のＦ．Ｏ．Ｒ．ｄを生成するために、各ＣＣＵのＦ．Ｏ．Ｒ．入力に提示されるスパイクストリームの確率的性質を利用する、オプションである。
【0081】
遅延生成部による（例えば、図２の機能ブロック０２２５による）（一度に）１つのスパイクのみのメモリが、ＣＣＵのＦ．Ｏ．Ｒ．ｄ出力において相関の取れた有用なスパイクストリームを生成するのに、十分であることがある。この場合には、遅延生成部は一種の「タイマー」とみなすことができる。スパイクが遅延生成部のＦ．Ｏ．Ｒ．入力に現れたとき、タイマーを開始することができる。遅延期間の終了時に、タイマーは遅延生成部のＦ．Ｏ．Ｒ．ｄ出力用のスパイクを生成する。単一のスパイクメモリの使用については、以下に説明する。
【0082】
損失版の遅延生成部は、無損失版（これのメモリは、潜在的に無限である必要がある）よりもはるかに少ないメモリ（１つのスパイクのみ）で済むので、損失版を「メモリ無し（memoryless）」と呼ぶ。
【0083】
メモリ無し方式を実装する際の重要な問題は、「競合解決」問題と呼ばれる問題である。競合解決問題は、遅延生成部の遅延が０秒よりも大きいときはいつでも発生する可能性がある。各ＣＣＵへのスパイクストリーム入力の確率的性質のせいで、遅延生成部が、Ｆ．Ｏ．Ｒ．スパイクｘにより、遅延期間ｄの時間を計っている最中にあるときにいつでも、次のＦ．Ｏ．Ｒ．スパイクｘ＋１が到着する可能性が常にある。そのときには、２つの選択肢がある：
●スパイクｘ＋１を無視し、遅延期間ｄが完了するまで、スパイクｘの時間計測を続行する。これを「最も古いものを維持する」選択肢と呼ぶ。
●遅延期間ｄがスパイクｘ＋１で開始するように、タイマーを再始動させる。これを「最も新しいものを維持する」選択肢と呼ぶ。
●スパイクｘ＋１を無視し、遅延期間ｄが完了するまで、スパイクｘの時間計測を続行する。これを「最も古いものを維持する」選択肢と呼ぶ。
●遅延期間ｄがスパイクｘ＋１で開始するように、タイマーを再始動させる。これを「最も新しいものを維持する」選択肢と呼ぶ。
【0084】
これら２つの方針のいずれかが一貫して適用される場合、無限の回数、連続して適用される可能性がある。例えば：
●最も古いものを維持する：遅延ｄが、スパイクｘについて計時されている間に、無限の数の後続のＦ．Ｏ．Ｒ．ｄスパイクが到着する可能性がある。それらは全て、無視される。
●最も新しいものを維持する：スパイクｘ＋１のせいで、スパイクｘの遅延ｄが再始動される場合、スパイクｘ＋２がスパイクｘ＋１の期間を再始動させる可能性があり、更に、スパイクｘ＋３が、スパイクｘ＋２の期間を再始動させる可能性がある。遅延期間の再始動は、潜在的に無限の回数、発生し続ける可能性がある。
●最も古いものを維持する：遅延ｄが、スパイクｘについて計時されている間に、無限の数の後続のＦ．Ｏ．Ｒ．ｄスパイクが到着する可能性がある。それらは全て、無視される。
●最も新しいものを維持する：スパイクｘ＋１のせいで、スパイクｘの遅延ｄが再始動される場合、スパイクｘ＋２がスパイクｘ＋１の期間を再始動させる可能性があり、更に、スパイクｘ＋３が、スパイクｘ＋２の期間を再始動させる可能性がある。遅延期間の再始動は、潜在的に無限の回数、発生し続ける可能性がある。
【0085】
これら２つの選択肢のいずれかが、競合解決のための方針として排他的に適用された場合、遅延学習部によるＦ．Ｏ．Ｒ．ｄとＯｔｈｅｒスパイクストリームとの比較に、時間バイアスが持ち込まれるという問題がある。具体的には：
●最も古いものを維持する：Ｆ．Ｏ．Ｒ．ｄスパイクストリームを、Ｏｔｈｅｒスパイクストリームに対して、実際よりも早く出現させる効果がある。その結果、遅延生成部によって生成される遅延が、大きくなりすぎる。この効果は、最も古いものを維持するという方針により、より後のスパイク（即ち、スパイクｘの後のスパイク）が廃棄されるという事実から理解することができる。
●最も新しいものを維持する：Ｆ．Ｏ．Ｒ．ｄスパイクストリームを、Ｏｔｈｅｒスパイクストリームに対して、実際よりも遅く出現させる効果がある。その結果、遅延生成部によって生成される遅延が、小さくなりすぎる。この効果は、最も新しいものを維持するという方針により、より早いスパイク（例えば、スパイクｘ＋１よりも早いスパイクｘ）が無視されるという事実から理解することができる。
●最も古いものを維持する：Ｆ．Ｏ．Ｒ．ｄスパイクストリームを、Ｏｔｈｅｒスパイクストリームに対して、実際よりも早く出現させる効果がある。その結果、遅延生成部によって生成される遅延が、大きくなりすぎる。この効果は、最も古いものを維持するという方針により、より後のスパイク（即ち、スパイクｘの後のスパイク）が廃棄されるという事実から理解することができる。
●最も新しいものを維持する：Ｆ．Ｏ．Ｒ．ｄスパイクストリームを、Ｏｔｈｅｒスパイクストリームに対して、実際よりも遅く出現させる効果がある。その結果、遅延生成部によって生成される遅延が、小さくなりすぎる。この効果は、最も新しいものを維持するという方針により、より早いスパイク（例えば、スパイクｘ＋１よりも早いスパイクｘ）が無視されるという事実から理解することができる。
【0086】
時間バイアス問題は、最も古いものを維持するという方針及び最も新しいものを維持するという方針のそれぞれを、平均して等しい回数選択する、任意の技術によって、解決することができる。図８と図２との主な違いは、競合解決ブロック０２２４が導入されていることであり、このブロックの内部では、提案された実装を見てとることができる。図８の機能ブロック０２２０（遅延生成部）は、図２の機能ブロック２２５には存在しない追加の「遅延完了」出力を含む。遅延完了は、遅延生成部が遅延期間を計時しているときには論理上の０になり、そうでなければ、論理上の１になる。遅延完了が論理上の１であるときはいつでも、ＡＮＤゲート０２３０はＦ．Ｏ．Ｒ．入力０２１１におけるスパイクを許可して、遅延動作を開始する。そのような条件下では、既存の遅延期間との競合がないので、このことは理にかなっている。
【0087】
逆に、Ｆ．Ｏ．Ｒ．スパイクが入力０２１１に到着し、遅延完了が論理上の０である場合に、競合状況が存在することが分かっている。この状況は、競合解決ブロック０２２４のＡＮＤ０２３３によって、解読される。論理上の１を生成するＡＮＤゲート０２３３は、フリップフロップ０２３４の既存の状態に応じて、２つの動作のうちの１つを発生させる：
●フリップフロップ０２３４がたまたま、Ｑ出力において既に論理上の１を生成している場合、そのＱ出力は、ＡＮＤ０２３３からの論理上の１と協調して、ＡＮＤ０２３２が、（ＯＲゲート０２３１を介して）遅延生成部による計時の再始動を引き起こす信号を生成するようにする。理解されるように、これは、「最も新しいものを維持する」方針の実行である。
●逆に、フリップフロップ０２３４がたまたま、Ｑ出力において論理上の０を生成している場合、その論理上の０により、ＡＮＤ０２３２が、遅延生成部による計時の再始動を引き起こす信号を生成するのが防止される。これは、「最も古いものを維持する」方針の実行である。
●フリップフロップ０２３４がたまたま、Ｑ出力において既に論理上の１を生成している場合、そのＱ出力は、ＡＮＤ０２３３からの論理上の１と協調して、ＡＮＤ０２３２が、（ＯＲゲート０２３１を介して）遅延生成部による計時の再始動を引き起こす信号を生成するようにする。理解されるように、これは、「最も新しいものを維持する」方針の実行である。
●逆に、フリップフロップ０２３４がたまたま、Ｑ出力において論理上の０を生成している場合、その論理上の０により、ＡＮＤ０２３２が、遅延生成部による計時の再始動を引き起こす信号を生成するのが防止される。これは、「最も古いものを維持する」方針の実行である。
【0088】
フリップフロップ０２３４がたまたま既に論理上の１を生成しているかどうかに関わらず、ＡＮＤ０２３３により論理上の１が生成されるごとに、フリップフロップ０２３４がトリガーされて状態が変化する。最終的な結果として、競合状況が検出される度に、競合解決ブロック０２２４は、フリップフロップ０２３４の現在の状態に基づいて方針を実施し、次いで、次回に反対の方針が実行されるように、フリップフロップ０２３４の状態を変更する。
【0089】
【0090】
図９は、指数関数的な減衰曲線（即ち、０９１０はｅ－ｒｔである）と閾値検出（水平線０９１１）とを結合させることによる、遅延生成部の実装の例を示す。図９の例では、減衰のレートｒは３に等しく、検出されることになる閾値（ｔｈｄと呼ばれる）は、０．１に等しい。見て分かるように、これらの条件の下では、生成される遅延期間（「ｄ」と呼ばれる）は、０．７７秒である。理解されるように、遅延は、閾値を下げるか又は増やすことにより、それぞれ増加させるか又は減少させることができる。
【0091】
【0092】
図１０の輪郭線１０１０は、遅延生成部の外部インターフェースを示しており、各接続は、遅延生成部機能ブロック０２２０の入力又は出力に対応する。
【0093】
遅延生成部の計時機能の基礎を形成する指数関数的減衰は、コンデンサ１０４０と抵抗器１０４１との組み合わせによって、生成される。遅延は、「減衰」ノードにおいて発生し、比較増幅器１０３０の負の入力に適用される。閾値（ｔｈｄと呼ばれる）は、調節可能な電圧源１０３１によって設定され、これは、比較器の正の入力に適用される。１０３１による電圧出力は、インターフェース１０１０への「ｍｏｒｅ ｄ」又は「ｌｅｓｓ ｄ」入力に適用されるパルスによって、それぞれ、より低く又はより高くに、段階的に調節することができる。任意のある時点で、電圧源１０３１の状態（即ち、出力するように現在設定されている電圧）は、コンデンサ（図示せず）によって、保持されていることがある。
【0094】
開始／再始動入力における各スパイクは、ｏｎｅ ｓｈｏｔ１０２０をトリガーする。ｏｎｅ ｓｈｏｔ１０２０は、パルスを生成し、このパルスは、アサートされている間に、スイッチングユニット１０４３のスイッチＳ１及びＳ２により新しい期間の指数関数的減衰を生成するようにコンデンサ１０４０を準備する。具体的には、ｏｎｅ ｓｈｏｔのパルスの持続期間の間：
●Ｓ１は、コンデンサ１０４０を単位値電圧源１０４２に結合する、及び
●Ｓ２は、コンデンサ１０４０が再充電されている間、減衰ノードが指数関数的減衰を再び開始するための正しい初期値を維持することを保証する。
●Ｓ１は、コンデンサ１０４０を単位値電圧源１０４２に結合する、及び
●Ｓ２は、コンデンサ１０４０が再充電されている間、減衰ノードが指数関数的減衰を再び開始するための正しい初期値を維持することを保証する。
【0095】
一旦ｏｎｅ ｓｈｏｔ１０２０の信号が終了すると、コンデンサ１０４０と抵抗器１０４１との組み合わせは、指数関数的減衰を開始する。減衰ノードの電圧が電圧源１０３１により出力される電圧よりも低くなると、比較器１０３０の出力が、論理上の１を生成する。論理上の１は、以下の両方を引き起こす：
●インターフェース１０１０における「遅延完了」出力がアサートされる。
●ｏｎｅ ｓｈｏｔ１０２１がトリガーされ、そのパルスは、インターフェース１０１０のＦ．Ｏ．Ｒ．ｄ出力におけるスパイク出力を構成する。
●インターフェース１０１０における「遅延完了」出力がアサートされる。
●ｏｎｅ ｓｈｏｔ１０２１がトリガーされ、そのパルスは、インターフェース１０１０のＦ．Ｏ．Ｒ．ｄ出力におけるスパイク出力を構成する。
【0096】
２．４ Ｒａｔｅ Ａｌｌ学習部
上述したように、遅延生成部及び遅延学習部機能ブロック（例えば、図８のブロック０２２０及び０２２６など）は両方とも、指数関数的減衰曲線の使用を通じて機能する。それらの関数の減衰レートｒは、特定の用途の予期されるスパイク頻度に基づいて選択することができる。
上述したように、遅延生成部及び遅延学習部機能ブロック（例えば、図８のブロック０２２０及び０２２６など）は両方とも、指数関数的減衰曲線の使用を通じて機能する。それらの関数の減衰レートｒは、特定の用途の予期されるスパイク頻度に基づいて選択することができる。
【0097】
しかしながら、Ｆ．Ｏ．Ｒ．入力における平均スパイクレート（ｒＡＬＬと呼ぶ）を発見することが出来る機能ブロックをＣＣＵ内に含めることが有用である場合がある。一般的に、ｒＡＬＬは、遅延生成部及び遅延学習部の減衰関数に対して、ｒとして使用するのに適した値である。
【0098】
例えば、図３に示すような遅延生成部に関して、ｒＡＬＬを、Ｐｏｓｔ関数及びＰｒｅ関数に使用することができる。ｒに対してこの値を使用すると、Ｏｔｈｅｒスパイクが、各関数が比較的に速く変化している領域に確実に位置するようになる傾向があり、従って、測定が容易になる。遅延生成部が遅延を測定する際の遅延レート（例えば、図９の関数０９１０を参照）に対してｒＡＬＬを使用することにより、同様の利点が実現される。
【0099】
図１１は、図８と同じＣＣＵを示すが、以下の点が異なる：
●「Ｒａｔｅ Ａｌｌ学習部」（又はＬＲＡ）機能ブロック０２２３が追加されている。見て分かるように、ＬＲＡ０２２３は、入力としてＦ．Ｏ．Ｒ．スパイクを受け入れ、ｒＡＬＬを出力する。
●ｒＡＬＬ入力は、遅延生成部及び遅延学習部のそれぞれに追加される（従って、図８の０２２０及び０２２６から、図１１の０２２７及び０２２８へ、ラベル番号が変更されている）。これらのｒＡＬＬ入力は、ＬＲＡ０２２３のｒＡＬＬ出力によって駆動される。
●「Ｒａｔｅ Ａｌｌ学習部」（又はＬＲＡ）機能ブロック０２２３が追加されている。見て分かるように、ＬＲＡ０２２３は、入力としてＦ．Ｏ．Ｒ．スパイクを受け入れ、ｒＡＬＬを出力する。
●ｒＡＬＬ入力は、遅延生成部及び遅延学習部のそれぞれに追加される（従って、図８の０２２０及び０２２６から、図１１の０２２７及び０２２８へ、ラベル番号が変更されている）。これらのｒＡＬＬ入力は、ＬＲＡ０２２３のｒＡＬＬ出力によって駆動される。
【0100】
Ｒａｔｅ Ａｌｌ学習部は、確率的スパイクストリームｓの以下の特性に基づいている：ｒＡＬＬに対する値が正しい場合、次の式は、ある時点ｔ又はそれ以降の任意の時点での、次のスパイクが発生する確率を示している：
【数1】
【0101】
これは、式１に従って指数関数的減衰が生成される場合、Ｐ＝０．５である時刻は、ストリームｓの次のスパイクの到着予想中央値（又はＭＥＡ）時刻であることも意味している。この到着予想中央値時刻は、ＭＥＡＡＬＬとも呼ばれ、以下の特別な特性を有する：
特別な特性１：ｓの多数発生するスパイクに渡って、ＭＥＡＡＬＬの前に発生するスパイクの数は、ＭＥＡＡＬＬの後に発生するスパイクの数に等しくなると予測できる。
特別な特性１：ｓの多数発生するスパイクに渡って、ＭＥＡＡＬＬの前に発生するスパイクの数は、ＭＥＡＡＬＬの後に発生するスパイクの数に等しくなると予測できる。
【0102】
図１２の場合、実際のＭＥＡＡＬＬは、ｒＡＬＬ＝３の場合、０．２３秒であると想定される。見て分かるように（説明を明確にする目的のために）、スパイクａ～ｄは、ＭＥＡＡＬＬの両側に均等に分布するように選択されている。
【0103】
特別な特性１には、以下の意味がある：
●ＭＥＡＡＬＬの値の推測値（ＭＥＡｇｕｅｓｓと呼ぶ）が高過ぎる場合（即ち、実際には、ＭＥＡｇｕｅｓｓ＞ＭＥＡＡＬＬ）、ｓの多数発生するスパイクに渡って、ＭＥＡｇｕｅｓｓの後よりもＭＥＡｇｕｅｓｓの前に、より多くのスパイクが発生することになる。これの極端な例が図１３に示されており、ここでは、ＭＥＡｇｕｅｓｓは０．３４５秒（ｒ＝２の場合）であり、スパイクａ～ｄ（ｒ＝２の場合の場所に関して、ａ’～ｄ’とラベル付けされている）は、全て、ＭＥＡｇｕｅｓｓの前になる。
●ＭＥＡＡＬＬの値の推測値（ＭＥＡｇｕｅｓｓと呼ぶ）が低過ぎる場合（即ち、実際には、ＭＥＡｇｕｅｓｓ＜ＭＥＡＡＬＬ）、ｓの多数発生するスパイクに渡って、ＭＥＡｇｕｅｓｓの前よりもＭＥＡｇｕｅｓｓの後に、より多くのスパイクが発生することになる。これの極端な例が図１４に示されており、ここでは、ＭＥＡｇｕｅｓｓは０．１１５秒（ｒ＝６の場合）であり、同じスパイクａ～ｄ（ｒ＝６に関して、ここではａ’’～ｄ’’とラベル付けされている）は、全てＭＥＡｇｕｅｓｓの後になる。
●ＭＥＡＡＬＬの値の推測値（ＭＥＡｇｕｅｓｓと呼ぶ）が高過ぎる場合（即ち、実際には、ＭＥＡｇｕｅｓｓ＞ＭＥＡＡＬＬ）、ｓの多数発生するスパイクに渡って、ＭＥＡｇｕｅｓｓの後よりもＭＥＡｇｕｅｓｓの前に、より多くのスパイクが発生することになる。これの極端な例が図１３に示されており、ここでは、ＭＥＡｇｕｅｓｓは０．３４５秒（ｒ＝２の場合）であり、スパイクａ～ｄ（ｒ＝２の場合の場所に関して、ａ’～ｄ’とラベル付けされている）は、全て、ＭＥＡｇｕｅｓｓの前になる。
●ＭＥＡＡＬＬの値の推測値（ＭＥＡｇｕｅｓｓと呼ぶ）が低過ぎる場合（即ち、実際には、ＭＥＡｇｕｅｓｓ＜ＭＥＡＡＬＬ）、ｓの多数発生するスパイクに渡って、ＭＥＡｇｕｅｓｓの前よりもＭＥＡｇｕｅｓｓの後に、より多くのスパイクが発生することになる。これの極端な例が図１４に示されており、ここでは、ＭＥＡｇｕｅｓｓは０．１１５秒（ｒ＝６の場合）であり、同じスパイクａ～ｄ（ｒ＝６に関して、ここではａ’’～ｄ’’とラベル付けされている）は、全てＭＥＡｇｕｅｓｓの後になる。
【0104】
特別な特性１は、その意味するところと共に、ＭＥＡＡＬＬを発見することができる検索手続きの基礎を提供する。この手続きは、以下の２つの主要なステップを含むものとして説明することができる：
１．ＭＥＡｇｕｅｓｓに対して妥当な初期値を選択する：
○ＭＥＡｇｕｅｓｓの初期値の選択は、特定のシステム設計及び意図する用途に基づいて、例えば、可能な値の範囲内になるように制限することができる。ＭＥＡｇｕｅｓｓの値は、ＭＥＡｇｕｅｓｓを決定することができる、ｒの初期値を推測する（その値をｒｇｕｅｓｓと呼ぶ）ことによっても決定することができる。次いで、ＭＥＡｇｕｅｓｓの対応する時間を、式１から決定することができる。特に、Ｐ＝０．５で且つｒ＝ｒｇｕｅｓｓの場合、式１は、次のようになる：
２．ストリームｓのスパイクｎ及びｎ＋１の各対について、スパイク間の時間（ｔｎ＋１－ｔｎ）をＭＥＡｇｕｅｓｓと比較する：
○（ｔｎ＋１－ｔｎ）＜ＭＥＡｇｕｅｓｓの場合、ＭＥＡｇｕｅｓｓの推定された値を、（この最新のデータポイントに基づいて）、高過ぎると仮定する：
・スパイクペア間の後続の比較の目的で、ＭＥＡｇｕｅｓｓの値を低減する。
・標準的な量（Δｒと呼ぶ）だけ、ｒｇｕｅｓｓを増加させ、その後、式２を再決定することにより、ＭＥＡｇｕｅｓｓの低減された値を決定する。
○（ｔｎ＋１－ｔｎ）＞ＭＥＡｇｕｅｓｓの場合、ＭＥＡｇｕｅｓｓの推定された値を、（この最新のデータポイントに基づいて）、低過ぎると仮定する：
・後続のスパイクのペアを比較する際に、ＭＥＡｇｕｅｓｓの値を増加させる。
・標準的な量（Δｒと呼ぶ）だけ、ｒｇｕｅｓｓを減少させ、その後、式２を再決定することにより、ＭＥＡｇｕｅｓｓの増加した値を決定する。
１．ＭＥＡｇｕｅｓｓに対して妥当な初期値を選択する：
○ＭＥＡｇｕｅｓｓの初期値の選択は、特定のシステム設計及び意図する用途に基づいて、例えば、可能な値の範囲内になるように制限することができる。ＭＥＡｇｕｅｓｓの値は、ＭＥＡｇｕｅｓｓを決定することができる、ｒの初期値を推測する（その値をｒｇｕｅｓｓと呼ぶ）ことによっても決定することができる。次いで、ＭＥＡｇｕｅｓｓの対応する時間を、式１から決定することができる。特に、Ｐ＝０．５で且つｒ＝ｒｇｕｅｓｓの場合、式１は、次のようになる：
【数2】
○（ｔｎ＋１－ｔｎ）＜ＭＥＡｇｕｅｓｓの場合、ＭＥＡｇｕｅｓｓの推定された値を、（この最新のデータポイントに基づいて）、高過ぎると仮定する：
・スパイクペア間の後続の比較の目的で、ＭＥＡｇｕｅｓｓの値を低減する。
・標準的な量（Δｒと呼ぶ）だけ、ｒｇｕｅｓｓを増加させ、その後、式２を再決定することにより、ＭＥＡｇｕｅｓｓの低減された値を決定する。
○（ｔｎ＋１－ｔｎ）＞ＭＥＡｇｕｅｓｓの場合、ＭＥＡｇｕｅｓｓの推定された値を、（この最新のデータポイントに基づいて）、低過ぎると仮定する：
・後続のスパイクのペアを比較する際に、ＭＥＡｇｕｅｓｓの値を増加させる。
・標準的な量（Δｒと呼ぶ）だけ、ｒｇｕｅｓｓを減少させ、その後、式２を再決定することにより、ＭＥＡｇｕｅｓｓの増加した値を決定する。
【0105】
上記に挙げた検索手続きでは、ＭＥＡｇｕｅｓｓが高過ぎるか低過ぎるかについての、上述した仮定のそれぞれについて、以下の可能性が存在する：
●ＭＥＡｇｕｅｓｓが実際に高すぎる場合、多数のスパイクに渡って、この事は、ＭＥＡｇｕｅｓｓが低過ぎるよりも高過ぎていることを示すより多くの比較が発生することにより決定され、ＭＥＡｇｕｅｓｓの値は、（ｒｇｕｅｓｓの最終的な増加によって）、最終的に低減する。
●ＭＥＡｇｕｅｓｓが実際に低すぎる場合、多数のスパイクに渡って、この事は、ＭＥＡｇｕｅｓｓが高過ぎるよりも低過ぎていることを示すより多くの比較が発生することにより決定され、ＭＥＡｇｕｅｓｓの値は、（ｒｇｕｅｓｓの最終的な減少によって）、最終的に増加する。
●ＭＥＡｇｕｅｓｓは、事実的に正しい場合（即ち、ＭＥＡｇｕｅｓｓ＝ＭＥＡＡＬＬであり且つｒｇｕｅｓｓ＝ｒＡＬＬである場合）にのみ、最終的な動的安定性を実現する。
●ＭＥＡｇｕｅｓｓが実際に高すぎる場合、多数のスパイクに渡って、この事は、ＭＥＡｇｕｅｓｓが低過ぎるよりも高過ぎていることを示すより多くの比較が発生することにより決定され、ＭＥＡｇｕｅｓｓの値は、（ｒｇｕｅｓｓの最終的な増加によって）、最終的に低減する。
●ＭＥＡｇｕｅｓｓが実際に低すぎる場合、多数のスパイクに渡って、この事は、ＭＥＡｇｕｅｓｓが高過ぎるよりも低過ぎていることを示すより多くの比較が発生することにより決定され、ＭＥＡｇｕｅｓｓの値は、（ｒｇｕｅｓｓの最終的な減少によって）、最終的に増加する。
●ＭＥＡｇｕｅｓｓは、事実的に正しい場合（即ち、ＭＥＡｇｕｅｓｓ＝ＭＥＡＡＬＬであり且つｒｇｕｅｓｓ＝ｒＡＬＬである場合）にのみ、最終的な動的安定性を実現する。
【0106】
従って、十分な数のスパイクに渡って、ｒＡＬＬは、ｒＡＬＬへの収束速度（「学習レート」とも呼ばれる）と決定されたｒＡＬＬ値の精度との間の適切なトレードオフを提供するようにΔｒを選択して、決定される：
●Δｒの値をより大きくすると、学習レートが増加するが、結果の精度は低下する。
●Δｒの値をより小さくすると、学習レートが下がるが、結果の精度は高くなる。
●Δｒの値をより大きくすると、学習レートが増加するが、結果の精度は低下する。
●Δｒの値をより小さくすると、学習レートが下がるが、結果の精度は高くなる。
【0107】
図１５は、式１がその全範囲の半分をもたらす（例えば、Ｐ＝０．５の）ポイントを解く以外に、ＭＥＡを見つけるための代替的な方法を示す。この代替的な方式とは、式１及び以下の式３が等しくなる（式３は累積確率分布を定義する）時間を解くことである。
【数3】
【0108】
【0109】
この等値試験方式は、図１６のハードウェア実装の基礎であり、以下のように説明することができる。
【0110】
【0111】
式１の指数関数的減衰は、図１６では、コンデンサ１６３０と可変抵抗器１６３１との組み合わせによって、行われる。減衰値は、「減衰」ノード１６４１で利用可能である。式３（指数関数的増加）は、以下のように、減算増幅器１６２１によって行われる：
●単位電圧が、増幅器の「Ａ」入力に印加される。
●減衰ノード１６４１（即ち、式１）は、「Ｂ」入力に適用される。
●従って、ノード１６４０で利用可能な、減算増幅器１６２１の出力は、式３の電圧レベルの表現になる。
●単位電圧が、増幅器の「Ａ」入力に印加される。
●減衰ノード１６４１（即ち、式１）は、「Ｂ」入力に適用される。
●従って、ノード１６４０で利用可能な、減算増幅器１６２１の出力は、式３の電圧レベルの表現になる。
【0112】
式１と式３との間の等値試験は、比較増幅器１６２２によって行われ、その結果（上記の説明のＭＥＡｇｕｅｓｓに相当する）は、ノード１６４２で利用可能である。
【0113】
スパイクｎが存在するたびに、インターフェース１６１０のＦ．Ｏ．Ｒ．入力において、ｔｗｏ ｓｈｏｔ１６２０がトリガーされる。ｔｗｏ ｓｈｏｔのｏｕｔ１によって始動される第１のステップは、最後のＦ．Ｏ．Ｒ．スパイクｎ－１で始まったＭＥＡ測定を完了することである。ｏｕｔ１は、ＡＮＤゲート１６２３及び１６２４が比較器１６２２の出力を読み取ることができるようにすることにより、これを実現する。
【0114】
比較器１６２２の出力は、以下のように解釈することができる：
●比較器１６２２は、比較結果が、スパイクｎ－１とｎとの間の期間が現在のＭＥＡｇｕｅｓｓよりも小さいことを示す場合に、論理上の１を出力する。これは、指数関数的減衰ノード１６４１が、比較器の＋入力を駆動するからである。
●比較器１６２２は、比較結果が、スパイクｎ－１とｎとの間の期間が現在のＭＥＡｇｕｅｓｓよりも大きいことを示す場合に、論理上の０を出力する。これは、指数関数的増加ノード１６４０が、比較器の－入力を駆動するからである。
●比較器１６２２は、比較結果が、スパイクｎ－１とｎとの間の期間が現在のＭＥＡｇｕｅｓｓよりも小さいことを示す場合に、論理上の１を出力する。これは、指数関数的減衰ノード１６４１が、比較器の＋入力を駆動するからである。
●比較器１６２２は、比較結果が、スパイクｎ－１とｎとの間の期間が現在のＭＥＡｇｕｅｓｓよりも大きいことを示す場合に、論理上の０を出力する。これは、指数関数的増加ノード１６４０が、比較器の－入力を駆動するからである。
【0115】
比較器１６２２による現在の測定値が、ＭＥＡｇｕｅｓｓが高過ぎることを示す場合、ノード１６４２の論理上の１により、ＡＮＤゲート１６２３が有効になり、ｏｕｔ１パルスが、可変抵抗器１６３１のＲ－入力に印加される。理解されるように、抵抗を低減すると、「減衰」ノード１６４１における減衰のレートが速くなり、ＭＥＡｇｕｅｓｓが下方に調節される。
【0116】
逆に、比較器１６２２による現在の測定値が、ＭＥＡｇｕｅｓｓが低過ぎることを示す場合、ノード１６４２の論理上の０により、ＡＮＤゲート１６２４が有効になり、ｏｕｔ１パルスが、可変抵抗器１６３１のＲ＋入力に印加される。理解されるように、抵抗を増加させると、「減衰」ノード１６４１における減衰のレートが遅くなり、ＭＥＡｇｕｅｓｓが上方に調節される。
【0117】
ｏｕｔ１パルスの持続時間、及び可変抵抗器１６３１の特定の構成などの要因により、ｒｇｕｅｓｓの変化の増分が決まる。そのような変化の増分のそれぞれの大きさは、上記の説明では、Δｒ「学習レート」と呼ばれる。
【0118】
可変抵抗器１６３１の状態（即ち、現在の抵抗レベル）は、内部状態コンデンサ（図示せず）によって保持することができる。このコンデンサの電圧は、例えば、Ｒ－入力へのパルスごとに増加することがあり、Ｒ＋へのパルスごとに減少することがある。更に、内部状態コンデンサの電圧は、電圧追従増幅器（やはり図示せず）を介して利用可能にすることができ、これは、ＬＲＡの外部インターフェース１６１０のｒＡＬＬ出力を駆動する。
【0119】
図１１に関して上述したように、ＬＲＡ０２２３は、遅延生成部０２２７及び遅延学習部０２２８のそれぞれのｒＡＬＬ入力に、ＬＲＡ０２２３のｒＡＬＬ出力を提供することができる。
【0120】
ｒＡＬＬ入力を追加することにより変更される、遅延学習部０２２６の回路実装の一部が、図６及び図７である。遅延学習部０２２８の回路実装のために、図６及び図７は、それぞれ図１７及び図１８によって置き換えられる。図１７及び図１８は、以下の通り、図６及び図７とは異なっている：
●固定抵抗器０６４１（図６）は、ｒＡＬＬ入力０６０１を受け入れる可変抵抗器０６４４（図１７）と置き換えられている。
●固定抵抗器０７２１（図７）は、ｒＡＬＬ入力０７０１を受け入れる可変抵抗器０７２２（図１８）と置き換えられている。
●固定抵抗器０６４１（図６）は、ｒＡＬＬ入力０６０１を受け入れる可変抵抗器０６４４（図１７）と置き換えられている。
●固定抵抗器０７２１（図７）は、ｒＡＬＬ入力０７０１を受け入れる可変抵抗器０７２２（図１８）と置き換えられている。
【0121】
遅延生成部０２２７の回路実装のために、図１０は図１９によって置き換えられる。図１９は、以下の通り図１０とは異なる：固定抵抗器１０４１（図１０）は、外部インターフェース１０１１の一部としてｒＡＬＬ入力を受け入れる可変抵抗器１０４４（図１９）と置き換えられている。
【0122】
ＬＲＡのｒＡＬＬ出力における電圧が、ＬＲＡ０２２３によって発見されたｒＡＬＬに等しいｒを有する（遅延生成部０２２７及び遅延学習部０２２８の）指数関数的減衰曲線を生成するために、以下を行うことができる：
●コンデンサ０６４０（図１７のｐｏｓｔＡｃｃの実装を参照）、０７２０（図１８のｐｒｅＡｃｃの実装を参照）、及び１０４０（図１９の遅延生成部の実装を参照）は、ＬＲＡのコンデンサ１６３０（図１６を参照）と同じ静電容量を有するようにすることができる。
●可変抵抗器０６４４（図１７のｐｏｓｔＡｃｃの実装を参照）、０７２２（図１８のｐｒｅＡｃｃの実装を参照）、及び１０４４（図１９の遅延生成部の実装を参照）は、ＬＲＡの可変抵抗器１６３１（図１６を参照）と同じにすることができるが、以下の点が異なる：内部状態を保持するのではなく、０６４４、０７２２、及び１０４４のそれぞれは、外部インターフェースｒＡＬＬ入力によって駆動される、電圧フォロワを使用する。
●コンデンサ０６４０（図１７のｐｏｓｔＡｃｃの実装を参照）、０７２０（図１８のｐｒｅＡｃｃの実装を参照）、及び１０４０（図１９の遅延生成部の実装を参照）は、ＬＲＡのコンデンサ１６３０（図１６を参照）と同じ静電容量を有するようにすることができる。
●可変抵抗器０６４４（図１７のｐｏｓｔＡｃｃの実装を参照）、０７２２（図１８のｐｒｅＡｃｃの実装を参照）、及び１０４４（図１９の遅延生成部の実装を参照）は、ＬＲＡの可変抵抗器１６３１（図１６を参照）と同じにすることができるが、以下の点が異なる：内部状態を保持するのではなく、０６４４、０７２２、及び１０４４のそれぞれは、外部インターフェースｒＡＬＬ入力によって駆動される、電圧フォロワを使用する。
【0123】
３ 選ばれた用語の用語集
加算増幅器：任意の時点で、入力に存在する電圧の合計である電圧を出力する。
ｏｎｅ ｓｈｏｔ：入力トリガー及び１つの出力を有する。トリガー信号を受け取ると、出力においてパルスを生成する。
スパイク：本明細書で使用する場合、スパイクとは、２つの異なるレベルの間で、実質的に（又は概ね）ゼロの遷移時間を有するとみなすことができる信号内の任意のポイントを指すことができる。
減算増幅器：任意の時点で、第１の入力に存在する電圧から第２の入力に存在する電圧を引くことによって得られる電圧を出力する。
ｔｗｏ ｓｈｏｔ：入力トリガー及び２つの出力を有する。トリガー信号を受け取ると、２つの出力のそれぞれにおいて、パルスを順次生成する。
加算増幅器：任意の時点で、入力に存在する電圧の合計である電圧を出力する。
ｏｎｅ ｓｈｏｔ：入力トリガー及び１つの出力を有する。トリガー信号を受け取ると、出力においてパルスを生成する。
スパイク：本明細書で使用する場合、スパイクとは、２つの異なるレベルの間で、実質的に（又は概ね）ゼロの遷移時間を有するとみなすことができる信号内の任意のポイントを指すことができる。
減算増幅器：任意の時点で、第１の入力に存在する電圧から第２の入力に存在する電圧を引くことによって得られる電圧を出力する。
ｔｗｏ ｓｈｏｔ：入力トリガー及び２つの出力を有する。トリガー信号を受け取ると、２つの出力のそれぞれにおいて、パルスを順次生成する。
【0124】
４ 計算機器
当業者にとって通常は既知である事柄に従って、本明細書に記載する本発明の方法、手続き、又は技術は、任意の適切な計算ハードウェアを使用することにより実装することができる。適切なハードウェアは、１つ又は複数の汎用コンピュータ又はプロセッサの使用を含むことがある。ハードウェア実装技術は、様々な種類の集積回路、プログラム可能メモリ（揮発性及び不揮発性）、又はその両方、の使用を含むことがある。
当業者にとって通常は既知である事柄に従って、本明細書に記載する本発明の方法、手続き、又は技術は、任意の適切な計算ハードウェアを使用することにより実装することができる。適切なハードウェアは、１つ又は複数の汎用コンピュータ又はプロセッサの使用を含むことがある。ハードウェア実装技術は、様々な種類の集積回路、プログラム可能メモリ（揮発性及び不揮発性）、又はその両方、の使用を含むことがある。
【0125】
計算ハードウェアは、集積回路の形態をしていようとそれ以外であろうと、通常、トランジスタ（電界効果、バイポーラ、又はその両方）の使用に基づいているが、他の種類の部品（例えば、光学式、微小電気機械式、又は磁気式）が含まれることがある。いずれの計算ハードウェアも、その機能を実施できるようにするための必要な要素として、エネルギーを消費するという特性を有する。また、どれだけ迅速に動作させられるかに関わりなく、計算ハードウェアは、状態を変更するためにある程度の時間を必要とする。物理的機器（電子又はその他の）の基本原理により、計算ハードウェアは、たとえ小さくても、ある程度の物理的空間を占有する。
【0126】
プログラム可能メモリも、集積回路の形態で実装されることが多く、計算ハードウェアについて上述したのと同じ物理的制限を受ける。プログラム可能メモリは、少なくとも非一時的な態様で、用途に見合った長さの時間の間、情報を保存するために、任意の種類の物理学に基づく効果又は特性を使用するデバイスを含むことが意図されている。そのようなストレージを実装するのに使用される物理的効果の種類としては、限定するものではないが、フィードバック信号を通じた特定の状態の維持、電荷貯蔵、材料の光学的特性の変化、磁気変化、又は化学的変化（可逆的又は不可逆的）が挙げられる。
【0127】
特段の断りの無い限り、計算ハードウェア、プログラム可能メモリ、コンピュータ可読媒体、システム、及びサブシステムという用語は、人、又は人が引き受けるであろう心理的なステップを含まない。
【0128】
上述した任意の方法、手続き、又は技術は、コンピュータ又は他のデータ処理システムをプログラミングして実装される限り、コンピュータプログラム製品として説明することもできる。コンピュータプログラム製品は、任意の適切なコンピュータ可読媒体又はプログラム可能メモリ上に組み込むことができる。
【0129】
コンピュータ可読媒体及び／又はプログラム可能メモリ上にある、本明細書に記載する種類の情報（例えば、データ及び／又は命令など）は、それが組み込まれているコンピュータ可読コードデバイス上に保存することができる。コンピュータ可読コードデバイスは、定義された単位の情報（１ビットなど）を保存することができるメモリ、定義された単位の情報を読み出すことができるメモリ、又はその両方、の一部を表すことができる。
【0130】
本発明について、特定の実施形態と併せて説明してきたが、前述の説明を鑑みて、多数の代替形態、修正形態、及び変形形態が明らかになることは、明白である。従って、本発明は、添付の特許請求の範囲及びその均等物の趣旨及び範囲内にあたるような、そのような代替形態、修正形態、及び変形形態の全てを包含することが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】