▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特表2024-526147深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のプログラム可能出力ブロック
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-17
(54)【発明の名称】深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のプログラム可能出力ブロック
(51)【国際特許分類】
G06N 3/065 20230101AFI20240709BHJP
G06G 7/60 20060101ALI20240709BHJP
G06G 7/184 20060101ALI20240709BHJP
【ＦＩ】
G06N3/065
G06G7/60
G06G7/184
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023578766
(86)(22)【出願日】2021-10-05
(85)【翻訳文提出日】2024-02-15
(86)【国際出願番号】 US2021053644
(87)【国際公開番号】W WO2023282923
(87)【国際公開日】2023-01-12
(31)【優先権主張番号】17/367,542
(32)【優先日】2021-07-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
(57)【要約】
人工ニューラルネットワーク内のＶＭＭアレイとともに使用するためのプログラム可能出力ブロック用の多数の実施形態が開示される。一実施形態では、出力ブロックの利得は、構成信号によって構成することができる。別の実施形態では、出力ブロック内のＡＤＣの分解能は、構成信号によって構成することができる。
【選択図】 図８
【選択図】 図８
【特許請求の範囲】
【請求項1】
ニューラルネットワークメモリアレイの出力を生成するためのプログラム可能ニューロン出力ブロックであって、前記ニューラルネットワークメモリアレイから電流を受信するための１つ以上の入力ノードと、
利得構成信号を受信し、前記利得構成信号に応答して受信された前記電流に利得係数を適用して出力を生成するための利得構成回路と、を備える、プログラム可能ニューロン出力ブロック。
【請求項2】
前記利得構成信号がアナログ信号を含む、請求項１に記載のプログラム可能ニューロン出力ブロック。
【請求項3】
前記利得構成信号がデジタルビットを含む、請求項１に記載のプログラム可能ニューロン出力ブロック。
【請求項4】
前記利得構成回路が、前記利得構成信号によって制御される可変抵抗器を備える、請求項１に記載のプログラム可能ニューロン出力ブロック。
【請求項5】
前記利得構成回路が、前記利得構成信号によって制御される可変コンデンサを備える、請求項１に記載のプログラム可能ニューロン出力ブロック。
【請求項6】
前記利得構成信号が、前記電流が受信された前記ニューラルネットワークメモリアレイにおいて有効にされる行又は列の数に依存する、請求項１に記載のプログラム可能ニューロン出力ブロック。
【請求項7】
ニューラルネットワークメモリアレイの出力を生成するためのプログラム可能ニューロン出力ブロックであって、前記ニューラルネットワークメモリアレイからの電流及び制御信号を受信し、デジタル出力を生成するためのアナログ－デジタル変換器であって、前記デジタル出力の分解能が前記制御信号によって決定される、アナログ－デジタル変換器、を備える、プログラム可能ニューロン出力ブロック。
【請求項8】
前記制御信号がアナログ信号を含む、請求項７に記載のプログラム可能ニューロン出力ブロック。
【請求項9】
前記制御信号がデジタルビットを含む、請求項７に記載のプログラム可能ニューロン出力ブロック。
【請求項10】
ニューラルネットワークメモリアレイの出力を生成するためのプログラム可能ニューロン出力ブロックであって、前記ニューラルネットワークメモリアレイの前記出力をデジタル出力に変換するためのハイブリッドアナログ－デジタル変換器であって、
前記デジタル出力の第１の部分を生成するための第１のアナログ－デジタル変換器と、
前記デジタル出力の第２の部分を生成するための第２のアナログ－デジタル変換器と、を備える、ハイブリッドアナログ－デジタル変換器、を備える、プログラム可能ニューロン出力ブロック。
【請求項11】
前記第１のアナログ－デジタル変換器が、逐次近似レジスタアナログ－デジタル変換器を含む、請求項１０に記載のプログラム可能ニューロン出力ブロック。
【請求項12】
前記第２のアナログ－デジタル変換器が、シリアルアナログ－デジタル変換器を含む、請求項１１に記載のプログラム可能ニューロン出力ブロック。
【請求項13】
前記第１のアナログ－デジタル変換器が、アルゴリズム型アナログ－デジタル変換器を含む、請求項１０に記載のプログラム可能ニューロン出力ブロック。
【請求項14】
前記第２のアナログ－デジタル変換器が、シリアルアナログ－デジタル変換器を含む、請求項１３に記載のプログラム可能ニューロン出力ブロック。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０１９年３月６日出願の米国仮特許出願第６２／８１４，８１３号、表題「Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｎｖｅｒｔｉｎｇ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ Ｉｎｔｏ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ－Ｂａｓｅｄ Ｔｉｍｅ Ｐｕｌｓｅｓ ｉｎ ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」及び、２０１９年１月１８日出願の米国仮特許出願第６２／７９４，４９２号、表題「Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｎｖｅｒｔｉｎｇ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ Ｉｎｔｏ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ－Ｂａｓｅｄ Ｔｉｍｅ Ｐｕｌｓｅｓ ｉｎ ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」からの優先権を主張する、２０１９年３月１４日に出願の米国特許出願第１６／３５３，８３０号、表題「Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｎｖｅｒｔｉｎｇ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ Ｉｎｔｏ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ－Ｂａｓｅｄ Ｔｉｍｅ Ｐｕｌｓｅｓ ｉｎ ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」の一部継続出願であり、これらの全ては、参照により本明細書に組み込まれる。
本出願は、２０１９年３月６日出願の米国仮特許出願第６２／８１４，８１３号、表題「Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｎｖｅｒｔｉｎｇ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ Ｉｎｔｏ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ－Ｂａｓｅｄ Ｔｉｍｅ Ｐｕｌｓｅｓ ｉｎ ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」及び、２０１９年１月１８日出願の米国仮特許出願第６２／７９４，４９２号、表題「Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｎｖｅｒｔｉｎｇ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ Ｉｎｔｏ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ－Ｂａｓｅｄ Ｔｉｍｅ Ｐｕｌｓｅｓ ｉｎ ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」からの優先権を主張する、２０１９年３月１４日に出願の米国特許出願第１６／３５３，８３０号、表題「Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｎｖｅｒｔｉｎｇ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ Ｉｎｔｏ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ－Ｂａｓｅｄ Ｔｉｍｅ Ｐｕｌｓｅｓ ｉｎ ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」の一部継続出願であり、これらの全ては、参照により本明細書に組み込まれる。
【0002】
（発明の分野）
人工ニューラルネットワーク内のベクトル行列乗算（vector-by-matrix multiplication、ＶＭＭ）アレイとともに使用するためのプログラム可能出力ブロック用の多数の実施形態が開示される。
人工ニューラルネットワーク内のベクトル行列乗算（vector-by-matrix multiplication、ＶＭＭ）アレイとともに使用するためのプログラム可能出力ブロック用の多数の実施形態が開示される。
【背景技術】
【0003】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、お互いの間でメッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルでニューロンは、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題のうちの１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、必要な多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許出願公開第２０１７／０３３７４６６号として公開された米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受け取って、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受け取るように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、メモリセルの各々は、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に絶縁されて配設される浮遊ゲートと、チャネル領域の第２の部分の上方に絶縁されて配設される非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。
【0007】
アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持しなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
【0008】
ＶＭＭアレイを利用するシステムにおける１つの課題は、ＶＭＭアレイの出力を正確に測定し、その出力を別のＶＭＭアレイの入力ブロックなどの別の段階に転送する能力である。多くのアプローチが知られているが、それぞれは、漏れ電流による情報の損失などの特定の欠点を有する。
【0009】
必要とされるのは、ＶＭＭアレイの出力電流を受信し、その出力電流を、電子機器の別の段階に転送するのにより適した形態に変換するための改善された出力ブロックである。
【発明の概要】
【0010】
人工ニューラルネットワーク内のＶＭＭアレイとともに使用するためのプログラム可能出力ブロック用の多数の実施形態が開示される。一実施形態では、出力ブロックの利得は、構成信号によって構成することができる。別の実施形態では、出力ブロック内のＡＤＣの分解能は、構成信号によって構成することができる。
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】
【0050】
【0051】
【0052】
【0053】
【0054】
【0055】
【0056】
【0057】
【0058】
【0059】
【0060】
【0061】
【0062】
【0063】
【0064】
【0065】
【0066】
【0067】
【0068】
【0069】
【0070】
【0071】
【0072】
【0073】
【0074】
【0075】
【0076】
【0077】
【0078】
【図面の簡単な説明】
【0079】
【図1】先行技術の人工ニューラルネットワークを示す図である。
【図2】先行技術のスプリットゲートフラッシュメモリセルを示す。
【図3】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図4】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図5】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図6】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図7】先行技術の積層ゲートフラッシュメモリセルを示す。
【図8】１つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを例解する図である。
【図9】ベクトル行列乗算システムを例解するブロック図である。
【図10】１つ以上のベクトル行列乗算システムを利用する例示的な人工ニューラルネットワークを例解するブロック図である。
【図11】ベクトル行列乗算システムの別の実施形態を示す。
【図12】ベクトル行列乗算システムの別の実施形態を示す。
【図13】ベクトル行列乗算システムの別の実施形態を示す。
【図14】ベクトル行列乗算システムの別の実施形態を示す。
【図15】ベクトル行列乗算システムの別の実施形態を示す。
【図16】先行技術の長・短期記憶システムを示す。
【図17】長・短期記憶システムでの使用のための例示的なセルを示す。
【図20】先行技術のゲート付き回帰型ユニットシステムを示す。
【図21】ゲート付き回帰型ユニットシステムでの使用のための例示的なセルを示す。
【図24】ベクトル行列乗算システムの別の実施形態を示す。
【図25】ベクトル行列乗算システムの別の実施形態を示す。
【図26】ベクトル行列乗算システムの別の実施形態を示す。
【図27】ベクトル行列乗算システムの別の実施形態を示す。
【図28】ベクトル行列乗算システムの別の実施形態を示す。
【図29】ベクトル行列乗算システムの別の実施形態を示す。
【図30】ベクトル行列乗算システムの別の実施形態を示す。
【図31】ベクトル行列乗算システムの別の実施形態を示す。
【図32】ＶＭＭシステムを示す。
【図33】フラッシュアナログニューロメモリシステムを示す。
【図34A】積分アナログ－デジタル変換器を示す。
【図35A】積分アナログ－デジタル変換器を示す。
【図36C】タイミング制御回路を示す。
【図37】パルス－電圧変換器を示す。
【図38】電流－電圧変換器を示す。
【図39】電流－電圧変換器を示す。
【図40】電流－対数電圧変換器を示す。
【図41】電流－対数電圧変換器を示す。
【図42】デジタルデータ－電圧変換器を示す。
【図43】デジタルデータ－電圧変換器を示す。
【図44】基準アレイを示す。
【図45】デジタル比較器を示す。
【図46】変換器及びデジタル比較器を示す。
【図47】アナログ比較器を示す。
【図48】変換器及びアナログ比較器を示す。
【図49】出力回路を示す。
【図50】デジタル化後に活性化される出力の態様を示す。
【図51】デジタル化後に活性化される出力の態様を示す。
【図52】電荷合計器回路を示す。
【図53】電流合計器回路を示す。
【図54】デジタル合計器回路を示す。
【図55A】デジタルビット－パルス行変換器を示す。
【図55B】波形を示す。
【図56】電力管理方法を示す。
【図57】別の電力管理方法を示す。
【図58】別の電力管理方法を示す。
【図59】プログラム可能ニューロン出力ブロックを示す。
【図60】ニューロン出力ブロックでの使用ためのプログラム可能アナログ－デジタル変換器を示す。
【図61A】ハイブリッド出力変換ブロックを示す。
【図61B】ハイブリッド出力変換ブロックを示す。
【図61C】ハイブリッド出力変換ブロックを示す。
【図62】構成可能なシリアルアナログ－デジタル変換器を示す。
【図63】構成可能なニューロンＳＡＲ（逐次近似レジスタ）アナログ－デジタル変換器を示す。
【図64】パイプライン型ＳＡＲ ＡＤＣ回路を示す。
【図65】ハイブリッドＳＡＲ・シリアルＡＤＣ回路を示す。
【図66】アルゴリズム型ＡＤＣ出力ブロックを示す。
【発明を実施するための形態】
【0080】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
不揮発性メモリセル
【0081】
デジタル不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４及びドレイン領域１６を含み、ソース領域１４とドレイン領域１６との間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に絶縁されて配設される、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
【0082】
ワード線端子２２に高圧正電圧を加えることによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。
【0083】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を加えることによってプログラムされる（電子が浮遊ゲートに印加される）。電子電流は、ソース領域１４からドレイン領域１６に向かって流れることになる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部は、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
【0084】
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を加える（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。
【0085】
【0086】
図３は、制御ゲート（control gate、ＣＧ）２８を追加した、図２のメモリセル２１０と同様のメモリセル３１０を示す。制御ゲート２８は、プログラミング中に高電圧（例えば、１０Ｖ）、消去中に低又は負電圧（例えば、０Ｖ／－８Ｖ）、読み出し中に低又は中程度電圧（例えば、０Ｖ／２．５Ｖ）でバイアスされる。他の端子は、図２の端子と同様にバイアスされる。
【0087】
図４は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を備える、４ゲートメモリセル４１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
【0088】
【0089】
図５は、メモリセル５１０が消去ゲート（erase gate、ＥＧ）を含まないことを除いて、図４のメモリセル４１０と同様のメモリセル５１０を示す。消去は、基板１８を高電圧にバイアスし、制御ゲートＣＧ２８を低電圧又は負電圧にバイアスすることによって行われる。あるいは、ワード線２２を正電圧にバイアスし、制御ゲート２８を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図４のものと同様である。
【0090】
図６は、別の種類のフラッシュメモリセルである、３ゲートメモリセル６１０を示す。メモリセル６１０は、メモリセル６１０が別個の制御ゲートを有しないことを除いて、図４のメモリセル４１０と同一である。（消去ゲートの使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図４のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加されなければならない。
【0091】
【0092】
図７は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル７１０を示す。メモリセル７１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２（ここでワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
【0093】
【0094】
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第一に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第二に、メモリセルの連続（アナログ）プログラミングを提供する。
【0095】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値（１６個又は６４個の異なる値など）のうちの１つを最低限記憶することができることを意味し、これにより、メモリアレイ内の全てのセルが非常に精密に、かつ個々にチューニング可能となり、また、メモリアレイが、記憶、及びニューラルネットワークのシナプシスの重みへの微細チューニング調整に対して、理想的なものになる。
【0096】
本明細書に記載される方法及び手段は、ＳＯＮＯＳ（ｓｉｌｉｃｏｎ－ｏｘｉｄｅ－ｎｉｔｒｉｄｅ－ｏｘｉｄｅ－ｓｉｌｉｃｏｎ，ｃｈａｒｇｅ ｔｒａｐ ｉｎ ｎｉｔｒｉｄｅ）（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（ｍｅｔａｌ－ｏｘｉｄｅ－ｎｉｔｒｉｄｅ－ｏｘｉｄｅ－ｓｉｌｉｃｏｎ，ｍｅｔａｌ ｃｈａｒｇｅ ｔｒａｐ ｉｎ ｎｉｔｒｉｄｅ）（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（ｒｅｓｉｓｔｉｖｅ ｒａｍ）（抵抗変化型メモリ）、ＰＣＭ（ｐｈａｓｅ ｃｈａｎｇｅ ｍｅｍｏｒｙ）（相変化メモリ）、ＭＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｍ）（磁気抵抗メモリ）、ＦｅＲＡＭ（ｆｅｒｒｏｅｌｅｃｔｒｉｃ ｒａｍ）（強誘電体メモリ）、ＯＴＰ（ｂｉ－ｌｅｖｅｌ ｏｒ ｍｕｌｔｉ－ｌｅｖｅｌ ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ）（バイレベル又はマルチレベルの１回のみのプログラムが可能）、ＣｅＲＡＭ（ｃｏｒｒｅｌａｔｅｄ ｅｌｅｃｔｒｏｎ ｒａｍ）（強相関電子メモリ）などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、ＳＲＡＭ、ＤＲＡＭ、及び／又は揮発性シナプスセルなどのニューラルネットワークで使用される揮発性メモリ技術に適用することができる。
不揮発性メモリセルアレイを使用するニューラルネットワーク
不揮発性メモリセルアレイを使用するニューラルネットワーク
【0097】
図８は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に例解する。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。
【0098】
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと称される）は、シナプスＣＢ１に提供され、そこで、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップＣ１の層のうちの１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【0099】
本例では、層Ｃ１において、各々３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、二次元アレイであり、したがってこの例では、層Ｃ１は、二次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な二次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するために使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又はある特定の特徴のアスペクト比などを識別することができる。
【0100】
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存性を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、各々１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類（クラス分け）を示すことができる。
【0101】
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。
【0102】
図９は、その目的のために使用され得るアレイのブロック図である。ベクトル行列乗算（ＶＭＭ）アレイ３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭアレイ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３２への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、不揮発性メモリセルアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、不揮発性メモリセルアレイ３３の出力をデコードすることができる。
【0103】
不揮発性メモリセルアレイ３３は、２つの目的を果たす。第一に、不揮発性メモリセルアレイ３３は、ＶＭＭアレイ３２によって使用される重みを記憶する。第二に、不揮発性メモリセルアレイ３３は、不揮発性メモリセルアレイ３３に格納された重みによって、入力を有効に乗算して、それらを出力線（ソース線又はビット線）ごとに加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。不揮発性メモリセルアレイ３３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、メモリ内の計算により電力効率も良い。
【0104】
不揮発性メモリセルアレイ３３の出力は、不揮発性メモリセルアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動合計器（合計オペアンプ又は合計カレントミラーなど）３８に供給される。差動合計器３８は、正の重み及び負の重みの総和を実行するように配置される。
【0105】
差動合算器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図８のＣ１）の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、不揮発性メモリセルアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）、合計器３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0106】
図９のＶＭＭアレイ３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、デジタルパルス（この場合、パルス－アナログ変換器ＰＡＣは、パルスを適切な入力アナログレベルに変換するのに必要とされ得る）又はデジタルビット（この場合、ＤＡＣは、デジタルビットを適切な入力アナログレベルに変換するのに提供される）であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビットであり得る（この場合、出力ＡＤＣは出力アナログレベルをデジタルビットに変換するのに提供される）。
【0107】
図１０は、図中でＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭアレイ３２の多数の層の使用を示すブロック図である。図１０に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭアレイ３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭアレイ３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭアレイ３２ａへのマッピングされたアナログ入力に変換するために、アナログ－アナログ（analog to analog、Ａ／Ａ）変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力ＶＭＭアレイ３２ａへのマッピングされたデジタルパルス（単数又は複数）に変換するために、デジタル－デジタルパルス（Ｄ／Ｐ）変換器によって行うこともできる。
【0108】
入力ＶＭＭアレイ３２ａによって生成された出力は、次に、次のＶＭＭアレイ（隠しレベル１）３２ｂへの入力として提供され、次に入力ＶＭＭアレイ（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭアレイ３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。各ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図１０に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの全接続層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全接続層を含み得ることを理解するであろう。
ベクトル行列乗算（ＶＭＭ）アレイ
ベクトル行列乗算（ＶＭＭ）アレイ
【0109】
図１１は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０１と、不揮発性基準メモリセルの基準アレイ１１０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することができる。
【0110】
ＶＭＭアレイ１１００では、制御ゲート線１１０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ１１０２が、制御ゲート線１１０３に直交する）、消去ゲート線１１０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ１１００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ１１００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0111】
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ１１００の不揮発性メモリセル、すなわちＶＭＭアレイ１１００のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
【0112】
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
式中、ｗ＝ｅ(-Vth)/kVtである。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
式中、ｗ＝ｅ(-Vth)/kVtである。
【0113】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0114】
ベクトル行列乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
式中、ｗａは、メモリアレイの各メモリセルのｗである。
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
式中、ｗａは、メモリアレイの各メモリセルのｗである。
【0115】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0116】
代替的に、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
【0117】
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
【0118】
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
【0119】
図９のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝α１／２*β*（Ｖｇｓ－Ｖｔｈ）2；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）2
Ｉｄｓ＝α１／２*β*（Ｖｇｓ－Ｖｔｈ）2；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）2
【0120】
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
【0121】
あるいは、本明細書に記載されるＶＭＭアレイのフラッシュメモリセルは、全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用することができる。
【0122】
図１２は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１２００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。アレイの列方向に配置された基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１２１４（一部のみ示す）を通してダイオード接続される。基準セルは、目標基準レベルにチューニング（例えば、プログラム）される。目標基準レベルは、基準ミニアレイ行列（図示せず）によって提供される。
【0123】
メモリアレイ１２０３は、２つの目的を果たす。第一に、メモリアレイ１２０３は、ＶＭＭアレイ１２００により使用される重みを、それぞれのメモリセルに記憶する。第二に、メモリアレイ１２０３は、メモリアレイ１２０３に記憶された重みを、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１２０１及び１２０２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）に有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。乗算及び加算の関数を実行することで、メモリアレイ１２０３は、別個の乗算及び加算の論理回路の必要性をなくし、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にそれぞれのビット線ＢＬ０～ＢＬＮに現れる。ビット線ＢＬ０～ＢＬＮの各々の電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
【0124】
表５は、ＶＭＭアレイ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表５：図１２のＶＭＭアレイ１２００の動作
表５：図１２のＶＭＭアレイ１２００の動作
【表5】
【0125】
図１３は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を含む。基準アレイ１３０１及び１３０２は、ＶＭＭアレイ１３００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１３００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0126】
表６は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表６：図１３のＶＭＭアレイ１３００の動作
表６：図１３のＶＭＭアレイ１３００の動作
【表6】
【0127】
図１４は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１４００を示す。ＶＭＭアレイ１４００は、不揮発性メモリセルのメモリアレイ１４０３と、第１の不揮発性基準メモリセルの基準アレイ１４０１と、第２の不揮発性基準メモリセルの基準アレイ１４０２と、を含む。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１４１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１４１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルのそれぞれのビット線（ＢＬＲ０など）の定電圧を確実にするために、それぞれのマルチプレクサ１４０５及びカスコーディングトランジスタ１４０４をそれぞれ含む。基準セルは、目標基準レベルにチューニングされる。
【0128】
メモリアレイ１４０３は、２つの目的を果たす。第一に、メモリアレイ１４０３は、ＶＭＭアレイ１４００によって使用される重みを記憶する。第二に、メモリアレイ１４０３は、メモリアレイに記憶された重みを、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に有効に乗算して、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに現れ、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線の電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0129】
ＶＭＭアレイ１４００は、メモリアレイ１４０３内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに記憶されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
【0130】
表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表７：図１４のＶＭＭアレイ１４００の動作
表７：図１４のＶＭＭアレイ１４００の動作
【表7】
【0131】
図１５は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１５００を示す。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、基準アレイ１５０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１５０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１５００は、ＶＭＭアレイ１５００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１５１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【0132】
表８は、ＶＭＭアレイ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表８：図１５のＶＭＭアレイ１５００の動作
表８：図１５のＶＭＭアレイ１５００の動作
【表8】
【0133】
図２４は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２４００を示す。ＶＭＭアレイ２４００では、入力ＩＮＰＵＴ0．．．．、ＩＮＰＵＴnは、ビット線ＢＬ0、．．．ＢＬnでそれぞれ受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3でそれぞれ生成される。
【0134】
図２５は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２５００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3でそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
【0135】
図２６は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２６００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
【0136】
図２７は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２７００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
【0137】
図２８は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnは、ビット線ＢＬ0、．．．、ＢＬNでそれぞれ受信、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2は、消去ゲート線ＥＧ0及びＥＧ1で生成される。
【0138】
図２９は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ結合されているビット線制御ゲート２９０１－１、２９０１－２、．．．、２９０１－（Ｎ－１）、及び２９０１－Ｎのゲートでそれぞれ受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2は、消去ゲート線ＳＬ0及びＳＬ1で生成される。
【0139】
図３０は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ３０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNでそれぞれ生成される。
【0140】
図３１は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ３１００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMで受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ソース線ＳＬ0、．．．、ＳＬNで生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線端子に結合される。
【0141】
図３２は、ＶＭＭシステム３２００を示す。ＶＭＭシステム３２００は、ＶＭＭアレイ３２０１（ＶＭＭ９００、１０００、１１００、１２００、及び１３２０など、前述したＶＭＭ設計のいずれか、又は他のＶＭＭ設計に基づくことができる）、低電圧行デコーダ３２０２、高電圧行デコーダ３２０３、参照セル低電圧列デコーダ３２０４（列方向に示されており、これは行方向の変換を出力するために入力を提供することを意味する）、ビット線マルチプレクサ３２０５、制御論理３２０６、アナログ回路３２０７、ニューロン出力ブロック３２０８、入力ＶＭＭ回路ブロック３２０９、プリデコーダ３２１０、試験回路３２１１、消去プログラム制御ロジックＥＰＣＴＬ３２１２、アナログ及び高電圧生成回路３２１３、ビット線ＰＥドライバ３２１４、冗長アレイ３２１５及び３２１６、ＮＶＲセクタ３２１７、並びに参照セクタ３２１８を含む。入力回路ブロック３２０９は、外部入力からメモリアレイの入力端子へのインターフェースとして機能する。ニューロン出力ブロック３２０８は、メモリアレイ出力から外部インターフェースへのインターフェースとして機能する。
【0142】
低電圧行デコーダ３２０２は、読み出し動作及びプログラム動作のためのバイアス電圧を提供し、高電圧行デコーダ３２０３にデコード信号を提供する。高電圧行デコーダ３２０３は、プログラム動作及び消去動作のための高電圧バイアス信号を提供する。参照セル低電圧列デコーダ３２０４は、参照セルのデコード機能を提供する。ビット線ＰＥドライバ３２１４は、プログラム、検証、及び消去動作中のビット線の制御機能を提供する。アナログ及び高電圧生成回路３２１３は、様々なプログラム、消去、プログラム検証、及び読み出し動作に必要な複数の電圧を提供する共有バイアスブロックである。冗長アレイ３２１５及び３２１６は、欠陥のあるアレイ部分を置き換えるためのアレイ冗長性を提供する。ＮＶＲ（不揮発性レジスタ別名情報セクタ）セクタ３２１７は、ユーザ情報、デバイスＩＤ、パスワード、セキュリティキー、トリムビット、構成ビット、製造情報を制限なく格納するために使用されるアレイセクタであるセクタである。
【0143】
図３３は、アナログニューロメモリシステム３３００を示す。アナログニューロメモリシステム３３００は、マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、３３０Ｉｆ、３３０１ｇ、及び３３０１ｈと、ニューロン出力（合計器回路及びサンプルアンドホールドＳ／Ｈ回路など）ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈと、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０４ｈと、を含む。マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、及び３３０１ｆのそれぞれは、フラッシュメモリセルなどの不揮発性メモリセルの行及び列を含むＶＭＭアレイを含むＶＭＭサブシステムである。ニューロメモリサブシステム３３３３は、マクロブロック３３０１、入力ブロック３３０３、及びニューロン出力ブロック３３０２を含む。ニューロメモリサブシステム３３３３は、それ自体のデジタル制御ブロックを有してもよい。
【0144】
アナログニューロメモリシステム３３００は、図３６に関して以下で更に詳細に論じられるシステム制御ブロック３３０４、アナログ低電圧ブロック３３０５、高電圧ブロック３３０６、及びタイミング制御回路３６７０を更に備える。
【0145】
システム制御ブロック３３０４は、一般的な制御機能及び演算動作を処理するためのＡＲＭ／ＭＩＰＳ／ＲＩＳＣ＿Ｖコアなどの１つ以上のマイクロコントローラコアを含んでもよい。システム制御ブロック３３０４はまた、単一の命令を用いて複数のデータで動作するＳＩＭＤ（単一命令多重データ）ユニットを含んでもよい。システム制御ブロック３３０４は、ＤＳＰコアを含んでもよい。システム制御ブロック３３０４は、限定することなく、プール、平均、最小、最大、ソフトマックス、加算、減算、乗算、除算、ログ、アンチログ、ＲｅＬｕ、シグモイド、ｔａｎｈなどの関数、及びデータ圧縮を実行するためのハードウェア又はソフトウェアを含んでもよい。システム制御ブロック３３０４は、活性化の近似器／量子化器／正規化器などの機能を実行するハードウェア又はソフトウェアを含んでもよい。システム制御ブロック３３０４は、入力データの近似器／量子化器／正規化器などの機能を実行する能力を含み得る。システム制御ブロック３３０４は、活性化の近似器／量子化器／正規化器の機能を実行するハードウェア又はソフトウェアを含み得る。ニューロメモリサブシステム３３３３の制御ブロックは、マイクロコントローラコア、ＳＩＭＤコア、ＤＳＰコア、及び他の機能ユニットなどのシステム制御ブロック３３０４の同様の要素を含んでもよい。
【0146】
一実施形態では、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈはそれぞれ、構成可能な長い相互接続を推進できる低インピーダンス出力型バッファ（例えば、オペアンプ）回路を含む。一実施形態では、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈはそれぞれ、加算の高インピーダンス電流出力を提供する。別の実施形態では、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈはそれぞれ活性化回路を含み、この場合、出力を推進するために追加の低インピーダンスバッファが必要とされる。
【0147】
別の実施形態では、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈはそれぞれ、アナログ信号の代わりにデジタルビットを出力するアナログ－デジタル変換ブロックを含む。この実施形態では、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈは各々、それぞれのニューロン出力ブロックからデジタルビットを受信してデジタルビットをアナログ信号に変換するデジタル－アナログ変換ブロックを含む。
【0148】
したがって、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈは、マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、及び３３０１ｆからの出力電流を受信し、任意選択的に、その出力電流をアナログ電圧、デジタルビット、又は各パルスの幅若しくはパルスの数が出力電流の値に応じて変動する１つ以上のデジタルパルスに変換する。同様に、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈは、アナログ電流、アナログ電圧、デジタルビット、又は各パルスの幅若しくはパルスの数が出力電流の値に応答して変動するデジタルパルスを任意選択的に受信し、アナログ電流をマクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、及び３３０１ｆに提供する。入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈは、電圧電流変換器、入力信号中のデジタルパルスの数若しくは入力信号中のデジタルパルスの幅の長さをカウントするためのアナログ若しくはデジタルカウンタ、又はデジタル－アナログ変換器を任意選択で備える。
【0149】
任意選択的に、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈは、出力電流をアナログ電圧、デジタルビット、又は１つ以上のデジタルパルスに変換するとき、プログラム可能な利得を適用することができる。これは、プログラム可能ニューロンと呼ぶことができる。
【0150】
図５９は、プログラム可能ニューロン出力ブロック５９００の例を示しており、プログラム可能ニューロン出力ブロック５９００は、ＶＭＭアレイからの出力ニューロン電流Ｉｎｅｕと、利得構成５９０１と、を受け取り、利得Ｇを有する出力ニューロン電流Ｉｎｅｕを表す出力５９０２を生成し、Ｇの値は利得構成５９０１に応答して設定される。利得構成５９０１は、アナログ信号又はデジタルビットであり得る。一実施形態では、プログラム可能ニューロン出力ブロック５９００は、利得制御回路５９０３を備え、利得制御回路５９０３は、利得Ｇを生成するために利得構成５９０１によって制御される可変抵抗器５９０４又は可変コンデンサ５９０５を備える。出力５９０２は、アナログ電圧、アナログ電流、デジタルビット、又は１つ以上のデジタルパルスであり得る。いくつかの実施形態では、利得構成５９０１は、プログラム可能ニューロン出力ブロック５９００の利得Ｇをトリミングして、漏れ電流などの望ましくない現象を補償するために使用される。
【0151】
任意選択的に、各プログラム可能ニューロン出力ブロック５９００は、異なる利得構成５９０１を備えることができる。これは、例えば、（アレイ出力をスケーリングするためなどの）異なる利得がニューラルネットワークの異なる層において実装されることを可能にする。
【0152】
別の実施形態では、利得構成５９０１は、例えば、出力ニューロン電流Ｉｎｅｕを生成するためにいくつの行が有効にされるかを意味する入力サイズに部分的に依存する。
【0153】
別の実施形態では、利得構成５９０１は、ＶＭＭアレイに入力される全ての行の値に部分的に依存する。例えば、ＶＭＭアレイに対する８ビット行入力に対して、最大値は、１行に対する入力として２５６（２＾８）、４行に対する入力として１０２４などである。例えば、２５６行が有効にされる場合、これらの行の合計値に関する決定が行われ、利得構成５９０１は、この値に応答して修正される。
【0154】
別の実施形態では、利得構成５９０１は、出力ニューロン範囲に依存する。例えば、出力ニューロン電流Ｉｎｅｕが第１の範囲内にある場合、第１の利得Ｇ１が利得構成５９０１によって適用される。出力ニューロン電流Ｉｎｅｕが第２の範囲内にある場合、第２の利得Ｇ２が利得構成５９０１を介して適用される。これは範囲に関連して説明されてきたが、当業者であれば、より多くの範囲が制限なく実装され得ることを認識するであろう。
長・短期メモリ
長・短期メモリ
【0155】
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調節し、ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
【0156】
図１６は、例示的なＬＳＴＭ１６００を示す。この例におけるＬＳＴＭ１６００は、セル１６０１、１６０２、１６０３、及び１６０４を含む。セル１６０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１６０２は、入力ベクトルｘ1と、セル１６０１からの出力ベクトル（隠れ状態）ｈ0と、セル１６０１からのセル状態ｃ0と、を受け取り、出力ベクトルｈ1と、セル状態ベクトルｃ1と、を生成する。セル１６０３は、入力ベクトルｘ2と、セル１６０２からの出力ベクトル（隠れ状態）ｈ1と、セル１６０２からのセル状態ｃ1と、を受け取り、出力ベクトルｈ2と、セル状態ベクトルｃ2と、を生成する。セル１６０４は、入力ベクトルｘ3と、セル１６０３からの出力ベクトル（隠れ状態）ｈ2と、セル１６０３からのセル状態ｃ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
【0157】
図１７は、図１６のセル１６０１、１６０２、１６０３、及び１６０４に使用され得るＬＳＴＭセル１７００の例示的な実装を示す。ＬＳＴＭセル１７００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
【0158】
ＬＳＴＭセル１７００は、シグモイド関数デバイス１７０１、１７０２、及び１７０３を含み、それぞれが０～１の数を適用して、入力ベクトルのそれぞれの成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１７００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１７０４及び１７０５と、２つのベクトルを乗算するための乗算器デバイス１７０６、１７０７、及び１７０８と、２つのベクトルを加算するための加算器デバイス１７０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができるか、又は他の目的でアクセスすることができる。
【0159】
図１８は、ＬＳＴＭセル１７００の一実装の一例であるＬＳＴＭセル１８００を示す。読者の便宜のために、ＬＳＴＭセル１７００からの同じ採番方法が、ＬＳＴＭセル１８００で使用される。シグモイド関数デバイス１７０１、１７０２、及び１７０３、並びにｔａｎｈデバイス１７０４は各々、複数のＶＭＭアレイ１８０１及び活性化回路ブロック１８０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが分かる。乗算器デバイス１７０６、１７０７、及び１７０８、並びに加算器デバイス１７０９は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック１８０２は、デジタル方式又はアナログ方式で実装され得る。
【0160】
ＬＳＴＭセル１８００の代替例（及びＬＳＴＭセル１７００の一実装の別の例）を図１９に示す。図１９では、シグモイド関数デバイス１７０１、１７０２及び１７０３、並びにｔａｎｈデバイス１７０４は、同じ物理ハードウェア（ＶＭＭアレイ１９０１及び活性化関数ブロック１９０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１９００はまた、２つのベクトルを乗算するための乗算器デバイス１９０３と、２つのベクトルを加算するための加算器デバイス１９０８と、（活性化回路ブロック１９０２を含む）ｔａｎｈデバイス１７０５と、値ｉ（ｔ）を、ｉ（ｔ）がシグモイド関数ブロック１９０２から出力されるときに記憶するためのレジスタ１９０７と、値ｆ（ｔ）*ｃ（ｔ－１）を、その値がマルチプレクサ１９１０を介して乗算器デバイス１９０３から出力されるときに記憶するためのレジスタ１９０４と、値ｉ（ｔ）*ｕ（ｔ）を、その値がマルチプレクサ１９１０を介して乗算器デバイス１９０３から出力されるときに記憶するためのレジスタ１９０５と、値ｏ（ｔ）*ｃ～（ｔ）を、その値がマルチプレクサ１９１０を介して乗算器デバイス１９０３から出力されるときに記憶するためのレジスタ１９０６と、マルチプレクサ１９０９と、を含む。
【0161】
ＬＳＴＭセル１８００がＶＭＭアレイ１８０１とそれぞれの活性化関数ブロック１８０２との複数のセットを含むのに対し、ＬＳＴＭセル１９００は、ＬＳＴＭセル１９００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ１９０１及び活性化関数ブロック１９０２の１つのセットのみを含む。ＬＳＴＭセル１９００は、ＬＳＴＭセル１８００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭ１８００よりも必要とするスペースが少ない。
【0162】
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、合計器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
ゲート付き回帰型ユニット
ゲート付き回帰型ユニット
【0163】
アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
【0164】
図２０は、例示的なＧＲＵ２０００を示す。この例におけるＧＲＵ２０００は、セル２００１、２００２、２００３及び２００４を含む。セル２００１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル２００２は、入力ベクトルｘ1と、セル２００１からの出力ベクトルｈ0と、を受け取り、出力ベクトルｈ1を生成する。セル２００３は、入力ベクトルｘ2と、セル２００２からの出力ベクトル（隠れ状態）ｈ1と、を受け取り、出力ベクトルｈ2を生成する。セル２００４は、入力ベクトルｘ3と、セル２００３からの出力ベクトル（隠れ状態）ｈ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
【0165】
図２１は、図２０のセル２００１、２００２、２００３、及び２００４に使用され得るＧＲＵセル２１００の例示的な実装を示す。ＧＲＵセル２１００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル２１００は、シグモイド関数デバイス２１０１及び２１０２を含み、それらのそれぞれが、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル２１００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス２１０３と、２つのベクトルを乗算するための複数の乗算器デバイス２１０４、２１０５、及び２１０６と、２つのベクトルを加算するための加算器デバイス２１０７と、１から入力を減算して出力を生成するための相補デバイス２１０８と、を含む。
【0166】
図２２は、ＧＲＵセル２１００の一実装の一例であるＧＲＵセル２２００を示す。読者の便宜のために、ＧＲＵセル２１００からの同じ採番方法が、ＧＲＵセル２２００で使用される。図２２から分かるように、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３はそれぞれ、複数のＶＭＭアレイ２２０１及び活性化関数ブロック２２０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが分かる。乗算器デバイス２１０４、２１０５、２１０６、加算器デバイス２１０７、及び相補デバイス２１０８は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック２２０２は、デジタル方式又はアナログ方式で実装され得る。
【0167】
ＧＲＵセル２２００の代替例（及びＧＲＵセル２３００の一実装の別の例）を図２３に示す。図２３では、ＧＲＵセル２３００は、ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２を利用しており、シグモイド関数として構成された場合には、０～１の数を適用して、入力ベクトルのそれぞれの成分が出力ベクトルに寄与する程度を制御する。図２３では、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は、同じ物理ハードウェア（ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２）を、時分割多重化された方式で共有する。ＧＲＵセル２３００はまた、２つのベクトルを乗算するための乗算器デバイス２３０３と、２つのベクトルを加算するための加算器デバイス２３０５と、１から入力を減算して、出力を生成するための相補デバイス２３０９と、マルチプレクサ２３０４と、値ｈ（ｔ－１）*ｒ（ｔ）を、その値がマルチプレクサ２３０４を介して乗算器デバイス２３０３から出力されるときに保持するためのレジスタ２３０６と、値ｈ（ｔ－１）*ｚ（ｔ）を、その値がマルチプレクサ２３０４を介して乗算器デバイス２３０３から出力されるときに保持するためのレジスタ２３０７と、値ｈ＾（ｔ）*（１－ｚ（ｔ））を、その値がマルチプレクサ２３０４を介して乗算器デバイス２３０３から出力されるときに保持するためのレジスタ２３０８と、を含む。
【0168】
ＧＲＵセル２２００がＶＭＭアレイ２２０１及び活性化関数ブロック２２０２の複数のセットを含むのに対し、ＧＲＵセル２３００は、ＧＲＵセル２３００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２の１つのセットのみを含む。ＧＲＵセル２３００は、ＧＲＵセル２２００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２２００よりも必要とするスペースが少ない。
【0169】
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらは各々、合計器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
【0170】
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力はアナログレベル、バイナリレベル、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
【0171】
ＶＭＭアレイ内の各メモリセルに関して、各重みｗは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差動セルの場合では、重みｗを差動重み（ｗ＝ｗ＋－ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みｗを実装するために２つのメモリセルが必要とされる。
出力回路
出力回路
【0172】
図３４Ａは、出力ニューロン、ＩNEU３４０６に適用されて、出力ニューロン電流をデジタルパルス又はデジタル出力ビットに変換する積分デュアル混合スロープ（integrating dual-mixed slope）アナログ－デジタル変換器（analog-to-digitai converter、ＡＤＣ）３４００を示す。
【0173】
一実施形態では、ＡＤＣ３４００は、ニューロン出力ブロック（（図３２のニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈなど）内のアナログ出力電流をデジタルパルスに変換し、その幅は、ニューロン出力ブロック内のアナログ出力電流の大きさに比例して変動する。積分オペアンプ３４０１及び積分コンデンサ３４０２を含む積分器は、基準電流ＩＲＥＦ３４０７に対して、メモリアレイ電流ＩNEU３４０６（出力ニューロン電流である）を積分する。
【0174】
任意選択的に、ＩＲＥＦ３４０７は、０の温度係数、又はニューロン電流ＩNEU３４０６を追跡する温度係数を有するバンドギャップフィルタ含むことができる。後者は、任意選択的に、試験フェーズ中に決定された値を含む基準アレイから得ることができる。
【0175】
任意選択的に、回路が動作温度以上である間に較正ステップを実行して、アレイ又は制御回路内に存在する任意の漏れ電流をオフセットすることができ、その後はオフセット値を図３４Ｂ又は図３５ＢのＩｎｅｕから差し引くことができる。
【0176】
初期化フェーズの間、スイッチ３４０８は閉じられる。次いで、Ｖｏｕｔ３４０３及び演算増幅器３４０１の負端子への入力は、ＶＲＥＦになる。その後、図３４Ｂに示すように、スイッチ３３４０８は開かれ、一定時間ｔｒｅｆの間、ニューロン電流ＩNEU３４０６は、上積分（up-integrated）される。一定時間ｔｒｅｆの間、Ｖｏｕｔは上昇し、ニューロン電流が変化するにつれてその傾きは変化する。その後、期間ｔｍｅａｓの間、一定基準電流ＩＲＥＦは、時間ｔｍｅａｓ（Ｖｏｕｔが降下する期間）に、下積分（down integrated）され、ｔｍｅａｓは、ＶｏｕｔをＶＲＥＦまで下積分するために必要とされる時間である。
【0177】
出力ＥＣ３４０５は、ＶＯＵＴ＞ＶＲＥＦＶのときに高くなり、そうでなければ低くなる。したがって、ＥＣ３４０５は、幅が期間ｔｍｅａｓを反映するパルスを生成し、期間ｔｍｅａｓは次に、電流ＩNEU３４０６に比例する。図３４Ｂでは、ｔｍｅａｓ＝Ｉｎｅｕ１である例の波形３４１０、及びｔｍｅａｓ＝Ｉｎｅｕ２である例の波形３４１２として、ＥＣ３４０５が示されている。したがって、出力ニューロン電流ＩNEU３４０６は、デジタルパルスＥＣ３４０５に変換され、デジタルパルスＥＣ３４０５の幅は、出力ニューロン電流ＩNEU３４０６の大きさに比例して変動する。
【0178】
電流ＩNEU３４０６は、＝ｔｍｅａｓ／ｔｒｅｆ*ＩＲＥＦである。例えば、１０ビットの所望の出力ビット分解の場合、ｔｒｅｆは、１０２４クロックサイクルに等しい時間である。期間ｔｍｅａｓは、ＩＮＥＵ３４０６の値及びＩｒｅｆの値に応じて０クロックサイクルに等しい期間から１０２４クロックサイクルまで変化する。図３４Ｂは、ＩNEU３４０６＝Ｉｎｅｕ１であるもの、及びＩNEU３４０６＝Ｉｎｅｕ２を有するものといった、ＩNEU３４０６の２つの異なる値の例を示す。したがって、ニューロン電流ＩNEU３４０６は、充電の速度及び傾きに影響を及ぼす。
【0179】
任意選択的に、出力パルスＥＣ３４０５は、別のＶＭＭアレイの入力ブロックなどの、次の回路の段階への送信のために、均一な期間の一連のパルスに変換することができる。期間ｔｍｅａｓの開始時に、出力ＥＣ３４０５は、基準クロック３４４１を用いてＡＮＤゲート３４４０に入力される。出力は、ＶＯＵＴ＞ＶＲＥＦの期間中、パルス系列３４４２（パルス系列３４４２のパルスの周波数はクロック３４４１の周波数と同じである）になる。パルスの数は、期間ｔｍｅａｓに比例し、期間ｔｍｅａｓは、電流ＩNEU３４０６に比例する。
【0180】
任意選択的に、パルス系列３４４３を、カウンタ３４２０に入力することができ、カウンタ３４２０は、パルス系列３４４２のパルスの数をカウントし、ニューロン電流ＩNEU３４０６に正比例するパルス系列３４４２におけるパルスの数のデジタルカウントであるカウント値３４２１を生成する。カウント値３４２１は、デジタルビットのセットを含む。別の実施形態では、積分デュアルスロープＡＤＣ３４００は、ニューロン電流ＩNEU３４０７をパルスに変換することができ、パルスの幅は、ニューロン電流ＩNEU３４０７の大きさに反比例している。この反転は、デジタル又はアナログ方式で行うことができ、後続の回路へ出力するための一連のパルス又はデジタルビットに変換することができる。
【0181】
図３５Ａは、出力ニューロン、ＩNEU３５０４に適用されて、セル電流を変動する幅のデジタルパルス又は一連のデジタル出力ビットへと変換する積分デュアル混合スロープＡＤＣ３５００を示す。例えば、ＡＤＣ３５００は、ニューロン出力ブロック（図３２のニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈなど）内のアナログ出力電流をデジタル出力ビットのセットに変換するために使用され得る。積分オペアンプ３５０１及び積分コンデンサ３５０２を含む積分器は、基準電流ＩＲＥＦ３５０３に対して、ニューロン電流ＩNEU３５０４を積分する。スイッチ３５０５を閉じて、ＶＯＵＴをリセットすることができる。
【0182】
初期化フェーズ中に、スイッチ３５０５は閉じられ、ＶＯＵＴが電圧ＶBIASに充電される。その後、図３５Ｂに示すように、スイッチ３５０５は開かれ、一定時間ｔｒｅｆの間、セル電流ＩNEU３５０４は、上積分される。その後、基準電流ＩＲＥＦ３５０３は、Ｖｏｕｔが接地に降下するまで、時間ｔｍｅａｓの間に下積分される。電流ＩNEU３５０４＝ｔｍｅａｓ Ｉｎｅｕ／ｔｒｅＵ*ＩＲＥＦ。例えば、１０ビットの所望の出力ビット分解の場合、ｔｒｅｆは、１０２４クロックサイクルに等しい時間である。期間ｔｍｅａｓは、ＩNEU３５０４及びＩｒｅｆの値に応じて０クロックサイクルに等しい期間から１０２４クロックサイクルまで変化する。図３５Ｂは、電流Ｉｎｅｕ１を有するもの、及び電流Ｉｎｅｕ２を有するものといった、２つの異なるＩｎｅｕ値の例を示す。したがって、ニューロン電流ＩNEU３５０４は、充電及び放電の速度及び傾きに影響を及ぼす。
【0183】
出力３５０６は、ＶＯＵＴ＞ＶＲＥＦのときに高くなり、そうでなければ低くなる。したがって、出力３５０６は、幅が期間ｔｍｅａｓを反映するパルスを生成し、ｔｍｅａｓは次に、電流ＩNEU３４０４に比例する。図３５Ｂでは、ｔｍｅａｓ＝Ｉｎｅｕ１である例の波形３５１２、及びｔｍｅａｓ＝Ｉｎｅｕ２である例の波形３５１５として、出力３５０６が示されている。したがって、出力ニューロン電流ＩNEU３５０４は、パルス、出力３５０６に変換され、パルスの幅は、出力ニューロン電流ＩNEU３５０４の大きさに比例して変動する。
【0184】
任意選択的に、出力３５０６は、別のＶＭＭアレイの入力ブロックなどの、次の回路の段階への送信のために、均一な期間の一連のパルスに変換することができる。期間ｔｍｅａｓの開始時に、出力３５０６は、基準クロック３５０７を用いてＡＮＤゲート３５０８に入力される。出力は、ＶＯＵＴ＞ＶＲＥＦの期間中、パルス系列３５０９（パルス系列３５０９のパルスの周波数は基準クロック３５０７の周波数と同じである）になる。パルスの数は、期間ｔｍｅａｓに比例し、期間ｔｍｅａｓは、電流ＩNEU３５０４に比例する。
【0185】
任意選択的に、パルス系列３５０９を、カウンタ３５１０に入力することができ、カウンタ３５１０は、パルス系列３５０９のパルスの数をカウントし、波形３５１４、３５１７によって示されるように、ニューロン電流ＩNEU３５０４に正比例するパルス系列３５０９におけるパルスの数のデジタルカウントであるカウント値３５１１を生成する。カウント値３５１１は、デジタルビットのセットを含む。
【0186】
別の実施形態では、積分デュアルスロープＡＤＣ３５００は、ニューロン電流ＩNEU３５０４をパルスに変換することができ、パルスの幅は、ニューロン電流ＩNEU３５０４の大きさに反比例している。この反転は、デジタル又はアナログ方式で行うことができ、後続の回路へ出力するための１つ以上のパルス又はデジタルビットに変換することができる。
【0187】
図３５Ｂは、ＩNEU３５０４について、それぞれ２つのニューロン電流値Ｉｎｅｕ１及びＩｎｅｕ２のカウント値３５１１（デジタルビット）を示す。
【0188】
図３６Ａ及び図３６Ｂは、動作中にＶＭＭで実行される例示的な方法３６００及び３６５０に関連する波形を示す。各方法３６００及び３６５０において、ワード線ＷＬ０、ＷＬ１、及びＷＬ２は、様々な異なる入力を受信し、これらの入力は任意選択的に、アナログ電圧波形に変換してワード線に適用することができる。これらの実施例では、電圧ＶＣは、第１のＶＭＭの出力ブロック内のＡＤＣ３４００又は３５００内の、それぞれ図３４Ａ及び図３５Ａの積分コンデンサ３４０２又は３５０２の電圧を表し、ＯＴパルス（＝「１」）は、ニューロンの出力（ニューロンの値に比例する）が積分デュアルスロープＡＤＣ３４００又は３５００を使用して捕捉される期間を表す。図３４及び図３５を参照して説明されたように、出力ブロックの出力は、第１のＶＭＭの出力ニューロン電流に比例して変化する幅のパルスであってもよく、又はパルスの数が第１のＶＭＭのニューロン電流に比例して変化する、均一な幅の一連のパルスであってもよい。次いで、これらのパルスは、第２のＶＭＭへの入力として適用され得る。
【0189】
方法３６００の間、一連のパルス（パルス系列３４４２又はパルス系列３５０９など）、又は一連のパルスから導出されるアナログ電圧は、第２のＶＭＭアレイのワード線に印加される。あるいは、一連のパルス、又は一連のパルスから導出されるアナログ電圧を、第２のＶＭＭアレイ内のセルの制御ゲートに印加することができる。パルスの数（又はクロックサイクル）は、入力の大きさに直接対応する。この特定の例では、ＷＬ１の入力の大きさはＷＬ０の入力の大きさに対して４倍である（４パルス対１パルス）。
【0190】
方法３６５０の間、様々な幅の単一パルス（ＥＣ３４０５又は出力３５０６など）、又は単一パルスから導出される（derives）アナログ電圧は、第２のＶＭＭアレイのワード線に印加されるが、パルスは可変パルス幅を有する。あるいは、パルス又はパルスから導出されるアナログ電圧を、制御ゲートに印加することができる。単一パルスの幅は、入力の大きさに直接対応する。例えば、ＷＬ１の入力の大きさはＷＬ０の入力の大きさに対して４倍である（ＷＬ１パルス幅は、ＷＬ０パルス幅に対して４倍である）。
【0191】
更に、図３６Ｃを参照すると、タイミング制御回路３６７０を使用して、ＶＭＭアレイの出力及び入力インターフェースを管理し、様々な出力又は様々な入力の変換を順次分割することによって、ＶＭＭシステムの電力を管理することができる。図５６は、電力管理方法５６００を描く。第１のステップは、ベクトル行列乗算アレイの複数の入力を受信する（ステップ５６０１）。第２のステップは、複数の入力を複数の入力のセットに編成する（ステップ５６０２）。第３のステップは、複数の入力のセットのそれぞれをアレイに順次提供する（ステップ５６０３）。
【0192】
電力管理方法５６００の一実施形態は、以下である。ＶＭＭシステム（ＶＭＭアレイのワード線又は制御ゲートなど）への入力は、経時的に順次適用することができる。例えば、５１２個のワード線入力を有するＶＭＭアレイの場合、ワード線入力は、４つの群、ＷＬ０～１２７、ＷＬ１２８～２５５、ＷＬ２５６～３８３、及びＷＬ３８３～５１１に分割することができる。各群は、異なる時間に有効化することができ、出力読み出し動作を、図３４～図３６の出力積分回路などによって、４つのワード線群のうちの１つに対応する群に対して実行する（ニューロン電流をデジタルビットに変換する）ことができる。次いで、４つの群のそれぞれが順番に読み取られた後、出力デジタルビット結果を一緒に組み合わせる。この動作は、タイミング制御回路３６７０によって制御され得る。
【0193】
別の実施形態では、タイミング制御回路３６７０は、図３３のアナログニューロメモリシステム３３００などのベクトル行列乗算システムで電力管理を実行する。タイミング制御回路３６７０は、異なる時間に入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈを有効にすることなどによって、入力を経時的に順次ＶＭＭサブシステム３３３３に適用させることができる。同様に、タイミング制御回路３６７０は、異なる時間にニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈを有効にすることなどによって、ＶＭＭサブシステム３３３からの出力を経時的に順次読み出させることができる。
【0194】
図５７は、電力管理方法５７００を示す。第１のステップは、ベクトル行列乗算アレイから複数の出力を受信する（ステップ５７０１）。次のステップは、アレイからの複数の出力を複数の出力のセットに編成する（ステップ５７０２）。次のステップは、複数の出力のセットのそれぞれを変換器回路に順次提供する（ステップ５７０３）。
【0195】
電力管理方法５７００の一実施形態は、以下である。電力管理は、異なる時間にニューロン出力群を順次読み出すことによって、つまり、複数のニューロン出力（ビット線）にわたる出力回路（出力ＡＤＣ回路など）を多重化することによって、タイミング制御回路３６７０により実施することができる。ビット線は、異なる群に配置され得、出力回路は、タイミング制御回路３６７０の制御下で、一度に１つの群で順次に動作する。
【0196】
図５８は、電力管理方法５８００示す。複数のアレイを含むベクトル行列乗算システムにおいて、第１のステップは、複数の入力を受信する。次のステップは、複数のアレイのうちの１つ以上を順次有効にして、複数の入力のうちのいくつか又は全てを受信することである（ステップ５８０２）。
【0197】
電力管理方法５８００の一実施形態は、以下である。タイミング制御回路３６７０は、一度に１つのニューラルネットワーク層で動作することができる。例えば、１つのニューラルネットワーク層が第１のＶＭＭアレイ内に表され、第２のニューラルネットワーク層が第２のＶＭＭアレイ内に表される場合、出力読み出し動作（ニューロン出力がデジタルビットに変換される場合など）は、一度に１つのＶＭＭアレイで順次に実行され、それによってＶＭＭシステムの電力を管理することができる。
【0198】
別の実施形態では、タイミング制御回路３６７０は、図３３に示すように、複数のニューロメモリサブシステム３３３３又は複数のマクロ３３０１を順次に有効にすることによって動作することができる。
【0199】
別の実施形態では、タイミング制御回路３６７０は、非アクティブ期間中（順次有効になるオンとオフとの間の休止期間を意味する）にアレイバイアスを放電することなく、図３３に示すような複数のニューロメモリサブシステム３３３３又は複数のマクロ３３０１を順次有効にすることによって動作することができる（例えば、制御ゲートＣＧに対してワード線ＷＬ及び／若しくはビット線ＢＬを入力として、かつビット線（bitltine）ＢＬを出力としてバイアスするか、又はワード線ＷＬに対して制御ゲートＣＧ及び／若しくはビット線ＢＬを入力として、かつビット線ＢＬを出力としてバイアスする）。これは、１つ以上の読み出し動作中に（例えば、推論又は分類動作中に）複数回使用されるアレイバイアスを、再び不必要な放電及び充電から節電することである。
【0200】
図３７～図４４は、図３３の入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈなどのＶＭＭ入力ブロック、又は図３３のニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈなどのニューロン出力ブロックにおいて使用され得る様々な回路を示す。
【0201】
図３７は、任意選択的に使用して、積分デュアルスロープＡＤＣ３４００又は３５００によって生成されたデジタルパルスを電圧に変換することができるパルス－電圧変換器３７００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。パルス－電圧変換器３７００は、基準電流ＩＲＥＦを生成する基準電流発生器３７０１、コンデンサ３７０２、及びスイッチ３７０３を備える。入力はスイッチ３７０３を制御するために使用される。パルスが入力に受信されると、スイッチが閉じられ、電荷がコンデンサ３７０２に蓄積され、結果として入力信号が完了した後のコンデンサ３７０２の電圧は、受信されたパルスの数を示すことになる。コンデンサは、任意選択的に、ワード線又は制御ゲート電気容量であり得る。
【0202】
図３８は、任意選択的に使用して、ニューロン出力電流を電圧に変換することができる電流－電圧変換器３８００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。電流－電圧変換器３８００は、ここでは、受信したニューロン電流、ｉｎｅｕ（又はＩｉｎ）を表す電流発生器３８０１、及び可変抵抗器３８０２を備える。出力Ｖｏｕｔは、ニューロン電流が増加するにつれて、サイズが増大する。可変抵抗器３８０２は、所望に応じて、Ｖｏｕｔの最大範囲を増加又は減少させるように調整することができる。
【0203】
図３９は、任意選択的に使用して、ニューロン出力電流を電圧に変換することができる電流－電圧変換器３９００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。電流－電圧変換器３９００は、オペアンプ３９０１、コンデンサ３９０２、スイッチ３９０３、スイッチ３９０４、及びここでニューロン電流ＩＣＥＬＬを表す電流源３９０５を備える。動作中、スイッチ３９０３は開かれ、スイッチ３９０４は閉じられる。出力Ｖｏｕｔは、ニューロン電流ＩＣＥＬＬ３９０５の大きさに比例して振幅を増加させる。
【0204】
図４０は、任意選択的に使用して、ニューロン出力電流を対数電圧に変換することができる電流－対数電圧変換器４０００を示し、この対数電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。電流－対数電圧変換器４０００は、メモリセル４００１、スイッチ４００２（メモリセル４００１のワード線端子を、Ｖｏｕｔを生成するノードに選択的に接続する）、及びここではニューロン電流ＩｉＮを表す電流源４００３を含む。動作中、スイッチ４００２は閉じられ、出力Ｖｏｕｔは、ニューロン電流ｉＩＮの大きさに比例して振幅を増加させる。
【0205】
図４１は、任意選択的に使用して、ニューロン出力電流を対数電圧に変換することができる電流－対数電圧変換器４１００を示し、この対数電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。電流－対数電圧変換器４１００は、メモリセル４１０１、スイッチ４１０２（メモリセル４１０１の制御ゲート端子を、Ｖｏｕｔを生成するノードに選択的に接続する）、及びここではニューロン電流ＩｉＮを表す電流源４１０３を含む。動作中、スイッチ４１０２は閉じられ、出力Ｖｏｕｔは、ニューロン電流ＩｉＮの大きさに比例して振幅を増加させる。
【0206】
図４２は、任意選択的に使用して、デジタルデータ（すなわち、０及び１のデータ）を電圧に変換することができるデジタルデータ－電圧変換器４２００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。デジタルデータ－電圧変換器４２００は、コンデンサ４２０１、調節可能な電流源４２０２（ここでは、メモリセルの基準アレイからの電流である）、及びスイッチ４２０３を含む。デジタルデータはスイッチ４２０３を制御する。例えば、デジタルデータが「１」であるときにスイッチ４２０３を閉じることができ、デジタルデータが「０」であるときに開くことができる。コンデンサ４２０１に蓄積された電圧は出力ＯＵＴであり、デジタルデータの値に対応する。任意選択的に、コンデンサは、ワード線又は制御ゲート電気容量であり得る。
【0207】
図４３は、任意選択的に使用して、デジタルデータ（すなわち、０及び１）を電圧に変換することができるデジタルデータ－電圧変換器４３００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。デジタルデータ－電圧変換器４３００は、可変抵抗器４３０１、調節可能な電流源４３０２（ここでは、メモリセルの基準アレイからの電流である）、及びスイッチ４３０３を含む。デジタルデータはスイッチ４３０３を制御する。例えば、デジタルデータが「１」であるときにスイッチ４３０３を閉じることができ、デジタルデータが「０」であるときに開くことができる。出力電圧は、デジタルデータの値に対応する。
【0208】
【0209】
【0210】
図４５は、デジタル入力としてＷ値の基準セットを受信し、いくつかのプログラムされたフラッシュメモリセルから検知されたＷデジタル値を受信するデジタル比較器４５００を示す。デジタル比較器４５００は、１つ以上のフラッシュメモリセルが正しい値でプログラムされていないことを示す不整合が存在する場合にフラグを生成する。
【0211】
図４６は、変換器４６００と協働する図４５のデジタル比較器４５００を示す。検知されたＷ値は、変換器４６００の複数のインスタンス化によって提供される。変換器４６００は、フラッシュメモリセルからセル電流ＩＣＥＬＬを受信し、そのセル電流を、ＡＤＣ３４００又は３５００などの前述した変換器のうちの１つ以上を使用して、デジタル比較器４５００に提供され得るデジタルデータに変換する。
【0212】
図４７は、アナログ入力としてＷ値の基準セットを受信し、いくつかのプログラムされたフラッシュメモリセルから検知されたＷアナログ値を受信するアナログ比較器４７００を示す。アナログ比較器４７００は、１つ以上のフラッシュメモリセルが正しい値でプログラムされていないことを示す不整合が存在する場合にフラグを生成する。
【0213】
図４８は、変換器４８００と協働する図４７のアナログ比較器４７００を示す。検知されたＷ値は、変換器４８００によって提供される。変換器４８００は、感知されたＷ値のデジタル値を受信し、（パルス－電圧変換器３７００、デジタルデータ－電圧変換器４２００、又はデジタルデータ－電圧変換器４３００など）前述した変換器のうちの１つ以上を使用して、アナログ比較器４７００に提供することができるアナログ信号に変換する。
【0214】
図４９は、出力回路４９００を示す。（前述の積分デュアルスロープＡＤＣ３４００又は３５００を使用することなどによって）ニューロンの出力がデジタル化される場合は、ニューロン出力に対して活性化関数を実行する必要が依然としてあり得ることを理解されたい。図４９は、ニューロン出力が可変幅のパルス又はパルス系列に変換される前に活性化が生じる実施形態を示す。出力回路４９００は、活性化回路４９０１及び電流－パルス変換器４９０２を備える。活性化回路は、様々なフラッシュメモリセルからＩｎｅｕｒｏｎ値を受信し、受信したＩｎｅｕｒｏｎ値の総和であるＩｎｅｕｒｏｎ＿ａｃｔを生成する。次に、電流－パルス変換器４９０２は、Ｉｎｅｕｒｏｎ＿ａｃｔを一連のデジタルパルス及び／又は一連のデジタルパルスのカウントを表すデジタルデータに変換する。前述した他の変換器（積分デュアルスロープＡＤＣ３４００又は３５００など）は、変換器４９０２の代わりに使用することができる。
【0215】
別の実施形態では、活性化は、デジタルパルスが生成された後に生じ得る。この実施形態では、デジタル出力ビットは、アクティブ化マッピングテーブル又はアクティブ化マッピングユニット５０１０によって実装される機能を使用して、新しいデジタルビットのセットにマッピングされる。このようなマッピングの例は、図５０及び図５１にグラフで示されている。活性化デジタルマッピングは、シグモイド、ｔａｎｈ、ＲｅＬｕ、又は任意の活性化関数をシミュレートすることができる。更に、活性化デジタルマッピングは、出力ニューロンを量子化することができる。
【0216】
図５２は、プログラミング動作後の検証動作中にＶＭＭの出力を合計して、出力を表す単一のアナログ値を得るために使用できる電荷合計器５２００の例を示しており、この単一のアナログ値は、任意選択的にデジタルビット値に変換することができる。電荷合計器５２００は、電流源５２０１と、スイッチ５２０２及びサンプルアンドホールド（sample-and-hold、Ｓ／Ｈ）コンデンサ５２０３を含むサンプルアンドホールド回路と、を含む。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するための４つのＳ／Ｈ回路が存在し、これらの値はプロセスの終了時に合計される。Ｓ／Ｈコンデンサ５２０３は、そのＳ／Ｈコンデンサの２＾ｎ*ＤＩＮｎビット位置に関連付けられる比率で選択され、例えば、Ｃ＿ＤＩＮ３＝ｘ８ Ｃｕ、Ｃ＿ＤＩＮ２＝ｘ４ Ｃｕ、Ｃ＿ＤＩＮ１＝ｘ２ Ｃｕ、ＤＩＮ０＝ｘ１ Ｃｕである。電流源５２０１もまた、それに応じて比率が乗じられる。
【0217】
図５３は、プログラミング動作後の検証動作中にＶＭＭの出力を合計するために使用できる電流合計器５３００を示す。電流合計器５３００は、電流源５３０１、スイッチ５３０２、スイッチ５３０３及び５３０４、並びにスイッチ５３０５を含む。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するための電流源回路が存在し、これらの値はプロセスの終了時に合計される。電流源は、２＾ｎ*ＤＩＮｎビット位置に基づいて比率が乗じられ、例えば、Ｉ＿ＤＩＮ３＝ｘ８ Ｉｃｅｌｌ単位、Ｉ＿ＤＩＮ２＝ｘ４ Ｉｃｅｌｌ単位、Ｉ＿ＤＩＮ１＝ｘ２ Ｉｃｅｌｌ単位、Ｉ＿ＤＩＮ０＝ｘ１ Ｉｃｅｌｌ単位である。
【0218】
図５４は、複数のデジタル値を受信し、それらを一緒に合計し、入力の和を表す出力ＤＯＵＴを生成する、デジタル合計器５４００を示す。デジタル合計器５４００は、プログラミング動作後の検証動作中に使用することができる。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するためのデジタル出力ビットが存在し、これらの値はプロセスの終了時に合計される。デジタル出力は、２＾ｎ*ＤＩＮｎビット位置に基づいてデジタルでスケーリングされ、例えば、ＤＯＵＴ３＝ｘ８ ＤＯＵＴ０、＿ＤＯＵＴ２＝ｘ４ ＤＯＵＴ１、Ｉ＿ＤＯＵＴ１＝ｘ２ ＤＯＵＴ０、Ｉ＿ＤＯＵＴ０＝ＤＯＵＴ０である。
【0219】
図５５Ａ及び図５５Ｂは、入力ブロック、行デコーダ、又は出力ブロック内で使用されるデジタルビット－パルス幅変換器５５００を示す。デジタルビット－パルス幅変換器５５００から出力されるパルス幅は、図３６Ｂに関連して上述したように、その値に比例する。デジタルビット－パルス幅変換器は、バイナリカウンタ５５０１を含む。バイナリカウンタ５５０１の状態Ｑ［Ｎ：０］は、ロードシーケンス内のシリアルデータ又はパラレルデータによってロードされ得る。行制御論理５５１０は、図３４及び図３５の積分ＡＤＣなどのブロックから提供されるデジタルデータ入力の値に比例するパルス幅を有する電圧パルスを出力する。
【0220】
図５５Ｂは、そのデジタルビット値に比例する幅を有する出力パルス幅の波形を示す。最初に、受信されたデジタルビット内のデータが反転され、反転された桁ビットは、カウンタ５５０１にシリアル又はパラレルのどちらかでロードされる。次いで、行パルス幅は、最大カウンタ値に達するまで、バイナリ方式でカウントすることによって、波形５５２０に示されるように行制御論理５５１０によって生成される。
【0221】
任意選択的に、パルス系列－パルス変換器を使用して、パルス系列（図３４Ｂの信号３４１１又は３４１３、及び図３５Ｂの信号３５１３又は３５１６など）、を含む出力を、ＶＭＭアレイ内のワード線又は制御ゲートに適用されるＶＭＭアレイへの入力として使用される、パルス系列のパルス数に比例して幅が変化する単一パルス（図３６Ｂの信号ＷＬ０、ＷＬ１及びＷＬｅなど）に変換することができる。パルス系列－パルス変換器の例は、制御論理を有するバイナリカウンタである。
【0222】
例は、４ビットデジタル入力に関して表９に示される通りである。
表９：出力パルス幅へのデジタル入力ビット
表９：出力パルス幅へのデジタル入力ビット
【表9】
【0223】
別の実施形態は、アップバイナリカウンタ及びデジタル比較論理を使用する。すなわち、出力パルス幅は、バイナリカウンタのデジタル出力がデジタル入力ビットと同じになるまで、アップバイナリカウンタをカウントすることによって生成される。
【0224】
別の実施形態は、ダウンバイナリカウンタを使用する。最初に、ダウンバイナリカウンタは、デジタルデータ入力パターンとシリアル又はパラレルにロードされる。次いで、出力パルス幅は、バイナリカウンタのデジタル出力が最小値、すなわち「０」論理状態に達するまでダウンバイナリカウンタをカウントダウンすることによって生成される。
【0225】
別の実施形態では、アナログ－デジタル変換器の分解能は、制御信号によって構成することができる。図６０は、プログラム可能ＡＤＣ６０００を示す。プログラム可能ＡＤＣ６０００は、出力ニューロン電流Ｉｎｅｕなどのアナログ信号を受信し、それを、デジタルビットのセットを備える出力６００２に変換する。プログラム可能ＡＤＣ６００は、アナログ制御信号又はデジタル制御ビットのセットであり得る構成６００１を受信する。一例では、出力６００２の分解能は、構成６００１によって決定される。例えば、構成６００１が第１の値を有する場合、出力は、４ビットのセットであり得るが、構成６００１が第２の値を有する場合、出力は、８ビットのセットであり得る。
【0226】
粗いレベル感知回路（図示せず）を使用して、複数のアレイ出力電流をサンプリングすることができ、この電流の値に基づいて、利得（スケーリング係数）を構成することができる。
【0227】
利得は、特定のニューラルネットワークごとに構成することができ、利得は、最良の性能のためにニューラルネットワークトレーニング中に設定することができる。
【0228】
別の実施形態では、ＡＤＣは、上述のアーキテクチャのハイブリッドであり得る。例えば、第１のＡＤＣは、ＳＡＲ ＡＤＣとスロープＡＤＣとのハイブリッドであり得る。第２のＡＤＣは、ＳＡＲ ＡＤＣ及びランプＡＤＣのハイブリッドであってもよく、第３のＡＤＣは、アルゴリズム型ＡＤＣ及びランプＡＤＣのハイブリッドであってもよく、限定されない。
【0229】
図６１Ａは、ハイブリッド出力変換ブロック６１００を示す。出力ブロック６１００は、差動信号ＩＷ＋及びＩＷ－を受信する。逐次近似レジスタＡＤＣ６１０１は、差動信号ＩＷ＋及びＩＷ－を受信し、ＩＷ＋及びＩＷ－によって表されるアナログ値に最もよく対応する上位デジタルビット（例えば、８ビットデジタル表現における最上位ビットＢ７～Ｂ４）を決定する。ＳＡＲ ＡＤＣ６１０１がそれらの上位ビットを決定すると、信号ＩＷ＋及びＩＷ－から上位ビットによって表される値を引いたものを表すアナログ信号が、シリアルＡＤＣブロック６１０２（スロープＡＤＣ又はランプＡＤＣなど）に提供され、次いで、シリアルＡＤＣブロック６１０２が、その差に対応する下位ビット（例えば、８ビットデジタル表現における最下位ビットＢ３～Ｂ０）を決定する。次に、上位ビット及び下位ビットを直列に結合して、入力信号ＩＷ＋及びＩＷ－を表すデジタル出力を生成する。
【0230】
図６１Ｂは、出力ブロック６１１０を示す。出力ブロック６１１０は、差動信号ＩＷ＋及びＩＷ－を受信する。アルゴリズム型ＡＤＣ６１０３は、ＩＷ＋及びＩＷ－に対応する上位ビット（例えば、８ビットデジタル表現におけるビットＢ７～Ｂ４）を決定し、次いで、シリアルＡＤＣブロック６１０４は、下位ビット（例えば、８ビットデジタル表現の場合、ビットＢ３～Ｂ０）を決定する。
【0231】
図６１Ｃは、出力ブロック６１２０を示す。出力ブロック６１２０は、差動信号ＩＷ＋及びＩＷ－を受信する。出力ブロック６１２０は、異なる変換方式（図６１Ａ及び図６１Ｂに示されるものなど）を１つの回路に組み合わせることによって、差動信号ＩＷ＋及びＩＷ－をデジタルビットに変換する、ハイブリッドＡＤＣを含む。
【0232】
図６２は、構成可能なシリアルＡＤＣ６２００を示す。シリアルＡＤＣ６２００は、出力ニューロン電流Ｉｎｅｕを積分コンデンサ６２０２（Ｃｉｎｔ）に積分する積分器６２７０を含む。
【0233】
一実施形態では、ＶＲＡＭＰ６２５０が、比較器６２０４の反転入力に提供される。この場合、ＩＲＥＦ６２５１はオフである。デジタル出力（カウント値）６２２１は、比較器６２０４が極性を切り替えるまでＶＲＡＭＰ６２５０をランプすることによって生成され、カウンタ６２２０は、ランプの開始から比較器６２０４が極性を切り替えるまでクロックパルスをカウントし、その時点でカウンタ６２２０はデジタル出力（カウント値）６２２１を提供する。
【0234】
別の実施形態では、ＶＲＥＦ６２５５が、比較器６２０４の反転入力に提供される。ＶＯＵＴ６２０３は、ＶＯＵＴ６２０３がＶＲＥＦ６２５５に達するまで、ランプ電流６２５１（ＩＲＥＦ）によってランプダウンされ、その時点で、ＥＣ６２０５信号がカウンタ６２２０のカウントを無効にし、その時点で、カウンタ６２２０がデジタル出力（カウント値）６２２１を提供する。（ｎビット）ＡＤＣ６２００は、目標アプリケーションに応じて、より低い精度（ｎビットよりも少ない）又はより高い精度（ｎビットよりも多い）を有するように構成可能である。精度のコンフィギュアビリティは、限定することなく、コンデンサ６２０２の静電容量、電流６２５１（ＩＲＥＦ）、ＶＲＡＭＰ６２５０のランピング速度、又はクロック６２４１のクロック周波数を構成することによって行われる。
【0235】
別の実施形態では、ＶＭＭアレイのＡＤＣ回路は、ｎビットよりも低い精度を有するように構成され、別のＶＭＭアレイのＡＤＣ回路は、ビットよりも高い精度を有するように構成される。
【0236】
別の実施形態では、１つのニューロン回路のシリアルＡＤＣ回路６２００の１つのインスタンスは、次のニューロン回路のシリアルＡＤＣ回路６２００の別のインスタンスと組み合わせて、シリアルＡＤＣ回路６２００の２つのインスタンスの積分コンデンサ６２０２を組み合わせることによってなど、ｎビットよりも高い精度を有するＡＤＣ回路を生成するように構成されている。
【0237】
図６３は、構成可能なニューロンＳＡＲ（逐次近似レジスタ）ＡＤＣ６３００を示す。この回路は、基準電圧ＶＲＥＦに基づいて、電圧入力Ｖｉｎをデジタル出力６３０６に変換する、バイナリコンデンサを使用する電荷再分配に基づく逐次近似変換器である。ＡＤＣ６３００は、バイナリコンデンサＤＡＣ（capacitor DAC、ＣＤＡＣ）６３０１、オペアンプ／比較器６３０２、並びにＳＡＲ論理及びレジスタ６３０３を含む。示されるように、ＧｎｄＶ６３０４は、低電圧基準レベル、例えば、接地レベルである。ＳＡＲ論理及びレジスタ６３０３は、デジタル出力６３０６を提供する。他の非バイナリコンデンサ構造は、重み付けされた基準電圧又は出力による補正を用いて実装され得る。
【0238】
図６４は、次のＳＡＲ ＡＤＣと組み合わせてパイプライン方式でビット数を増加させるために使用され得るパイプライン型ＳＡＲ ＡＤＣ回路６４００を示す。ＳＡＲ ＡＤＣ回路６４００は、バイナリＣＤＡＣ６４０１、オペアンプ／比較器６４０２、オペアンプ／比較器６４０３、並びにＳＡＲ論理及びレジスタ６４０４を備える。示されるように、ＧｎｄＶは、低電圧基準レベル、例えば、接地レベルである。ＳＡＲ論理及びレジスタ６４０４は、デジタル出力６４０６を提供する。Ｖｉｎは入力電圧であり、ＶＲＥＦは基準電圧である。Ｖ残余は、コンデンサ６４０５によって生成され、ＳＡＲ ＡＤＣ変換シーケンスの次のステージへの入力として提供される。
【0239】
図６５は、ハイブリッド方式でビット数を増加させるために使用され得るハイブリッドＳＡＲ＋シリアルＡＤＣ回路６５００を示す。ＳＡＲ ＡＤＣ回路６５００は、バイナリＣＤＡＣ６５０１、オペアンプ／比較器６５０２、並びにＳＡＲ論理及びレジスタ６５０３を備える。示されるように、ＧｎｄＶは、低電圧基準レベル、例えば、ＳＡＲ ＡＤＣ動作中の接地レベルである。ＳＡＲ論理及びレジスタ６５０３は、デジタル出力を提供する。Ｖｉｎは入力電圧であり、ＶＲＥＦは基準電圧である。ＶＲＥＦＲＡＭＰは、オペアンプ／比較器６５０２へのＧｎｄＶ入力の代わりに、シリアルＡＤＣ動作中に基準ランプ電圧として使用される。
【0240】
ハイブリッドＡＤＣアーキテクチャの他の例は、ＳＡＲ ＡＤＣ＋シグマデルタＡＤＣ、フラッシュＡＤＣ＋シリアルＡＤＣ、パイプライン型ＡＤＣ＋シリアルＡＤＣ、シリアルＡＤＣ＋ＳＡＲ ＡＤＣ、及び他のアーキテクチャを含む。
【0241】
図６６は、アルゴリズム型ＡＤＣ出力ブロック６６００を示す。出力ブロック６６００は、示されるように構成された、サンプルホールド回路６６０１と、１ｂアナログ－デジタル変換器６６０２と、デジタル－アナログ変換器６６０３と、合計器６６０４と、演算増幅器６６０５と、制御スイッチ６６０６及び６６０７と、を含む。
【0242】
別の実施形態では、サンプルホールド回路が、ＶＭＭアレイ内の各行への入力のために使用される。例えば、入力がＤＡＣを含む場合、ＤＡＣはサンプルホールド回路を含むことができる。
【0243】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34A】
【図34B】
【図35A】
【図35B】
【図36A】
【図36B】
【図36C】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55A】
【図55B】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61A】
【図61B】
【図61C】
【図62】
【図63】
【図64】
【図65】
【図66】
【手続補正書】
【提出日】2024-02-15
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【0125】
図１３は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を含む。基準アレイ１３０１及び１３０２は、ＶＭＭアレイ１３００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１３００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ１、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【0131】
図１５は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１５００を示す。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、第１の不揮発性基準メモリセルの基準アレイ１５０１と、第２の不揮発性基準メモリセルの基準アレイ１５０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１５００は、ＶＭＭアレイ１５００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１５１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０１４５
【補正方法】変更
【補正の内容】
【0145】
システム制御ブロック３３０４は、一般的な制御機能及び演算動作を処理するためのＡＲＭ／ＭＩＰＳ／ＲＩＳＣ＿Ｖコアなどの１つ以上のマイクロコントローラコアを含んでもよい。システム制御ブロック３３０４はまた、単一の命令を用いて複数のデータで動作するＳＩＭＤ（単一命令多重データ）ユニットを含んでもよい。システム制御ブロック３３０４は、ＤＳＰコアを含んでもよい。システム制御ブロック３３０４は、限定することなく、プール、平均、最小、最大、ソフトマックス、加算、減算、乗算、除算、ログ、アンチログ、ＲｅＬｕ、シグモイド、ｔａｎｈなどの関数、及びデータ圧縮を実行するためのハードウェア又はソフトウェアを含んでもよい。システム制御ブロック３３０４は、活性化の近似器／量子化器／正規化器などの機能を実行するハードウェア又はソフトウェアを含んでもよい。システム制御ブロック３３０４は、入力データの近似器／量子化器／正規化器などの機能を実行する能力を含み得る。ニューロメモリサブシステム３３３３の制御ブロックは、マイクロコントローラコア、ＳＩＭＤコア、ＤＳＰコア、及び他の機能ユニットなどのシステム制御ブロック３３０４の同様の要素を含んでもよい。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０１７６
【補正方法】変更
【補正の内容】
【0176】
初期化フェーズの間、スイッチ３４０８は閉じられる。次いで、Ｖｏｕｔ３４０３及び演算増幅器３４０１の負端子への入力は、ＶＲＥＦになる。その後、図３４Ｂに示すように、スイッチ３４０８は開かれ、一定時間ｔｒｅｆの間、ニューロン電流ＩNEU３４０６は、上積分（up-integrated）される。一定時間ｔｒｅｆの間、Ｖｏｕｔは上昇し、ニューロン電流が変化するにつれてその傾きは変化する。その後、期間ｔｍｅａｓの間、一定基準電流ＩＲＥＦは、時間ｔｍｅａｓ（Ｖｏｕｔが降下する期間）に、下積分（down integrated）され、ｔｍｅａｓは、ＶｏｕｔをＶＲＥＦまで下積分するために必要とされる時間である。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０１９０
【補正方法】変更
【補正の内容】
【0190】
方法３６５０の間、様々な幅の単一パルス（ＥＣ３４０５又は出力３５０６など）、又は単一パルスから導出される（derived）アナログ電圧は、第２のＶＭＭアレイのワード線に印加されるが、パルスは可変パルス幅を有する。あるいは、パルス又はパルスから導出されるアナログ電圧を、制御ゲートに印加することができる。単一パルスの幅は、入力の大きさに直接対応する。例えば、ＷＬ１の入力の大きさはＷＬ０の入力の大きさに対して４倍である（ＷＬ１パルス幅は、ＷＬ０パルス幅に対して４倍である）。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０２０４
【補正方法】変更
【補正の内容】
【0204】
図４０は、任意選択的に使用して、ニューロン出力電流を対数電圧に変換することができる電流－対数電圧変換器４０００を示し、この対数電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。電流－対数電圧変換器４０００は、メモリセル４００１、スイッチ４００２（メモリセル４００１のワード線端子を、Ｖｏｕｔを生成するノードに選択的に接続する）、及びここではニューロン電流ＩｉＮを表す電流源４００３を含む。動作中、スイッチ４００２は閉じられ、出力Ｖｏｕｔは、ニューロン電流ＩｉＮの大きさに比例して振幅を増加させる。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】０２２１
【補正方法】変更
【補正の内容】
【0221】
任意選択的に、パルス系列－パルス変換器を使用して、パルス系列（図３４Ｂの信号３４１１又は３４１３、及び図３５Ｂの信号３５１３又は３５１６など）、を含む出力を、ＶＭＭアレイ内のワード線又は制御ゲートに適用されるＶＭＭアレイへの入力として使用される、パルス系列のパルス数に比例して幅が変化する単一パルス（図３６Ｂの信号ＷＬ０、ＷＬ１及びＷＬ２など）に変換することができる。パルス系列－パルス変換器の例は、制御論理を有するバイナリカウンタである。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】０２４１
【補正方法】変更
【補正の内容】
【0241】
図６６は、アルゴリズム型ＡＤＣ出力ブロック６６００を示す。出力ブロック６６００は、示されるように構成された、サンプルホールド回路６６０１と、アナログ－デジタル変換器６６０２と、デジタル－アナログ変換器６６０３と、合計器６６０４と、演算増幅器６６０５と、制御スイッチ６６０６及び６６０７と、を含む。
【国際調査報告】