▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特許7547536深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-30
(45)【発行日】2024-09-09
(54)【発明の名称】深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
(51)【国際特許分類】
G11C 16/10 20060101AFI20240902BHJP
G06G 7/60 20060101ALI20240902BHJP
G06N 3/065 20230101ALI20240902BHJP
G11C 11/54 20060101ALI20240902BHJP
G11C 16/04 20060101ALI20240902BHJP
G11C 16/14 20060101ALI20240902BHJP
【ＦＩ】
G11C16/10 143
G06G7/60
G06N3/065
G11C11/54
G11C16/04 120
G11C16/14 110
【請求項の数】
2
【外国語出願】
(21)【出願番号】P 2023049721
(22)【出願日】2023-03-27
(62)【分割の表示】P 2020548740の分割
【原出願日】2019-01-24
(65)【公開番号】P2023093463
(43)【公開日】2023-07-04
【審査請求日】2023-04-24
(31)【優先権主張番号】62/642,884
(32)【優先日】2018-03-14
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/991,890
(32)【優先日】2018-05-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
(72)【発明者】
【氏名】ホン、スタンレー
(72)【発明者】
【氏名】リ、アン
(72)【発明者】
【氏名】ブー、サン
(72)【発明者】
【氏名】パム、ヒエン
(72)【発明者】
【氏名】ニュエン、カ
(72)【発明者】
【氏名】トラン、ハン
【審査官】後藤 彰
(56)【参考文献】
【文献】国際公開第２０１７／２００８８３（ＷＯ，Ａ１）
【文献】国際公開第２０１７／２００８８８（ＷＯ，Ａ１）
【文献】特表２０１９－５１７１３８（ＪＰ，Ａ）
【文献】特表２０１９－５１９０５９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１１Ｃ １６／１０
Ｇ０６Ｇ ７／６０
Ｇ０６Ｎ ３／０６５
Ｇ１１Ｃ １６／０４
Ｇ１１Ｃ １６／１４
Ｇ１１Ｃ １１／５４
(57)【特許請求の範囲】
【請求項1】
アナログニューロモーフィックメモリシステムであって、行及び列に編成された不揮発性メモリセルのアレイを備えるベクトルマトリクス乗算アレイであって、各不揮発性メモリセルは、ビット線端子、ワード線端子、及びソース線端子を含み、不揮発メモリセルの各行は、前記行内の前記不揮発メモリセルの前記ワード端子を介してワード線に接続され、かつ、前記行内の前記不揮発性メモリセルの前記ソース端子を線介してソース線に接続され、不揮発性メモリセルの各列は、前記列内の前記不揮発性メモリセルの前記ビット線端子を介してビット線に接続される、ベクトルマトリクス乗算アレイと、
前記不揮発性メモリセルの前記ワード線端子に結合されたワード線デコーダ回路であって、低電圧又は高電圧を結合されたワード線端子に印加することができる、ワード線デコーダ回路と、
前記不揮発性メモリセルの前記ソース線端子に結合されたソース線デコーダ回路であって、前記ソース線デコーダ回路は、各行に対して、前記行の前記ソース線を低電圧に選択的に結合する第１のトランジスタ、及び、前記行の前記ソース線を高電圧に選択的に結合する第２のトランジスタを備える、ソース線デコーダ回路と、を備える、システム。
【請求項2】
各不揮発性メモリセルは消去ゲート端子を更に備え、不揮発性メモリセルの各行は、前記行内の前記不揮発性メモリセルの前記消去ゲート端子を介して消去ゲート線に接続され、前記システムは、前記不揮発性メモリセルの前記消去ゲート端子に結合された消去ゲートデコーダ回路であって、低電圧又は高電圧を結合された消去ゲート端子に印加することができる、消去ゲートデコーダ回路を更に備える、請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０１８年３月１４日出願の「Ｄｅｃｏｄｅｒｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｍｅｍｏｒｙ ｉｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題された米国仮特許出願第６２／６４２，８８４号、及び、２０１８年５月２９日出願の「Ｄｅｃｏｄｅｒｓ Ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題された米国特許出願第１５／９９１，８９０号に対する優先権を主張する。
本出願は、２０１８年３月１４日出願の「Ｄｅｃｏｄｅｒｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｍｅｍｏｒｙ ｉｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題された米国仮特許出願第６２／６４２，８８４号、及び、２０１８年５月２９日出願の「Ｄｅｃｏｄｅｒｓ Ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題された米国特許出願第１５／９９１，８９０号に対する優先権を主張する。
【0002】
（発明の分野）
人工ニューラルネットワークにおけるベクトルマトリクス乗算（ＶＭＭ）アレイと共に使用するためのデコーダの多数の実施形態が開示される。
人工ニューラルネットワークにおけるベクトルマトリクス乗算（ＶＭＭ）アレイと共に使用するためのデコーダの多数の実施形態が開示される。
【背景技術】
【0003】
人工ニューラルネットワークは、多数の入力に依存することができ、概ね未知である機能を推定する又は近似するために使用される生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を真似ている。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は、人工ニューラルネットワークを図示しており、ここで円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これは、ニューラルネットワークが入力に適応できるようにし、学習できるようにする。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信されたデータに基づいて個々に又は合わせて決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに頼り、ニューロン間の高い接続性、すなわち、非常に高度な計算的並行処理を可能にする。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専門化したグラフィック処理ユニットクラスタによって実現され得る。しかしながら、高コストに加え、これらのアプローチはまた、主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しない生物学的ネットワークに比べてあまり良くないエネルギー効率に悩まされている。ＣＭＯＳアナログ回路は、人工ニューラルネットワークに使用されてきたが、ほとんどのＣＭＯＳ実装シナプス（CMOS-implemented synapses）は、多数のニューロン及びシナプスを考えると嵩高すぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成された第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは、複数のメモリセルを含み、メモリセルのそれぞれは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルのそれぞれは、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成される。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗じて第１の複数の出力を生成するように構成される。
【0007】
アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去され、浮遊ゲート内に非常に特異的かつ正確な量の電荷を保持するようにプログラムされなければならない。例えば、各浮動ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、及び６４を含む。
【0008】
従来技術のデコード回路（ビット線デコーダ、ワード線デコーダ、制御ゲートデコーダ、ソース線デコーダ、及び消去ゲートデコーダなど）は、アナログニューロモーフィックメモリシステムにおけるＶＭＭと共に使用するのに好適ではない。この理由の１つは、ＶＭＭシステムでは、プログラム及び検証動作の検証部分（読み出し動作である）が単一の選択メモリセルで動作する一方で、読み出し動作がアレイ内の全てのメモリセルで動作することである。
【0009】
必要とされるものは、アナログニューロモーフィックメモリシステムにおいてＶＭＭと共に使用するのに好適な改良されたデコード回路である。
【発明の概要】
【0010】
人工ニューラルネットワークにおけるベクトルマトリクス乗算（ＶＭＭ）アレイと共に使用するための多数の実施形態が開示される。
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】
【0050】
【0051】
【0052】
【0053】
【0054】
【図面の簡単な説明】
【0055】
【図1】人工ニューラルネットワークを示す図である。
【図2】従来の２ゲート不揮発性メモリセルの横断面図である。
【図3】従来の４ゲート不揮発性メモリセルの横断面図である。
【図4】従来の３ゲート不揮発性メモリセルの側面横断面図である。
【図5】別の従来の２ゲート不揮発性メモリセルの横断面図である。
【図6】不揮発性メモリアレイを利用する異なるレベルの例示的人口ニューラルネットワークを示す図である。
【図7】ベクトル乗算器マトリクスを示すブロック図である。
【図8】様々なレベルのベクトル乗算器マトリクスを示すブロック図である。
【図9】ベクトル乗算器マトリクスの一実施形態を示す。
【図10】ベクトル乗算器マトリクスの別の実施形態を示す。
【図11】ベクトル乗算器マトリクスの別の実施形態を示す。
【図12】ベクトル乗算器マトリクスの別の実施形態を示す。
【図13】ベクトル乗算器マトリクスの別の実施形態を示す。
【図14】ベクトル乗算器マトリクスのためのビット線デコーダの一実施形態を示す。
【図15】ベクトル乗算器マトリクスのためのビット線デコーダの別の実施形態を示す。
【図16】ベクトル乗算器マトリクスのためのビット線デコーダの別の実施形態を示す。
【図17】ベクトル乗算器マトリクスを動作させるためのシステムを示す。
【図18】ベクトル乗算器マトリクスを動作させるための別のシステムを示す。
【図19】ベクトル乗算器マトリクスを動作させるための別のシステムを示す。
【図20】ベクトル乗算器マトリクスと共に使用するためのワード線ドライバの一実施形態を示す。
【図21】ベクトル乗算器マトリクスと共に使用するためのワード線ドライバの別の実施形態を示す。
【図22】ベクトル乗算器マトリクスと共に使用するためのワード線ドライバの別の実施形態を示す。
【図23】ベクトル乗算器マトリクスと共に使用するためのワード線ドライバの別の実施形態を示す。
【図24】ベクトル乗算器マトリクスと共に使用するためのワード線ドライバの別の実施形態を示す。
【図25】ベクトル乗算器マトリクスと共に使用するためのワード線ドライバの別の実施形態を示す。
【図26】ベクトル乗算器マトリクスと共に使用するためのワード線ドライバの別の実施形態を示す。
【図27】ベクトル乗算器マトリクスと共に使用するためのソース線デコーダ回路を示す。
【図28】ベクトル乗算器マトリクスと共に使用するためのワード線デコーダ回路、ソース線デコーダ回路、及び高電圧レベルシフタを示す。
【図29】ベクトル乗算器マトリクスと共に使用するための消去ゲートデコーダ回路、制御ゲートデコーダ回路、ソース線デコーダ回路、及び高電圧レベルシフタを示す。
【図30】ベクトル乗算器マトリクスと共に使用するためのワード線デコーダ回路を示す。
【図31】ベクトル乗算器マトリクスと共に使用するための制御ゲートデコーダ回路を示す。
【図32】ベクトル乗算器マトリクスと共に使用するための別の制御ゲートデコーダ回路を示す。
【図33】ベクトル乗算器マトリクスと共に使用するための別の制御ゲートデコーダ回路を示す。
【図34】ベクトル乗算器マトリクスにおけるワード線を制御するための電流電圧回路を示す。
【図35】ベクトル乗算器マトリクスにおけるワード線を制御するための別の電流電圧回路を示す。
【図36】ベクトル乗算器マトリクスにおける制御ゲート線を制御するための電流電圧回路を示す。
【図37】ベクトル乗算器マトリクスにおける制御ゲートラインを制御するための別の電流電圧回路を示す。
【図38】ベクトル乗算器マトリクスにおける制御ゲートラインを制御するための別の電流電圧回路を示す。
【図39】ベクトル乗算器マトリクスにおけるワード線を制御するための別の電流電圧回路を示す。
【図40】ベクトル乗算器マトリクスにおけるワード線を制御するための別の電流電圧回路を示す。
【図41】ベクトル乗算器マトリクスにおけるワード線を制御するための別の電流電圧回路を示す。
【発明を実施するための形態】
【0056】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
不揮発性メモリセル
【0057】
デジタル不揮発性メモリは、周知である。例えば、米国特許第５，０２９，１３０号（「’１３０号特許」）は、スプリットゲート不揮発性メモリセルのアレイを開示し、あらゆる目的のために参照により本明細書に組み込まれる。このようなメモリセルを図２に示す。各メモリセル２１０は、半導体基板１２内に形成され、チャネル領域１８をその間に有するソース領域１４とドレイン領域１６と、を含む。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に形成され、チャネル領域１８の第１の部分から絶縁されて（かつチャネル領域１８の第１の部分導電性を制御して）おり、またソース領域１６の一部分の上方に形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁され、（かつチャネル領域１８の第２の部分導電性を制御する）第１の部分と、浮遊ゲート２０の上方に、かつ上方でに延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
【0058】
メモリセル２１０は、ワード線端子２２に高圧正電圧を印加することによって消去され（ここで電子は、浮遊ゲートから除去される）、それにより、ファウラーノルドハイムトンネリングによって浮遊ゲート２０からワード線端子２２まで中間絶縁体を通って浮遊ゲート２０の電子をトンネリングさせる。
【0059】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース１６に正電圧を印加することによってプログラムされる（ここで電子は、浮遊ゲートに印加される）。電子電流は、ソース１６からドレイン１４に向かって流れることになる。電子は、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、加速し発熱する。熱せられた電子のいくらかは、浮遊ゲート２０からの静電引力に起因してゲート酸化物２６を通って浮遊ゲート２０に注入される。
【0060】
ドレイン１４及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子下のチャネル領域をターンオンする）ことによって、メモリセル２１０が読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去し、ドレイン１６に正に結合する）場合、浮遊ゲート２０下のチャネル領域の部分は、次に同様にオンになり、電流は、チャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として感知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）場合、次に浮遊ゲート２０下のチャネル領域の部分は、ほとんど又は完全にオフになり、電流は、チャネル領域１８を流れず（又はわずかに流れる）、プログラムされた状態又は「０」の状態として検出される。
【0061】
【0062】
他のスプリットゲートメモリセル構成が知られている。例えば、図３は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２８（典型的には、ワード線に結合される）と、浮遊ゲート２０の上方にある制御ゲート２２と、及びソース領域１４の上方にある消去ゲート３０と、を備える４ゲートメモリセル３１０を示す。この構成は、米国特許第６，７４７，３１０号に記載され、この米国特許は、あらゆる目的のため参照により本明細書に組み込まれる。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、それらは電圧源に電気的に接続される又は接続可能であることを意味する。プログラミングは、浮遊ゲート２０にそれ自体を注入するチャネル領域１８からの熱せられた電子によって示される。消去は、浮遊ゲート２０から消去ゲート３０へトンネリングする電子によって示される。
【0063】
【0064】
図４は、スプリットゲート３ゲートメモリセル４１０を示す。メモリセル４１０は、メモリセル４１０が別個の制御ゲートを有しないことを除いて、図３のメモリセル３１０と同一である。消去動作（消去ゲートを通しての消去）及び読み出し動作は、制御ゲートバイアスがないことを除いて、図３のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、ソース線のプログラム電圧は、制御ゲートバイアスの不足を補償するためにより高い。
【0065】
【0066】
図５は、積層ゲートメモリセル５１０を示す。メモリセル５１０は、浮遊ゲート２０がチャネル領域１８の上方に延在し、制御ゲート２２が絶縁層によって分離された浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
【0067】
【0068】
上記の人工ニューラルネットワークにおける不揮発性メモリセルのタイプのうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しすることができるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
【0069】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。別の実施形態において、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。このことは、セル記憶がアナログであるか、又は多数の別個の値（１６又は６４の異なる値など）のうちの１つを最低限記憶することができ、それは、メモリアレイ内の全てのセルの非常に正確、かつ個々の調整を可能にし、またメモリアレイを記憶に対して理想的にし、ニューラルネットワークのシナプシスの重みに微調整を加えることを意味する。
不揮発性メモリセルアレイを使用するニューラルネットワーク
不揮発性メモリセルアレイを使用するニューラルネットワーク
【0070】
図６は、不揮発性メモリアレイを利用するニューラルネットワークの非限定実施例を概念的に示す。この例は、顔認識アプリケーションのために不揮発性メモリアレイニューラルネットを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の任意の適切なアプリケーションを実施することができる。
【0071】
Ｓ０は入力であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつの３つの３２×３２ピクセルアレイ、各ピクセルが５ビット精度である）。Ｓ０からＣ１に行くシナプスＣＢ１は、異なる重みのセット及び共有される重みの両方を有し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによって決まるように２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）は、シナプスＣＢ１に提供され、それによってこれらの９個の入力値に適切な重みを乗じ、その乗算の出力の合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のニューロンによって与えられる。３×３フィルタは次に右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、そのため、この新しく位置づけられたフィルタの９ピクセル値が、シナプスＣＢ１に提供されるため、それらに同じ重みを乗じ、関連するニューロンによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが３２×３２ピクセル画像全体にわたって３色全て及び全てのビットについてスキャンするまで続ける（精度値）。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【0072】
Ｃ１において、本例では、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、シナプスＣＢ１は、２次元アレイの１６層を構成する（本明細書で言及されるニューロン層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意する）。１６個の特徴マップのそれぞれは、フィルタスキャンに適用される１６個の異なるシナプス重みのセットの１つによって生成される。Ｃ１特徴マップは全て、境界同定など同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
【0073】
活性化関数Ｐ１（プーリング）は、Ｃ１からＳ１へ行く前に適用され、各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする。プーリング段階の目的は、平均して近隣の位置にすること（又はｍａｘ関数もまた使用され得る）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。Ｓ１において、１６個の１５×１５特徴マップ（すなわち、１６個のそれぞれ１５×１５ピクセルの異なるアレイ）が存在する。Ｓ１からＣ２へ行くＣＢ２内のシナプス及び関連するニューロンは、Ｓ１内のマップを１ピクセルのフィルタシフトを使用して４×４フィルタでスキャンする。Ｃ２において、２２個の１２×１２特徴マップが存在する。活性化関数Ｐ２（プーリング）は、Ｃ２からＳ２へ行く前に適用され、各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする。Ｓ２において、２２個の６×６特徴マップが存在する。活性化関数は、Ｓ２からＣ３へ行くシナプスＣＢ３で適用され、ここでＣ３内の全てのニューロンはＳ２内の全てのマップに接続する。Ｃ３において、６４個のニューロンが存在する。Ｃ３から出力Ｓ３へ行くシナプスＣＢ４は、Ｓ３をＣ３と完全に接続する。Ｓ３における出力は、１０個のニューロンを含み、ここで最も高い出力ニューロンは、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
【0074】
シナプスの各レベルは、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。図７は、不揮発性メモリセルを含み、入力層と次の層との間のシナプスとして利用されるベクトルマトリクス乗算（ＶＭＭ）アレイのブロック図である。具体的には、ＶＭＭ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダはメモリアレイ３３に対する入力をデコードする。この例におけるソース線デコーダ３７はまた、メモリセルアレイの出力をデコードする。あるいは、ビット線デコーダ３６は、メモリアレイの出力をデコードすることができる。メモリアレイは、２つの目的を果たす。第１に、ＶＭＭにより使用される重みを記憶する。第２に、メモリアレイは、効果的に、入力に、メモリアレイに記憶された重みを乗じ、それを出力線（ソース線またはビット線）ごとに加算して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算関数を実行することによって、メモリアレイは、別個の乗算及び加算論理回路の必要性をなくし、また、その場でのメモリ計算のために電力効率も良い。
【0075】
メモリアレイの出力は差動加算器（加算オペアンプなど）３８に供給され、差動加算器はメモリセルアレイの出力を合計してその畳み込み用の単一の値を生成する。差動加算器は、正の入力で正の重みと負の重みとの合計を実現するようなものである。合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数には、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数が含まれ得る。整流された出力値は、次の層（例えば上の説明ではＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、メモリアレイは、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から入力を受信する）、加算オペアンプ３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0076】
図８は、様々なレベルのＶＭＭのブロック図である。図１４に示されるように、入力は、デジタルアナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭ３２ａに提供される。入力ＶＭＭ３２ａによって生成された出力は、次のＶＭＭ（隠しレベル１）３２ｂへの入力として提供され、ＶＭＭ（隠しレベル１）３２ｂは、同様にして、次のＶＭＭ（隠しレベル２）３２ｂへの入力として提供される出力を生成する、出力を生成する、などとなる。ＶＭＭの３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの異なる層として機能する。各ＶＭＭは、スタンドアローンの不揮発性メモリアレイであり得、又は複数のＶＭＭは、同じ不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭは、同じ不揮発性メモリアレイの重なり合う部分を利用することができる。図８に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）：１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を備え得ることを理解するであろう。
ベクトルマトリクス乗算（ＶＭＭ）アレイ
ベクトルマトリクス乗算（ＶＭＭ）アレイ
【0077】
図９は、図２に示されるタイプのメモリセルに特に適したニューロンＶＭＭ９００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭ９００は、不揮発性メモリセルのメモリアレイ９０３、基準アレイ９０１、及び基準アレイ９０２を備える。基準アレイ９０１及び９０２は、端子ＢＬＲ０～３内に流れ込む電流入力を電圧入力ＷＬ０～３に変換する役割を果たす。図示の基準アレイ９０１及び９０２は、列方向にある。一般に、基準アレイ方向は入力線に直交する。実際には、基準メモリセルは、マルチプレクサ（１つのマルチプレクサ及び基準ビット線をバイアスするための１つのカスコードトランジスタＶＢＬＲを含むマルチプレクサ９１４）を介して接続されたダイオードであり、電流入力はそれらのに流れ込む。基準セルは、標的基準レベルに調整される。
【0078】
メモリアレイ９０３は、２つの目的を果たす。第１に、ＶＭＭ９００により使用される重みを記憶する。第２に、メモリアレイ９０３は、入力（端子ＢＬＲ０～３に提供される電流入力であって、基準アレイ９０１及び９０２がこれらの電流入力を入力電圧に変換してワード線ＷＬ０～３に供給する）にメモリアレイに記憶された重みを有効に乗算して、出力を生成し、これは次の層への入力又は最終の層への入力となる。乗算関数を実行することによって、メモリアレイは、別個の乗算論理回路の必要性をなくし、また電力効率も良い。ここで、電圧入力はワード線に提供され、出力は読み出し（推論）動作中にビット線に現れる。ビット線の電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0079】
図４２は、ＶＭＭ９００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0080】
図１０は、図２に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１０００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭ１０００は、不揮発性メモリセルのメモリアレイ１００３、基準アレイ１００１、及び基準アレイ１００２を備える。ＶＭＭ１０００は、ＶＭＭ１０００においてワード線が垂直方向に延びることを除いて、ＶＭＭ９００と同様である。２つの基準アレイ１００１（頂部で、偶数行の電圧への基準変換入力電流を提供する）及び１００２（底部で、奇数行の電圧への基準変換入力電流を提供する）が存在する。ここで、入力はワード線に提供され、出力は読み出し動作中にソース線に現れる。ソース線の電流は、ソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0081】
図４３は、ＶＭＭ１０００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0082】
図１１は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１１００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭ１１００は、不揮発性メモリセルのメモリアレイ１１０１、基準アレイ１１０２（偶数行の入力電圧への基準変換入力電流を提供する）、及び基準アレイ１１０３（奇数行の入力電圧への基準変換入力電流を提供する）を備える。ＶＭＭ１１００は、ＶＭＭ１１００を除きＶＭＭ９００と同様である。ＶＭＭ１１００は、メモリセルの行の制御ゲートに結合された制御線１１０６、及びメモリセルの隣接する行の消去ゲートに結合された制御線１１０７を更に備える。ここで、ワード線、制御ゲート線、消去ゲート線は同じ方向である。ＶＭＭは、選択された基準メモリセル及びスイッチ１１０５（ｍｕｘ １１１４の一部）のビット線コンタクトに選択的に結合する基準ビット線選択トランジスタ１１０４（ｍｕｘ １１１４の一部）を更に備え、このビット線選択トランジスタ１１０４は、特定の選択された基準メモリセルのために、基準ビット線を制御線１１０６に選択的に結合する。ここで、入力は（メモリアレイ１１０１の）ワード線に提供され、出力は読み出し動作中にビット線１１０９などのビット線に現れる。ビット線の電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0083】
図４４は、ＶＭＭ１１００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線の電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0084】
図１２は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１２００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭ１２００は、ＶＭＭ１２００で、消去ゲート線１２０１などの消去ゲート線が垂直方向に延びることを除いて、ＶＭＭ１１００と同様である。ここで、入力はワード線に提供され、出力はソース線に現れる。ビット線の電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0085】
図４５は、ＶＭＭ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線の電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0086】
図１３は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１３００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭ１３００は、不揮発性メモリセルのメモリアレイ１３０１、及び基準アレイ１３０２（アレイの頂部で）を備える。あるいは、別の基準アレイが、図１０のものと同様に、底部に位置することができる。他の点では、ＶＭＭ１３００は、ＶＭＭ１３００で、制御ゲート線１３０３などの制御ゲート線が垂直方向に延び（したがって、行方向の基準アレイ１３０２が入力制御ゲート線に直交する）、消去ゲート線１３０４などの消去ゲート線が水平方向に延びることを除いて、ＶＭＭ１２００と同様である。ここで、入力は制御ゲート線に提供され、出力はソース線に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。ソース線の電流は、ソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0087】
ニューラルネットワークについて本明細書に記載されるように、フラッシュセルは、サブ閾値領域で動作するように構成されることが好ましい。
【0088】
本明細書に記載されたメモリセルは、弱反転にバイアスされる。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
ｗ＝ｅ(-Vth)/kVt
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
ｗ＝ｅ(-Vth)/kVt
【0089】
入力電流を入力電圧に変換するためにメモリセルを使用するＩーＶログ変換器について：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
【0090】
ベクトルマトリクス乗算器ＶＭＭとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
【0091】
ワード線又は制御ゲートは、入力電圧に対するメモリセルの入力として使用することができる。
【0092】
あるいは、フラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ α（Ｖｇｓ－Ｖｔｈ）
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ α（Ｖｇｓ－Ｖｔｈ）
【0093】
Ｉ－Ｖ線形変換器では、線形領域で動作するメモリセルを使用して、入力／出力電流を入力／出力電圧に線形に変換することができる。
【0094】
ＥＳＦベクトルマトリクス乗算器の他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されているとおりである。ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
【0095】
図１４は、ビット線デコーダ回路１４００の一実施形態を示す。ビット線デコーダ回路１４００は、列デコーダ１４０２及びアナログニューロモーフィックニューロン（「ＡＮＮ」）列デコーダ１４０３を備え、これらの各々はＶＭＭアレイ１４０１に結合される。ＶＭＭアレイは、先に論じたＶＭＭ設計（ＶＭＭ９００、１０００、１１００、１２００、及び１３００など）又は他のＶＭＭ設計のうちのいずれかに基づくことができる。
【0096】
アナログニューロモーフィックシステムによる１つの課題は、システムが（読み出し動作を伴う）プログラム及び検証を行うことができなければならず、アレイ内の全てのセルが選択され読み出されるＡＮＮ読み出しを実行することができなければならないことである。換言すれば、ビット線デコーダは、場合によっては１つのビット線のみを選択しなければならならず、他の例では全てのビット線を選択しなければならない。
【0097】
ビット線デコーダ回路１４００は、この目的を達成する。列デコーダ１４０２は、従来の列デコーダ（プログラム及び消去、又はＰＥ、デコード経路）であり、プログラム及びプログラム検証（感知動作）などの個々のビット線を選択するために使用することができる。列デコーダ１４０２の出力は、プログラム、ＰＥ検証、及び消去を制御するためのプログラム／消去（ＰＥ）列ドライバ回路に結合される（図１４には示されていない）。ＡＮＮ列デコーダ１４０３は、一度に全てのビット線での読み出し動作を可能にするように具体的に設計された列デコーダである。ＡＮＮ列デコーダ１４０３は、ビット線（ここではＢＬ０）に結合された例示的な選択トランジスタ１４０５及び出力回路（例えば、ｔａｎｈ、シグモイド、ＲｅＬＵなどの電流加算器及び活性化関数）１４０６を備える。同じデバイスのセットが、他のビット線の各々に取り付けられる。選択トランジスタ１４０５などの選択トランジスタの全ては、選択線１４０４に結合される。ＡＮＮ読み出し動作中、選択線１４０４が有効にされ、選択トランジスタ１４０５などの選択トランジスタの各々がオンになり、次いで、各ビット線からの電流が回路１４０６及び出力などの出力回路によって受信される。
【0098】
図１５は、ビット線デコーダ回路１５００の一実施形態を示す。ビット線デコーダ回路１５００は、ＶＭＭアレイ１５０１に結合される。ＶＭＭアレイは、先に論じたＶＭＭ設計（ＶＭＭ９００、１０００、１１００、１２００、及び１３００など）又は他のＶＭＭ設計のうちのいずれかに基づくことができる。
【0099】
選択トランジスタ１５０２及び１５０３は、一対の相補的制御信号（Ｖ０及びＶＢ＿０）によって制御され、ビット線（ＢＬ０）に結合される。選択トランジスタ１５０４及び１５０５は、別の対の相補的制御信号（Ｖ１及びＶＢ＿１）によって制御され、別のビット線（ＢＬ１）に結合される。選択トランジスタ１５０２及び１５０４は、プログラミングを有効にするために同じ出力に結合され、選択トランジスタ１５０３及び１５０５は、禁止プログラミングのためなどの同じ出力に結合される。トランジスタ１５０２／１５０３／１５０４／１５０５の出力線（プログラム及び消去ＰＥデコード経路）は、プログラム、ＰＥ検証、及び消去（図示せず）を制御するためのＰＥ列ドライバ回路に結合されるようなものである。
【0100】
選択トランジスタ１５０６は、ビット線（ＢＬ０）に結合され、出力及び活性化関数回路１５０７（例えば、ｔａｎｈ、シグモイド、ＲｅＬＵなどの電流加算及び活性化関数）に結合される。選択トランジスタ１５０６は制御線１５０８によって制御される。
【0101】
ＢＬ０のみが活性化されると、制御線１５０８はデアサートされ、信号Ｖ０はアサートされ、したがってＢＬ０のみを読み取る。ＡＮＮ読み出し動作中に、制御線１５０８がアサートされ、選択トランジスタ１５０６及び同様のトランジスタがオンにされ、全てのビット線は、全てのニューロン処理のために読み出される。
【0102】
図１６は、ビット線デコーダ回路１６００の一実施形態を示す。ビット線デコーダ回路１６００は、ＶＭＭアレイ１６０１に結合される。ＶＭＭアレイは、先に論じたＶＭＭ設計（ＶＭＭ９００、１０００、１１００、１２００、及び１３００など）又は他のＶＭＭ設計のうちのいずれかに基づくことができる。
【0103】
選択トランジスタ１６０１は、ビット線（ＢＬ０）に結合され、出力及び活性化関数回路１６０３に結合される。選択トランジスタ１６０２は、ビット線（ＢＬ０）及び共通出力（ＰＥデコード経路）に結合される。
【0104】
ＢＬ０のみが活性化されると、選択トランジスタ１６０２が活性化され、ＢＬ０が共通出力に取り付けられる。ＡＮＮ読み出し動作中、選択トランジスタ１６０１及び同様のトランジスタがオンにされ、全てのビット線が読み出される。
【0105】
図１４、１５及び１６のデコードに関して、非選択トランジスタについては、トランジスタ漏れがメモリセル性能に影響を及ぼすことを低減するために、負バイアスを与えることができる。あるいは、アレイがＡＮＮ動作中である間に、ＰＥデコード経路に負バイアスを与えることができる。負バイアスは、－０．１Ｖ～－０．５Ｖ以上であり得る。
【0106】
図１７は、ＶＭＮ１７００を示す。ＶＭＭシステム１７００は、ＶＭＭアレイ１７０１及び基準アレイ１７２０（これは、ＶＭＭ９００、１０００、１１００、１２００、及び１３００、又は他のＶＭＭ設計など、前述のＶＭＭ設計のいずれかに基づくことができる）、低電圧行デコーダ１７０２、高電圧行デコーダ１７０３、参照セル低電圧列デコーダ１７０４（列方向の基準アレイのために示され、行方向に変換を出力するための入力を提供することを意味する）、ビット線ＰＥドライバ１７１２、ビット線マルチプレクサ１７０６、活性化関数回路及び加算器１７０７、制御論理１７０５、及びアナログバイアス回路１７０８を備える。
【0107】
図示のように、基準セル低電圧列デコーダ１７０４は、列方向の基準アレイ１７２０のためにあり、行方向に変換を出力するための入力を提供することを意味する。基準アレイが行方向にある場合、基準デコーダは、アレイの頂部及び／又は底部で行われ、列方向に変換を出力するための入力を提供する必要がある。
【0108】
低電圧行デコーダ１７０２は、読み出し及びプログラム動作のためのバイアス電圧を提供し、高電圧行デコーダ１７０３のデコード信号を提供する。高電圧行デコーダ１７０３は、プログラム及び消去動作のための高電圧バイアス信号を提供する。参照セル低電圧列デコーダ１７０４は、参照セルのデコード関数を提供する。ビット線ＰＥドライバ１７１２は、プログラム、検証、及び消去におけるビット線の制御関数を提供する。バイアス回路１７０５は、様々なプログラム、消去、プログラム検証、及び読み出し動作に必要な複数の電圧を提供する共有バイアスブロックである。
【0109】
図１８は、ＶＭＭシステム１８００を示す。ＶＭＭシステム１８００は、ＶＭＭシステム１８００が、赤色アレイ１８０１、ビット線ＰＥドライバＢＬＤＲＶ１８０２、高電圧列デコーダ１８０３、ＮＶＲセクタ１８０４、及び基準アレイ１８２０を更に備えることを除いて、ＶＭＭシステム１７００と同様である。高電圧列デコーダ１８０３は、垂直デコード線の高電圧バイアスを提供する。赤色アレイ１８０２は、欠陥のあるアレイ部分を置き換えるためのアレイ冗長性を提供する。ＮＶＲ（不揮発性レジスタ別名情報セクタ）セクタ１８０４は、ユーザ情報、デバイスＩＤ、パスワード、セキュリティキー、トリムビット、構成ビット、製造情報などを記憶するために使用されるアレイセクタであるセクタである。
【0110】
図１９は、ＶＭＭシステム１９００を示す。ＶＭＭシステム１９００は、ＶＭＭシステム１９００が参照システム１９９９を更に備えることを除いて、ＶＭＭシステム１８００と同様である。基準システム１９９９は、基準アレイ１９０１、基準アレイ低電圧行デコーダ１９０２、基準アレイ高電圧行デコーダ１９０３、及び基準アレイ低電圧列デコーダ１９０４を備える。基準システムは、複数のＶＭＭシステムにわたって共有することができる。ＶＭＭシステムは、ＮＶＲセクタ１９０５を更に備える。
【0111】
基準アレイ低電圧行デコーダ１９０２は、基準アレイ１９０１を伴う読み出し及びプログラミング動作のためのバイアス電圧を提供し、基準アレイ高電圧行デコーダ１９０３のデコード信号も提供する。基準アレイ高電圧行デコーダ１９０３は、基準アレイ１９０１を伴うプログラム及び動作のための高電圧バイアスを提供する。基準アレイ低電圧列デコーダ１９０４は、基準アレイ１９０１のデコード関数を提供する。基準アレイ１９０１は、プログラム検証のための基準ターゲット又はセルマージンを提供する（辺縁セルを探索する）ようなものである。
【0112】
図２０は、ワード線ドライバ２０００を示す。ワード線ドライバ２０００は、ワード線（本明細書に示される例示的なワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３など）を選択し、そのワード線にバイアス電圧を提供する。各ワード線は、制御線２００１によって制御される選択ｉｓｏ（絶縁）トランジスタ２００２などの選択トランジスタに取り付けられる。ｉｓｏトランジスタ２００２は、ワード線デコードトランジスタから消去（例えば、８～１２Ｖ）などの高電圧を絶縁するために使用され、これはＩＯトランジスタ（例えば、１．８Ｖ、３．３Ｖ）で実装することができる。ここで、任意の動作中に、制御線２００１が活性化され、ｉｓｏトランジスタ２００２を選択するのに類似した全ての選択トランジスタがオンにされる。例示的バイアストランジスタ２００３（ワード線デコード回路の一部）は、ワード線を第１のバイアス電圧（３Ｖなど）に選択的に結合させ、例示的なバイアストランジスタ２００４（ワード線デコード回路の一部）は、ワード線を第２のバイアス電圧（第１のバイアス電圧より低く、接地を含み、間のバイアスであり、非使用メモリ行からの漏れを低減するための負電圧バイアスである）に選択的に結合させた。ＡＮＮ読み出し動作中、全ての使用ワード線が選択され、第１のバイアス電圧に結び付けられる。全ての非使用ワード線は、第２のバイアス電圧に結び付けられる。プログラム動作などの他の動作中に、一方のワード線のみが選択され、他方のワード線が第２のバイアス電圧に結び付けられるまで選択され、これは、アレイ漏れを低減するために負バイアス（例えば、－０．３～－０．５Ｖ以上）であり得る。
【0113】
図２１は、ワード線ドライバ２１００を示す。ワード線ドライバ２１００は、バイアストランジスタ２１０３などの頂部トランジスタがバイアス電圧に個別に結合され得ることを除いて、ワード線ドライバ２０００と同様であり、このようなトランジスタは全てワード線ドライバ２０００内のように共に結び付けられない。これにより、全てのワード線は、同時に異なる独立した電圧を同時に有することが可能になる。
【0114】
図２２は、ワード線ドライバ２２００を示す。ワード線ドライバ２２００は、バイアストランジスタ２１０３及び２１０４がデコーダ回路２２０１及びインバータ２２０２に結合されることを除いて、ワード線ドライバ２１００と同様である。したがって、図２２は、ワード線ドライバ２２００内のデコードサブ回路２２０３を示す。
【0115】
図２３は、ワード線ドライバ２３００を示す。ワード線ドライバ２３００は、バイアストランジスタ２１０３及び２１０４がシフトレジスタ２３０１のステージ２３０２の出力に結合されることを除いて、ワード線ドライバ２１００と同様である。シフトレジスタ１３０１は、データのシリアルシフト（レジスタをシリアル計時する）によって、データパターンのシフトに応じて１つ以上の行が同時に有効になることを可能にするなど、各列を独立して制御することを可能にする。
【0116】
図２４は、ワード線ドライバ２４００を示す。ワード線ドライバ２４００は、各選択トランジスタがコンデンサ２４０３などのコンデンサに更に結合されることを除いて、ワード線ドライバ２０００と同様である。コンデンサ２４０３は、トランジスタ２４０１によって線２４４０の電圧をサンプリングするためにトランジスタ２４０１によって有効にされた、動作の開始時のワード線にプリチャージ又はバイアスを提供することができる。コンデンサ２４０３は、各ワード線に対する入力電圧をサンプリング及び保持するように作用する（Ｓ／Ｈ）。トランジスタ２４０１は、ＶＭＭアレイのＡＮＮ動作（アレイ電流加算器及び活性化関数）中にオフであり、Ｓ／Ｈコンデンサの電圧がワード線の（浮遊）電圧源として機能することを意味する。あるいは、コンデンサ２４０３は、メモリアレイからのワード線容量によって提供され得る。
【0117】
図２５は、ワード線ドライバ２５００を示す。ワード線ドライバ２５００は、バイアストランジスタ２５０１及び２５０２がそれぞれスイッチ２５０３及び２５０４に接続されることを除いて、前述のワード線ドライバと同様である。スイッチ２５０３は、ｏｐａ（演算増幅器）２５０５及びスイッチ２５０４の出力を受信し、スイッチ２５０４は、ｏｐａ２５０５の負入力に基準入力を提供し、これにより、ｏｐａ２５０５、トランジスタ２５０１、スイッチ２５０３及び２５０４によって提供された閉ループの作用により、コンデンサ２４０３によって記憶された電圧を本質的に提供する。このようにして、スイッチ２５０３及び２５０４が閉じられると、入力２５０６の電圧がトランジスタ２５０１によってコンデンサ２４０３に重畳される。あるいは、コンデンサ２４０３は、メモリアレイからのワード線容量によって提供され得る。
【0118】
図２６は、ワード線ドライバを示す。ワード線ドライバ２６００は、電圧をワード線ＷＬ０に駆動するためにコンデンサ２６０４の電圧の電圧バッファとして作用する増幅器２６０１の追加を除いて、前述したワード線ドライバと同様であり、Ｓ／Ｈコンデンサの電圧がワード線のための（浮遊）電圧源として機能することを意味する。これは、例えば、ワード線とワード線の結合がコンデンサの電圧に影響を及ぼすことを回避するためである。
【0119】
図２７は、高電圧ソース線デコーダ回路２７００を表す。高電圧ソース線デコーダ回路は、図示のように構成されたトランジスタ２７０１、２７０２及び２７０３を備える。トランジスタ２７０３は、ソース線を低電圧に選択解除するために使用される。トランジスタ２７０２は、高電圧をアレイのソース線に駆動するために使用され、トランジスタ２７０１はソース線の電圧を監視するために使用される。トランジスタ２７０２、２７０１及びドライバ回路（例えば、ｏｐａ）は、ＰＶＴ（プロセス、電圧、温度）及び変動電流負荷条件を維持するために、閉ループ方式（力／感知）で構成される。ＳＬＥ（駆動ソース線ノード）及びＳＬＢ（監視されたソース線ノード）は、ソース線の一方の端部にあり得る。あるいは、ＳＬＥは、ソース線の一方の端部にあり、ＳＬＮが他方の端部にあり得る。
【0120】
図２８は、図２に示されるタイプのメモリセルと共に使用するのに適切である、ワード線デコーダ回路２８０１、ソース線デコーダ回路２８０４及び高電圧レベルシフタ２８０８を備えるＶＭＭ高電圧デコード回路を示す。
【0121】
ワード線デコーダ回路２８０１は、図示のように構成された、ＰＭＯＳ選択トランジスタ２８０２（信号ＨＶＯ＿Ｂによって制御される）及びＮＭＯＳ選択トランジスタ２８０３（信号ＨＶＯ＿Ｂによって制御される）を備える。
【0122】
ソース線デコーダ回路２８０４は、ＮＭＯＳ監視トランジスタ２８０５（信号ＨＶＯによって制御される）と、駆動トランジスタ２８０６（信号ＨＶＯによって制御される）と、図示のように構成された（信号ＨＶＯ＿Ｂによって制御される）トランジスタ２８０７を備える。
【0123】
高電圧レベルシフタ２８０８は、有効な信号ＥＮを受信し、高電圧信号ＨＶ及びその補体ＨＶＯ＿Ｂを出力する。
【0124】
図２９は、図３に示されるタイプのメモリセルと共に使用するのに適切である、消去ゲートデコーダ回路２９０１、制御ゲートデコーダ回路２９０４、ソース線デコーダ回路２９０７及び高電圧レベルシフタ２９１１を備えるＶＭＭ高電圧デコード回路を示す。
【0125】
消去ゲートデコーダ回路２９０１及び制御ゲートデコーダ回路２９０４は、図２８のワード線デコーダ回路２８０１と同じ設計を使用する。
【0126】
ソース線デコーダ回路２９０７は、図２８のソース線デコーダ回路２８０４と同じ設計を使用する。
【0127】
高電圧レベルシフタ２９１１は、図２８の高電圧レベルシフタ２８０８と同じ設計を使用する。
【0128】
図３０は、例示的なワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３のワード線デコーダ３００を示す。例示的なワード線ＷＬ０は、プルアップトランジスタ３００１及びプルダウントランジスタ３００２に結合される。プルアップトランジスタ３００１が活性化されると、ＷＬ０が有効になる。プルダウントランジスタ３００２が活性化されると、ＷＬ０は無効にされる。図３０の関数は、絶縁トランジスタを有さない図２１と同様である。
【0129】
図３１は、例示的な制御ゲート線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３の制御ゲートデコーダ３１００を示す。例示的な制御ゲート線ＣＧ０は、プルアップトランジスタ３１０１及びプルダウントランジスタ３１０２に結合される。プルアップトランジスタ３１０１が活性化されると、ＣＧ０が有効にされる。プルダウントランジスタ３１０２が活性化されると、ＣＧ０は無効にされる。図３１の選択及び選択解除関数は、制御ゲートの図３０の選択及び選択関数と同様である。
【0130】
図３２は、例示的な制御ゲート線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３の制御ゲートデコーダ３２００を示す。制御ゲートデコーダ３２００は、制御ゲートデコーダ３２００が各制御ゲート線に結合されたコンデンサ３２０３などのコンデンサを含むことを除いて、制御ゲートデコーダ３１００と同様である。これらのサンプルアンドホールド（Ｓ／Ｈ）コンデンサは、動作前に各制御ゲート線にプリチャージバイアスを提供することができ、Ｓ／Ｈコンデンサの電圧が制御ゲート線の（浮遊）電圧源として機能することを意味する。Ｓ／Ｈコンデンサは、メモリセルからの制御ゲート容量によって提供され得る。
【0131】
図３３は、例示的な制御ゲート線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３の制御ゲートデコーダ３３００を示す。制御ゲートデコーダ３３００は、制御ゲートデコーダ３３００がバッファ３３０１（ｏｐａなど）を更に備えることを除いて、制御ゲートデコーダ３２００と同様である。
【0132】
図３４は、電流電圧回路３４００を示す。回路は、構成されたダイオード接続基準セル回路３４５０及びサンプルアンドホールド回路３４６０を備える。回路３４５０は、入力電流源３４０１、ＮＭＯＳトランジスタ３４０２、カスコーディングバイアストランジスタ３４０３、及び基準メモリセル３４０４を備える。サンプルアンドホールド回路は、スイッチ３４０５及びＳ／Ｈコンデンサ３４０６からなる。メモリ３４０４は、ワード線を供給するためなど、入力電流を電圧に変換するために、ビット線のバイアスを有するダイオード接続構成でバイアスされる。
【0133】
図３５は、電流電圧回路３５００を示しており、電流電圧回路３５００は、電流電圧回路３４００と同様であるが、それにＳ／Ｈコンデンサの後に増幅器３５０１を追加している。電流電圧回路３５００は、構成されたダイオード接続基準セル回路３５５０、サンプルアンドホールド回路３４７０、及び増幅器ステージ３５６２を備える。
【0134】
図３６は、ダイオード接続構成における制御ゲートの電流電圧回路３４００と同じ設計である電流電圧回路３６００を示す。電流電圧回路３６００は、構成されたダイオード接続基準セル回路３６５０及びサンプルアンドホールド回路３６６０を備える。
【0135】
図３７は、基準回路３７５０とＳ／Ｈ回路３７６０との間にバッファ３７９０が配置される電流電圧回路３７００を示す。
【0136】
図３８は、ダイオード接続構成で接続された制御ゲートを有する図３５と同様の電流電圧回路３８００を示す。電流電圧回路３８００は、構成されたダイオード接続基準セル回路３５５０、サンプルアンドホールド回路３８７０、及び増幅器ステージ３８６２を備える。
【0137】
【0138】
【0139】
図４１は、図２のメモリセルに適用された図３８と同様の電流電圧回路４１００を示す。電流電圧回路４１００は、構成されたダイオード接続基準セル回路４１５０、サンプルアンドホールド回路４１７０、及び増幅器ステージ４１６２を備える。
【0140】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「の上に間接的に」（中間材料、要素、又は空間がそれらの間に配設される）を包括的に含むことに留意するべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「間接的に隣接した」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「に間接的に取り付けられた」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に何ら伴わずに、形成すること、及びその要素を基板の上に間接的に、１つ以上の中間材料／要素をそれらの間に伴って、形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】