知財求人 - 知財ポータルサイト「IP Force」
▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特許7570459深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-10
(45)【発行日】2024-10-21
(54)【発明の名称】深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置
(51)【国際特許分類】
G11C 16/10 20060101AFI20241011BHJP
G11C 16/30 20060101ALI20241011BHJP
【ＦＩ】
G11C16/10 140
G11C16/30 120
【請求項の数】
5
【外国語出願】
(21)【出願番号】P 2023086886
(22)【出願日】2023-05-26
(62)【分割の表示】P 2020560979の分割
【原出願日】2019-04-08
(65)【公開番号】P2023130332
(43)【公開日】2023-09-20
【審査請求日】2023-06-19
(31)【優先権主張番号】62/665,359
(32)【優先日】2018-05-01
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/042,972
(32)【優先日】2018-07-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
(72)【発明者】
【氏名】リ、アン
(72)【発明者】
【氏名】ブー、サン
(72)【発明者】
【氏名】ホン、スタンレー
(72)【発明者】
【氏名】ティワリ、ビピン
(72)【発明者】
【氏名】ドー、ナン
【審査官】後藤 彰
(56)【参考文献】
【文献】特開２００９－１５７９９５（ＪＰ，Ａ）
【文献】特開２００３－１５７６７９（ＪＰ，Ａ）
【文献】国際公開第２０１７／２００８８３（ＷＯ，Ａ１）
【文献】特開２００７－１９３９３６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１１Ｃ １６／１０
Ｇ１１Ｃ １６／３０
(57)【特許請求の範囲】
【請求項1】
プログラミング動作中に高電圧生成器によってメモリアレイに印加された電流の変化を補償するためのシステムであって、該システムは、不揮発性メモリセルのアレイであって、前記セルは列及び行に配置され、各列はビット線に結合される、不揮発性メモリセルのアレイを備え、
列のセットはダミービット線と関連付けられ、前記列のセット内の他のビット線がプログラミング動作中にオンにされていないときに、前記ダミービット線はオンにされる、システム。
【請求項2】
前記メモリアレイは、ベクトルマトリックス乗算器である、請求項１に記載のシステム。
【請求項3】
メモリセルのアレイ内の選択されたメモリセルをプログラミングするための方法であって、該方法は、前記選択されたメモリセルの一括プログラミングを実行するステップと、
前記選択されたメモリセルのソフト消去を実行するステップと、
使用されていない選択されたメモリセルのハードプログラムを実行するステップと、
使用される選択されたメモリセルのソフトプログラムを実行するステップと、
使用される選択されたメモリセルの精密なプログラミングを実行するステップであって、前記精密なプログラミングは、高電圧供給及び補償スキームを使用する、実行するステップと、を含む、方法。
【請求項4】
前記補償スキームは、補償電流に依存する、請求項３に記載の方法。
【請求項5】
メモリアレイは、ベクトルマトリックス乗算器である、請求項３に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０１８年５月１日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｉｇｈ Ｖｏｌｔａｇｅ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６２／６６５，３５９号、及び２０１８年７月２３日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｉｇｈ Ｖｏｌｔａｇｅ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／０４２，９７２号の優先権を主張する。
本出願は、２０１８年５月１日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｉｇｈ Ｖｏｌｔａｇｅ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６２／６６５，３５９号、及び２０１８年７月２３日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｈｉｇｈ Ｖｏｌｔａｇｅ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／０４２，９７２号の優先権を主張する。
【0002】
（発明の分野）
深層学習人工ニューラルネットワークで使用されるアナログニューラルメモリにおける特定のプログラミング動作に必要な高電圧を生成するための高電圧生成アルゴリズム及びシステムについて、多数の実施形態が開示されている。
深層学習人工ニューラルネットワークで使用されるアナログニューラルメモリにおける特定のプログラミング動作に必要な高電圧を生成するための高電圧生成アルゴリズム及びシステムについて、多数の実施形態が開示されている。
【背景技術】
【0003】
人工ニューラルネットワークは、多数の入力に依存し得る、かつ概ね未知である関数を推定する又は近似するために使用される生物学的ニューラルネットワーク（例えば、動物の中枢神経系、特に脳）によく似ている。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は、人工ニューラルネットワークを図示しており、ここで円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これは、ニューラルネットワークが入力に適応できるようにし、学習できるようにする。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信されたデータに基づいて個々に又は合わせて決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに頼り、ニューロン間の高い接続性、すなわち、非常に高度な計算的並行処理を可能にする。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専門化したグラフィック処理ユニットクラスタによって実現され得る。しかしながら、高コストに加え、これらのアプローチはまた、主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しない生物学的ネットワークに比べてあまり良くないエネルギー効率に悩まされている。ＣＭＯＳアナログ回路は、人工ニューラルネットワークに使用されてきたが、ほとんどのＣＭＯＳ実装シナプス（CMOS－implemented synapses）は、多数のニューロン及びシナプスを考えると嵩高すぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受信し、それから第１の複数の出力を生成するように構成された第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、をそれぞれが含む複数のメモリセルを含む。複数のメモリセルのそれぞれは、浮遊ゲートの多くの電子に対応する重み値を格納するように構成される。複数のメモリセルは、第１の複数の入力に、格納された重み値を乗じて第１の複数の出力を生成するように構成される。
【0007】
アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去され、浮遊ゲート内に非常に特異的かつ正確な量の電荷を保持するようにプログラムされなければならない。例えば、各浮動ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、及び６４が挙げられる。
【0008】
ＶＭＭシステムにおける１つの課題は、プログラムされているセルの数、及び各セルに蓄積されている電荷の相対量が変化するにつれて、プログラミング動作に必要とされる総電圧及び総電流の量が常に変化しているという事実である。電圧及び電流のこれらの極端な変動は、動作温度及びエネルギー消費における劇的な変化をもたらし得る。
【0009】
必要とされるのは、任意の所与の時間にプログラムされるセルの数に基づいて、システムの電圧及び電流の必要性の変化を補償する高電圧生成システムである。
【発明の概要】
【0010】
深層学習人工ニューラルネットワークで使用されるアナログニューラルメモリにおける特定のプログラミング動作に必要な高電圧を生成するための高電圧生成アルゴリズム及びシステムについて、多数の実施形態が開示される。
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【図面の簡単な説明】
【0048】
【図1】人工ニューラルネットワークを示す図である。
【図2】従来の２ゲート不揮発性メモリセルの横断面図である。
【図3】従来の４ゲート不揮発性メモリセルの横断面図である。
【図4】従来の３ゲート不揮発性メモリセルの横断面図である。
【図5】別の従来の２ゲート不揮発性メモリセルの横断面図である。
【図6】不揮発性メモリアレイを利用する異なるレベルの例示的な人工ニューラルネットワークを示す図である。
【図7】ベクトル乗算器マトリックスを示すブロック図である。
【図8】様々なレベルのベクトル乗算器マトリクスを示すブロック図である。
【図9】ベクトル乗算器マトリックスの別の実施形態を示す。
【図10】ベクトル乗算器マトリックスの別の実施形態を示す。
【図12】ベクトル乗算器マトリックスの別の実施形態を示す。
【図14】ベクトル乗算器マトリックスの別の実施形態を示す。
【図16】ベクトル乗算器マトリックスの別の実施形態を示す。
【図18】ベクトル乗算器マトリックスを備えるメモリシステムを示す。
【図19A】ベクトル乗算器マトリックス内の１つ以上のメモリセルをプログラミングするためのアルゴリズムを示す。
【図19B】ベクトル乗算器マトリックス内の１つ以上のメモリセルをプログラミングするためのアルゴリズムを示す。
【図19C】ベクトル乗算器マトリックス内の１つ以上のメモリセルをプログラミングするためのアルゴリズムを示す。
【図20】ベクトル乗算器マトリックス内の１つ以上のメモリセルのプログラミング中に使用されるルックアップテーブルを生成するための較正アルゴリズムを示す。
【図21】異なるプログラミング実施形態中に印加される電圧の波形を示す。
【図22】異なるプログラミング実施形態中に印加される電圧の波形を示す。
【図23】異なるプログラミング実施形態中に印加される電圧の波形を示す。
【図24】ベクトル乗算器マトリックスシステムと共に使用するための高電圧生成ブロックを示す。
【図25】チャージポンプ及びチャージポンプ調整回路を示す。
【図26】電流補償回路を有する高電圧生成ブロックを示す。
【図27】電流補償回路を有する別の高電圧生成ブロックを示す。
【図28】別の高電圧生成ブロックを示す。
【図29】電流補償を提供するためのダミービット線を示す。
【図30】高電圧デコーダを示す。
【図31】高電圧試験回路を示す。
【図32】高電圧生成ブロックを示す。
【図33】別の高電圧生成ブロックを示す。
【図34】別の高電圧生成ブロックを示す。
【図35】高電圧演算増幅器を示す。
【図36】別の高電圧演算増幅器を示す。
【図37】列ドライバを示す。
【図38】列センス増幅器を示す。
【図39】読み出し基準回路を示す。
【図40】別の読み出し基準回路を示す。
【発明を実施するための形態】
【0049】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
不揮発性メモリセル
【0050】
デジタル不揮発性メモリは、周知である。例えば、米国特許第５，０２９，１３０号（「’１３０号特許」）は、分割ゲート不揮発性メモリセルのアレイを開示し、あらゆる目的のために参照により本明細書に組み込まれる。このようなメモリセルを図２に示す。各メモリセル２１０は、半導体基板１２内に形成された、チャネル領域１８をその間に有するソース領域１４とドレイン領域１６、を含む。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に形成され、チャネル領域１８の第１の部分から絶縁されて（かつその導電性を制御して）おり、またソース領域１４の一部分の上方に形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁される（かつその導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上方に延在する第２の部分を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
【0051】
メモリセル２１０は、ワード線端子２２に高圧正電圧を加えることによって消去され（ここで電子は、浮遊ゲートから除去される）、それにより、ファウラーノルドハイムトンネリングによって浮遊ゲート２０からワード線端子２２まで中間絶縁体を通って浮遊ゲート２０の電子をトンネリングさせる。
【0052】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース１６に正電圧を加えることによってプログラムされる（ここで電子は、浮遊ゲートに加えられる）。電子電流は、ソース１６からドレイン１４に向かって流れることになる。電子は、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、加速し発熱する。熱せられた電子のいくらかは、浮遊ゲート２０からの静電引力に起因してゲート酸化物を通って浮遊ゲート２０に注入される。
【0053】
ドレイン１４及びワード線端子２２に正の読み出し電圧を加える（ワード線端子下のチャネル領域をターンオンする）ことによって、メモリセル２１０が読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去し、ドレイン１６に正に結合する）場合、浮遊ゲート２０下のチャネル領域の部分は、次に同様にオンになり、電流は、チャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）場合、次に浮遊ゲート２０下のチャネル領域の部分は、ほとんど又は完全にオフになり、電流は、チャネル領域１８を流れず（又はわずかに流れる）、プログラムされた状態又は「０」の状態として検出される。
【0054】
【0055】
他の分割ゲートメモリセル構成が知られている。例えば、図３は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２８（典型的には、ワード線に結合される）と、浮遊ゲート２０の上方にある制御ゲート２２と、及びソース領域１４の上方にある消去ゲート３０と、を備える４ゲートメモリセル３１０を示す。この構成は、米国特許第６，７４７，３１０号に記載され、この米国特許は、あらゆる目的のため参照により本明細書に組み込まれる。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、それらは電圧源に電気的に接続される又は接続可能であることを意味する。プログラミングは、浮遊ゲート２０にそれ自体を注入するチャネル領域１８からの熱せられた電子によって示される。消去は、浮遊ゲート２０から消去ゲート３０へトンネリングする電子によって示される。
【0056】
【0057】
図４は、分割ゲート３ゲートメモリセル４１０を示す。メモリセル４１０は、メモリセル４１０が別個の制御ゲートを有しないことを除いて、図３のメモリセル３１０と同一である。消去動作（消去ゲートを通しての消去）及び読み出し動作は、制御ゲートバイアスがないことを除いて、図３のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、ソース線のプログラム電圧は、制御ゲートバイアスの不足を補償するためにより高い。
【0058】
【0059】
図５は、積層ゲートメモリセル５１０を示す。メモリセル５１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２が絶縁層によって分離された浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
【0060】
【0061】
上記の人工ニューラルネットワークにおける不揮発性メモリセルのタイプのうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しすることができるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
【0062】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。このことは、セル格納がアナログであるか、又は多数の別個の値（１６又は６４の異なる値など）のうちの１つを最低限格納することができ、それは、メモリアレイ内の全てのセルの非常に正確、かつ個々の調整を可能にし、またメモリアレイを格納に対して理想的にし、ニューラルネットワークのシナプシスの重みに微調整を加えることを意味する。
不揮発性メモリセルアレイを使用するニューラルネットワーク
不揮発性メモリセルアレイを使用するニューラルネットワーク
【0063】
図６は、不揮発性メモリアレイを利用するニューラルネットワークの非限定実施例を示す。この例は、顔認識アプリケーションのために不揮発性メモリアレイニューラルネットを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の任意の適切なアプリケーションを実施することができる。
【0064】
Ｓ０は入力であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつの３つの３２×３２ピクセルアレイ、各ピクセルが５ビット精度である）。Ｓ０からＣ１に行くシナプスＣＢ１は、異なる重みのセット及び共有される重みの両方を有し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによって決まるように２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）は、シナプスＣＢ１に提供され、それによってこれらの９個の入力値に適切な重みを乗じ、その乗算の出力の合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のニューロンによって与えられる。３×３フィルタは次に右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、そのため、この新しく位置づけられたフィルタの９ピクセル値は、シナプスＣＢ１に提供されるため、それらに同じ重みを乗じ、関連するニューロンによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが３２×３２ピクセル画像全体にわたって３色全て及び全てのビットについてスキャンするまで続ける（精度値）。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【0065】
Ｃ１において、本例では、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、シナプスＣＢ１は、２次元アレイの１６層を構成する（本明細書で言及されるニューロン層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意する）。１６個の特徴マップのそれぞれは、フィルタスキャンに適用される１６個の異なるシナプス重みのセットの１つによって生成される。Ｃ１特徴マップは全て、境界同定など同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
【0066】
各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする活性化関数Ｐ１（プーリング）は、Ｃ１からＳ１へ行く前に適用される。プーリング段階の目的は、平均して近隣の位置にすること（又はｍａｘ関数もまた使用され得る）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。Ｓ１において、１６個の１５×１５特徴マップ（すなわち、１６個のそれぞれ１５×１５ピクセルの異なるアレイ）が存在する。Ｓ１からＣ２へ行くＣＢ２内のシナプス及び関連するニューロンは、Ｓ１内のマップを１ピクセルのフィルタシフトを使用して４×４フィルタでスキャンする。Ｃ２において、２２個の１２×１２特徴マップが存在する。各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする活性化関数Ｐ２（プーリング）は、Ｃ２からＳ２へ行く前に適用される。Ｓ２において、２２個の６×６特徴マップが存在する。活性化関数は、Ｓ２からＣ３へ行くシナプスＣＢ３で適用され、ここでＣ３内の全てのニューロンはＳ２内の全てのマップに接続する。Ｃ３において、６４個のニューロンが存在する。Ｃ３から出力Ｓ３へ行くシナプスＣＢ４は、Ｓ３をＣ３と完全に接続する。Ｓ３における出力は、１０個のニューロンを含み、ここで最も高い出力ニューロンは、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
【0067】
シナプスの各レベルは、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。図７は、不揮発性メモリセルを含むベクトルマトリックス乗算（ＶＭＭ）アレイのブロック図であり、入力層と次の層との間のシナプスとして利用される。具体的には、ＶＭＭ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダはメモリアレイ３３に対する入力をデコードする。この例におけるソース線デコーダ３７はまた、メモリセルアレイの出力をデコードする。あるいは、ビット線デコーダ３６は、メモリアレイの出力をデコードすることができる。メモリアレイは、２つの目的を果たす。第１に、ＶＭＭにより使用される重みを格納する。第２に、メモリアレイは、効果的に、入力に、メモリアレイに格納された重みを乗じ、それらを出力線（ソース線又はビット線）ごとに合計して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、メモリアレイは、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
【0068】
メモリアレイの出力は、メモリセルアレイの出力を合計してその畳み込み用の単一の値を作成する、差動加算器（加算オペアンプ又は加算カレントミラーなど）３８に供給される。差動加算器は、正の入力で正の重みと負の重みとの合計を実現するようなものである。合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数には、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数が含まれ得る。整流された出力値は、次の層（例えば上の説明ではＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、メモリアレイは、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から入力を受信する）、加算オペアンプ３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0069】
図８は、様々なレベルのＶＭＭのブロック図である。図８に示されるように、入力は、デジタルアナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭ３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、マトリックス乗算器の適切なアナログレベルに入力をマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力をＶＭＭへのマッピングされたアナログ入力に変換するために、Ａ／Ａ変換器によって行うこともできる。入力ＶＭＭ３２ａによって生成された出力は、次に、次のＶＭＭ（隠しレベル２）３２ｂへの入力として提供される出力を生成する次のＶＭＭ（隠しレベル１）３２ｂへの入力として提供される、などとなる。ＶＭＭの３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの異なる層として機能する。各ＶＭＭは、スタンドアローンの不揮発性メモリアレイであり得、又は複数のＶＭＭは、同じ不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭは、同じ不揮発性メモリアレイの重なり合う部分を利用することができる。図８に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）：１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。
ベクトルマトリックス乗算（ＶＭＭ）アレイ
ベクトルマトリックス乗算（ＶＭＭ）アレイ
【0070】
図９は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ９００を示し、入力層と次の層との間でシナプス及びニューロンの一部として利用される。ＶＭＭ９００は、不揮発性メモリセルのメモリアレイ９０１、及び基準アレイ９０２（アレイの頂部で）を備える。あるいは、別の基準アレイが底部に位置することができる。ＶＭＭ９００では、制御ゲート線９０３などの制御ゲート線が垂直方向に延び（したがって、行方向の基準アレイ９０２が入力制御ゲート線に直交する）、消去ゲート線９０４などの消去ゲート線が水平方向に延びる。ここで、入力は制御ゲート線に提供され、出力はソース線に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。ソース線に加えられた電流は、ソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0071】
ニューラルネットワークについて本明細書に記載されるように、フラッシュセルは、サブ閾値領域で動作するように構成されることが好ましい。
【0072】
本明細書に記載されたメモリセルは、弱反転にバイアスされる。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
ｗ＝ｅ(-Vth)/kVt
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
ｗ＝ｅ(-Vth)/kVt
【0073】
入力電流を入力電圧に変換するためにメモリセルを使用するＩーＶログ変換器について：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
【0074】
ベクトルマトリックス乗算器ＶＭＭとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
【0075】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0076】
あるいは、フラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗα（Ｖｇｓ－Ｖｔｈ）
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗα（Ｖｇｓ－Ｖｔｈ）
【0077】
Ｉ－Ｖ線形変換器では、線形領域で動作するメモリセルを使用して、入力／出力電流を入力／出力電圧に線形に変換することができる。
【0078】
ＥＳＦベクトルマトリックス乗算器の他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されているとおりである。ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
【0079】
図１０は、図２に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１０００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭ１０００は、不揮発性メモリセルのメモリアレイ１００３、基準アレイ１００１、及び基準アレイ１００２を備える。基準アレイ１００１及び１００２は、アレイの列方向において、端子ＢＬＲ０～３に流れ込む電流入力を電圧入力ＷＬ０～３に変換する役割を果たす。実際には、基準メモリセルは、マルチプレクサを通してそれらの中に流れる電流入力にダイオード接続される。基準セルは、標的基準レベルに調整（例えば、プログラム）される。標的基準レベルは、基準ミニアレイマトリックスによって提供される。メモリアレイ１００３は、２つの目的を果たす。第１に、ＶＭＭ１０００により使用される重みを格納する。第２に、メモリアレイ１００３は、メモリアレイに格納された重みによって、入力（端子ＢＬＲ０～３に提供される電流入力であって、基準アレイ１００１及び１００２がこれらの電流入力を入力電圧に変換してワード線ＷＬ０～３に供給する）を有効に乗算して、次に、全ての結果（メモリセル電流）を加算して出力を生成し、これは次の層への入力又は最終の層への入力となる。乗算及び加算の関数を実行することによって、メモリアレイは、別個の乗算及び加算の論理回路の必要性をなくし、また、電力効率も良い。ここで、電圧入力はワード線に提供され、出力は、読み出し（推論）動作中にビット線に現れる。ビット線に加えられた電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0080】
図１１は、ＶＭＭ１０００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられた電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0081】
図１２は、図２に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１２００を示し、入力層と次の層との間でシナプス及びニューロンの一部として利用される。ＶＭＭ１２００は、不揮発性メモリセルのメモリアレイ１２０３、基準アレイ１２０１、及び基準アレイ１２０２を備える。アレイＶＭＭ１２００の行方向に延びる基準アレイ１２０１及び１２０２は、ＶＭＭ１２００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線に提供され、出力は読み出し動作中にソース線に現れる。ソース線に加えられた電流は、ソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0082】
図１３は、ＶＭＭ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられた電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0083】
図１４は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１４００を示し、入力層と次の層との間でシナプス及びニューロンの一部として利用される。ＶＭＭ１４００は、不揮発性メモリセルのメモリアレイ１４０３、基準アレイ１４０１、及び基準アレイ１４０２を備える。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０～３に流れ込む電流入力を電圧入力ＣＧ０～３に変換する役割を果たす。実際には、基準メモリセルは、それらに流れ込む電流入力と、カスコーディングマルチプレクサ１４１４を介してダイオード接続される。ｍｕｘ１４１４は、読み出し中の基準セルのビット線に一定の電圧を確保するために、ｍｕｘ１４０５及びカスコーディングトランジスタ１４０４を含む。基準セルは、標的基準レベルに調整される。メモリアレイ１４０３は、２つの目的を果たす。第１に、ＶＭＭ１４００により使用される重みを格納する。第２に、メモリアレイ１４０３は、メモリアレイに格納された重みによって、入力（端子ＢＬＲ０～３に提供される電流入力であって、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して制御ゲートＣＧ０～３に供給する）を有効に乗算して、次に、全ての結果（セル電流）を加算して出力を生成し、これは次の層への入力又は最終の層への入力となる。乗算及び加算の関数を実行することによって、メモリアレイは、別個の乗算及び加算の論理回路の必要性をなくし、また、電力効率も良い。ここで、入力はワード線に提供され、出力は読み出し動作中にビット線に現れる。ビット線に加えられた電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0084】
ＶＭＭ１４００は、メモリアレイ１４０３内のメモリセルの一方向調整を実施する。すなわち、各セルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセル内に格納されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならい。示されるように、同じ消去ゲートを共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
【0085】
図１５は、ＶＭＭ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0086】
図１６は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１６００を示し、入力層と次の層との間でシナプス及びニューロンの一部として利用される。ＶＭＭ１６００は、不揮発性メモリセルのメモリアレイ１６０３、基準アレイ１６０１、及び基準アレイ１６０２を備える。ＥＧ線が垂直に延びる一方で、ＣＧ線及びＳＬ線は水平に延びる。ＶＭＭ１６００は、ＶＭＭ１６００が双方向調整を実装することを除いてＶＭＭ１４００と同様であり、各個々のセルは、浮動ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去され得る。示されるように、基準アレイ１６０１及び１６０２は、端子ＢＬＲ０～３内の入力電流を制御ゲート電圧ＣＧ０～３に変換し（マルチプレクサを介したダイオード接続された基準セルの作用を通じて）、行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線に接続されたメモリセルからの全ての電流を合計するビット線内にある。
【0087】
図１７は、ＶＭＭ１６００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられた電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0088】
図１８は、ＶＭＭシステム１８００を示す。ＶＭＭシステム１８００は、ＶＭＭアレイ１８０７、低電圧行デコーダ１８０３、高電圧行デコーダ１８０５、基準セル低電圧列デコーダ１８０６（列方向の基準アレイのために示されており、行方向に変換を出力するための入力を提供することを意味する）、ビット線ＰＥドライバ１８０２、ビット線マルチプレクサ１８０８、活性化関数回路及び加算器１８０９、制御論理１８０４、及びアナログバイアス回路１８０１を備える。
【0089】
低電圧行デコーダ１８０３は、読み出し及びプログラム動作のためのバイアス電圧を提供し、高電圧行デコーダ１８０５のデコード信号を提供する。高電圧行デコーダ１８０５は、プログラム及び消去動作のための高電圧バイアス信号を提供する。ビット線ＰＥドライバ１８０１は、プログラム、検証、及び消去におけるビット線の制御関数を提供する。バイアス回路１８０１は、様々なプログラム、消去、プログラム検証、及び読み出し動作に必要な複数の電圧を提供する共有バイアスブロックである。
【0090】
ＶＭＭシステム１８００は、冗長アレイ１８１０を更に備える。冗長アレイ１８１０は、欠陥のあるアレイ部分を置き換えるためのアレイ冗長性を提供する。ＶＭＭシステム１８００は、ＮＶＲ（不揮発性レジスタ、別名情報セクタ）セクタ１８１１を更に備え、これは、ユーザ情報、デバイスＩＤ、パスワード、セキュリティキー、トリムビット、構成ビット、製造情報などを格納するために使用されるアレイセクタである。
【0091】
ＶＭＭシステム１８００は、基準アレイ１８１２及び／又は基準システム１８５０を任意選択で備える。基準システム１８５０は、基準アレイ１８５２、基準アレイ低電圧行デコーダ１８５１、基準アレイ高電圧行デコーダ１８５３、及び基準アレイ低電圧列デコーダ１８５４を備える。基準システムは、複数のＶＭＭシステムにわたって共有することができる。
【0092】
基準アレイ低電圧行デコーダ１８５１は、基準アレイ１８５２を含む読み出し及びプログラミング動作のためのバイアス電圧を提供し、基準アレイ高電圧行デコーダ１８５３のデコード信号も提供する。基準アレイ高電圧行デコーダ１８５３は、基準アレイ１８５２を含むプログラム及び動作のための高電圧バイアスを提供する。基準アレイ低電圧列デコーダ１８５４は、基準アレイ１８５２のデコード関数を提供する。基準アレイ１８５２は、プログラム検証又はセルマージニング（マージナルセルの探索）のための基準ターゲットを提供する。
【0093】
図１９Ａ、図１９Ｂ、及び図１９Ｃは、プログラミング方法１９００を示す。最初に、方法は、典型的には受信されるプログラムコマンドに応じて、開始する（工程１９０１）。次に、一括プログラム動作は、全てのセルを「０」状態にプログラムする（工程１９０２）。次いで、ソフト消去は、全てのセルを、中間の弱く消去されたレベル約１～５μＡに消去する（工程１９０３）。これは、全てのセルをデジタル用途で完全に消去された状態、例えば、約２０～３０ｕＡのセル電流にする深い消去とは対照的である。次いで、ハードプログラムは、全ての選択されていないセルで実行されて、セルが実際にオフである、すなわち、これらのメモリセルが影響力のない電流を与えることを確実にするために、使用されていないセルに対して非常に深いプログラム状態、約ｆＡ～ｐＡ、までセルから電荷を除去する（工程１９０４）。次いで、ソフトプログラムが選択されたセルで実行されて、粗いアルゴリズムを使用してｎ中間の弱くプログラムされたレベル約０．１～１．５μＡになるまで、セルからいくらかの電荷を除去する（工程１９０５、１９０６、１９０７）。検証動作の後に粗い工程プログラムサイクルが行われ、選択セルの電荷は、粗い反復方式で様々な閾値と比較される（工程１９０６及び１９０７）。粗い工程プログラムサイクルは、粗い電圧増分（ＳＬ、ＣＧ、及びＥＧの高電圧レベルなど）、及び／又は粗いプログラム時間、及び／又は粗いプログラム電流を含み、１つのプログラム工程から次のプログラム工程までに粗いセル電流変化がもたらされる。
【0094】
次に、精密なプログラミングが行われ（工程１９０８）、全ての選択されたセルは、細かい工程プログラムアルゴリズムにより、所望のレベルに応じて１ｐＡ～２０ｎＡの範囲内の標的レベルにプログラムされる。システムは、プログラムされるビット数をチェックする（工程１９０９）。これは、プログラムされるビット数に対するＶｈｖ（ｉｎｃ）のＬＵＴ（ルックアップテーブル）を使用して、又は近似関数を使用して決定する（工程１９１０）。Ｖｈｖは、ＳＬ、ＣＧ、及びＥＧの高電圧レベルなどの高電圧であり、ＬＵＴ又は関数は、プログラムされる＃ＩＯ、Ｉｔａｒｇｅｔ、及びデルタＩｃｅｌｌ（＝現在のＩｃｅｌｌ－前のＩｃｅｌｌ）の関数である。次いで、精密なプログラミング工程を実行する（工程１９１１）。プログラミング動作が実行される（工程１９１２）。次いで、検証工程（Ｉｃｅｌｌ対Ｉｔａｒｇｅｔをチェックし、デルタＩｃｅｌｌを計算／格納する）が実行される（工程１９１３）。１つ以上のセルが検証される場合、プロセスは工程１９０９に戻って残りのセルをプログラムする。いいえの場合、カウンタがチェックされ、閾値試行回数が行われた場合、プロセスは終了し、セルは不良と見なされる。いいえの場合、プログラミング工程１９１２が繰り返される。全てのセルが検証されると（工程１９１４）、プロセスは完了する。
【0095】
図２０は、ルックアップテーブルを構築する、又はプログラムされる各可能なビット数に対してプログラミングに必要な所望の電圧レベルを決定する関数を生成するための高電圧較正プロセスを示す。開始点は、１ビットがプログラムされるべき状況である（工程２００１）。その１ビットをプログラミングするための電圧（ＳＬ、ＣＧ、及びＥＧの高電圧レベルなど）が決定される（工程２００２）。次いで、ビット数が増分され（工程２００３）、プログラミング工程が繰り返される（工程２００１）。プロセスがＮビット（プログラムされる可能なビットの総数）に対して実行されると、値はルックアップテーブルにプログラミングされ（工程２００４）、プログラミング動作中に参照される。
【0096】
図２１は、プログラミング動作に対する２つの異なるアプローチを示す。各動作は、検証及びプログラム（Ｖｅｆ／Ｐｒｏｇ）サイクルの倍数を含む。検証サイクルでは、Ｉｔａｒｇｅｔがチェックされ、プログラムされるＩＯの数がチェックされる。ＨＶプログラムレベル（ＳＬ、ＣＧ、及びＥＧの高電圧レベルなど）は、Ｉｔａｒｇｅｔ及びプログラムされるＩＯの数に基づいて調整される。波形２１０１では、プログラミング動作中に提供される合計電圧は、プログラムされるビット数が増加するにつれて、大きさが増大する。シーケンス２１０１は、４つの例示的なパルスを通して、３ビットがプログラムされる状況について提供される電圧を表す。対照的に、Ｖｅｆ／Ｐｒｏｇサイクル当たりのＨＶレベル及びプログラム時間調整を有する波形２１０３では、シーケンス２１０１におけるのと同じ大きさの２つのパルスが提供されるが、次いで、Ｖｅｆ／Ｐｒｏｇ ｋサイクル中の例のように、プログラムされるビット数が少なくなると、大きさが減少し（例えば、ｄＶ１ｎｅｇ）、より小さなパルスは、より長い期間提供される（すなわち、２１０１におけるより高い大きさの２つのパルスの代わりに、２１０４におけるより低い大きさの４つのパルス）。すなわち、同じ結果を、パルスの印加の電圧の大きさ及び持続時間の異なる組み合わせで達成することができる。Ｖｅｆ／Ｐｒｏｇ ｋサイクルのＨＶプログラムレベルは、プログラムされるビットが少ないために、次のプログラミングサイクルで標的をオーバーシュートするのを防止するために下げられ、すなわち、ＨＶプログラムレベルは次のサイクルでより高くなる。
【0097】
図２２は、プログラミング動作に対する２つの追加のアプローチを示す。波形２２０１では、プログラミング動作中に提供される合計電圧は、大きさが同じままであるが、プログラムされるビット数が増加するにつれて、各プログラミングパルスの長さは増加する。Ｖｅｆ／Ｐｒｏｇ ｚサイクル中の例のように、Ｖｅｆ／Ｐｒｏｇサイクル当たりのプログラムパルス幅時間調整を有する波形２２０１では、プログラムされるビット数が少なくなると、（２２０１の持続時間Ｔ３のパルスのように）長いパルスの代わりに、パルスが代わりに短縮されるが（Ｔ１）、より多くのパルスが印加され、それにより、合計持続時間は、その特定のプログラミングレベルに対して波形２２０１より長くなる。Ｖｅｆ／Ｐｒｏｇ ｚサイクルは、プログラムされるビットが少ないために、次のプログラミングサイクルで標的をオーバーシュートするのを防止するために短縮され、すなわち、ＨＶプログラムレベルは次のサイクルでより高くなる。すなわち、同じ結果を、各パルスの持続時間、又は全てのパルスの合計持続時間のいずれかを変化させることによって達成することができるが、電圧の大きさは一定のままである。
【0098】
別のアプローチは、電圧の大きさ、パルス持続時間、及び全てのパルスの合計持続時間を変調することである。別のアプローチは、プログラミング電圧又は時間の代わりにプログラミング電流を変調することである。
【0099】
図２３は、複数ワードのビットがプログラムされるときの高電圧生成の波形を示す。信号２３０２は、プログラミングのためにメモリセルに印加された例示的なＨＶ電圧（ＳＬ、ＣＧ、及びＥＧの高電圧レベルなど）である。信号２３０４は、例示的なデータイン［Ｎ：１］であり、その値は、プログラムされるＩＯビットの数を制御する。信号２３０５は、各ＩＯに対して個々にプログラムパルス幅を制御する。タイミング２３０６に示すように、低になることは、プログラミングを有効にすることを意味し、高になることは、プログラミングを無効にすることを意味する。信号２３０５は、全てのＩＯビットが異なる立ち下がりエッジで低になるが、同じ立ち上がりエッジで高になることを示す。これは、プログラムパルス中に、内部高電圧レベルがタイミング２３０６の間に低になることを確実にするためであり（より多くのビットがプログラムされることが可能になると、より多くの電流負荷につながり、タイミング２３０６に示すように左から右に向かう２３０６タイミング中にＩＲドロップが増えることを意味する）、そうでなければ発生する可能性のあるプログラムのオーバーシュートを回避するためである。
【0100】
図２４は、ＶＭＭシステム２４００のブロック図を示す。ＶＭＭシステムは、ＶＭＭマトリックス２４０８、行デコーダ２４０７、高電圧デコーダ２４０９、列デコーダ２４１０、及びビット線ドライバ２４１１を備える。ＶＭＭシステム２４００は、チャージポンプ２４０１、チャージポンプ調整器２４０２、及び高電圧レベル生成器２４０３を備える高電圧生成ブロック２４１２を更に備える。ＶＭＭシステム２４００は、アルゴリズムコントローラ２４０４、アナログ回路２４０５、及び制御論理２４０６を更に備える。
【0101】
図２５は、チャージポンプ２４０１及びチャージポンプ調整器２４０２に関する更なる詳細を提供する。チャージポンプ２４０１は、イネーブル信号２５０１によって制御される。イネーブル信号２５０１がアサートされないとき、チャージポンプ２４０１は、その出力の電圧を増加させ続ける。イネーブル信号２５０１がアサートされるとき、チャージポンプ２４０１は、その出力の電圧レベルを維持する。チャージポンプ調整器２４０２は、一連のダイオード２５０４、２５０６、及び２５０８、並びに抵抗器２５０５、２５０７、及び２５０９を備える。その構造内のノードは、電圧基準を含む別の入力を受信するコンパレータ２５０３に入力される。チャージポンプ２４０１からの電圧出力がダイオード２５０４、２５０６、及び２５０８を作動させるのに十分である場合、電流はコンパレータ２５０３内に流れ、イネーブル信号はアサートされる。したがって、チャージポンプ調整器２４０４は、ダイオード２５０４、２５０６、及び２５０８並びに抵抗器２５０５、２５０７、及び２５０９の特性に基づく所望の電圧レベルが達成されるまでチャージポンプ２４０１を制御する。
【0102】
図２６は、高電圧バッファ２６０１及び調整可能な電流シンク２６０２と共に使用されるＶＭＭシステム２４００を示す。高電圧生成器ブロック２４１２は、高電圧バッファ２６０１に提供される電圧を生成し、これは次に、その電圧を高電圧デコーダ２４０９及び調整可能な電流シンク（プログラム補償電流Ｉｃｏｍｐ）２６０２に提供する。調整可能な電流シンクＩｃｏｍｐ２６０２によって引き込まれる電流は、例えば、プログラムされるＩＯの数を補償するために、高電圧バッファ２６０１内に補償された電圧ドロップ（例えば、プログラムされる１／２／．．．／３２ＩＯに対してｄＶｏｕｔ１／２／．．／３２ドロップ）を誘発するように、かつ高電圧バッファ２６０１の温度を低下させるように調整することができる。例えば、Ｉｃｏｍｐα（プログラムされる＃ＩＯ）*Ｉｐｒｏｇ*Ｍ。Ｉｐｒｏｇ＝セルプログラミング電流、Ｍ＝プログラムにおけるメモリセルのホットキャリア効果による乗数である。補償Ｉｃｏｍｐは、変動する出力負荷にわたって一定の高電圧出力を維持するために適用される。
【0103】
図２７は、高電圧バッファ２７０１及び調整可能な電流シンク２７０２と共に使用されるＶＭＭシステム２４００を示す。高電圧生成器２４１２は、高電圧バッファ２７０１に提供される電圧を生成し、これは次に、その電圧を高電圧デコーダ２４０９に提供する。調整可能な電流シンク（補償電流）Ｉｃｏｍｐ２７０２によって引き込まれる電流は、例えば、高電圧デコーダ２４０９内の電流ドロップ（プログラムされるＩＯの数の関数として）を低減して、高電圧デコーダ２４０９の温度を低下させるように調整することができる。例えば、Ｉｃｏｍｐα（プログラムされる＃ＩＯ）*Ｉｐｒｏｇ*Ｍ。Ｉｐｒｏｇ＝セルプログラミング電流、Ｍ＝プログラムにおけるメモリセルのホットキャリア効果による乗数である。補償Ｉｃｏｍｐは、変動する出力負荷にわたって一定の高電圧出力を維持するために適用される。
【0104】
図２８は、ここで演算増幅器である高電圧バッファ２８０１と共に使用されるＶＭＭシステム２４００を示す。高電圧生成器２４１２は、高電圧バッファ２７０１に提供される電圧を生成し、これは次に、その電圧を高電圧デコーダ２４０９に提供する。高電圧デコーダ２４０９からの出力（例えば、出力はアレイ内のＨＶ電圧のフィードバックインジケータである）は、高電圧バッファ２８０１への入力として提供され、次いで、高電圧バッファ２８０１は、閉ループコンパレータとして動作する。閉ループ補償は、変動する出力負荷にわたって一定の高電圧出力を維持するために適用される。
【0105】
図２９は、ＶＭＭシステム２４００と共に使用されるプログラム電流補償ブロック２９００を示す。ここで、ダミープログラムビット線（プログラム可能ダミーアレイ）には、３２ビット線の各グループが提供される。例えば、グループ２９０１はダミービット線２９０３を含み、グループ２９０２はダミービット線２９０４を含む。これらのダミービット線２９０３及び２９０４は、それぞれ、グループ２９０１及び２９０２内の１つ以上の他のビットがプログラムされていない場合にオンにすることができる。これにより、プログラミング動作中に引き込まれる電流は、ダミービット線２９０３及び２９０４を使用しない場合より一定に維持される。プログラムダミーアレイ補償スキームは、変動する出力負荷にわたって一定の高電圧出力を維持するために適用される。
【0106】
図３０は、高電圧デコーダ２４０９で使用することができる高電圧デコーダブロック３０００の例を示す。ここで、ソース線３００５は、アレイ２４０８内の１つ又は２つの行に結合される。ＮＭＯＳトランジスタ３００１、３００２、３００３、及び３００４は、図示のようにソース線３００５に結合される。ＨＶ電源３０１０は、ＨＶバッファからのようなものであり、ＨＶ比較信号３０１１は、図２８に示されるようなものである。
【0107】
図３１は、試験回路３１００を示す。試験回路は、イネーブル信号ＥＮを受信する高電圧トランスミッタ３１０１を備える。高電圧トランスミッタは、ＮＭＯＳトランジスタ３１０２及びＮＭＯＳカスコードトランジスタ３１０３に高電圧イネーブル信号を提供する。ＮＭＯＳトランジスタ３２０１の一方の端子は外部試験パッドに接続し、ＮＭＯＳトランジスタ３１０３の一方の端子は、ＶＭＭシステム２４００内の内部ノードに結合される。この回路は、電圧較正のためなどに使用される。
【0108】
図３２は、高電圧生成ブロック２４１２の実施形態を示す。
【0109】
図３３は、高電圧生成ブロック２４１２の別の実施形態を示す。ここで、高電圧生成ブロックは、チャージポンプ３３０１、チャージポンプ調整器３３０３、及び高電圧演算増幅器３３０２を備える。チャージポンプ調整器３３０３の出力の電圧は、チャージポンプ調整器３３０３内のＮＭＯＳトランジスタのゲートに送られる信号に基づいて制御することができる。
【0110】
図３４は、高電圧生成ブロック２４１２の別の実施形態を示す。高電圧生成ブロック２４１２は、高電圧演算増幅器３４０３、ＳＣ（スイッチキャップ）ネットワーク３４０２、及びＳＣネットワーク３４０１を備える。ＳＣネットワーク３４０２は、調整可能なコンデンサ３４０４を備える。ＳＣネットワーク３４０１は、スイッチ３４０５、３４０７、３４０８、及び３４０９、並びに調整可能なコンデンサ３４０６を備える。
【0111】
【0112】
【0113】
図３７は、ビット線ドライバ２４１１に使用することができる列ドライバ３７００を示す。列ドライバ３７００は、図示の構成では、ラッチ３７０１、インバータ３７０２、ＮＯＲゲート３７０３、ＰＭＯＳトランジスタ３７０４、ＮＭＯＳトランジスタ３７０５及び３７０６、並びにセンス増幅器３７０７を備える。
【0114】
図３８は、図３７のセンス増幅器３７０７に使用することができる、センス増幅器３８００を示す。センス増幅器３８００は、図示の構成では、調整可能な電流基準源３８０１、スイッチ３８０２、ＮＭＯＳトランジスタ３８０３、コンデンサ３８０４、スイッチ３８０５、電流源３８０６、及びインバータ３８０７を備える。センス増幅器３７０７は、アレイ２４０８内のメモリセル３８０８に結合される。
【0115】
図３９は、ビット線基準デコーダ３９０１及び基準セル３９０１0～３９０２Nを備える基準アレイ回路３９００を示す。
【0116】
図４０は、ビット線基準デコーダ４００１及び基準セル４００２0～４０００Nを備える基準アレイ回路４０００を示す。
【0117】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「の上に間接的に」（中間材料、要素、又は空間がそれらの間に配設される）を包括的に含むことに留意するべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「間接的に隣接した」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「に間接的に取り付けられた」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に何ら伴わずに、形成すること、及びその要素を基板の上に間接的に、１つ以上の中間材料／要素をそれらの間に伴って、形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図19C】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】