▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特許7153737深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-05
(45)【発行日】2022-10-14
(54)【発明の名称】深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置
(51)【国際特許分類】
G11C 11/56 20060101AFI20221006BHJP
G11C 11/54 20060101ALI20221006BHJP
G11C 16/34 20060101ALI20221006BHJP
【ＦＩ】
G11C11/56 200
G11C11/54
G11C16/34 120
【請求項の数】
43
(21)【出願番号】P 2020548669
(86)(22)【出願日】2019-01-16
(65)【公表番号】
(43)【公表日】2021-07-26
(86)【国際出願番号】 US2019013871
(87)【国際公開番号】W WO2019177687
(87)【国際公開日】2019-09-19
【審査請求日】2021-10-28
(31)【優先権主張番号】62/642,867
(32)【優先日】2018-03-14
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/990,220
(32)【優先日】2018-05-25
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
(72)【発明者】
【氏名】ティワリ、ビピン
(72)【発明者】
【氏名】ドー、ナン
【審査官】後藤 彰
(56)【参考文献】
【文献】特開２００９－１４０５６４（ＪＰ，Ａ）
【文献】国際公開第２００４／０９７８３９（ＷＯ，Ａ１）
【文献】特開２００２－２３０９８４（ＪＰ，Ａ）
【文献】特開２００１－７６４９６（ＪＰ，Ａ）
【文献】特表２００９－５３７９３５（ＪＰ，Ａ）
【文献】国際公開第２０１７／２００８８３（ＷＯ，Ａ１）
【文献】特表２０１９－５１７１３８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１１Ｃ １１／５６
Ｇ１１Ｃ １６／３４
Ｇ１１Ｃ １１／５４
(57)【特許請求の範囲】
【請求項1】
アナログニューロモーフィックメモリシステム内の選択されたフラッシュメモリセル内でデータドリフトを検出し、データをリフレッシュする方法であって、該方法は、前記選択されたフラッシュメモリセルの浮遊ゲートに記憶された第１の電圧を検知するステップと、
前記第１の電圧を、基準回路によって提供される第２の電圧と比較するステップと、
前記第１の電圧が前記第２の電圧を超える場合、前記浮遊ゲートに第３の電圧を記憶することによって前記浮遊ゲートに記憶された前記データをリフレッシュするステップであって、前記第３の電圧は、前記第１の電圧よりも前記第２の電圧に近い、リフレッシュするステップと、を含む、方法。
【請求項2】
前記基準回路は、電圧源を含む、請求項１に記載の方法。
【請求項3】
前記基準回路は、基準メモリセルを含む、請求項１に記載の方法。
【請求項4】
前記選択されたメモリセルは、分割ゲートメモリセルである、請求項１に記載の方法。
【請求項5】
前記選択されたメモリセルは、積層ゲートメモリセルである、請求項１に記載の方法。
【請求項6】
前記選択されたメモリセルは、ソースフォロワモードで構成される、請求項１に記載の方法。
【請求項7】
前記リフレッシュするステップは、電流レベルに固有の復元量で行われる、請求項１に記載の方法。
【請求項8】
前記リフレッシュするステップは、トレーニング重みを前記選択されたメモリセルに再転送することによって行われる、請求項１に記載の方法。
【請求項9】
アナログニューロモーフィックメモリシステム内の選択されたフラッシュメモリセル内でデータドリフトを検出し、データをリフレッシュする方法であって、該方法は、選択されたフラッシュメモリセルによって読み出し動作中に引き込まれた第１の電流を検知するステップと、
前記第１の電流を、基準回路によって引き込まれた第２の電流と比較するステップと、
前記第１の電流が前記第２の電流を超える場合、前記選択されたフラッシュメモリセルが読み出し動作中に第３の電流を引き込むように、前記選択されたメモリセルの浮遊ゲートに記憶された前記データをリフレッシュするステップであって、前記第３の電流は、前記第１の電流よりも前記第２の電流に近い、リフレッシュするステップと、を含む、方法。
【請求項10】
前記基準回路は電流源を含む、請求項９に記載の方法。
【請求項11】
前記選択されたメモリセルは、分割ゲートメモリセルである、請求項９に記載の方法。
【請求項12】
前記選択されたメモリセルは、積層ゲートメモリセルである、請求項９に記載の方法。
【請求項13】
前記リフレッシュするステップは、電流レベルに固有の復元量で行われる、請求項９に記載の方法。
【請求項14】
前記リフレッシュするステップは、トレーニング重みを前記選択されたメモリセルに再転送することによって行われる、請求項９に記載の方法。
【請求項15】
アナログニューロモーフィックメモリシステム内の選択されたフラッシュメモリセル内でデータドリフトを検出し、データをリフレッシュする方法であって、該方法は、第１のサンプリングされた値を生成するために、選択されたフラッシュメモリセルによって読み出し動作中に引き込まれた第１の電流をサンプリングするステップと、
第２のサンプリングされた値を生成するために、基準回路によって引き込まれた第２の電流をサンプリングするステップと、
前記第１のサンプリングされた値と前記第２のサンプリングされた値とを比較するステップと、
前記第１のサンプリングされた値が前記第２のサンプリングされた値を超える場合、前記選択されたフラッシュメモリセルが読み出し動作中に第３の電流を引き込むように、前記選択されたメモリセルの浮遊ゲートに記憶された前記データをリフレッシュするステップであって、前記第３の電流は、前記第１の電流よりも前記第２の電流に近い、リフレッシュするステップと、を含む、方法。
【請求項16】
前記基準回路は、電流源を含む、請求項１５に記載の方法。
【請求項17】
前記選択されたメモリセルは、分割ゲートメモリセルである、請求項１５に記載の方法。
【請求項18】
前記選択されたメモリセルは、積層ゲートメモリセルである、請求項１５に記載の方法。
【請求項19】
前記リフレッシュするステップは、電流レベルに固有の復元量で行われる、請求項１５に記載の方法。
【請求項20】
前記リフレッシュするステップは、トレーニング重みを前記選択されたメモリセルに再転送することによって行われる、請求項１５に記載の方法。
【請求項21】
アナログニューロモーフィックメモリシステム内の選択されたフラッシュメモリセル内でデータドリフトを検出し、データをリフレッシュする方法であって、該方法は、選択されたフラッシュメモリセルによって読み出し動作中に引き込まれた第１の電流を検知するステップと、
前記第１の電流を、基準回路によって引き込まれた第２の電流と比較するステップと、
前記第１の電流を、基準回路によって引き込まれた第３の電流と比較するステップと、
前記第１の電流が前記第３の電流を超える場合、前記選択されたフラッシュメモリセルが読み出し動作中に電流を引き込むように、前記選択されたメモリセルの浮遊ゲートに記憶された前記データをリフレッシュするステップであって、復元された電流は、前記第２の電流と前記第３の電流との間である、リフレッシュするステップ、又は
前記第１の電流が前記第２の電流を超え、かつ前記第３の電流を超えない場合、前記データをリフレッシュするステップを控えるステップと、を含む、方法。
【請求項22】
前記基準回路は、電流源を含む、請求項２１に記載の方法。
【請求項23】
前記選択されたメモリセルは、分割ゲートメモリセルである、請求項２１に記載の方法。
【請求項24】
前記選択されたメモリセルは、積層ゲートメモリセルである、請求項２１に記載の方法。
【請求項25】
前記リフレッシュするステップは、電流レベルに固有の復元量で行われる、請求項２１に記載の方法。
【請求項26】
前記リフレッシュするステップは、トレーニング重みを前記選択されたメモリセルに再転送することによって行われる、請求項２１に記載の方法。
【請求項27】
アナログニューロモーフィックメモリシステム内の選択されたフラッシュメモリセル内でデータドリフトを検出し、データをリフレッシュする方法であって、該方法は、高速セルを識別するステップと、
データドリフト検出のために前記高速セルをサンプリングするステップと、
データドリフト検出のために例示的なレベルで前記高速セルをプログラミングするステップと、
データドリフト検出のためにサンプリングされた前記高速セルを監視するステップと、を含む、方法。
【請求項28】
前記監視するステップは、サンプリングされたフラッシュメモリセルによって読み出し動作中に引き込まれた第１の電流を検知するステップと、
前記第１の電流を、基準回路によって引き込まれた第２の電流と比較するステップと、
前記第１の電流を、基準回路によって引き込まれた第３の電流と比較するステップと、
前記第１の電流が前記第３の電流を超える場合、前記選択されたフラッシュメモリセルが読み出し動作中に電流を引き込むように、前記メモリセルの浮遊ゲートに記憶された前記データをリフレッシュするステップであって、復元された電流は、前記第２の電流と前記第３の電流との間である、リフレッシュするステップ、又は
前記第１の電流が前記第２の電流を超え、かつ前記第３の電流を超えない場合、前記データをリフレッシュするステップを控えるステップと、を含む、請求項２７に記載の方法。
【請求項29】
前記基準回路は、電流源を含む、請求項２７に記載の方法。
【請求項30】
前記サンプリングされたフラッシュメモリセルは、分割ゲートメモリセルである、請求項２７に記載の方法。
【請求項31】
前記サンプリングされたメモリセルは、積層ゲートメモリセルである、請求項２７に記載の方法。
【請求項32】
前記リフレッシュするステップは、電流レベルに固有の復元量で行われる、請求項２７に記載の方法。
【請求項33】
前記リフレッシュするステップは、トレーニング重みを前記サンプリングされたメモリセルに再転送することによって行われる、請求項２７に記載の方法。
【請求項34】
アナログニューロモーフィックメモリシステム内の選択されたフラッシュメモリセル内でデータドリフトを検出し、データをリフレッシュする方法であって、メモリセルのサンプルを選択するステップと、
データドリフト検出のためにサンプリングされたセルを試験するステップと、
データドリフト検出のためにＮ個のレベルから選択された例示的なレベルで試験されたセルをプログラミングするステップと、
データドリフト検出のために前記サンプリングされたセルを監視するステップと、を含む、方法。
【請求項35】
前記試験されたセルの任意の電流がデルタターゲットを超えるとき、データ復元を実行する、請求項３４に記載の方法。
【請求項36】
前記サンプリングされたセルの任意の電流がデルタターゲットを超え、次いで、データ復元フラグを設定する、請求項３４に記載の方法。
【請求項37】
復元されたセルの任意の電流がターゲットを満たすことができないとき、前記復元されたセルを不良セルとして識別する、請求項３５に記載の方法。
【請求項38】
冗長セルで不良セルを置き換えることを更に含む、請求項３７に記載の方法。
【請求項39】
前記データ復元は、セル調整を含む、請求項３５に記載の方法。
【請求項40】
前記データ復元は、前記例示的なレベルに対応するターゲット量によるセル調整を含む、請求項３５に記載の方法。
【請求項41】
前記メモリセルは、分割ゲートメモリセルである、請求項３４に記載の方法。
【請求項42】
前記メモリセルは、積層ゲートメモリセルである、請求項３４に記載の方法。
【請求項43】
前記データ復元は、トレーニング重みを前記メモリセルに再転送することを含む、請求項３５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０１８年３月１４日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄａｔａ Ｒｅｆｒｅｓｈ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｍｅｍｏｒｙ ｉｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６２／６４２，８６７号、及び２０１８年５月２５日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄａｔａ Ｒｅｆｒｅｓｈ ｆｏｒ Ａｎａｌｏｇ Ｎｏｎ－ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１５／９９０，２２０号の優先権を主張する。
本出願は、２０１８年３月１４日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄａｔａ Ｒｅｆｒｅｓｈ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｍｅｍｏｒｙ ｉｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６２／６４２，８６７号、及び２０１８年５月２５日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄａｔａ Ｒｅｆｒｅｓｈ ｆｏｒ Ａｎａｌｏｇ Ｎｏｎ－ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１５／９９０，２２０号の優先権を主張する。
【0002】
（発明の分野）
人工ニューラルネットワークのベクトルマトリクス乗算（vector-by-matrix multiplication、ＶＭＭ）アレイ内でフラッシュメモリセルと共に使用するデータリフレッシュ方法及び装置の多数の実施形態が開示される。
人工ニューラルネットワークのベクトルマトリクス乗算（vector-by-matrix multiplication、ＶＭＭ）アレイ内でフラッシュメモリセルと共に使用するデータリフレッシュ方法及び装置の多数の実施形態が開示される。
【背景技術】
【0003】
人工ニューラルネットワークは、多数の入力に依存することができ、概ね未知である機能を推定する又は近似するために使用される生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を真似ている。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は、人工ニューラルネットワークを図示しており、ここで円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これは、ニューラルネットワークが入力に適応できるようにし、学習できるようにする。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信されたデータに基づいて個々に又は合わせて決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに頼り、ニューロン間の高い接続性、すなわち、非常に高度な計算的並行処理を可能にする。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専門化したグラフィック処理ユニットクラスタによって実現され得る。しかしながら、高コストに加え、これらのアプローチはまた、主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しない生物学的ネットワークに比べてあまり良くないエネルギー効率に悩まされている。ＣＭＯＳアナログ回路は、人工ニューラルネットワークに使用されてきたが、ほとんどのＣＭＯＳ実装シナプス（CMOS-implemented synapses）は、多数のニューロン及びシナプスを考えると嵩高すぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成された第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは、複数のメモリセルを含み、メモリセルのそれぞれは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルのそれぞれは、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成される。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗じて第１の複数の出力を生成するように構成される。
【0007】
アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去され、浮遊ゲート内に非常に特異的かつ正確な量の電荷を保持するようにプログラムされなければならない。例えば、各浮動ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例は、１６、３２、及び６４を含む。
【0008】
従来のフラッシュメモリデバイスは、各フラッシュメモリセルが値（典型的には、２つの可能なレベル、又は場合によっては４つの可能なレベル、すなわち、Ｎ＝２又は４に限定される）を無期限に保持することができるため、データがリフレッシュされる必要はない。しかしながら、ＶＮＭで使用されるフラッシュメモリセルでは、Ｎが著しく大きくなるため、時間の経過と共にデータが不正確になる（すなわち、破損する）確率は、温度変化及びプロセス変動に基づいてデータドリフトが時間の経過と共に自然に生じることに起因して、増加する。
【0009】
必要とされるのは、ＶＮＭ内のフラッシュメモリセル内のデータドリフトを検出するためのメカニズム、及びセル内のデータをその元の所望の状態にリフレッシュすることである。
【発明の概要】
【0010】
人工ニューラルネットワークのベクトルマトリクス乗算（ＶＭＭ）アレイ内でフラッシュメモリセルと共に使用するデータリフレッシュ方法及び装置の多数の実施形態が開示される。
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【図面の簡単な説明】
【0037】
【図1】人工ニューラルネットワークを示す図である。
【図2】従来の２ゲート不揮発性メモリセルの横断面図である。
【図3】従来の４ゲート不揮発性メモリセルの横断面図である。
【図4】従来の３ゲート不揮発性メモリセルの横断面図である。
【図5】別の従来の２ゲート不揮発性メモリセルの横断面図である。
【図6】不揮発性メモリアレイを利用する異なるレベルの例示的人工ニューラルネットワークを示す図である。
【図7】ベクトル乗算器マトリクスを示すブロック図である。
【図8】様々なレベルのベクトル乗算器マトリクスを示すブロック図である。
【図9】ベクトル乗算器マトリクスの一実施形態を示す。
【図11】ベクトル乗算器マトリクスの別の実施形態を示す。
【図13】ベクトル乗算器マトリクスの別の実施形態を示す。
【図15】ベクトル乗算器マトリクスの別の実施形態を示す。
【図17】ベクトル乗算器マトリクスの別の実施形態を示す。
【図18】ベクトル乗算器マトリクス内のデータドリフトを検出するためのシステムを示す。
【図19】データリフレッシュ方法を示す。
【図20】別のデータリフレッシュ方法を示す。
【図21】ベクトル乗算器マトリクス内の高速セルの特性を示す。
【図22】ベクトル乗算器マトリクス内の高速セルの特性を示す。
【図23】データドリフトを評価するためのメカニズムを示す。
【図24】データドリフト検出器の一実施形態を示す。
【図25】データドリフト検出器の別の実施形態を示す。
【図27】データドリフト検出器の別の実施形態を示す。
【発明を実施するための形態】
【0038】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
不揮発性メモリセル
【0039】
デジタル不揮発性メモリは、周知である。例えば、米国特許第５，０２９，１３０号（「’１３０号特許」）は、分割ゲート不揮発性メモリセルのアレイを開示し、あらゆる目的のために参照により本明細書に組み込まれる。このようなメモリセルを図２に示す。各メモリセル２１０は、半導体基板１２内に形成され、チャネル領域１８をその間に有するソース領域１４とドレイン領域１６と、を含む。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に形成され、チャネル領域１８の第１の部分から絶縁されて（かつチャネル領域１８の第１の部分の導電性を制御して）おり、またソース領域１６の一部分の上方に形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁され、（かつチャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
【0040】
メモリセル２１０は、ワード線端子２２に高圧正電圧を印加することによって消去され（ここで電子は、浮遊ゲートから除去される）、それにより、ファウラーノルドハイムトンネリングによって浮遊ゲート２０からワード線端子２２まで中間絶縁体を通って浮遊ゲート２０の電子をトンネリングさせる。
【0041】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース１６に正電圧を印加することによってプログラムされる（ここで電子は、浮遊ゲートに印加される）。電子電流は、ソース１６からドレイン１４に向かって流れることになる。電子は、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、加速し発熱する。熱せられた電子のいくらかは、浮遊ゲート２０からの静電引力に起因してゲート酸化物２６を通って浮遊ゲート２０に注入される。
【0042】
ドレイン１４及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子下のチャネル領域をターンオンする）ことによって、メモリセル２１０が読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去し、ドレイン１６に正に結合する）場合、浮遊ゲート２０下のチャネル領域の部分は、次に同様にオンになり、電流は、チャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）場合、次に浮遊ゲート２０下のチャネル領域の部分は、ほとんど又は完全にオフになり、電流は、チャネル領域１８を流れず（又はわずかに流れる）、プログラムされた状態又は「０」の状態として検出される。
【0043】
【0044】
他の分割ゲートメモリセル構成が知られている。例えば、図３は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２８（典型的には、ワード線に結合される）と、浮遊ゲート２０の上方にある制御ゲート２２と、及びソース領域１４の上方にある消去ゲート３０と、を備える４ゲートメモリセル３１０を示す。この構成は、米国特許第６，７４７，３１０号に記載され、この米国特許は、あらゆる目的のため参照により本明細書に組み込まれる。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、それらは電圧源に電気的に接続される又は接続可能であることを意味する。プログラミングは、浮遊ゲート２０にそれ自体を注入するチャネル領域１８からの熱せられた電子によって示される。消去は、浮遊ゲート２０から消去ゲート３０へトンネリングする電子によって示される。
【0045】
【0046】
図４は、分割ゲート３ゲートメモリセル４１０を示す。メモリセル４１０は、メモリセル４１０が別個の制御ゲートを有しないことを除いて、図３のメモリセル３１０と同一である。消去動作（消去ゲートを通しての消去）及び読み出し動作は、制御ゲートバイアスがないことを除いて、図３のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、ソース線のプログラム電圧は、制御ゲートバイアスの不足を補償するためにより高い。
【0047】
【0048】
図５は、積層ゲートメモリセル５１０を示す。メモリセル５１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２が絶縁層によって分離された浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
【0049】
【0050】
上記の人工ニューラルネットワークにおける不揮発性メモリセルのタイプのうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しすることができるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
【0051】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。このことは、セル記憶がアナログであるか、又は多数の別個の値（１６又は６４の異なる値など）のうちの１つを最低限記憶することができ、それは、メモリアレイ内の全てのセルの非常に正確、かつ個々の調整を可能にし、またメモリアレイを記憶に対して理想的にし、ニューラルネットワークのシナプシスの重みに微調整を加えることを意味する。
不揮発性メモリセルアレイを使用するニューラルネットワーク
不揮発性メモリセルアレイを使用するニューラルネットワーク
【0052】
図６は、不揮発性メモリアレイを利用するニューラルネットワークの非限定実施例を概念的に示す。この例は、顔認識アプリケーションのために不揮発性メモリアレイニューラルネットを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の任意の適切なアプリケーションを実施することができる。
【0053】
Ｓ０は入力であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつの３つの３２×３２ピクセルアレイ、各ピクセルが５ビット精度である）。Ｓ０からＣ１に行くシナプスＣＢ１は、異なる重みのセット、及び共有される重みの両方を有し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによって決まるように２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）は、シナプスＣＢ１に提供され、それによってこれらの９個の入力値に適切な重みを乗じ、その乗算の出力の合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のニューロンによって与えられる。３×３フィルタは次に右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、そのため、この新しく位置づけられたフィルタの９ピクセル値が、シナプスＣＢ１に提供されるため、それらに同じ重みを乗じ、関連するニューロンによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが３２×３２ピクセル画像全体にわたって３色全て及び全てのビットについてスキャンするまで続ける（精度値）。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【0054】
Ｃ１において、本例では、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、シナプスＣＢ１は、２次元アレイの１６層を構成する（本明細書で言及されるニューロン層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意する）。１６個の特徴マップのそれぞれは、フィルタスキャンに適用される１６個の異なる、シナプス重みのセットのうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
【0055】
活性化関数Ｐ１（プーリング）は、Ｃ１からＳ１へ行く前に適用され、各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする。プーリング段階の目的は、平均して近隣の位置にすること（又はｍａｘ関数もまた使用され得る）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。Ｓ１において、１６個の１５×１５特徴マップ（すなわち、１６個のそれぞれ１５×１５ピクセルの異なるアレイ）が存在する。Ｓ１からＣ２へ行くＣＢ２内のシナプス及び関連するニューロンは、Ｓ１内のマップを１ピクセルのフィルタシフトを使用して４×４フィルタでスキャンする。Ｃ２において、２２個の１２×１２特徴マップが存在する。活性化関数Ｐ２（プーリング）は、Ｃ２からＳ２へ行く前に適用され、各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする。Ｓ２において、２２個の６×６特徴マップが存在する。活性化関数は、Ｓ２からＣ３へ行くシナプスＣＢ３で適用され、ここでＣ３内の全てのニューロンはＳ２内の全てのマップに接続する。Ｃ３において、６４個のニューロンが存在する。Ｃ３から出力Ｓ３へ行くシナプスＣＢ４は、Ｓ３をＣ３と完全に接続する。Ｓ３における出力は、１０個のニューロンを含み、ここで最も高い出力ニューロンは、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
【0056】
シナプスの各レベルは、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。図７は、不揮発性メモリセルを含み、入力層と次の層との間のシナプスとして利用されるベクトルマトリクス乗算（ＶＭＭ）アレイのブロック図である。具体的には、ＶＭＭ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダはメモリアレイ３３に対する入力をデコードする。この例におけるソース線デコーダ３７はまた、メモリセルアレイの出力をデコードする。あるいは、ビット線デコーダ３６は、メモリアレイの出力をデコードすることができる。メモリアレイは、２つの目的を果たす。第１に、ＶＭＭにより使用される重みを記憶する。第２に、メモリアレイは、効果的に、入力に、メモリアレイに記憶された重みを乗じ、それらを出力線（ソース線又はビット線）ごとに合計して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、メモリアレイは、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
【0057】
メモリアレイの出力は差動加算器（加算オペアンプなど）３８に供給され、差動加算器はメモリセルアレイの出力を合計してその畳み込み用の単一の値を生成する。差動加算器は、正の入力で正の重みと負の重みとの合計を実現するようなものである。合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数には、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数が含まれ得る。整流された出力値は、次の層（例えば上の説明ではＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、メモリアレイは、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から入力を受信する）、加算オペアンプ３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0058】
図８は、様々なレベルのＶＭＭのブロック図である。入力は、デジタルアナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭ３２ａに提供される。入力ＶＭＭ３２ａによって生成された出力は、次のＶＭＭ（隠しレベル１）３２ｂへの入力として提供され、ＶＭＭ（隠しレベル１）３２ｂは、同様にして、次のＶＭＭ（隠しレベル２）３２ｂへの入力として提供される出力を生成する、などとなる。ＶＭＭの３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの異なる層として機能する。各ＶＭＭは、スタンドアローンの不揮発性メモリアレイであり得、又は複数のＶＭＭは、同じ不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭは、同じ不揮発性メモリアレイの重なり合う部分を利用することができる。
ベクトルマトリクス乗算（ＶＭＭ）アレイ
ベクトルマトリクス乗算（ＶＭＭ）アレイ
【0059】
図９は、図２に示されるタイプのメモリセルに特に適したニューロンＶＭＭ９００を示し、入力層と次の層との間のシナプス及び部品として利用される。ＶＭＭ９００は、不揮発性メモリセルのメモリアレイ９０３、基準アレイ９０１、及び基準アレイ９０２を備える。基準アレイ９０１及び９０２は、端子ＢＬＲ０～３内に流れる電流入力を電圧入力ＷＬ０～３に変換する役割を果たす。図示の基準アレイ９０１及び９０２は、列方向にある。一般に、基準アレイ方向は入力線に直交する。実際には、基準メモリセルは、マルチプレクサ（１つのマルチプレクサ及び基準ビット線をバイアスするための１つのカスコードトランジスタＶＢＬＲを含むマルチプレクサ９１４）を介して接続されたダイオードであり、電流入力はそれらの中に流れる。基準セルは、標的基準レベルに調整される。
【0060】
メモリアレイ９０３は、２つの目的を果たす。第１に、ＶＭＭ９００により使用される重みを記憶する。第２に、メモリアレイ９０３は、入力（端子ＢＬＲ０－３に提供される電流入力であって、基準アレイ９０１及び９０２がこれらの電流入力を入力電圧に変換してワード線ＷＬ０－３に供給する）にメモリアレイに記憶された重みを有効に乗算して、出力を生成し、これは次の層への入力又は最終の層への入力となる。乗算関数を実行することによって、メモリアレイは、別個の乗算論理回路の必要性をなくし、また電力効率も良い。ここで、電圧入力はワード線に提供され、出力は読み出し（推論）動作中にビット線に現れる。ビット線の電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0061】
図１０は、ＶＭＭ９００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0062】
図１１は、図２に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１１００を示し、入力層と次の層との間のシナプス及び部品として利用される。ＶＭＭ１１００は、不揮発性メモリセルのメモリアレイ１１０３、基準アレイ１１０１、及び基準アレイ１１０２を備える。ＶＭＭ１１００は、ＶＭＭ１１００においてワード線が垂直方向に延びることを除いて、ＶＭＭ９００と同様である。２つの基準アレイ１１０１（頂部で、偶数行の電圧への基準変換入力電流を提供する）及び１１０２（底部で、奇数行の電圧への基準変換入力電流を提供する）が存在する。ここで、入力はワード線に提供され、出力は読み出し動作中にソース線に現れる。ソース線の電流は、ソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0063】
図１２は、ＶＭＭ１１００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0064】
図１３は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１３００を示し、入力層と次の層との間のシナプス及び一部として利用される。ＶＭＭ１３００は、不揮発性メモリセルのメモリアレイ１３０１、基準アレイ１３０２（偶数行に対して入力電流を入力電圧に変換する基準を提供する）、及び基準アレイ１３０３（奇数行に対して入力電流を入力電圧に変換する基準を提供する）を備える。ＶＭＭ１３００は、ＶＭＭ１３００が、メモリセルの行の制御ゲートに結合する制御線１３０６と、メモリセルの隣接する行の消去ゲートに結合された制御線１３０７とを更に備えることを除いて、ＶＭＭ９００と同様である。ここで、ワード線、制御ゲート線、及び消去ゲート線は同じ方向である。ＶＭＭは、基準ビット線を選択された基準メモリセルのビット線接点に選択的に結合する基準ビット線選択トランジスタ１３０４（ｍｕｘ１３１４の一部）と、基準ビット線を特定の選択された基準メモリセルのための制御線１３０６に選択的に結合するスイッチ１３０５（ｍｕｘ１３１４の一部）と、を更に備える。ここで、入力は（メモリアレイ１３０１の）ワード線に提供され、出力は読み出し動作中にビット線１３０９などのビット線に現れる。ビット線の電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0065】
図１４は、ＶＭＭ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0066】
図１５は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１５００を示し、入力層と次の層との間のシナプス及び部品として利用される。ＶＭＭ１５００は、ＶＭＭ１５００で、消去ゲート線１５０１などの消去ゲート線が垂直方向に延びることを除いて、ＶＭＭ１１００と同様である。ここで、入力はワード線に提供され、出力はソース線に現れる。ビット線の電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0067】
図１６は、ＶＭＭ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0068】
図１７は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１７００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭ１７００は、不揮発性メモリセルのメモリアレイ１７０１、及び基準アレイ１７０２（アレイの頂部で）を備える。あるいは、別の基準アレイが、図１０のものと同様に、底部に位置することができる。他の点では、ＶＭＭ１７００は、ＶＭＭ１７００で、制御ゲート線１７０３などの制御ゲート線が垂直方向に延び（したがって、行方向の基準アレイ１７０２が入力制御ゲート線に直交する）、消去ゲート線１７０４などの消去ゲート線が水平方向に延びることを除いて、前述のＶＭＭと同様である。ここで、入力は制御ゲート線に提供され、出力はソース線に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。ソース線の電流は、ソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0069】
ニューラルネットワークについて本明細書に記載されるように、フラッシュセルは、サブ閾値領域で動作するように構成されることが好ましい。
【0070】
本明細書に記載されたメモリセルは、弱反転にバイアスされる。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
ｗ＝ｅ(-Vth)/kVt
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
ｗ＝ｅ(-Vth)/kVt
【0071】
入力電流を入力電圧に変換するためにメモリセルを使用するＩーＶログ変換器について：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
【0072】
ベクトルマトリクス乗算器ＶＭＭとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
【0073】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0074】
あるいは、フラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗα（Ｖｇｓ－Ｖｔｈ）
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗα（Ｖｇｓ－Ｖｔｈ）
【0075】
Ｉ－Ｖ線形変換器では、線形領域で動作するメモリセルを使用して、入力／出力電流を入力／出力電圧に線形に変換することができる。
【0076】
ＥＳＦベクトルマトリックス乗算器の他の実施形態は、参照により本明細書に組み込まれる米国特許出願番号１５／８２６，３４５に記載されているとおりである。ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
【0077】
図１８は、システムコントローラ１８０１、アナログニューロモーフィックメモリエンジン１８０２、及びアナログニューロモーフィックメモリエンジン１８０３を備える、アナログニューロモーフィックメモリシステム１８００を示す。アナログニューロモーフィックメモリエンジン１８０２及びアナログニューロモーフィックメモリエンジン１８０３はそれぞれ、重みでプログラムされるＶＮＭアレイを含む。アナログニューロモーフィックメモリエンジン１８０３内のＶＮＭ内のアレイの一部分は、データがドリフトしたかどうかを判定するためのプロセス専用である。
【0078】
図１９は、ＶＮＭ内のデータをリフレッシュするための方法１９００を示す。フラッシュメモリセルのセットがサンプリングされる（工程１９０１のサンプル選択）。サンプルは、フラッシュメモリセルによって記憶される各可能なレベル（Ｎの値）に対して分析され（Ｌ０、．．．ＬＮ－１）、差（ＤＲｘ）が、隣接するレベルの各対間で計算される（工程１９０２）。各レベルについて、差（ＤＲｘ）は、ターゲット（理想）（ＤＲｘ＿ｔａｒｇｅｔ）と比較される（工程１９０３）。差（ＤＲｘ）のいずれかがターゲットを超えると、リフレッシュフラグが設定される（工程１９０４）。次いで、データ復元プロセスが行われる（工程１９０５）。この工程は、オンチップコントローラによって行われても、オフチップコントローラによって行われてもよい。工程１９０５では、各レベルに対して再調整工程（例えば、再プログラミング）が適合される。最初に、セルがリードバックされ、次いで、レベルに応じて、デルタ再調整が、そのレベルに対して適用される。この目的のために、ルックアップテーブル（Ｉｃｅｌｌ対Ｉ－ｔｕｎｅｄ ｔａｒｇｅｔ）が使用され得る。この工程では、ターゲットに到達するために、調整アルゴリズム（反復検証及びプログラム）が使用される（参照により本明細書に組み込まれる、米国特許出願第１５／８２６，３４５号に記載されるアルゴリズムを使用することによってなど）。また、サンプリングされたデータ保持セルに対して復元も行われる。各セルの電流が、そのセルに記憶されたレベルに対するターゲット電流に等しくなると（工程１９０６）、プロセスは完了する（工程１９０８）。それに到達しなければ、セルは不良と見なされ、プロセスは完了する（工程１９０７）。
【0079】
図２０は、ＶＮＭ内のデータをリフレッシュするための別の方法２０００を示す。例示的なフラッシュメモリセルのセットがサンプリングされる（工程２００１）。サンプルは、フラッシュメモリセルによって記憶される各可能なレベル（Ｎの値）に対して分析され（Ｌ０、．．．ＬＮ－１）、差（ＤＲｘ）が、隣接するレベルの各対間で計算される（工程２００２）。各レベルについて、差（ＤＲｘ）は、ターゲット（理想）（ＤＲｘ＿ｔａｒｇｅｔ）と比較される（工程２００３）。差（ＤＲｘ）のいずれかがターゲットを超えると、リフレッシュフラグが設定される（工程２００４）。次いで、データ復元プロセスが行われる（工程２００５）。復元は、オンチップ又はオフチップのコントローラによって行われ得る。工程２００５では、各レベルに対して再調整工程（例えば、再プログラミング）が適合される。最初に、セル（アレイセル及びサンプリングされたデータ保持セル）がリードバックされ、次いで、レベルに応じて、デルタ再調整が、そのレベルに対して微細増分復元アルゴリズムによって適用される。この目的のために、ルックアップテーブル（Ｉｃｅｌｌ対Ｉ－ｔｕｎｅｄ ｔａｒｇｅｔ）が使用され得る。この工程では、ターゲットに到達するために、微調整アルゴリズム（微細ステップ反復検証及びプログラム）が使用される（参照により本明細書に組み込まれる、米国特許出願第１５／８２６，３４５号に記載されるアルゴリズムを使用することによってなど）。あるいは、データ復元は、トレーニングからの重みを全てＶＭＭアレイに転送することによって、ＶＭＭアレイ全体を再プログラミングすることによって行われ得る。各セルの電流が、そのセルに記憶されたレベルに対するターゲット電流に等しくなると（工程２００６）、プロセスは完了する（工程２００７）。それに到達しなければ、セルは不良と見なされる（工程２００８）。次いで、冗長アレイセクタを使用して、不良アレイセクタが置き換えられる（工程２００９）。このようにして使用された冗長セルの数が閾値を超えると（工程２０１０）、セクタ全体が不良と見なされる（工程２０１１）。
【0080】
図２１及び図２２に関して、「高速セル」は、プログラム動作中に平均的なセルと比較して相対的に速く浮遊ゲートから電荷を失うことができるセルであり、そのような高速セルは、時間の経過と共にデータドリフトをより起こしやすくなるので、高速セルを識別することが望ましい場合がある。図２１では、グラフ２１００を参照すると、比較的少ないプログラミング試行（回数）で高電流レベルＩｒｃｅｌｌを得るものとして、高速セルを識別することができる。図２２では、グラフ２２００を参照すると、高速セルが、正常セルよりも高Ｉｒ動作範囲を有する可能性が高いことが理解される。図２２は、データ保持（ドリフト）監視に使用される例示的なセルを示す。最小範囲及び最大範囲を超えるセルが、監視目的のために使用される。これは、正常セルよりも悪いストレス状態を有する監視セルを作成するために使用される。
【0081】
図２３は、データドリフト検出スキームを示す。この例では、特定の電流レベルがターゲット１とターゲット２との間にあることが望ましい。検知された電流がそれらのターゲット間にある場合、リフレッシュは必要とされず、これは、ドリフトがシステム性能に対して許容可能であることを意味する。一方、感知された電流が、ターゲット１とターゲット２との間の範囲の外にある場合は、データリフレッシュ（復元）プロセスが実行される。
【0082】
図２４は、データドリフト検出器の一実施形態を示す。データドリフト検出器２４００は、電流２４０２（選択されたセルを通る感知された電流レベル、又はそのような電流間の差のいずれかであり得る）及び基準電流２４０１をコンパレータ２４０３で受信し、コンパレータ２４０３は、電流２４０２が基準電流２４０１を超えるか否かを示す値を出力する。データドリフト検出器２４００は、選択されたセルによって引き込まれた電流を、選択されたセルに記憶されていることが意図される値に基づくターゲット電流と比較する。
【0083】
図２５は、データドリフト検出器の別の実施形態を示す。データドリフト検出器２５００は、サンプルホールドコンデンサ２５０１及び２５０４、スイッチ２５０２及び２５０５、電流源２５０６（選択されたセルを通る感知された電流レベル、又はそのような電流間の差のいずれかであり得る）、基準電流２５０３、並びにコンパレータ２５０７を含む。この実施形態では、２つの電流源は、所定の立ち上がり期間を介してコンデンサによってサンプリングされ、保持され、次いで、それらのサンプリングされた値がコンパレータ２５０７によって比較される。したがって、データドリフト検出器２５００は、選択されたセルによって引き込まれたサンプリングされた電流を、選択されたセルに記憶されていることが意図される値に基づくサンプリングされたターゲット電流と比較する。
【0084】
図２６を参照すると、グラフ２６００に示されるように、データドリフト検出器２５００のサンプリング周期は、有意なデータドリフトが生じる前にどのくらいの時間が経過しやすいかの理解に基づいて選択することができる。これにより、電力消費は、データドリフト検出器２４００と比較して少なくなり得る。
【0085】
図２７は、データドリフト検出器の別の実施形態を示す。データドリフト検出器２７００は、選択されたメモリセル２７０１、電流源２７０２、基準電圧２７０３、及びコンパレータ２７０４を含む。この実施形態では、選択されたメモリセル２７０１の浮遊ゲートに記憶された電圧（ノード２７０５の電圧＝～ＶＦＧ－ＶｔＦＧ）と基準電圧２７０３（選択されたメモリセル２７０１に記憶されることが意図される電圧である）との間で直接比較が行われる。メモリセル２７０１は、ソースフォロワ動作モードで構成される。基準電圧は、基準メモリセルから生成され得る。
【0086】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「の上に間接的に」（中間材料、要素、又は空間がそれらの間に配設される）を包括的に含むことに留意するべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「間接的に隣接した」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「に間接的に取り付けられた」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に何ら伴わずに、形成すること、並びにその要素を基板の上に間接的に、１つ以上の中間材料／要素をそれらの間に伴って、形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】