▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特許7492042人工ニューラルネットワーク内のアナログニューロモーフィックメモリのための高精度かつ高効率な調整機構及びアルゴリズム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-20
(45)【発行日】2024-05-28
(54)【発明の名称】人工ニューラルネットワーク内のアナログニューロモーフィックメモリのための高精度かつ高効率な調整機構及びアルゴリズム
(51)【国際特許分類】
G11C 11/56 20060101AFI20240521BHJP
G11C 16/10 20060101ALI20240521BHJP
G11C 16/34 20060101ALI20240521BHJP
【ＦＩ】
G11C11/56 210
G11C16/10 140
G11C16/34 140
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2023002083
(22)【出願日】2023-01-11
(62)【分割の表示】P 2020529370の分割
【原出願日】2018-10-30
(65)【公開番号】P2023052302
(43)【公開日】2023-04-11
【審査請求日】2023-02-08
(31)【優先権主張番号】15/826,345
(32)【優先日】2017-11-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
(72)【発明者】
【氏名】ティワリ、ビピン
(72)【発明者】
【氏名】ドー、ナン
(72)【発明者】
【氏名】レムケ、スティーブン
(72)【発明者】
【氏名】ハリハラン、サントシュ
(72)【発明者】
【氏名】ホン、スタンレー
【審査官】後藤 彰
(56)【参考文献】
【文献】特表２００８－５２１１５３（ＪＰ，Ａ）
【文献】特表２００７－５２０８４５（ＪＰ，Ａ）
【文献】国際公開第２０１７／２００８８３（ＷＯ，Ａ１）
【文献】特開平０８－００７５９７（ＪＰ，Ａ）
【文献】特表２０１１－５２７０６９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１１Ｃ １１／５６
Ｇ１１Ｃ １６／１０
Ｇ１１Ｃ １６／３４
(57)【特許請求の範囲】
【請求項1】
不揮発性メモリセルをプログラミングする方法であって、該方法は、前記セルを消去するステップと、
前記セルに粗いプログラミングのシーケンスを実行するステップであって、該粗いプログラミングのシーケンスを実行するステップは、
第１の電圧増分でセルをプログラミングするステップと、
読み出し動作中に前記セルを通る電流が閾値を超えるまで、前記第１の電圧増分の半分の値に等しい第２の電圧増分で前記セルをプログラミングするステップと、を含む、粗いプログラミングのシーケンスを実行するステップと、
前記セルに微細なプログラミングのシーケンスを実行するステップであって、該微細なプログラミングのシーケンスを実行するステップは、
前記セルの浮遊ゲートの電荷の一部を除去するステップと、
読み出し動作中に前記セルを通る前記電流が前記閾値を超えるまで、前記セルを第３の電圧増分でプログラミングするステップであって、前記第３の電圧増分が前記第２の電圧増分よりも小さい、プログラミングするステップと、を含む、微細なプログラミングのシーケンスを実行するステップと、を含む、方法。
【請求項2】
前記メモリセルは、分割２ゲートフラッシュメモリセルである、請求項１に記載の方法。
【請求項3】
前記メモリセルは、分割３ゲートフラッシュメモリセルである、請求項１に記載の方法。
【請求項4】
前記メモリセルは、分割４ゲートフラッシュメモリセルである、請求項１に記載の方法。
【請求項5】
前記メモリセルは、サブ閾値領域で動作する、請求項１に記載の方法。
【請求項6】
不揮発性アナログニューロモーフィックメモリセルをプログラミングする方法であって、該方法は、前記セルを消去するステップと、
前記セルに粗いプログラミングのシーケンスを実行するステップであって、該粗いプログラミングのシーケンスを実行することステップは、
第１の電圧増分で前記セルに第１のプログラミング動作を実行するステップと、
読み出し動作中に前記セルを通る電流が第１の電流閾値を超えるまで、前記第１のプログラミング動作を繰り返すステップと、を含む、粗いプログラミングのシーケンスを実行するステップと、
前記セルに微細なプログラミングのシーケンスを実行するステップであって、該微細なプログラミングのシーケンスを実行するステップは、
前記セルの浮遊ゲートの電荷の一部を除去するステップと、
読み出し動作中に前記セルを通る前記電流が前記閾値を超えるまで、前記セルを第２の電圧増分でプログラミングするステップであって、前記第２の電圧増分は前記第１の電圧増分よりも小さい、プログラミングするステップと、を含む、微細なプログラミングのシーケンスを実行するステップと、を含む、方法。
【請求項7】
前記セルに第２の微細なプログラミングのシーケンスを実行するステップであって、該微細なプログラミングのシーケンスを実行するステップは、前記セルの前記浮遊ゲートの前記電荷の一部を除去するステップと、
読み出し動作中に前記セルを通る前記電流が前記閾値を超えるまで、前記セルを第３の電圧増分でプログラミングするステップと、を含み、前記第３の電圧増分は前記第２の電圧増分よりも小さい、プログラミングするステップと、を含む、微細なプログラミングのシーケンスを実行するステップ、を更に含む、請求項６に記載の方法。
【請求項8】
前記粗いプログラミングは、バイナリサーチプログラミングである、請求項６に記載の方法。
【請求項9】
前記粗いプログラミング及び前記微細なプログラミングは、ログステッププログラミングである、請求項６に記載の方法。
【請求項10】
前記粗いプログラミングのパルス幅は、前記微細なプログラミングのパルス幅よりも大きい、請求項６に記載の方法。
【請求項11】
前記プログラミングは、固定パルス幅プログラミングを含む、請求項６に記載の方法。
【請求項12】
前記メモリセルは、分割２ゲートフラッシュメモリセルである、請求項６に記載の方法。
【請求項13】
前記メモリセルは、分割３ゲートフラッシュメモリセルである、請求項６に記載の方法。
【請求項14】
前記メモリセルは、分割４ゲートフラッシュメモリセルである、請求項６に記載の方法。
【請求項15】
前記メモリセルは、サブ閾値領域で動作する、請求項６に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本特許出願は、２０１７年１１月２９日に出願された米国特許出願第１５／８２６，３４５号の利益を主張する。
本特許出願は、２０１７年１１月２９日に出願された米国特許出願第１５／８２６，３４５号の利益を主張する。
【0002】
（発明の分野）
人工ニューラルネットワークにおいて使用されるアナログニューロモーフィックメモリ内のセルを調整するための多数の実施形態が開示されている。
人工ニューラルネットワークにおいて使用されるアナログニューロモーフィックメモリ内のセルを調整するための多数の実施形態が開示されている。
【背景技術】
【0003】
人工ニューラルネットワークは、多数の入力によって異なり得る機能を推定する又は近似するために使用され、概ね未知である生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）によく似ている。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。図１は、人工ニューラルネットワークを図示しており、ここで円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これは、ニューラルネットワークが入力に適応できるようにし、学習できるようにする。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信されたデータに基づいて個々に又は合わせて決定を行う。
【0004】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに頼り、ニューロン間の高い接続性、すなわち、非常に高度な計算的並行処理を可能にする。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専門化したグラフィック処理ユニットクラスタによって実現され得る。しかしながら、高コストに加え、これらのアプローチはまた、主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しない生物学的ネットワークに比べてあまり良くないエネルギー効率に悩まされている。ＣＭＯＳアナログ回路は、人工ニューラルネットワークに使用されてきたが、ほとんどのＣＭＯＳ実装シナプス（CMOS-implemented synapses）は、多数のニューロン及びシナプスを考えると嵩高すぎていた。
【0005】
出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配置され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配置され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、をそれぞれが含む複数のメモリセルを含む。複数のメモリセルのそれぞれは、浮遊ゲートの多くの電子に対応する重み値を格納するように構成されている。複数のメモリセルは、第１の複数の入力に、格納された重み値を乗じて第１の複数の出力を生成するように構成されている。
【0006】
アナログニューロモーフィックに使用される各不揮発性メモリセルは、消去され、浮遊ゲート内に非常に特異的かつ正確な量の電荷を保持するようにプログラムされなければならない。例えば、各浮動ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、及び６４が挙げられる。先行技術は、セルが所望の量の電荷を含むことを確実にするために、各セルを調整するための高速かつ正確な機構を欠いている。
【0007】
人工ニューラルネットワークで使用されるアナログニューロモーフィックメモリを調整するための改良された機構及びアルゴリズムが必要とされている。
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】
【0050】
【0051】
【0052】
【0053】
【0054】
【0055】
【図面の簡単な説明】
【0056】
【図1】人工ニューラルネットワークを示す図である。
【図2】従来の２ゲートの不揮発性メモリセルの側面断面図である。
【図4】従来の２ゲートの不揮発性メモリセルの側面断面図である。
【図6】従来の４ゲートの不揮発性メモリセルの側面断面図である。
【図8A】均等な間隔であるニューラルネットワークの重みレベルの割当てを示す図である。
【図8B】不均等な間隔であるニューラルネットワークの重みレベルの割当てを示す図である。
【図9】双方向調整アルゴリズムを示すフロー図である。
【図10】電流比較を使用した重みマッピングを示すブロック図である。
【図11】電圧比較を使用した重みマッピングを示すブロック図である。
【図12】不揮発性メモリアレイを利用する異なるレベルの例示的ニューラルネットワークを示す図である。
【図13】ベクトル乗算器マトリクスを示すブロック図である。
【図14】様々なレベルのベクトル乗算器マトリクスを示すブロック図である。
【図15】４ゲートのメモリセルのアレイの第１のアーキテクチャを示す概略図である。
【図16】４ゲートのメモリセルのアレイの第１のアーキテクチャを示す概略図である。
【図17】４ゲートのメモリセルのアレイの第２のアーキテクチャを示す概略図である。
【図18】４ゲートのメモリセルのアレイの第２のアーキテクチャを示す概略図である。
【図19】４ゲートのメモリセルのアレイの第３のアーキテクチャを示す概略図である。
【図20】４ゲートのメモリセルのアレイの第４のアーキテクチャを示す概略図である。
【図21】４ゲートのメモリセルのアレイの第５のアーキテクチャを示す概略図である。
【図22】４ゲートのメモリセルのアレイの第６のアーキテクチャを示す概略図である。
【図23】２ゲートのメモリセルのアレイの第１のアーキテクチャを示す概略図である。
【図24】２ゲートのメモリセルのアレイの第２のアーキテクチャを示す概略図である。
【図25】電流／電圧ログ変換器を示す図である。
【図26】電圧／電流ログ変換器を示す図である。
【図27】接地基準（Gnd-referred）電流加算器を示す図である。
【図28】Ｖｄｄ基準（Vdd-referred）電流加算器を示す図である。
【図29】不揮発性メモリアレイのＮ2ニューラルネット入力の利用を示す図である。
【図30】不揮発性メモリアレイのＮ2ニューラルネット入力の利用を示す図である。
【図31】周期的にシフトする入力線を有する不揮発性メモリアレイのニューラルネット入力の利用を示す図である。
【図34】人工ニューラルネットワークで利用することができる先行技術の不揮発性メモリセルの断面図である。
【図35】人工ニューラルネットワークで使用するための不揮発性メモリセルのアレイを示す。
【図37】人工ニューラルネットワークで使用するための不揮発性メモリセルのアレイを示す。
【図39】人工ニューラルネットワークで使用するための不揮発性メモリセルのアレイを示す。
【図41】人工ニューラルネットワークで使用するための不揮発性メモリセルのアレイを示す。
【図43】不揮発性メモリセルのアレイ内の異なるプログラミング速度特性を有するセルを調整するためのアルゴリズムを示す。
【図44】不揮発性メモリセルのアレイ内で迅速にプログラムすることができるセルを識別するためのアルゴリズムを示す。
【図45】粗いプログラミングのシーケンス及び微細なプログラミングのシーケンスを含むセルを調整するためのアルゴリズムを示す。
【図46】不揮発性メモリセルを調整するための均一ステップアルゴリズムを示す。
【図47】不揮発性メモリセルを調整するための粗いステップ及び微細なステップを含む、均一なログステップアルゴリズムを示す。
【図48】不揮発性メモリセルを調整するための粗いステップ及び微細なステップを含む、バイナリサーチステップアルゴリズムを示す。
【図49】不揮発性メモリセルのための調整シーケンスの波形を示す。
【図50】不揮発性メモリセルのための調整シーケンスの波形を示す。
【発明を実施するための形態】
【0057】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。デジタル不揮発性メモリは、周知である。例えば、米国特許第５，０２９，１３０号（「’１３０号特許」）は、分割ゲート不揮発性メモリセルのアレイを開示し、あらゆる目的のために参照により本明細書に組み込まれる。メモリセルを図２に示す。各メモリセル１０は、半導体基板１２内に形成され、チャネル領域１８をその間に有するソース領域及びドレイン領域１４／１６を含む。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に形成され、チャネル領域１８の第１の部分から絶縁され（かつその伝導率を制御する）、及びドレイン領域１６の一部の上方に形成される。制御ゲート２２は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁される（かつその伝導率を制御する）第１の部分２２ａと、浮遊ゲート２０の上方に延在する第２の部分２２ｂと、を有する。浮遊ゲート２０及び制御ゲート２２は、ゲート酸化物２６によって基板１２から絶縁される。
【0058】
メモリセルは、制御ゲート２２に高圧正電圧を印加することによって消去され（ここで電子は、浮遊ゲートから除去される）、それにより、ファウラーノルドハイムトンネリングによって浮遊ゲート２０から制御ゲート２２まで中間絶縁体２４を通って浮遊ゲート２０の電子をトンネリングさせる。
【0059】
メモリセルは、制御ゲート２２に正電圧、及びドレイン１６に正電圧を印加することによってプログラムされる（ここで電子は、浮遊ゲートに印加される）。電子電流は、ソース１４からドレイン１６に向かって流れることになる。電子は、制御ゲート２２と浮遊ゲート２０との間の間隙に達すると、加速し発熱する。熱せられた電子のいくらかは、浮遊ゲート２０からの静電引力に起因してゲート酸化物２６を通って浮遊ゲート２０のに注入される。
【0060】
メモリセルは、ドレイン１６及び制御ゲート２２に正の読み出し電圧を印加することによって読み出される（制御ゲート下のチャネル領域をオンにする）。浮遊ゲート２０が正に帯電する（すなわち、電子を消去し、ドレイン１６に正に結合する）場合、浮遊ゲート２０下のチャネル領域の部分は、次に同様にオンになり、電流は、チャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）場合、次に浮遊ゲート２０下のチャネル領域の部分は、ほとんど又は完全にオフになり、電流は、チャネル領域１８を流れず（又はわずかに流れる）、プログラムされた状態又は「０」の状態として検出される。
【0061】
先行技術のメモリアレイのアーキテクチャを図３に示す。メモリセル１０は、行及び列に配置される。各列において、メモリセルは、ミラー方式にエンドツーエンドで配置され、その結果、それらのメモリセルは、それぞれが共通ソース領域１４（source、Ｓ）を共有するメモリセルのペアとして形成され、メモリセルペアの隣接するセットはそれぞれ共通ドレイン領域１６（drain、Ｄ）を共有する。任意の所与のメモリセルの行のソース領域１４は全て、ソース線１４ａによって電気的に接続される。任意の所与のメモリセルの列のドレイン領域１６は全て、ビット線１６ａによって電気的に接続される。任意の所与のメモリセルの行の制御ゲート２２は全て、制御ゲート線２２ａによって電気的に接続される。したがって、メモリセルを個々にプログラム及び読み出しすることができる一方、メモリセル消去は１行ずつ実行される（メモリセルの各行は、制御ゲート線２２ａへの高電圧の適用によって一緒に消去される）。特定のメモリセルを消去する場合は、同じ行にある全てのメモリセルもまた消去される。
【0062】
当業者は、ソース及びドレインは互換可能であり得ることを理解しており、ここで浮遊ゲートは、図４（２ゲートメモリセル）に示されるように、ドレインの代わりにソースの上方に部分的に延在し得る。図５は、メモリセル１０、ソース線１４ａ、ビット線１６ａ、及び制御ゲート線２２ａを含む、対応するメモリセルアーキテクチャを最も良く示している。図から明らかなように、同じ行のメモリセル１０は、同じソース線１４ａ及び同じ制御ゲート線２２ａを共有し、一方同じ列の全てのセルのドレイン領域は、同じビット線１６ａに電気的に接続されている。アレイの設計は、デジタルアプリケーション用に最適化されており、例えば、１．６Ｖ及び７．６Ｖを選択した制御ゲート線２２ａ及びソース線１４ａにそれぞれ印加し、選択したビット線１６ａを接地することによるなど、選択したセルの個々のプログラミングを可能にする。同じペア内の選択されていないメモリセルを妨害することは、選択されていないビット線１６ａに２ボルト超の電圧を印加し、残りの線を接地することによって回避される。消去に関与しているプロセス（浮遊ゲート２０から制御ゲート２２までの電子のファウラーノルドハイムトンネリング）は、ドレイン電圧（すなわち、同じソース線１４ａを共有する行方向で２つの隣接するセルにより異なり得る電圧のみ）に弱く影響を受けるだけであるので、メモリセル１０を個々に消去することはできない。
【0063】
３つ以上のゲートを有する分割ゲートメモリセルもまた既知である。例えば、図６に示されるように、４ゲートのメモリセルは、ソース領域１４、ドレイン領域１６、チャネル領域１８の第１の部分の上方の浮遊ゲート２０、チャネル領域１８の第２の部分の上方の選択ゲート２８、浮遊ゲート２０の上方の制御ゲート２２、及びソース領域１４の上方の消去ゲート３０を有し、それらは既知である（例えば、米国特許第６，７４７，３１０号を参照されたく、これは参照によりあらゆる目的で本明細書に組み込まれる）。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、それらは電圧源に電気的に接続されている又は接続可能であることを意味する。プログラミングは、浮遊ゲート２０にそれ自体を注入するチャネル領域１８からの熱せられた電子によって示される。消去は、浮遊ゲート２０から消去ゲート３０へトンネリングする電子によって示される。
【0064】
別のタイプの先行技術の分割ゲート３ゲートメモリセルを図３４に示す。図３４の分割ゲートメモリセルは、別個の制御ゲートを有さないことを除いて、図６の分割ゲートメモリセルと同一である。消去動作（消去ゲートを通しての消去）及び読み出し動作は、制御ゲートバイアスがないことを除いて、図６のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、ソース線のプログラム電圧は、制御ゲートバイアスの不足を補償するためにより高い。
（０００１）
表１は、読み出し、消去及びプログラム動作を実行するために４つの端子に印加され得る典型的な電圧範囲を示す。
表１：図３４のフラッシュメモリセルの動作
（０００１）
表１は、読み出し、消去及びプログラム動作を実行するために４つの端子に印加され得る典型的な電圧範囲を示す。
表１：図３４のフラッシュメモリセルの動作
【表1】
【0065】
４ゲートのメモリセルアレイのアーキテクチャは、図７に示されるように構成され得る。この実施形態では、それぞれの水平の選択ゲート線２８ａは、メモリセルのその行の選択ゲート２８全てを電気的に一緒に接続する。それぞれの水平の制御ゲート線２２ａは、メモリセルのその行の制御ゲート２２全てを電気的に一緒に接続する。それぞれの水平のソース線１４ａは、ソース領域１４を共有するメモリセルの２つの行に対するソース領域１４全てを電気的に一緒に接続する。それぞれのビット線１６ａは、メモリセルのその列のドレイン領域１６全てを電気的に一緒に接続する。それぞれの消去ゲート線３０ａは、消去ゲート３０を共有するメモリセルの２つの行に対する消去ゲート３０全てを電気的に一緒に接続する。以前のアーキテクチャと同様に、個々のメモリセルは、独立してプログラム及び読み出しを行うことができる。しかしながら、セルを個々に消去する方法はない。消去は、消去ゲート線３０ａに高圧正電圧を印加することによって実行され、このことは同じ消去ゲート線３０ａを共有するメモリセルの両方の行の同時消去をもたらす。例示的な動作電圧は、下の表２内のものを含み得る（この実施形態では、選択ゲート線２８ａはワード線（word line、ＷＬ）と呼ばれることがある）：
表２
表２
【表2】
【0066】
上記の不揮発性メモリセルのタイプのうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しすることができるように線を再構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。このことは、セル格納がアナログであるか、又は多数の別個の値（１６又は３２の異なる値など）のうちの１つを最低限格納することができ、それは、メモリアレイ内の全てのセルの非常に正確、かつ個々の調整を可能にし、またメモリアレイを格納に対して理想的にし、ニューラルネットワークのシナプシスの重みに微調整を加えることを意味する。
メモリセルのプログラミング及び格納
メモリセルのプログラミング及び格納
【0067】
メモリセル内に格納されたニューラルネットワークの重みレベルの割り当ては、図８Ａに示されるような均等な間隔、又は図８Ｂに示されるような不均等な間隔であり得る。不揮発性メモリセルのプログラミングは、図９に示されるものなどの双方向調整アルゴリズムを使用して実装され得る。Ｉｃｅｌｌは、プログラムされる標的セルの読み出し電流であり、Ｉｔａｒｇｅｔは、セルが理想的にプログラムされる際の所望の読み出し電流である。標的セル読み出し電流Ｉｃｅｌｌを読み出し（工程１）、標的読み出し電流Ｉｔａｒｇｅｔと比較する（工程２）。標的セル読み出し電流Ｉｃｅｌｌが、標的読み出し電流Ｉｔａｒｇｅｔより大きい場合は、プログラミング調整プロセスを実行して（工程３）浮遊ゲート（ルックアップテーブルを使用して制御ゲートの所望のプログラミング電圧ＶＣＧを決定する）の電子数を増大させ（工程３ａ～３ｂ）、必要に応じてこれを繰り返すことができる（工程３ｃ）。標的セル読み出し電流Ｉｃｅｌｌが、標的読み出し電流Ｉｔａｒｇｅｔより小さい場合は、消去調整プロセスを実行して（工程４）浮遊ゲート（ルックアップテーブルを使用して消去ゲートの所望の消去電圧ＶＥＧを決定する）の電子数を減少させ（工程４ａ～４ｂ）、必要に応じてこれを繰り返すことができる（工程４ｃ）。プログラミング調整プロセスが標的読み出し電流を通り過ぎると、（許容できるデルタ値内で）標的読み出し電流を達成するまで次に消去調整プロセスを実行し（工程３ｄ及び工程４ａで始まる）、逆もまた同様である（工程４ｄ及び工程３ａで始まる）。
【0068】
不揮発性メモリセルのプログラミングは、プログラミング調整を使用して一方向の調整アルゴリズムを使用して代わりに実装され得る。このアルゴリズムを使用して、メモリセルが最初に完全に消去され、次に標的セルの読み出し電流が標的閾値に達するまで図９のプログラミング調整工程３ａ～３ｃが実行される。あるいは、不揮発性メモリセルの調整は、消去調整を使用して一方向の調整アルゴリズムを使用して実装され得る。このアプローチでは、メモリセルが最初に完全にプログラムされ、次に標的セルの読み出し電流が標的閾値に達するまで図９の消去調整工程４ａ～４ｃが実行される。
【0069】
図１０は、電流比較を使用した重みマッピングを示す図である。重みデジタルビット（例えば、各シナプシスに対して５ビットの重み、メモリセルの標的デジタル重みを表す）は、デジタルアナログ変換器（digital-to-analog converter、ＤＡＣ）４０に入力され、ＤＡＣ４０はビットを電圧Ｖｏｕｔ（例えば、６４電圧レベル－５ビット）に変換する。Ｖｏｕｔは、電圧電流変換器Ｖ／Ｉ Ｃｏｎｖ４２によって電流Ｉｏｕｔ（例えば、６４電流レベル－５ビット）に変換される。電流は、電流比較器ＩＣｏｍｐ４４に供給される。プログラム又は消去アルゴリズムの有効化は、メモリセル１０に入力される（例えば、消去：ＥＧ電圧をインクリメント、又はプログラム：ＣＧ電圧をインクリメント）。外へ出るメモリセル電流Ｉｃｅｌｌｏｕｔ（すなわち、読み出し動作から）は、電流比較器ＩＣｏｍｐ４４に供給される。電流比較器ＩＣｏｍｐ４４は、メモリセル電流Ｉｃｅｌｌｏｕｔを重みデジタルビット由来の電流Ｉｏｕｔと比較してメモリセル１０に格納された重みを示す信号を生成する。
【0070】
図１１は、電圧比較を使用した重みマッピングを示す図である。重みデジタルビット（例えば、各シナプシスに対して５ビットの重み）は、デジタルアナログ変換器（ＤＡＣ）４０に入力され、ＤＡＣ４０はビットを電圧Ｖｏｕｔ（例えば、６４電圧レベル－５ビット）に変換する。Ｖｏｕｔは、電圧比較器ＶＣｏｍｐ４６に供給される。プログラム又は消去アルゴリズムの有効化は、メモリセル１０に入力される（例えば、消去：ＥＧ電圧をインクリメント、又はプログラム：ＣＧ電圧をインクリメント）。外へ出るメモリセル電流Ｉｃｅｌｌｏｕｔは、電圧Ｖ２ｏｕｔへの変換（例えば、６４電圧レベル－５ビット）のために電流電圧変換器Ｉ／Ｖ Ｃｏｎｖ４８に供給される。電圧Ｖ２ｏｕｔは、電圧比較器ＶＣｏｍｐ４６に供給される。電圧比較器ＶＣｏｍｐ４６は、電圧Ｖｏｕｔ及びＶ２ｏｕｔを比較してメモリセル１０に格納された重みを示す信号を生成する。
不揮発性メモリセルアレイを使用するニューラルネットワーク
不揮発性メモリセルアレイを使用するニューラルネットワーク
【0071】
図１２は、不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に図示する。この例は、顔認識アプリケーションのために不揮発性メモリアレイニューラルネットを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の任意の適切なアプリケーションを実施することができる。Ｓ０は入力であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつの３つの３２×３２ピクセルアレイ、各ピクセルが５ビット精度である）。Ｓ０からＣ１に行くシナプスＣＢ１は、異なる重みのセット及び共有される重みの両方を有し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによって決まるように２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）は、シナプスＣＢ１に提供され、それによってこれらの９個の入力値に適切な重みを乗じ、その乗算の出力の合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のニューロンによって与えられる。３×３フィルタは次に右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、そのため、この新しく位置づけられたフィルタの９ピクセル値が、シナプスＣＢ１に提供されるため、それらに同じ重みを乗じ、関連するニューロンによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが３２×３２ピクセル画像全体にわたって３色全て及び全てのビットについてスキャンするまで続ける（精度値）。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【0072】
Ｃ１において、本例では、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、シナプスＣＢ１は、２次元アレイの１６層を構成する（本明細書で言及されるニューロン層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意する）。１６個の特徴マップのそれぞれは、フィルタスキャンに適用される１６個の異なるシナプス重みのセットの１つによって生成される。Ｃ１特徴マップは全て、境界同定など同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
【0073】
各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする活性化関数Ｐ１（プーリング）は、Ｃ１からＳ１へ行く前に適用される。プーリング段階の目的は、平均して近隣の位置にすること（又はｍａｘ関数もまた使用され得る）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。Ｓ１において、１６個の１５×１５特徴マップ（すなわち、１６個のそれぞれ１５×１５ピクセルの異なるアレイ）が存在する。Ｓ１からＣ２へ行くＣＢ２内のシナプス及び関連するニューロンは、Ｓ１内のマップを１ピクセルのフィルタシフトを使用して４×４フィルタでスキャンする。Ｃ２において、２２個の１２×１２特徴マップが存在する。各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする活性化関数Ｐ２（プーリング）は、Ｃ２からＳ２へ行く前に適用される。Ｓ２において、２２個の６×６特徴マップが存在する。活性化関数は、Ｓ２からＣ３へ行くシナプスＣＢ３で適用され、ここでＣ３内の全てのニューロンはＳ２内の全てのマップに接続する。Ｃ３において、６４個のニューロンが存在する。Ｃ３から出力Ｓ３へ行くシナプスＣＢ４は、Ｓ３をＣ３と完全に接続する。Ｓ３における出力は、１０個のニューロンを含み、ここで最も高い出力ニューロンは、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
【0074】
シナプスの各レベルは、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。図１３は、不揮発性メモリセルを含み、入力層と次の層との間のシナプスとして利用されるベクトルとマトリクスとの乗算（vector-by-matrix multiplication、ＶＭＭ）アレイのブロック図である。具体的には、ＶＭＭ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダはメモリアレイ３３に対する入力をデコードする。この例におけるソース線デコーダ３７はまた、メモリセルアレイの出力をデコードする。メモリアレイは、２つの目的を果たす。第１に、ＶＭＭにより使用される重みを格納する。第２に、メモリアレイは、効果的に、入力に、メモリアレイに格納された重みを乗じて出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算関数を実行することによって、メモリアレイは、別個の乗算論理回路の必要性をなくし、また、その場でのメモリ計算のために電力効率も良い。
【0075】
メモリアレイの出力は、メモリセルアレイの出力を合計してその畳み込み用の単一の値を生成する、差動加算器（加算オペアンプなど）３８に供給される。差動加算器は、正の入力で正の重みと負の重みとの合計を実現するようなものである。合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数には、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数が含まれ得る。整流された出力値は、次の層（例えば上記の説明ではＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、メモリアレイは、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から入力を受信する）、加算オペアンプ３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0076】
図１４は、様々なレベルのＶＭＭのブロック図である。図１４に示されるように、入力は、デジタルアナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭ３２ａに提供される。入力ＶＭＭ３２ａによって生成された出力は、次に、次のＶＭＭ（隠しレベル２）３２ｂへの入力として提供される出力を生成する次のＶＭＭ（隠しレベル１）３２ｂへの入力として提供される、などとなる。ＶＭＭの３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの異なる層として機能する。各ＶＭＭは、スタンドアローンの不揮発性メモリアレイであり得、又は複数のＶＭＭは、同じ不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭは、同じ不揮発性メモリアレイの重なり合う部分を利用することができる。
【0077】
図１５は、ドレイン加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイを図示する。図１５のアレイに関する様々なゲート線及び領域線は、消去ゲート線３０ａが、水平ではなく垂直に延びる（すなわち、各消去ゲート線３０ａは、メモリセルのその列に関して全ての消去ゲート３０を一緒に接続する）ことを除いて、（対応する構造に同じ要素番号を用いて）図７中のものと同じであり、その結果、各メモリセル１０は、独立してプログラム、消去、及び読み出しを行うことができる。そのセルに適切な重み値を使用してメモリセルのそれぞれがプログラムされた後で、アレイは、ドレイン加算マトリクス乗算器として作動する。マトリクス入力は、Ｖｉｎ０．．．Ｖｉｎ７であり、選択ゲート線２８ａに印加される。図１５のアレイに関して出力のマトリクスＩｏｕｔ０．．．ＩｏｕｔＮは、ビット線１６ａで生成される。各出力Ｉｏｕｔは、列内の全てのセルについてセル電流Ｉに、セルに格納された重みＷを乗じた値の合計である。
Ｉｏｕｔ＝Σ（Ｉｉｊ*Ｗｉｊ）
Ｉｏｕｔ＝Σ（Ｉｉｊ*Ｗｉｊ）
【0078】
各メモリセル（又はメモリセルのペア）は、その列内のメモリセル（又はメモリセルのペア）に格納された重み値の合計によって決まる出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。任意の所与のシナプスの出力は、電流の形態である。したがって、第１の段階後のそれぞれの後続のＶＭＭ段階は、好ましくは、前のＶＭＭ段階からの入力電流を入力電圧Ｖｉｎとして使用される電圧に変換するための回路機構を含む。図１６は、そのような電流電圧変換回路機構の例を図示しているが、これは入力電流Ｉｉｎ０．．．ＩｉｎＮを入力電圧Ｖｉｎ０．．．ＶｉｎＮにログ変換する改変されたメモリセルの行である。
【0079】
本明細書に記載されたメモリセルは、弱反転にバイアスされる。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
ｗ＝ｅ(-Vth)/kVt
入力電流を入力電圧に変換するためのメモリセルを使用するＩーＶログ変換器について：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
ベクターマトリクス乗算器ＶＭＭとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
ｗ＝ｅ(-Vth)/kVt
入力電流を入力電圧に変換するためのメモリセルを使用するＩーＶログ変換器について：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
ベクターマトリクス乗算器ＶＭＭとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
【0080】
図１７及び図１８は、ドレイン加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を図示する。図１７及び図１８のアレイに関する線は、ソース線１４ａが水平ではなく垂直に延びる（すなわち、各ソース線１４ａは、メモリセルのその列に関して全てのソース領域１４を一緒に接続する）こと、及び消去ゲート線３０ａが垂直ではなく水平に延びる（すなわち、各消去ゲート線３０ａは、メモリセルペアのその行に関して全ての消去ゲート３０ａを一緒に接続する）ことを除いて図１５及び図１６のアレイ内のものと同じであり、その結果各メモリセルは、独立してプログラム、消去、及び読み出しを行うことができる。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａのままであり、マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ビット線１６ａのままである。
【0081】
図１９は、ゲートカップリング／ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を図示する。図１９のアレイの線は、選択ゲート線２８ａが垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて、図１５及び図１６中のものと同じである。具体的には、メモリセルの各列は、２つの選択ゲート線、すなわち奇数行メモリセルの全ての選択ゲート２８を一緒に接続する第１の選択ゲート線２８ａ１、及び偶数行メモリセルの全ての選択ゲート２８を一緒に接続する第２の選択ゲート線２８ａ２を含む。
【0082】
図１９の頂部と底部において回路は、入力電流Ｉｉｎ０．．．ＩｉｎＮを入力電圧Ｖｉｎ０．．．ＶｉｎＮにログ変換するように働く。この図で示されるマトリクス入力は、Ｖｉｎ０．．．Ｖｉｎ５であり、選択ゲート線２８ａ１及び２８ａ２に印加される。具体的には、入力Ｖｉｎ０は、列１内の奇数セルについて選択線２８ａ１に印加される。Ｖｉｎ１は、列１内の偶数セルについて選択ゲート線２８ａ２に印加される。Ｖｉｎ２は、列２内の奇数セルについて選択ゲート線２８ａ１に印加される。Ｖｉｎ３は、列２内の偶数セルについて選択ゲート線２８ａ２に印加されるなど。マトリクス出力Ｉｏｕｔ０．．．Ｉｏｕｔ３は、ソース線１４ａに提供される。ビット線１６ａは、固定バイアス電圧ＶＢＬｒｄでバイアスされる。各出力Ｉｏｕｔは、メモリセルのその行内の全てのセルについてセル電流Ｉに、セルに格納された重みＷを乗じた値の合計である。したがって、このアーキテクチャについて、メモリセルの各行は、その行内のメモリセルに格納された重み値の合計によって決まる出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
【0083】
図２０は、ゲートカップリング／ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を図示する。図２０のアレイの線は、ビット線１６が垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて、図１９中のものと同じである。具体的には、メモリセルの各列は、２本のビット線、すなわち隣接する対のメモリセルの全てのドレイン領域を一緒に接続する第１のビット線１６ａ１（同じビット線コンタクトを共有する２つのメモリセル）、及び次の隣接する対のメモリセルの全てのドレイン領域を一緒に接続する第２のビット線１６ａ２を含む。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａ１及び２８ａ２のままであり、マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ソース線１４ａのままである。全ての第１のビット線１６ａ１のセットは、バイアスレベル（例えば、１．２ｖ）でバイアスされており、全ての第２のビット線１６ａ２のセットは、別のバイアスレベル（例えば、０ｖ）でバイアスされている。ソース線１４ａは、実質上のバイアスレベル（例えば、０．６ｖ）でバイアスされる。共通ソース線１４ａを共有するメモリセルの各ペアについて、出力電流は、上部セルから下部セルを差し引いた差動出力になる。したがって、各出力Ｉｏｕｔは、これらの差動出力の合計である。
Ｉｏｕｔ＝Σ（Ｉｉｊｕ*Ｗｉｊｕ－Ｉｉｊｄ*Ｗｉｊｄ）
ＳＬ電圧~１／２ Ｖｄｄ、~０．６ｖ
したがって、このアーキテクチャについて、ペアのメモリセルの各行は、そのペアのメモリセルの行内のメモリセルに格納された重み値（例えば、１つの正の重みと１つの負の重み）によって決まる差動出力の合計である出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
Ｉｏｕｔ＝Σ（Ｉｉｊｕ*Ｗｉｊｕ－Ｉｉｊｄ*Ｗｉｊｄ）
ＳＬ電圧~１／２ Ｖｄｄ、~０．６ｖ
したがって、このアーキテクチャについて、ペアのメモリセルの各行は、そのペアのメモリセルの行内のメモリセルに格納された重み値（例えば、１つの正の重みと１つの負の重み）によって決まる差動出力の合計である出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
【0084】
図２１は、ゲートカップリング／ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を図示する。図２１のアレイの線は、消去ゲート３０ａが水平に延び、制御ゲート線２２ａが垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて、図２０中のものと同じである。具体的には、メモリセルの各列は、２つの制御ゲート線、すなわち奇数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第１の制御ゲート線２２ａ１、及び偶数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第２の制御ゲート線２２ａ２を含む。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａ１及び２８ａ２のままであり、マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ソース線１４ａのままである。
【0085】
図２２は、ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を図示する。図２２のアレイの線及び入力は、図１７中のものと同じである。しかしながら、出力がビット線１６ａに提供される代わりに、それらはソース線１４ａに提供される。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａのままである。
【0086】
図２３は、ドレイン加算マトリクス乗算器として配置された２ゲートのメモリセル（すなわち、図１に示されるものなど）のアレイの構成を図示する。図２３のアレイの線は、水平のソース線１４ａが垂直のソース線１４ａに置き換えられたことを除いて、図５中のものと同じである。具体的には、各ソース線１４ａは、メモリセルのその列のソース領域全てに接続されている。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、制御ゲート線２２ａに印加される。マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ビット線１６ａに生成される。各出力Ｉｏｕｔは、列内の全てのセルについてセル電流Ｉに、セルに格納された重みＷを乗じた値の合計である。メモリセルの各列は、その列内のメモリセルに格納された重み値の合計によって決まる出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
【0087】
図２４は、ソース加算マトリクス乗算器として配置された２ゲートのメモリセル（すなわち、図１に示されるものなど）のアレイの構成を図示する。図２４のアレイの線は、制御ゲート線２２ａが垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて、図５中のものと同じである。具体的には、メモリセルの各列は、２つの制御ゲート線、すなわち奇数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第１の制御ゲート線２２ａ１、及び偶数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第２の制御ゲート線２２ａ２を含む。
【0088】
この構成用のマトリクス入力は、Ｖｉｎ０．．．ＶｉｎＮであり、制御ゲート線２２ａ１及び２２ａ２に印加される。具体的には、入力Ｖｉｎ０は、列１内の奇数行セルについて制御ゲート線２２ａ１に印加される。Ｖｉｎ１は、列１内の偶数行セルについて制御ゲート線２２ａ２に印加される。Ｖｉｎ２は、列２内の奇数行セルについて制御ゲート線２２ａ１に印加される。Ｖｉｎ３は、列２内の偶数行セルについて選択ゲート線２２ａ２に印加されるなど。マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ソース線１４ａに生成される。共通ソース線１４ａを共有するメモリセルの各ペアについて、出力電流は、上部セルから下部セルを差し引いた差動出力になる。したがって、このアーキテクチャについて、ペアのメモリセルの各行は、そのペアのメモリセルの行内のメモリセルに格納された重み値によって決まる差動出力の合計である出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
【0089】
【0090】
【0091】
図２５は、本発明で使用するための例示の電流電圧ログ変換器５０を図示する（ＷＬ＝選択ゲート線、ＣＧ＝制御ゲート線、ＥＧ＝消去ゲート線）。メモリは、弱反転領域にバイアスされる、Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt。図２６は、本発明で使用するための例示の電圧電流ログ変換器５２を図示する。メモリは、弱反転領域にバイアスされる。図２７は、本発明で使用するための接地基準電流加算器５４を図示する。図２８は、本発明で使用するためのＶｄｄ基準電流加算器５６を下に図示する。負荷の例として、ダイオード、不揮発性メモリセル、及びレジスタが挙げられる。
【0092】
上述のメモリアレイ構成は、フィードフォワード分類エンジンを実装する。トレーニングは、メモリセル内に「重み」値を格納することによって完了し（シナプスアレイの生成）、このことは、個々のセルのサブスレッショルドスロープファクタが改変されたことを意味する。ニューロンは、シナプスの出力を加算すること及びニューロン閾値に応じて始動させる又は始動させないことによって実行される（すなわち、決定を下す）。
【0093】
以下の工程を使用して、入力電流ＩEを処理することができる（例えば、入力電流は、画像認識のための特徴計算の出力から直接来ている）：
工程１－不揮発性メモリで、より簡単に処理するためにログスケールに変換する。
・バイポーラトランジスタを使用した入力電流電圧変換。バイポーラトランジスタのバイアス電圧ＶBEは、エミッタ電流と対数関係を有する。
・ＶＢＥ＝ａ*ｌｎＩE－ｂ→ＶBE∝ｌｎＩE
－ 式中、ａ（比）及びｂ（バイアス又はオフセット）は定数である
・ＶBE電圧は、メモリセルがサブスレッショルド領域で操作されるように発生する。
工程２－発生したバイアス電圧ＶＢＥをワード線（サブスレッショルド領域内の）に印加する。
・ＣＭＯＳトランジスタの出力電流ＩDRAINは、入力電圧（ＶGS）、熱電圧（ＵT）及びカッパ（ｋ＝Ｃox／（Ｃox＋Ｃdep））と指数関数的関係を有し、式中、Ｃox及びＣdepは、浮遊ゲートの電荷に線形従属である。
・ＩDRAIN∝Ｅｘｐ（ｋＶBE／ＵT）、又は
・ｌｎＩDRAIN∝ｋＶBE／ＵT
・ＩDRAINの対数は、複数のＶBE及び浮遊ゲートの電荷（カッパに関連した）と線形関係を有し、式中、ＵTは、所与の温度で一定である。
・出力＝入力*重みの関係がシナプスに対して存在する。
工程１－不揮発性メモリで、より簡単に処理するためにログスケールに変換する。
・バイポーラトランジスタを使用した入力電流電圧変換。バイポーラトランジスタのバイアス電圧ＶBEは、エミッタ電流と対数関係を有する。
・ＶＢＥ＝ａ*ｌｎＩE－ｂ→ＶBE∝ｌｎＩE
－ 式中、ａ（比）及びｂ（バイアス又はオフセット）は定数である
・ＶBE電圧は、メモリセルがサブスレッショルド領域で操作されるように発生する。
工程２－発生したバイアス電圧ＶＢＥをワード線（サブスレッショルド領域内の）に印加する。
・ＣＭＯＳトランジスタの出力電流ＩDRAINは、入力電圧（ＶGS）、熱電圧（ＵT）及びカッパ（ｋ＝Ｃox／（Ｃox＋Ｃdep））と指数関数的関係を有し、式中、Ｃox及びＣdepは、浮遊ゲートの電荷に線形従属である。
・ＩDRAIN∝Ｅｘｐ（ｋＶBE／ＵT）、又は
・ｌｎＩDRAIN∝ｋＶBE／ＵT
・ＩDRAINの対数は、複数のＶBE及び浮遊ゲートの電荷（カッパに関連した）と線形関係を有し、式中、ＵTは、所与の温度で一定である。
・出力＝入力*重みの関係がシナプスに対して存在する。
【0094】
セルのそれぞれの出力（ＩDRAIN）は、読み出しモードにおいて結び付けられて、アレイ又はアレイのセクタ内の各シナプスの値を合計し得る。ＩDRAINは、ひとたび合計されると、電流比較器に送り込まれ、単一知覚ニューラルネットワークの比較に応じて「論理」０又は１を出力することができる。１つの知覚（１つのセクタ）は上述されている。各知覚からの出力は、複数の知覚のセクタの次のセットに送り込まれ得る。
【0095】
メモリベースの畳み込みニューラルネットワークにおいて、入力のセットは、特定の重みを乗じて、隠し層又は出力層用の所望の結果を生成する必要がある。上述のように、１つの技術は、先行する画像をスキャンすることである（例えば、水平及び垂直の方向の両方で画像全体にＸピクセルずつシフトされるＭ×Ｍフィルタ（カーネル））を使用したＮ×Ｎマトリクス。ピクセルのスキャンは、メモリアレイに対する十分な入力が存在する限り、同時に少なくとも部分的に実行され得る。例えば、図２９に示されるように、Ｍ＝６のフィルタサイズ（すなわち、３６ピクセルの６×６アレイ）を使用して、Ｎ×Ｎ画像アレイをＸ＝２のシフトを用いてスキャンすることができる。その例において、フィルタ内の６ピクセルの第１の行は、Ｎ2個の入力のメモリアレイへの入力のうち最初の６個に提供される。次に、フィルタ内の６ピクセルの第２の行は、Ｎ2個の入力の第２のＮ個の入力のうち入力の最初の６個に提供されるなど。これは、図２９の図の第１の行において表現されており、ここで、点は、上に示したように入力による乗算のためのメモリアレイ内に格納された重みを表す。次に、フィルタは、２ピクセルずつ右側にシフトされ、シフトされたフィルタ内の６ピクセルの第１の行は、第１のＮ個の入力の第３から第８の入力に提供され、６ピクセルの第２の行は、第２のＮ個の入力の第３から第８の入力に提供されるなど。ひとたびフィルタが画像の右側までシフトされると、フィルタは、左側に戻って再配置されるが、２ピクセルずつ下にシフトされ、ここでプロセスは、Ｎ×Ｎ画像全体がスキャンされるまで再び繰り返す。水平にシフトされたスキャンの各セットは、どのＮ2個のメモリアレイの入力が、乗算用のデータを有するかを示す台形により表現され得る。
【0096】
したがって、スキャン間の２ピクセルのシフト及び６×６のフィルタサイズを使用したＮ×Ｎ画像アレイのスキャンは、Ｎ2個の入力及び（（Ｎ－４）／２））2個の行を必要とする。図３０は、メモリアレイ内の重みがどのようにフィルタスキャンのために格納されるかを示す台形をグラフィカルに示す。網掛け領域の各行は、水平のスキャンのうち１セットの間に入力に適用される重みを表現する。矢印は、メモリアレイの直線の入力線を示す（例えば、入力データを受信する図１５中の入力線２８ａは、直線的にメモリアレイにわたってずっと延在し、各１つが常に同じ行のメモリセルにアクセスし、図１９のアレイの場合、各入力線は、常に同じ列のメモリセルにアクセスする）。白い領域は、入力に供給されるデータがない場所を示す。したがって、白い領域は、メモリセルアレイの非効率的な使用を示す。
【0097】
図３１に示されるようにメモリアレイを再構成することによって、効率を高め、入力の総数を低減することができる。具体的には、メモリアレイの入力線は、別の行又は列に周期的にシフトされ、したがってアレイの未使用の部分を低減し、したがってスキャンを実行するのに必要なアレイに繰り返される入力線の数を低減する。具体的には、シフトＸ＝２である本例の場合では、矢印は、２行又は２列ずつ各入力線が周期的にシフトし、広く離間したメモリセル利用の台形を密集したメモリセル利用の矩形に変形することを示す。メモリセル部分の間の余分な空間は、このシフトを実行する電線束に必要とされるが、メモリセルアレイに必要な入力の数は、大きく低減される（５ｎ＋６のみ）。
【0098】
図３２は、図１５のアレイであるが、入力線として使用される線２８ａに対する２行の周期的なシフトを伴うアレイを図示する。入力線に対する行の周期的なシフトは、図１７、図２２、及び図２３のアレイで同様に実行され得る。図３３は、図２０のアレイであるが、入力線として使用される線２８ａ１及び２８ａ２に対する２列の周期的なシフトを伴うアレイを図示する。入力線に対する列の周期的なシフトは、図１９、図２１、及び図２４のアレイで同様に実行され得る。
改善された調整機構及びアルゴリズム
改善された調整機構及びアルゴリズム
【0099】
改善された調整機構及びアルゴリズムのための実施形態についてここで説明する。調整は、所望の量の電荷が不揮発性メモリセルの浮遊ゲートに格納されていることを検証するプロセスであり、すなわち、不揮発性メモリセルが所望の値を格納していることを確実にするためのプロセスである。
【0100】
図３５は、図２に示されるタイプのメモリセルに特に適したニューロンＶＭＭ３５００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭ３５００は、不揮発性メモリセルのメモリアレイ３５０３、基準アレイ３５０１、及び基準アレイ３５０２を備える。基準アレイ３５０１及び３５０２は、端子ＢＬＲ０－３内に流れる電流入力を電圧入力ＷＬ０－３に変換する役割を果たす。実際には、基準メモリセルは、マルチプレクサを通してそれらの中に流れる電流入力にダイオード接続されている。基準セルは、標的基準レベルに調整される。メモリアレイ３５０３は、２つの目的を果たす。第１に、ＶＭＭ３５００により使用される重みを格納する。第２に、メモリアレイ３５０３は、メモリアレイに格納された重みによって、入力（端子ＢＬＲ０－３に提供される電流入力であって、基準アレイ３５０１及び３５０２がこれらの電流入力を入力電圧に変換してワード線ＷＬ０－３に供給する）を有効に乗算して、出力を生成し、これは次の層への入力又は最終の層への入力となる。乗算関数を実行することによって、メモリアレイは、別個の乗算論理回路の必要性をなくし、また電力効率も良い。ここで、電圧入力はワード線に提供され、出力は、読み出し（推論）動作中にビット線に現れる。ビット線の電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0101】
図３６は、ＶＭＭ３５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に印加される電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0102】
図３７は、図２に示されるタイプのメモリセルに特に適したニューロンＶＭＭ３７００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭ３７００は、不揮発性メモリセルのメモリアレイ３７０３、基準アレイ３７０１、及び基準アレイ３７０２を備える。ＶＭＭ３７００は、ＶＭＭ３７００においてワード線が垂直方向に延びることを除いて、ＶＭＭ３５００と同様である。ここで、入力はワード線に提供され、出力は読み出し動作中にソース線に現れる。ソース線の電流は、ソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0103】
図３８は、ＶＭＭ３７００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に印加される電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0104】
図３９は、図６に示されるタイプのメモリセルに特に適したニューロンＶＭＭ３９００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭ３９００は、不揮発性メモリセルのメモリアレイ３９０３、基準アレイ３９０１、及び基準アレイ３９０２を備える。基準アレイ３９０１及び３９０２は、端子ＢＬＲ０－３内に流れる電流入力を電圧入力ＣＧ０－３に変換する役割を果たす。実際には、基準メモリセルは、マルチプレクサを通してそれらの中に流れる電流入力にダイオード接続されている。基準セルは、標的基準レベルに調整される。メモリアレイ３９０３は、２つの目的を果たす。第１に、ＶＭＭ３９００により使用される重みを格納する。第２に、メモリアレイ３９０３は、メモリアレイに格納された重みによって、入力（端子ＢＬＲ０－３に提供される電流入力であって、基準アレイ３９０１及び３９０２がこれらの電流入力を入力電圧に変換して制御ゲートＣＧ０－３に供給する）を有効に乗算して、出力を生成し、これは次の層への入力又は最終の層への入力となる。乗算関数を実行することによって、メモリアレイは、別個の乗算論理回路の必要性をなくし、また電力効率も良い。ここで、入力はワード線に提供され、出力は読み出し動作中にビット線に現れる。ビット線の電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0105】
ＶＭＭ３９００は、メモリアレイ３９０３内のメモリセルの一方向調整を実装する。すなわち、各セルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。過度に多くの電荷が浮遊ゲートにある場合（誤った値がセル内に格納されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならい。示されるように、同じ消去ゲートを共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
【0106】
図４０は、ＶＭＭ３９００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に印加される電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0107】
図４１は、図６に示されるタイプのメモリセルに特に適したニューロンＶＭＭ４１００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭ４１００は、不揮発性メモリセルのメモリアレイ４１０３、基準アレイ４１０１、及び基準アレイ４１０２を備える。ＶＭＭ４１００は、ＶＭＭ４１００が双方向調整を実装することを除いてＶＭＭ３９００と同様であり、各個々のセルは、浮動ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去され得る。示されるように、基準アレイ４１０１及び４１０２は、端子ＢＬＲ０－３内の入力電流を制御ゲート電圧ＣＧ０－３に変換し（マルチプレクサを介したダイオード接続された基準セルの作用を通じて）、行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線に接続されたメモリセルからの全ての電流を合計するビット線にある。
【0108】
図４２は、ＶＭＭ４１００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に印加される電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
【0109】
図４３は、調整アルゴリズム４３００を示す。調整アルゴリズム４３００は、個々のメモリセルが高速又は低速であり得ることを認識する。高速セルは迅速にプログラムされ得るものであり、低速セル又はノーマルセルは、高速セルと比較してプログラム動作中に同じ状態を達成するために、より大量の時間を要するものである。この差は、個々のセル特性及び分散の物理的性質によるものである。
【0110】
調整アルゴリズム４３００は、以下の一連の工程を含む。最初に、メモリセルのページが消去される（工程４３０１）。次いで、システムは、構成シーケンス中に事前設定されたルックアップテーブル４３２０に基づいて、メモリアレイ内のどのセルが高速セルであるかを判定し、セルの特性が変化する場合（高速から低速、又は低速から高速に）、動作中に更新され得る（工程４３０２）。ルックアップテーブル４３２０は、例えば、全ての高速不揮発性メモリセルのアドレスのリストを含み得る。あるいは、アレイ内の各セルに対するエントリを含んでもよく、エントリは、「１」が高速セルを示し、「０」が低速ノーマルセルを示す単一のビットであってもよい。
【0111】
セルが高速セルである場合、高速調整アルゴリズムが実装され、この場合、比較的大きな電荷が、部分的プログラミング動作を通じて高速セルの浮遊ゲートに追加される（工程４３０３）。各部分的プログラミング動作の後、検証シーケンスが実行され、読み出し動作におけるセルを通るＩｃｅｌｌが、Ｉｔａｒｇｅｔ１よりも大きいかどうかを決定する（工程４３０４）。いいえの場合、部分的プログラミング動作が再び実行される。はいの場合、Ｉｃｅｌｌ＜Ｉｍａｒｇｉｎ＿０Ｖであるかどうかが判定される（工程４３０５）。はいの場合、所望の状態がメモリセル内で達成され、調整シーケンスが完了する（工程４３０６）。そうでない場合、セルは、意図したよりも速くプログラムされており、ルックアップテーブル４３２０において高速セルとしてマークされる（工程４３０７）。あまりにも多くの電荷が浮遊ゲートにあるため、セルは使用されず、再度消去されなければならない（工程４３０２）。
【0112】
工程４３０２の結論が、セルが低速セルであるということである場合、低調整アルゴリズムが実装され、部分的プログラミング動作を通じて、より小さい電荷が低速セルの浮遊ゲートに追加される（工程４３０８）。各部分的プログラミング動作の後、検証シーケンスが実行され、読み出し動作におけるセルを通るＩｃｅｌｌが、Ｉｔａｒｇｅｔ１よりも大きいかどうかを決定する（工程４３０９）。いいえの場合、部分的プログラミング動作が再び実行される。はいの場合、Ｉｃｅｌｌ＜Ｉｍａｒｇｉｎ＿０Ｖであるかどうかが判定される（工程４３１０）。はいの場合、所望の状態がメモリセル内で達成され、調整シーケンスが完了する（工程４３１１）。そうでない場合、セルは、意図されるよりも速くプログラムされており、高速セルとしてルックアップテーブル４３２０にマークされる（工程４３０７）。あまりにも多くの電荷が浮遊ゲートにあるため、セルは使用されず、再度消去されなければならない（工程４３０２）。高速調整アルゴリズムは、大きな書き込み（例えば、プログラム）電圧増分又は広い書き込みパルス幅で実装することができ、低調整アルゴリズムは、小さい書き込み電圧増分又は狭い書き込みパルス幅で実装することができる。
【0113】
図４４は、調整アルゴリズム４４００を示す。調整アルゴリズム４４００は、高速セルであるメモリアレイ内のセルを識別するために、構成シーケンス中に使用することができる。調整アルゴリズム４４００は、以下の一連の工程を含む。ページが消去される（工程４４０１）。電圧ＶＣＧ＿ｄｉａｇｎｏｓｉｓでセルをプログラムする（工程４４０２）。電流、Ｉｃｅｌｌ１、が、読み出し動作中にセルを通して測定される（工程４４０３）。セルは、電圧ＶＣＧ＿ｄｉａｇｎｏｓｉｓ＋ｄＶでプログラムされる（工程４４０４）。電流、Ｉｃｅｌｌ２、が、読み出し動作中にセルを通して測定される（工程４４０５）。Ｉｃｅｌｌ２とＩｃｅｌｌ１との間の差がＩｃｅｌｌ＿０Ｖを超えるかどうかを決定する（工程４４０６）。いいえの場合、セルは、ノーマル又は低速セルである（工程４４０７）。はいの場合、セルは高速セルであり、ルックアップテーブル４３２０において高速セルとして識別される（工程４４０８）。図４４に含まれるグラフに示されるように、高速セルは、工程４４０４に応答して、その浮遊ゲートに電荷を蓄積する。増分プログラミング電圧ｄは、小さい電圧であり、ノーマル又は低速のセルの蓄積電荷に影響を与えない。すなわち、高速セルは、比較的小さいプログラミング電圧に応答して、それらの浮遊ゲートに電荷を蓄積する。あるいは、２つの消去パルスを使用して、高速ビット領域に入るメモリセルのデルタ電流を抽出することができる。この場合、全てのセルが、最初に深くプログラムされる。
【0114】
図４５は、調整アルゴリズム４５００を示す。調整アルゴリズム４５００は、粗いアルゴリズム４５１０（セルが比較的大きな増分でプログラムされる）と、微細なアルゴリズム４５１１（セルが比較的小さい増分でプログラムされる）とを組み合わせる。これにより、所望の電圧のオーバーシュートの発生が最小限に抑えられ、システムの全体的な速度が増加する。
【0115】
調整アルゴリズム４５００は、以下の一連の工程を含む。ページが消去される（工程４５０１）。次いで、粗いアルゴリズム４５１０が実行され、これは工程４５０２及び工程４５０３を含む。セルが、ＶＣＧ－Ｃ＿ｉｎｉｔ＋ｄＶ－Ｃ、Ｎ＿ｐｕｌｓｅＣ＝ＮＣｉ＋１でプログラムされる（工程４５０２）。電流、Ｉｃｅｌｌ、が、読み出し動作中にセルを通して測定され、Ｉｃｅｌｌ＞Ｉｃｅｌｌ＿ｏｆｆｓｅｔであるかどうかについて判定がなされる（工程４５０３）。はいの場合、工程４５０４及び工程４５０５を含む微細アルゴリズム４５１１が始まる。セルが、ＶＣＧＦｉｎｉｔｉ（＝ＶＣＧ－Ｃ ｌａｓｔ－Ｖｓｔｅｐ）＋ｄＶ－Ｆ、Ｎ＿ｐｕｌｓｅＦ＝ＮＦｉ＋１でプログラムされる（工程４５０４）。電流、Ｉｃｅｌｌ、が、読み出し動作中にセルを通して測定され、Ｉｃｅｌｌ＞Ｉｃｅｌｌ＿ｔａｒｇｅｔかどうかについて判定がなされる（工程４５０５）。はいの場合、所望の電荷が達成され、調整プロセスが完了する（工程４５０６）。いいえの場合、ｆ Ｎ＿ｐｕｌｓｅＦ＝Ｎｍａｘであるかどうかが判定される（工程４５０７）。はいの場合、セルは不良セルであると判定され、そのようなものとしてルックアップテーブルにマークされる（工程４５０８）。いいえの場合、工程４５０４が繰り返される。工程４５０３の結果がいいえの場合、Ｎ＿ｐｕｌｓｅＣ＝ＮＣｍａｘであるかどうかが判定される（工程４５０９）。はいの場合、セルは不良セルであると判定され、そのようなものとしてルックアップテーブルにマークされる（工程４５０８）。いいえの場合、工程４５０２が繰り返される。あるいは、粗い電圧レベルの代わりに広い書き込みパルス幅を使用することができ、微細な電圧レベルの代わりに狭い書き込みパルス幅を使用することができる。
【0116】
【0117】
図４６は、均一ステップアルゴリズム４６００の例示的な値を示す。この実施例では、おおよそのプログラム標的電圧は８Ｖである。この標的電圧は、例えば、ルックアップテーブル又は標的プログラミング電圧に対する電流標的Ｉｔａｒｇｅｔのモデルから抽出される。セルは、最初に４Ｖでプログラムされる。その後、微細なプログラミングは、最大ステップ数が４００の、０．０１Ｖのステップサイズでのプログラミングを含む。
【0118】
図４７は、均一ログステップ（１０で除算）、粗／微細アルゴリズム４７００の例示的な値を示す。この実施例では、おおよそのプログラム標的電圧は８Ｖである。セルは、最初に４Ｖでプログラムされる。その後、粗いプログラミングは、０．４Ｖ（＝４Ｖ／１０）のログステップサイズでのプログラミングを含み、最大のステップ数は１０である。その後、第１の微細なプログラミングのシーケンスが行われ、浮遊ゲートの電圧を０．２Ｖだけ低減させるための部分消去動作が行われ、その後、０．１Ｖのステップサイズでのプログラミングが行われ、最大ステップ数は６である。次いで、第２の微細なプログラミングのシーケンスが行われ、０．１Ｖの部分消去動作が行われ、その後、０．０１Ｖ（＝０．１Ｖ／１０）のログステップサイズでのプログラミングが行われ、最大のステップ数は２０である。したがって、パルスの合計数は４６である。
【0119】
図４８は、バイナリサーチステップ、粗／微細アルゴリズム４８００を示す。この実施例では、おおよそのプログラム標的電圧は、再び８Ｖである。セルは、最初に４Ｖでプログラムされる。その後、粗いプログラミングが、デルタプログラミング電圧が２で割られるステップで行われ、すなわち２Ｖ、１Ｖ、０．５Ｖ、０．２５Ｖ、０．１２５Ｖ、及び０．６２５Ｖのステップで行われる。その後、浮動ゲートの電圧を０．０６２５Ｖだけ低減する消去ステップが行われ、その後、０．０１Ｖの固定増分での微細なプログラミングが行われ、最大のスッテプ数は１９である。パルスの合計数は２５である。
【0120】
図４９は、アルゴリズム４８００の例示的な波形を示す。見て分かるように、粗いプログラミングは、Ｉｃｅｌｌが閾値を超えるまで電圧を増加させた。次いで、電圧を０．０６２５Ｖだけ低減させるために電圧ステップダウンが実行され、その後、微細なプログラミングが行われる。ステップダウンは、次のプログラミングパルスの潜在的なプログラムオーバーシュートを回避するためある。
【0121】
図５０は、本明細書に記載される粗／微細アルゴリズムの別の例示的な波形を示す。最初に粗いプログラミングが行われる。第２に、微細なプログラミングが行われる。第３に、適切な電圧が達成されると、プログラミング電荷の総量が記録され、及び／又は工程が記録され、その結果、その後、適切なプログラミングレベルは、所望の正確な電荷で単一の定電圧プログラミング動作で達成され得る。あるいは、調整アルゴリズムは、広いパルス幅及び／又は大きな電圧増分から構成される粗いパルス、並びに一定パルス幅及び／又は定電圧パルスから構成される微細パルスから構成することができる。
【0122】
代替の実施形態では、図１５、図１６、図１７、図１８、図１９、図２０、図２１、図２２、図２５、図２６、図３２、及び図３３の実施形態は、入力が、選択ゲート（ワード線）の代わりに制御ゲートであるように改変され得る。同様に、図３９及び図４１の実施形態は、入力が、制御ゲートの代わりに選択ゲート（ワード線）であるように改変され得る。
【0123】
本明細書で使用される場合、「上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「の上に間接的に」（中間材料、要素、又は空間がそれらの間に配設される）を包括的に含むことに留意するべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「間接的に隣接した」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「に間接的に取り付けられた」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にない）、及び「間接的に電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に何ら伴わずに、形成すること、並びにその要素を基板の上に間接的に、１つ以上の中間材料／要素をそれらの間に伴って、形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】