知財求人 - 知財ポータルサイト「IP Force」
▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特許7340101人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なプログラミング方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-29
(45)【発行日】2023-09-06
(54)【発明の名称】人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なプログラミング方法及び装置
(51)【国際特許分類】
G11C 11/56 20060101AFI20230830BHJP
G11C 16/04 20060101ALI20230830BHJP
G11C 16/10 20060101ALI20230830BHJP
【ＦＩ】
G11C11/56 210
G11C16/04 120
G11C16/10 140
【請求項の数】
9
(21)【出願番号】P 2022526411
(86)(22)【出願日】2020-05-22
(65)【公表番号】
(43)【公表日】2023-01-20
(86)【国際出願番号】 US2020034326
(87)【国際公開番号】W WO2021096563
(87)【国際公開日】2021-05-20
【審査請求日】2022-06-24
(31)【優先権主張番号】62/933,809
(32)【優先日】2019-11-11
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/751,202
(32)【優先日】2020-01-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
(72)【発明者】
【氏名】レムケ、スティーブン
(72)【発明者】
【氏名】ティワリ、ビピン
(72)【発明者】
【氏名】ドー、ナン
(72)【発明者】
【氏名】レイテン、マーク
【審査官】後藤 彰
(56)【参考文献】
【文献】国際公開第２０１９／１７７６９１（ＷＯ，Ａ１）
【文献】国際公開第２０１９／１０８３３４（ＷＯ，Ａ１）
【文献】特表２０２１－５１７７０６（ＪＰ，Ａ）
【文献】特表２０２１－５０４８６８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１１Ｃ １１／５６
Ｇ１１Ｃ １６／０４
Ｇ１１Ｃ １６／１０
(57)【特許請求の範囲】
【請求項1】
Ｎ個の可能な値のうちの１つを記憶するために、選択された不揮発性メモリセルをプログラミングする方法であって、Ｎが２より大きい整数であり、前記選択された不揮発性メモリセルが、浮遊ゲート、制御ゲート端子、消去ゲート端子、及びソース線端子を含み、前記方法が、
複数のプログラム検証サイクルを含む第１のプログラミングプロセスを実行するステップであって、大きさが増加していくプログラミング電圧が、第１のプログラム検証サイクルの後に、各プログラム検証サイクル内の前記選択された不揮発性メモリセルの端子に印加される、実行するステップを含み、
各プログラム検証サイクルが、
前記選択された不揮発性メモリセルの前記消去ゲート端子及び前記制御ゲート端子のうちの１つに第１の電圧を印加するステップと、
前記印加の結果として前記選択された不揮発性メモリセルを通る第１の電流を測定するステップと、
前記選択された不揮発性メモリセルの前記消去ゲート端子及び前記制御ゲート端子のうちの前記１つに第２の電圧を印加するステップと、
前記印加の結果として前記選択された不揮発性メモリセルを通る第２の電流を測定するステップと、
前記第１の電圧、前記第２の電圧、前記第１の電流、及び前記第２の電流に基づいて、傾斜値を決定するステップと、
決定された前記傾斜値に基づいて、次のプログラム検証サイクルの、大きさが増加していく前記プログラミング電圧の次のプログラミング電圧を決定するステップと、を含む、方法。
【請求項2】
前記次のプログラミング電圧を使用して、前記選択された不揮発性メモリセルをプログラミングするステップを更に含む、請求項１に記載の方法。
【請求項3】
読み出し動作中又は検証動作中に前記選択された不揮発性メモリセルを通る電流が第１のスレッショルド電流値以下になるまで、次のプログラミング電圧を決定する前記ステップと、前記次のプログラミング電圧を使用して、前記不揮発性メモリセルをプログラミングする前記ステップと、を繰り返すステップを更に含む、請求項２に記載の方法。
【請求項4】
Ｎ個の可能な値のうちの１つを記憶するために、選択された不揮発性メモリセルをプログラミングする方法であって、Ｎが２より大きい整数であり、前記選択された不揮発性メモリセルが、浮遊ゲート、制御ゲート端子、消去ゲート端子、及びソース線端子を含み、前記方法が、
複数のプログラム検証サイクルを含む第１のプログラミングプロセスを実行するステップであって、大きさが増加していくプログラミング電圧が、第１のプログラム検証サイクルの後に、各プログラム検証サイクル内の前記選択された不揮発性メモリセルの端子に印加される、実行するステップを含み、
各プログラム検証サイクルは、読み出し動作中又は検証動作中に前記選択された不揮発性メモリセルを通る電流が、第１のスレッショルド電流値以下であることを検証するステップを含み、
前記読み出し動作中又は検証動作中に前記選択された不揮発性メモリセルを通る前記電流が前記第１のスレッショルド電流値以下である場合、読み出し動作中又は検証動作中に前記選択された不揮発性メモリセルを通る電流が、第２のスレッショルド電流値以下になるまで、第２のプログラミングプロセスを実行するステップを更に含む、方法。
【請求項5】
前記第２のプログラミングプロセスが、前記選択された不揮発性メモリセルの前記制御ゲートに、大きさが増加していく電圧パルスを印加するステップを含む、請求項４に記載の方法。
【請求項6】
前記第２のプログラミングプロセスが、前記選択された不揮発性メモリセルの前記消去ゲートに、大きさが増加していく電圧パルスを印加するステップを更に含む、請求項５に記載の方法。
【請求項7】
前記第２のプログラミングプロセスが、前記選択された不揮発性メモリセルの前記消去ゲートに、大きさが減少していく電圧パルスを印加するステップを更に含む、請求項５に記載の方法。
【請求項8】
Ｎ個の可能な値のうちの１つを記憶するために、選択された不揮発性メモリセルをプログラミングする方法であって、Ｎが２より大きい整数であり、前記選択された不揮発性メモリセルが、浮遊ゲート、制御ゲート端子、消去ゲート端子、及びソース線端子を含み、前記方法が、
複数のプログラム検証サイクルを含む第１のプログラミングプロセスを実行するステップであって、大きさが増加していくプログラミング電圧が、第１のプログラム検証サイクルの後に、各プログラム検証サイクル内の前記選択された不揮発性メモリセルの端子に印加される、実行するステップを含み、
第１のプログラミングプロセスを実行する前記ステップは、
前記選択された不揮発性メモリセルを通る電流が第３のスレッショルド電流値以下である場合、前記選択された不揮発性メモリセルを消去し、前記第１のプログラミングプロセスを繰り返すステップを更に含む、方法。
【請求項9】
読み出し動作中又は検証動作中に前記選択された不揮発性メモリセルを通る電流が第４のスレッショルド電流値以下になるまで、第３のプログラミングプロセスを実行するステップを更に含む、請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０１９年１１月１１日に出願された米国特許仮出願第６２／９３３，８０９号、表題「ＰＲＥＣＩＳＥ ＰＲＯＧＲＡＭＭＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＡＮＡＬＯＧ ＮＥＵＲＡＬ ＭＥＭＯＲＹ ＩＮ Ａ ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＡＲＴＩＦＩＣＩＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ」、及び２０２０年１月２３日に出願された米国特許出願第１６／７５１，２０２号、表題「ＰＲＥＣＩＳＥ ＰＲＯＧＲＡＭＭＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＡＮＡＬＯＧ ＮＥＵＲＡＬ ＭＥＭＯＲＹ ＩＮ Ａ ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＡＲＴＩＦＩＣＩＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ」に対する優先権を主張する。
本出願は、２０１９年１１月１１日に出願された米国特許仮出願第６２／９３３，８０９号、表題「ＰＲＥＣＩＳＥ ＰＲＯＧＲＡＭＭＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＡＮＡＬＯＧ ＮＥＵＲＡＬ ＭＥＭＯＲＹ ＩＮ Ａ ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＡＲＴＩＦＩＣＩＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ」、及び２０２０年１月２３日に出願された米国特許出願第１６／７５１，２０２号、表題「ＰＲＥＣＩＳＥ ＰＲＯＧＲＡＭＭＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＡＮＡＬＯＧ ＮＥＵＲＡＬ ＭＥＭＯＲＹ ＩＮ Ａ ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＡＲＴＩＦＩＣＩＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ」に対する優先権を主張する。
【0002】
（発明の分野）
人工ニューラルネットワーク内のベクトル行列乗算（ＶＭＭ）アレイ内の不揮発性メモリセルの浮遊ゲートに精確な量の電荷を精密かつ迅速に堆積させるための精密プログラミングアルゴリズム及び装置について、多数の実施形態が開示される。
人工ニューラルネットワーク内のベクトル行列乗算（ＶＭＭ）アレイ内の不揮発性メモリセルの浮遊ゲートに精確な量の電荷を精密かつ迅速に堆積させるための精密プログラミングアルゴリズム及び装置について、多数の実施形態が開示される。
【背景技術】
【0003】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これにより、人工ニューラルネットワークは入力に適応し、学習可能になる。典型的には、人工ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信したデータに基づいて個々に又は合わせて決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用人工ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許公開２０１７／０３３７４６６号として公開された米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。本明細書で使用される場合、ニューロモーフィックという用語は、神経システムのモデルを実装する回路を意味する。アナログニューロモーフィックメモリは、第１の複数の入力を受信して、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、各メモリセルは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルのそれぞれは、浮遊ゲート上のある個数の電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。この様式で配置されるメモリセルのアレイは、ベクトル行列乗算（ＶＭＭ）アレイと称され得る。
【0007】
アナログニューロモーフィックメモリアレイに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に特異的かつ精確な量で保持しなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。アナログニューロモーフィックメモリシステムにおける１つの課題は、選択されたセルを、Ｎの異なる値に必要とされる精度及び粒度でプログラムする能力である。
【0008】
必要とされるのは、アナログニューロモーフィックメモリにおいてＶＭＭアレイと共に使用するのに適した、改善されたプログラミングシステム及び方法である。
【発明の概要】
【0009】
アナログニューロモーフィックメモリ内のベクトル行列乗算（ＶＭＭ）アレイ内の不揮発性メモリセルの浮遊ゲートに精確な量の電荷を精密かつ迅速に堆積させるための精密プログラミングアルゴリズム及び装置について、多数の実施形態が開示される。それにより、選択されたセルは、Ｎ個の異なる値のうちの１つを保持するために、極めて高い精度でプログラミングすることができる。
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】
【0050】
【0051】
【0052】
【0053】
【0054】
【0055】
【0056】
【0057】
【0058】
【0059】
【0060】
【0061】
【0062】
【0063】
【0064】
【0065】
【0066】
【0067】
【0068】
【0069】
【0070】
【図面の簡単な説明】
【0071】
【図1】先行技術の人工ニューラルネットワークを示す図である。
【図2】先行技術のスプリットゲートフラッシュメモリセルを示す。
【図3】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図4】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図5】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図6】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図7】先行技術の積層ゲートフラッシュメモリセルを示す。
【図8】１つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを示す図である。
【図9】ベクトル行列乗算システムを示すブロック図である。
【図10】１つ以上のベクトル行列乗算システムを利用する例示的な人工ニューラルネットワークを示すブロック図である。
【図11】ベクトル行列乗算システムの別の実施形態を示す。
【図12】ベクトル行列乗算システムの別の実施形態を示す。
【図13】ベクトル行列乗算システムの別の実施形態を示す。
【図14】ベクトル行列乗算システムの別の実施形態を示す。
【図15】ベクトル行列乗算システムの別の実施形態を示す。
【図16】ベクトル行列乗算システムの別の実施形態を示す。
【図17】ベクトル行列乗算システムの別の実施形態を示す。
【図18】ベクトル行列乗算システムの別の実施形態を示す。
【図19】ベクトル行列乗算システムの別の実施形態を示す。
【図20】ベクトル行列乗算システムの別の実施形態を示す。
【図21】ベクトル行列乗算システムの別の実施形態を示す。
【図22】ベクトル行列乗算システムの別の実施形態を示す。
【図23】ベクトル行列乗算システムの別の実施形態を示す。
【図24】ベクトル行列乗算システムの別の実施形態を示す。
【図25】先行技術の長・短期メモリシステムを示す。
【図26】長・短期メモリシステムで使用する例示的なセルを示す。
【図29】先行技術のゲート付き回帰型ユニットシステムを示す。
【図30】ゲート付き回帰型ユニットシステムで使用する例示的なセルを示す。
【図33A】不揮発性メモリセルをプログラミングする方法の一実施形態を示す。
【図33B】不揮発性メモリセルをプログラミングする方法の別の実施形態を示す。
【図34】粗プログラミング方法の一実施形態を示す。
【図35】不揮発性メモリセルのプログラミングで使用される例示的なパルスを示す。
【図36A】不揮発性メモリセルのプログラミングで使用される例示的なパルスを示す。
【図36B】不揮発性メモリセルのプログラミングで使用される例示的な相補的増分及び減少パルスを示す。
【図37】セルの傾斜特性に基づいてプログラミングパラメータを調節する、不揮発性メモリセルのプログラミングのための較正アルゴリズムを示す。
【図39】不揮発性メモリセルのプログラミングのための較正アルゴリズムを示す。
【図40】不揮発性メモリセルのプログラミングのための較正アルゴリズムを示す。
【図42】プログラミング動作中に不揮発性メモリセルの制御ゲートに印加される電圧の例示的な進行を示す。
【図43】プログラミング動作中に不揮発性メモリセルの制御ゲートに印加される電圧の例示的な進行を示す。
【図44】ベクトル乗算行列システム内の不揮発性メモリセルのプログラミング中にプログラミング電圧を印加するためのシステムを示す。
【図45】変調器、アナログ－デジタル変換器、及び加算器を含む出力ブロックを有するベクトル乗算行列システムを示す。
【図46】電荷加算器回路を示す。
【図47】電流加算器回路を示す。
【図48】デジタル加算器回路を示す。
【図49A】ニューロン出力用の積分型アナログ－デジタル変換器の一実施形態を示す。
【図49C】ニューロン出力用の積分型アナログ－デジタル変換器の別の実施形態を示す。
【図49E】ニューロン出力用の積分型アナログ－デジタル変換器の別の実施形態を示す。
【図49F】ニューロン出力用の積分型アナログ－デジタル変換器の別の実施形態を示す。
【図50A】ニューロン出力用の逐次比較型アナログ－デジタル変換器を示す。
【図50B】ニューロン出力用の逐次比較型アナログ－デジタル変換器を示す。
【図51】シグマデルタ型アナログ－デジタル変換器の一実施形態を示す。
【図52A】ランプ型アナログ－デジタル変換器の一実施形態を示す。
【図52B】ランプ型アナログ－デジタル変換器の一実施形態を示す。
【図52C】ランプ型アナログ－デジタル変換器の一実施形態を示す。
【図53】アルゴリズム型アナログ－デジタル変換器の一実施形態を示す。
【図54】論理マルチビットセルを示す。
【発明を実施するための形態】
【0072】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
［不揮発性メモリセル］
［不揮発性メモリセル］
【0073】
デジタル不揮発性メモリは周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種であるスプリットゲート型不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４とドレイン領域１６と、を含み、ソース領域１４とドレイン領域１６の間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁された、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、上に向かって浮遊ゲート２０の上方にかけて延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線端子２４はドレイン領域１６に結合される。
【0074】
ワード線端子２２に高圧正電圧を印加することによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。
【0075】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を印加することによってプログラムされる（電子が浮遊ゲートに印加される）。電子電流は、ソース領域１４（ソース線端子）からドレイン領域１６に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、加熱される。熱せられた電子の一部が、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
【0076】
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。
【0077】
表１は、読み出し、消去、及びプログラム動作を実行するためのメモリセル１１０の端子に印加され得る典型的な電圧範囲を示す。
表１：図２のフラッシュメモリセル２１０の動作
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。
表１：図２のフラッシュメモリセル２１０の動作
【表1】
【0078】
図３は、制御ゲート（control gate、ＣＧ）端子２８を追加した、図２のメモリセル２１０と同様のメモリセル３１０を示す。制御ゲート端子２８は、プログラミング中に高電圧（例えば、１０Ｖ）、消去中に低又は負電圧（例えば、０ｖ／－８Ｖ）、読み出し中に低又は中程度電圧（例えば、０ｖ／２．５Ｖ）でバイアスされる。他の端子は、図２の端子と同様にバイアスされる。
【0079】
図４は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル４１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
【0080】
表２は、読み出し、消去、及びプログラム動作を実行するためのメモリセル４１０の端子に印加され得る典型的な電圧範囲を示す。
表２：図４のフラッシュメモリセル４１０の動作
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。
表２：図４のフラッシュメモリセル４１０の動作
【表2】
【0081】
図５は、メモリセル５１０が消去ゲート（erase gate、ＥＧ）端子を含まないことを除いて、図４のメモリセル４１０と同様のメモリセル５１０を示す。消去は、基板１８を高電圧にバイアスし、制御ゲートＣＧ端子２８を低電圧又は負電圧にバイアスすることによって行われる。代替的に、ワード線端子２２を正電圧にバイアスし、制御ゲート端子２８を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図４のものと同様である。
【0082】
図６は、別の種類のフラッシュメモリセルである、３ゲートメモリセル６１０を示す。メモリセル６１０は、メモリセル６１０が別個の制御ゲート端子を有しないことを除いて、図４のメモリセル４１０と同一である。（消去ゲート端子の使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図４のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線端子に印加されなければならない。
【0083】
表３は、読み出し、消去、及びプログラム動作を実行するためのメモリセル６１０の端子に印加され得る典型的な電圧範囲を示す。
表３：図６のフラッシュメモリセル６１０の動作
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。
表３：図６のフラッシュメモリセル６１０の動作
【表3】
【0084】
図７は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル７１０を示す。メモリセル７１０は、浮遊ゲート２０がチャネル領域１８全体の上方にわたって延在し、制御ゲート端子２２（ワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
【0085】
【0086】
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。任意選択的に、メモリセル２１０、３１０、４１０、５１０、６１０、又は７１０の行及び列を含むアレイでは、ソース線は、メモリセルの１行又はメモリセルの隣接する２行に結合され得る。すなわち、ソース線端子は、メモリセルの隣接する行によって共有され得る。
【0087】
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
【0088】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲート上の電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値（１６又は６４の異なる値など）のうちの１つを最低限記憶できることを意味し、これにより、メモリアレイ内の全てのセルが非常に精密に、かつ個別に調整可能となり、またメモリアレイは記憶に対して理想的になり、ニューラルネットワークのシナプシスの重みに微調整が可能となる。
【0089】
本明細書に記載される方法及び手段は、限定することなく、ＳＯＮＯＳ（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（抵抗変化型メモリ）、ＰＣＭ（相変化メモリ）、ＭＲＡＭ（磁気抵抗メモリ）、ＦｅＲＡＭ（強誘電体メモリ）、ＯＴＰ（バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（強相関電子メモリ）などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、ＳＲＡＭ、ＤＲＡＭ、及び他の揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
［不揮発性メモリセルアレイを使用するニューラルネットワーク］
［不揮発性メモリセルアレイを使用するニューラルネットワーク］
【0090】
図８は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実施することも可能である。
【0091】
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）はシナプスＣＢ１に提供され、そこでこれらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【0092】
本例では、層Ｃ１において、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、層Ｃ１は、２次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
【0093】
層Ｃ１から、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする層Ｓ１へ行く前には、活性化関数Ｐ１（プーリング）が適用される。プーリング関数の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、それぞれ１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする層Ｓ２へ行く前には、活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類（クラス分け）を示すことができる。
【0094】
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。
【0095】
図９は、その目的のために使用可能なシステムのブロック図である。ベクトル行列乗算（ＶＭＭ）システム３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図８のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭシステム３２は、行及び列に配置された不揮発性メモリセルを含むＶＭＭアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３３への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、ＶＭＭアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、ＶＭＭアレイ３３の出力をデコードすることができる。
【0096】
ＶＭＭアレイ３３は、２つの目的を果たす。第１に、それは、ＶＭＭシステム３２によって使用される重みを記憶する。第２に、ＶＭＭアレイ３３は、効果的に、入力に、ＶＭＭアレイ３３に記憶された重みを乗算し、それらを出力線（ソース線又はビット線）ごとに合計して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、ＶＭＭアレイ３３は、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
【0097】
ＶＭＭアレイ３３の出力は、ＶＭＭアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動加算器（加算オペアンプ又は加算カレントミラーなど）３８に供給される。差動加算器３８は、正の重み入力及び負の重み入力両方の総和を実行して単一の値を出力するように配置される。
【0098】
差動加算器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド関数、ｔａｎｈ関数、ＲｅＬＵ関数、又は任意の他の非線形関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図８のＣ１）の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、ＶＭＭアレイ３３は、複数のシナプス（それらは、ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）を構成し、加算器３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0099】
図９のＶＭＭシステム３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、デジタルパルス（この場合、パルスを適切な入力アナログレベルに変換するために、パルス－アナログ変換器ＰＡＣが必要とされ得る）又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが提供される）であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビットであり得る（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが提供される）。
【0100】
図１０は、図中でＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭシステム３２の多数の層の使用を示すブロック図である。図１０に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭシステム３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭシステム３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭシステム３２ａへのマッピングされたアナログ入力に変換するように、アナログ－アナログ（Ａ／Ａ）変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力ＶＭＭシステム３２ａへのマッピングされたデジタルパルス（単数又は複数）に変換するために、デジタル－デジタルパルス（Ｄ／Ｐ）変換器によって行うこともできる。
【0101】
入力ＶＭＭシステム３２ａによって生成された出力は、次に、次のＶＭＭシステム（隠しレベル１）３２ｂへの入力として提供され、次に、次の入力ＶＭＭシステム３２ｂは、入力ＶＭＭシステム（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭシステム３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれ、対応の不揮発性メモリアレイを含むスタンドアローンの物理的システムとすることができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。それぞれのＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図１０に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。
［ＶＭＭアレイ］
［ＶＭＭアレイ］
【0102】
図１１は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０１と、不揮発性基準メモリセルの基準アレイ１１０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することができる。
【0103】
ＶＭＭアレイ１１００では、制御ゲート線１１０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ１１０２が、制御ゲート線１１０３に直交する）、消去ゲート線１１０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ１１００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ１１００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0104】
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ１１００の不揮発性メモリセル、すなわちＶＭＭアレイ１１００のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
【0105】
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓはドレイン－ソース間電流であり、Ｖｇは、メモリセルのゲート電圧であり、Ｖｔｈは、メモリセルのスレッショルド電圧であり、Ｖｔは、熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷とし、ｎは、傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、及びＣｏｘはゲート酸化物層の容量とし、Ｉｏは、スレッショルド 電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは、（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓはドレイン－ソース間電流であり、Ｖｇは、メモリセルのゲート電圧であり、Ｖｔｈは、メモリセルのスレッショルド電圧であり、Ｖｔは、熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷とし、ｎは、傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、及びＣｏｘはゲート酸化物層の容量とし、Ｉｏは、スレッショルド 電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは、（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
【0106】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流Ｉｄｓを入力電圧Ｖｇに変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0107】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流Ｉｄｓを入力電圧Ｖｇに変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
【0108】
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0109】
ベクトル行列乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
Ｉｉｎ＝ｗｐ*Ｉｏ*ｅ(Vg)/nVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
Ｉｉｎ＝ｗｐ*Ｉｏ*ｅ(Vg)/nVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
【0110】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0111】
代替的、本明細書に記載されたＶＭＭアレイの不揮発性メモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）
すなわち、直線領域における重量Ｗは、（Ｖｇｓ－Ｖｔｈ）に比例する。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）
すなわち、直線領域における重量Ｗは、（Ｖｇｓ－Ｖｔｈ）に比例する。
【0112】
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
【0113】
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
【0114】
代替的に、本明細書に記載されたＶＭＭアレイのメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２*β*（Ｖｇｓ－Ｖｔｈ）2； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する。
Ｉｄｓ＝１／２*β*（Ｖｇｓ－Ｖｔｈ）2； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する。
【0115】
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
【0116】
代替的に、本明細書に記載されるＶＭＭアレイのメモリセルは、全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用することができる。
【0117】
図９のＶＭＭアレイ３３のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
【0118】
図１２は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１２００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。アレイの列方向に配置された基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１２１４（一部のみ示す）を通してダイオード接続される。基準セルは、標的基準レベルに調整（例えば、プログラム）される。標的基準レベルは、基準ミニアレイマトリックス（図示せず）によって提供される。
【0119】
メモリアレイ１２０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１２００により使用される重みを、それぞれのメモリセルに記憶する。第２に、メモリアレイ１２０３は、メモリセルアレイ１２０３に記憶された重みによって、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１２０１及び１２０２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）を有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ１２０３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にビット線ＢＬ０～ＢＬＮそれぞれに現れる。各々のビット線ＢＬ０～ＢＬＮに配置された電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
【0120】
表５は、ＶＭＭアレイ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示し、ＦＬＴは、浮遊、すなわち電圧が印可されないことを示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表５：図１２のＶＭＭアレイ１２００の動作
表５：図１２のＶＭＭアレイ１２００の動作
【表5】
【0121】
図１３は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を含む。基準アレイ１３０１及び１３０２は、ＶＭＭアレイ１３００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１３００においてワード線が垂直方向に延びることを除いて、ＶＭＭ １０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0122】
表６は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表６：図１３のＶＭＭアレイ１３００の動作
表６：図１３のＶＭＭアレイ１３００の動作
【表6】
【0123】
図１４は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１４００を示す。ＶＭＭアレイ１４００は、不揮発性メモリセルのメモリアレイ１４０３と、第１の不揮発性基準メモリセルの基準アレイ１４０１と、第２の不揮発性基準メモリセルの基準アレイ１４０２と、を含む。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１４１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１４１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）の一定電圧を確実にするために、それぞれのマルチプレクサ１４０５及びカスコーディングトランジスタ１４０４を各々含む。基準セルは、標的基準レベルに調整される。
【0124】
メモリアレイ１４０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１４００によって使用される重みを記憶する。第２に、メモリアレイ１４０３は、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に、メモリセルアレイに記憶された重みを掛けて、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに出現し、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線に加えられる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0125】
ＶＭＭアレイ１４００は、メモリアレイ１４０３内の不揮発性メモリセルの一方向調整を実施する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに記憶されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。
【0126】
表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表７：図１４のＶＭＭアレイ１４００の動作
表７：図１４のＶＭＭアレイ１４００の動作
【表7】
【0127】
図１５は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１５００を示す。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、第１の不揮発性基準メモリセルの基準アレイ１５０１と、第２の不揮発性基準メモリセルの基準アレイ１５０２とを含む。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１５００は、ＶＭＭアレイ１５００が双方向調整を実装することを除いてＶＭＭアレイ１４００と同様であり、個々のセルはそれぞれ、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３内の入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１５１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【0128】
表８は、ＶＭＭアレイ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表８：図１５のＶＭＭアレイ１５００の動作
表８：図１５のＶＭＭアレイ１５００の動作
【表8】
【0129】
図１６は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１６００を示す。ＶＭＭアレイ１６００では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNでそれぞれ受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3にそれぞれ生成される。
【0130】
図１７は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１７００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3でそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ０、．．．、ＢＬNに生成される。
【0131】
図１８は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0132】
図１９は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0133】
図２０は、図４に示されるメモリセル４１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnがそれぞれ垂直制御ゲート線ＣＧ0、．．．、ＣＧNで受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
【0134】
図２１は、図４に示されるメモリセル４１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２１００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ結合されているビット線制御ゲート２９０１－１、２９０１－２、．．．、２９０１－（Ｎ－１）及び２９０１－Ｎのゲートでそれぞれ受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
【0135】
図２２は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２２００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成される。
【0136】
図２３は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２３００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMで受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ソース線ＳＬ0、．．．、ＳＬNにそれぞれ生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線に結合されている。
【0137】
図２４は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２４００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMで受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成され、各ビット線ＢＬiは、列ｉ内の全てのメモリセルのビット線に結合されている。
［長・短期メモリ］
［長・短期メモリ］
【0138】
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭは、人工ニューラルネットワークで使用されることが多い。ＬＳＴＭは、人工ニューラルネットワークが、所定の任意の期間にわたって情報を覚え、後続の動作においてその情報を使用することを可能にする。従来のＬＳＴＭは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調整する。ＶＭＭは、ＬＳＴＭにおいて特に有用である。
【0139】
図２５は、例示的なＬＳＴＭ２５００を示す。この例におけるＬＳＴＭ２５００は、セル２５０１、２５０２、２５０３、及び２５０４を含む。セル２５０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル２５０２は、入力ベクトルｘ1と、セル２５０１からの出力ベクトル（隠れ状態）ｈ0と、セル２５０１からのセル状態ｃ0とを受け取り、出力ベクトルｈ1とセル状態ベクトルｃ1とを生成する。セル２５０３は、入力ベクトルｘ2と、セル２５０２からの出力ベクトル（隠れ状態）ｈ1と、セル２５０２からのセル状態ｃ1とを受け取り、出力ベクトルｈ2とセル状態ベクトルｃ2とを生成する。セル２５０４は、入力ベクトルｘ3と、セル２５０３からの出力ベクトル（隠れ状態）ｈ2と、セル２５０３からのセル状態ｃ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
【0140】
図２６は、図２５のセル２５０１、２５０２、２５０３及び２５０４に使用可能なＬＳＴＭセル２６００の例示的な実装を示す。ＬＳＴＭセル２６００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）とを受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
【0141】
ＬＳＴＭセル２６００は、シグモイド関数デバイス２６０１、２６０２、及び２６０３を含み、各々が０～１の数を適用することで、入力ベクトルのそれぞれの成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル２６００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス２６０４及び２６０５と、２つのベクトルを乗算するための乗算器デバイス２６０６、２６０７、及び２６０８と、２つのベクトルを加算するための加算器デバイス２６０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができ、又は他の目的でアクセスすることができる。
【0142】
図２７は、ＬＳＴＭセル２６００の一実装の一例であるＬＳＴＭセル２７００を示す。読者の便宜のために、ＬＳＴＭセル２６００からの同じ採番方法が、ＬＳＴＭセル２７００で使用される。シグモイド関数デバイス２６０１、２６０２、及び２６０３、並びにｔａｎｈデバイス２６０４は各々、複数のＶＭＭアレイ２７０１及び活性化回路ブロック２７０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが理解できる。
【0143】
ＬＳＴＭセル２７００の代替例（及びＬＳＴＭセル２６００の一実装の別の例）を図２８に示す。図２８では、シグモイド関数デバイス２６０１、２６０２及び２６０３、並びにｔａｎｈデバイス２６０４は、同じ物理ハードウェア（ＶＭＭアレイ２８０１及び活性化関数ブロック２８０２）を、時分割多重化された方式で共有し得る。ＬＳＴＭセル２８００はまた、２つのベクトルを乗算するための乗算器デバイス２８０３と、２つのベクトルを加算するための加算器デバイス２８０８と、（活性化回路ブロック２８０２を含む）ｔａｎｈデバイス２６０５と、シグモイド関数ブロック２８０２から出力される値ｉ（ｔ）を記憶するレジスタ２８０７と、マルチプレクサ２８１０を介して乗算器デバイス２８０３から出力される値ｆ（ｔ）*ｃ（ｔ－１）を記憶するレジスタ２８０４と、マルチプレクサ２８１０を介して乗算器デバイス２８０３から出力される値ｉ（ｔ）*ｕ（ｔ）を記憶するレジスタ２８０５と、マルチプレクサ２８１０を介して乗算器デバイス２８０３から出力される値ｏ（ｔ）*ｃ～（ｔ）を記憶するレジスタ２８０６と、マルチプレクサ２８０９と、を含む。
【0144】
ＬＳＴＭセル２７００がＶＭＭアレイ２７０１とそれぞれの活性化関数ブロック２７０２との複数のセットを含むのに対し、ＬＳＴＭセル２８００は、ＬＳＴＭセル２８００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ２８０１と活性化関数ブロック２８０２との１つのセットのみ含む。ＬＳＴＭセル２８００は、ＬＳＴＭセル２７００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭ２７００よりも必要とするスペースが少ない。
【0145】
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、ＶＭＭアレイ自体の外側に必要とされる回路の最小化を試みる。
［ゲート付き回帰型ユニット］
［ゲート付き回帰型ユニット］
【0146】
アナログＶＭＭ実装を、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）に利用することができる。ＧＲＵは、反復人工ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
【0147】
図２９は、例示的なＧＲＵ２９００を示す。この例におけるＧＲＵ２９００は、セル２９０１、２９０２、２９０３及び２９０４を含む。セル２９０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル２９０２は、入力ベクトルｘ1と、セル２９０１からの出力ベクトルｈ0とを受け取り、出力ベクトルｈ1を生成する。セル２９０３は、入力ベクトルｘ2と、セル２９０２からの出力ベクトル（隠れ状態）ｈ1とを受け取り、出力ベクトルｈ2を生成する。セル２９０４は、入力ベクトルｘ3と、セル２９０３からの出力ベクトル（隠れ状態）ｈ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
【0148】
図３０は、図２９のセル２９０１、２９０２、２９０３、及び２９０４に使用することができるＧＲＵセル３０００の例示的な実装を示す。ＧＲＵセル３０００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）とを受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル３０００は、シグモイド関数デバイス３００１及び３００２を含み、それらの各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル３０００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス３００３と、２つのベクトルを乗算するための複数の乗算器デバイス３００４、３００５及び３００６と、２つのベクトルを加算するための加算器デバイス３００７と、１から入力を減算して出力を生成するためのコンプリメンタリデバイス３００８とを含む。
【0149】
図３１は、ＧＲＵセル３０００の一実装の一例であるＧＲＵセル３１００を示す。読者の便宜のために、ＧＲＵセル３０００からの同じ採番方法が、ＧＲＵセル３１００で使用される。図３１から分かるように、シグモイド関数デバイス３００１及び３００２、並びにｔａｎｈデバイス３００３は各々、複数のＶＭＭアレイ３１０１及び活性化関数ブロック３１０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが理解できる。
【0150】
ＧＲＵセル３１００の代替例（及びＧＲＵセル３０００の一実装の別の例）を図３２に示す。図３２において、ＧＲＵセル３２００は、ＶＭＭアレイ３２０１及び活性化関数ブロック３２０２を使用しており、シグモイド関数として構成された場合には、０～１の数を適用することで、入力ベクトルのそれぞれの成分が出力ベクトルに寄与する程度を制御する。図３２では、シグモイド関数デバイス３００１及び３００２、並びにｔａｎｈデバイス３００３は、同じ物理ハードウェア（ＶＭＭアレイ３２０１及び活性化関数ブロック３２０２）を、時分割多重化された方式で共有する。ＧＲＵセル３２００はまた、２つのベクトルを乗算するための乗算器デバイス３２０３と、２つのベクトルを加算するための加算器デバイス３２０５と、１から入力を減算して出力を生成するためのコンプリメンタリデバイス３２０９と、マルチプレクサ３２０４と、マルチプレクサ３２０４を介して乗算器デバイス３２０３から出力される値ｈ（ｔ－１）*ｒ（ｔ）を保持するレジスタ３２０６と、マルチプレクサ３２０４を介して乗算器デバイス３２０３から出力される値ｈ（ｔ－１）*ｚ（ｔ）を保持するレジスタ３２０７と、マルチプレクサ３２０４を介して乗算器デバイス３２０３から出力される値ｈ＾（ｔ）*（１－ｚ（（ｔ））を保持するレジスタ３２０８と、を含む。
【0151】
ＧＲＵセル３１００がＶＭＭアレイ３１０１と活性化関数ブロック３１０２との複数のセットを含むのに対し、ＧＲＵセル３２００は、ＧＲＵセル３２００の実施形態において複数の層を表すために使用されるＶＭＭアレイ３２０１と活性化関数ブロック３２０２の１つのセットのみを含む。ＧＲＵセル３２００は、ＧＲＵセル３１００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル３１００よりも必要とするスペースが少ない。
【0152】
ＧＲＵを利用するシステムは典型的には複数のＶＭＭアレイを含み、これらの各々は、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、ＶＭＭアレイ自体の外側に必要とされる回路の最小化を試みる。
【0153】
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、タイミングパルス、又はデジタルビットであり得、出力はアナログレベル、バイナリレベル、タイミングパルス、又はデジタルビットであり得る（この場合、出力アナログレベルの電流又は電圧をデジタルビットに変換するために出力ＡＤＣが必要とされる）。
【0154】
ＶＭＭアレイ内のそれぞれのメモリセルに関して、それぞれの重みｗは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つ以上のセルの平均）によって実装することができる。差分セルの場合では、重みｗを差分重み（ｗ＝ｗ+－ｗ-）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みｗを実装するために２つのメモリセルが必要とされる。
［ＶＭＭ内のセルの精密プログラミングのための実施形態］
［ＶＭＭ内のセルの精密プログラミングのための実施形態］
【0155】
ここで、メモリセルの異なる端子に印加されるプログラミング電圧を増分又は減少させることによって、ＶＭＭ内のメモリセルを精密にプログラミングするための実施形態を説明する。
【0156】
図３３Ａは、プログラミング方法３３００を示す。最初に、方法は、典型的には受信されるプログラム（調整）コマンドに応じて、開始する（ステップ３３０１）。次に、一斉プログラム動作が、全てのセルを「０」状態にプログラムする（ステップ３３０２）。次いで、それぞれのセルが、読み出し動作中に例えば約３～５μＡの電流を引き込むように、ソフト消去動作が、全てのセルに対して中間弱消去レベルに消去を行う（ステップ３３０３）。これは、読み出し動作中に各セルが約２０～３０μＡの電流を引き込む、深く消去された最高レベルとは対照的である。ソフト消去は、例えば、中間セル電流に達するまで増分消去電圧パルスを適用することによって行われる。増分消去電圧パルスは、ハード消去（すなわち、最大消去レベル）から経験されるメモリセルへの劣化を制限するために行われる。次いで、全ての非選択セルで非常に深いプログラムされた状態までセルの浮遊ゲートに電子を追加するハードプログラムが実行されて（ステップ３３０４）、それらのセルが本当に「オフ」であることを確実にし、すなわち、それらのセル、例えば未使用のメモリセルは、読み出し動作中に無視できる量の電流しか引き込まない。ハードプログラムは、例えば、より高い増分プログラム電圧パルス及び／又はより長いプログラム時間で実行される。
【0157】
次いで、粗プログラミング方法（セルを標的にかなり近づける、例えば、標的の２倍～１００倍）が、選択されたセルで実行され（ステップ３３０５）、続いて精密プログラミング方法が、選択されたセルで実行されて（ステップ３３０６）、選択されたそれぞれのセルに所望される精確な値をプログラムする。
【0158】
図３３Ｂは、プログラミング方法３３００と同様の別のプログラミング方法３３１０を示す。しかしながら、方法が開始した後（ステップ３３０１）、図３３Ａのステップ３３０２でのように全てのセルを「０」状態にプログラムするプログラム動作の代わりに、ソフト消去動作が使用されて、全てのセルに対して消去を行って「１」状態にする（ステップ３３１２）。次いで、各セルが読み出し動作中に約３～５ｕＡの電流を引き込むように、ソフトプログラム動作（ステップ３３１３）が使用されて、全てのセルを中間レベルにプログラムする。その後、粗プログラミング方法３３０５及び精密プログラミング方法３３０６は、図３３Ａの場合と同様に実行される。図３３Ｂの実施形態の変形は、ソフトプログラム動作（ステップ３３１３）を完全に除去する。精密（微細）プログラミングステップ３３０６を実行する前に、複数の徐々に小さい粗標的を標的とすることなどによって、複数の粗プログラミング方法を使用して、プログラミングを加速することができる。精密プログラミング方法３３０６は、例えば、微細（精密）増分プログラム電圧パルス又は一定のプログラムタイミングパルスで行われる。
【0159】
メモリセルの異なる端子を、粗プログラミング方法３３０５及び精密プログラミング方法３３０６に使用することができる。すなわち、粗プログラミング方法３３０５の間、メモリセルの端子のうちの１つ（粗プログラミング端子と称され得る）に印加される電圧は、所望の電圧レベルが浮遊ゲート２０内で達成されるまで変更され、精密プログラミング方法３３０６中に、メモリセルの端子のうちの１つ（精密プログラミング端子と呼ばれ得る）に印加される電圧は、所望のレベルが達成されるまで変更される。粗プログラミング端子及び精密プログラミング端子として使用することができる端子の様々な組み合わせを表９に示す。
表９：粗及び精密プログラミング方法に使用されるメモリセル端子
粗プログラミング及び精密プログラミングステップに対して、端子の他の組み合わせが可能である。
表９：粗及び精密プログラミング方法に使用されるメモリセル端子
【表9】
【0160】
図３４は、検索及び実行方法３４００である、粗プログラミング方法３３０５の第１の実施形態を示す。最初に、ルックアップテーブル検索又は関数（Ｉ－Ｖ曲線）を実行して、選択されたセルの粗標的電流値（ＩCT）を、その選択されたセルに記憶されることが意図される値に基づいて決定する（ステップ３４０１）。このテーブルは、例えば、ケイ素特性評価によって、又はウェハ試験の較正から作成される。選択されたセルは、Ｎ個（例えば、１２８個、６４個、３２個など）の可能な値のうちの１つの値を記憶するようにプログラムすることができる。Ｎ個の値の各々は、選択されたセルによって読み出し動作中に引き込まれる異なる所望の電流値（ＩD）に対応する。一実施形態では、ルックアップテーブルは、検索及び実行方法３４００中に選択されたセルに対する粗標的電流値ＩCTとして使用するためのＭ個の可能な電流値を含み得、Ｍは、Ｎより小さい整数である。例えば、Ｎが８である場合、Ｍは４であり得、これは、選択されたセルが記憶し得る８個の可能な値が存在することを意味し、４つの粗標的電流値のうちの１つは、検索及び実行方法３４００の粗標的として選択されることになる。すなわち、検索及び実行方法３４００（繰り返しになるが、粗プログラミング方法３３０５の実施形態である）は、選択されたセルを、所望の値（ＩD）に幾分近い値（ＩCT）に迅速にプログラムすることを意図しており、次いで、精密プログラミング方法３３０６は、所望の値（ＩD）を達成するか、又は所望の値（ＩD）に極めて近くなるように、選択されたセルをより精密にプログラムすることを意図する。
【0161】
セル値、所望の電流値、及び粗標的電流値の例を、Ｎ＝８及びＭ＝４の単純な例について表１０及び１１に示す。
表１０：Ｎ＝８の場合のＮ個の所望の電流値の例
表１１：Ｍ＝４の場合のＭ個の標的電流値の例
オフセット値ＩCTOFFSETxは、粗調整中に所望の電流値をオーバーシュートしてしまうのを防止するために使用される。
表１０：Ｎ＝８の場合のＮ個の所望の電流値の例
【表10】
【表11】
【0162】
粗目標電流値ＩCTが選択されると、ステップ３４０２において、選択されたセルは、上記の表９に列挙されたシーケンスのうちの１つに従って、初期電圧ｖ0を、選択されたセルの粗プログラミング端子に印加することによってプログラムされる。（初期電圧ｖ0の値及び適切な粗プログラミング端子は、任意選択的に、粗標的電流値ＩCTと対応させてｖ0を記憶する電圧ルックアップテーブルから決定することができる。）
表１２ 粗プログラミング端子に印加される初期電圧ｖ0
表１２ 粗プログラミング端子に印加される初期電圧ｖ0
【表12】
【0163】
次に、ステップ３４０３では、選択されたセルは、電圧ｖi＝ｖi-1＋ｖincrementを、粗プログラミング端子に印加することによってプログラムされ、式中、ｉは１から始まり、このステップが繰り返されるたびに増分し、ｖincrementは、所望される変化の粒度に見合う程度のプログラミングを引き起こす粗電圧の増分である。したがって、第１の時間ステップ３４０３はｉ＝１で実行され、ｖ1は、ｖ0＋ｖincrementである。次いで、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉcell）が測定される、検証動作が行われる（ステップ３４０４）。ＩcellがＩCT（ここでは第１のスレッショルド値である）以下である場合、検索及び実行方法３４００は完了し、精密プログラミング方法３３０６を開始することが可能となる。ＩcellがＩCT以下でない場合、ステップ３４０３が繰り返され、ｉは増分される。
【0164】
したがって、粗プログラミング方法３３０５が終了し、精密プログラミング方法３３０６が開始する時点で、電圧ｖiは、選択されたセルをプログラムするために、粗プログラミング端子に印加される最後の電圧であり、選択されたセルは、粗標的電流値ＩCTに関連付けられた値、特にＩCT以下である値を記憶することになる。精密プログラミング方法３３０６の目標は、選択されたセルを、読み出し動作中に、選択されたセルが電流ＩD（＋／－３０％以下などの許容可能なマージンの偏差を加減する）を引き込む点にプログラムすることであり、この電流は、選択されたセルに記憶されることが意図される値に関連付けられている所望の電流値である。
【0165】
図３５は、粗プログラミング方法３３０５中の、表９による、選択されたメモリセルの粗プログラミング端子に、及び／又は精密プログラム方法３３０６中の、選択されたメモリセルの精密プログラミング端子に、印加され得る、異なる電圧進行の例を示す。
【0166】
第１のアプローチ下では、選択されたメモリセルを更にプログラムするために、増加する電圧が、粗プログラミング端子及び／又は精密プログラミング端子に、漸次印加される。開始点はｖiであり、これは粗プログラミング方法３３０５中に印加された最後の電圧である。増分ｖp1がｖiに加えられ、次いで、電圧ｖi＋ｖp1が使用されて、選択されたセルをプログラムする（進行３５０１において左から２番目のパルスによって示される）。ｖp1は、ｖincrement（粗プログラミング方法３３０５の間に使用される電圧増分）より小さい増分である。それぞれのプログラミング電圧がプログラミング端子に印加された後、ＩｃｅｌｌがＩPT1（第１の精密標的電流値であり、ここでは第２のスレッショルド値である）以下であるかどうかの判定が行われる、検証ステップ（ステップ３４０４と同様）が実行され、ＩPT1＝ＩD＋ＩPT1OFFSETであり、ＩPT1OFFSETは、プログラムオーバーシュートを防止するために加算されるオフセット値である。判定が否である場合、別の増分ｖp1が、前に印加されたプログラミング電圧に加えられ、プロセスが繰り返される。これは、ＩcellがＩPT1以下である時点まで繰り返され、この時点で、プログラミングシーケンスのこの部分は停止する。任意選択的に、ＩPT1がＩDに等しいか、又は十分に許容された精度でＩDにほぼ等しい場合、選択されたメモリセルは正常にプログラムされている。
【0167】
ＩPT1がＩDに十分に近接していない場合は、より小さい粒度の更なるプログラミングを行うことができる。ここで、進行３５０２が使用される。進行３５０２の開始点は、進行３５０１下のプログラミングに使用された最後の電圧である。増分Ｖp2（ｖp1よりも小さい）がその電圧に加えられ、組み合わされた電圧が精密プログラミング端子に印加されて、選択されたメモリセルをプログラムする。それぞれのプログラミング電圧が印加された後、ＩcellがＩPT2（第２の精密標的電流値であり、ここでは第３のスレッショルド値である）以下であるかどうかの判定が行われる、検証ステップ（ステップ３４０４と同様）が実行され、ＩPT2＝ＩＤ＋ＩPT2OFFSETであり、ＩPT2OFFSETは、プログラムオーバーシュートを防止するために加算されるオフセット値である。判定が否である場合、別の増分Ｖp2が、前に印加されたプログラミング電圧に加えられ、プロセスが繰り返される。これは、ＩcellがＩPT2以下である時点まで繰り返され、この時点で、プログラミングシーケンスのこの部分は停止する。ここで、標的値が十分に許容された精度で達成されているので、ＩPT2はＩDに等しいか、又はプログラミングが停止することができるほどＩDに十分に近接していると想定される。当業者は、使用されるプログラミング増分が段々と小さくなって追加の進行が適用され得ることを理解することができる。例えば、図３６Ａでは、２つだけではなく、３つの進行（３６０１、３６０２、及び３６０３）が適用される。
【0168】
第２のアプローチが、進行３５０３に示される。ここで、選択されたメモリセルのプログラミング中に印加される電圧を増加させる代わりに、同じ電圧（Ｖi、又はＶi＋Ｖp1＋Ｖp1、又はＶi＋Ｖp2＋Ｖp2など）が、期間が増加していく持続時間に対して印加される。進行３５０１におけるｖp1及び進行３５０２におけるｖp2などの増分電圧を加える代わりに、それぞれの印加パルスが、前に印加されたパルスよりもｔp1だけ長くなるように、追加の時間増分ｔp1がプログラミングパルスに加えられる。各プログラミングパルスが精密プログラミング端子に印加された後、進行３５０１について前述したのと同じ検証ステップが実行される。任意選択的に、プログラミングパルスに加えられる追加の時間増分が前の使用された進行よりも短い持続時間である、追加の進行を、印加することができる。
【0169】
任意選択的に、プログラミングパルスが、使用される以前のプログラムサイクルの進行と同じ持続時間である、追加のプログラムサイクルの進行を適用することができる。１つの時間的な進行のみが示されているが、当業者は、任意の数の異なる時間的進行が印加され得ることを理解するであろう。すなわち、プログラミング中に使用される電圧の大きさを変更する代わりに、又はプログラミング中に使用される電圧パルスの周期を変更する代わりに、システムは、代わりに、使用されるプログラミングサイクルの数を変更することができる。
【0170】
図３６Ｂは、１つの精度プログラミング端子に印加される電圧が増加し、別の精度プログラミング端子に印加される電圧が減少する相補的パルスプログラムの進行の図を示す。例えば、増加する電圧進行が、選択されたセルの制御ゲートに印加され、減少する電圧進行が、選択されたセルの消去ゲート又はソース線に印加され得る。又は、別の方法では、増加する電圧進行が、選択されたセルの消去ゲート又はソース線に印加され、減少する電圧進行が、選択されたセルの制御ゲートに印加され得る。これらの相補的な進行プログラムパルスは、プログラミングにおいてより大きな精度をもたらす。例えば、１０ｍＶのＣＧ増分及び２０ｍＶのＥＧ減少を有するプログラミングパルスサイクルでは、精密プログラミングパルスサイクルの後のＦＧ内の結果として生じる電圧は、ＦＧに対する４０％ＣＧカップリング比及び１０％ＥＧカップリング比を仮定すると、１０ｍＶ*４０％－２０ｍＶ*１５％＝約１ｍＶである。この相補的パルスプログラム方法は、粗プログラムステップ３３０５が典型的には、そのプログラミング動作中にＣＧ増分又はＥＧ増分のみを使用するため、粗プログラムステップ３３０５後に精密プログラムステップ３３０６において使用することができる。
【0171】
ここで、粗プログラミング方法３３０５の第２及び第３の実施形態について、更なる詳細が提供される。
【0172】
図３７は、適応較正方法３７００である、粗プログラミング（調整）方法３３０５の第２の実施形態を示す。方法が開始する（ステップ３７０１）。セルは、表９に示されるシーケンスのうちの１つに従って、初期電圧ｖ0を粗プログラミング端子に印加することによってプログラムされる（ステップ３７０２）。検索及び実行方法３４００とは異なり、ここでｖ0は、ルックアップテーブルから得られず、代わりに比較的小さい初期値とすることができる。セルの制御ゲート（又は消去ゲート）電圧（ＣＧ１又はＥＧ１と称され得る）は、第１の電流値ＩＲ１（例えば、１００ｎａ）で測定され、同じゲート上の電圧（ＣＧ２又はＥＧ２と称され得る）は、第２の電流値ＩＲ２（例えば、１０ｎａ）で測定される、すなわち、ＩＲ２がＩＲ１の１０％である非限定的な実施形態では、サブスレッショルドＩ－Ｖ傾斜は、それらの測定値（例えば、電流の３６０ｍＶ／ｄｅｃ又はｄＶ／ｄ ＬＯＧ（Ｉ））に基づいて決定され、記憶されている（ステップ３７０３）。線形領域のＩ－Ｖ傾斜は、ｄＶ／ｄＩである。
【0173】
新しい電圧ｖiが決定される。このステップが最初に実行されるとき、ｉ＝１であり、プログラム電圧ｖ1は、例えば以下のようなサブスレッショルド式を使用して、記憶されたサブスレッショルド傾斜値並びに電流標的及びオフセット値に基づいて決定される。
ｖｉ＝ｖi-1＋ｖincrement、
Ｖincrementは、Ｖｇの傾斜に比例する
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗａ*Ｉｏ］
ここで、ｗａはメモリセルのｗであり、Ｉｄｓはセル電流であり、Ｉｏは、Ｖｇ＝Ｖｔｈ、Ｖｔが熱電圧であり、１～２のｇを利用し、Ｖ１が電流ＩＲ１で決定され、Ｖ２が電流ＩＲ２で決定されるときのセル電流である。
傾斜＝（Ｖ１－Ｖ２）／（ＬＯＧ（ＩＲ１）－ＬＯＧ（ＩＲ２））
式中、ｖincrement＝α*傾斜*（ＬＯＧ（ＩＲ１）－ＬＯＧ（ＩCT））であり、
ＩCTは標的電流であり、αは、オーバーシュートを防止するための所定の定数（プログラミングオフセット値）＜１、であって、例えば０．９である。
ｖｉ＝ｖi-1＋ｖincrement、
Ｖincrementは、Ｖｇの傾斜に比例する
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗａ*Ｉｏ］
ここで、ｗａはメモリセルのｗであり、Ｉｄｓはセル電流であり、Ｉｏは、Ｖｇ＝Ｖｔｈ、Ｖｔが熱電圧であり、１～２のｇを利用し、Ｖ１が電流ＩＲ１で決定され、Ｖ２が電流ＩＲ２で決定されるときのセル電流である。
傾斜＝（Ｖ１－Ｖ２）／（ＬＯＧ（ＩＲ１）－ＬＯＧ（ＩＲ２））
式中、ｖincrement＝α*傾斜*（ＬＯＧ（ＩＲ１）－ＬＯＧ（ＩCT））であり、
ＩCTは標的電流であり、αは、オーバーシュートを防止するための所定の定数（プログラミングオフセット値）＜１、であって、例えば０．９である。
【0174】
記憶された傾斜値が比較的急勾配である場合、比較的小さい電流オフセット値を使用することができる。記憶された傾斜値が比較的平坦である場合、比較的高い電流オフセット値を使用することができる。したがって、傾斜情報を決定することは、問題の特定のセルにカスタマイズされている電流オフセット値が選択されることを可能にする。これは、一般に、プログラミングプロセスをより短くする。ステップ３７０４が繰り返されると、ｉは増分され、ｖi＝ｖi-1＋ｖincrementである。次いで、セルは、ｖiを粗適応プログラミング端子に印加することによってプログラムされる。ｖincrementはまた、標的電流値と対応させてｖincrementの値を記憶するルックアップテーブルから決定することもできる。
【0175】
次に、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉcell）が測定される、検証動作が行われる（ステップ３７０５）。ＩcellがＩCT（ここでは粗標的スレッショルド値である）以下である場合、ＩCT＝ＩD＋ＩCTOFFSET、ＩCTOFFSETは、プログラムオーバーシュートを防止するために追加されるオフセット値であり、適応較正方法３７００は完了し、精密プログラミング方法３３０６が開始され得る。ＩcellはＩCT以下でない場合、次いで、ステップ３７０４～３７０５（新しい傾斜測定値が新しいデータポイントを用いて測定される）又はステップ３７０３～３７０５（以前に使用された同じ傾斜が再使用される場合）を繰り返し、ｉが増分される。
【0176】
図３８は、方法３７０３の実装のための回路の高レベルブロック図を示す。電流源３８０１は、例示的な電流値ＩＲ１及びＩＲ２を、選択されたセル（ここではメモリセル３８０２）に印加するために使用され、次いで、メモリセル３８０２の粗プログラミング端子における電圧（ＩＲ１の場合Ｖ１（ＶＣＧＲ１又はＶＥＧＲ１）及びＩＲ２の場合Ｖ２（ＶＣＧＲ２又はＶＥＧＲ２））が測定され、粗プログラミング端子が表９に従って選択される。線形傾斜は、ＬＯＧＩ－Ｖ曲線上のセル電流の（Ｖ１－Ｖ２）／ｄｅｃａｄｅであるか、すなわち（Ｖ１－Ｖ２）／（ＬＯＧ（ＩＲ１）－ＬＯＧ（ＩＲ２））に等しい。
【0177】
図３９は、適応較正方法３９００である、プログラミング方法３３０５の第３の実施形態を示す。方法が開始する（ステップ３９０１）。セルは、ｖ0をセルの粗適応プログラミング端子に印加することによって、デフォルトの出発値ｖ0でプログラムされる（ステップ３９０２）。ｖ0は、シリコン特性評価から作成されるようなルックアップテーブルから得られ、テーブル値は、プログラムされた標的をオーバーシュートしないようにオフセットされる。ｖ0の例を表１３に示す。
表１３：適応較正方法３９００中にコース適応プログラミング端子に印加される初期電圧ｖ0
表１３：適応較正方法３９００中にコース適応プログラミング端子に印加される初期電圧ｖ0
【表13】
【0178】
ステップ３９０３では、次のプログラミング電圧を予測する際に使用されるＩ－Ｖ傾斜パラメータが作成される。第１の電圧、Ｖ１が、選択されたセルの制御ゲート又は消去ゲートに印加され、結果として生じるセル電流、ＩＲ１が測定される。次いで、第２の電圧、Ｖ２が、選択されたセルの制御ゲート又は消去ゲートに印加され、結果として生じるセル電流、ＩＲ２が測定される。傾斜は、それらの測定値に基づいて決定され、例えば、サブスレッショルド領域（サブスレッショルドで動作するセル）における次の等式に従って記憶される：
傾斜＝（Ｖ１－Ｖ２）／（ＬＯＧ（ＩＲ１）－ＬＯＧ（ＩＲ２））
（ステップ３９０３）。Ｖ１及びＶ２の値の例を、上記の表１３に示す。
傾斜＝（Ｖ１－Ｖ２）／（ＬＯＧ（ＩＲ１）－ＬＯＧ（ＩＲ２））
（ステップ３９０３）。Ｖ１及びＶ２の値の例を、上記の表１３に示す。
【0179】
Ｉ－Ｖ傾斜情報を決定することは、問題の特定のセルにカスタマイズされているｖincrement値が選択されることを可能にする。これは、一般に、プログラミングプロセスをより短くする。
【0180】
ステップ３９０４が実行されるたびに、ｉが増分され、初期値は０であり、所望のプログラミング電圧、ｖiを、記憶された傾斜値並びに電流標的及びオフセット値に基づき、次のような等式を使用して決定する。
ｖi＝ｖi-1＋ｖincrement、
式中、ｖincrement＝α*傾斜*（ＬＯＧ（ＩＲ1）－ＬＯＧ（ＩCT））、
ＩCTは標的電流であり、αは、オーバーシュートを防止するための所定の定数（プログラミングオフセット値）＜１、であって、例えば０．９である。
ｖi＝ｖi-1＋ｖincrement、
式中、ｖincrement＝α*傾斜*（ＬＯＧ（ＩＲ1）－ＬＯＧ（ＩCT））、
ＩCTは標的電流であり、αは、オーバーシュートを防止するための所定の定数（プログラミングオフセット値）＜１、であって、例えば０．９である。
【0181】
次いで、選択されたセルは、ｖiを使用してプログラムされる。（ステップ３９０５）
【0182】
次に、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉcell）が測定される、検証動作が行われる（ステップ３９０６）。ＩcellがＩCT（ここでは粗標的スレッショルド値である）以下である場合、ＩCT＝ＩD＋ＩCTOFFSET、ＩCTOFFSETは、プログラムオーバーシュートを防止するために追加されるオフセット値であり、プロセスはステップ３９０７に進む。そうでない場合、プロセスはステップ３９０３（新しい傾斜測定）又は３９０４（以前の傾斜が再使用される）に戻り、ｉが増分される。
【0183】
ステップ３９０７において、Ｉcellは、ＩCTより小さいスレッショルド値、ＩCT2と比較される。この目的は、オーバーシュートが発生したかどうかを確認することである。すなわち、目標は、ＩcellがＩCT未満になることであるが、ＩcellがＩCTをはるかに下回っている場合、オーバーシュートが発生しており、記憶された値は、実際には誤った値に対応している可能性がある。ＩcellがＩCT2以下でない場合、オーバーシュートは発生しておらず、適応較正方法３９００が完了しており、その時点でプロセスは精密プログラミング方法３３０６に進む。ＩcellがＩCT2以下である場合、オーバーシュートが発生している。その場合、選択されたセルは消去され（ステップ３９０８）、プログラミングプロセスはステップ３９０２で再開する。任意選択的に、ステップ３９０８が所定の回数より多く実行される場合、選択されたセルは、使用されるべきではない不良セルと見なされ得、エラー信号が出力されるか、又はフラグが設定され、セルを識別する。
【0184】
精密プログラム方法３３０６は、複数の検証及びプログラムサイクルからなり得、次のパルスに向かって、パルス幅が固定されてプログラム電圧が一定の微細電圧によって増分されるか、又はプログラム電圧が固定されてプログラムパルス幅が変化する。
【0185】
任意選択的に、読み出し動作中又は検証動作中に、選択された不揮発性メモリセルを通る電流が第１のスレッショルド電流値以下であるかどうかを判定するステップ３９０６は、不揮発性メモリセルの端子に固定バイアスを印加し、選択された不揮発性メモリセルによって引き込まれた電流を測定及びデジタル化してデジタル出力ビットを生成し、デジタル出力ビットを、第１のスレッショルド電流、ＩCTを表すデジタルビットと比較することによって、実行され得る。
【0186】
任意選択的に、読み出し動作中又は検証動作中に、選択された不揮発性メモリセルを通る電流が第２のスレッショルド電流値以下であるかどうかを判定するステップ３９０７は、不揮発性メモリセルの端子に固定バイアスを印加し、選択された不揮発性メモリセルによって引き込まれた電流を測定及びデジタル化してデジタル出力ビットを生成し、デジタル出力ビットを、第２のスレッショルド電流、ＩCT2を表すデジタルビットと比較することによって、実行され得る。
【0187】
任意選択的に、読み出し動作中又は検証動作中に、選択された不揮発性メモリセルを通る電流が、それぞれ、第１又は第２のスレッショルド電流値以下であるかどうかを判定するステップ３９０６，３９０７は、不揮発性メモリセルの端子に入力を印加し、選択された不揮発性メモリセルによって引き込まれた電流を出力パルスで変調して変調出力を生成し、変調出力をデジタル化してデジタル出力ビットを生成し、デジタル出力ビットを、それぞれ、第１又は第２のスレッショルド電流を表すデジタルビットと比較することによって、実行され得る。
【0188】
電流を検証又は読み出す目的でセル電流を測定することは、ノイズの影響を低減するために、複数回分、例えば、８～３２回分を平均することによって行うことができる。
【0189】
図４０は、絶対較正方法４０００である、粗プログラミング方法３３０５の第４の実施形態を示す。方法が開始する（ステップ４００１）。セルの関連端子は、デフォルトの出発値ｖ0でプログラムされる（ステップ４００２）。ｖ0の例を表１４に示す。
表１４：絶対較正方法４０００中にメモリセル端子に印加される初期電圧ｖ0
表１４：絶対較正方法４０００中にメモリセル端子に印加される初期電圧ｖ0
【表14】
【0190】
粗プログラミング端子上の電圧ｖＴｘは、図３８に関連して上述したようにセルを通して駆動される電流値Ｉｔａｒｇｅｔで測定され、記憶される（ステップ４００３）。新しい粗プログラミング電圧、ｖ1は、記憶された電圧ｖＴｘ及びオフセット値、ｖＴｏｆｆｓｅｔ（Ｉｏｆｆｓｅｔに対応する）に基づいて、決定される（ステップ４００４）。例えば、新しい所望の電圧ｖ1は、以下のように計算することができる：ｖ1＝ｖ0＋（ＶＴＢＩＡＳ－ｖＴｘ）－ｖＴｏｆｆｓｅｔ、式中、例えばＶＴＢＩＡＳ＝約１．５Ｖであり、これは、最大標的電流（メモリセルが許容する最大電流レベルを意味する）でのデフォルト端子電圧である。基本的に、新しい標的電圧は、標的電流及び最大電圧及びオフセットにおける電流電圧ｖＴｘとの差である量によって調整される。
【0191】
次いで、セルは、ｖiを使用してプログラムされる（ステップ４００５）。ｉ＝１のとき、ステップ４００４からの電圧ｖ1が使用される。ｉ＞＝２のとき、電圧ｖi＝ｖi-1＋ｖincrementが使用される。ｖincrementは、標的電流値と対応させてｖincrementの値を記憶するルックアップテーブルから決定することができる。次に、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉcell）がＩCTと比較される（ステップ４００６）。ＩcellがＩCT（ここではスレッショルド値である）以下である場合、絶対較正方法４０００は完了し、精密プログラミング方法３３０６が開始され得る。ＩcellがＩCT以下でない場合、ステップ４００５～４００６が繰り返され、ｉは増分される。
【0192】
図４１は、絶対較正方法４０００のステップ４００３においてｖＴｘを測定するための回路４１００を示す。ｖＴｘは、各メモリセル４１０３（４１０３－０、４１０３－１、４１０３－２、．．．４１０３－ｎ）で測定される。ここで、ｎ＋１個の異なる電流源４１０１（４１０１－０、４１０１－１、４１０１－２、．．．、４１０１－ｎ）は、大きさが増加していく異なる電流ＩＯ０、ＩＯ１、ＩＯ２、．．．ＩＯｎを生成する。各電流源４１０１は、それぞれのインバータ４１０２（４１０２－０、４１０２－１、４１０２－２、．．．、４１０２－ｎ）及びメモリセル４１０３（４１０３－０、４１０３－１、４１０３－２、．．．４１０３－ｎ）に接続されている。各インバータ４１０２（４１０２－０、４１０２－１、４１０２－２、．．．、４１０２－ｎ）への入力は、最初は高く、各インバータの出力は最初は低い。ＩＯ０＜ＩＯ１＜ＩＯ２＜．．．＜ＩＯｎであるため、インバータ４１０２－０の出力は、メモリセル４１０３－０が電流源４１０１－０から電流を引き出し、またインバータ４１０２－０の入力ノードから電流を引き出し、インバータ４１０２－０への入力電圧を、他のインバータ４１０２への入力電圧の前に、低下させることになるため、まず低から高に切り替わる。次にインバータ４１０２－１の出力が低から高に切り替わり、次いでインバータ４１０２－２の出力が同様に切り替わり、以下インバータ４１０２－ｎの出力が低から高に切り替わるまで同様である。各インバータ４１０２は、それぞれのスイッチ４１０４（４１０４－０、４１０４－１、４１０４－２、．．．、４１０４－ｎ）を制御し、その結果、インバータ４１０２の出力が高であるとき、スイッチ４１０４は閉じられ、これにより、ｖＴｘがコンデンサ４１０５（４１０５－０、４１０５－１、４１０５－２、．．．、４１０５－ｎ）によってサンプリングされる。したがって、スイッチ４１０４及びコンデンサ４１０５は、サンプルアンドホールド回路を形成する。このようにして、ｖＴｘは、サンプルアンドホールド回路を使用して測定される。
【0193】
図４２は、適応較正方法３７００又は絶対較正方法４０００中に、選択されたセルをプログラミングするための例示的な進行４２００を示す。電圧ＶＴＰ（ＣＧ又はＥＧ端子に印加されるプログラミング電圧であり、図３７のステップ３７０４及び図４０のステップ４００５におけるｖｉに対応する）は、ビット線イネーブル信号Ｅｎ＿ｂｌｘ（ｘが１とｎの間で変化する、式中、ｎはビット線の数である）を使用して、選択されたメモリセルの端子に印加される。
【0194】
図４３は、適応較正方法３７００又は絶対較正方法４０００中に、選択されたセルをプログラミングするための別の例示的な進行４３００を示す。電圧ＶＴＰ（ＣＧ又はＥＧ端子に印加されるプログラミング電圧であり、図３７のステップ３７０４及び図４０のステップ４００５におけるｖｉに対応する）は、ビット線イネーブル信号Ｅｎ＿ｂｌｘ（ｘが１とｎの間で変化する、式中、ｎはビット線の数である）を使用して、選択されたメモリセルの端子に印加される。
【0195】
別の実施形態では、制御ゲート端子に印加される電圧が増分され、消去ゲート端子に印加される電圧も増分される。
【0196】
別の実施形態では、制御ゲート端子に印加される電圧が増分され、消去ゲート端子に印加される電圧が減少する。これを表１５に示す。
表１５：制御ゲート端子増分及び消去ゲート端子減少
表１５：制御ゲート端子増分及び消去ゲート端子減少
【表15】
【0197】
比較のために、制御ゲート端子のみを増分すること、又は消去ゲート端子のみを増分することの例は、表１６に含まれる。
表１６：制御ゲート端子増分、消去ゲート端子増分
表１６：制御ゲート端子増分、消去ゲート端子増分
【表16】
【0198】
図４４は、精密プログラミング後の、ＶＭＭアレイ内で読み出し又は検証するための入力及び出力方法を実装するためのシステムを示す。入力関数回路４４０１は、デジタルビット値を受信し、それらのデジタル値をアナログ信号に変換して使用することで、アレイ４４０４内の選択されたセルの制御ゲートに電圧を印加し、選択されたセルは、制御ゲートデコーダ４４０２を介して決定される。同時に、ワード線デコーダ４４０３もまた、選択されたセルが位置する行を選択するために使用される。出力ニューロン回路ブロック４４０５は、アレイ４４０４内のセルの各列からの出力電流を受信する。出力回路ブロック４４０５は、積分型アナログ－デジタル変換器（ＡＤＣ）、逐次比較型（ＳＡＲ）ＡＤＣ、シグマデルタ型ＡＤＣ、又はデジタル出力を提供するための任意の他のＡＤＣスキームを含む。
【0199】
一実施形態では、入力機能回路４４０１に提供されるデジタル値は、４つのビット（ＤＩＮ３、ＤＩＮ２、ＤＩＮ１、及びＤＩＮ０）、又は任意の数のビットを含み、それらのビットによって表されるデジタル値は、プログラミング動作中に制御ゲートに適用される入力パルスの数に対応する。パルス数が多いほど、セルに、より大きな値が記憶されることになり、セルが読み出されると、より大きな出力電流を引き起こす。入力ビット値及びパルス値の例を表１７に示す。
表１７：デジタルビット入力と生成パルス数
表１７：デジタルビット入力と生成パルス数
【表17】
【0200】
上記の例では、４ビット入力デジタルに対して最大１５パルスが存在する。各パルスは、１つの単位セル値（電流）、すなわち、精密プログラムされた電流に等しい。例えば、Ｉｃｅｌｌ単位＝１ｎＡの場合、ＤＩＮ［３～０］＝０００１では、Ｉｃｅｌｌ＝１*１ｎＡ＝１ｎＡであり、ＤＩＮ［３～０］＝１１１１では、Ｉｃｅｌｌ＝１５*１ｎＡ＝１５ｎＡである。
【0201】
別の実施形態では、デジタルビット入力は、表１８に示すように、セル又はニューロン（例えば、ビット線出力の精密にプログラムされた値）値を読み出すために、デジタルビット位置加算を使用する。ここで、４つのパルス又は４つの固定された同一バイアス入力（例えば、ワード線又は制御ゲートの入力）のみが、４ビットのデジタル値を評価するために必要とされる。例えば、第１のパルス又は第１の固定バイアスは、ＤＩＮ０を評価するために使用され、第１の値と同じ値を有する第２のパルス又は第２の固定バイアスは、ＤＩＮ１を評価するために使用され、第１の値と同じ値を有する第３のパルス又は第３の固定バイアスは、ＤＩＮ２を評価するために使用され、第１の値と同じ値を有する第４のパルス又は第４の固定バイアスは、ＤＩＮ３を評価するために使用される。次いで、表１９に示すように、各出力結果が２＾ｎ（ｎはデジタルビット位置）である乗算係数で乗算（スケーリング）された、４つのパルスからの結果が、ビット位置に従って加算される。実現されるデジタルビット加算式は、以下のものである：出力＝２＾０*ＤＩＮ０＋２＾１*ＤＩＮ１＋２＾２*ＤＩＮ２＋２＾３*ＤＩＮ３）*Ｉｃｅｌｌ単位、式中、Ｉｃｅｌｌは、精密プログラムされた電流を表す。
【0202】
例えば、Ｉｃｅｌｌ単位＝１ｎＡの場合、ＤＩＮ［３～０］＝０００１では、Ｉｃｅｌｌ合計＝０＋０＋０＋１*１ｎＡ＝１ｎＡであり、ＤＩＮ［３～０］＝１１１１では、Ｉｃｅｌｌ合計＝８*１ｎＡ＋４*１ｎＡ＋２*１ｎＡ＋１*１ｎＡ＝１５ｎＡである。
表１８：デジタルビット入力加算
表１９：デジタル入力ビットＤｎの総和と２＾ｎ出力乗算係数
表１８：デジタルビット入力加算
【表18】
【表19】
【0203】
複数のデジタル入力パルス範囲及び入力デジタル範囲の総和を有するハイブリッド入力を有する別の実施形態は、例示的な４ビットデジタル入力について表２０に示される。この実施形態では、ＤＩＮｎ－０は、ｍ個の異なるグループに分割することができ、各グループは、評価され、出力は、グループバイナリ位置によって乗算係数によってスケーリングされる。例えば、４ビットＤＩＮ３－０の場合、グループはＤＩＮ３－２及びＤＩＮ１－０であり得、ＤＩＮ１－０の出力は１でスケーリングされ（Ｘ１）、ＤＩＮ３－２の出力は４でスケーリングされる（Ｘ４）。
表２０：複数の入力範囲を有するハイブリッド入出力の総和
表２０：複数の入力範囲を有するハイブリッド入出力の総和
【表20】
【0204】
別の実施形態は、ハイブリッド入力範囲をハイブリッドスーパーセルと組み合わせる。ハイブリッドスーパーセルは、複数の物理ｘビットセルを含み、ｘセル出力を２＾ｎバイナリ位置でスケーリングした論理ｎビットセルを実装する。例えば、８ビットの論理セルを実装するために、２つの４ビットセル（セル１、セル０）が使用される。セル０の出力は、１でスケーリングされ（Ｘ１）、セル１の出力は、４でスケーリングされる（Ｘ、２＾２）。８ビットの論理セルを実装するための２つの２ビット物理セル及び１つの４ビット物理セルなど、ｎビット論理セルを実装するための物理ｘセルの他の組み合わせが可能である。
【0205】
図４５は、デジタルビット入力がデジタルビット位置加算を使用して、デジタル入力ビット位置に従って設計された出力パルス幅を用いてモジュレータ４５１０によって変調されたセル又はニューロン（例えば、ビット線出力の値）電流を読み出すこと（例えば、電流を出力電圧（Ｖ＝電流*パルス幅／容量）に変換するため）を除き、図４４のシステムに類似する別の実施形態を示す。例えば、第１のバイアス（入力ワード線又は制御ゲートに印加される）は、ＤＩＮ０を評価するために使用され、電流（セル又はニューロン）出力は、モジュレータ４５１０によって、１（ｘ１）単位であるＤＩＮ０ビット位置に比例する単位パルス幅で変調され、第２の入力バイアスは、ＤＩＮ１を評価するために使用され、電流出力は、モジュレータ４５１０によって、２（ｘ２）単位であるＤＩＮ１ビット位置に比例するパルス幅で変調され、第３の入力バイアスは、ＤＩＮ２を評価するために使用され、電流出力は、モジュレータ４５１０によって、４（ｘ４）単位であるＤＩＮ２ビット位置に比例するパルス幅で変調され、第４の入力バイアスは、ＤＩＮ３を評価するために使用され、電流出力は、モジュレータ４５１０によって、８（ｘ８）単位であるＤＩＮ３ビット位置に比例するパルス幅で変調される。次いで、各出力は、デジタル入力ビットＤＩＮ０～ＤＩＮ３ごとにＡＤＣ（アナログ－デジタル変換器）４５１１によってデジタルビットに変換される。次いで、総出力は、ＤＩＮ０－３入力から生成された４つのデジタル出力の総和として加算器４５１２によって出力される。
【0206】
図４６は、検証動作中又は出力ニューロンのアナログ－デジタル変換中にＶＭＭ、Ｉｃｅｌｌの出力を合計して、ＶＭＭの出力を表す単一のアナログ値を得るために使用することができる電荷加算器４６００の例を示しており、単一のアナログ値は、次いで任意選択的にデジタルビット値に変換することができる。電荷加算器４６００は、例えば、加算器４５１２として使用され得る。電荷加算器４６００は、電流源４６０１（ここでは、ＶＭＭによって出力された電流Ｉｃｅｌｌを表す）と、スイッチ４６０２及びサンプルアンドホールド（Ｓ／Ｈ）コンデンサ４６０３を含むサンプルアンドホールド回路と、を含む。示される例は、出力のための４ビットのデジタル値を利用するが、代わりに他の数のビットを使用することができる。４つの評価パルスから生成された値を保持するための４つのＳ／Ｈ回路が存在し、これらの値はプロセスの終了時に合計される。Ｓ／Ｈコンデンサ４６０３は、そのＳ／Ｈコンデンサの２＾ｎ*ＤＩＮｎビット位置に関連付けられる比率で選択される。例えば、Ｃ＿ＤＩＮ３のスイッチ４６０２は、Ｉｃｅｌｌ＞８×電流スレッショルドの時に閉じられ、Ｃ＿ＤＩＮ２のスイッチ４６０２は、Ｉｃｅｌｌ＞４×電流スレッショルドの時に閉じられ、Ｃ＿ＤＩＮ１のスイッチ４６０２は、Ｉｃｅｌｌ＞２×電流スレッショルドの時に閉じられ、Ｃ＿ＤＩＮ０のスイッチ４６０２は、Ｉｃｅｌｌ＞電流スレッショルドの時に閉じられる。したがって、サンプルアンドホールドコンデンサ４６０３によって記憶されたデジタル値は、Ｉｃｅｌｌ４６０１の値を反映する。
【0207】
図４７は、検証動作中又は出力ニューロンのアナログ－デジタル変換中にＶＭＭ、Ｉｃｅｌｌの出力を合計するために使用することができる電流加算器４７００を示す。電荷加算器４７００は、例えば、加算器４５１２として使用され得る。電流加算器４７００は、電流源４７０１（ここではＶＭＭから出力されたＩｃｅｌｌを表す）、スイッチ４７０２、スイッチ４７０３、及び４７０４、並びにトランジスタ４７０５を含む。示される例は、出力の４ビットのデジタル値を利用し、ビット値は、電流Ｉ＿ＤＩＮ０、Ｉ＿ＤＩＮ１、Ｉ＿ＤＩＮ２、及びＩ＿ＤＩＮ３によって表される。各トランジスタ４７０５のビット位置は、そのビットによって表される値に影響を与える。Ｉ＿ＤＩＮ３のスイッチ４７０３は、Ｉｃｅｌｌ＞８×電流スレッショルドの時に閉じられ、Ｉ＿ＤＩＮ２のスイッチ４７０３は、Ｉｃｅｌｌ＞４×電流スレッショルドの時に閉じられ、Ｉ＿ＤＩＮ１のスイッチ４７０４は、Ｉｃｅｌｌ＞２×電流スレッショルドの時に閉じられ、Ｉ＿ＤＩＮ０のスイッチ４７０３は、Ｉｃｅｌｌ＞電流スレッショルドの時に閉じられる。したがって、トランジスタ４７０５（「１」が正の電流によって表され、「０」が電流なしで表され、又は逆もまた同様）によって出力されるデジタル値は、Ｉｃｅｌｌ４６０１の値を反映する。
【0208】
図４８は、複数のデジタル値を受信し、それらを一緒に合計し、入力の和を表す出力ＤＯＵＴを生成する、デジタル加算器４８００を示す。デジタル加算器４６００は、例えば、加算器４５１２として使用され得る。デジタル加算器４８００は、検証動作中又は出力ニューロンのアナログ－デジタル変換中に使用され得る。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するためのデジタル出力ビットが存在し、これらの値はプロセスの終了時に合計される。デジタル出力は、２＾ｎ*ＤＩＮｎビット位置に基づいてデジタルスケーリングされ、例えば、ＤＯＵＴ３＝ｘ８ ＤＯＵＴ０、＿ＤＯＵＴ２＝ｘ４ ＤＯＵＴ１、Ｉ＿ＤＯＵＴ１＝ｘ２ ＤＯＵＴ０、Ｉ＿ＤＯＵＴ０＝ＤＯＵＴ０である。
【0209】
図４９Ａは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用される二重傾斜積分型ＡＤＣ ４９００を示す。積分オペアンプ４９０１及び積分コンデンサ４９０２からなる積分器は、基準電流ＩＲＥＦに対してセル電流ＩＣＥＬＬを積分する。図４９Ｂに示されるように、固定時間ｔ１の間、スイッチＳ１は閉じられ、スイッチＳ２が開いており、セル電流はアップ積分され（Ｖｏｕｔは波形４９５０で上昇し）、スイッチＳ１は開かれ、スイッチＳ２は閉じられ、その結果、基準電流ＩＲＥＦは、時間ｔ２にダウン積分されるように印加される（Ｖｏｕｔは波形４９５０で下降する）。電流Ｉｃｅｌｌの値は、＝ｔ２／ｔ１*ＩＲＥＦとして決定される。例えば、ｔ１に対して、１０ビットのデジタルビット解像度では、１０２４サイクルが使用され、ｔ２に対するサイクル数は、Ｉｃｅｌｌ値に応じて０～１０２４サイクルに変化する。標的値がＶＲＥＦとしてコンパレータ４９０４に適用されると、コンパレータ４９０４の出力ＥＣ４９０５は、ＶＯＵＴがＶＲＥＦを下回るまでＩＲＥＦを適用したサイクル数を決定するためのトリガとして使用され得る。
【0210】
図４９Ｃは、セル電流をデジタル出力ビットに変換するために出力ニューロン４９６６、ＩＣＥＬＬに適用される単一傾斜積分型ＡＤＣ４９６０を示す。ＡＤＣ４９６０は、積分オペアンプ４９６１、積分コンデンサ４９６２、オペアンプ４９６４、並びにスイッチＳ１及びＳ３を含む。積分オペアンプ４９６１及び積分コンデンサ４９６２は、出力ニューロン電流、ＩＣＥＬＬを積分する。図４９Ｄに示されるように、時間ｔ１の間、セル電流は、アップ積分され（ＶｏｕｔはＶｒｅｆ２に達するまで上昇し）、時間ｔ１と同時に始まるが、時間ｔ１よりも大きい時間ｔ２の間、基準セルのセル電流は、アップ積分される。セル電流ＩＣＥＬＬは、＝Ｃｉｎｔ＊Ｖｒｅｆ２／ｔとして決定される。コンパレータ４９６５の出力に結合されたパルスカウンタは、それぞれの積分時間ｔ１、ｔ２中のパルスの数（デジタル出力ビット）をカウントするために使用される。例えば、図示されるように、ｔ１に対するデジタル出力ビットは、ｔ２のデジタル出力ビットよりも少なく、これは、ｔ１の間のセル電流がｔ２中のセル電流よりも大きいことを意味する。初期較正は、積分コンデンサ値を基準電流及び固定時間で較正するために行われ、Ｃｉｎｔ＝Ｔｒｅｆ＊Ｉｒｅｆ／Ｖｒｅｆ２である。
【0211】
図４９Ｅは、セル電流をデジタル出力ビットに変換するために出力ニューロン４９８４、ＩＣＥＬＬに適用される二重傾斜積分型ＡＤＣ４９８０を示す。二重傾斜積分型ＡＤＣ４９８０は、スイッチＳ１、Ｓ２、及びＳ３、オペアンプ４９８１、コンデンサ４９８２、並びに基準電流源４９８３を含む。二重傾斜積分型ＡＤＣ ４９８０は、積分オペアンプを利用しない。セル電流又は基準電流は、コンデンサ４９８２で直接積分される。パルスカウンタは、積分時間の間のパルス（デジタル出力ビット）をカウントするために使用される。電流Ｉｃｅｌｌは、＝ｔ２／ｔ１*ＩＲＥＦである。
【0212】
図４９Ｆは、セル電流をデジタル出力ビットに変換するために出力ニューロン４９９４、ＩＣＥＬＬに適用される単一傾斜積分型ＡＤＣ４９９０を示す。単一傾斜積分型ＡＤＣ４９９０は、スイッチＳ２及びＳ３、オペアンプ４９９１、並びにコンデンサ４９９２を含む。単一傾斜積分型ＡＤＣ ４９８０は、積分オペアンプを利用しない。セル電流は、コンデンサ４９９２で直接積分される。パルスカウンタは、積分時間の間のパルス（デジタル出力ビット）をカウントするために使用される。セル電流Ｉｃｅｌｌ＝Ｃｉｎｔ*Ｖｒｅｆ２／ｔである。
【0213】
図５０Ａは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用されるＳＡＲ（逐次比較型）ＡＤＣを示す。セル電流は、抵抗器を通して降下させて、電圧ＶＣＥＬＬに変換することができる。代替的に、セル電流は、Ｓ／Ｈコンデンサをチャージアップして、セル電流を電圧ＶＣＥＬＬに変換することができる。ＶＣＥＬＬは、コンパレータ５００３の反転入力に提供され、その出力はＳＡＲ５００１の選択入力に供給される。クロック入力ＣＬＫは、ＳＡＲ５００１に更に提供される。ＭＳＢビット（最上位ビット）から始まるビットを計算するために、二分探索が使用される。ＳＡＲ５００１から出力され、ＤＡＣ５００２への入力として受信されるデジタルビットＤＮ－Ｄ０に基づいて、ＤＡＣ５００２の出力は、コンパレータ５００３の非反転入力、すなわち、コンパレータ５００３に適切なアナログ基準電圧を設定するために使用される。コンパレータ５００３の出力は、次のアナログレベルを選択するために、ＳＡＲ５００１に順番にフィードバックされる。図５０Ｂに示されるように、４ビットのデジタル出力ビットの例では、４つの評価期間が存在し、限定することなく、アナログレベルを中間に設定することによってＤＯＵＴ３を評価するための第１のパルス、次いで、アナログレベルを上半分の中間又は下半分の中間に設定することによってＤＯＵＴ２を評価するための第２のパルスがある。
【0214】
サイクリック型（アルゴリズム型）ＡＤＣなどの修正された二分探索は、セル調整（例えば、プログラミング）検証又は出力ニューロン変換に使用され得る。スイッチトキャップ（ＳＣ）電荷再分配ＡＤＣなどの修正された二分探索（Modified Binary Search）は、セル調整（例えば、プログラミング）検証又は出力ニューロン変換に使用され得る。
【0215】
図５１は、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用されるシグマデルタ型ＡＤＣ ５１００を示す。オペアンプ５１０１及びコンデンサ５１０５からなる積分器は、選択されたセル電流５１０６からの電流ＩＣＥＬＬと、１ビット電流ｃＤＡＣ５１０４からもたらされる基準電流ＩＲＥＦとの総和を積分する。コンパレータ５１０２は、基準電圧、ＶＲＥＦ２に対してオペアンプ５１０１の積分された出力電圧を比較する。クロックドＤＦＦ５１０３は、ＤＦＦ５１０３のＤ入力で受信されるコンパレータ５１０２の出力に応じてデジタル出力ストリームを提供する。デジタル出力ストリームは、典型的には、デジタル出力ビットとして出力される前にデジタルフィルタに進む。
【0216】
図５２Ａは、電流源５２０１（受け取られたニューロン電流ＩＣＥＬＬを表す）と、スイッチ５２０２と、可変構成可能コンデンサ５２０３と、コンパレータ５２０４であって、可変構成可能コンデンサ５２０３をはさんで生じるＶｎｅｕと表示された電圧を非反転入力として受け取り、構成可能基準電圧Ｖｒｅｆｒａｍｐを反転入力として受け取り、出力Ｃｏｕｔを生成する、コンパレータ５２０４と、を含む、ランプ型アナログ－デジタル変換器５２００を示す。Ｖｒｅｆｒａｍｐは、比較クロックサイクルごとに離散的なレベルでランプアップされる。コンパレータ５２０４は、ＶｎｅｕをＶｒｅｆｒａｍｐと比較し、結果として、出力ＣｏｕｔはＶｎｅｕ＞Ｖｒｅｆｒａｍｐの時に「１」となり、そうでなければ「０」となる。このように、出力Ｃｏｕｔは、Ｉｎｅｕに応答して幅が変化するパルスとなる。Ｉｎｅｕが大きいほどＣｏｕｔが「１」となる期間は長くなり、その結果、出力Ｃｏｕｔのパルス幅は広くなる。デジタルカウンタ５２２０は、それぞれＯＴ１Ａ及びＯＴ２Ａと印された２つの異なるＩＣＥＬＬ電流について、図５２Ｂに示すように出力Ｃｏｕｔのパルス５２２の各パルスをデジタル出力ビットであるカウント値５２２１に変換する。
【0217】
代替的に、ランプ電圧Ｖｒｅｆｒａｍｐは、図５２Ｂのグラフ５２５０に示される連続ランプ電圧５２５５である。
【0218】
代替的に、粗－微細ランプ変換アルゴリズムを利用することによって変換時間を短縮するための、複数ランプの実施形態を図５２Ｃに示す。まず、粗基準ランプ基準電圧５２７１を、各ＩＣＥＬＬの部分範囲を求めるために高速でランプさせる。次に、部分範囲ごとの微細基準ランプ基準電圧５２７２、すなわちＶｒｅｆｒａｍｐ１及びＶｒｅｆｒａｍｐ２をそれぞれ使用して、それぞれの部分範囲内のＩＣＥＬＬ電流を変換する。図示のように、微細基準ランプ電圧の２つの部分範囲が存在する。２つ以上の粗／微細ステップ又は２つの部分範囲が可能である。
【0219】
図５３は、スイッチ５３０１、スイッチ５３０２、サンプルアンドホールド（Ｓ／Ｈ）回路５３０３、１ビットアナログ－デジタル変換器（ＡＤＣ）５３０４、１ビットデジタル－アナログ変換器（ＤＡＣ）５３０５、加算器５３０６、及び２残差演算増幅器（２ｘオペアンプ）５３０７のゲインを含む、アルゴリズム型アナログ－デジタル出力変換器５３００を示す。アルゴリズム型アナログ－デジタル出力変換器５３００は、アナログ入力Ｖｉｎ並びにスイッチ５３０２及び５３０２に適用される制御信号に応答して、変換デジタル出力５３０８を生成する。アナログ入力Ｖｉｎで受信された入力（例えば、図５２のＶｎｅｕ）は、スイッチ５３０２に応答してＳ／Ｈ回路５３０３で最初にサンプリングされ、次いでＮビットに対してＮクロックサイクルで変換が実行される。各変換クロックサイクルに対して、１ビットＡＤＣ５３０４は、Ｓ／Ｈ電圧５３０９を基準電圧ＶＲＥＦ／２と比較し、デジタルビット（例えば、入力≦ＶＲＥＦ／２の場合は「０」、入力＞ＶＲＥＦ／２の場合は「１」）を出力する。デジタル出力信号５３０８であるこのデジタル出力ビットは、次に、１ビットＤＡＣ５３０５によってアナログ電圧（例えば、ＶＲＥＦ／２又は０Ｖのいずれか）に変換され、加算器５３０６に供給されてＳ／Ｈ電圧５３０９から減算される。次いで、２×残差オペアンプ５３０７は、加算器差電圧出力を増幅して変換残差電圧５３１０とし、変換残差電圧５３１０は、次のクロックサイクルのためにスイッチ５３０１を介してＳ／Ｈ回路５３０３に供給される。この１ビット（すなわち、２レベル）アルゴリズム型ＡＤＣの代わりに、１．５ビット（すなわち、３レベル）アルゴリズム型ＡＤＣを使用して、ＡＤＣ５３０４及び残差オペアンプ５３０７などからのオフセットの影響を低減することができる。１．５ビットアルゴリズム型ＡＤＣと共に使用するためには、１．５ビット又は２ビット（すなわち、４レベル）ＤＡＣが好ましい。
別の実施形態では、ハイブリッド型ＡＤＣを使用することができる。例えば、９ビットのＡＤＣについて、最初の４ビットはＳＡＲ ＡＤＣによって生成され得、残りの５ビットは、傾斜型ＡＤＣ又はランプ型ＡＤＣを使用して生成され得る。
［単一論理マルチビットセルとしての複数の物理セルのプログラミング及び検証］
別の実施形態では、ハイブリッド型ＡＤＣを使用することができる。例えば、９ビットのＡＤＣについて、最初の４ビットはＳＡＲ ＡＤＣによって生成され得、残りの５ビットは、傾斜型ＡＤＣ又はランプ型ＡＤＣを使用して生成され得る。
［単一論理マルチビットセルとしての複数の物理セルのプログラミング及び検証］
【0220】
上述のプログラミング及び検証デバイス及び方法は、論理マルチビットセルとして複数の物理セルと同時に動作することができる。
【0221】
図５４は、物理セル５４０１－１、５４０１－２、．．．、５４０１－ｉとラベル付けされたｉ個の物理セルを含む論理マルチビットセル５４００を示す。一実施形態では、物理セル５４０１は、均一な拡散幅（トランジスタ幅）を有する。別の実施形態では、物理セル５４０１は、不均一な拡散幅（異なるトランジスタ幅、より大きな幅を有するトランジスタは、より多くのレベルを記憶することができ、したがってより多くのビット数を記憶することができる）を有する。両方の実施形態では、物理セル５４０１は、単位として、具体的には、ｍビットセルの各々よりも多くのレベルを記憶することができる単一の論理ｎビットセルとしてプログラムされ、検証され、読み出される。例えば、ｍ＝２の場合、各物理セル５４０１は、４つのレベル（Ｌ０、Ｌ１、Ｌ２、Ｌ３）のうちの１つを保持することができる。２つのそのようなセルは、ｎ＝３で単一の論理セルとして処理することができ、その結果、単一の論理セルは、８つのレベル（Ｌ０、Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７）のうちの１つを保持することができる。別の例として、ｍ＝３の場合、各物理セル５４０１は、８レベル（Ｌ０、．．．、Ｌ７）のうちの１つを保持することができる。４つのそのようなセルは、ｎ＝５で単一の論理セルとして処理することができ、その結果、単一の論理セルは、３２レベル（Ｌ０、．．．、Ｌ３１）のうちの１つを保持することができる。
【0222】
図５５は、プログラミング論理マルチビットセル５４００の方法５５００を示す。第１に、ｉ個の物理セル５４０１－１、．．．、５４０１－ｉのうちのｊ個（式中、ｊ≦ｉ）は、ｊ個の物理セルの粗電流標的が達成されるまで、粗プログラミング方法３３０５のうちのいずれかを使用して、プログラム、検証される（ステップ５５０１）。次に、ｊ個の物理セルのうちのｋ個（式中、ｋ≦ｊ）は、精密電流標的が、ｋ個の物理セルが達成されるまで、精密プログラミング方法３３０６のうちのいずれかを使用して、プログラム、検証される（ステップ５５０２）。
【0223】
方法５５００は、ｉ個の物理セル５４０１－１、．．．５４０１－ｉのうちの１つを超えるサブセットで実行され、論理マルチビットセル５４００の所望の全体レベルを達成することができる。
【0224】
例えば、ｉ＝４である場合、４つのセル、５４０１－１、５４０１－２、５４０１－３、及び５４０１－４が存在する。各セルが８個の異なるレベルのうちの１つを保持することができると仮定する場合、論理マルチビットセル５４００は、３２個の異なるレベルのうちの１つを保持することができる。所望のプログラミング値がＬ２７である場合、そのレベル（所望の読み出し電流に対応する）は、任意の数の異なる方法で達成することができる。
【0225】
例えば、方法５５００は、それらのセルが集合的にＬ２３（２４番目のレベル）を保持するまで、セル５４０１－１、５４０１－２、及び５４０１－３で実行することができ、次いで、方法５５００は、セル５４０１－４で実行されて、論理マルチビットセル５４００がＬ２７（２８番目のレベル）を達成するように、そのセルを４番目のレベルにプログラムする。
【0226】
別の例として、方法５５００は、それらのセルが集合的にＬ２５（２６番目のレベル）を保持するまで、セル５４０１－１、５４０１－２、５４０１－３、及び５４０１－４ で実行することができ、次いで、方法５５００は、論理マルチビットセル５４００の全体がＬ２７（２８番目のレベル）を達成する値を記憶するまで、セル５４０１－４でのみ実行することができる。
【0227】
他のアプローチが可能であり、所望のレベルが達成されるまで、ｉ個の物理セルの異なるサブセットで、方法５５００を実行することができる。
【0228】
別の実施形態では、ｉ個の物理セルが、不均一な拡散幅を有する状況において、粗プログラミングステップ３３０５は、ｊ１個の物理セルが、集合的に粗電流標的を達成するまで、より広いトランジスタ幅を有するｊ１個の物理セルで実行することができ、次いで、精密プログラミングステップ３３０６は、ｊ１＋ｊ２個の物理セルが、集合的に精密電流標的を達成するまで、最も小さいトランジスタ幅を有するｊ２個の物理セルで実行することができる。
【0229】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「の上に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「の上に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板の上に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33A】
【図33B】
【図34】
【図35】
【図36A】
【図36B】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49A】
【図49B】
【図49C】
【図49D】
【図49E】
【図49F】
【図50A】
【図50B】
【図51】
【図52A】
【図52B】
【図52C】
【図53】
【図54】
【図55】