▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特許7153802深層学習人工ニューラルネットワークのアナログニューラルメモリにおいて不揮発性メモリセルのプログラミング動作中に格納された値を検証するためのアルゴリズム及び回路
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-05
(45)【発行日】2022-10-14
(54)【発明の名称】深層学習人工ニューラルネットワークのアナログニューラルメモリにおいて不揮発性メモリセルのプログラミング動作中に格納された値を検証するためのアルゴリズム及び回路
(51)【国際特許分類】
G11C 11/56 20060101AFI20221006BHJP
G11C 11/54 20060101ALI20221006BHJP
G11C 16/34 20060101ALI20221006BHJP
【ＦＩ】
G11C11/56 210
G11C11/54
G11C16/34 140
【請求項の数】
16
(21)【出願番号】P 2021544167
(86)(22)【出願日】2019-09-07
(65)【公表番号】
(43)【公表日】2022-04-21
(86)【国際出願番号】 US2019050119
(87)【国際公開番号】W WO2020159583
(87)【国際公開日】2020-08-06
【審査請求日】2021-10-27
(31)【優先権主張番号】16/360,955
(32)【優先日】2019-03-21
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/798,394
(32)【優先日】2019-01-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー、バン
(72)【発明者】
【氏名】ブー、サン
(72)【発明者】
【氏名】トリン、ステファン
(72)【発明者】
【氏名】ホン、スタンレー
(72)【発明者】
【氏名】リ、アン
【審査官】後藤 彰
(56)【参考文献】
【文献】特表２０１１－５０５６４９（ＪＰ，Ａ）
【文献】特開平２－１５４９７（ＪＰ，Ａ）
【文献】特開平８－２９７９８４（ＪＰ，Ａ）
【文献】国際公開第２０１７／２００８８３（ＷＯ，Ａ１）
【文献】特開２０００－１１６７４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１１Ｃ １６／３４
Ｇ１１Ｃ １１／５４
Ｇ１１Ｃ １１／５６
(57)【特許請求の範囲】
【請求項1】
格納された重みを複数のデジタル出力ビットに変換することによる、不揮発性メモリセルのマルチレベルプログラミング動作に続いて前記不揮発性メモリセル内の前記格納された重みを検証するためのニューラルネットワーク用の検証方法であって、前記不揮発性メモリセルの出力を単一の基準線における基準値と比較し、前記メモリセルの出力が前記基準値より大きい場合には、第１の値のデジタル出力ビットを生成し、前記メモリセルの出力が前記基準値より小さい場合には、第２の値のデジタル出力ビットを生成するステップと、
残りのデジタル出力ビットのそれぞれを生成するために前記比較するステップを繰り返すステップであって、基準値は、前記先行する比較するステップの前記デジタル出力ビットに基づいて選択される、繰り返すステップと、を含む、検証方法。
【請求項2】
前記不揮発性メモリセルの前記出力は、前記格納された重みから変換された電流又は電圧である、請求項１に記載の検証方法。
【請求項3】
実行された最初の比較するステップは、前記複数のデジタル出力ビットの最上位ビットを生成する、請求項１に記載の検証方法。
【請求項4】
実行された最後の比較するステップは、前記複数のデジタル出力ビットの最下位ビットを生成する、請求項１に記載の検証方法。
【請求項5】
前記不揮発性メモリセルは、積層ゲートメモリセルである、請求項１に記載の検証方法。
【請求項6】
前記不揮発性メモリセルは、スプリットゲートメモリセルである、請求項１に記載の検証方法。
【請求項7】
格納された重みを複数のデジタル出力ビットに変換することによる、ニューラルネットワーク用の、不揮発性メモリセルのマルチレベルプログラミング動作に続いて前記不揮発性メモリセル内の前記格納された重みを検証するための検証方法であって、前記不揮発性メモリセルの出力を基準値と比較し、前記不揮発性メモリセルの出力が前記基準値を超える場合には、第１の値の第１のデジタル出力ビットを生成し、前記不揮発性メモリセルの出力が前記基準値より小さい場合には、第２の値の第１のデジタル出力ビットを生成するステップと、
前記メモリセルの出力を、前記第１のデジタル出力ビットが第１の値を有する場合には第２の基準値と、前記第１のデジタル出力ビットが第２の値を有する場合には第３の基準値と比較し、
前記不揮発性メモリセルの出力が前記第２の基準値より大きい場合には、第１の値の第２のデジタル出力ビットを生成し、格納された電圧が前記第２の基準値より小さい場合には、第２の値の第２のデジタル出力ビットを生成することと、
前記不揮発性メモリセルの出力が前記第３の基準値より大きい場合には、第１の値の第２のデジタル出力ビットを生成し、前記不揮発性メモリセルの出力が前記第３の基準値より小さい場合には、第２の値の第２のデジタル出力ビットを生成することと、のうちの１つを実行するステップと、を含む、検証方法。
【請求項8】
前記メモリセルの前記出力は、前記格納された重みから変換された電流又は電圧である、請求項７に記載の検証方法。
【請求項9】
実行された最初の比較するステップは、前記複数のデジタル出力ビットの最上位ビットを生成する、請求項７に記載の検証方法。
【請求項10】
前記不揮発性メモリセルは、積層ゲートメモリセルである、請求項７に記載の検証方法。
【請求項11】
前記不揮発性メモリセルは、スプリットゲートメモリセルである、請求項７に記載の検証方法。
【請求項12】
ニューラルネットワーク用の不揮発性メモリセルのプログラミング動作に続いて検証動作中に使用する調整可能な基準電流源であって、入力電圧を提供するための調整可能な電流源と、
前記入力電圧及び制御信号を受け取り、出力電流を生成するためのデバイスのアレイであって、前記制御信号は、温度計コード方式で前記デバイスのアレイ内の１つ以上のデバイスを作動させる、デバイスのアレイと、
前記出力電流を受け取り、基準電圧を生成するためのバッファミラーと、を含み、
前記基準電圧は、前記調整可能な電流源及び前記制御信号に応じて変化する、調整可能な基準電流源。
【請求項13】
前記バッファミラーは、ミラーバイアス電圧を駆動する演算増幅器を含む、請求項１２に記載の調整可能な基準電流源。
【請求項14】
前記デバイスのアレイ内の各デバイスは、第１のＮＭＯＳトランジスタ及び第２のＮＭＯＳトランジスタを含み、前記第１のＮＭＯＳトランジスタのソースは、前記第２のＮＭＯＳトランジスタのドレインに結合される、請求項１２に記載の調整可能な基準電流源。
【請求項15】
前記不揮発性メモリセルは、スプリットゲートメモリセルである、請求項１２に記載の調整可能な基準電流源。
【請求項16】
前記不揮発性メモリセルは、積層ゲートメモリセルである、請求項１２に記載の調整可能な基準電流源。【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０１９年１月２９日に出願された「Ｐｒｅｃｉｓｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｃｉｒｃｕｉｔ Ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国仮特許出願第６２／７９８，３９４号、及び２０１９年３月２１日に出願された「Ａｌｇｏｒｉｔｈｍｓ Ａｎｄ Ｃｉｒｃｕｉｔｒｙ Ｆｏｒ Ｖｅｒｉｆｙｉｎｇ Ａ Ｖａｌｕｅ Ｓｔｏｒｅｄ Ｄｕｒｉｎｇ Ａ Ｐｒｏｇｒａｍｍｉｎｇ Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｎｏｎ－ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ Ｃｅｌｌ Ｉｎ Ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／３６０，９５５号に対する優先権を主張するものである。
本出願は、２０１９年１月２９日に出願された「Ｐｒｅｃｉｓｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｃｉｒｃｕｉｔ Ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国仮特許出願第６２／７９８，３９４号、及び２０１９年３月２１日に出願された「Ａｌｇｏｒｉｔｈｍｓ Ａｎｄ Ｃｉｒｃｕｉｔｒｙ Ｆｏｒ Ｖｅｒｉｆｙｉｎｇ Ａ Ｖａｌｕｅ Ｓｔｏｒｅｄ Ｄｕｒｉｎｇ Ａ Ｐｒｏｇｒａｍｍｉｎｇ Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｎｏｎ－ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ Ｃｅｌｌ Ｉｎ Ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／３６０，９５５号に対する優先権を主張するものである。
【0002】
（発明の分野）
アナログニューラルメモリにおいてプログラミング動作中に不揮発性メモリセルに格納された値を検証するための多数の検証アルゴリズム及び回路が開示される。
アナログニューラルメモリにおいてプログラミング動作中に不揮発性メモリセルに格納された値を検証するための多数の検証アルゴリズム及び回路が開示される。
【背景技術】
【0003】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信したデータに基づいて個々に又は合わせて決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用ＧＰＵ（グラフィックプロセッシングユニット）クラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、多数のニューロン及びシナプスが必要になると、ほとんどのＣＭＯＳ実装シナプスは、嵩張りすぎて扱いにくかった。
【0006】
出願人は以前に、米国特許出願公開第２０１７／０３３７４６６号として公開された、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、１つ以上の不揮発性メモリアレイをシナプスとして利用する人工（アナログ）ニューラルネットワークを開示した。前記不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受信して、それから第１の複数の出力を生成するように構成された第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。前記第１の複数のシナプスは複数のメモリセルを含み、各メモリセルは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。前記複数のメモリセルのそれぞれは、浮遊ゲートの多くの電子に対応する重み値を格納するように構成される。複数のメモリセルは、第１の複数の入力に、格納された重み値を乗算して第１の複数の出力を生成するように構成される。
【0007】
アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に特異的かつ正確な量で保持しなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
【0008】
選択されたセルの浮遊ゲートは、各浮動ゲートが異なるＮ個の値のうちの１つを保持することができるように、非常に特異的かつ正確な量の電荷を保持するようにプログラムされることが必要になるので、ＶＭＭシステムにおける１つの課題は、ＶＭＭのメモリセルを正確にプログラムする能力である。関連する課題は、プログラムされた値が、意図した値の許容範囲内にあることを検証する能力である。
【0009】
プログラミング動作中に不揮発性メモリセルに格納された値の精度を検証するための改善された検証アルゴリズム及び回路が必要とされている。
【発明の概要】
【0010】
格納された重みを複数のデジタル出力ビットに変換することによる、不揮発性メモリセルのマルチレベルプログラミング動作に続いてニューラルネットワークの不揮発性メモリセル内の格納された重みを検証するための様々なアルゴリズムが開示される。調整可能な基準電流源など、アルゴリズムを実装するための回路が開示される。
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】
【0050】
【0051】
【0052】
【0053】
【0054】
【0055】
【0056】
【0057】
【0058】
【0059】
【0060】
【0061】
【0062】
【0063】
【0064】
【0065】
【0066】
【0067】
【図面の簡単な説明】
【0068】
【図1】先行技術の人工ニューラルネットワークを示す図である。
【図2】先行技術のスプリットゲート型フラッシュメモリセルを示す。
【図3】別の先行技術のスプリットゲート型フラッシュメモリセルを示す。
【図4】別の先行技術のスプリットゲート型フラッシュメモリセルを示す。
【図5】別の先行技術のスプリットゲート型フラッシュメモリセルを示す。
【図6】別の先行技術のスプリットゲート型フラッシュメモリセルを示す。
【図7】先行技術の積層ゲート型フラッシュメモリセルを示す。
【図8】１つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの各レベルを示す図である。
【図9】ベクトル行列乗算システムを示すブロック図である。
【図10】１つ以上のベクトル行列乗算システムを利用する例示的な人工ニューラルネットワークを示すブロック図である。
【図11】ベクトル行列乗算システムの別の実施形態を示す。
【図12】ベクトル行列乗算システムの別の実施形態を示す。
【図13】ベクトル行列乗算システムの別の実施形態を示す。
【図14】ベクトル行列乗算システムの別の実施形態を示す。
【図15】ベクトル行列乗算システムの別の実施形態を示す。
【図16】先行技術の長・短期メモリシステムを示す。
【図17】長・短期メモリシステムで使用する例示的なセルを示す。
【図20】先行技術のゲート付き回帰型ユニットシステムを示す。
【図21】ゲート付き回帰型ユニットシステムで使用する例示的なセルを示す。
【図24】ベクトル行列乗算システムの別の実施形態を示す。
【図25】ベクトル行列乗算システムの別の実施形態を示す。
【図26】ベクトル行列乗算システムの別の実施形態を示す。
【図27】ベクトル行列乗算システムの別の実施形態を示す。
【図28】ベクトル行列乗算システムの別の実施形態を示す。
【図29】ベクトル行列乗算システムの別の実施形態を示す。
【図30】ベクトル行列乗算システムの別の実施形態を示す。
【図31】ベクトル行列乗算システムの別の実施形態を示す。
【図32】ＶＭＭシステムを示す。
【図33】アナログニューロメモリシステムを示す。
【図34】ベクトル乗算器行列システムと共に使用するための高電圧生成ブロックを示す。
【図35】チャージポンプ及びチャージポンプ調整回路を示す。
【図36】電流補償回路を有する高電圧生成ブロックを示す。
【図37】電流補償回路を有する別の高電圧生成ブロックを示す。
【図38】別の高電圧生成ブロックを示す。
【図39】電流補償を提供するためのダミービット線を示す。
【図40】高電圧デコーダを示す。
【図41】高電圧試験回路を示す。
【図42】高電圧生成ブロックを示す。
【図43】別の高電圧生成ブロックを示す。
【図44】別の高電圧生成ブロックを示す。
【図45】高電圧演算増幅器を示す。
【図46】別の高電圧演算増幅器を示す。
【図47】適応高電圧源を示す。
【図48】列ドライバを示す。
【図49】列検知増幅器を示す。
【図50】読み出し基準回路を示す。
【図51】別の読み出し基準回路を示す。
【図52】適応高電圧源を示す。
【図53】別の適応高電圧源を示す。
【図54】別の適応高電圧源を示す。
【図55】別の適応高電圧源を示す。
【図56】別の適応高電圧源を示す。
【図57】単一基準検証アルゴリズムを示す。
【図58】二重基準検証アルゴリズムを示す。
【図59】調整可能な基準電圧源を示す。
【発明を実施するための形態】
【0069】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
不揮発性メモリセル
【0070】
デジタル不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート型不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４とドレイン領域１６と、を含み、ソース領域１４とドレイン領域１６の間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に形成され、チャネル領域１８の第１の部分から絶縁され（チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方に形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁された（チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に向かって延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
【0071】
ワード線端子２２に高圧正電圧を印加することによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。
【0072】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を印加することによってプログラムされる（電子が浮遊ゲートに印加される）。電子電流は、ソース領域１４からドレイン領域１６に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部が、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
【0073】
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検出される。
【0074】
【0075】
図３は、制御ゲート（ＣＧ）２８を追加した、図２のメモリセル２１０と同様のメモリセル３１０を示す。制御ゲート２８は、プログラミング中に高電圧、例えば、１０Ｖに、消去中に低電圧又は負電圧、例えば、０ｖ／－８Ｖに、読み出し中に低電圧又は中点電圧、例えば、０ｖ／２．５Ｖにバイアスされる。他の端子は、図２の端子と同様にバイアスされる。
【0076】
図４は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル４１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
【0077】
【0078】
図５は、メモリセル５１０を示しており、メモリセル５１０が消去ゲートを含まないことを除いて、図４のメモリセル４１０と同様である。消去は、基板１８を高電圧にバイアスし、制御ゲートＣＧ ２８を低電圧又は負電圧にバイアスすることによって実行される。あるいは、消去は、ワード線２２を正電圧にバイアスし、制御ゲート２８を負電圧にバイアスすることによって実行される。プログラミング及び読み出しは、図４のものと同様である。
【0079】
図６は、別の種類のフラッシュメモリセルである、３ゲートメモリセル６１０を示す。メモリセル６１０は、メモリセル６１０が別個の制御ゲートを有しないことを除いて、図４のメモリセル４１０と同一である。消去動作（消去ゲートの使用を通して消去が起こる）及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図４のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加されなければならない。
【0080】
【0081】
図７は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル７１０を示す。メモリセル７１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２（ここではワード線に結合される）が絶縁層（図示せず）によって分離された浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
【0082】
【0083】
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
【0084】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。これはつまり、セル格納がアナログであるか、又は多数の不連続値（１６又は６４の異なる値など）のうちの１つを最低限格納できることを意味し、これにより、メモリアレイ内の全てのセルが非常に正確に、かつ個別に調整可能となり、またメモリアレイは格納に対して理想的になり、ニューラルネットワークのシナプシスの重みに微調整が可能となる。
【0085】
本明細書に記載される方法及び手段は、限定することなく、ＳＯＮＯＳ（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（抵抗変化型メモリ）、ＰＣＭ（相変化メモリ）、ＭＲＡＭ（磁気抵抗メモリ）、ＦｅＲＡＭ（強誘電体メモリ）、ＯＴＰ（バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（強相関電子メモリ）などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、ＳＲＡＭ、ＤＲＡＭ、及び揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
不揮発性メモリセルアレイを使用するニューラルネットワーク
不揮発性メモリセルアレイを使用するニューラルネットワーク
【0086】
図８は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定実施例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実施することも可能である。
【0087】
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）はシナプスＣＢ１に提供され、そこでこれらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【0088】
本例では、層Ｃ１において、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、層Ｃ１は、２次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用された異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用された全てのスキャンに共有された第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
【0089】
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、それぞれ１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
【0090】
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。
【0091】
図９は、その目的のために使用可能なアレイのブロック図である。ベクトル行列乗算（Vector-by-matrix multiplication、ＶＭＭ）アレイ３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭアレイ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３２への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、不揮発性メモリセルアレイ３３の出力をデコードする。あるいは、ビット線デコーダ３６が、不揮発性メモリセルアレイ３３の出力をデコードすることができる。
【0092】
不揮発性メモリセルアレイ３３は、２つの目的を果たす。第１に、ＶＭＭアレイ３２によって使用される重みを格納する。第２に、不揮発性メモリセルアレイ３３は、不揮発性メモリセルアレイ３３に格納された重みによって、入力を有効に乗算して、それらを出力線（ソース線又はビット線）ごとに加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。不揮発性メモリセルアレイ３３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、メモリ内の計算により電力効率も良い。
【0093】
不揮発性メモリセルアレイ３３の出力は、不揮発性メモリセルアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動加算器（加算オペアンプ又は加算カレントミラーなど）３８に供給される。差動加算器３８は、正の重み及び負の重みの総和を実行するように配置される。
【0094】
差動加算器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド関数、ｔａｎｈ関数、ＲｅＬＵ関数、又は任意の他の非線形関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図８のＣ１）の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、不揮発性メモリセルアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）、加算器３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0095】
図９のＶＭＭアレイ３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、デジタルパルス（この場合、パルスを適切な入力アナログレベルに変換するためにパルスアナログ変換器ＰＡＣが必要とされ得る）又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが提供される）であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが提供される）であり得る。
【0096】
図１０は、図中でＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅとして標示されたＶＭＭアレイ３２の多数の層の使用を示すブロック図である。図１０に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタルアナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭアレイ３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭアレイ３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭアレイ３２ａへのマッピングされたアナログ入力に変換するために、アナログ－アナログ（Ａ／Ａ）変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力ＶＭＭアレイ３２ａへのマッピングされた１つ又は複数のデジタルパルスに変換するために、デジタル－デジタルパルス（Ｄ／Ｐ）変換器によって行うこともできる。
【0097】
入力ＶＭＭアレイ３２ａによって生成された出力は、次に、次のＶＭＭアレイ（隠しレベル１）３２ｂへの入力として提供され、次に入力ＶＭＭアレイ（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭアレイ３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。各ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはまた、そのアレイ又はニューロンの様々な部分について時分割多重化することもできる。図１０に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。
ベクトル行列乗算（ＶＭＭ）アレイ
ベクトル行列乗算（ＶＭＭ）アレイ
【0098】
図１１は、図３に示されるメモリセル３１０に特に適したニューロンＶＭＭアレイ１１００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０１と、不揮発性基準メモリセルの基準アレイ１１０２（アレイの頂部に位置する）と、を含む。あるいは、別の基準アレイが底部に位置することができる。
【0099】
ＶＭＭアレイ１１００では、制御ゲート線１１０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ１１０２が、制御ゲート線１１０３に直交する）、消去ゲート線１１０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ１１００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ１１００の出力はソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）に流れる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0100】
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ１１００の不揮発性メモリセル、すなわちＶＭＭアレイ１１００のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
【0101】
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
式中、ｗ＝ｅ(-Vth)/kVtである。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
式中、ｗ＝ｅ(-Vth)/kVtである。
【0102】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0103】
ベクトル行列乗算器ＶＭＭアレイとして使用されたメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
【0104】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0105】
あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
【0106】
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
【0107】
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
【0108】
図９のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝α １／２ *β*（Ｖｇｓ－Ｖｔｈ）2；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）2
Ｉｄｓ＝α １／２ *β*（Ｖｇｓ－Ｖｔｈ）2；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）2
【0109】
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
【0110】
あるいは、本明細書に記載されるＶＭＭアレイのフラッシュメモリセルは、全ての領域又はそれら（サブスレッショルド領域、線形領域、又は飽和領域）の組み合わせで使用することができる。
【0111】
図１２は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１２００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。アレイの列方向に配置された基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１２１４（一部のみ示す）を通してダイオード接続される。基準セルは、標的基準レベルに調整（例えば、プログラム）される。標的基準レベルは、基準ミニアレイ行列（図示せず）によって提供される。
【0112】
メモリアレイ１２０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１２００により使用される重みを、それぞれのメモリセルに格納する。第２に、メモリアレイ１２０３は、メモリセルアレイ１２０３に格納された重みによって、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１２０１及び１２０２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）を有効に乗算し、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）に出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ１２０３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にビット線ＢＬ０～ＢＬＮそれぞれに現れる。各々のビット線ＢＬ０～ＢＬＮに流れる電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
【0113】
表５は、ＶＭＭアレイ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表５：図１２のＶＭＭアレイ１２００の動作
表５：図１２のＶＭＭアレイ１２００の動作
【表5】
【0114】
図１３は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１３００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を含む。基準アレイ１３０１及び１３０２は、ＶＭＭアレイ１３００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１３００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線に流れる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0115】
表６は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表６：図１３のＶＭＭアレイ１３００の動作
表６：図１３のＶＭＭアレイ１３００の動作
【表6】
【0116】
図１４は、図３に示されるメモリセル３１０に特に適したニューロンＶＭＭアレイ１４００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭアレイ１４００は、不揮発性メモリセルのメモリアレイ１４０３と、第１の不揮発性基準メモリセルの基準アレイ１４０１と、第２の不揮発性基準メモリセルの基準アレイ１４０２と、を含む。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１４１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１４１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）での一定電圧を確実にするために、それぞれのマルチプレクサ１４０５及びカスコーディングトランジスタ１４０４を各々含む。基準セルは、標的基準レベルに調整される。
【0117】
メモリアレイ１４０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１４００によって使用される重みを格納する。第２に、メモリアレイ１４０３は、メモリアレイに格納された重みによって、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）を有効に乗算し、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに出現し、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線に流れる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0118】
ＶＭＭアレイ１４００は、メモリアレイ１４０３内の不揮発性メモリセルの一方向調整を実施する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲートにおける所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに格納されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲートにおける所望の電荷に達するまで部分的にプログラムされる。
【0119】
表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表７：図１４のＶＭＭアレイ１４００の動作
表７：図１４のＶＭＭアレイ１４００の動作
【表7】
【0120】
図１５は、図３に示されるメモリセル３１０に特に適したニューロンＶＭＭアレイ１５００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、基準アレイ１５０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１５０２とを含む。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１５００は、ＶＭＭアレイ１５００が双方向調整を実装することを除いてＶＭＭアレイ１４００と同様であり、個々のセルは、個別のＥＧ線の使用により、浮遊ゲートにおける所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３の入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１５１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【0121】
表８は、ＶＭＭアレイ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表８：図１５のＶＭＭアレイ１５００の動作
表８：図１５のＶＭＭアレイ１５００の動作
【表8】
【0122】
図２４は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ２４００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。ＶＭＭアレイ２４００では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNがそれぞれビット線ＢＬ0、．．．、ＢＬNに受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4がそれぞれソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3に生成される。
【0123】
図２５は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ２５００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3がそれぞれソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3に受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNがビット線ＢＬ0、．．．、ＢＬNに生成される。
【0124】
図２６は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ２６００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMがそれぞれワード線ＷＬ0、．．．、ＷＬMに受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNがビット線ＢＬ0、．．．、ＢＬNに生成される。
【0125】
図２７は、図３に示されるメモリセル３１０に特に適したニューロンＶＭＭアレイ２７００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMがそれぞれワード線ＷＬ0、．．．、ＷＬMに受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNがビット線ＢＬ0、．．．、ＢＬNに生成される。
【0126】
図２８は、図４に示されるメモリセル４１０に特に適したニューロンＶＭＭアレイ２８００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnがそれぞれ制御ゲート線ＣＧ0、．．．、ＣＧNに受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
【0127】
図２９は、図４に示されるメモリセル４１０に特に適したニューロンＶＭＭアレイ２９００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNがそれぞれビット線制御ゲートのゲート２９０１－１、２９０１－２、．．．、２９０１－（Ｎ－１）、及び２９０１－Ｎに受信され、これらはそれぞれビット線ＢＬ0、．．．、ＢＬNに結合される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
【0128】
図３０は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適したニューロンＶＭＭアレイ３０００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMがワード線ＷＬ0、．．．、ＷＬMに受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNがそれぞれビット線ＢＬ0、．．．、ＢＬNに生成される。
【0129】
図３１は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適したニューロンＶＭＭアレイ３１００を示し、入力層と次の層との間のシナプス及びニューロンの一部として利用される。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMが制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNがそれぞれソース線ＳＬ0、．．．、ＳＬNに生成され、各ソース線ＳＬiは、列ｉの全てのメモリセルのソース線端子に結合される。
【0130】
図３２は、ＶＭＭシステム３２００を示す。ＶＭＭシステム３２００は、ＶＭＭアレイ３２０１（ＶＭＭ９００、１０００、１１００、１２００、及び１３２０、又は他のＶＭＭ設計など、前述したＶＭＭ設計のいずれかに基づくことができる）、低電圧行デコーダ３２０２、高電圧行デコーダ３２０３、基準セル低電圧列デコーダ３２０４（列方向に示されており、これは入力から出力への変換を行方向に提供することを意味する）、ビット線マルチプレクサ３２０５、制御論理３２０６、アナログ回路３２０７、ニューロン出力ブロック３２０８、入力ＶＭＭ回路ブロック３２０９、プレデコーダ３２１０、試験回路３２１１、消去－プログラム制御論理ＥＰＣＴＬ ３２１２、アナログ及び高電圧生成回路３２１３、ビット線ＰＥドライバ３２１４、冗長アレイ３２１５及び３２１６、ＮＶＲセクタ３２１７、並びに基準セクタ３２１８を含む。入力回路ブロック３２０９は、外部入力からメモリアレイの入力端子へのインターフェースとして機能する。ニューロン出力ブロック３２０８は、メモリアレイ出力から外部インターフェースへのインターフェースとして機能する。
【0131】
低電圧行デコーダ３２０２は、読み出し動作及びプログラム動作のためのバイアス電圧を提供し、高電圧行デコーダ３２０３のためのデコード信号を提供する。高電圧行デコーダ３２０３は、プログラム動作及び消去動作のための高電圧バイアス信号を提供する。任意選択の基準セル低電圧列デコーダ３２０４は、基準セルのためのデコード機能を提供する。ビット線ＰＥドライバ３２１４は、プログラム動作、検証動作、及び消去動作中のビット線のための制御機能を提供する。アナログ及び高電圧生成回路３２１３は、様々なプログラム、消去、プログラム検証、及び読み出し動作に必要な複数の電圧を提供する共有バイアスブロックである。任意選択の冗長アレイ３２１５及び３２１６は、欠陥のあるアレイ部分を置き換えるためのアレイ冗長性を提供する。任意選択のＮＶＲ（情報セクタとしても知られる不揮発性レジスタ）セクタ３２１７は、ユーザ情報、デバイスＩＤ、パスワード、セキュリティキー、トリムビット、構成ビット、製造情報を、これらに限定することなく、格納するために使用されるアレイセクタであるセクタである。
【0132】
図３３は、アナログニューロメモリシステム３３００を示す。アナログニューロメモリシステム３３００は、マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、３３０１ｆ、３３０１ｇ、及び３３０１ｈと、ニューロン出力（加算器回路及びサンプルアンドホールドＳ／Ｈ回路など）ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈと、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０４ｈとを含む。マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、及び３３０１ｆのそれぞれは、ＶＭＭアレイを含むＶＭＭサブシステムである。ニューロメモリサブシステム３３３３は、マクロブロック３３０１、入力ブロック３３０３、及びニューロン出力ブロック３３０２を含む。ニューロメモリサブシステム３３３３は、独自のデジタル制御ブロックを有してもよい。
【0133】
アナログニューロメモリシステム３３００は、システム制御ブロック３３０４、アナログ低電圧ブロック３３０５、及び高電圧ブロック３３０６を更に含む。
システム制御ブロック３３０４は、一般的な制御機能及び演算動作を処理するためのＡＲＭ／ＭＩＰＳ／ＲＩＳＣ＿Ｖコアなどのマイクロコントローラコアを含んでもよい。システム制御ブロック３３０４はまた、単一の命令で複数のデータを演算するためのＳＩＭＤ（単一命令複数データ）ユニットを含んでもよい。これは、ＤＳＰコアを含んでもよい。これは、限定することなく、プーリング、平均化、最小、最大、ソフト最大、加算、減算、乗算、除算、対数、逆対数、ＲｅＬｕ、シグモイド、ｔａｎｈ、データ圧縮などの機能を実行するためのハードウェア又はソフトウェアを含んでもよい。これは、活性化近似器／量子化器／正規化器などの機能を実行するためのハードウェア又はソフトウェアを含んでもよい。これは、入力データ近似器／量子化器／正規化器などの機能を実行する能力を含んでもよい。これは、活性化近似器／量子化器／正規化器の機能を実行するためのハードウェア又はソフトウェアを含んでもよい。ニューロメモリサブシステム３３３３の制御ブロックは、マイクロコントローラコア、ＳＩＭＤコア、ＤＳＰコア、及び他の機能ユニットなど、システム制御ブロック３３０４の類似した要素を含んでもよい。
システム制御ブロック３３０４は、一般的な制御機能及び演算動作を処理するためのＡＲＭ／ＭＩＰＳ／ＲＩＳＣ＿Ｖコアなどのマイクロコントローラコアを含んでもよい。システム制御ブロック３３０４はまた、単一の命令で複数のデータを演算するためのＳＩＭＤ（単一命令複数データ）ユニットを含んでもよい。これは、ＤＳＰコアを含んでもよい。これは、限定することなく、プーリング、平均化、最小、最大、ソフト最大、加算、減算、乗算、除算、対数、逆対数、ＲｅＬｕ、シグモイド、ｔａｎｈ、データ圧縮などの機能を実行するためのハードウェア又はソフトウェアを含んでもよい。これは、活性化近似器／量子化器／正規化器などの機能を実行するためのハードウェア又はソフトウェアを含んでもよい。これは、入力データ近似器／量子化器／正規化器などの機能を実行する能力を含んでもよい。これは、活性化近似器／量子化器／正規化器の機能を実行するためのハードウェア又はソフトウェアを含んでもよい。ニューロメモリサブシステム３３３３の制御ブロックは、マイクロコントローラコア、ＳＩＭＤコア、ＤＳＰコア、及び他の機能ユニットなど、システム制御ブロック３３０４の類似した要素を含んでもよい。
【0134】
一実施形態では、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈはそれぞれ、構成可能な長い相互接続を駆動できる低インピーダンス出力型バッファ（例えば、オペアンプ）回路を含む。一実施形態では、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈはそれぞれ、加算の高インピーダンス電流出力を提供する。別の実施形態では、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈはそれぞれ活性化回路を含み、この場合、出力を駆動するために追加の低インピーダンスバッファが必要とされる。
【0135】
別の実施形態では、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈはそれぞれ、アナログ信号の代わりにデジタルビットを出力するアナログデジタル変換ブロックを含む。この実施形態では、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈはそれぞれ、対応のニューロン出力ブロックからデジタルビットを受信し、デジタルビットをアナログ信号に変換するデジタルアナログ変換ブロックを含む。
【0136】
したがって、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈは、マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、及び３３０１ｆから出力電流を受け取り、任意選択的に、その出力電流をアナログ電圧、デジタルビット、又は各パルスの幅若しくはパルスの数が出力電流の値に応じて変化する１つ以上のデジタルパルスに変換する。同様に、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈは、任意選択的に、アナログ電流、アナログ電圧、デジタルビット、又は各パルスの幅若しくはパルスの数が出力電流の値に応じて変化するデジタルパルスを受け取り、マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、及び３３０１ｆにアナログ電流を提供する。入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈは、任意選択的に、電圧電流変換器、入力信号内のデジタルパルスの数若しくは入力信号内のデジタルパルスの幅を計数するためのアナログ若しくはデジタルカウンタ、又はデジタルアナログ変換器を含む。
長・短期メモリ
長・短期メモリ
【0137】
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調整する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
【0138】
図１６は、例示的なＬＳＴＭ１６００を示す。この例におけるＬＳＴＭ１６００は、セル１６０１、１６０２、１６０３、及び１６０４を含む。セル１６０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１６０２は、入力ベクトルｘ1と、セル１６０１からの出力ベクトル（隠れ状態）ｈ0と、セル１６０１からのセル状態ｃ0とを受け取り、出力ベクトルｈ1とセル状態ベクトルｃ1とを生成する。セル１６０３は、入力ベクトルｘ2と、セル１６０２からの出力ベクトル（隠れ状態）ｈ1と、セル１６０２からのセル状態ｃ1とを受け取り、出力ベクトルｈ2とセル状態ベクトルｃ2とを生成する。セル１６０４は、入力ベクトルｘ3と、セル１６０３からの出力ベクトル（隠れ状態）ｈ2と、セル１６０３からのセル状態ｃ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
【0139】
図１７は、図１６のセル１６０１、１６０２、１６０３、及び１６０４に使用可能なＬＳＴＭセル１７００の例示的な実装を示す。ＬＳＴＭセル１７００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）とを受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
【0140】
ＬＳＴＭセル１７００は、シグモイド関数デバイス１７０１、１７０２、及び１７０３を含み、各々が０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１７００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１７０４及び１７０５と、２つのベクトルを乗算するための乗算器デバイス１７０６、１７０７、及び１７０８と、２つのベクトルを加算するための加算デバイス１７０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができ、又は他の目的でアクセスすることができる。
【0141】
図１８は、ＬＳＴＭセル１７００の一実装例であるＬＳＴＭセル１８００を示す。読者の便宜のために、ＬＳＴＭセル１７００からの同じ採番方法が、ＬＳＴＭセル１８００で使用される。シグモイド関数デバイス１７０１、１７０２、及び１７０３、並びにｔａｎｈデバイス１７０４は各々、複数のＶＭＭアレイ１８０１及び活性化回路ブロック１８０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが理解できる。乗算器デバイス１７０６、１７０７、及び１７０８、並びに加算デバイス１７０９は、デジタル方式で、又はアナログ方式で実装される。活性化関数ブロック１８０２は、デジタル方式で、又はアナログ方式で実装することができる。
【0142】
ＬＳＴＭセル１８００の代替例（及びＬＳＴＭセル１７００の実装の別の例）を図１９に示す。図１９では、シグモイド関数デバイス１７０１、１７０２、及び１７０３、並びにｔａｎｈデバイス１７０４は、同じ物理ハードウェア（ＶＭＭアレイ１９０１及び活性化関数ブロック１９０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１９００はまた、２つのベクトルを乗算するための乗算器デバイス１９０３と、２つのベクトルを加算するための加算デバイス１９０８と、（活性化回路ブロック１９０２を含む）ｔａｎｈデバイス１７０５と、シグモイド関数ブロック１９０２から出力される値ｉ（ｔ）を格納するレジスタ１９０７と、乗算器デバイス１９０３からマルチプレクサ１９１０を介して出力される値ｆ（ｔ）*ｃ（ｔ－１）を格納するレジスタ１９０４と、乗算器デバイス１９０３からマルチプレクサ１９１０を介して出力される値ｉ（ｔ）*ｕ（ｔ）を格納するレジスタ１９０５と、乗算器デバイス１９０３からマルチプレクサ１９１０を介して出力される値ｏ（ｔ）*ｃ～（ｔ）を格納するレジスタ１９０６と、マルチプレクサ１９０９とを含む。
【0143】
ＬＳＴＭセル１８００がＶＭＭアレイ１８０１と対応の活性化関数ブロック１８０２との複数のセットを含むのに対し、ＬＳＴＭセル１９００は、ＬＳＴＭセル１９００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ１９０１と活性化関数ブロック１９０２との１つのセットのみ含む。ＬＳＴＭセル１９００は、ＬＳＴＭセル１８００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭセル１９００は、ＬＳＴＭ１８００よりも必要とするスペースが少ない。
【0144】
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供された機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
ゲート付き回帰型ユニット
ゲート付き回帰型ユニット
【0145】
アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
【0146】
図２０は、例示的なＧＲＵ２０００を示す。この例におけるＧＲＵ２０００は、セル２００１、２００２、２００３、及び２００４を含む。セル２００１は入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル２００２は、入力ベクトルｘ1と、セル２００１からの出力ベクトルｈ0とを受け取り、出力ベクトルｈ1を生成する。セル２００３は、入力ベクトルｘ2と、セル２００２からの出力ベクトル（隠れ状態）ｈ1とを受け取り、出力ベクトルｈ2を生成する。セル２００４は、入力ベクトルｘ3と、セル２００３からの出力ベクトル（隠れ状態）ｈ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
【0147】
図２１は、図２０のセル２００１、２００２、２００３、及び２００４に使用可能なＧＲＵセル２１００の例示的な実装を示す。ＧＲＵセル２１００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）とを受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル２１００は、シグモイド関数デバイス２１０１及び２１０２を含み、各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル２１００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス２１０３と、２つのベクトルを乗算するための乗算器デバイス２１０４、２１０５、及び２１０６と、２つのベクトルを加算するための加算デバイス２１０７と、１から入力を減算して出力を生成するコンプリメンタリデバイス２１０８とを含む。
【0148】
図２２は、ＧＲＵセル２１００の一実装例であるＧＲＵセル２２００を示す。読者の便宜のために、ＧＲＵセル２１００からの同じ採番方法が、ＧＲＵセル２２００で使用される。図２２から分かるように、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は各々、複数のＶＭＭアレイ２２０１及び活性化関数ブロック２２０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが理解できる。乗算器デバイス２１０４、２１０５、２１０６、加算デバイス２１０７、及びコンプリメンタリデバイス２１０８は、デジタル方式で、又はアナログ方式で実装される。活性化関数ブロック２２０２は、デジタル方式で、又はアナログ方式で実装することができる。
【0149】
ＧＲＵセル２２００の代替例（及びＧＲＵセル２３００の実装の別の例）を図２３に示す。図２３において、ＧＲＵセル２３００は、ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２を使用しており、シグモイド関数として構成された場合には、０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図２３では、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は、同じ物理ハードウェア（ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２）を、時分割多重化された方式で共有する。ＧＲＵセル２３００はまた、２つのベクトルを乗算するための乗算器デバイス２３０３と、２つのベクトルを加算するための加算デバイス２３０５と、１から入力を減算して出力を生成するためのコンプリメンタリデバイス２３０９と、マルチプレクサ２３０４と、乗算器デバイス２３０３からマルチプレクサ２３０４を介して出力される値ｈ（ｔ－１）*ｒ（ｔ）を保持するレジスタ２３０６と、乗算器デバイス２３０３からマルチプレクサ２３０４を介して出力される値ｈ（ｔ－１）*ｚ（ｔ）を保持するレジスタ２３０７と、乗算器デバイス２３０３からマルチプレクサ２３０４を介して出力される値ｈ＾（ｔ）*（１－ｚ（（ｔ））を保持するレジスタ２３０８と、を含む。
【0150】
ＧＲＵセル２２００がＶＭＭアレイ２２０１と活性化関数ブロック２２０２との複数のセットを含むのに対し、ＧＲＵセル２３００は、ＧＲＵセル２３００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ２３０１と活性化関数ブロック２３０２との１つのセットのみを含む。ＧＲＵセル２３００は、ＧＲＵセル２２００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２３００は、ＧＲＵセル２２００よりも必要とするスペースが少ない。
【0151】
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供された機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
【0152】
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力はアナログレベル、バイナリレベル、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
【0153】
ＶＭＭアレイ内の各メモリセルに関して、各重みｗは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差分セルの場合では、重みｗを差分重み（ｗ＝ｗ＋－ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みｗを実装するために２つのメモリセルが必要とされる。
高電圧生成回路及び他の回路
高電圧生成回路及び他の回路
【0154】
図３４は、ＶＭＭシステム３４００のブロック図を示す。ＶＭＭシステム３４００は、ＶＭＭアレイ３４０８、行デコーダ３４０７、高電圧デコーダ３４０９、列デコーダ３４１０、及びビット線ドライバ３４１１を含む。ＶＭＭシステム３４００は、チャージポンプ３４０１、チャージポンプ調整器３４０２、及び高電圧レベル生成器３４０３を含む高電圧生成ブロック３４１２を更に含む。ＶＭＭシステム３４００は、アルゴリズムコントローラ３４０４、アナログ回路３４０５、及び制御論理３４０６を更に含む。
【0155】
図３５は、チャージポンプ３４０１及びチャージポンプ調整器３４０２に関する更なる詳細を提供する。チャージポンプ３４０１は、イネーブル信号３５０１によって制御される。イネーブル信号３５０１がアサートされないとき、チャージポンプ３４０１は、その出力の電圧を増加させ続ける。イネーブル信号３５０１がアサートされるとき、チャージポンプ３４０１は、その出力の電圧レベルを維持する。チャージポンプ調整器３４０２は、ダイオード３５０４、３５０６、及び３５０８の直列接続と、ダイオード３５０４、３５０６、及び３５０８のそれぞれ１つのカソードにそれぞれ結合された、抵抗器３５０５、３５０７、及び３５０９とを含む、分圧器構造を備える。その構造内の分圧電圧ノードは、電圧基準を含む別の入力を受け取るコンパレータ３５０３に入力される。チャージポンプ３４０１からの電圧出力が、ダイオード３５０４、３５０６、及び３５０８を作動させ、それにより電流が流れるのに十分であるとき、分圧電圧ノードからの電圧が電圧基準を超えると、イネーブル信号がアサートされる。したがって、チャージポンプ調整器３４０２は、ダイオード３５０４、３５０６、及び３５０８並びに抵抗器３５０５、３５０７、及び３５０９の特性に基づく所望の電圧レベルが達成されるまでチャージポンプ３４０１を制御する。分圧器構造の例として３つのダイオード及び３つの抵抗器が示されているが、典型的には４つ以上が必要とされる。あるいは、ダイオード及び抵抗器の代わりにコンデンサを実装して、コンパレータ３５０３への入力を提供するための所望の電圧比を生成することができる。あるいは、適切な比率のコンデンサをダイオード及び抵抗器と並列に接続して、分圧器構造の応答を加速させることができる。
【0156】
図３６は、ＶＭＭシステム３４００の一実施形態であるＶＭＭシステム３６００を示す。ＶＭＭシステム３６００は、高電圧バッファ３６０１及び調整可能な電流シンク３６０２を含む。高電圧生成ブロック３４１２は、高電圧バッファ３６０１に提供される電圧を生成し、これは次に、その電圧を高電圧デコーダ３４０９及び調整可能な電流シンク（プログラム補償電流Ｉｃｏｍｐ）３６０２に提供する。調整可能な電流シンク３６０２によって高電圧バッファ３６０１から引き込まれる電流Ｉｃｏｍｐは、例えば、プログラムされるメモリセルの数を補償するために、高電圧バッファ３６０１内に補償された電圧ドロップ（例えば、プログラムされる１／２／．．．／３２ＩＯに対してｄＶｏｕｔ１／２／．．／３２ドロップ）を誘発するように、かつ高電圧バッファ３６０１の温度を低下させるように調整することができる。例えば、Ｉｃｏｍｐ＝（プログラムされるメモリセルの数）*Ｉｐｒｏｇ*Ｍであり、式中、Ｉｐｒｏｇ＝セルプログラミング電流であり、Ｍ＝プログラミング動作中のメモリセルのホットキャリア効果による乗数である。補償Ｉｃｏｍｐは、変動する出力負荷にわたって一定の高電圧出力を維持するために適用される。
【0157】
図３７は、高電圧バッファ３７０１及び調整可能な電流シンク３７０２と共に使用されるＶＭＭシステム３７００の一実施形態を示す。高電圧生成器３４１２は、高電圧バッファ３７０１に提供される電圧を生成し、これは次に、その電圧を高電圧デコーダ３４０９に提供する。調整可能な電流シンクによって高電圧デコーダ３４０９から引き込まれる電流（補償電流）Ｉｃｏｍｐ ３７０２は、例えば、高電圧デコーダ３４０９内の電流ドロップを（プログラムされるメモリセルの数の関数として）低減するように、かつ／又は高電圧デコーダ３４０９の温度を低下させるように調整することができる。例えば、Ｉｃｏｍｐ＝（プログラムされるメモリセルの数）*Ｉｐｒｏｇ*Ｍ。Ｉｐｒｏｇ＝セルプログラミング電流、Ｍ＝プログラミング動作中のメモリセルのホットキャリア効果による乗数である。補償Ｉｃｏｍｐは、変動する出力負荷にわたって一定の高電圧出力を維持するために適用される。
【0158】
図３８は、ここで演算増幅器である高電圧バッファ３８０１と共に使用されるＶＭＭシステム３８００を示す。高電圧生成器３４１２は、高電圧バッファ３８０１に提供される電圧を生成し、これは次に、その電圧を高電圧デコーダ３４０９に提供する。高電圧デコーダ３４０９からの出力（例えば、出力はデコーダ内のＨＶ電圧のフィードバックインジケータである）は、高電圧バッファ３８０１への入力として提供され、次いで、高電圧バッファ３８０１は、閉ループ演算増幅器として動作する。閉ループ補償は、変動する出力負荷にわたって一定の高電圧出力を維持するために適用される。
【0159】
図３９は、ＶＭＭシステム２４００、２６００、２７００、又は２８００と共に、例えば、各ＶＭＭシステム内のＶＭＭアレイへの追加として使用されるプログラム電流補償ブロック３９００を示す。ここで、ダミープログラムビット線（プログラム可能ダミーアレイ）には、３２ビット線の各グループが提供されている。例えば、グループ３９０１はダミービット線３９０３を含み、グループ３９０２はダミービット線３９０４を含む。これらのダミービット線３９０３及び３９０４は、それぞれ、グループ３９０１及び３９０２内の１つ以上の他のビットがプログラムされていない場合にオンにする（ビット線プログラミング電流を提供する）ことができる。これにより、プログラミング動作中に引き込まれる電流が、ダミービット線３９０３及び３９０４を使用しない場合より一定に維持される。プログラムダミーアレイ補償スキームは、変動する出力負荷にわたって一定の高電圧出力を維持するために適用される。
【0160】
図４０は、高電圧デコーダ３４０９を実装するために使用することができる高電圧デコーダブロック４０００の例を示す。ここで、ソース線４００５は、ＶＭＭアレイ３４０８内の１つ又は２つの行に結合される。ＮＭＯＳトランジスタ４００１、４００２、４００３、及び４００４は、図示のようにソース線４００５に結合される。ＨＶ電源４０１０は、ＨＶバッファ３６０１、３７０１又は３８０１などから提供され、ＨＶ比較信号４０１１は、図３８に示されるものなどある。
【0161】
図４１は、試験回路４１００を示す。試験回路４１００は、イネーブル信号ＥＮを受信する、高電圧トランスミッタ４１０１を含む。高電圧トランスミッタは、ＮＭＯＳトランジスタ４１０２及びＮＭＯＳカスコードトランジスタ４１０３に高電圧イネーブル信号を提供する。ＮＭＯＳトランジスタ４１０２の一方の端子は外部試験パッドに接続し、ＮＭＯＳトランジスタ４１０３の一方の端子は、ＶＭＭシステム３４００内の内部ノードに結合される。この回路は、例えば、電圧較正プロセス中に使用することができる。
【0162】
図４２は、高電圧生成ブロック３４１２の一実施形態を示しており、ここでは、高電圧生成回路４２００、制御論理ブロック４２０１、アナログ回路ブロック４２０２、及び試験ブロック４２０３を含む。高電圧生成回路４２００は、チャージポンプ及び調整器４２０４と、高電圧インクリメンタ４２０５と、高電圧演算増幅器４２０６とを含む。高電圧インクリメンタ４２０５の出力の電圧は、以下で更に説明するように、高電圧インクリメンタ４２０５内のトランジスタに送信されたトリム信号に基づいて制御することができる。制御論理ブロック４２０１は、制御論理入力を受け取り、制御論理出力を生成する。アナログ回路ブロック４２０２は、基準電圧Ｖｒｅｆを受け取って、他の場所で使用されるようにバイアス信号ｉＢｉａｓを付与するために使用可能な電流を生成するための電流バイアス生成器４２０７を含む。アナログ回路ブロック４２０２はまた、トリムビットのセットＴＲＢＩＴ＿ＷＬを受け取って、各種動作中にワード線に印加する電圧を生成するための電圧生成器４２０８を含む。試験ブロック４２０３は、試験パッドＭＯＮＨＶ＿ＰＡＤで信号を受信し、試験中に監視するための様々な信号を出力する。
【0163】
図４３は、高電圧生成ブロック３４１２の別の実施形態を示す。ここで、高電圧生成ブロックは、チャージポンプ及び調整器４３０１と、高電圧（ＨＶ）インクリメンタ４３０３と、高電圧演算増幅器４３０２とを含む。高電圧インクリメンタ４３０３の出力の電圧は、高電圧インクリメンタ４３０３内のトランジスタのゲートに送信された信号に基づいて制御することができる。ＨＶインクリメンタ４３０３は、接地からチャージポンプ４３０１の出力まで直列に接続された抵抗器ストリング４３１５ｉから構成される。スイッチ４３１０ａ、４３１０ｂ、．．．、４３１０ｚのネットワークは、電圧レベルをストリングに沿って増分方式で多重化するために使用される。トランジスタのゲートは、高電圧レベルシフタ（ＨＶＬＳ）４３２０によって有効化／無効化され、ＨＶＬＳ４３２０は、デジタル制御入力によって有効化／無効化される。ＨＶＬＳ ４３２０は、デジタル電圧レベル、例えば、１Ｖを高電圧レベル、例えば、１２Ｖに変換するために使用される。例えば、抵抗器ストリング４３１５ｉは、１０ｍＶ（１つの抵抗器の両端電圧）の電圧増分で３Ｖ～１０Ｖの電圧レベルを提供する。したがって、抵抗器ストリングの出力ＶＨＶＲＯＵＴは、１０ｍＶの増分で３Ｖ～１０Ｖの値を有することになる。ＨＶ演算増幅器４３０２は、このＶＨＶＲＯＵＴ増分電圧をバッファするために使用される。最高電圧、例えば、１０Ｖにおいて必要とされるＨＶ電圧により、この値における、又はこの値に近いときのＰＭＯＳスイッチでは、絶縁破壊（ＢＶ）状態に近いことに関連した漏れが起こる。これは、小さい増分電圧（例えば、１０ｍＶ）の精度に影響を及ぼす。したがって、このＢＶ漏れを克服するための改善が必要とされる。まず、ＰＭＯＳスイッチの位置に従ってＨＶＬＳ回路の供給をタップする。例えば、４～６Ｖのストリング位置でのＰＭＯＳスイッチの場合、ＨＶＬＳの高供給は６Ｖである（より典型的な１２Ｖ供給の代わり）。更に、低供給は４Ｖとすることができる（より典型的な接地の値の代わり。これにより、この抵抗器ストリング位置でのＰＭＯＳスイッチ全体にわたって電圧ストレスが低減される。ＶＨＶＲＯＵＴに接続されたＰＭＯＳスイッチの場合、ＢＶストレスを回避するために、適応ＨＶバイアスと直列する２つが、それぞれの多重化経路を無効化するために必要とされ、例えば、ＰＭＯＳ ４３１０ｅ／４３１０ｆ及び４３１０ｙ／４３１０ｚが図示されている。ＰＭＯＳ ４３１０ｆ及び４３１０ｚは、多重化経路無効化のために使用される。例えば、ＰＭＯＳ ４３１０ｆ及び４３１０ｚのゲートは、高電圧、例えば、１０Ｖの多重化経路を無効化する１０Ｖである。オフ状態では、ＰＭＯＳ ４３１０ｅのゲートは、好ましくは、カスコーディングがＢＶ漏れを低減する約６Ｖであり、ＰＭＯＳ ４３１０ｆのゲートは１０Ｖである。オン状態では、ＰＭＯＳ ４３１０ｆのゲートは約６Ｖとすることができ、ＰＭＯＳ ４３１０ｆのゲートは、８Ｖ～１０Ｖ（例として）の多重化経路を対応のストリングからＶＨＶＲＯＵＴまで通すために＜６Ｖとすることができる。オフ状態では、ＰＭＯＳ ４３１０ｙのゲートは、カスコーディングがＢＶ漏れを低減する約６Ｖであり、ＰＭＯＳ ４３１０ｚのゲートは１０Ｖである。オン状態では、ＰＭＯＳ ４３１０ｙのゲートは０Ｖとすることができ、ＰＭＯＳ ４３１０ｚのゲートは、３Ｖ～５Ｖ（例として）の多重化経路をストリングからＶＨＶＲＯＵＴまで通すために０Ｖとすることができる。
【0164】
図４４は、高電圧生成ブロック３４１２の別の実施形態を示す。高電圧生成ブロック３４１２は、高電圧演算増幅器４４０３、ＳＣ（スイッチキャップ）ネットワーク４４０２、及びＳＣネットワーク４４０１を含む。ＳＣネットワーク４４０２は、調整可能なコンデンサ４４０４を含む。ＳＣネットワーク４４０１は、スイッチ４４０５、４４０７、４４０８、及び４４０９、並びに調整可能なコンデンサ４４０６を含む。ＳＣネットワーク４４０２用のコンデンサ４４０４を調整するために、ＨＶレベル、例えば、１０～１３Ｖで動作する高電圧レベルシフタ（ＨＶＬＳ）回路が必要とされ得る。ＳＣネットワーク４４０１には、ＩＯ電圧（例えば、１．８Ｖ、２．５Ｖ）又はコア電圧（例えば、１．２Ｖ）スイッチング回路が必要とされる。
【0165】
図４５は、図４４の高電圧演算増幅器４４０３に使用することができる高電圧演算増幅器４５００を示す。高電圧演算増幅器４５００は、示された構成要素を示された配置で含む。ＨＶカスコードバイアスノードＶＣＡＳＰ、ＶＣＡＳＮ１、及びＶＣＡＳＮ２は、トランジスタにわたる最大ストレス電圧ドロップを最小化するために電圧値が出力電圧ＶＯＵＴに依存するように適応的な方式で実装される。例えば、ノード電圧ＶＯＵＴが高であるとき、ＶＣＡＳＮ２は高であり、ＶＣＡＳＮ１は低である。
【0166】
図４６は、図４４の高電圧演算増幅器４４０３に使用することができる高電圧演算増幅器４６００を示す。高電圧演算増幅器４６００は、示された構成要素を示された配置で含む。ＨＶカスコードバイアスノードＶＣＡＳＮ２Ａ、及びＶＣＡＳＮ２Ｂは、トランジスタにわたる最大電圧ドロップを最小化するために電圧値が出力電圧ＶＯＵＴに依存するように実装される。例えば、ノード電圧ＶＯＵＴが高であるとき、ＶＣＡＳＮ１Ｂ及びＶＣＡＳ２Ｂは高である。
【0167】
【0168】
図４８は、ビット線ドライバ３４１１のそれぞれに使用することができる列ドライバ４８００を示す。列ドライバ４８００は、図示の構成では、ラッチ４８０１、インバータ４８０２、ＮＯＲゲート４８０３、ＰＭＯＳトランジスタ４８０４、ＮＭＯＳトランジスタ４８０５及び４８０６、並びに検知増幅器４８０７を備える。図示されているように、ＶＣＡＳＡレベルは、より高いレベルのＶＩＮを追跡し、具体的には、ＶＩＮ＋２*ＶＴ＿ＰＭＯＳにほぼ等しい。ＶＣＡＳＢレベルは、より低いレベルのＶＩＮを追跡し、具体的には、ＶＩＮ－Ｖ*ＶＴ＿ＮＭＯＳにほぼ等しい。異なるＭＯＳトランジスタ及び異なるＩ*Ｒ電圧ドロップ（電流経路への抵抗Ｒの挿入など）によって、他の値が可能である。
【0169】
図４９は、図４８の検知増幅器４８０７に使用することができる、検知増幅器４９００を示す。検知増幅器４９００は、図示の構成では、調整可能な電流基準源４９０１、スイッチ４９０２、ＮＭＯＳトランジスタ４９０３、コンデンサ４９０４、スイッチ４９０５、電流源４９０６、及びインバータ４９０７を含む。検知増幅器４９０７は、ＶＭＭアレイ３４０８内のメモリセル４９０８に結合される。
【0170】
図５０は、ビット線基準デコーダ５００１及び基準セル５００１0～５００２Nを含む基準アレイ回路５０００を示す。
【0171】
図５１は、ビット線基準デコーダ５１０１及び基準セル５１０２0～５１００Nを含む基準アレイ回路５１００を示す。
精密プログラミング回路及びアルゴリズム
精密プログラミング回路及びアルゴリズム
【0172】
図５２は、演算増幅器５２０１、抵抗器５２０３、及び可変抵抗器５２０２（低電圧ドメイン可変抵抗器であり得る）を含む、ＨＶ演算増幅器４４０３用の電圧を提供するための適応高電圧源５２００を示す。適応高電圧源５２００は入力ＶINを受け取り、高電圧信号ＨＶOUTを生成し、そのゲインは、抵抗トリム回路ネットワーク（図示せず）によって可変抵抗器５２０２の抵抗を調整することによって調整することができる。一実施形態では、抵抗器５２０３は低電圧ドメイン（例えば、１Ｖ又は１．８Ｖ）内にあり、低電圧デバイスを使用し、演算増幅器５２０１及び可変抵抗器５２０２はトリム回路ネットワークと共に高電圧ドメイン（例えば、１２Ｖ）内にあり、高電圧デバイスを使用する。次いで、ＨＶOUTは、不揮発性メモリセルをプログラムするために使用することができる。
【0173】
図５３は、演算増幅器５３０１、可変抵抗器５３０３、及び抵抗器５３０２を含む、ＨＶ演算増幅器３４０３用の電圧を提供するための適応高電圧源５３００を示す。適応高電圧源５３００は入力ＶINを受け取り、高電圧信号ＨＶOUTを生成し、そのゲインは、抵抗トリム回路ネットワーク（図示せず）によって可変抵抗器５３０３の抵抗を調整することによって調整することができる。一実施形態では、可変抵抗器５３０３及びトリム回路ネットワークは低電圧ドメイン（例えば、１Ｖ又は１．８Ｖ）内にあり、低電圧デバイスを使用し、演算増幅器５３０１及び抵抗器５３０２は高電圧ドメイン（例えば、１２Ｖ）内にあり、高電圧デバイスを使用する。次いで、ＨＶOUTは、不揮発性メモリセルをプログラムするために使用することができる。
【0174】
図５４は、演算増幅器５４０１、抵抗器５４０２、抵抗器５４０３、演算増幅器５４０４、及び調整可能な分圧器５４０５を含む、ＨＶ演算増幅器４４０３用の電圧を提供するための適応高電圧源５４００を示す。調整可能な分圧器５４０５は、電圧源ＶSを受け取り、抵抗器５４０８、及びｉセットの抵抗器５４０６ｉとスイッチ５４０７ｉを含む。演算増幅器５４０４の非反転端子の入力電圧でもあり、入力電圧ＶINでもある、調整可能な分圧器５４０５によって出力される電圧は、スイッチ５４０７ｉのどれが閉じているかに応じて変化する。入力ＶINに応じて、高電圧信号ＨＶOUTが生成される。ここで、ＶINの大きさは、調整可能な分圧器５４０５によって調整することができる。一実施形態では、調整可能な分圧器５４０５及び演算増幅器５４０４は低電圧ドメイン（例えば、１Ｖ又は１．８Ｖ）内にあり、低電圧デバイスを使用し、演算増幅器５４０１は高電圧ドメイン（例えば、１２Ｖ）内にあり、高電圧デバイスを使用する。次いで、ＨＶOUTは、不揮発性メモリセルをプログラムするために使用することができる。
【0175】
図５５は、調整可能な分圧器５５０５及び細かい抵抗器ＨＶネットワーク５５８０を含む、ＨＶ演算増幅器４４０３用の電圧を提供するための適応高電圧源５５００を示す。細かい抵抗器ＨＶネットワーク５５８０は、バッファ５５０１、バッファ５５０２、及びｊセットの抵抗器５５０４ｊとスイッチ５５０４ｊを含む調整可能な分圧器５５０３を含む。調整可能な分圧器５５０５は、電圧源ＶSを受け取り、抵抗器４４０８、及びｉセットの抵抗器５５０６ｉとスイッチネットワーク５５０７ｉを含む。調整可能な分圧器５５０５によって出力された電圧は、スイッチネットワーク５５０７ｉのスイッチのどれが閉じているかに応じて変化する。調整可能な分圧器５５０３は、高電圧ＨＶ＿ＣＯＡＲＳＥ １及びＨＶ＿ＣＯＡＲＳＥ ２を受け取る。高電圧ＨＶ＿ＣＯＡＲＳＥ １は更に、適応高電圧源５５００の第１の出力である。ＨＶ＿ＦＩＮＥである、調整可能な分圧器５５０３によって出力された電圧は、ＨＶ＿ＣＯＡＲＳＥ、及びスイッチネットワーク５５０４ｊのスイッチのどれが閉じているかに応じて変化する。ここで、ＨＶ＿ＣＯＡＲＳＥ１／２の大きさは、調整可能な分圧器５５０５内で閉じられるスイッチネットワーク５５０７ｉのスイッチを変えることによって調整することができる。ＨＶ＿ＦＩＮＥの大きさは、調整可能な分圧器５５０３内で閉じられるスイッチネットワーク５５０４ｊのスイッチを変えることによって調整することができる。数値例として、調整可能な分圧器５５０５は、１ステップ当たり２００ｍＶ（すなわち、電圧増分、１つの抵抗器５５０６の両端電圧）を提供することができ、ＨＶ＿ＣＯＡＲＳＥ １及びＨＶ＿ＣＯＡＲＳＥ ２の両端電圧は６００ｍＶであり、調整可能な分圧器５５０３は、１ステップ当たり５ｍＶ（すなわち、電圧増分、１つの抵抗器５５０４ｊの両端電圧）を提供することができる。これらの高電圧は、不揮発性メモリセルをプログラムするために使用することができる。
【0176】
図５６は、粗いＳＣ（スイッチキャップ）ネットワーク５６５０及び細かい抵抗器ＨＶネットワーク５６８０を含む、ＨＶ演算増幅器４４０３用の電圧を提供するための適応高電圧源５６００を示す。粗いＳＣネットワーク５６５０は、演算増幅器５６０１、ＳＣネットワーク５６０９、及びＳＣネットワーク５６０８を含む。ＳＣネットワーク５６０９は、静電容量ＣＦＢの調整可能なコンデンサ５６０２を含む。ＳＣネットワーク５６０８は、静電容量ＣＩＮの調整可能なコンデンサ５６０３と、スイッチ５６０４、５６０５、５６０６、及び５６０７とを含む。ここで、ＨＶOUT＝ＶIN
*（ＣＩＮ／ＣＦＢ）である。細かい抵抗器ＨＶネットワーク５６８０は、図５５のネットワーク５５８０と同様である。粗いＳＣネットワーク５６５０は、粗い調整可能なレベル、例えば、２００ｍＶのステップを提供し、細かい抵抗器ＨＶネットワーク５６８０は、細かいレベル、例えば、５ｍＶのステップを提供する。ＨＶOUTは、不揮発性メモリセルをプログラムするために使用することができる。
【0177】
図５２、図４３、図５２～図５６に示されるＨＶ演算増幅器５４０３用の適応ＨＶ源は、電力を出力電圧の関数として最適化するために使用される。ＶＨＶＯＰＡ＝ＶＯＵＴ＋ｄＶ、例えば、ＶＯＵＴ＝４Ｖ及びｄＶ＝２Ｖである場合、ＶＨＶＯＰＡ＝６Ｖである。基本的に、ＨＶＯＰＡ ４４０３は、最大ＨＶ電圧（例えば、１２Ｖ）を常に供給する必要はない。
【0178】
図５７は、ハードウェア実装を簡略化する１つの単一レベル基準のみを使用した修正ＳＡＲ（逐次比較）連続検証アルゴリズム５７００を示す。この図は、セル出力を、４つの入力デジタルビットに対して比較される４つの出力デジタルビットに変換するために使用される４ビット検証アルゴリズムを示す。最上位ビットＤＯＵＴ３は、基準線での中央基準値を適用し、セル出力を基準レベルに対して比較することによって、最初に変換される。次に、次の有効ビットＤＯＵＴ２が、上半分（すなわち、Ｌ８～Ｌ１５）での中央基準値を適用し、セル出力を中央基準レベルに対して比較し、次いで、下半分（すなわち、Ｌ７～Ｌ０）での中央基準値を適用し、セル出力を中央基準レベルに対して比較することによって、変換される。次のデジタルビットも、同様に変換される。このアプローチは、４ビットの出力に対して１５個の変換パルス（ステップ）を必要とする。セル出力は、メモリセル内の格納された重みから変換された電流又は電圧のいずれかである。
【0179】
図５８は、変換パルス数が半減している２つの基準線を使用した修正ＳＡＲ連続検証アルゴリズム５８００を示す。最上位ビットは、単一の基準線を使用して上記のように行われる。次の連続変換ステップは、２つの基準線を使用する。各基準線に対して、変換ステップは上記のものと同様である。このアプローチは、４ビットの出力に対して８個のステップを必要とする。
【0180】
上記の検証アルゴリズムは、ニューロン電流（ＶＭＭアレイからの出力電流）をデジタルビットに変換するために使用することができる。
【0181】
図５９は、不揮発性メモリセルのプログラム動作に続いて検証動作中に使用する調整可能な２Ｄ温度計コード基準電流源５９００を示す。２Ｄ温度計コード基準電流源５９００は、バッファミラー５９０１（演算増幅器５９０２及びＰＭＯＳトランジスタ５９０３を含む）、調整可能なバイアス源５９０４、及びデバイス５９０６のｉ行及びｊ列のアレイを含む２Ｄアレイ５９０５を含み、特定のデバイス５９０６は、ラベル５９０６－（行）（列）によって表記される。ここで、バッファミラー５９０１による基準電流出力の量を調整することができるように、デバイス５９０６の様々な組み合わせを作動させることができる。図示のように、２Ｄアレイ５９０５内に１６個の電流ミラー（デバイス５９０６）が存在する。調整可能な２Ｄ温度計コード基準電流源５９００は、基本的に、４つのデジタル入力コードを、バイアス源５９０４から提供されるＩｂｉａｓｕｎｉｔの１～１６倍の値を有する基準電流バイアスに変換する。これらは、例えば、図５８に示されるようなＶＭＭアレイ内のメモリセルの１６個のレベルに対応する。
【0182】
例えば、バイアス源５９０４は、デバイス５９０６にミラーリングされる、１ｎＡの電流Ｉｂｉａｓｕｎｉｔを提供することができる。ここで、第１の列は、デバイス５９０６－１１～５９０６－１ｊからなり、左から右に、一度に１つのデバイス５９０６が順次有効化される。次いで、次の行は、左から右に順次に有効化されて、第１の列に付け加えることができ、これは、５個、次いで６個、次いで７個、次いで８個のデバイス５９０６が有効化されることを意味する。したがって、デバイス５９０６を連続的に有効化することによって、従来のバイナリデコーディングに関連するトランジスタ不整合状況を回避することができる。次いで、有効化されたデバイス５９０６の合計は、バッファミラー５９０１によってミラーリングされ、調整可能な電流として出力され、これは、図３９の調整可能な電流基準源３９０１に使用され得る。バイアス源５９０４は、５０ｐＡ／１００ｐＡ／２００ｐＡ／．．／１００ｎＡなどのトリミング可能な範囲のユニットバイアスを提供することができる。図示の調整可能な４×４の２Ｄ温度計コード基準電流源５９００は、３２×３２又は８×３２などの任意の他の寸法であってもよい。
【0183】
図６０は、図５９のデバイス５９０６に使用することができる、基準分岐回路６０００を示す。基準分岐回路６０００は、図示されるように構成された、ＮＭＯＳトランジスタ６００１及び６００２を含む。トランジスタ６００２は、電流ミラーバイアストランジスタであり、トランジスタ６００１は、イネーブリングトランジスタ（バイアストランジスタ６００２が出力ノードＯＵＴＰＵＴに接続されることを可能にする）である。
【0184】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「の上に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板の上に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】