▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特許7329151人工ニューラルネットワーク内のアナログニューラルメモリにおけるデータドリフトを補償するための回路
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-08
(45)【発行日】2023-08-17
(54)【発明の名称】人工ニューラルネットワーク内のアナログニューラルメモリにおけるデータドリフトを補償するための回路
(51)【国際特許分類】
G11C 11/54 20060101AFI20230809BHJP
G06G 7/60 20060101ALI20230809BHJP
G06N 3/065 20230101ALI20230809BHJP
G11C 11/56 20060101ALI20230809BHJP
G11C 16/26 20060101ALI20230809BHJP
【ＦＩ】
G11C11/54
G06G7/60
G06N3/065
G11C11/56 220
G11C16/26 140
【請求項の数】
24
(21)【出願番号】P 2022540418
(86)(22)【出願日】2020-09-03
(65)【公表番号】
(43)【公表日】2023-03-09
(86)【国際出願番号】 US2020049235
(87)【国際公開番号】W WO2021137900
(87)【国際公開日】2021-07-08
【審査請求日】2022-08-25
(31)【優先権主張番号】62/957,013
(32)【優先日】2020-01-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/830,733
(32)【優先日】2020-03-26
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
(72)【発明者】
【氏名】レムケ、スティーブン
(72)【発明者】
【氏名】ティワリ、ビピン
(72)【発明者】
【氏名】ドー、ナン
(72)【発明者】
【氏名】レイテン、マーク
【審査官】後藤 彰
(56)【参考文献】
【文献】特開２００６－１１４０７８（ＪＰ，Ａ）
【文献】特開２００９－９６８８（ＪＰ，Ａ）
【文献】米国特許出願公開第２００３／０１２８５６７（ＵＳ，Ａ１）
【文献】特開２０１９－５３８１２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／０１２２６８４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１１Ｃ １１／５４
Ｇ０６Ｇ ７／６０
Ｇ０６Ｎ ３／０６５
Ｇ１１Ｃ １１／５６
Ｇ１１Ｃ １６／２６
(57)【特許請求の範囲】
【請求項1】
ベクトル行列乗算アレイにおける読み出し動作中にドリフト誤差を補償するための回路であって、前記回路が、データドリフトを示す出力を生成するために、前記アレイに結合されたデータドリフト監視回路と、
前記データドリフト監視回路からの前記出力に応答して補償電流を生成し、前記補償電流を前記アレイの１つ以上のビット線に注入するためのビット線補償回路と、を備える、回路。
【請求項2】
前記ビット線補償回路が、第１の調整可能な電流源及び第２の調整可能な電流源を備え、前記補償電流が、前記第１の調整可能な電流源によって生成された電流と、前記第２の調整可能な電流源によって生成された電流との間の差である、請求項１に記載の回路。
【請求項3】
前記ビット線補償回路が、演算増幅器、第１の調整可能な抵抗器、及び第２の調整可能な抵抗器を備える、請求項１に記載の回路。
【請求項4】
前記ビット線補償回路が、演算増幅器、電流源、及び調整可能なコンデンサを備える、請求項１に記載の回路。
【請求項5】
前記ビット線補償回路が、Ｍ：Ｎ電流ミラーを備える、請求項１に記載の回路。
【請求項6】
前記ビット線補償回路が、演算増幅器、第１の調整可能な抵抗器、第２の調整可能な抵抗器、及び第３の調整可能な抵抗器を備える、請求項１に記載の回路。
【請求項7】
前記ビット線補償回路が、演算増幅器、電流源、電流シフタ、及び調整可能なコンデンサを備える、請求項１に記載の回路。
【請求項8】
ベクトル行列乗算アレイにおける読み出し動作中にドリフト誤差を補償するための回路であって、前記回路が、補償電流を生成し、前記補償電流を前記アレイの１つ以上のビット線に注入してドリフト誤差を補償するためのビット線補償回路を備える、回路。
【請求項9】
前記ビット線補償回路が、加算的補償電流を備える、請求項８に記載の回路。
【請求項10】
前記ビット線補償回路が、減算的補償電流を含む、請求項８に記載の回路。
【請求項11】
前記ベクトル行列乗算アレイが、スプリットゲート不揮発性メモリセルから形成される、請求項８に記載の回路。
【請求項12】
ベクトル行列乗算アレイにおける読み出し動作中にドリフト誤差を補償するための回路であって、前記回路が、前記アレイの出力をスケーリングしてドリフト誤差を補償するためのビット線補償回路と、を備える、回路。
【請求項13】
前記ビット線補償回路が、前記出力をシフトさせる、請求項１２に記載の回路。
【請求項14】
前記スケーリングが、上方スケーリングを含む、請求項１２に記載の回路。
【請求項15】
前記スケーリングが、下方スケーリングを含む、請求項１２に記載の回路。
【請求項16】
前記スケーリングが、２つの抵抗器の比によって決定される、請求項１２に記載の回路。
【請求項17】
前記スケーリングが、２つのコンデンサの比によって決定される、請求項１２に記載の回路。
【請求項18】
前記ベクトル行列乗算アレイが、スプリットゲート不揮発性メモリセルから形成される、請求項１２に記載の回路。
【請求項19】
ベクトル行列乗算アレイにおける読み出し動作中にドリフト誤差を補償するための回路であって、前記回路が、前記アレイの出力をシフトしてドリフト誤差を補償するためのビット線補償回路、を備える、回路。
【請求項20】
前記ベクトル行列乗算アレイが、スプリットゲート不揮発性メモリセルから形成される、請求項１９に記載の回路。
【請求項21】
前記ベクトル行列乗算アレイ内の１つ以上のセルが、ファウラーノルドハイムトンネリングを使用してプログラムされている、請求項１９に記載の回路。
【請求項22】
前記ベクトル行列乗算アレイ内の１つ以上のセルが、ファウラーノルドハイムトンネリングを使用してプログラムされている、請求項２０に記載の回路。
【請求項23】
ベクトル行列乗算アレイにおける読み出し動作中にドリフト誤差を補償する方法であって、前記方法が、前記ベクトル行列乗算アレイにおけるデータドリフトを監視するステップと、
前記データドリフトに応答してビット線補償電流を生成するステップと、
読み出し動作中に前記ビット線補償電流を前記ベクトル行列乗算アレイの１つ以上のビット線に注入して、ドリフト誤差を補償するステップと、を含む、方法。
【請求項24】
前記ベクトル行列乗算アレイが、スプリットゲート不揮発性メモリセルから形成される、請求項２３に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０２０年１月３日に出願された「Ｐｒｅｃｉｓｅ Ｄａｔａ Ｔｕｎｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｍｅｍｏｒｙ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国仮特許出願第６２／９５７，０１３号、及び２０２０年３月２６日に出願された「Ｃｉｒｃｕｉｔｒｙ ｔｏ Ｃｏｍｐｅｎｓａｔｅ ｆｏｒ Ｄａｔａ Ｄｒｉｆｔ ｉｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／８３０，７３３号の優先権を主張する。
本出願は、２０２０年１月３日に出願された「Ｐｒｅｃｉｓｅ Ｄａｔａ Ｔｕｎｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｍｅｍｏｒｙ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国仮特許出願第６２／９５７，０１３号、及び２０２０年３月２６日に出願された「Ｃｉｒｃｕｉｔｒｙ ｔｏ Ｃｏｍｐｅｎｓａｔｅ ｆｏｒ Ｄａｔａ Ｄｒｉｆｔ ｉｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／８３０，７３３号の優先権を主張する。
【0002】
（発明の分野）
アナログニューロモーフィックメモリシステム内のＶＭＭアレイ内の不揮発性メモリセルにおけるドリフト誤差を補償するための多数の実施形態が提供される。
アナログニューロモーフィックメモリシステム内のＶＭＭアレイ内の不揮発性メモリセルにおけるドリフト誤差を補償するための多数の実施形態が提供される。
【背景技術】
【0003】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、人工ニューラルネットワークは入力に適応し、学習可能になる。典型的には、人工ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルでニューロンは、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用人工ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許公開２０１７／０３３７４６６号として公開された米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。本明細書で使用される場合、ニューロモーフィックという用語は、神経システムのモデルを実装する回路を意味する。アナログニューロモーフィックメモリは、第１の複数の入力を受信して、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、各メモリセルは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲート上のある個数の電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。この様式で配置されるメモリセルのアレイは、ベクトル行列乗算（ＶＭＭ）アレイと称され得る。
【0007】
ＶＭＭアレイに使用される各不揮発性メモリセルは、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持するように消去及びプログラムされなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。１つの課題は、異なるＮの値に必要な精度及び粒度で選択されたセルをプログラムする能力である。例えば、選択されたセルが６４個の異なる値のうちの１つを含み得る場合、極めて高い精度がプログラム動作で必要とされる。
【0008】
これらのシステムは、そのような極度の精度を必要とするため、データドリフトなどの現象によって生成されるいかなる誤差も有意であり得る。
【0009】
必要とされるのは、アナログニューロモーフィックメモリ内のＶＭＭアレイにおけるデータドリフトを補償するための、改善された補償回路及び方法である。
【発明の概要】
【0010】
アナログニューロモーフィックメモリシステム内のＶＭＭアレイ内の不揮発性メモリセルにおけるドリフト誤差を補償するための多数の実施形態が提供される。
【0011】
一実施形態では、ベクトル行列乗算アレイにおける読み出し動作中にドリフト誤差を補償するための回路が提供され、回路は、データドリフトを示す出力を生成するために、アレイに結合されたデータドリフト監視回路と、データドリフト監視回路からの出力に応答して補償電流を生成し、補償電流をアレイの１つ以上のビット線に注入するためのビット線補償回路と、を備える。
【0012】
別の実施形態では、ベクトル行列乗算アレイにおける読み出し動作中にドリフト誤差を補償するための回路が提供され、回路は、補償電流を生成し、補償電流をアレイの１つ以上のビット線に注入してドリフト誤差を補償するためのビット線補償回路を備える。
【0013】
別の実施形態では、ベクトル行列乗算アレイにおける読み出し動作中にドリフト誤差を補償するための回路が提供され、回路は、アレイの出力をスケーリングしてドリフト誤差を補償するためのビット線補償回路を備える。
【0014】
別の実施形態では、ベクトル行列乗算アレイにおける読み出し動作中にドリフト誤差を補償するための回路が提供され、回路は、アレイの出力をシフトしてドリフト誤差を補償するためのビット線補償回路を備える。
【0015】
別の実施形態では、ベクトル行列乗算アレイにおける読み出し動作中にドリフト誤差を補償する方法が提供され、この方法は、ベクトル行列乗算アレイにおけるデータドリフトを監視することを含む。
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】
【0050】
【0051】
【0052】
【0053】
【0054】
【0055】
【0056】
【0057】
【0058】
【0059】
【0060】
【0061】
【0062】
【0063】
【0064】
【0065】
【0066】
【0067】
【0068】
【0069】
【図面の簡単な説明】
【0070】
【図1】先行技術の人工ニューラルネットワークを示す図である。
【図2】先行技術のスプリットゲートフラッシュメモリセルを示す。
【図3】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図4】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図5】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図6】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図7】先行技術の積層ゲートフラッシュメモリセルを示す。
【図8】１つ以上のＶＭＭアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを示す図である。
【図9】ＶＭＭアレイ及び他の回路を備えるＶＭＭシステムを示すブロック図である。
【図10】１つ以上のＶＭＭシステムを利用する例示的な人工ニューラルネットワークを示すブロック図である。
【図11】ＶＭＭアレイの別の実施形態を示す。
【図12】ＶＭＭアレイの別の実施形態を示す。
【図13】ＶＭＭアレイの別の実施形態を示す。
【図14】ＶＭＭアレイの別の実施形態を示す。
【図15】ＶＭＭアレイの別の実施形態を示す。
【図16】ＶＭＭアレイの別の実施形態を示す。
【図17】ＶＭＭアレイの別の実施形態を示す。
【図18】ＶＭＭアレイの別の実施形態を示す。
【図19】ＶＭＭアレイの別の実施形態を示す。
【図20】ＶＭＭアレイの別の実施形態を示す。
【図21】ＶＭＭアレイの別の実施形態を示す。
【図22】ＶＭＭアレイの別の実施形態を示す。
【図23】ＶＭＭアレイの別の実施形態を示す。
【図24】ＶＭＭアレイの別の実施形態を示す。
【図25】先行技術の長・短期メモリシステムを示す。
【図26】長・短期メモリシステムで使用する例示的なセルを示す。
【図29】先行技術のゲート付き回帰型ユニットシステムを示す。
【図30】ゲート付き回帰型ユニットシステムで使用する例示的なセルを示す。
【図33】ＶＭＭシステムを示す。
【図34】チューニング補正方法を示す。
【図35A】チューニング補正方法を示す。
【図35B】セクタチューニング補正方法を示す。
【図36A】セルに記憶された値に対する温度の影響を示す。
【図36B】ＶＭＭシステムの動作中のデータドリフトによって生じた問題を示す。
【図36C】データドリフトを補償するためのブロックを示す。
【図36D】データドリフトモニタを示す。
【図37】ビット線補償回路を示す。
【図38】別のビット線補償回路を示す。
【図39】別のビット線補償回路を示す。
【図40】別のビット線補償回路を示す。
【図41】別のビット線補償回路を示す。
【図42】別のビット線補償回路を示す。
【図43】ニューロン回路を示す。
【図44】別のニューロン回路を示す。
【図45】別のニューロン回路を示す。
【図46】別のニューロン回路を示す。
【図47】別のニューロン回路を示す。
【図48】別のニューロン回路を示す。
【図49A】出力回路のブロック図を示す。
【図49B】別の出力回路のブロック図を示す。
【図49C】別の出力回路のブロック図を示す。
【発明を実施するための形態】
【0071】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
＜不揮発性メモリセル＞
＜不揮発性メモリセル＞
【0072】
デジタル不揮発性メモリは周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種であるスプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４とドレイン領域１６とを含み、ソース領域１４とドレイン領域１６の間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁された、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線端子２４はドレイン領域１６に結合される。
【0073】
ワード線端子２２に高圧正電圧を印加することによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。
【0074】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を印加することによってプログラムされる（電子が浮遊ゲートに印加される）。電子電流は、ソース領域１４（ソース線端子）からドレイン領域１６に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、加熱される。熱せられた電子の一部が、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
【0075】
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。
【0076】
表１は、読み出し、消去、及びプログラム動作を実行するためのメモリセル１１０の端子に印加され得る典型的な電圧範囲を示す。
表１：図２のフラッシュメモリセル２１０の動作
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。
表１：図２のフラッシュメモリセル２１０の動作
【表1】
【0077】
図３は、制御ゲート（control gate、ＣＧ）端子２８を追加した、図２のメモリセル２１０と同様のメモリセル３１０を示す。制御ゲート端子２８は、プログラミング中に高電圧（例えば、１０Ｖ）、消去中に低又は負電圧（例えば、０ｖ／－８Ｖ）、読み出し中に低又は中程度電圧（例えば、０ｖ／２．５Ｖ）でバイアスされる。他の端子は、図２の端子と同様にバイアスされる。
【0078】
図４は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を備える、４ゲートメモリセル４１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
【0079】
表２は、読み出し、消去、及びプログラム動作を実行するためのメモリセル４１０の端子に印加され得る典型的な電圧範囲を示す。
表２：図４のフラッシュメモリセル４１０の動作
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。
表２：図４のフラッシュメモリセル４１０の動作
【表2】
【0080】
図５は、メモリセル５１０が消去ゲート（erase gate、ＥＧ）端子を含まないことを除いて、図４のメモリセル４１０と同様のメモリセル５１０を示す。消去は、基板１８を高電圧にバイアスし、制御ゲートＣＧ端子２８を低電圧又は負電圧にバイアスすることによって行われる。代替的に、ワード線端子２２を正電圧にバイアスし、制御ゲート端子２８を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図４のものと同様である。
【0081】
図６は、別の種類のフラッシュメモリセルである、３ゲートメモリセル６１０を示す。メモリセル６１０は、メモリセル６１０が別個の制御ゲート端子を有しないことを除いて、図４のメモリセル４１０と同一である。（消去ゲート端子の使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図４のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線端子に印加されなければならない。
【0082】
表３は、読み出し、消去、及びプログラム動作を実行するためのメモリセル６１０の端子に印加され得る典型的な電圧範囲を示す。
表３：図６のフラッシュメモリセル６１０の動作
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。
表３：図６のフラッシュメモリセル６１０の動作
【表3】
【0083】
図７は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル７１０を示す。メモリセル７１０は、浮遊ゲート２０がチャネル領域１８全体の上方にわたって延在し、制御ゲート端子２２（ワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
【0084】
【0085】
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。任意選択的に、メモリセル２１０、３１０、４１０、５１０、６１０、又は７１０の行及び列を含むアレイでは、ソース線は、メモリセルの１行又はメモリセルの隣接する２行に結合され得る。すなわち、ソース線端子は、メモリセルの隣接する行によって共有され得る。
【0086】
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
【0087】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲート上の電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値（１６又は６４の異なる値など）のうちの１つを最低限記憶することができることを意味し、これにより、メモリアレイ内の全てのセルが非常に精確に、かつ個々にチューニング可能となり、また、メモリアレイが、記憶、及びニューラルネットワークのシナプシスの重みへの微細チューニング調整に対して、理想的なものになる。
【0088】
本明細書に記載される方法及び手段は、限定することなく、ＳＯＮＯＳ（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（抵抗変化型メモリ）、ＰＣＭ（相変化メモリ）、ＭＲＡＭ（磁気抵抗メモリ）、ＦｅＲＡＭ（強誘電体メモリ）、ＯＴＰ（バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（強相関電子メモリ）などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、ＳＲＡＭ、ＤＲＡＭ、及び他の揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
＜不揮発性メモリセルアレイを使用するニューラルネットワーク＞
＜不揮発性メモリセルアレイを使用するニューラルネットワーク＞
【0089】
図８は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。
【0090】
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと称される）は、シナプスＣＢ１に提供され、そこで、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【0091】
本例では、層Ｃ１において、各々３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、層Ｃ１は、２次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するために使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
【0092】
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、各々１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類（クラス分け）を示すことができる。
【0093】
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。
【0094】
図９は、その目的のために使用可能なシステムのブロック図である。ＶＭＭシステム３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭシステム３２は、行及び列に配置された不揮発性メモリセルを備えるＶＭＭアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を備え、それらのデコーダは、不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３３への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、ＶＭＭアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、ＶＭＭアレイ３３の出力をデコードすることができる。
【0095】
ＶＭＭアレイ３３は、２つの目的を果たす。第１に、それは、ＶＭＭシステム３２によって使用される重みを記憶する。第２に、ＶＭＭアレイ３３は、効果的に、入力に、ＶＭＭアレイ３３に記憶された重みを乗算し、それらを出力線（ソース線又はビット線）ごとに合計して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、ＶＭＭアレイ３３は、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
【0096】
ＶＭＭアレイ３３の出力は、ＶＭＭアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動加算器（加算オペアンプ又は加算電流ミラーなど）３８に供給される。差動加算器３８は、正の重み入力及び負の重み入力両方の総和を実行して単一の値を出力するように配置される。
【0097】
差動加算器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド関数、ｔａｎｈ関数、ＲｅＬＵ関数、又は任意の他の非線形関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図８のＣ１）の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、ＶＭＭアレイ３３は、複数のシナプス（それらは、ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）を構成し、加算器３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0098】
図９のＶＭＭシステム３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、デジタルパルス（この場合、パルス－アナログ変換器ＰＡＣが、パルスを適切な入力アナログレベルに変換するために必要とされ得る）又はデジタルビット（この場合、ＤＡＣが、デジタルビットを適切な入力アナログレベルに変換するために提供される）であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビットであり得る（この場合、出力ＡＤＣが、出力アナログレベルをデジタルビットに変換するために提供される）。
【0099】
図１０は、図中でＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭシステム３２の多数の層の使用を示すブロック図である。図１０に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭシステム３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭシステム３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭシステム３２ａへのマッピングされたアナログ入力に変換するように、アナログ－アナログ（Ａ／Ａ）変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力ＶＭＭシステム３２ａへのマッピングされたデジタルパルス（単数又は複数）に変換するために、デジタル－デジタルパルス（Ｄ／Ｐ）変換器によって行うこともできる。
【0100】
入力ＶＭＭシステム３２ａによって生成された出力は、次に、次のＶＭＭシステム（隠しレベル１）３２ｂへの入力として提供され、次に、次のＶＭＭシステム３２ｂは、入力ＶＭＭシステム（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭシステム３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれ、対応の不揮発性メモリアレイを備える、スタンドアローンの物理的システムとすることができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。各ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図１０に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。
＜ＶＭＭアレイ＞
＜ＶＭＭアレイ＞
【0101】
図１１は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０１と、不揮発性基準メモリセルの基準アレイ１１０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することができる。
【0102】
ＶＭＭアレイ１１００では、制御ゲート線１１０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ１１０２が、制御ゲート線１１０３に直交する）、消去ゲート線１１０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ１１００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ１１００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0103】
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ１１００の不揮発性メモリセル、すなわちＶＭＭアレイ１１００のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
【0104】
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓは、ドレイン－ソース間電流であり、Ｖｇは、メモリセルのゲート電圧であり、Ｖｔｈは、メモリセルのスレッショルド電圧であり、Ｖｔは、熱電圧＝ｋ*Ｔ／ｑであり、ｋは、ボルツマン定数、Ｔは、ケルビン温度、ｑは、電子電荷であり、ｎは、傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、及びＣｏｘは、ゲート酸化物層の容量であり、Ｉｏは、スレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは、（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕは、キャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓは、ドレイン－ソース間電流であり、Ｖｇは、メモリセルのゲート電圧であり、Ｖｔｈは、メモリセルのスレッショルド電圧であり、Ｖｔは、熱電圧＝ｋ*Ｔ／ｑであり、ｋは、ボルツマン定数、Ｔは、ケルビン温度、ｑは、電子電荷であり、ｎは、傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、及びＣｏｘは、ゲート酸化物層の容量であり、Ｉｏは、スレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは、（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕは、キャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
【0105】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流Ｉｄｓを入力電圧Ｖｇに変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0106】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流Ｉｄｓを入力電圧Ｖｇに変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
【0107】
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0108】
ベクトル行列乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
Ｉｉｎ＝ｗｐ*Ｉｏ*ｅ(Vg)/nVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
Ｉｉｎ＝ｗｐ*Ｉｏ*ｅ(Vg)/nVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
【0109】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0110】
代替的に、本明細書に記載されたＶＭＭアレイの不揮発性メモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）
すなわち、直線領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する。
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）
すなわち、直線領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する。
【0111】
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
【0112】
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
【0113】
代替的に、本明細書に記載されたＶＭＭアレイのメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2； ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する。
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2； ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する。
【0114】
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
【0115】
代替的に、本明細書に記載されるＶＭＭアレイのメモリセルは、全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用することができる。
【0116】
図９のＶＭＭアレイ３３のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
【0117】
図１２は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１２００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。アレイの列方向に配置された基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１２１４（一部のみ示す）を通してダイオード接続される。基準セルは、目標基準レベルにチューニング（例えば、プログラム）される。目標基準レベルは、基準ミニアレイ行列（図示せず）によって提供される。
【0118】
メモリアレイ１２０３は、２つの目的を果たす。第１に、それは、ＶＭＭアレイ１２００により使用される重みを、それぞれのメモリセルに記憶する。第２に、メモリアレイ１２０３は、メモリセルアレイ１２０３に記憶された重みによって、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１２０１及び１２０２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）を有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ１２０３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にそれぞれのビット線ＢＬ０～ＢＬＮに現れる。各々のビット線ＢＬ０～ＢＬＮに配置された電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
【0119】
表５は、ＶＭＭアレイ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示し、ＦＬＴは、浮遊、すなわち電圧が印加されないことを示す。行は、読み出し、消去、及びプログラムの動作を示す。
表５：図１２のＶＭＭアレイ１２００の動作
表５：図１２のＶＭＭアレイ１２００の動作
【表5】
【0120】
図１３は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。基準アレイ１３０１及び１３０２は、ＶＭＭアレイ１３００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１３００においてワード線が垂直方向に延びることを除いて、ＶＭＭ １０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0121】
表６は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表６：図１３のＶＭＭアレイ１３００の動作
表６：図１３のＶＭＭアレイ１３００の動作
【表6】
【0122】
図１４は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１４００を示す。ＶＭＭアレイ１４００は、不揮発性メモリセルのメモリアレイ１４０３と、第１の不揮発性基準メモリセルの基準アレイ１４０１と、第２の不揮発性基準メモリセルの基準アレイ１４０２と、を含む。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１４１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１４１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）の一定電圧を確実にするために、それぞれのマルチプレクサ１４０５及びカスコーディングトランジスタ１４０４を各々含む。基準セルは、目標基準レベルにチューニングされる。
【0123】
メモリアレイ１４０３は、２つの目的を果たす。第１に、それは、ＶＭＭアレイ１４００によって使用される重みを記憶する。第２に、メモリアレイ１４０３は、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に、メモリセルアレイに記憶された重みを掛けて、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに出現し、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線に加えられる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0124】
ＶＭＭアレイ１４００は、メモリアレイ１４０３内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに記憶されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。
【0125】
表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表７：図１４のＶＭＭアレイ１４００の動作
表７：図１４のＶＭＭアレイ１４００の動作
【表7】
【0126】
図１５は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１５００を示す。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、第１の不揮発性基準メモリセルの基準アレイ１５０１と、第２の不揮発性基準メモリセルの基準アレイ１５０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１５００は、ＶＭＭアレイ１５００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３内の入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１５１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【0127】
表８は、ＶＭＭアレイ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表８：図１５のＶＭＭアレイ１５００の動作
表８：図１５のＶＭＭアレイ１５００の動作
【表8】
【0128】
図１６は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１６００を示す。ＶＭＭアレイ１６００では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNでそれぞれ受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3にそれぞれ生成される。
【0129】
図１７は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１７００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3でそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0130】
図１８は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0131】
図１９は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0132】
図２０は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnがそれぞれ垂直制御ゲート線ＣＧ0、．．．、ＣＧNで受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
【0133】
図２１は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２１００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ結合されているビット線制御ゲート２９０１－１、２９０１－２、．．．、２９０１－（Ｎ－１）及び２９０１－Ｎのゲートでそれぞれ受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
【0134】
図２２は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２２００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成される。
【0135】
図２３は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２３００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMで受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ソース線ＳＬ0、．．．、ＳＬNにそれぞれ生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線に結合されている。
【0136】
図２４は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２４００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMで受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成され、各ビット線ＢＬiは、列ｉ内の全てのメモリセルのビット線に結合されている。
＜長・短期メモリ＞
＜長・短期メモリ＞
【0137】
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭは、人工ニューラルネットワークで使用されることが多い。ＬＳＴＭは、人工ニューラルネットワークが、所定の任意の期間にわたって情報を覚え、後続の動作においてその情報を使用することを可能にする。従来のＬＳＴＭは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調節する。ＶＭＭは、ＬＳＴＭにおいて特に有用である。
【0138】
図２５は、例示的なＬＳＴＭ２５００を示す。この例におけるＬＳＴＭ２５００は、セル２５０１、２５０２、２５０３、及び２５０４を含む。セル２５０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル２５０２は、入力ベクトルｘ1と、セル２５０１からの出力ベクトル（隠れ状態）ｈ0と、セル２５０１からのセル状態ｃ0と、を受け取り、出力ベクトルｈ1と、セル状態ベクトルｃ1と、を生成する。セル２５０３は、入力ベクトルｘ2と、セル２５０２からの出力ベクトル（隠れ状態）ｈ1と、セル２５０２からのセル状態ｃ1と、を受け取り、出力ベクトルｈ2と、セル状態ベクトルｃ2と、を生成する。セル２５０４は、入力ベクトルｘ3と、セル２５０３からの出力ベクトル（隠れ状態）ｈ2と、セル２５０３からのセル状態ｃ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
【0139】
図２６は、図２５のセル２５０１、２５０２、２５０３、及び２５０４に使用可能なＬＳＴＭセル２６００の例示的な実装を示す。ＬＳＴＭセル２６００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
【0140】
ＬＳＴＭセル２６００は、シグモイド関数デバイス２６０１、２６０２、及び２６０３を含み、各々が０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル２６００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス２６０４及び２６０５と、２つのベクトルを乗算するための乗算器デバイス２６０６、２６０７、及び２６０８と、２つのベクトルを加算するための加算器デバイス２６０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができるか、又は他の目的でアクセスすることができる。
【0141】
図２７は、ＬＳＴＭセル２６００の一実装の一例であるＬＳＴＭセル２７００を示す。読者の便宜のために、ＬＳＴＭセル２６００からの同じ採番方法が、ＬＳＴＭセル２７００で使用される。シグモイド関数デバイス２６０１、２６０２、及び２６０３、並びにｔａｎｈデバイス２６０４は各々、複数のＶＭＭアレイ２７０１及び活性化回路ブロック２７０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが分かる。
【0142】
ＬＳＴＭセル２７００の代替例（及びＬＳＴＭセル２６００の一実装の別の例）を図２８に示す。図２８では、シグモイド関数デバイス２６０１、２６０２及び２６０３、並びにｔａｎｈデバイス２６０４は、同じ物理ハードウェア（ＶＭＭアレイ２８０１及び活性化関数ブロック２８０２）を、時分割多重化された方式で共有し得る。ＬＳＴＭセル２８００はまた、２つのベクトルを乗算するための乗算器デバイス２８０３と、２つのベクトルを加算するための加算器デバイス２８０８と、（活性化回路ブロック２８０２を含む）ｔａｎｈデバイス２６０５と、シグモイド関数ブロック２８０２から出力される値ｉ（ｔ）を記憶するレジスタ２８０７と、マルチプレクサ２８１０を介して乗算器デバイス２８０３から出力される値ｆ（ｔ）*ｃ（ｔ－１）を記憶するレジスタ２８０４と、マルチプレクサ２８１０を介して乗算器デバイス２８０３から出力される値ｉ（ｔ）*ｕ（ｔ）を記憶するレジスタ２８０５と、マルチプレクサ２８１０を介して乗算器デバイス２８０３から出力される値ｏ（ｔ）*ｃ～（ｔ）を記憶するレジスタ２８０６と、マルチプレクサ２８０９と、を含む。
【0143】
ＬＳＴＭセル２７００がＶＭＭアレイ２７０１とそれぞれの活性化関数ブロック２７０２との複数のセットを含むのに対し、ＬＳＴＭセル２８００は、ＬＳＴＭセル２８００の実施形態において複数の層を表すために使用されるＶＭＭアレイ２８０１と活性化関数ブロック２８０２との１つのセットのみを含む。ＬＳＴＭセル２８００は、ＬＳＴＭセル２７００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭセル２８００は、ＬＳＴＭ２７００よりも必要とするスペースが少ない。
【0144】
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、ＶＭＭアレイ自体の外側に必要とされる回路の最小化を試みる。
＜ゲート付き回帰型ユニット＞
＜ゲート付き回帰型ユニット＞
【0145】
アナログＶＭＭ実装を、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）に利用することができる。ＧＲＵは、反復人工ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
【0146】
図２９は、例示的なＧＲＵ２９００を示す。この例におけるＧＲＵ２９００は、セル２９０１、２９０２、２９０３、及び２９０４を含む。セル２９０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル２９０２は、入力ベクトルｘ1と、セル２９０１からの出力ベクトルｈ0と、を受け取り、出力ベクトルｈ1を生成する。セル２９０３は、入力ベクトルｘ2と、セル２９０２からの出力ベクトル（隠れ状態）ｈ1と、を受け取り、出力ベクトルｈ2を生成する。セル２９０４は、入力ベクトルｘ3と、セル２９０３からの出力ベクトル（隠れ状態）ｈ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
【0147】
図３０は、図２９のセル２９０１、２９０２、２９０３、及び２９０４に使用することができるＧＲＵセル３０００の例示的な実装を示す。ＧＲＵセル３０００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル３０００は、シグモイド関数デバイス３００１及び３００２を含み、それらの各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル３０００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス３００３と、２つのベクトルを乗算するための複数の乗算器デバイス３００４、３００５、及び３００６と、２つのベクトルを加算するための加算器デバイス３００７と、１から入力を減算して出力を生成するための相補デバイス３００８と、を含む。
【0148】
図３１は、ＧＲＵセル３０００の一実装の一例であるＧＲＵセル３１００を示す。読者の便宜のために、ＧＲＵセル３０００からの同じ採番方法が、ＧＲＵセル３１００で使用される。図３１から分かるように、シグモイド関数デバイス３００１及び３００２、並びにｔａｎｈデバイス３００３は各々、複数のＶＭＭアレイ３１０１及び活性化関数ブロック３１０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが分かる。
【0149】
ＧＲＵセル３１００の代替例（及びＧＲＵセル３０００の一実装の別の例）を図３２に示す。図３２において、ＧＲＵセル３２００は、ＶＭＭアレイ３２０１及び活性化関数ブロック３２０２を使用しており、シグモイド関数として構成された場合には、０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図３２では、シグモイド関数デバイス３００１及び３００２、並びにｔａｎｈデバイス３００３は、同じ物理ハードウェア（ＶＭＭアレイ３２０１及び活性化関数ブロック３２０２）を、時分割多重化された方式で共有する。ＧＲＵセル３２００はまた、２つのベクトルを乗算するための乗算器デバイス３２０３と、２つのベクトルを加算するための加算器デバイス３２０５と、１から入力を減算して出力を生成するための相補デバイス３２０９と、マルチプレクサ３２０４と、マルチプレクサ３２０４を介して乗算器デバイス３２０３から出力される値ｈ（ｔ－１）*ｒ（ｔ）を保持するためのレジスタ３２０６と、マルチプレクサ３２０４を介して乗算器デバイス３２０３から出力される値ｈ（ｔ－１）*ｚ（ｔ）を保持するためのレジスタ３２０７と、マルチプレクサ３２０４を介して乗算器デバイス３２０３から出力される値ｈ＾（ｔ）*（１－ｚ（（ｔ））を保持するためのレジスタ３２０８と、を備える。
【0150】
ＧＲＵセル３１００がＶＭＭアレイ３１０１と活性化関数ブロック３１０２との複数のセットを含むのに対し、ＧＲＵセル３２００は、ＧＲＵセル３２００の実施形態において複数の層を表すために使用されるＶＭＭアレイ３２０１と活性化関数ブロック３２０２の１つのセットのみを含む。ＧＲＵセル３２００は、ＧＲＵセル３１００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル３２００は、ＧＲＵセル３１００よりも必要とするスペースが少ない。
【0151】
ＧＲＵを利用するシステムは、典型的には複数のＶＭＭアレイを含み、これらの各々は、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、ＶＭＭアレイ自体の外側に必要とされる回路の最小化を試みる。
【0152】
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、タイミングパルス、又はデジタルビットであり得、出力は、アナログレベル、バイナリレベル、タイミングパルス、又はデジタルビット（この場合、出力アナログレベルの電流又は電圧をデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
【0153】
ＶＭＭアレイ内の各メモリセルに関して、各重みｗは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つ以上のセルの平均）によって実装することができる。差分セルの場合では、重みｗを差分重み（ｗ＝ｗ＋ － ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みｗを実装するために２つのメモリセルが必要とされる。
＜ＶＭＭ内のセルの正確なチューニングのための実施形態＞
＜ＶＭＭ内のセルの正確なチューニングのための実施形態＞
【0154】
図３３は、ＶＭＭシステム３３００のブロック図を示す。ＶＭＭシステム３３００は、ＶＭＭアレイ３３０１、行デコーダ３３０２、高電圧デコーダ３３０３、列デコーダ３３０４、ビット線ドライバ３３０５、入力回路３３０６、出力回路３３０７、制御ロジック３３０８、及びバイアス生成器３３０９を備える。ＶＭＭシステム３３００は、チャージポンプ３３１１、チャージポンプ調節器３３１２、及び高電圧レベル生成器３３１３を備える高電圧生成ブロック３３１０を更に備える。ＶＭＭシステム３３００は、アルゴリズムコントローラ３３１４、アナログ回路３３１５、制御論理３３１６、及び試験制御論理３３１７を更に備える。以下に記載されるシステム及び方法は、ＶＭＭシステム３３００に実装することができる。
【0155】
入力回路３３０６は、ＤＡＣ（デジタル－アナログ変換器）、ＤＰＣ（デジタル－パルス変換器）、ＡＡＣ（電流－電圧変換器などのアナログ－アナログ変換器）、ＰＡＣ（パルス－アナログレベル変換器）、又は任意の他のタイプの変換器などの回路を含み得る。入力回路３３０６は、正規化関数、スケーリング関数、又は算術関数を実装し得る。入力回路３３０６は、入力のための温度補償関数を実装し得る。入力回路３３０６は、ＲｅＬＵ又はシグモイド関数などの活性化関数を実装し得る。
【0156】
出力回路３３０７は、ＡＤＣ（ニューロンアナログ出力をデジタルビットに変換するための、アナログ－デジタル変換器）、ＡＡＣ（電流－電圧変換器などのアナログ変換器）、ＡＰＣ（アナログ－パルス変換器）、又は任意の他のタイプの変換器などの回路を含み得る。出力回路３３０７は、ＲｅＬＵ又はシグモイド関数などの活性化関数を実装し得る。出力回路３３０７は、ニューロン出力のための正規化関数、スケーリング関数、又は算術関数を実装し得る。出力回路３３０７は、以下に記載されるように、ニューロン出力又はアレイ出力（ビット線出力など）のための温度補償関数を実装し得る。
【0157】
図３４は、ＶＭＭシステム３３００内のアルゴリズムコントローラ３３１４によって実行することができるチューニング補正方法３４００を示す。チューニング補正方法３４００は、セル出力及びセルの元の目標から生じる最終誤差に基づいて適応目標を生成する。この方法は、典型的には、チューニングコマンドが受信されることに応答して開始する（ステップ３４０１）。選択されたセル、又は選択されたセルのグループの（プログラム／検証アルゴリズムに使用される）初期電流目標Ｉｔａｒｇｅｔｖ（ｉ）は、関数又はルックアップテーブルを使用することなどによって予測目標モデルを使用して決定され、変数ＤｅｌｔａＥｒｒｏｒは、０に設定される（ステップ３４０２）。目標関数は、使用される場合、選択された一つのメモリセル又はセルのグループのＩ－Ｖプログラム曲線に基づくであろう。目標関数はまた、セルが示すプログラム乱れの程度（それはセクタ内のセルアドレス及びセルレベルに依存し、ここで、セルは、それがより比較的多くの乱れを示す場合、抑制条件でより多くのプログラム時間に供され、ここで、より高い電流を有するセルは、典型的にはより多くの乱れを有する）、セル間連結、及び様々なタイプのアレイノイズなどのアレイ特性によって引き起こされる様々な変動に依存する。これらの変動は、ＰＶＴ（プロセス、電圧、温度）上のケイ素上で特徴付けることができる。ルックアップテーブルは、使用される場合、Ｉ－Ｖ曲線及び様々な変動をエミュレートするための同じ方法で特徴付けることができる。
【0158】
次いで、ソフト消去が、ＶＭＭ内の全てのセルに対して実行され、このソフト消去は、各セルが、読み出し動作中に例えば約３～５μＡの電流を引き込むように、全てのセルに対して中間弱消去レベルに消去を行う（ステップ３４０３）。ソフト消去は、例えば、中間セル電流に達するまで、セルに増分消去パルス電圧を印加することによって実行される。次に、ディーププログラミング動作が、全て未使用セルに対して実行されて（ステップ３４０４）、例えば、＜ｐＡ電流レベルを得る。次いで、誤差結果に基づく目標調整（補正）が実行される。セルがプログラミング中にオーバーシュートを受けたことを意味する、ＤｅｌｔａＥｒｒｏｒ＞０の場合、Ｉｔａｒｇｅｔｖ（ｉ＋１）は、Ｉｔａｒｇｅｔ＋シータ*ＤｅｌｔａＥｒｒｏｒに設定され、シータは、例えば、１、又は１に近い数である（ステップ３４０５Ａ）。
【0159】
Ｉｔａｒｇｅｔ（ｉ＋１）はまた、適切な誤差目標調整／補正を用いて、前のＩｔａｒｇｅｔ（ｉ）に基づいて調整され得る。ＤｅｌｔａＥｒｒｏｒ＜０である場合、セルがプログラミング中にアンダーシュートを受けたことを意味するが、これは、セル電流がまだ目標に達しないことを意味し、その後、Ｉｔａｒｇｅｔｖ（ｉ＋１）は、前の目標Ｉｔａｒｇｅｔｖ（ｉ）に設定される（ステップ３４０５Ｂ）。
【0160】
次に、粗い及び／又は微細プログラム並びに検証動作が実行される（ステップ３４０６）。精密（微細）プログラミングステップを実行する前に、複数の徐々に小さくなる粗い目標を目標とすることなどによって、複数の適応型の粗いプログラミング方法を使用して、プログラミングを加速することができる。適応型の精密プログラミングは、例えば、微細（精密）増分プログラム電圧パルス又は定常プログラムタイミングパルスで行われる。粗いプログラミング及び微細プログラミングを実行するためのシステム及び方法の例は、本出願と同じ譲受人によって２０１９年１１月１１日に出願された、「Ｐｒｅｃｉｓｅ Ｐｒｏｇｒａｍｍｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国仮特許出願第６２／９３３，８０９号に記載されており、これは、参照により本明細書に組み込まれる。
【0161】
Ｉｃｅｌｌを、選択されたセルで測定する（ステップ３４０７）。例えば、セル電流は、電流計回路によって測定することができる。例えば、セル電流は、ＡＤＣ（アナログ－デジタル変換器）回路によって測定することができ、この場合、出力は、デジタルビットによって表される。例えば、セル電流は、Ｉ－Ｖ（電流－電圧変換器）回路によって測定することができ、この場合、出力は、アナログ電圧によって表される。ＤｅｌｔａＥｒｒｏｒは計算され、これは、測定されたセルにおける実際の電流（Ｉｃｅｌｌ）と目標電流（Ｉｔａｒｇｅｔ）との間の差を表す、Ｉｃｅｌｌ－Ｉｔａｒｇｅｔである。｜ＤｅｌｔａＥｒｒｏｒ｜＜ＤｅｌｔａＭａｒｇｉｎの場合、セルは、特定の許容範囲（ＤｅｌｔａＭａｒｇｉｎ）内の目標電流を達成しており、方法は終了する（ステップ３４１０）。｜ＤｅｌｔａＥｒｒｏｒ｜＝ａｂｓ（ＤｅｌｔａＥｒｒｏｒ）＝ＤｅｌｔａＥｒｒｏｒの絶対値。そうでない場合、方法は、ステップ３４０３に戻り、ステップを再び順次実行する（ステップ３４１０）。
【0162】
図３５Ａ及び図３５Ｂは、ＶＭＭシステム３３００内のアルゴリズムコントローラ３３１４によって実行することができるチューニング補正方法３５００を示す。図３５Ａを参照すると、方法が開始し（ステップ３５０１）、これは、典型的には、チューニングコマンドが受信されることに応じて行われる。ＶＭＭアレイ全体は、ソフト消去法などによって消去される（ステップ３５０２）。ディーププログラミング動作は、全ての未使用セルに対して実行され（ステップ３５０３）、セル電流＜ｐＡレベルを得る。ＶＭＭアレイ内の全てのセルは、粗い及び／又は微細プログラミングサイクルを使用して、０．５～１．０μＡなどの中間値にプログラムされる（ステップ３５０４）。粗いプログラミング及び微細プログラミングを実行するためのシステム及び方法の例は、本出願と同じ譲受人によって２０１９年１１月１１日に出願された、「Ｐｒｅｃｉｓｅ Ｐｒｏｇｒａｍｍｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国仮特許出願第６２／９３３，８０９号に記載されており、これは、参照により本明細書に組み込まれる。予測目標は、上記のように、関数又はルックアップテーブルを使用して使用されるセルに設定される（ステップ３５０５）。次に、セクタチューニング方法３５０７は、ＶＭＭの各セクタに対して実行される（ステップ３５０６）。セクタは、典型的には、アレイ内の２つ以上の隣接する行からなる。
【0163】
図３５Ｂは、適応目標セクタチューニング方法３５０７を示す。セクタ内の全てのセルは、（１）粗い／微細／定常Ｐ／Ｖサイクル、（２）ＣＧ＋（ＣＧ増分のみ）若しくはＥＧ＋（ＥＧ増分のみ）、又は相補的ＣＧ＋／ＥＧ－（ＣＧ増分及びＥＧ減分）、並びに（３）最初に最も深いプログラムされたセル（セルをグループにグループ化することを意味し、グループが、最初に最低電流プログラムされたセルを有する、漸進的グループ化など）、などの個々又は組み合わせのプログラム／検証（Ｐ／Ｖ）方法を使用して、最終的な所望の値（例えば、１ｎＡ～５０ｎＡ）にプログラムされる）（ステップ３５０８Ａ）。次に、Ｉｃｅｌｌ＜Ｉｔａｒｇｅｔであるかどうかに関する決定が行われる（ステップ３５０８Ｂ）。はいの場合、方法は、ステップ３５０９に進む。いいえの場合、方法は、ステップ３５０８Ａを繰り返す。ステップ３５０９において、測定されたＩｃｅｌｌ－Ｉｔａｒｇｅｔ（ｉ＋１）に等しい、ＤｅｌｔａＥｒｒｏｒを測定する（ステップ３５０９）。｜ＤｅｌｔａＥｒｒｏｒ｜＜ＤｅｌｔａＭａｒｇｉｎであるかどうかに関する決定が行われる（ステップ３５１０）。はいの場合、方法は、完了する（ステップ３５１１）。いいえの場合、目標調整が実行される。セルがプログラミング中にオーバーシュートを受けたことを意味する、ＤｅｌｔａＥｒｒｏｒ＞０の場合、目標は、新しい目標をＩｔａｒｇｅｔ＋シータ*ＤｅｌｔａＥｒｒｏｒに設定することによって調整され、ここで、シータは、典型的には＝１である（ステップ３５１２Ａ）。Ｉｔａｒｇｅｔ（ｉ＋１）はまた、適切な誤差目標調整／補正を用いて、前のＩｔａｒｇｅｔ（ｉ）に基づいて調整され得る。ＤｅｌｔａＥｒｒｏｒ＜０の場合、セルがプログラミング中にアンダーシュートを受けたことを意味するが、これは、セルがまだ目標に達していないことを意味し、目標は、Ｉｔａｒｇｅｔｖ（ｉ＋１）＝Ｉｔａｒｇｅｔｖ（ｉ）を意味する、前の目標を維持することによって調整される（ステップ３５１２Ｂ）。セクタをソフト消去する（ステップ３５１３）。セクタ内の全てのセルを中間値にプログラムし（ステップ ３５１４）、ステップ３５０９に戻る。
【0164】
典型的なニューラルネットワークは、正の重みｗ＋及び負の重みｗ－を有し得、合計重み＝ｗ＋ － ｗ－。ｗ＋及びｗ－は、メモリセルによって各々実装され（それぞれＩｗ＋及びＩｗ－）、合計重み（Ｉｗ＝Ｉｗ＋ － Ｉｗ－、電流減算）は、（アレイビット線出力回路などにおける）周辺回路レベルで実行することができる。したがって、合計重みの重みチューニング実施形態は、表８に示される例として、ｗ＋セルとｗ－セルの両方を同時にチューニングすること、ｗ＋セルのみをチューニングすること、又はｗ－セルのみをチューニングすることを含み得る。チューニングは、図３４／図３５Ａ／図３５Ｂに関して前述したプログラム／検証及び誤差目標調整方法を使用して実行される。検証は、合計重みのみ（例えば、合計重み電流を測定／読み出すが、個々の正のｗ＋セル電流若しくはｗ－セル電流を測定／読み出さないこと、ｗ＋セル電流のみ、又はｗ－セル電流のみについて実行することができる。
【0165】
例えば、３ｎａの合計Ｉｗの場合、Ｉｗ＋は３ｎａであり得、Ｉｗ－は０ｎａであり得る。あるいは、Ｉｗ＋は１３ｎａであり得、Ｉｗ－は１０ｎａであり得、これは、正の重みＩｗ＋と負の重みＩｗ－の両方がゼロではないことを意味する（例えば、ゼロは、深くプログラムされたセルを示し得る）。これは、Ｉｗ＋とＩｗ－の両方がノイズの影響をより受けにくくなるはずであるため、特定の動作条件で好ましい場合がある。
表９：重みチューニング方法
表９：重みチューニング方法
【表9】
【0166】
図３６Ａは、（一例としてスブスレッショルド領域における）温度にわたるデータ挙動（Ｉ－Ｖ曲線）を示し、図３６Ｂは、ＶＭＭシステムの動作中のデータドリフトによって生じた問題を示し、図３６Ｃ及び図３６Ｄは、データドリフトを補償するためのブロックを示し、図３６Ｃに関しては、温度変化を補償するためのブロックを示す。
【0167】
図３６Ａは、動作温度が増加するにつれて、ＶＭＭアレイ内の任意の所与の選択された不揮発性メモリセル内の検知電流がサブスレッショルド領域内で増加するか、飽和領域内で減少するか、又は概して線形領域内で減少するような特性である、ＶＭＭシステムの既知の特性を示す。
【0168】
図３６Ｂは、時間使用（データドリフト）にわたるアレイ電流分布を示し、これは、（ＶＭＭアレイ内の全てのビット線からの電流の合計である）ＶＭＭアレイからの集合出力が、動作時間使用にわたって右に（又は、使用される技術によっては、左に）シフトすることを示しており、これは、総集合出力が、ＶＭＭシステムの寿命使用にわたってドリフトすることを意味する。この現象は、データが環境要因による使用条件及び劣化によってドリフトするときの、データドリフトとして知られている。
【0169】
図３６Ｃは、データドリフトを補償するために、ビット線出力回路３６１０の出力に補償電流ｉCOMPを注入することを含み得るビット線補償回路３６００を示す。ビット線補償回路３６００は、抵抗器又はコンデンサネットワークに基づいて、スケーラ回路によって出力を上又は下にスケーリングすることを含み得る。ビット線補償回路３６００は、その抵抗器又はコンデンサネットワークに基づいて、シフト回路によって出力をシフト又はオフセットすることを含み得る。
【0170】
図３６Ｄは、データドリフトの量を検出するデータドリフトモニタ３６２０を示す。次いで、その情報は、ビット線補償回路３６００への入力として使用され、その結果、ｉCOMPの適切なレベルが選択され得る。
【0171】
図３７は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路３７００を示す。ビット線補償回路３７００は、調整可能な電流源３７０１及び調整可能な電流源３７０２を備え、これらは、一緒になってｉCOMPを生成し、ｉCOMPは、調整可能な電流源３７０１から生成された電流から、調整可能な電流源３７０１によって生成された電流を引いた電流に等しい。
【0172】
図３８は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路３７００を示す。ビット線補償回路３８００は、演算増幅器３８０１、調整可能な抵抗器３８０２、及び調整可能な抵抗器３８０３を備える。演算増幅器３８０１は、その非反転端子上で基準電圧ＶＲＥＦを受信し、その反転端子上でＶINPUTを受信し、ここで、ＶINPUTは、図３６Ｃのビット線出力回路３６１０から受信された電圧であり、ＶOUTPUTの出力を生成し、ここで、ＶOUTPUTは、抵抗器３８０３と抵抗器３８０２の比に基づいてデータドリフトを補償するためのＶINPUTのスケーリングされたバージョンである。抵抗器３８０３及び／又は３８０２の値を構成することにより、ＶOUTPUTは、上又は下にスケーリングされ得る。
【0173】
図３９は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路３９００を示す。ビット線補償回路３９００は、演算増幅器３９０１、電流源３９０２、スイッチ３９０４、及び調整可能な積分出力コンデンサ３９０３を備える。ここで、電流源３９０２は、実際には、ＶＭＭアレイにおいて、単一のビット線、又は複数のビット線の集合体（正の重みｗ＋を合計するための１つ、及び負の重みｗ－を合計するための１つなど）の出力電流である。演算増幅器３９０１は、その非反転端子上で基準電圧ＶＲＥＦを受信し、その反転端子上でＶINPUTを受信し、ここで、ＶINPUTは、図３６Ｃのビット線出力回路３６１０から受信された電圧である。ビット線補償回路３９００は、調整可能な積分時間においてコンデンサ３９０３を通る電流Ｉｎｅｕを積分して出力電圧ＶOUTPUTを生成する積分器として機能し、ここで、ＶOUTPUT＝Ｉｎｅｕ*積分時間／Ｃ3903であり、ここで、Ｃ3903は、コンデンサ３９０３の値である。したがって、出力電圧ＶOUTPUTは、（ビット線）出力電流Ｉｎｅｕに比例し、積分時間に比例し、コンデンサ３９０３の容量に反比例する。ビット線補償回路３９００は、ＶOUTPUTの出力を生成し、ここで、ＶOUTPUTの値は、コンデンサ３９０３の構成値及び／又はデータドリフトを補償するための積分時間に基づいてスケーリングされる。
【0174】
図４０は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路４０００を示す。ビット線補償回路４０００は、Ｍ：Ｎ比を有する電流ミラー４０１０を備え、これは、ＩCOMP＝（Ｍ／Ｎ）*ｉinputを意味する。電流ミラー４０１０は、電流ｉINPUTを受信し、その電流をミラーリングし、任意選択的に、その電流をスケールしてｉCOMPを生成する。したがって、Ｍ及び／又はＮ個のパラメータを構成することによって、ｉCOMPは、上方又は下方にスケーリングされ得る。
【0175】
図４１は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路４１００を示す。ビット線補償回路４１００は、演算増幅器４１０１、調整可能なスケーリング抵抗器４１０２、調整可能なシフト抵抗器４１０３、及び調整可能な抵抗器４１０４を備える。演算増幅器４１０１は、その非反転端子上で基準電圧ＶREFを受信し、その反転端子上でＶINを受信する。ＶINは、ＶINPUT及びＶｓｈｆｔに応答して生成され、ここで、ＶINPUTは、図３６Ｃのビット線出力回路３６１０から受信された電圧であり、Ｖｓｈｆｔは、ＶINPUTとＶOUTPUTとの間でシフトを実装することを意図した電圧である。
したがって、ＶOUTPUTは、データドリフトを補償するための、ＶINPUTのスケーリング及びシフトされたバージョンである。
したがって、ＶOUTPUTは、データドリフトを補償するための、ＶINPUTのスケーリング及びシフトされたバージョンである。
【0176】
図４２は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路４２００を示す。ビット線補償回路４２００は、演算増幅器４２０１、入力電流源Ｉｎｅｕ４２０２、電流シフタ４２０３、スイッチ４２０５及び４２０６、並びに調整可能な積分出力コンデンサ４２０４を備える。ここで、電流源４２０２は、実際には、ＶＭＭアレイ内の単一のビット線又は複数のビット線上の出力電流Ｉｎｅｕである。演算増幅器４２０１は、その非反転端子上で基準電圧ＶＲＥＦを受信し、その反転端子上でＩINを受信することであって、ここで、ＩINは、Ｉｎｅｕと、電流シフタ４２０３によって出力された電流との合計である、受信することと、ＶOUTPUTの出力を生成することであって、ここで、ＶOUTPUTは、データドリフトを補償するために、（コンデンサ４２０４に基づいて）スケーリングされ、（Ｉｓｈｉｆｔｅｒ４２０３に基づいて）シフトされる、生成することと、を行う。
【0177】
【0178】
図４３は、調整可能な電流源４３０１及び調整可能な電流源４３０２を備えるニューロン出力回路４３００を示し、これらは、一緒になってＩOUTを生成し、ＩOUTは、調整可能な電流源４３０１によって生成された電流ＩW+から、調整可能な電流源４３０２によって生成された電流ＩW-を引いた電流に等しい。調整可能な電流Ｉｗ＋４３０１は、正の重みを実装するために、セル電流又はニューロン電流（ビット線電流など）のスケーリングされた電流である。調整可能な電流Ｉｗ－４３０２は、負の重みを実装するために、セル電流又はニューロン電流（ビット線電流など）のスケーリングされた電流である。電流スケーリングは、Ｍ：Ｎ比電流ミラー回路、Ｉｏｕｔ＝（Ｍ／Ｎ）*Ｉｉｎなどによって行われる。
【0179】
図４４は、調整可能なコンデンサ４４０１、制御トランジスタ４４０５、スイッチ４４０２、スイッチ４４０３、及び調整可能な電流源４４０４Ｉｗ＋を備えるニューロン出力回路４４００を示し、このＩｗ＋は、Ｍ：Ｎ電流ミラー回路などによってセル電流又は（ビット線）ニューロン電流のスケーリングされた出力電流である。トランジスタ４４０５は、例えば、電流４４０４に固定バイアス電圧を課すために使用される。回路４４０４は、ＶOUTを生成し、ここで、ＶOUTは、コンデンサ４４０１に反比例し、調整可能な積分時間（スイッチ４４０３が閉じスイッチ４４０２が開いた時間）に比例し、調整可能な電流源４４０４によって生成された電流ＩW+に比例する。ＶOUTは、Ｖ＋－（（Ｉｗ＋*積分時間）／Ｃ4401）に等しく、ここで、Ｃ4401は、コンデンサ４４０１の値である。コンデンサ４４０１の正の端子Ｖ＋は正の供給電圧に接続され、コンデンサ４４０１の負の端子Ｖ－は出力電圧ＶOUTに接続される。
【0180】
図４５は、コンデンサ４４０１及び調整可能な電流源４５０２を備えるニューロン回路４５００を示し、これは、Ｍ：Ｎ電流ミラーなどによってセル電流又は（ビット線）ニューロン電流のスケーリングされた電流である。回路４５００は、ＶOUTを生成し、ここで、ＶOUTは、コンデンサ４４０１に反比例し、調整可能な積分時間（スイッチ４５０１が開いた時間）に比例し、調整可能な電流源４５０２によって生成された電流ＩWiに比例する。コンデンサ４４０１は、電流Ｉｗ＋を積分する動作を完了した後、ニューロン出力回路４４から再使用される。次いで、正の端子及び負の端子（Ｖ＋及びＶ－）は、ニューロン出力回路４５内で交換され、そこでは、正の端子は、出力電圧ＶOUTに接続され、これは、電流Ｉｗ－によって積分解除される。負の端子は、クランプ回路（図示せず）によって前の電圧値に保持される。実際には、出力回路４４は、正の重み実装に使用され、回路４５は、負の重み実装に使用され、コンデンサ４４０１上の最終電荷は、合計重み（Ｑｗ＝Ｑｗ＋ － Ｑｗ－）を効果的に表す。
【0181】
図４６は、調整可能なコンデンサ４６０１、スイッチ４６０２、制御トランジスタ４６０４、及び調整可能な電流源４６０３を備えるニューロン回路４６００を示す。回路４６００は、ＶOUTを生成し、ここで、ＶOUTは、コンデンサ４６０１に反比例し、調整可能な積分時間（スイッチ４６０２が開いた時間）に比例し、調整可能な電流源４６０３によって生成された電流ＩW-に比例する。コンデンサ４６０１の負の端子Ｖ－は、例えば、接地に等しい。コンデンサ４６０１の正の端子Ｖ＋は、例えば、電流Ｉｗ－を積分する前に、正の電圧に最初にプリチャージされる。ニューロン回路４６００は、ニューロン回路４４００と共にニューロン回路４５００の代わりに使用して、合計重み（Ｑｗ＝Ｑｗ＋ － Ｑｗ－）を実装することができる。
【0182】
図４７は、演算増幅器４７０３及び４７０６、調整可能な電流源Ｉｗ＋４７０１及びＩｗ－４７０２、並びに調整可能な抵抗器４７０４、４７０５、及び４７０７を備えるニューロン回路４７００を示す。ニューロン回路４７００は、ＶOUTを生成し、これは、Ｒ4707
*（Ｉｗ＋ － Ｉｗ－）に等しい。調整可能な抵抗器４７０７は、出力のスケーリングを実装する。調整可能な電流源Ｉｗ＋４７０１及びＩｗ－４７０２はまた、Ｍ：Ｎ比電流ミラー回路（Ｉｏｕｔ＝（Ｍ／Ｎ）*Ｉｉｎ）などによる出力のスケーリングを実装する。
【0183】
図４８は、演算増幅器４８０３及び４８０６、スイッチ４８０８及び４８０９、調整可能な電流源Ｉｗ－４８０２及びＩｗ＋４８０１、調整可能なコンデンサ４８０４、４８０５、及び４８０７を備えるニューロン回路４８００を示す。ニューロン回路４８００は、ＶOUTを生成し、これは、（Ｉｗ＋ － Ｉｗ－）に比例し、積分時間（スイッチ４８０８及び４８０９が開いた時間）に比例し、コンデンサ４８０７の容量に反比例する。調整可能なコンデンサ４８０７は、出力のスケーリングを実装する。調整可能な電流源Ｉｗ＋４８０１及びＩｗ－４８０２はまた、Ｍ：Ｎ比電流ミラー回路（Ｉｏｕｔ＝（Ｍ／Ｎ）*Ｉｉｎ）などによる出力のスケーリングを実装する。積分時間もまた、出力スケーリングを調整することができる。
【0184】
【0185】
図４９Ａでは、出力回路４９０１は、ＡＤＣ回路４９１１を備え、これは、アナログニューロン出力４９１０を直接デジタル化してデジタル出力ビット４９１２を提供するために使用される。
【0186】
図４９Ｂでは、出力回路４９０２は、ニューロン出力回路４９２１及びＡＤＣ４９１１を備える。ニューロン出力回路４９２１は、ニューロン出力４９２０を受信し、それを整形し、その後、それをＡＤＣ回路４９１１によってデジタル化して、出力４９１２を生成する。ニューロン出力回路４９２１は、前述のような正規化、スケーリング、シフト、マッピング、算術演算、活性化、及び／又は温度補償に使用することができる。ＡＤＣ回路は、シリアル（傾斜若しくはランプ若しくはカウント）ＡＤＣ、ＳＡＲ ＡＤＣ、パイプラインＡＤＣ、シグマデルタＡＤＣ、又は任意のタイプのＡＤＣであり得る。
【0187】
図４９Ｃでは、出力回路は、ニューロン出力４９３０を受信するニューロン出力回路４９２１を備え、変換器回路４９３１は、ニューロン出力回路４９２１からの出力を出力４９３２に変換するためのものである。変換器４９３１は、ＡＤＣ、ＡＡＣ（電流－電圧変換器などのアナログ－アナログ変換器）、ＡＰＣ（アナログ－パルス変換器）、又は任意の他のタイプの変換器を備えることができる。ＡＤＣ４９１１又は変換器４９３１は、例えば、ビットマッピング（例えば、量子化）又はクリッピング（例えば、クリップピングされたＲｅＬＵ）によって、活性化関数を実装するために使用され得る。ＡＤＣ４９１１及び変換器４９３１は、より低い又はより高い精度（例えば、より低い又はより高い数のビット）、より低い又はより高い性能（例えば、より遅い又はより速い速度）などのように構成可能であり得る。
【0188】
スケーリング及びシフトのための別の実施形態は、アレイ（ビット線）出力を、より少ない又はより多いビット精度を有するものなどのデジタルビットに変換し、次いで、特定の関数（例えば、線形又は非線形、圧縮、非線形活性化など）に従って、正規化（例えば、１２ビットから８ビット）、シフト、又は再マッピングなどによってデジタル出力ビットを操作するために使用される、（シリアルＡＤＣ、ＳＡＲ ＡＤＣ、パイプラインＡＤＣ、傾斜ＡＤＣなどの）ＡＤＣ（アナログ－デジタル）変換回路を構成することによるものである。ＡＤＣ変換回路の例は、本出願と同じ譲受人によって２０１９年１１月１１日に出願された、「Ｐｒｅｃｉｓｅ Ｐｒｏｇｒａｍｍｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国仮特許出願第６２／９３３，８０９号に記載されており、これは、参照により本明細書に組み込まれる。
【0189】
表１０は、読み出し、消去、及びプログラム動作を実行するための代替アプローチを示す。
表１０：フラッシュメモリセルの動作
読み出し及び消去動作は、前の表と同様である。しかしながら、プログラミングのための２つの方法は、ファウラーノルドハイム（ＦＮ）トンネリング機構によって実装される。
表１０：フラッシュメモリセルの動作
【表10】
【0190】
入力をスケーリングするための実施形態は、一度にＶＭＭの特定の数の行を可能にし、次いで、結果を完全に組み合わせることなどによって行うことができる。
【0191】
別の実施形態は、入力電圧をスケーリングし、正規化のために出力を適切に再スケーリングすることである。
【0192】
パルス幅変調入力をスケーリングするための別の実施形態は、パルス幅のタイミングを変調することによるものである。この技術の一例は、本出願と同じ譲受人によって２０１９年６月２１日に出願された、「Ｃｏｎｆｉｇｕｒａｂｌｅ Ｉｎｐｕｔ Ｂｌｏｃｋｓ ａｎｄ Ｏｕｔｐｕｔ Ｂｌｏｃｋｓ ａｎｄ Ｐｈｙｓｉｃａｌ Ｌａｙｏｕｔ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／４４９，２０１号に記載されており、これは、参照により本明細書に組み込まれる。
【0193】
入力をスケーリングするための別の実施形態は、例えば、８ビット入力ＩＮ７：０について、一度に１つずつ入力バイナリビットを可能にし、順番にそれぞれＩＮ０、ＩＮ１、．．．、ＩＮ７を評価し、次いで、出力結果を適切なバイナリビット重み付けと組み合わせることによるものである。この技術の一例は、本出願と同じ譲受人によって２０１９年６月２１日に出願された、「Ｃｏｎｆｉｇｕｒａｂｌｅ Ｉｎｐｕｔ Ｂｌｏｃｋｓ ａｎｄ Ｏｕｔｐｕｔ Ｂｌｏｃｋｓ ａｎｄ Ｐｈｙｓｉｃａｌ Ｌａｙｏｕｔ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／４４９，２０１号に記載されており、これは、参照により本明細書に組み込まれる。
【0194】
任意選択的に、上記の実施形態では、電流を検証又は読み出す目的でセル電流を測定することは、例えば、８～３２回、平均の又は複数の測定値を取って、（ＲＴＮ若しくは任意のランダムノイズの）ノイズの影響を低減し、及び／又は欠陥があり冗長ビットによって置き換えられる必要があるいずれかの外れ値ビットを検出することであり得る。
【0195】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「の上に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「の上に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板の上に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35A】
【図35B】
【図36A】
【図36B】
【図36C】
【図36D】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49A】
【図49B】
【図49C】