▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特許7404542人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なデータ調整方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-15
(45)【発行日】2023-12-25
(54)【発明の名称】人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なデータ調整方法及び装置
(51)【国際特許分類】
G11C 16/34 20060101AFI20231218BHJP
G06N 3/063 20230101ALI20231218BHJP
G11C 11/54 20060101ALI20231218BHJP
【ＦＩ】
G11C16/34 140
G06N3/063
G11C11/54
【請求項の数】
11
(21)【出願番号】P 2022540417
(86)(22)【出願日】2020-07-02
(65)【公表番号】
(43)【公表日】2023-03-09
(86)【国際出願番号】 US2020040755
(87)【国際公開番号】W WO2021137894
(87)【国際公開日】2021-07-08
【審査請求日】2022-08-25
(31)【優先権主張番号】62/957,013
(32)【優先日】2020-01-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/829,757
(32)【優先日】2020-03-25
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
(72)【発明者】
【氏名】レムケ、スティーブン
(72)【発明者】
【氏名】ティワリ、ビピン
(72)【発明者】
【氏名】ドー、ナン
(72)【発明者】
【氏名】レイテン、マーク
【審査官】後藤 彰
(56)【参考文献】
【文献】特開平８－２４９８９３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１１Ｃ １６／３４
Ｇ０６Ｎ ３／０６３
Ｇ１１Ｃ １１／５４
Ｇ１１Ｃ １６／１０
(57)【特許請求の範囲】
【請求項1】
不揮発性メモリセルのベクトル行列乗算アレイ内の選択された不揮発性メモリセルを調整する方法であって、前記方法は、（ｉ）前記選択された不揮発性メモリセルの初期標的を設定するステップと、
（ｉｉ）前記選択された不揮発性メモリセルに対して、プログラミング動作及び前記初期標的による検証を繰り返し実行するステップと、
（ｉｉｉ）前記検証をパスした前記選択された不揮発性メモリセルに対して読み出し動作を実行し、前記読み出し動作中に前記選択された不揮発性メモリセルによって引き出されたセル出力を決定するステップと、
（ｉｖ）前記決定されたセル出力と標的との間の差に基づいて、出力誤差を計算するステップと、
（ｖ）前記出力誤差が所定のスレッショルド未満になるまで、前記出力誤差に基づいて前記初期標的を設定して、ステップ（ｉ）、（ｉｉ）、（ｉｉｉ）、及び（ｉｖ）を繰り返すステップと、を含む、方法。
【請求項2】
ソフト消去動作を実行するステップを更に含む、請求項１に記載の方法。
【請求項3】
粗プログラミング－検証サイクルを実行するステップを更に含む、請求項１に記載の方法。
【請求項4】
微細プログラミング－検証サイクルを実行するステップを更に含む、請求項１に記載の方法。
【請求項5】
前記選択された不揮発性メモリセルは正の重みを記憶する、請求項１に記載の方法。
【請求項6】
前記選択された不揮発性メモリセルは負の重みを記憶する、請求項１に記載の方法。
【請求項7】
選択された不揮発性メモリセルは正の重みを記憶し、かつ選択された不揮発性メモリセルは負の重みを記憶する、請求項１に記載の方法。
【請求項8】
前記正の重みは非ゼロであり、前記負の重みは非ゼロである、請求項７に記載の方法。
【請求項9】
前記ベクトル行列乗算アレイ内の１つ以上のセルは、Ｆｏｗｌｅｒ－Ｎｏｒｄｈｅｉｍトンネリングを使用してプログラムされる、請求項１に記載の方法。
【請求項10】
前記ベクトル行列乗算アレイ内の１つ以上のセルは、ソースサイド注入を使用してプログラムされる、請求項１に記載の方法。
【請求項11】
セクタ消去を実行するステップと、前記セクタに対してステップ（ｉ）、（ｉｉ）、（ｉｉｉ）、及び（ｉｖ）を実行するステップと、を更に含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０２０年１月３日に出願された「Ｐｒｅｃｉｓｅ Ｄａｔａ Ｔｕｎｉｎｇ Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｍｅｍｏｒｙ Ｉｎ Ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６２／９５７，０１３号、及び２０２０年３月２５日に出願された「Ｐｒｅｃｉｓｅ Ｄａｔａ Ｔｕｎｉｎｇ Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｉｎ Ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／８２９，７５７号の優先権を主張する。
本出願は、２０２０年１月３日に出願された「Ｐｒｅｃｉｓｅ Ｄａｔａ Ｔｕｎｉｎｇ Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｍｅｍｏｒｙ Ｉｎ Ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６２／９５７，０１３号、及び２０２０年３月２５日に出願された「Ｐｒｅｃｉｓｅ Ｄａｔａ Ｔｕｎｉｎｇ Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｉｎ Ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／８２９，７５７号の優先権を主張する。
【0002】
（発明の分野）
人工ニューラルネットワーク内のベクトル行列乗算（ＶＭＭ）アレイ内の不揮発性メモリセルの浮遊ゲートに正確な量の電荷を精密かつ迅速に堆積させるための精密調整方法及び装置について、多数の実施形態が開示される。
人工ニューラルネットワーク内のベクトル行列乗算（ＶＭＭ）アレイ内の不揮発性メモリセルの浮遊ゲートに正確な量の電荷を精密かつ迅速に堆積させるための精密調整方法及び装置について、多数の実施形態が開示される。
【背景技術】
【0003】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これにより、人工ニューラルネットワークは入力に適応し、学習可能になる。典型的には、人工ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信したデータに基づいて個々に又は合わせて決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用人工ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許公開２０１７／０３３７４６６号として公開された米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。本明細書で使用される場合、ニューロモーフィックという用語は、神経システムのモデルを実装する回路を意味する。アナログニューロモーフィックメモリは、第１の複数の入力を受信して、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、各メモリセルは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルのそれぞれは、浮遊ゲートにおけるある個数の電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。この様式で配置されるメモリセルのアレイは、ベクトル行列乗算（ＶＭＭ）アレイと称され得る。
【0007】
ＶＭＭアレイに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持しなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。１つの課題は、異なるＮの値に必要な精度及び粒度で選択されたセルをプログラムする能力である。例えば、選択されたセルが６４個の異なる値のうちの１つを含み得る場合、極めて高い精度がプログラム動作で必要とされる。
【0008】
必要とされるのは、アナログニューロモーフィックメモリにおいてＶＭＭアレイと共に使用するのに適した、改善されたプログラミングシステム及び方法である。
【発明の概要】
【0009】
アナログニューロモーフィックメモリシステム内のＶＭＭアレイ内の不揮発性メモリセルの浮遊ゲートに正確な量の電荷を精密かつ迅速に堆積させるための精密調整アルゴリズム及び装置について、多数の実施形態が開示される。それにより、選択されたセルは、Ｎ個の異なる値のうちの１つを保持するために、極めて高い精度でプログラムすることができる。
【0010】
一実施形態では、不揮発性メモリセルのベクトル行列乗算アレイ内の選択された不揮発性メモリセルを調整する方法が提供され、この方法は、（ｉ）選択された不揮発性メモリセルの初期電流標的を設定するステップと、（ｉｉ）ベクトル行列乗算アレイ内の全ての不揮発性メモリセルに対してソフト消去を実行するステップと、（ｉｉｉ）選択されたメモリセルに対して粗プログラミング動作を実行するステップと、（ｉｖ）選択されたメモリセルに対して微細プログラミング動作を実行するステップと、（ｖ）選択されたメモリセルに対して読み出し動作を実行し、読み出し動作中に選択されたメモリセルによって引き出された電流を決定するステップと、（ｖｉ）決定された電流と初期電流標的との間の差に基づいて、出力誤差を計算するステップと、出力誤差が所定のスレッショルド未満になるまでステップ（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）、（ｖ）、及び（ｖｉ）を繰り返すステップと、を含む。
【0011】
別の実施形態では、不揮発性メモリセルのベクトル行列乗算アレイ内の選択された不揮発性メモリセルを調整する方法が提供され、この方法は、（ｉ）選択された不揮発性メモリセルの初期標的を設定するステップと、（ｉｉ）選択されたメモリセルに対してプログラミング動作を実行するステップと、（ｉｉｉ）選択されたメモリセルに対して読み出し動作を実行し、読み出し動作中に選択されたメモリセルによって引き出されたセル出力を決定するステップと、（ｉｖ）決定された出力と初期標的との間の差に基づいて、出力誤差を計算するステップと、（ｖ）出力誤差が所定のスレッショルド未満になるまでステップ（ｉ）、（ｉｉ）、（ｉｉｉ）、及び（ｉｖ）を繰り返すステップと、を含む。
【0012】
別の実施形態では、ベクトル行列乗算アレイ内の選択されたメモリセルで重み値としてプログラムする電流を提供するためのニューロン出力回路が提供され、ニューロン出力回路は、正の重みを実装するニューロン電流に応答してスケーリングされた電流を生成するための第１の調節可能な電流源と、負の重みを実装するニューロン電流に応答してスケーリングされた電流を生成するための第２の調節可能な電流源と、を含む。
【0013】
別の実施形態では、ベクトル行列乗算アレイ内の選択されたメモリセルで重み値としてプログラムする電流を提供するためのニューロン出力回路であって、ニューロン出力回路は、第１の端子及び第２の端子を含む調節可能なコンデンサであって、第２の端子は、ニューロン出力回路に出力電圧を提供する、調節可能なコンデンサと、第１の端子及び第２の端子を含む制御トランジスタと、調節可能なコンデンサの第１の端子と第２の端子との間に選択的に結合される第１のスイッチと、調節可能なコンデンサの第２の端子と制御トランジスタの第１の端子との間に選択的に結合される第２のスイッチと、制御トランジスタの第２の端子に結合された調節可能な電流源と、を含む。
【0014】
別の実施形態では、ベクトル行列乗算アレイ内の選択されたメモリセルにおけて重み値としてプログラムする電流を提供するためのニューロン出力回路が提供され、ニューロン出力回路は、第１の端子及び第２の端子を含む調節可能なコンデンサであって、第２の端子は、ニューロン出力回路に出力電圧を提供する、調節可能なコンデンサと、第１の端子及び第２の端子を含む制御トランジスタと、調節可能なコンデンサの第２の端子と制御トランジスタの第１の端子との間に選択的に結合されるスイッチと、制御トランジスタの第２の端子に結合された調節可能な電流源と、を含む。
【0015】
別の実施形態では、ベクトル行列乗算アレイ内の選択されたメモリセルで重み値としてプログラムする電流を提供するためのニューロン出力回路であって、ニューロン出力回路は、第１の端子及び第２の端子を含む調節可能なコンデンサであって、第１の端子は、ニューロン出力回路に出力電圧を提供する、調節可能なコンデンサと、第１の端子及び第２の端子を含む制御トランジスタと、調節可能なコンデンサの第１の端子と制御トランジスタの第１の端子との間に選択的に結合される第１のスイッチと、制御トランジスタの第２の端子に結合された調節可能な電流源と、を含む。
【0016】
別の実施形態では、ベクトル行列乗算アレイ内の選択されたメモリセルで重み値としてプログラムする電流を提供するためのニューロン出力回路であって、ニューロン出力回路は、反転入力、非反転入力、及び出力を含む第１の演算増幅器と、反転入力、非反転入力、及び出力を含む第２の演算増幅器と、第１の演算増幅器の反転入力に結合された第１の調節可能な電流源と、第２の演算増幅器の反転入力に結合された第２の調節可能な電流源と、第１の演算増幅器の反転入力に結合された第１の調節可能な抵抗器と、第２の演算増幅器の反転入力に結合された第２の調節可能な抵抗器と、第１の演算増幅器の出力と第２の演算増幅器の反転入力との間に結合された第３の調節可能な抵抗器と、を含む。
【0017】
別の実施形態では、ベクトル行列乗算アレイ内の選択されたメモリセルで重み値としてプログラムする電流を提供するためのニューロン出力回路であって、ニューロン出力回路は、反転入力、非反転入力、及び出力を含む第１の演算増幅器と、反転入力、非反転入力、及び出力を含む第２の演算増幅器と、第１の演算増幅器の反転入力に結合された第１の調節可能な電流源と、第２の演算増幅器の反転入力に結合された第２の調節可能な電流源と、第１の演算増幅器の反転入力と出力との間に結合された第１のスイッチと、第２の演算増幅器の反転入力と出力との間に結合された第２のスイッチと、第１の演算増幅器の反転入力と出力との間に結合された第１の調節可能なコンデンサと、第２の演算増幅器の反転入力と出力との間に結合された第２の調節可能なコンデンサと、第１の演算増幅器の出力と第２の演算増幅器の反転入力との間に結合された第３の調節可能なコンデンサと、を含む。
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】
【0050】
【0051】
【0052】
【0053】
【0054】
【0055】
【0056】
【0057】
【0058】
【0059】
【0060】
【0061】
【0062】
【0063】
【0064】
【0065】
【0066】
【0067】
【0068】
【0069】
【0070】
【0071】
【図面の簡単な説明】
【0072】
【図1】先行技術の人工ニューラルネットワークを示す図である。
【図2】先行技術のスプリットゲートフラッシュメモリセルを示す。
【図3】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図4】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図5】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図6】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図7】先行技術の積層ゲートフラッシュメモリセルを示す。
【図8】１つ以上のＶＭＭアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを示す図である。
【図9】ＶＭＭアレイ及び他の回路を含むＶＭＭシステムを示すブロック図である。
【図10】１つ以上のＶＭＭシステムを利用する例示的な人工ニューラルネットワークを示すブロック図である。
【図11】ＶＭＭアレイの別の実施形態を示す。
【図12】ＶＭＭアレイの別の実施形態を示す。
【図13】ＶＭＭアレイの別の実施形態を示す。
【図14】ＶＭＭアレイの別の実施形態を示す。
【図15】ＶＭＭアレイの別の実施形態を示す。
【図16】ＶＭＭアレイの別の実施形態を示す。
【図17】ＶＭＭアレイの別の実施形態を示す。
【図18】ＶＭＭアレイの別の実施形態を示す。
【図19】ＶＭＭアレイの別の実施形態を示す。
【図20】ＶＭＭアレイの別の実施形態を示す。
【図21】ＶＭＭアレイの別の実施形態を示す。
【図22】ＶＭＭアレイの別の実施形態を示す。
【図23】ＶＭＭアレイの別の実施形態を示す。
【図24】ＶＭＭアレイの別の実施形態を示す。
【図25】先行技術の長・短期メモリシステムを示す。
【図26】長・短期メモリシステムで使用する例示的なセルを示す。
【図29】先行技術のゲート付き回帰型ユニットシステムを示す。
【図30】ゲート付き回帰型ユニットシステムで使用する例示的なセルを示す。
【図33】ＶＭＭシステムを示す。
【図34】調整補正方法を示す。
【図35A】調整補正方法を示す。
【図35B】セクタ調整補正方法を示す。
【図36A】セルに記憶された値に対する温度の影響を示す。
【図36B】ＶＭＭシステムの動作中のデータドリフトによって生じる問題を示す。
【図36C】データドリフトを補償するためのブロックを示す。
【図36D】データドリフトモニタを示す。
【図37】ビット線補償回路を示す。
【図38】別のビット線補償回路を示す。
【図39】別のビット線補償回路を示す。
【図40】別のビット線補償回路を示す。
【図41】別のビット線補償回路を示す。
【図42】別のビット線補償回路を示す。
【図43】ニューロン回路を示す。
【図44】別のニューロン回路を示す。
【図45】別のニューロン回路を示す。
【図46】別のニューロン回路を示す。
【図47】別のニューロン回路を示す。
【図48】別のニューロン回路を示す。
【図49A】出力回路のブロック図を示す。
【図49B】別の出力回路のブロック図を示す。
【図49C】別の出力回路のブロック図を示す。
【発明を実施するための形態】
【0073】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
［不揮発性メモリセル］
［不揮発性メモリセル］
【0074】
デジタル不揮発性メモリは周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種であるスプリットゲート型不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４とドレイン領域１６とを含み、ソース領域１４とドレイン領域１６の間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（かつ、チャネル領域１８の第１の部分の導電性を制御し）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に絶縁されて配設されている（かつ、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、上に向かって浮遊ゲート２０の上方にかけて延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線端子２４はドレイン領域１６に結合される。
【0075】
ワード線端子２２に高圧正電圧を印加することによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。
【0076】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を印加することによってプログラムされる（電子が浮遊ゲートに印加される）。電子電流は、ソース領域１４（ソース線端子）からドレイン領域１６に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、加熱される。熱せられた電子の一部が、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
【0077】
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。
【0078】
表１は、読み出し、消去、及びプログラム動作を実行するためのメモリセル１１０の端子に印加され得る典型的な電圧範囲を示す。
表１：図２のフラッシュメモリセル２１０の動作
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。
表１：図２のフラッシュメモリセル２１０の動作
【表1】
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。
【0079】
図３は、制御ゲート（control gate、ＣＧ）端子２８を追加した、図２のメモリセル２１０と同様のメモリセル３１０を示す。制御ゲート端子２８は、プログラミング中に高電圧（例えば、１０Ｖ）、消去中に低又は負電圧（例えば、０ｖ／－８Ｖ）、読み出し中に低又は中程度電圧（例えば、０ｖ／２．５Ｖ）でバイアスされる。他の端子は、図２の端子と同様にバイアスされる。
【0080】
図４は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル４１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
【0081】
表２は、読み出し、消去、及びプログラム動作を実行するためのメモリセル４１０の端子に印加され得る典型的な電圧範囲を示す。
表２：図４のフラッシュメモリセル４１０の動作
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。
表２：図４のフラッシュメモリセル４１０の動作
【表2】
【0082】
図５は、メモリセル５１０が消去ゲート（erase gate、ＥＧ）端子を含まないことを除いて、図４のメモリセル４１０と同様のメモリセル５１０を示す。消去は、基板１８を高電圧にバイアスし、制御ゲートＣＧ端子２８を低電圧又は負電圧にバイアスすることによって行われる。代替的に、ワード線端子２２を正電圧にバイアスし、制御ゲート端子２８を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図４のものと同様である。
【0083】
図６は、別の種類のフラッシュメモリセルである、３ゲートメモリセル６１０を示す。メモリセル６１０は、メモリセル６１０が別個の制御ゲート端子を有しないことを除いて、図４のメモリセル４１０と同一である。（消去ゲート端子の使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図４のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線端子に印加されなければならない。
【0084】
表３は、読み出し、消去、及びプログラム動作を実行するためのメモリセル６１０の端子に印加され得る典型的な電圧範囲を示す。
表３：図６のフラッシュメモリセル６１０の動作
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。
表３：図６のフラッシュメモリセル６１０の動作
【表3】
【0085】
図７は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル７１０を示す。メモリセル７１０は、浮遊ゲート２０がチャネル領域１８全体の上方にわたって延在し、制御ゲート端子２２（ワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
【0086】
【0087】
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子の出力である読み出しモードである。任意選択的に、メモリセル２１０、３１０、４１０、５１０、６１０、又は７１０の行及び列を含むアレイでは、ソース線は、メモリセルの１行又はメモリセルの隣接する２行に結合され得る。すなわち、ソース線端子は、メモリセルの隣接する行によって共有され得る。
【0088】
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
【0089】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値（１６又は６４の異なる値など）のうちの１つを最低限記憶できることを意味し、これにより、メモリアレイ内の全てのセルが非常に精確に、かつ個別に調整可能となり、またメモリアレイは記憶に対して理想的になり、ニューラルネットワークのシナプシスの重みに微調整が可能となる。
【0090】
本明細書に記載される方法及び手段は、限定することなく、ＳＯＮＯＳ（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（抵抗変化型メモリ）、ＰＣＭ（相変化メモリ）、ＭＲＡＭ（磁気抵抗メモリ）、ＦｅＲＡＭ（強誘電体メモリ）、ＯＴＰ（バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（強相関電子メモリ）などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、ＳＲＡＭ、ＤＲＡＭ、及び他の揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
［不揮発性メモリセルアレイを使用するニューラルネットワーク］
［不揮発性メモリセルアレイを使用するニューラルネットワーク］
【0091】
図８は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実施することも可能である。
【0092】
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）はシナプスＣＢ１に提供され、そこでこれらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【0093】
本例では、層Ｃ１において、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、層Ｃ１は、２次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
【0094】
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、それぞれ１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類（クラス分け）を示すことができる。
【0095】
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。
【0096】
図９は、その目的のために使用可能なシステムのブロック図である。ＶＭＭシステム３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭシステム３２は、行及び列に配置された不揮発性メモリセルを含むＶＭＭアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３３への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、ＶＭＭアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、ＶＭＭアレイ３３の出力をデコードすることができる。
【0097】
ＶＭＭアレイ３３は、２つの目的を果たす。第１に、それは、ＶＭＭシステム３２によって使用される重みを記憶する。第２に、ＶＭＭアレイ３３は、効果的に、入力に、ＶＭＭアレイ３３に記憶された重みを乗算し、それらを出力線（ソース線又はビット線）ごとに合計して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、ＶＭＭアレイ３３は、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
【0098】
ＶＭＭアレイ３３の出力は、ＶＭＭアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動加算器（加算オペアンプ又は加算カレントミラーなど）３８に供給される。差動加算器３８は、正の重み入力及び負の重み入力両方の総和を実行して単一の値を出力するように配置される。
【0099】
差動加算器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド関数、ｔａｎｈ関数、ＲｅＬＵ関数、又は任意の他の非線形関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図８のＣ１）の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、ＶＭＭアレイ３３は、複数のシナプス（それらは、ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）を構成し、加算器３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0100】
図９のＶＭＭシステム３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、デジタルパルス（この場合、パルスを適切な入力アナログレベルに変換するために、パルス－アナログ変換器ＰＡＣが必要とされ得る）又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが提供される）であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビットであり得る（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが提供される）。
【0101】
図１０は、図中でＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭシステム３２の多数の層の使用を示すブロック図である。図１０に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭシステム３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭシステム３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭシステム３２ａへのマッピングされたアナログ入力に変換するように、アナログ－アナログ（Ａ／Ａ）変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力ＶＭＭシステム３２ａへのマッピングされたデジタルパルス（単数又は複数）に変換するために、デジタル－デジタルパルス（Ｄ／Ｐ）変換器によって行うこともできる。
【0102】
入力ＶＭＭシステム３２ａによって生成された出力は、次に、次のＶＭＭシステム（隠しレベル１）３２ｂへの入力として提供され、次に、次のＶＭＮシステム３２ｂは、入力ＶＭＭシステム（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭシステム３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれ、対応の不揮発性メモリアレイを含むスタンドアローンの物理的システムとすることができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。それぞれのＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図１０に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。
［ＶＭＭアレイ］
［ＶＭＭアレイ］
【0103】
図１１は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０１と、不揮発性基準メモリセルの基準アレイ１１０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することができる。
【0104】
ＶＭＭアレイ１１００では、制御ゲート線１１０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ１１０２が、制御ゲート線１１０３に直交する）、消去ゲート線１１０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ１１００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ１１００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0105】
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ１１００の不揮発性メモリセル、すなわちＶＭＭアレイ１１００のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
【0106】
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓはドレイン－ソース間電流であり、Ｖｇは、メモリセルのゲート電圧であり、Ｖｔｈは、メモリセルのスレッショルド電圧であり、Ｖｔは、熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷とし、ｎは、傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、及びＣｏｘはゲート酸化物層の容量とし、Ｉｏは、スレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは、（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓはドレイン－ソース間電流であり、Ｖｇは、メモリセルのゲート電圧であり、Ｖｔｈは、メモリセルのスレッショルド電圧であり、Ｖｔは、熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷とし、ｎは、傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、及びＣｏｘはゲート酸化物層の容量とし、Ｉｏは、スレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは、（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
【0107】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流Ｉｄｓを入力電圧Ｖｇに変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0108】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流Ｉｄｓを入力電圧Ｖｇに変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
【0109】
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0110】
ベクトル行列乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
Ｉｉｎ＝ｗｐ*Ｉｏ*ｅ(Vg)/nVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
Ｉｉｎ＝ｗｐ*Ｉｏ*ｅ(Vg)/nVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
【0111】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0112】
代替的、本明細書に記載されたＶＭＭアレイの不揮発性メモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）
すなわち、直線領域における重量Ｗは、（Ｖｇｓ－Ｖｔｈ）に比例する。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）
すなわち、直線領域における重量Ｗは、（Ｖｇｓ－Ｖｔｈ）に比例する。
【0113】
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
【0114】
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
【0115】
代替的に、本明細書に記載されたＶＭＭアレイのメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２*β*（Ｖｇｓ－Ｖｔｈ）2； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する。
Ｉｄｓ＝１／２*β*（Ｖｇｓ－Ｖｔｈ）2； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する。
【0116】
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
【0117】
代替的に、本明細書に記載されるＶＭＭアレイのメモリセルは、全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用することができる。
【0118】
図９のＶＭＭアレイ３３のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
【0119】
図１２は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１２００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。アレイの列方向に配置された基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１２１４（一部のみ示す）を通してダイオード接続される。基準セルは、標的基準レベルに調整（例えば、プログラム）される。標的基準レベルは、基準ミニアレイ行列（図示せず）によって提供される。
【0120】
メモリアレイ１２０３は、２つの目的を果たす。第１に、それは、ＶＭＭアレイ１２００により使用される重みを、それぞれのメモリセルに記憶する。第２に、メモリアレイ１２０３は、メモリセルアレイ１２０３に記憶された重みによって、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１２０１及び１２０２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）を有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ１２０３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にビット線ＢＬ０～ＢＬＮそれぞれに現れる。各々のビット線ＢＬ０～ＢＬＮに配置された電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
【0121】
表５は、ＶＭＭアレイ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示し、ＦＬＴは、浮遊、すなわち電圧が印可されないことを示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表５：図１２のＶＭＭアレイ１２００の動作
表５：図１２のＶＭＭアレイ１２００の動作
【表5】
【0122】
図１３は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を含む。基準アレイ１３０１及び１３０２は、ＶＭＭアレイ１３００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１３００においてワード線が垂直方向に延びることを除いて、ＶＭＭ １０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0123】
表６は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表６：図１３のＶＭＭアレイ１３００の動作
表６：図１３のＶＭＭアレイ１３００の動作
【表6】
【0124】
図１４は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１４００を示す。ＶＭＭアレイ１４００は、不揮発性メモリセルのメモリアレイ１４０３と、第１の不揮発性基準メモリセルの基準アレイ１４０１と、第２の不揮発性基準メモリセルの基準アレイ１４０２と、を含む。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１４１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１４１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）の一定電圧を確実にするために、それぞれのマルチプレクサ１４０５及びカスコーディングトランジスタ１４０４を各々含む。基準セルは、標的基準レベルに調整される。
【0125】
メモリアレイ１４０３は、２つの目的を果たす。第１に、それは、ＶＭＭアレイ１４００によって使用される重みを記憶する。第２に、メモリアレイ１４０３は、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に、メモリセルアレイに記憶された重みを掛けて、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに出現し、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線に加えられる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0126】
ＶＭＭアレイ１４００は、メモリアレイ１４０３内の不揮発性メモリセルの一方向調整を実施する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに記憶されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。
表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表７：図１４のＶＭＭアレイ１４００の動作
表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表７：図１４のＶＭＭアレイ１４００の動作
【表7】
【0127】
図１５は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１５００を示す。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、第１の不揮発性基準メモリセルの基準アレイ１５０１と、第２の不揮発性基準メモリセルの基準アレイ１５０２とを含む。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１５００は、ＶＭＭアレイ１５００が双方向調整を実装することを除いてＶＭＭアレイ１４００と同様であり、個々のセルはそれぞれ、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３内の入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１５１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【0128】
表８は、ＶＭＭアレイ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表８：図１５のＶＭＭアレイ１５００の動作
表８：図１５のＶＭＭアレイ１５００の動作
【表8】
【0129】
図１６は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１６００を示す。ＶＭＭアレイ１６００では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNでそれぞれ受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3にそれぞれ生成される。
【0130】
図１７は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１７００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3でそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0131】
図１８は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0132】
図１９は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0133】
図２０は、図４に示されるメモリセル４１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnがそれぞれ垂直制御ゲート線ＣＧ0、．．．、ＣＧNで受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
【0134】
図２１は、図４に示されるメモリセル４１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２１００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ結合されているビット線制御ゲート２９０１－１、２９０１－２、．．．、２９０１－（Ｎ－１）及び２９０１－Ｎのゲートでそれぞれ受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
【0135】
図２２は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２２００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成される。
【0136】
図２３は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２３００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMで受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ソース線ＳＬ0、．．．、ＳＬNにそれぞれ生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線に結合されている。
【0137】
図２４は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２４００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMで受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成され、各ビット線ＢＬiは、列ｉ内の全てのメモリセルのビット線に結合されている。
［長・短期メモリ］
［長・短期メモリ］
【0138】
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭは、人工ニューラルネットワークで使用されることが多い。ＬＳＴＭは、人工ニューラルネットワークが、所定の任意の期間にわたって情報を覚え、後続の動作においてその情報を使用することを可能にする。従来のＬＳＴＭは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調整する。ＶＭＭは、ＬＳＴＭにおいて特に有用である。
【0139】
図２５は、例示的なＬＳＴＭ２５００を示す。この例におけるＬＳＴＭ２５００は、セル２５０１、２５０２、２５０３、及び２５０４を含む。セル２５０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル２５０２は、入力ベクトルｘ1と、セル２５０１からの出力ベクトル（隠れ状態）ｈ0と、セル２５０１からのセル状態ｃ0とを受け取り、出力ベクトルｈ1とセル状態ベクトルｃ1とを生成する。セル２５０３は、入力ベクトルｘ2と、セル２５０２からの出力ベクトル（隠れ状態）ｈ1と、セル２５０２からのセル状態ｃ1とを受け取り、出力ベクトルｈ2とセル状態ベクトルｃ2とを生成する。セル２５０４は、入力ベクトルｘ3と、セル２５０３からの出力ベクトル（隠れ状態）ｈ2と、セル２５０３からのセル状態ｃ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
【0140】
図２６は、図２５のセル２５０１、２５０２、２５０３及び２５０４に使用可能なＬＳＴＭセル２６００の例示的な実装を示す。ＬＳＴＭセル２６００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）とを受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
【0141】
ＬＳＴＭセル２６００は、シグモイド関数デバイス２６０１、２６０２、及び２６０３を含み、各々が０～１の数を適用することで、入力ベクトルのそれぞれの成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル２６００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス２６０４及び２６０５と、２つのベクトルを乗算するための乗算器デバイス２６０６、２６０７、及び２６０８と、２つのベクトルを加算するための加算器デバイス２６０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができ、又は他の目的でアクセスすることができる。
【0142】
図２７は、ＬＳＴＭセル２６００の一実装の一例であるＬＳＴＭセル２７００を示す。読者の便宜のために、ＬＳＴＭセル２６００からの同じ採番方法が、ＬＳＴＭセル２７００で使用される。シグモイド関数デバイス２６０１、２６０２、及び２６０３、並びにｔａｎｈデバイス２６０４は各々、複数のＶＭＭアレイ２７０１及び活性化回路ブロック２７０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが理解できる。
【0143】
ＬＳＴＭセル２７００の代替例（及びＬＳＴＭセル２６００の一実装の別の例）を図２８に示す。図２８では、シグモイド関数デバイス２６０１、２６０２及び２６０３、並びにｔａｎｈデバイス２６０４は、同じ物理ハードウェア（ＶＭＭアレイ２８０１及び活性化関数ブロック２８０２）を、時分割多重化された方式で共有し得る。ＬＳＴＭセル２８００はまた、２つのベクトルを乗算するための乗算器デバイス２８０３と、２つのベクトルを加算するための加算器デバイス２８０８と、（活性化回路ブロック２８０２を含む）ｔａｎｈデバイス２６０５と、シグモイド関数ブロック２８０２から出力される値ｉ（ｔ）を記憶するレジスタ２８０７と、マルチプレクサ２８１０を介して乗算器デバイス２８０３から出力される値ｆ（ｔ）*ｃ（ｔ－１）を記憶するレジスタ２８０４と、マルチプレクサ２８１０を介して乗算器デバイス２８０３から出力される値ｉ（ｔ）*ｕ（ｔ）を記憶するレジスタ２８０５と、マルチプレクサ２８１０を介して乗算器デバイス２８０３から出力される値ｏ（ｔ）*ｃ～（ｔ）を記憶するレジスタ２８０６と、マルチプレクサ２８０９と、を含む。
【0144】
ＬＳＴＭセル２７００がＶＭＭアレイ２７０１とそれぞれの活性化関数ブロック２７０２との複数のセットを含むのに対し、ＬＳＴＭセル２８００は、ＬＳＴＭセル２８００の実施形態において複数の層を表すために使用されるＶＭＭアレイ２８０１と活性化関数ブロック２８０２との１つのセットのみ含む。ＬＳＴＭセル２８００は、ＬＳＴＭセル２７００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭ２７００よりも必要とするスペースが少ない。
【0145】
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、ＶＭＭアレイ自体の外側に必要とされる回路の最小化を試みる。
［ゲート付き回帰型ユニット］
［ゲート付き回帰型ユニット］
【0146】
アナログＶＭＭ実装を、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）に利用することができる。ＧＲＵは、反復人工ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
【0147】
図２９は、例示的なＧＲＵ２９００を示す。この例におけるＧＲＵ２９００は、セル２９０１、２９０２、２９０３及び２９０４を含む。セル２９０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル２９０２は、入力ベクトルｘ1と、セル２９０１からの出力ベクトルｈ0とを受け取り、出力ベクトルｈ1を生成する。セル２９０３は、入力ベクトルｘ2と、セル２９０２からの出力ベクトル（隠れ状態）ｈ1とを受け取り、出力ベクトルｈ2を生成する。セル２９０４は、入力ベクトルｘ3と、セル２９０３からの出力ベクトル（隠れ状態）ｈ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
【0148】
図３０は、図２９のセル２９０１、２９０２、２９０３、及び２９０４に使用することができるＧＲＵセル３０００の例示的な実装を示す。ＧＲＵセル３０００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）とを受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル３０００は、シグモイド関数デバイス３００１及び３００２を含み、それらの各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル３０００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス３００３と、２つのベクトルを乗算するための複数の乗算器デバイス３００４、３００５及び３００６と、２つのベクトルを加算するための加算器デバイス３００７と、１から入力を減算して出力を生成するためのコンプリメンタリデバイス３００８とを含む。
【0149】
図３１は、ＧＲＵセル３０００の一実装の一例であるＧＲＵセル３１００を示す。読者の便宜のために、ＧＲＵセル３０００からの同じ採番方法が、ＧＲＵセル３１００で使用される。図３１から分かるように、シグモイド関数デバイス３００１及び３００２、並びにｔａｎｈデバイス３００３は各々、複数のＶＭＭアレイ３１０１及び活性化関数ブロック３１０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが理解できる。
【0150】
ＧＲＵセル３１００の代替例（及びＧＲＵセル３０００の一実装の別の例）を図３２に示す。図３２において、ＧＲＵセル３２００は、ＶＭＭアレイ３２０１及び活性化関数ブロック３２０２を使用しており、シグモイド関数として構成された場合には、０～１の数を適用することで、入力ベクトルのそれぞれの成分が出力ベクトルに寄与する程度を制御する。図３２では、シグモイド関数デバイス３００１及び３００２、並びにｔａｎｈデバイス３００３は、同じ物理ハードウェア（ＶＭＭアレイ３２０１及び活性化関数ブロック３２０２）を、時分割多重化された方式で共有する。ＧＲＵセル３２００はまた、２つのベクトルを乗算するための乗算器デバイス３２０３と、２つのベクトルを加算するための加算器デバイス３２０５と、１から入力を減算して出力を生成するためのコンプリメンタリデバイス３２０９と、マルチプレクサ３２０４と、マルチプレクサ３２０４を介して乗算器デバイス３２０３から出力される値ｈ（ｔ－１）*ｒ（ｔ）を保持するレジスタ３２０６と、マルチプレクサ３２０４を介して乗算器デバイス３２０３から出力される値ｈ（ｔ－１）*ｚ（ｔ）を保持するレジスタ３２０７と、マルチプレクサ３２０４を介して乗算器デバイス３２０３から出力される値ｈ＾（ｔ）*（１－ｚ（（ｔ））を保持するレジスタ３２０８と、を含む。
【0151】
ＧＲＵセル３１００がＶＭＭアレイ３１０１と活性化関数ブロック３１０２との複数のセットを含むのに対し、ＧＲＵセル３２００は、ＧＲＵセル３２００の実施形態において複数の層を表すために使用されるＶＭＭアレイ３２０１と活性化関数ブロック３２０２の１つのセットのみを含む。ＧＲＵセル３２００は、ＧＲＵセル３１００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル３１００よりも必要とするスペースが少ない。
【0152】
ＧＲＵを利用するシステムは典型的には複数のＶＭＭアレイを含み、これらの各々は、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、ＶＭＭアレイ自体の外側に必要とされる回路の最小化を試みる。
【0153】
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、タイミングパルス、又はデジタルビットであり得、出力はアナログレベル、バイナリレベル、タイミングパルス、又はデジタルビット（この場合、出力アナログレベルの電流又は電圧をデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
【0154】
ＶＭＭアレイ内のそれぞれのメモリセルに関して、それぞれの重みｗは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つ以上のセルの平均）によって実装することができる。差分セルの場合では、重みｗを差分重み（ｗ＝ｗ＋ － ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みｗを実装するために２つのメモリセルが必要とされる。
［ＶＭＭ内のセルの精密調整のための実施形態］
［ＶＭＭ内のセルの精密調整のための実施形態］
【0155】
図３３は、ＶＭＭシステム３３００のブロック図を示す。ＶＭＭシステム３３００は、ＶＭＭアレイ３３０１、行デコーダ３３０２、高電圧デコーダ３３０３、列デコーダ３３０４、ビット線ドライバ３３０５、入力回路３３０６、出力回路３３０７、制御論理３３０８、及びバイアス生成器３３０９を含む。ＶＭＭシステム３３００は、チャージポンプ３３１１、チャージポンプ調整器３３１２、及び高電圧レベル生成器３３１３を含む高電圧生成ブロック３３１０を更に含む。ＶＭＭシステム３３００は、アルゴリズムコントローラ３３１４、アナログ回路３３１５、制御論理３３１６、及び試験制御論理３３１７を更に含む。以下に記載されるシステム及び方法は、ＶＭＭシステム３３００に実装され得る。
【0156】
入力回路３３０６は、ＤＡＣ（デジタル－アナログ変換器）、ＤＰＣ（デジタル－パルス変換器）、ＡＡＣ（電流－電圧変換器などのアナログ－アナログ変換器）、ＰＡＣ（パルス－アナログレベル変換器）、又は任意の他のタイプの変換器などの回路を含み得る。入力回路３３０６は、正規化、スケーリング関数、又は算術関数を実装し得る。入力回路３３０６は、入力のための温度補償機能を実装し得る。入力回路３３０６は、ＲｅＬＵ又はシグモイド関数などの活性化関数を実装し得る。
【0157】
出力回路３３０７は、ＡＤＣ（ニューロンアナログ出力をデジタルビットに変換するためのアナログ－デジタル変換器）、ＡＡＣ（電流－電圧変換器などのアナログ－アナログ変換器）、ＡＰＣ（アナログ－パルス変換器）、又は任意の他のタイプの変換器などの回路を含み得る。出力回路３３０７は、ＲｅＬＵ又はシグモイド関数などの活性化関数を実装し得る。出力回路３３０７は、ニューロン出力のための正規化、スケーリング関数、又は算術関数を実装し得る。出力回路３３０７は、以下に記載されるように、ニューロン出力又はアレイ出力（ビット線出力など）のための温度補償関数を実装し得る。
【0158】
図３４は、ＶＭＭシステム３３００内のアルゴリズムコントローラ３３１４によって実行され得る調整補正方法３４００を示す。調整補正方法３４００は、セル出力から生じる最終誤差と、セルの元の標的とに基づいて適応標的を生成する。この方法は、典型的には、受信される調整コマンドに応答して開始される（ステップ３４０１）。選択されたセル又は選択されたセルのグループに対する初期電流標的（プログラム／検証アルゴリズムに使用される）、Ｉｔａｒｇｅｔｖ（ｉ）は、関数又はルックアップテーブルを使用することなどによって予測標的モデルを使用して決定され、変数ＤｅｌｔａＥｒｒｏｒは０に設定される（ステップ３４０２）。標的関数は、使用される場合、選択された一つのメモリセル又はセルグループのＩ－Ｖプログラム曲線に基づく。標的関数はまた、セルが示すプログラムディスターブの程度（セクタ内のセルアドレス及びセルレベルに依存し、セルは、比較的大きいディスターブを示す場合、抑止状態でより多くのプログラム時間に晒され、より高い電流を有するセルは、典型的により多くのディスターブを有する）、セル対セルの結合、及び様々なタイプのアレイノイズなどのアレイの特徴によって引き起こされる様々な変異に依存する。これらの変異は、ケイ素のＰＶＴ（プロセス、電圧、温度）で特徴付けられ得る。ルックアップテーブルは、使用される場合、Ｉ－Ｖ曲線及び様々な変異をエミュレートするために同じ方法で特徴付けられ得る。
【0159】
次に、それぞれのセルが、読み出し動作中に例えば約３～５μＡの電流を引き込むように、ＶＭＭ内の全てのセルに対して、それぞれのセルを中間弱消去レベルに消去するソフト消去が実行される（ステップ３４０３）。ソフト消去は、例えば、中間セル電流に達するまで、セルに増分消去パルス電圧を適用することによって実行される。次に、深いプログラミング操作が、例えば、＜ｐＡ電流レベルに達するために、全ての未使用のセルに対して実行される（ステップ３４０４）。次いで、誤差結果に基づく標的調節（補正）が実行される。セルがプログラミングでオーバーシュートを受けたことを意味する、ＤｅｌｔａＥｒｒｏｒ＞０の場合、Ｉｔａｒｇｅｔｖ（ｉ＋１）は、次いで、Ｉｔａｒｇｅｔ＋ｔｈｅｔａ*ＤｅｌｔａＥｒｒｏｒに設定され、ｔｈｅｔａは、例えば、１又は１に近い数値である（ステップ３４０５Ａ）。
【0160】
Ｉｔａｒｇｅｔ（ｉ＋１）はまた、適切な誤差標的調節／補正によって以前のＩｔａｒｇｅｔ（ｉ）に基づいて調節され得る。セルがプログラミングでアンダーシュートを受けたことを意味するＤｅｌｔａＥｒｒｏｒ＜０の場合、セル電流がまだ標的に到達していないことを意味し、次いで、Ｉｔａｒｇｅｔｖ（ｉ＋１）は以前の標的Ｉｔａｒｇｅｔｖ（ｉ）に設定される（ステップ３４０５Ｂ）。
【0161】
次に、粗プログラム及び／又は微細プログラム並びに検証動作が実行される（ステップ３４０６）。精密（微細）プログラミングステップを実行する前に、複数の徐々に小さくなる粗標的を標的とすることなどによって、複数の適応粗プログラミング方法が使用されて、プログラミングが加速され得る。適応精密プログラミングは、例えば、微細（精密）増分プログラム電圧パルス又は一定のプログラムタイミングパルスで行われる。粗プログラミング及び微細プログラミングを実行するためのシステム及び方法の例は、参照により本明細書に組み込まれる、本出願と同じ譲受人によって、２０１９年１１月１１日に出願された「Ｐｒｅｃｉｓｅ Ｐｒｏｇｒａｍｍｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国仮特許出願第６２／９３３，８０９号に記載されている。
【0162】
Ｉｃｅｌｌは、選択されたセルで測定される（ステップ３４０７）。セル電流は、例えば、電流計回路によって測定され得る。セル電流は、例えば、ＡＤＣ（アナログ－デジタル変換器）回路によって測定され得、この場合、出力はデジタルビットによって表される。セル電流は、例えば、Ｉ－Ｖ（電流－電圧変換器）回路によって測定され得、この場合、出力は、アナログ電圧によって表される。ＤｅｌｔａＥｒｒｏｒが計算され、これは、Ｉｃｅｌｌ－Ｉｔａｒｇｅｔであり、測定されたセル（Ｉｃｅｌｌ）内の実際の電流と標的電流（Ｉｔａｒｇｅｔ）との間の差を表す。｜ＤｅｌｔａＥｒｒｏｒ｜＜ＤｅｌｔａＭａｒｇｉｎの場合、セルは、特定の許容誤差（ＤｅｌｔａＭａｒｇｉｎ）内の標的電流を達成し、方法は終了する（ステップ３４１０）。｜Ｄｅｌｔａｅｒｒｏｒ｜＝ａｂｓ（ＤｅｌｔａＥｒｒｏｒ）＝ＤｅｌｔａＥｒｒｏｒの絶対値である。そうでない場合、方法はステップ３４０３に戻り、ステップを順次再実行する（ステップ３４１０）。
【0163】
図３５Ａ及び図３５Ｂは、ＶＭＭシステム３３００内のアルゴリズムコントローラ３３１４によって実行され得る調整補正方法３５００を示す。図３５Ａを参照すると、方法は、典型的には受信される調整コマンドに応答して開始する（ステップ３５０１）。ＶＭＭアレイ全体は、ソフト消去方法などによって消去される（ステップ３５０２）。深いプログラミング動作は、セル電流＜ｐＡレベルを得るために、全ての未使用のセルに対して実行される（ステップ３５０３）。ＶＭＭアレイ内の全てのセルは、粗及び／又は微細プログラミングサイクルを使用して、０．５～１．０μＡなどの中間値にプログラムされる（ステップ３５０４）。粗プログラミング及び微細プログラミングを実行するためのシステム及び方法の例は、参照により本明細書に組み込まれる、本出願と同じ譲受人によって、２０１９年１１月１１日に出願された「Ｐｒｅｃｉｓｅ Ｐｒｏｇｒａｍｍｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国仮特許出願第６２／９３３，８０９号に記載されている。上述のように、関数又はルックアップテーブルを使用して、使用されるセルに対する予測標的が設定される（ステップ３５０５）。次に、ＶＭＭ内のそれぞれのセクタに対してセクタ調整方法３５０７が実行される（ステップ３５０６）。セクタは、典型的には、アレイ内の２つ以上の隣接する行からなる。
【0164】
図３５Ｂは、適応標的セクタ調整方法３５０７を示す。セクタ内の全てのセルは、（１）粗／微細／一定Ｐ／Ｖサイクル、（２）ＣＧ＋（ＣＧ増分のみ）又はＥＧ＋（ＥＧ増分のみ）又は相補的ＣＧ＋／ＥＧ－（ＣＧ増分及びＥＧ減分）、（３）最初にプログラムされる最も深いセル（セルをグループにまとめることを意味する進行性グループ化などであり、最低電流を有するセルを有するグループが最初にプログラムされる）などの個々の又は組み合わされたプログラム／検証（Ｐ／Ｖ）方法を使用して、最終的に所望される値（例えば、１ｎＡ～５０ｎＡ）にプログラムされる（ステップ３５０８Ａ）。次に、Ｉｃｅｌｌ＜Ｉｔａｒｇｅｔであるか否かについての決定が行われる（ステップ３５０８Ｂ）。はいの場合、方法はステップ３５０９に進む。いいえの場合、方法はステップ３５０８Ａを繰り返す。ステップ３５０９において、ＤｅｌｔａＥｒｒｏｒが測定され、これは、測定されたＩｃｅｌｌ－Ｉｔａｒｇｅｔ（ｉ＋１）に等しい（ステップ３５０９）。｜ＤｅｌｔａＥｒｒｏｒ｜＜ＤｅｌｔａＭａｒｇｉｎであるか否かについての決定が行われる（ステップ３５１０）。はいの場合、方法は完了する（ステップ３５１１）。いいえの場合、標的調節が実行される。セルがプログラミングでオーバーシュートを受けたことを意味するＤｅｌｔａＥｒｒｏｒ＞０の場合、標的は、新しい標的をＩｔａｒｇｅｔ＋ｔｈｅｔａ*ＤｅｌｔａＥｒｒｏｒに設定することによって調節され、ｔｈｅｔａは、典型的には＝１である（ステップ３５１２Ａ）。Ｉｔａｒｇｅｔ（ｉ＋１）はまた、適切な誤差標的調節／補正で、以前のＩｔａｒｇｅｔ（ｉ）に基づいて調節され得る。セルがプログラミングでアンダーシュートを受けたことを意味するＤｅｌｔａＥｒｒｏｒ＜０の場合、セルがまだ標的に到達していないことを意味し、標的は、Ｉｔａｒｇｅｔ（ｉ＋１）＝Ｉｔａｒｇｅｔｖ（ｉ）を意味する以前の標的を保持することによって調節される（ステップ３５１２Ｂ）。セクタをソフト消去する（ステップ３５１３）。セクタの全てのセルを中間値にプログラムし（ステップ３５１４）、ステップ３５０９に戻る。
【0165】
典型的なニューラルネットワークは、正の重みｗ＋及び負の重みｗ－を有し得、複合重み＝ｗ＋ － ｗ－である。ｗ＋及びｗ－は、それぞれメモリセルによって実装され（それぞれＩｗ＋及びＩｗ－）、複合重み（Ｉｗ＝Ｉｗ＋ － Ｉｗ－、電流減算）は、周辺回路レベル（アレイビット線出力回路など）で実行され得る。したがって、複合重みに関する重み調整実施形態は、表８に示される例のように、ｗ＋セルとｗ－セルとの両方を同時に調整すること、ｗ＋セルのみを調整すること、又はｗ－セルのみを調整することを含み得る。調整は、図３４／図３５Ａ／図３５Ｂに関して前述したプログラム／検証及び誤差標的調節方法を使用して実行される。検証は、複合重みのみに対して（例えば、個々の正のｗ＋セル電流又はｗ－セル電流、ｗ＋セル電流のみ、又はｗ－セル電流のみではなく、複合重み電流を測定して／読み出して）実行され得る。
【0166】
例えば、３ｎａの複合Ｉｗの場合、Ｉｗ＋は３ｎａであり得、Ｉｗ－は０ｎａであり得るか、又は、Ｉｗ＋は１３ｎａであり得、Ｉｗ－は１０ｎａであり得、これは、正の重みＩｗ＋及び負の重みＩｗ－の両方がゼロではないことを意味する（例えば、ゼロは、深くプログラムされたセルを表す）。これは、Ｉｗ＋及びＩｗ－の両方がノイズの影響を受けにくくなるため、特定の動作条件において好ましいものであり得る。
表９：重み調整方法
表９：重み調整方法
【表9】
【0167】
図３６Ａは、温度（例としてサブスレッショルド領域内）に対するデータ挙動（Ｉ－Ｖ曲線）を示し、図３６Ｂは、ＶＭＭシステムの動作中のデータドリフトによって生じた問題を示し、図３６Ｃ及び図３６Ｄは、データドリフトを補償するためのブロックを示し、図３６Ｃに関しては、温度変化を補償するためのブロックを示す。
【0168】
図３６Ａは、動作温度が増加するにつれて、ＶＭＭアレイ内の任意の所与の選択された不揮発性メモリセル内で検知される電流がサブスレッショルド領域で増加するか、飽和領域で減少するか、又は一般に線形領域で減少する、ＶＭＭシステムの既知の特徴を示す。
【0169】
図３６Ｂは、時間の使用に伴うアレイ電流分布（データドリフト）を示し、これは、ＶＭＭアレイからの集合出力（ＶＭＭアレイ内の全てのビット線からの電流の合計）が、動作時間の使用に伴って右側（又は、利用される技術によっては左側）にシフトすることを示し、合計集合出力がＶＭＭシステムの耐用年数の使用に伴ってドリフトすることを意味する。この現象は、データドリフトとして知られ、データは、使用条件及び環境要因による劣化に起因してドリフトする。
【0170】
図３６Ｃは、データドリフトを補償するために、ビット線出力回路３６１０の出力に補償電流ｉCOMPを注入することを含み得る、ビット線補償回路３６００を示す。ビット線補償回路３６００は、抵抗器又はコンデンサネットワークに基づいて、スケーラ回路によって出力をスケールアップ又はスケールダウンすることを含み得る。ビット線補償回路３６００は、その抵抗器又はコンデンサネットワークに基づいてシフタ回路によって出力をシフト又はオフセットすることを含み得る。
【0171】
図３６Ｄは、データドリフトの量を検出するデータドリフトモニタ３６２０を示す。その情報は、次いで、ビット線補償回路３６００への入力として使用され、その結果、適切なレベルのｉCOMPが選択され得る。
【0172】
図３７は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路３７００を示す。ビット線補償回路３７００は、調節可能な電流源３７０１及び調節可能な電流源３７０２を含み、これらの電流源は一緒にｉCOMPを生成し、ｉCOMPは、調節可能な電流源３７０１によって生成された電流から調節可能な電流源３７０１によって生成された電流を引いた値に等しい。
【0173】
図３８は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路３７００を示す。ビット線補償回路３８００は、演算増幅器３８０１、調節可能な抵抗器３８０２、及び調節可能な抵抗器３８０３を含む。演算増幅器３８０１は、その非反転端子で基準電圧ＶＲＥＦを受け取り、その反転端子でＶINPUTを受け取り、ＶINPUTは、図３６Ｃのビット線出力回路３６１０から受け取った電圧であり、ＶOUTPUTの出力を生成し、ＶOUTPUTは、抵抗器３８０３及び３８０２の比に基づいてデータドリフトを補償するための、ＶINPUTのスケーリングされたバージョンである。抵抗器３８０３及び／又は３８０２の値を構成することにより、ＶOUTPUTはスケールアップ又はスケールダウンされ得る。
【0174】
図３９は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路３９００を示す。ビット線補償回路３９００は、演算増幅器３９０１、電流源３９０２、スイッチ３９０４、及び調節可能な積分出力コンデンサ３９０３を含む。ここで、電流源３９０２は、実際には、ＶＭＭアレイ内の単一ビット線又は複数のビット線（正の重み（ｗ＋）を合計するためのもの、及び負の重み（ｗ－）を合計するためのものなど）の集合における出力電流である。演算増幅器３９０１は、その非反転端子で基準電圧ＶＲＥＦを受け取り、その反転端子でＶINPUTを受け取り、ＶINPUTは、図３６Ｃのビット線出力回路３６１０から受け取った電圧である。ビット線補償回路３９００は、調節可能な積分時間におけるコンデンサ３９０３を通る電流Ｉｎｅｕを積分して、出力電圧ＶOUTPUTを生成する積分器として機能し、ＶOUTPUT＝Ｉｎｕｅ*積分時間／Ｃ3903であり、Ｃ3903はコンデンサ３９０３の値である。したがって、出力電圧ＶOUTPUTは、（ビット線）出力電流Ｉｎｅｕに比例し、積分時間に比例し、コンデンサ３９０３の静電容量に反比例する。ビット線補償回路３９００は、ＶOUTPUTの出力を生成し、ＶOUTPUTの値は、データドリフトを補償するために、コンデンサ３９０３の構成値及び／又は積分時間に基づいてスケーリングされる。
【0175】
図４０は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路４０００を示す。ビット線補償回路４０００は、Ｍ：Ｎ比のカレントミラー４０１０を含み、これは、ＩCOMP＝（Ｍ／Ｎ）*ｉinputを意味する。カレントミラー４０１０は、電流ｉINPUTを受け取り、その電流をミラーリングし、任意選択的にその電流をスケーリングしてｉCOMPを生成する。したがって、Ｍ及び／又はＮパラメータを構成することによって、ｉCOMPはスケールアップ又はスケールダウンされ得る。
【0176】
図４１は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路４１００を示す。ビット線補償回路４１００は、演算増幅器４１０１、調節可能なスケーリング抵抗器４１０２、調節可能なシフト抵抗器４１０３、及び調節可能な抵抗器４１０４を含む。演算増幅器４１０１は、その非反転端子で基準電圧ＶREFを受け取り、その反転端子でＶINを受け取る。ＶINは、ＶINPUT及びＶｓｈｆｔに応答して生成され、ＶINPUTは、図３６Ｃのビット線出力回路３６１０から受信された電圧であり、Ｖｓｈｆｔは、ＶINPUTとＶOUTPUTとの間のシフトを実装することを意図した電圧である。
このように、ＶOUTPUTは、データドリフトを補償するための、ＶINPUTのスケーリング及びシフトされたバージョンである。
このように、ＶOUTPUTは、データドリフトを補償するための、ＶINPUTのスケーリング及びシフトされたバージョンである。
【0177】
図４２は、図３６のビット線補償回路３６００の一実施形態であるビット線補償回路４２００を示す。ビット線補償回路４２００は、演算増幅器４２０１、入力電流源Ｉｎｅｕ４２０２、電流シフタ４２０３、スイッチ４２０５及び４２０６、並びに調節可能な積分出力コンデンサ４２０４を含む。ここで、電流源４２０２は、実際には、ＶＭＭアレイ内の単一ビット線又は複数のビット線における出力電流Ｉｎｅｕである。演算増幅器４２０１は、その非反転端子で基準電圧ＶＲＥＦを受け取り、その反転端子でＩINを受け取り、ＩINは、Ｉｎｕｅと電流シフタ４２０３によって出力される電流との合計であり、ＶOUTPUTの出力を生成し、ＶOUTPUTは、データドリフトを補償するために（コンデンサ４２０４に基づいて）スケーリング及び（Ｉｓｈｉｆｔｅｒ４２０３に基づいて）シフトされる。
【0178】
【0179】
図４３は、調節可能な電流源４３０１及び調節可能な電流源４３０２を含むニューロン出力回路４３００を示し、これらの電流源は一緒にＩOUTを生成し、ＩOUTは、調節可能な電流源４３０１によって生成される電流ＩW+から、調節可能な電流源４３０２によって生成される電流ＩW-を引いた値に等しい。調節可能な電流Ｉｗ＋４３０１は、正の重みを実装するための、セル電流又はニューロン電流（ビット線電流など）のスケーリングされた電流である。調節可能な電流Ｉｗ－４３０２は、負の重みを実装するための、セル電流又はニューロン電流（ビット線電流など）のスケーリングされた電流である。電流スケーリングは、Ｍ：Ｎ比のカレントミラー回路、Ｉｏｕｔ＝（Ｍ／Ｎ）*Ｉｉｎなどによって行われる。
【0180】
図４４は、調節可能なコンデンサ４４０１と、制御トランジスタ４４０５と、スイッチ４４０２と、スイッチ４４０３と、調節可能な電流源４４０４Ｉｗ＋と、を含むニューロン出力回路４４００を示し、このＩｗ＋は、Ｍ：Ｎカレントミラー回路などによるセル電流又は（ビット線）ニューロン電流のスケーリングされた出力電流である。トランジスタ４４０５は、例えば、電流４４０４に固定バイアス電圧を課すために使用される。回路４４０４はＶOUTを生成し、ＶOUTは、コンデンサ４４０１に反比例し、調節可能な積分時間（時間スイッチ４４０３が閉じ、スイッチ４４０２が開いていた時間）に比例し、調節可能な電流源４４０４、ＩW+によって生成された電流に比例する。ＶOUTは、Ｖ＋ －（（Ｉｗ＋*積分時間）／Ｃ4401）に等しく、Ｃ4401は、コンデンサ４４０１の値である。コンデンサ４４０１の正端子Ｖ＋は正の供給電圧が接続され、コンデンサ４４０１の負端子Ｖ－は出力電圧ＶOUTが接続される。
【0181】
図４５は、コンデンサ４４０１及び調節可能な電流源４５０２を含むニューロン回路４５００を示し、これは、Ｍ：Ｎカレントミラーなどによる、セル電流又は（ビット線）ニューロン電流のスケーリングされた電流である。回路４５００は、ＶOUTを生成し、ＶOUTは、コンデンサ４４０１に反比例し、調節可能な積分時間（スイッチ４５０１が開いていた時間）に比例し、調節可能な電流源４５０２、ＩWiによって生成された電流に比例する。コンデンサ４４０１は、電流Ｉｗ＋を積分するその動作を完了した後、ニューロン出力回路４４から再使用される。次いで、正端子及び負端子（Ｖ＋及びＶ－）は、ニューロン出力回路４５内で交換され、正端子には、電流Ｉｗ－によって非積分化される出力電圧ＶOUTがかけられる。負端子は、クランプ回路（図示せず）によって以前の電圧値に保持される。事実上、出力回路４４は、正の重みの実装に使用され、回路４５は、負の重みの実装に使用され、コンデンサ４４０１の最終電荷は、複合重み（Ｑｗ＝Ｑｗ＋－Ｑｗ－）を効果的に表す。
【0182】
図４６は、調節可能なコンデンサ４６０１、スイッチ４６０２、制御トランジスタ４６０４、及び調節可能な電流源４６０３を含むニューロン回路４６００を示す。回路４６００は、ＶOUTを生成し、ＶOUTは、コンデンサ４６０１に反比例し、調節可能な積分時間（スイッチ４６０２が開いていた時間）に比例し、調節可能な電流源４６０３、ＩW-によって生成された電流に比例する。コンデンサ４６０１の負端子Ｖ－は、例えば、接地に等しい。コンデンサ４６０１の正端子Ｖ＋は、例えば、電流Ｉｗ－を積分する前に正電圧に最初にプリチャージされる。ニューロン回路４６００は、複合重み（Ｑｗ＝Ｑｗ＋ － Ｑｗ－）を実装するために、ニューロン回路４４００と共にニューロン回路４５００の代わりに使用され得る。
【0183】
図４７は、演算増幅器４７０３及び４７０６と、調節可能な電流源Ｉｗ＋４７０１及びＩｗ－４７０２と、調節可能な抵抗器４７０４、４７０５、及び４７０７と、を含むニューロン回路４７００を示す。ニューロン回路４７００は、Ｒ４７０７*（Ｉｗ＋ － Ｉｗ－）に等しいＶOUTを生成する。調節可能な抵抗器４７０７は、出力のスケーリングを実装する。調節可能な電流源Ｉｗ＋４７０１及びＩｗ－４７０２はまた、Ｍ：Ｎ比のカレントミラー回路（Ｉｏｕｔ＝（Ｍ／Ｎ）*Ｉｉｎ）などによる出力のスケーリングを実装する。
【0184】
図４８は、演算増幅器４８０３及び４８０６と、スイッチ４８０８及び４８０９と、調節可能な電流源Ｉｗ－４８０２及びＩｗ＋４８０１と、調節可能なコンデンサ４８０４、４８０５、及び４８０７と、を含む、ニューロン回路４８００を示す。ニューロン回路４８００は、（Ｉｗ＋ － Ｉｗ－）に比例し、積分時間（スイッチ４８０８及び４８０９が開いていた時間）に比例し、コンデンサ４８０７の静電容量に反比例する、ＶOUTを生成する。調節可能なコンデンサ４８０７は、出力のスケーリングを実装する。調節可能な電流源Ｉｗ＋４８０１及びＩｗ－４８０２はまた、Ｍ：Ｎ比のカレントミラー回路（Ｉｏｕｔ＝（Ｍ／Ｎ）*Ｉｉｎ）などによる出力のスケーリングを実装する。積分時間もまた、出力スケーリングを調節し得る。
【0185】
【0186】
図４９Ａでは、出力回路４９０１は、ＡＤＣ回路４９１１を含み、これは、アナログニューロン出力４９１０を直接デジタル化してデジタル出力ビット４９１２を提供するために使用される。
【0187】
図４９Ｂでは、出力回路４９０２は、ニューロン出力回路４９２１及びＡＤＣ４９１１を含む。ニューロン出力回路４９２１はニューロン出力４９２０を受信し、ＡＤＣ回路４９１１によってデジタル化される前にそれを成形して、出力４９１２を生成する。ニューロン出力回路４９２１は、前述のような正規化、スケーリング、シフト、マッピング、算術演算、活性化、及び／又は温度補償に使用され得る。ＡＤＣ回路は、シリアル（スロープ又はランプ又はカウント）ＡＤＣ、ＳＡＲ ＡＤＣ、パイプラインＡＤＣ、シグマデルタＡＤＣ、又は任意のタイプのＡＤＣであり得る。
【0188】
図４９Ｃでは、出力回路は、ニューロン出力４９３０を受け取るニューロン出力回路４９２１を含み、変換器回路４９３１は、ニューロン出力回路４９２１からの出力を出力４９３２に変換するためのものである。変換器４９３１は、ＡＤＣ、ＡＡＣ（電流－電圧変換器などのアナログ－アナログ変換器）、ＡＰＣ（アナログ－パルス変換器）、又は任意の他のタイプの変換器を含み得る。ＡＤＣ４９１１又は変換器４９３１は、例えば、ビットマッピング（例えば、量子化）又はクリッピング（例えば、クリップされたＲｅＬＵ）によって、活性化関数を実装するために使用され得る。ＡＤＣ４９１１及び変換器４９３１は、より低い又はより高い精度（例えば、より小さい又はより大きい数のビット）、より低い又はより高い性能（例えば、より遅い又はより速い速度）などのように構成可能であり得る。
【0189】
スケーリング及びシフトに関する別の実施形態は、アレイ（ビット線）の出力を、より低い又はより高いビット精度を有するようなデジタルビットに変換し、次いで、特定の関数（例えば、線形又は非線形、圧縮、非線形活性化など）に従って、正規化（例えば、１２ビット～８ビット）、シフト、又は再マッピングなどを介してデジタル出力ビットを操作するために使用される、ＡＤＣ（アナログ－デジタル）変換回路（例えば、シリアルＡＤＣ、ＳＡＲ ＡＤＣ、パイプラインＡＤＣ、スロープＡＤＣなど）を構成することによるものである。ＡＤＣ変換回路の例は、参照により本明細書に組み込まれる、本出願と同じ譲受人によって、２０１９年１１月１１日に出願された「Ｐｒｅｃｉｓｅ Ｐｒｏｇｒａｍｍｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国仮特許出願第６２／９３３，８０９号に記載されている。
【0190】
表１０は、読み出し、消去、及びプログラム動作を実行するための代替アプローチを示す。
表１０：フラッシュメモリセルの動作
読み出し及び消去動作は、前の表と同様である。しかしながら、プログラミングのためのこの２つの方法は、Ｆｏｗｌｅｒ－Ｎｏｒｄｈｅｉｍ（ＦＮ）トンネリング機構によって実装される。
表１０：フラッシュメモリセルの動作
【表10】
【0191】
入力のスケーリングに関する実施形態は、ＶＭＭの特定の数の行を一度に有効にし、次いで結果をまとめて組み合わせることなどによって行われ得る。
【0192】
別の実施形態は、入力電圧をスケーリングし、正規化のために出力を適切に再スケーリングする。
【0193】
パルス幅変調入力のスケーリングに関する別の実施形態は、パルス幅のタイミングを調整することによるものである。この技術の例は、参照により本明細書に組み込まれる、２０１９年６月２１日に本出願と同じ譲受人によって出願された「Ｃｏｎｆｉｇｕｒａｂｌｅ Ｉｎｐｕｔ Ｂｌｏｃｋｓ ａｎｄ Ｏｕｔｐｕｔ Ｂｌｏｃｋｓ ａｎｄ Ｐｈｙｓｉｃａｌ Ｌａｙｏｕｔ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／４４９，２０１号に記載されている。
【0194】
入力をスケーリングするための別の実施形態は、入力バイナリビットを一度に１つずつ有効にすることによるものであり、例えば、８ビット入力ＩＮ７：０の場合、ＩＮ０、ＩＮ１、．．．、ＩＮ７をそれぞれ連続して評価し、次いで、出力結果を適切なバイナリビット重み付けと組み合わせる。この技術の例は、参照により本明細書に組み込まれる、２０１９年６月２１日に本出願と同じ譲受人によって出願された「Ｃｏｎｆｉｇｕｒａｂｌｅ Ｉｎｐｕｔ Ｂｌｏｃｋｓ ａｎｄ Ｏｕｔｐｕｔ Ｂｌｏｃｋｓ ａｎｄ Ｐｈｙｓｉｃａｌ Ｌａｙｏｕｔ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１６／４４９，２０１号に記載されている。
【0195】
任意選択的に、上記の実施形態では、電流を検証するか又は読み出す目的でセル電流を測定することは、ノイズ（ＲＴＮ又は任意のランダムノイズなど）の影響を低減するため、及び／又は欠陥があり、冗長ビットによって置き換えられる必要がある全ての外れ値ビットを検出するために、平均又は複数の測定、例えば、８～３２回の測定を取ることであり得る。
【0196】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「の上に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「の上に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35A】
【図35B】
【図36A】
【図36B】
【図36C】
【図36D】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49A】
【図49B】
【図49C】