特許 7428820 適応型重みマッピング及び分散電力を有する実質的に一定のアレイソースインピーダンスを有する人工ニューラルネットワーク内のアナログニューラルメモリアレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-29

(45)【発行日】2024-02-06

(54)【発明の名称】適応型重みマッピング及び分散電力を有する実質的に一定のアレイソースインピーダンスを有する人工ニューラルネットワーク内のアナログニューラルメモリアレイ

(51)【国際特許分類】

   G11C 16/26 20060101AFI20240130BHJP

   G11C 11/54 20060101ALI20240130BHJP

   G11C 16/04 20060101ALI20240130BHJP

【ＦＩ】

G11C16/26

G11C11/54

G11C16/04 120

【請求項の数】 28

(21)【出願番号】P 2022552600

(86)(22)【出願日】2020-09-03

(65)【公表番号】

(43)【公表日】2023-04-13

(86)【国際出願番号】 US2020049291

(87)【国際公開番号】W WO2021178002

(87)【国際公開日】2021-09-10

【審査請求日】2022-10-28

(31)【優先権主張番号】62/985,826

(32)【優先日】2020-03-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/986,812

(32)【優先日】2020-08-06

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500147506

【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド

【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．

(74)【代理人】

【識別番号】110000626

【氏名又は名称】弁理士法人英知国際特許商標事務所

(72)【発明者】

【氏名】トラン、ヒュー バン

(72)【発明者】

【氏名】ブー、サン

(72)【発明者】

【氏名】トリン、ステファン

(72)【発明者】

【氏名】ホン、スタンレー

(72)【発明者】

【氏名】リ、アン

(72)【発明者】

【氏名】ティワリ、ビピン

【審査官】後藤 彰

(56)【参考文献】

【文献】国際公開第２０１９／２１２６９９（ＷＯ，Ａ１）

【文献】特開２０００－２５１４８９（ＪＰ，Ａ）

【文献】国際公開第２０２０／０４０８９３（ＷＯ，Ａ１）

【文献】米国特許第０９８７５７８０（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１１Ｃ １６／０４

Ｇ１１Ｃ １１／５４

Ｇ１１Ｃ １６／２６

(57)【特許請求の範囲】

【請求項1】

アナログニューラルメモリシステムであって、
不揮発性メモリセルのアレイであって、前記セルは、行及び列に配置され、セルの第１の複数の列内のセルの各列は、複数のビット線内の異なるビット線に接続され、セルの第２の複数の列内のセルの各列は、複数のダミービット線内の異なるダミービット線に接続されている、不揮発性メモリセルのアレイと、
前記アレイの第１の端部に配置されたダミービット線スイッチのセットであって、前記ダミービット線スイッチのセットの各々は、前記複数のダミービット線内の前記ダミービット線のうちの１つに結合されている、ダミービット線スイッチのセットと、
前記アレイの前記第１の端部の反対側の前記アレイの第２の端部に配置されたビット線スイッチのセットであって、前記ビット線スイッチのセットの各々は、前記複数のビット線内の前記ビット線のうちの１つに結合されている、ビット線スイッチのセットと、を備える、アナログニューラルメモリシステム。

【請求項2】

前記ダミービット線スイッチのセットの各々は、前記結合されたダミービット線を接地に引っ張るように構成されている、請求項１に記載のシステム。

【請求項3】

前記複数のビット線に取り付けられたセルが、読み出し動作のために選択されるとき、アレイビット線相互接続インピーダンスは、実質的に一定のままである、請求項２に記載のシステム。

【請求項4】

ダミービット線スイッチのセットにおける前記ダミービット線スイッチのうちの２つ以上は、共通の接地に接続されている、請求項１に記載のシステム。

【請求項5】

前記ビット線のうちの２つ以上は、互いに結合されている、請求項１に記載のシステム。

【請求項6】

前記複数のビット線に取り付けられたセルが、読み出し動作のために選択されるとき、アレイビット線相互接続インピーダンスは、実質的に一定のままである、請求項１に記載のシステム。

【請求項7】

前記ビット線スイッチのセットは、感知回路、合算器、又はアナログ－デジタル変換器回路のうちの１つ以上に結合する、請求項１に記載のシステム。

【請求項8】

前記アレイ内の前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項１に記載のシステム。

【請求項9】

前記アレイ内の前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項１に記載のシステム。

【請求項10】

１つ以上のビット線からの出力を合算するための合算器を更に備える、請求項１に記載のシステム。

【請求項11】

前記合算器は、可変抵抗器に基づいて調整可能である、請求項１０に記載のシステム。

【請求項12】

前記合算器は、可変コンデンサに基づいて調整可能である、請求項１０に記載のシステム。

【請求項13】

前記合算器の出力をデジタル信号に変換するためのアナログ－デジタル変換器を更に備える、請求項１０に記載のシステム。

【請求項14】

前記アナログ－デジタル変換器は、逐次近似レジスタを備える、請求項１３に記載のシステム。

【請求項15】

前記アナログ－デジタル変換器は、パイプライン型アナログ－デジタル変換器である、請求項１４に記載のシステム。

【請求項16】

不揮発性メモリセルの行のソース線端子に結合されたソース線と、
前記ソース線を接地に引っ張るように構成されたソース線トランジスタと、を更に備える、請求項１に記載のシステム。

【請求項17】

前記ビット線に取り付けられたセルが動作のために選択されるとき、アレイ相互接続インピーダンスは実質的に一定のままである、請求項１６に記載のシステム。

【請求項18】

前記ビット線スイッチのセットは、感知回路、合算器、又はアナログ－デジタル変換器回路のうちの１つ以上に結合する、請求項１６に記載のシステム。

【請求項19】

前記ダミービット線スイッチのセットにおける前記ダミービット線スイッチのうちの２つ以上は、共通の接地に接続されている、請求項１６に記載のシステム。

【請求項20】

アナログニューラルメモリシステムであって、
不揮発性メモリセルの第１のアレイであって、前記セルは、行及び列に配置され、セルの第１の複数の列内のセルの各列は、複数のビット線内の異なるビット線に接続され、セルの第２の複数の列内のセルの各列は、複数のダミービット線内の異なるダミービット線に接続されている、不揮発性メモリセルの第１のアレイと、
不揮発性メモリセルの第２のアレイであって、前記第２のアレイ内の前記セルは、行及び列に配置され、前記第２のアレイ内のセルの第２の複数の列は、前記複数のビット線内の異なるビット線に接続され、前記第２のアレイ内のセルの第２の複数の列は、複数のダミービット線内の異なるダミービット線に接続されている、不揮発性メモリセルの第２のアレイと、
前記第１のアレイ及び前記第２のアレイに結合され、接地に結合されたマルチプレクサのセットと、を備え、
前記第１のアレイ及び前記第２のアレイのアレイ相互接続インピーダンスは、前記ビット線に取り付けられたセルが動作のために選択されているとき、実質的に一定のままである、アナログニューラルメモリシステム。

【請求項21】

前記第１のアレイ及び前記第２のアレイ内の前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項２０に記載のシステム。

【請求項22】

前記第１のアレイ及び前記第２のアレイ内の前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項２０に記載のシステム。

【請求項23】

１つ以上のビット線からの出力を合算するための合算器を更に備える、請求項２０に記載のシステム。

【請求項24】

前記合算器は可変抵抗器に基づいて調整可能である、請求項２３に記載のシステム。

【請求項25】

前記合算器は可変コンデンサに基づいて調整可能である、請求項２３に記載のシステム。

【請求項26】

前記合算器の出力をデジタル信号に変換するためのアナログ－デジタル変換器を更に備える、請求項２３に記載のシステム。

【請求項27】

前記アナログ－デジタル変換器は逐次近似レジスタを備える、請求項２６に記載のシステム。

【請求項28】

前記アナログ－デジタル変換器はパイプライン型アナログ－デジタル変換器である、請求項２７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（優先権の主張）
本出願は、２０２０年３月５日に出願され「Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ａｒｒａｙ ｉｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｗｉｔｈ Ａｃｃｕｒａｔｅ Ａｒｒａｙ Ｓｏｕｒｃｅ Ｉｍｐｅｄａｎｃｅ Ｗｉｔｈ Ａｄａｐｔｉｖｅ Ｗｅｉｇｈｔ Ｍａｐｐｉｎｇ ａｎｄ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｏｗｅｒ」と題する米国特許仮出願第６２／９８５，８２６号、及び、２０２０年８月６日に出願され「Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ａｒｒａｙ ｉｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ｓｕｂｓｔａｎｔｉａｌｌｙ Ｃｏｎｓｔａｎｔ Ａｒｒａｙ Ｓｏｕｒｃｅ Ｉｍｐｅｄａｎｃｅ ｗｉｔｈ Ａｄａｐｔｉｖｅ Ｗｅｉｇｈｔ Ｍａｐｐｉｎｇ ａｎｄ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｏｗｅｒ」と題する米国特許出願第１６／９８６，８１２号の優先権を主張する。

【0002】

（発明の分野）
アナログニューラルメモリアレイの多数の実施形態が、開示されている。特定の実施形態では、アレイ内の各メモリセルは、そのセルが動作されているときに、ほぼ一定のソースインピーダンスを有する。特定の実施形態では、電力消費は、セルが読み出されるときに、アレイ内のビット線からビット線まで実質的に一定である。特定の実施形態では、重みマッピングは、電力及びノイズにおける最適な性能のために適応的に実行される。

【背景技術】

【0003】

人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。

【0004】

図１は、人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表わす。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、人工ニューラルネットワークは入力に適応し、学習可能になる。典型的には、人工ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルでニューロンは、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。

【0005】

高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用人工ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。

【0006】

出願人は以前に、参照により組み込まれる米国特許公開第２０１７／０３３７４６６号として公開された米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。本明細書で使用される場合、ニューロモーフィックという用語は、神経システムのモデルを実装する回路を意味する。アナログニューロモーフィックメモリは、第１の複数の入力を受信して、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、各メモリセルは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲート上の多くの電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。この様式で配置されるメモリセルのアレイは、ベクトル行列乗算（vector by matrix multiplication、ＶＭＭ）アレイと称され得る。

【0007】

ここで、ＶＭＭで使用することができる異なる不揮発性メモリセルの例を考察する。
＜＜不揮発性メモリセル＞＞

【0008】

様々な種類の既知の不揮発性メモリセルをＶＭＭアレイに使用することができる。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種であるスプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４とドレイン領域１６と、を含み、ソース領域１４とドレイン領域１６の間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁された、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線端子２４はドレイン領域１６に結合される。

【0009】

ワード線端子２２に高圧正電圧を印加することによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラー・ノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。

【0010】

メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を印加することによってプログラムされる（電子が浮遊ゲートに印加される）。電子電流は、ドレイン領域１６からソース領域１４（ソース線端子）に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、エネルギーを与えられる（発熱する）。熱せられた電子の一部が、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。

【0011】

メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として感知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として感知される。

【0012】

表１は、読み出し、消去、及びプログラム動作を実行するためのメモリセル１１０の端子に印加され得る、典型的な電圧範囲を示す。
表１：図２のフラッシュメモリセル２１０の動作

【表1】

「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子に出力される読み出しモードである。

【0013】

図３は、制御ゲート（control gate、ＣＧ）端子２８を追加した、図２のメモリセル２１０と同様のメモリセル３１０を示す。制御ゲート端子２８は、プログラミング中に高電圧（例えば、１０Ｖ）、消去中に低又は負電圧（例えば、０ｖ／－８Ｖ）、読み出し中に低又は中程度電圧（例えば、０ｖ／２．５Ｖ）でバイアスされる。他の端子は、図２の端子と同様にバイアスされる。

【0014】

図４は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を備える、４ゲートメモリセル４１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。

【0015】

表２は、読み出し、消去、及びプログラム動作を実行するためのメモリセル４１０の端子に印加され得る典型的な電圧範囲を示す。
表２：図４のフラッシュメモリセル４１０の動作

【表2】

「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子に出力される読み出しモードである。

【0016】

図５は、メモリセル５１０が消去ゲート（erase gate、ＥＧ）端子を含まないことを除いて、図４のメモリセル４１０と同様のメモリセル５１０を示す。消去は、基板１８を高電圧にバイアスし、制御ゲートＣＧ端子２８を低電圧又は負電圧にバイアスすることによって行われる。代替的に、ワード線端子２２を正電圧にバイアスし、制御ゲート端子２８を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図４のものと同様である。

【0017】

図６は、別の種類のフラッシュメモリセルである、３ゲートメモリセル６１０を示す。メモリセル６１０は、メモリセル６１０が別個の制御ゲート端子を有しないことを除いて、図４のメモリセル４１０と同一である。（消去ゲート端子の使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図４のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線端子に印加されなければならない。

【0018】

表３は、読み出し、消去、及びプログラム動作を実行するためのメモリセル６１０の端子に印加され得る典型的な電圧範囲を示す。
表３：図６のフラッシュメモリセル６１０の動作

【表3】

「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子に出力される読み出しモードである。

【0019】

図７は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル７１０を示す。メモリセル７１０は、浮遊ゲート２０がチャネル領域１８全体の上方にわたって延在し、制御ゲート端子２２（ワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。プログラミングは、チャネル１８から、ドレイン領域１６の隣のチャネル領域内の浮遊ゲート２０へのホット電子注入を使用して実行され、消去は、浮遊ゲート２０から基板１２へのファウラー・ノルドハイム電子トンネリングによって実行される。読み出し動作は、メモリセル２１０について前述したものと同様の様式で動作する。

【0020】

表４は、読み出し、消去、及びプログラム動作を実行するためのメモリセル７１０及び基板１２の端子に印加され得る典型的な電圧範囲を示す。
表４：図７のフラッシュメモリセル７１０の動作

【表4】

【0021】

「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子に出力される読み出しモードである。任意選択的に、メモリセル２１０、３１０、４１０、５１０、６１０、又は７１０の行及び列を含むアレイでは、ソース線は、メモリセルの１行又はメモリセルの２つの隣接する行に結合され得る。すなわち、ソース線端子は、メモリセルの隣接する行によって共有され得る。

【0022】

図８は、ツインスプリットゲートメモリセル８１０を示す。ツインスプリットゲートメモリセル８１０は、一対のメモリセル（左側にＡ及び右側にＢ）を備え、メモリセルの各々は、基板１２の上方にそれから絶縁されて配設された浮遊ゲート（ＦＧＡ、ＦＧＢ）２０と、浮遊ゲート２０の上方にそれらから絶縁されて配設された制御ゲート２８（ＣＧＡ、ＣＧＢ）と、浮遊ゲート及び制御ゲート２０／２８に隣接してそれらから絶縁されて配設され、かつ基板１２の上方にそれから絶縁されて配設された消去ゲート３０（ＥＧ）であって、消去ゲートはＴ字形で作成され、その結果、各浮遊ゲートのＦＧＡ、ＦＧＢの上隅部が、Ｔ字形消去ゲートのそれぞれの内側隅部に面して消去効率を改善させる、消去ゲート３０（ＥＧ）と、浮遊ゲート２０に隣接した基板内のドレイン領域１６（ＤＲＡ、ＤＲＢ）（それぞれのドレイン領域１６（ＤＲＡ、ＤＲＢ）に接続されたビット線コンタクト２４（ＢＬＡ、ＢＬＢ）を有する）と、を備える。メモリセルは、共通消去ゲート３０を共有するメモリセルの対として形成される。このセル設計は、少なくとも、消去ゲートＥＧの下のソース領域を欠き、選択ゲート（ワード線とも称される）を欠き、各メモリセルのチャネル領域を欠く点で、図２～７を参照して上で考察されるメモリセルとは異なる。代わりに、単一の連続チャネル領域１８が両メモリセルの下に延在する（すなわち、一方のメモリセルのドレイン領域１６から他方のメモリセルのドレイン領域１６まで延在する）。一方のメモリセルの読み出し又はプログラムを行うためには、他方のメモリセルの制御ゲート２８を十分な電圧まで上昇させて、それらの間にある浮遊ゲート２０への電圧結合によって、下にあるチャネル領域部分を起動させる（例えば、セルＡの読み出し又はプログラムを行うためには、ＣＧＢからの電圧結合によってＦＧＢ上の電圧を上昇させて、ＦＧＢ下のチャネル領域を起動させる）。消去は、浮遊ゲート２０Ａ及び／又は浮遊ゲート２０Ｂから消去ゲート３０へのファウラー・ノルドハイム電子トンネリングを使用して実行される。プログラミングは、チャネル１８から浮遊ゲート２０へのホット電子注入を使用して実行される。

【0023】

表５は、読み出し、消去、及びプログラム動作を実行するためのメモリセル８１０の端子に印加され得る典型的な電圧範囲を示す。セルＡ（ＦＧ、ＣＧＡ、ＢＬＡ）は、読み出し、プログラム、及び消去動作のために選択される。
表５：図８のフラッシュメモリセル８１０の動作

【表5】

【0024】

上記の不揮発性メモリセルの種類のうちの１つを備えるメモリアレイを人工ニューラルネットワークにおいて利用するために、一実施形態では、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。

【0025】

具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲート上の電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、又は完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。これは、セル記憶がアナログであるか、又は多数の不連続値（１６個又は２５６個の異なる値など）のうちの１つを最低限記憶することができることを意味し、それは、メモリアレイ内の全てのセルの非常に精確、かつ個々のチューニングを可能とし、かつそれは、メモリアレイを、ニューラルネットワークの微細チューニングされたシナプシス重みを記憶及び作成するために理想的なものにする。

【0026】

本明細書に記載される方法及び手段は、限定することなく、ＦＩＮＦＥＴスプリットゲートフラッシュ又はスタックゲートフラッシュ、ＳＯＮＯＳ（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（抵抗変化型メモリ）、ＰＣＭ（相変化メモリ）、ＭＲＡＭ（磁気抵抗メモリ）、ＦｅＲＡＭ（強誘電体メモリ）、ＯＴＰ（バイレベル又はマルチレベルの１回のみのプログラム可能）及びＣｅＲＡＭ（強相関電子メモリ）などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、ＳＲＡＭ、ＤＲＡＭ、及び他の揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
＜＜不揮発性メモリセルアレイを使用するニューラルネットワーク＞＞

【0027】

図９は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。

【0028】

Ｓ０は、入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは、５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと称される）は、シナプスＣＢ１に提供され、そこで、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合算後、単一の出力値が決定され、層Ｃ１の特徴マップの１つのピクセルを生成するためにＣＢ１の第１のシナプスによって提供される。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。

【0029】

本例では、層Ｃ１において、各々３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、層Ｃ１は、２次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界識別など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するために使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又は特定の特徴のアスペクト比などを識別することができる。

【0030】

層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数Ｐ１の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存性を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、各々１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、層Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へ行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラス（分類）を決定する。この出力は、例えば、元の画像の内容の識別又は分類を示すことができる。

【0031】

シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。

【0032】

図１０は、その目的のために使用可能なシステムのブロック図である。ＶＭＭシステム３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭシステム３２は、行及び列に配置された不揮発性メモリセルを備えるＶＭＭアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を備え、それらのデコーダは、不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３３への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、ＶＭＭアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、ＶＭＭアレイ３３の出力をデコードすることができる。

【0033】

ＶＭＭアレイ３３は、２つの目的を果たす。第１に、ＶＭＭシステム３２によって使用される重みを記憶する。第２に、ＶＭＭアレイ３３は、効果的に、入力に、ＶＭＭアレイ３３に記憶された重みを乗算し、それらを出力線（ソース線又はビット線）ごとに加算して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、ＶＭＭアレイ３３は、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。

【0034】

ＶＭＭアレイ３３の出力は、不揮発性メモリセルアレイ３３の出力を合算してその畳み込み用の単一の値を作成する、差動合算器（合算演算増幅器又は合算電流ミラーなど）３８に供給される。差動合算器３８は、正の重み入力及び負の重み入力両方の合算を実行して単一の値を出力するように配置される。

【0035】

差動合算器３８の合算された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド関数、ｔａｎｈ関数、ＲｅＬＵ関数、又は任意の他の非線形関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図８のＣ１）の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、ＶＭＭアレイ３３は、複数のシナプス（それは、ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）を構成し、合算器３８及び活性化関数回路３９は、複数のニューロンを構成する。

【0036】

図１０のＶＭＭシステム３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、デジタルパルス（この場合、パルスを適切な入力アナログレベルに変換するためにパルス－アナログ変換器ＰＡＣが必要とされ得る）又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが提供される）であり得、出力は、アナログレベル（例えば、電流、電圧、又は電荷）、バイナリレベル、デジタルパルス、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが提供される）であり得る。

【0037】

図１１は、図中でＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭシステム３２の多数の層の使用を示すブロック図である。図１１に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭシステム３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭシステム３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭシステム３２ａへのマッピングされたアナログ入力に変換するように、アナログ－アナログ（Ａ／Ａ）変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力ＶＭＭシステム３２ａへのマッピングされたデジタルパルス（単数又は複数）に変換するように、デジタル－デジタルパルス（Ｄ／Ｐ）変換器によって行うこともできる。

【0038】

入力ＶＭＭシステム３２ａによって生成された出力は、次に、次のＶＭＭシステム（隠しレベル１）３２ｂへの入力として提供され、次に、次のＶＭＭシステムが、さらに次の入力ＶＭＭシステム（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭシステム３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれ、対応の不揮発性メモリアレイを備える、スタンドアローンの物理的システムとすることができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。各ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図１１に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。
＜＜ＶＭＭアレイ＞＞

【0039】

図１２は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１２００を示す。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０１と、不揮発性基準メモリセルの基準アレイ１２０２（アレイの頂部に位置する）と、を備える。代替的に、別の基準アレイが底部に位置することができる。

【0040】

ＶＭＭアレイ１２００では、制御ゲート線１２０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ１２０２が、制御ゲート線１２０３に直交する）、消去ゲート線１２０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ１２００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ１２００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合算関数を実行する。

【0041】

ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ１２００の不揮発性メモリセルは、好ましくは、サブスレッショルド領域で動作するように構成される。

【0042】

本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、サブスレッショルド領域でバイアスされる：
Ｉｄｓ＝Ｉｏ^*ｅ^(Vg-Vth)/nVt＝ｗ^*Ｉｏ^*ｅ^(Vg)/nVt
式中、ｗ＝ｅ^(-Vth)/nVtであり、

【0043】

式中、Ｉｄｓはドレイン－ソース間電流であり、Ｖｇはメモリセルのゲート電圧であり、Ｖｔｈはメモリセルのスレッショルド電圧であり、Ｖｔは熱電圧＝ｋ^*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷であり、ｎは傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、及びＣｏｘはゲート酸化物層の容量であり、Ｉｏは、スレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは、（Ｗｔ／Ｌ）^*ｕ^*Ｃｏｘ^*（ｎ－１）^*Ｖｔ²に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。

【0044】

メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流Ｉｄｓを入力電圧Ｖｇに変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ^*Ｖｔ^*ｌｏｇ［Ｉｄｓ／ｗｐ^*Ｉｏ］

【0045】

式中、ｗｐは、基準又は周辺メモリセルのｗである。

【0046】

メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流Ｉｄｓを入力電圧Ｖｇに変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ^*Ｖｔ^*ｌｏｇ［Ｉｄｓ／ｗｐ^*Ｉｏ］

【0047】

式中、ｗｐは、基準又は周辺メモリセルのｗである。

【0048】

ベクトル行列乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ^*Ｉｏ^*ｅ^(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）^*Ｉｉｎ＝Ｗ^*Ｉｉｎ
Ｗ＝ｅ^{(Vthp-Vtha)/nVt}
Ｉｉｎ＝ｗｐ^*Ｉｏ^*ｅ^(Vg)/nVt
式中、メモリアレイ内の各メモリセルのｗａ＝ｗであり、ｗｐは、基準又は周辺メモリセルのｗである。

【0049】

ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。

【0050】

代替的に、本明細書に記載されたＶＭＭアレイの不揮発性メモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝ベータ^*（Ｖｇｓ－Ｖｔｈ）^*Ｖｄｓ； ベータ＝ｕ^*Ｃｏｘ^*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）
すなわち、線形領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する。

【0051】

ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。

【0052】

Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。

【0053】

代替的に、本明細書に記載されたＶＭＭアレイのメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２^*ベータ^*（Ｖｇｓ－Ｖｔｈ）²； ベータ＝ｕ^*Ｃｏｘ^*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）²、すなわち、重みＷは（Ｖｇｓ－Ｖｔｈ）²に比例する

【0054】

ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。

【0055】

代替的に、本明細書に記載されるＶＭＭアレイのメモリセルは、ニューラルネットワークの各層又は多層に対して、全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用することができる。

【0056】

図１３は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１３００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。アレイの列方向に配置された基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１３１４（一部のみ示す）を通してダイオード接続される。基準セルは、目標基準レベルにチューニング（例えば、プログラム）される。目標基準レベルは、基準ミニアレイ行列（図示せず）によって提供される。

【0057】

メモリアレイ１３０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１３００により使用される重みを、それぞれのメモリセルに記憶する。第２に、メモリアレイ１３０３は、メモリセルアレイ１３０３に記憶された重みによって、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１３０１及び１３０２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）を有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ１３０３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にそれぞれのビット線ＢＬ０～ＢＬＮに現れる。各々のビット線ＢＬ０～ＢＬＮに加えられた電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合算関数を実行する。

【0058】

表６は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示し、ＦＬＴは、浮遊、すなわち電圧が印加されないことを示す。行は、読み出し、消去、及びプログラムの動作を示す。
表６：図１３のＶＭＭアレイ１３００の動作

【表6】

【0059】

図１４は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１４００を示す。ＶＭＭアレイ１４００は、不揮発性メモリセルのメモリアレイ１４０３と、第１の不揮発性基準メモリセルの基準アレイ１４０１と、第２の不揮発性基準メモリセルの基準アレイ１４０２と、を備える。基準アレイ１４０１及び１４０２は、ＶＭＭアレイ１４００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１４００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１３００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合算関数を実行する。

【0060】

表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表７：図１４のＶＭＭアレイ１４００の動作

【表7】

【0061】

図１５は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１５００を示す。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、第１の不揮発性基準メモリセルの基準アレイ１５０１と、第２の不揮発性基準メモリセルの基準アレイ１５０２と、を備える。基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１５１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１５１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）の一定電圧を確実にするために、それぞれのマルチプレクサ１５０５及びカスコーディングトランジスタ１５０４を各々含む。基準セルは、目標基準レベルにチューニングされる。

【0062】

メモリアレイ１５０３は、２つの目的を果たす。第１に、それはＶＭＭアレイ１５００によって使用される重みを記憶する。第２に、メモリアレイ１５０３は、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１５０１及び１５０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）にメモリセルアレイに記憶された重みを掛けて、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに出現し、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線に加えられる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合算関数を実行する。

【0063】

ＶＭＭアレイ１５００は、メモリアレイ１５０３内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。過度に多くの電荷が浮遊ゲートに加えられる場合（その場合は誤った値がセルに記憶される）、セルは消去され、一連の部分的なプログラミング動作が再開される。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。

【0064】

表８は、ＶＭＭアレイ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表８：図１５のＶＭＭアレイ１５００の動作

【表8】

【0065】

図１６は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１６００を示す。ＶＭＭアレイ１６００は、不揮発性メモリセルのメモリアレイ１６０３と、第１の不揮発性基準メモリセルの基準アレイ１６０１と、第２の不揮発性基準メモリセルの基準アレイ１６０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１６００は、ＶＭＭアレイ１６００が双方向チューニングを実装することを除いてＶＭＭアレイ１６００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１６０１及び１６０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３内の入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１６１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合算する。

【0066】

表９は、ＶＭＭアレイ１６００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表９：図１６のＶＭＭアレイ１６００の動作

【表9】

【0067】

ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、タイミングパルス、又はデジタルビットであり得、出力は、アナログレベル、バイナリレベル、タイミングパルス、又はデジタルビット（この場合、出力アナログレベルの電流又は電圧をデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。

【0068】

ＶＭＭアレイ内の各メモリセルに関して、各重みＷは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つ以上のセルの平均）によって実装することができる。差分セルの場合では、重みＷを差分重み（Ｗ＝Ｗ＋ － Ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みＷを実装するために２つのメモリセルが必要とされる。

【0069】

不揮発性メモリセルの先行技術のアレイの１つの欠点は、アレイのソースインピーダンスに、及びアレイの出力線（ビット線など）に沿って大きなばらつきがあり、セル及びその状態が、読み出し、プログラム、又は消去動作のために選択されることに応じて、精度及び電力消費に結果として生じるばらつきがあることである。別の欠点は、ノイズの影響を受けやすい場合があることである。

【0070】

必要なことは、ノイズに対して低い感受性を有する改善されたＶＭＭシステムである。

【0071】

更に必要とされるのは、どのセル又はセル（複数）が選択されるかに関係なく、動作（読み出し、プログラム、又は消去）中にアレイの実質的に一定のソースインピーダンスを有する改善されたＶＭＭシステムである。

【0072】

更に必要とされるのは、どのセル又はセル（複数）が選択されるかに関係なく、動作（読み出し、プログラム、又は消去）中に実質的に一定の電力消費を有する改善されたＶＭＭシステムである。

【発明の概要】

【0073】

アナログニューラルメモリアレイの多数の実施形態が、開示されている。特定の実施形態では、アレイ内の各メモリセルは、そのセルが動作しているときに、ほぼ一定のソースインピーダンスを有する。特定の実施形態では、電力消費は、セルが読み出されるときに、アレイ内のビット線からビット線まで実質的に一定である。特定の実施形態では、重みマッピングが、電力及びノイズにおける最適な性能のために適応的に実行される。

【0074】

一実施形態では、アナログニューラルメモリシステムは、不揮発性メモリセルのアレイであって、セルは、行及び列に配置され、セルの第１の複数の列は、ビット線に接続され、セルの第２の複数の列は、ダミービット線に接続されている、不揮発性メモリセルのアレイと、アレイの第１の端部に配置されたビット線トランジスタの第１のセットであって、ビット線トランジスタの第１のセットの各々は、ダミービット線のうちの１つに結合されている、ビット線トランジスタの第１のセットと、アレイの第１の端部の反対側のアレイの第２の端部に配置されたビット線トランジスタの第２のセットであって、ビット線トランジスタの第２のセットの各々は、ビット線のうちの１つに結合されている、ビット線トランジスタの第２のセットと、を備える。

【0075】

別の実施形態では、アナログニューラルメモリシステムは、不揮発性メモリセルのアレイを備え、セルは、行及び列に配置され、列は列の物理的に隣接した対に配置され、対の一方の列はＷ＋値を記憶し、対の一方の列はＷ－値を記憶する。

【0076】

別の実施形態では、アナログニューラルメモリシステムは、不揮発性メモリセルの第１のアレイであって、セルは、行及び列に配置され、列の１つ以上内の不揮発性メモリセルは、Ｗ＋値を記憶する、不揮発性メモリセルの第１のアレイと、不揮発性メモリセルの第２のアレイであって、セルは、行及び列に配置され、列の１つ以上内の不揮発性メモリセルは、Ｗ－値を記憶する、不揮発性メモリセルの第２のアレイと、を備える。

【0077】

別の実施形態では、アナログニューラルメモリシステムは、不揮発性メモリセルの第１のアレイであって、第１のアレイ内のセルは、行及び列に配置され、第１のアレイ内のセルの第１の複数の列がビット線に接続され、第１のアレイ内のセルの第２の複数の列がダミービット線に接続されている、不揮発性メモリセルの第１のアレイと、不揮発性メモリセルの第２のアレイであって、第２のアレイ内のセルは、行及び列に配置され、第２のアレイ内のセルの第３の複数の列がビット線に接続され、第２のアレイ内のセルの第４の複数の列がダミービット線に接続されている、不揮発性メモリセルの第２のアレイと、第１のアレイの第１の端部に配置されたビット線トランジスタのセットであって、ビット線トランジスタの第１のセットの各々は、ビット線のうちの１つに結合されている、ビット線トランジスタのセットと、第１のアレイの第２の端部に配置され、接地に結合されたマルチプレクサのセットであって、ダミービット線の第１のセットの各々は、マルチプレクサのセット内のマルチプレクサのうちの１つに結合されている、マルチプレクサのセットと、を備え、第１のアレイ及び第２のアレイのインピーダンスは、ビット線に取り付けられたセルが動作のために選択されているとき、実質的に一定のままである。

【0078】

別の実施形態では、アナログニューラルメモリシステムは、不揮発性メモリセルのアレイであって、セルは、行及び列に配置され、セルの第１の複数の列は、ビット線に接続され、セルの第２の複数の列は、ダミービット線に接続されている、不揮発性メモリセルのアレイと、アレイの第１の端部に配置されたビット線トランジスタの第１のセットであって、ビット線トランジスタの第１のセットの各々は、ダミービット線のうちの１つに結合され、結合されたダミービット線を接地に引っ張るように構成された、ビット線トランジスタの第１のセットと、アレイの第１の端部の反対側のアレイの第２の端部に配置されたビット線トランジスタの第２のセットであって、ビット線トランジスタの第２のセットの各々は、ビット線のうちの１つに結合されている、ビット線トランジスタの第２のセットと、を備える。

【0079】

別の実施形態では、アナログニューラルメモリシステムは、不揮発性メモリセルのアレイであって、セルは、行及び列に配置され、セルの第１の複数の列は、ビット線に接続され、セルの第２の複数の列は、ダミービット線に接続されている、不揮発性メモリセルのアレイと、アレイの第１の端部に配置されたビット線トランジスタの第１のセットであって、ビット線トランジスタの第１のセットの各々は、ダミービット線のうちの１つに結合されている、ビット線トランジスタの第１のセットと、アレイの第１の端部の反対側のアレイの第２の端部に配置されたビット線トランジスタの第２のセットであって、ビット線トランジスタの第２のセットの各々は、ビット線のうちの１つに結合されている、ビット線トランジスタの第２のセットと、不揮発性メモリセルの行のソース線端子に結合されたソース線と、ソース線を接地に引っ張るように構成されたソース線トランジスタと、を備える。

【0080】

別の実施形態では、アナログニューラルメモリシステムは、不揮発性メモリセルのアレイを備え、セルは、行及び列に配置され、列は、列の複数のサブセットを備え、各サブセットは、Ｗ＋値を記憶する列、Ｗ－値を記憶する列、及び冗長列を備え、Ｗ＋列又はＷ－列に記憶された値は、冗長列に再マッピングされる。

【0081】

別の実施形態では、アナログニューラルメモリシステムは、不揮発性メモリセルのアレイを備え、セルは、行及び列に配置され、列は、列の複数のサブセットを備え、各サブセットは、重みＷ値を記憶する列、及び冗長列を備え、Ｗ列に記憶された値は、冗長列に再マップされる。

【0082】

別の実施形態では、行及び列に配置された不揮発性メモリセルを備える第１のアレイ、行及び列に配置された不揮発性メモリセルを備える第２のアレイ、列マルチプレクサ、ローカルビット線、及びグローバルビット線を備える、アナログニューラルメモリシステムを動作させる方法であって、この方法は、列マルチプレクサによって、第１のアレイのローカルビット線又は第２のアレイのローカルビット線を選択し、選択されたビット線をグローバルビット線に結合するステップと、隣接するグローバルビット線を現在のグローバルビット線に多重化して、グローバルビット線の幅を効果的に増加させるステップと、を含む。

【0083】

別の実施形態では、行及び列に配置された不揮発性メモリセルのアレイ、ビット線、及びアレイ出力回路を備えるアナログニューラルメモリシステムを動作させる方法であって、この方法は、第１のアレイ出力の第１のアナログ－デジタル変換器を、第２のアレイ出力の第２のアナログ－デジタル変換器と組み合わせて、第３のアナログ－デジタル変換器を形成するステップを含む。

【0084】

別の実施形態では、行及び列に配置された不揮発性メモリセルのアレイ、ビット線、及びアレイ出力回路、並びに構成可能なｎビットアナログ－デジタル変換器を備える、アナログニューラルメモリシステムを動作させる方法が開示されており、この方法は、ｎビットよりも低い精度を有するように、又はｎビットよりも高い精度を有するように、ｎビットのアナログ－デジタル変換器を構成するステップを含む。

【0085】

【0086】

【0087】

【0088】

【0089】

【0090】

【0091】

【0092】

【0093】

【0094】

【0095】

【0096】

【0097】

【0098】

【0099】

【0100】

【0101】

【0102】

【0103】

【0104】

【0105】

【0106】

【0107】

【0108】

【0109】

【0110】

【0111】

【0112】

【0113】

【0114】

【0115】

【0116】

【0117】

【0118】

【0119】

【図面の簡単な説明】

【0120】

【図1】先行技術の人工ニューラルネットワークを示す。

【図2】先行技術のスプリットゲートフラッシュメモリセルを示す。

【図3】別の先行技術のスプリットゲートフラッシュメモリセルを示す。

【図4】別の先行技術のスプリットゲートフラッシュメモリセルを示す。

【図5】別の先行技術のスプリットゲートフラッシュメモリセルを示す。

【図6】別の先行技術のスプリットゲートフラッシュメモリセルを示す。

【図7】先行技術の積層ゲートフラッシュメモリセルを示す。

【図8】ツインスプリットゲートメモリセルを示す。

【図9】１つ以上のＶＭＭアレイを利用する例示的な人工ニューラルネットワークの異なるレベルを示す。

【図10】ＶＭＭアレイ及び他の回路を備えるＶＭＭシステムを示す。

【図11】１つ以上のＶＭＭシステムを利用する例示的な人工ニューラルネットワークを示す。

【図12】ＶＭＭアレイの実施形態を示す。

【図13】ＶＭＭアレイの別の実施形態を示す。

【図14】ＶＭＭアレイの別の実施形態を示す。

【図15】ＶＭＭアレイの別の実施形態を示す。

【図16】ＶＭＭアレイの別の実施形態を示す。

【図17】ＶＭＭシステムを示す。

【図18A】先行技術のＶＭＭアレイを示す。

【図18B】先行技術のＶＭＭアレイを示す。

【図18C】先行技術のＶＭＭアレイを示す。

【図19A】改善されたＶＭＭアレイを示す。

【図19B】改善されたＶＭＭアレイを示す。

【図19C】改善されたＶＭＭアレイを示す。

【図20】別の改善されたＶＭＭアレイを示す。

【図21A】別の改善されたＶＭＭアレイを示す。

【図21B】別の改善されたＶＭＭアレイを示す。

【図22】冗長アレイを備える別の改善されたＶＭＭアレイを示す。

【図23】２つのＶＭＭアレイ及び共有ダミービット線スイッチング回路を備える別の改善されたＶＭＭシステムを示す。

【図24】別の改善されたＶＭＭシステムを示す。

【図25】合算器回路の実施形態を示す。

【図26】合算器回路の別の実施形態を示す。

【図27A】合算器回路の別の実施形態を示す。

【図27B】合算器回路の別の実施形態を示す。

【図28A】出力回路の実施形態を示す。

【図28B】出力回路の別の実施形態を示す。

【図28C】出力回路の別の実施形態を示す。

【図29】ニューロン出力回路を示す。

【図30】アナログ－デジタル変換器の実施形態を示す。

【図31】アナログ－デジタル変換器の別の実施形態を示す。

【図32】アナログ－デジタル変換器の別の実施形態を示す。

【図33】アナログ－デジタル変換器の別の実施形態を示す。

【発明を実施するための形態】

【0121】

本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
＜＜改善されたＶＭＭシステムの実施形態＞＞

【0122】

図１７は、ＶＭＭシステム１７００のブロック図を示す。ＶＭＭシステム１７００は、ＶＭＭアレイ１７０１、行デコーダ１７０２、高電圧デコーダ１７０３、列デコーダ１７０４、ビット線ドライバ１７０５、入力回路１７０６、出力回路１７０７、制御ロジック１７０８、及びバイアス生成器１７０９を備える。ＶＭＭシステム１７００は、チャージポンプ１７１１、チャージポンプ調節器１７１２、及び高電圧レベル生成器１７１３を備える高電圧生成ブロック１７１０を更に備える。ＶＭＭシステム１７００は、アルゴリズムコントローラ１７１４、アナログ回路１７１５、制御ロジック１７１６、及び試験制御ロジック１７１７を更に備える。以下に記載されるシステム及び方法は、ＶＭＭシステム１７００に実装することができる。

【0123】

入力回路１７０６は、ＤＡＣ（デジタル－アナログ変換器）、ＤＰＣ（デジタル－パルス変換器）、ＤＴＣ（デジタル－時間変換器）、ＡＡＣ（電流－電圧変換器などのアナログ－アナログ変換器）、ＰＡＣ（パルス－アナログレベル変換器）、又は任意の他の種類の変換器などの回路を含み得る。入力回路１７０６は、正規化関数、スケーリング関数、又は算術関数を実装し得る。入力回路１７０６は、温度の関数として出力電圧／電流／時間／パルスを変調するなど、入力に温度補償関数を実装し得る。入力回路１７０６は、ＲｅＬＵ又はシグモイドなどの活性化関数を実装し得る。

【0124】

出力回路１７０７は、ＡＤＣ（ニューロンアナログ出力をデジタルビットに変換するための、アナログ－デジタル変換器）、ＡＡＣ（電流－電圧変換器などのアナログ－アナログ変換器）、ＡＴＣ（アナログ－時間変換器）、ＡＰＣ（アナログ－パルス変換器）、又は任意の他の種類の変換器などの回路を含み得る。出力回路１７０７は、ＲｅＬＵ又はシグモイドなどの活性化関数を実装し得る。出力回路１７０７は、ＶＭＭアレイ１７０１の出力であるニューロン出力に統計的な正規化、正則化、アップ／ダウンスケーリング関数、統計的丸め、又は算術関数（例えば、加算、減算、除算、乗算、シフト、対数）を実装し得る。出力回路１７０７は、ＶＭＭアレイ１７０１の電力消費をほぼ一定に保つために、又はＩ－Ｖ勾配をほぼ同じに保つことによってなど、ＶＭＭアレイ１７０１（ニューロン）出力の精度を改善するためになど、ニューロン出力（電圧／電流／時間／パルスなど）又はアレイ出力（ビット線出力など）に温度補償関数を実装し得る。

【0125】

図１８Ａは、先行技術のＶＭＭシステム１８００を示す。ＶＭＭシステム１８００は、例示的なセル１８０１及び１８０２、例示的なビット線スイッチ１８０３ａ、１８０３ｂ、１８０３ｃ、１８０３ｄ（ビット線を感知回路に接続する）、例示的なダミービット線スイッチ１８０４ａ、１８０４ｂ、１８０４ｃ、１００４ｄ（読み出しにおいて接地（又は接地近く）レベルなどの低バイアスレベルに結合する）、並びに例示的なダミーセル１８０５及び１８０６（ソース線プルダウンセル）を備える。ビット線スイッチ１８０３ａは、ＶＭＭシステム１８００にデータを記憶するために使用される、セル１８０１及び１８０２を含むセルの列に結合される。ダミービット線スイッチ１８０４ａ、１８０４ｂ、１８０４ｃ、１８０４は各々、ダミーセルであるセルの列（ビット線）に結合され、ＶＭＭシステム１８００にデータを記憶するために使用されない。ソース線プルダウンビット線とも称され得る、このダミービット線は、読み出し動作中にソース線プルダウンとして使用され、これは、ダミービット線のダミーセルを介して、接地（又は接地近く）などの低バイアスレベルにソース線を引っ張るために使用されることを意味する。ダミービット線スイッチ１８０４ａ、１８０４ｂ、１８０４ｃ、１８０４、及びビット線スイッチ１８０３ａ、１８０３ｂ、１８０３ｃ、１８０３ｄは両方とも、アレイの同じ端に現れ、すなわち、それらは全て、結合されるセルの列の共通端に現れ、こうして単一の行に配列されていることに留意されたい。

【0126】

ＶＭＭシステム１８００の１つの欠点は、各セルの入力インピーダンスが、関連するビット線スイッチ、セル自体、及び関連するダミービット線スイッチを通る電気経路の長さに起因して大きく変化することである。例えば、図１８Ｂは、ビット線スイッチ１８０３、セル１８０１、ダミーセル１８０５、及びダミービット線スイッチ１８０４を通る電気経路を示す。同様に、図１８Ｃは、ビット線スイッチ１８０３、垂直金属ビット線１８０７、セル１８０２、ダミーセル１８０６、垂直金属ビット線１８０８、及びダミービット線スイッチ１８０４を通る電気経路を示す。分かるように、セル１８０２を通る経路は、著しく大きい長さのビット線及びダミービット線を横断し、これは、より高い静電容量及びより高い抵抗に関連付けられる。これは、図１８Ｂのセル１８０１よりもビット線又はソース線においてより大きな寄生インピーダンスを有するセル１８０２をもたらす。この変動性は、例えば、アレイ内のセルの位置に応じて、セルの読み出し又は検証（プログラム／消去チューニングサイクルのための）に適用されるセル出力の精度においてばらつきをもたらすため、欠点である。

【0127】

図１９Ａは、先行技術のＶＭＭシステム１８００を改善するＶＭＭシステム１９００を示す。ＶＭＭシステム１９００は、例示的なセル１９０１及び１９０２と、ビット線を感知回路に接続する、例示的なビット線スイッチ１９０３ａ、１９０３ｂ、１９０３ｃ、及び１９０３ｄと、ソース線プルダウンセルとして機能することができる、例示的なダミーセル１９０５及び１９０６と、例示的なダミービット線スイッチ１９０４ａ、１９０４ｂ、１９０４ｃ、及び１９０４ｄと、を備える。例として、読み出し動作中に、ダミービット線スイッチ１９０４ａの一端は、接地などの低電圧レベルに接続し、他端は、ソース線プルダウンとして使用されるダミーセル１９０５及び１９０６に接続する。見られるように、例示的なダミービット線スイッチ１９０４ａ及び他のダミービット線スイッチは、ビット線スイッチ１９０３ａ及び他のビット線スイッチからアレイの反対端に位置する。

【0128】

この設計の利点は、図１９Ｂ及び１９Ｃに見ることができる。図１９Ｂでは、読み出しのためにセル１９０１が選択され、図１９Ｃでは、読み出しのためにセル１９０２が選択される。

【0129】

図１９Ｂは、ビット線スイッチ１９０３、セル１９０１、ダミーセル１９０５（ソース線プルダウンセル）、垂直金属ビット線１９０８、及びダミービット線スイッチ１９０４（読み出し動作中に接地などの低レベルに結合する）を通る電気経路を示す。図１９Ｃは、ビット線スイッチ１９０３、垂直金属線１９０７、セル１９０２、ダミーセル１９０６（ソース線プルダウンセル）、及びダミービット線スイッチ１９０４を通る電気経路を示す。経路は、相互接続長に関して実質的に同じであり、これは、ＶＭＭシステム１９００の全てのセルに当てはまる。結果として、各セルのビット線インピーダンス＋ソース線インピーダンスのインピーダンスは実質的に同じであり、これは、アレイ内の各セルの動作の読み出し又は検証中に引き出される寄生電圧降下の量のばらつきが実質的に同じであることを意味する。

【0130】

図２０は、グローバルソース線プルダウンビット線を備えたＶＭＭシステム２０００を示す。ＶＭＭシステム２０００は、ダミービット線２００５ａ～２００５ｎ又は２００７ａ～２００７ｎが、一緒に接続される（読み出し又は検証中にメモリセルソース線を接地レベルに引っ張るためのグローバルソース線プルダウン線として作用するために）ことと、ダミービット線スイッチ２００１及び２００２などのダミービット線スイッチが、ＡＲＹＧＮＤ（アレイ接地）とラベル付けされた共通接地に接続又は結合されることと、ソース線が、ソース線を接地に選択的に引っ張る、ソース線スイッチ２００４に一緒に結合されることと、を除いて、ＶＭＭシステム１９００と同様である。これらの変更は、読み出し又は検証動作中のアレイ内の各セルの寄生インピーダンスのばらつきを更に低減する。

【0131】

代替的な実施形態では、１つ以上のダミービット線及び１つ以上のダミービット線スイッチを、ソース線スイッチ２００４の代わりに使用して、ソース線を接地に引っ張ることができる。

【0132】

別の実施形態では、行間の（２つの隣接するセルの）ＦＧ－ＦＧ結合を回避するために、物理的障壁として行間にダミー行を利用することができる。

【0133】

図２１Ａは、ＶＭＭシステム２１００を示す。いくつかの実施形態では、ＶＭＭに記憶された重みＷは、差動対、Ｗ＋（正の重み）及びＷ－（負の重み）、として記憶され、ここでＷ＝（Ｗ＋）－（Ｗ－）。ＶＭＭシステム２１００において、ビット線の半分はＷ＋線として指定され、すなわち、正の重みＷ＋を記憶するメモリセルに接続するビット線であり、ビット線の他の半分はＷ－線として指定され、すなわち、負の重みＷ－を実装するメモリセルに接続するビット線である。Ｗ－線は、Ｗ＋線の間に交互に散在される。減算演算は、合算回路２１０１及び２１０２のような、Ｗ＋線及びＷ－線から電流を受信する合算回路によって実行される。Ｗ＋線の出力及びＷ－線の出力を一緒に組み合わせて、（Ｗ＋、Ｗ－）線の全ての対の（Ｗ＋、Ｗ－）セルの各対に対して効果的にＷ＝Ｗ＋ － Ｗ－を与える。任意選択的に、図１９及び図２０に示されるものなどのダミービット線及びソース線プルダウンビット線を、ＶＭＭシステム２１００で使用して（２つの隣接するセルの）ＦＧ－ＦＧ結合を回避し、及び／又は読み出し又は検証動作中にソース線のＩＲ電圧降下を低減することができる。

【0134】

図２１Ｂは、別の実施形態を示す。ＶＭＭシステム２１１０において、正の重みＷ＋は第１のアレイ２１１１に実装され、負の重みＷ－は第１のアレイとは別個の第２のアレイ２１１２に実装され、結果として生じる重みは、合算回路２１１３によって適切に一緒に組み合わされる。任意選択的に、図１９及び図２０に示されるものなどのダミービット線及びソース線プルダウンビット線を、ＶＭＭシステム２１１０で使用して、ＦＧ－ＦＧ結合を回避し、及び／又は読み出し又は検証動作中にソース線のＩＲ電圧降下を低減することができる。

【0135】

ＶＭＭシステムは、ＦＧからＦＧへの結合を低減させるか、アレイ及び出力回路にわたって、より均一な様式で電力消費を分散させる様態で、Ｗ＋及びＷ－の対がアレイ内に配置されるように設計することができる。これは、表１０及び表１１を参照して以下に記載される。ＦＧからＦＧへの結合現象に関する追加の詳細は、同じ譲受人によって２０２０年２月２６日に出願され、「Ｕｌｔｒａ－Ｐｒｅｃｉｓｅ Ｔｕｎｉｎｇ ｏｆ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｃｅｌｌｓ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する、米国特許仮出願第６２／９８１，７５７号に見出され、それは、参照により本明細書に組み込まれる。

【0136】

表１０Ａは、２つの対の（Ｗ＋、Ｗ－）ビット線の配置の例示的な物理的レイアウトを示す。１つの対は、ＢＬ０及びＢＬ１であり、第２の対は、ＢＬ２及びＢＬ３である。この例では、４行がソース線プルダウンビット線ＢＬＰＷＤＮに結合される。ＢＬＰＷＤＮは、各対の（Ｗ＋、Ｗ－）ビット線の間に配置されて、１つの対の（Ｗ＋、Ｗ－）ビット線と別の対の（Ｗ＋、Ｗ－）ビット線との間の結合（例えば、ＦＧからＦＧへの結合）を防止する。したがって、ＢＬＰＷＤＮは、（Ｗ＋、Ｗ－）ビット線の対間の物理的障壁として機能する。
表１０Ａ：Ｗ、Ｗ－対の例示的なレイアウト

【表10A】

【0137】

表１０Ｂは、異なる例示的な重みの組み合わせを示す。「１」は、セルが使用され、実際の出力値を有することを意味し、「０」は、セルが使用されておらず、値を有さない、又は有意な出力値を有さないことを意味する。
表１０Ｂ：Ｗ＋、Ｗ－対の例示的な重み組み合わせ

【表10B】

【0138】

表１１Ａは、（ｗ＋、ｗ－）対線ＢＬ０／１及びＢＬ２／３の物理的配置の別のアレイの実施形態を示す。アレイは、冗長線ＢＬ０１及びＢＬ２３並びにソース線プルダウンビット線ＢＬＰＷＤＮを含む。冗長ビット線ＢＬ０１は、対ＢＬ０／１から値を再マップするために使用され、冗長ビット線ＢＬ２３は、対ＢＬ２／３から値を再マップするために使用され、これは、後の表に示される。
表１１Ａ：Ｗ＋、Ｗ－対の例示的なレイアウト

【表11A】

【0139】

表１１Ｂは、分散された重み値が再マッピングを必要としない例を示し、基本的に、隣接するビット線間に隣接する「１」が存在しない。
表１１Ｂ：Ｗ＋、Ｗ－対の例示的な重み組み合わせ

【表11B】

【0140】

表１１Ｃは、分散された重みを再マッピングする必要がある例を示す。ここでは、ＢＬ１及びＢＬ３に隣接する「１」が存在し、それは、隣接するビット線結合を引き起こす。したがって、この値は、表１１Ｄに示されるように再マッピングされ、隣接するビット線間に隣接する「１」値がないことをもたらす。加えて、再マッピングによって、ビット線に沿った総電流が減少し、そのビット線におけるより正確な値につながり、これはまた、ビット線に沿ったより分散された電力消費につながる。任意選択的に、追加のビット線（ＢＬ０１、ＢＬ２３）を、任意選択的に、冗長列として作用するように使用することができる。
表１１Ｃ：ｗ＋、ｗ－対の例示的な重み組み合わせ

【表11C】

表１１Ｄ：ｗ＋、ｗ－対の再マッピングされた重み組み合わせ

【表11D】

【0141】

表１１Ｅ及び表１１Ｆは、表１１ＥのＢＬ０１、ＢＬ２３、又は表１１ＦのＢＬ０Ｂ及びＢＬ１Ｂなどの冗長列にノイズの多いセル（又は欠陥のあるセル）を再マッピングする別の実施形態を示す。
表１１Ｅ：ｗ＋、ｗ－対の再マッピングされた重み組み合わせ

【表11E】

表１１Ｆ：ｗ＋、ｗ－対の再マッピングされた重み組み合わせ

【表11F】

【0142】

表１１Ｇは、図２１Ｂに好適なアレイの物理的配置の実施形態を示す。各ビット線は、正の重み又は負の重みのいずれかを有するため、ソース線プルダウンとして作用するダミービット線、又は実際のダミービット線（使用されない、例えば、深く若しくは部分的にプログラムされるか、又は部分的に消去される）、及びＦＧ－ＦＧ結合を回避するための物理的障壁が、各ビット線に必要である。
表１１Ｇ：ｗ＋、ｗ－対の例示的なレイアウト

【表11G】

表１０ｘ～１１ｘでは、ソース線プルダウンビット線ＢＬＰＷＤＮは、実際のダミービット線ＢＬＤＵＭとして、又は隔離ビット線ＢＬＩＳＯとして実装することができ、これらのビット線は、データビット線を互いに隔離するのに役立つため、隣接するセルのＦＧ－ＦＧ結合が回避されることを意味する。これらのビット線は使用されず、それにより、それらは、ＦＧ－ＦＧ結合を引き起こさない状態にチューニング（プログラム若しくは消去）されるか、又は同じ行若しくは同じセクタでチューニングされている（プログラム若しくは消去されている）他のセル、例えば、ＦＧ電圧が低レベル状態であるように、深く若しくは部分的にプログラムされているセル若しくは部分的に消去されたセル、によって妨害されやすいままにする。

【0143】

別の実施形態では、セルの列に結合されたチューニングビット線は、セルの列に結合された目標ビット線に隣接し、チューニングビット線セルは、隣接するセル間のＦＧ－ＦＧ結合を使用して、プログラミング動作中に目標ビット線セルを所望の目標値にチューニングするために使用される。任意選択的に、ソース線プルダウンビット線は、チューニングビット線に隣接する側の反対側の目標ビット線の側に使用することができる。

【0144】

ノイズの多い又は欠陥のあるセルをマッピングするための代替の実施形態は、そのようなセルが非使用のセルとして指定される場合に実装することができ、それらがニューロン出力にいかなる値も寄与しないように（深く）プログラムされることを意味する。

【0145】

高速セル（典型的なセルよりも速く特定の値に到達するようにプログラムすることができるセルである）を識別するための代替的な実施形態を実装することができ、ここでは、高速セルが識別され、プログラミング動作中に目標をオーバーシュートしないように、より正確なチューニングアルゴリズムを受ける。

【0146】

図２２は、ＶＭＭシステム２２００を示す。ＶＭＭシステム２２００は、これまでに考察されたＶＭＭアレイのうちのいずれかに含まれ得る冗長アレイ２２０１を備える。冗長アレイ２２０１は、ビット線スイッチに取り付けられた列のいずれかが欠陥があると見なされる場合に、欠陥のある列を置き換えるための冗長性として使用することができる。冗長アレイは、独自の冗長アレイ（ニューロン）出力（例えば、ビット線）、及び／又は冗長書き込み及び検証回路、並びに／又は冗長性目的のためのＡＤＣ回路を有することができる。例えば、冗長性が必要な場合、冗長ＡＤＣの出力は、悪いビット線のＡＤＣの出力に置き換わる。冗長アレイ２２０１はまた、表１０Ａ及び表１０Ｂに記載されるような重みマッピングに使用されて、ビット線の間で比較的均一な電力分散を達成することができる。

【0147】

図２３は、アレイ２３０１、アレイ２３０２、列マルチプレクサ２３０３、ローカルビット線ＬＢＬ２３０５ａ～２３０５ｄ、グローバルビット線ＧＢＬ２３０８及び２３０９、及びダミービット線スイッチ２３０５ａ～２３０５ｄを備えるＶＭＭシステム２３００を示す。列マルチプレクサ２３０３は、アレイ２３０１のそれぞれの頂部ローカルビット線２３０５又はアレイ２３０２の底部ローカルビット線２３０５をグローバルビット線２３０８に選択するために使用される。一実施形態では、（金属）グローバルビット線２３０８は、ローカルビット線の数と同じ数の線、例えば、８本又は１６本を有する。別の実施形態では、グローバルビット線２３０８は、８本又は１６本のローカルビット線当たり１本のグローバルビット線というように、Ｎ本のローカルビット線当たり１本の（金属）線のみを有する。列マルチプレクサ２３０３は、隣接するグローバルビット線（ＧＢＬ２３０９など）を、対象となるグローバルビット線（ＧＢＬ２３０８など）に多重化して、現在のグローバルビット線の幅を効果的に増加させることができる。これは、対象となるグローバルビット線（ＧＢＬ２３０８）にわたる電圧降下を低減する。

【0148】

ここで、本明細書に記載のＶＭＭシステムのいずれかと共に使用することができる様々な出力回路を説明する。

【0149】

図２４は、ＶＭＭシステム２４００を示す。ＶＭＭシステム２４００は、アレイ２４１０と、シフトレジスタ（shift register、ＳＲ）２４０１と、ＳＲ２４０１からの入力を受信し、同等の（アナログ若しくは擬似アナログ）レベル又は情報（例えば、電圧／タイミング）を出力する、デジタル－アナログ変換器（ＤＡＣ）２４０２と、合算器回路２４０３と、アナログ－デジタル変換器（ＡＤＣ）２４０４と、ビット線スイッチ（図示せず）と、を備える。ダミービット線及びダミービット線スイッチが存在するが、図示されていない。示されるように、ＡＤＣ回路を一緒に組み合わせて、より高い精度（すなわち、より多くの数のビット）を有する単一のＡＤＣを作成することができる。

【0150】

合算器回路２４０３は、図２５～図２７に示される回路を含むことができる。それは、限定することなく、正規化、スケーリング、算術演算（例えば、加算、減算）、活性化、又は統計的丸めのための回路を含み得る。

【0151】

図２５は、（ＶＭＭアレイのビット線から受信した電流である）電流Ｉｎｅｕ（１）、．．．、Ｉｎｅｕ（ｎ）をそれぞれ引き込む電流源２５０１－１、．．．、２５０１－ｎ、演算増幅器２５０２、可変保持コンデンサ２５０４、及び可変抵抗器２５０３を備える、可変抵抗器によって調整可能な電流－電圧合算器回路２５００を示す。演算増幅器２５０２は、電圧Ｖｎｅｕｏｕｔ＝Ｒ２５０３^*（Ｉｎｅｕ（１）＋．．．＋Ｉｎｅｕ（ｎ））を出力し、これは、電流Ｉｎｅｕ（１）、．．．、Ｉｎｅｕ（ｎ）の合計に比例する。保持コンデンサ２５０４は、スイッチ２５０６が開いているときに出力電圧を保持するために使用される。この保持出力電圧は、例えば、ＡＤＣ回路によってデジタルビットに変換するために使用される。

【0152】

図２６は、（ＶＭＭアレイのビット線から受信した電流である）電流Ｉｎｅｕ（１）、．．．、Ｉｎｅｕ（ｎ）をそれぞれ引き込む電流源２６０１－１、．．．、２６０１－ｎ、演算増幅器２６０２、可変コンデンサ２６０３、及びスイッチ２６０４を備える、可変コンデンサ（基本的に積分器）によって調整可能な電流－電圧合算器回路２６００を示す。演算増幅器２６０２は、電圧Ｖｎｅｕｏｕｔ２６０５＝（Ｉｎｅｕ（１）＋、．．．、＋Ｉｎｅｕ（ｎ））^*積分時間／Ｃ２６０３を出力し、これは、電流Ｉｎｅｕ（１）、．．．、Ｉｎｅｕ（ｎ）の合計に比例する。

【0153】

図２７Ａは、可変コンデンサ（すなわち、スイッチキャップＳＣ回路）によって調整可能な電圧合算器２７００を示し、それは、スイッチ２７０１及び２７０２、可変コンデンサ２７０３及び２７０４、演算増幅器２７０５、可変コンデンサ２７０６、並びにスイッチＳ１ ２７０７を備える。スイッチ２７０１が閉じられると、入力Ｖｉｎ０は、演算増幅器２７０５に提供される。スイッチ２７０２が閉じられると、入力Ｖｉｎ１は、演算増幅器２７０５に提供される。任意選択的に、スイッチ２７０１及び２７０２は同時に閉じられない。演算増幅器２７０５は、入力（スイッチ２７０１及び２７０２の中でどのスイッチが閉じられるかに応じて、Ｖｉｎ０及び／又はＶｉｎ１のいずれか）の増幅バージョンである出力Ｖｏｕｔを生成する。すなわち、Ｖｏｕｔ＝Ｃｉｎ／Ｃｏｕｔ^*（Ｖｉｎ）であり、ＣｉｎはＣ２７０３又はＣ２７０４であり、ＣｏｕｔはＣ２７０６である。例えば、Ｖｏｕｔ＝Ｃｉｎ／Ｃｏｕｔ^*Σ（Ｖｉｎｘ）、Ｃｉｎ＝Ｃ２７０３＝Ｃ２７０４であり、ここで、Ｖｉｎｘは、Ｖｉｎ０又はＶｉｎ１のいずれかであり得る。一実施形態では、Ｖｉｎ０は、Ｗ＋電圧であり、Ｖｉｎ１は、Ｗ－電圧であり、電圧合算器２７００は、それらを一緒に加えて（Ｗ＋ － Ｗ－、スイッチの適切な極性を可能にすることによって）、出力電圧Ｖｏｕｔを生成する。

【0154】

図２７Ｂは、スイッチ２７５１（Ｓ１）、２７５２（Ｓ３）、２７５３（Ｓ２）、及び２７５４（Ｓ４）、可変入力コンデンサ２７５８、演算増幅器２７５５、可変フィードバックコンデンサ２７５６、並びにスイッチ２７５７（Ｓ５）を備える電圧合算器２７５０を示す。一実施形態では、Ｖｉｎ０は、Ｗ＋電圧であり、Ｖｉｎ１は、Ｗ－電圧であり、電圧合算器２７５０は、それらを一緒に加えて、出力電圧Ｖｏｕｔ（Ｗ＋ － Ｗ－、スイッチの適切な極性を可能にすることによって）を生成する。

【0155】

入力＝Ｖｉｎ０の場合：スイッチ２７５４及び２７５１が閉じられ、スイッチ２７５３、２７５２及び２７５７が開かれたときに、入力Ｖｉｎ０は、コンデンサ２７５８の頂部端子に提供され、その底部端子はＶＲＥＦに接続される。次いで、スイッチ２７５１が開かれ、スイッチ２７５３が閉じられて、コンデンサ２７５８からフィードバックコンデンサ２７５６に電荷を移す。基本的にその後、出力ＶＯＵＴ＝（Ｃ２７５８／Ｃ２７５６）^*Ｖｉｎ０（例えば、ＶＲＥＦ＝０の場合）。

【0156】

入力＝Ｖｉｎ１の場合：スイッチ２７５３、２７５４、及び２７５７が閉じられ、スイッチ２７５１、２７５２、及び２７５７が開かれたとき、コンデンサ２７５８の両方の端子がＶＲＥＦに放電される。次いで、スイッチ２７５４を開き、スイッチ２７５２を閉じ、コンデンサ２７５８の底部端子をＶｉｎ１に充電し、次にフィードバックコンデンサ２７５６をＶＯＵＴ＝－（Ｃ２７５８／Ｃ２７５６）^*Ｖｉｎ１（ＶＲＥＦ＝０の場合）に充電する。

【0157】

したがって、Ｖｉｎ０について上述したシーケンスが実施された後に、Ｖｉｎ１入力について上述したシーケンスが実施される場合、例としてＶＲＥＦ＝０の場合、ＶＯＵＴ＝（Ｃ２７５８／Ｃ２７５６）^*（Ｖｉｎ０－Ｖｉｎ１）となる。これは、例えば、Ｗ＝Ｗ＋ － Ｗ－を実現するために使用される。

【0158】

図２７に示される各ＡＤＣは、ＡＤＣの適切な設計を用いて、より高いビット実装のために次のＡＤＣと組み合わせるように構成することができる。

【0159】

再び図１７を参照すると、ＶＭＭアレイ１７０１への入力及びＶＭＭアレイ１７０１からの出力は、デジタル形式又はアナログ形式であることができる。例えば：
・ＤＡＣへの順次入力ＩＮ［０：ｑ］：
・一実施形態では、入力回路１７０６は、ＩＮ０から始まり、次いでＩＮ１、．．．、次いでＩＮｑのシーケンスでデジタル入力を受信する。全ての入力ビットは、同じＶＣＧｉｎを有する。入力ビットはＤＡＣに提供され、次いで、アナログ信号をＶＭＭアレイ１７０１への入力として印加する。全てのビット線（ニューロン）出力は、ＡＤＣの前又はＡＤＣの後のいずれかで、調整バイナリインデックス乗算器で合算される。
・別の実施形態では、調整ニューロン（ビット線）バイナリインデックス乗算器法が使用される。図２０に示すように、例示的な合算器は、２つのビット線ＢＬ０及びＢｌｎを有する。重みは、複数のビット線ＢＬ０からＢＬｎにわたって分散される。例えば、４つのビット線ＢＬ０、ＢＬ１、ＢＬ２、ＢＬ３がある。ビット線ＢＬ０からの出力は、２＾０＝１で乗算される。ｎ番目のバイナリビット位置を表すビット線ＢＬｎからの出力は、２＾ｎで乗算され、例えば、ｎ＝３の場合、２＾３＝８である。次いで、バイナリビット位置２＾ｎで適切に乗算された後の全てのビット線からの出力が、一緒に合算される。次いで、これはＡＤＣによってデジタル化される。この方法は、全てのセルがバイナリ範囲のみを有することを意味し、マルチレベル範囲（ｎビット）は、周辺回路によって（「合算器回路によって」を意味する）達成される。したがって、全てのビット線の電圧降下は、メモリセルの最高バイアスレベルについてほぼ同じである。
・別の実施形態では、デジタル入力ＩＮ０、ＩＮ１、．．．、次いでＩＮｑが順次方式で適用される。各入力ビットは、対応するアナログ値ＶＣＧｉｎを有する。全てのニューロン出力は、ＡＤＣの前又はＡＤＣの後のいずれかで、全ての入力ビット評価について合算される。
・ＤＡＣへの並列入力：
・別の実施形態では、入力ＩＮ０、．．．ＩＮｑは、ＤＡＣに並列方式で提供される。各入力ＩＮ［０：ｑ］は、対応するアナログ値ＶＣＧｉｎを有する。全てのニューロン出力は、ＡＤＣの前又はＡＤＣの後のいずれかで、調整バイナリインデックス乗算器法で合算される。

【0160】

アレイの順次動作を伴う実施形態では、電力は、より均等に分散される。

【0161】

ニューロン（ビット線）バイナリインデックス法を利用する実施形態では、ビット線に結合された各セルが、バイナリレベルを含むのみであるため、電力消費は、アレイ内で低減され、２＾ｎレベルは、合算器回路によって達成される。

【0162】

【0163】

図２８Ａ、図２８Ｂ、及び図２８Ｃは、図２４の合算器回路２４０３及びアナログ－デジタル変換器２４０４に使用することができる出力回路を示す。

【0164】

図２８Ａは、ニューロン出力２８０１を受信し、出力デジタルビット２８０３を出力するアナログ－デジタル変換器２８０２を備える出力回路２８００を示す。

【0165】

図２８Ｂは、ニューロン出力回路２８１１及びアナログ－デジタル変換器２８１２を備える出力回路２８１０を示し、これらは合わせてニューロン出力２８０１を受信し、出力２８１３を生成する。

【0166】

図２８Ｃは、ニューロン出力回路２８２１及び変換器２８２２を備える出力回路２８２０を示し、これらは合わせてニューロン出力２８０１を受信し、出力２８２３を生成する。

【0167】

ニューロン出力回路２８１１又は２８２１は、限定することなく、例えば、合算、スケーリング、正規化、又は算術演算を実行することができる。変換器２８２２は、限定することなく、例えば、ＡＤＣ、ＰＤＣ、ＡＡＣ、又はＡＰＣ動作を実行することができる。

【0168】

図２９は、調整可能な（スケーリング）電流源２９０１及び調整可能な（スケーリング）電流源２９０２を備え、これらが一緒になってニューロン出力である出力ｉ_OUTを生成する、ニューロン出力回路２９００を示す。この回路は、正の重みＷ＋及び負の重みＷ－の合算、すなわちＷ＝Ｗ＋ － Ｗ－、を行うことができ、かつ、出力ニューロン電流のアップ又はダウンスケーリング（調整可能な電流源２９０１及び２９０２の調整を介して）を同時に行うことができる。すなわち、Ｉ_W+は、Ｗ＋のスケーリングされたバージョンであり、Ｉ_W-は、Ｗ－のスケーリングされたバージョンである。

【0169】

図３０は、構成可能なシリアルアナログ－デジタル変換器３０００を示す。それは、ニューロン出力電流を積分コンデンサ３００２（Ｃｉｎｔ）に積分する積分器３０７０を含む。

【0170】

一実施形態では、ＶＲＡＭＰ３０５０が、コンパレータ３００４の反転入力に提供される。デジタル出力（カウント値）３０２１は、コンパレータ３００４が極性を切り替えるまでＶＲＡＭＰ３０５０をランプすることによって生成され、カウンタ３０２０は、ランプの開始からクロックパルスをカウントする。

【0171】

別の実施形態では、ＶＲＥＦ３０５５が、コンパレータ３００４の反転入力に提供される。ＶＣ３０１０は、ＶＯＵＴ３００３がＶＲＥＦ３０５５に到達するまでランプ電流３０５１（ＩＲＥＦ）によってランプダウンされ、その時点で、ＥＣ３００５信号は、カウンタ３０２０のカウントを無効にする。（ｎビット）ＡＤＣ３０００は、目標アプリケーションに応じて、より低い精度（ｎビットよりも少ない）又はより高い精度（ｎビットよりも多い）を有するように構成可能である。精度のコンフィギュアビリティは、限定することなく、コンデンサ３００２の静電容量、電流３０５１（ＩＲＥＦ）、ＶＲＡＭＰ３０５０のランピング速度、又はクロック３０４１のクロック周波数を構成することによって行われる。

【0172】

別の実施形態では、ＶＭＭアレイのＡＤＣ回路は、ｎビットよりも低い精度を有するように構成され、別のＶＭＭアレイのＡＤＣ回路は、ビットよりも高い精度を有するように構成される。

【0173】

別の実施形態では、１つのニューロン回路のシリアルＡＤＣ回路３０００の１つのインスタンスは、次のニューロン回路のシリアルＡＤＣ回路３０００の別のインスタンスと組み合わせて、シリアルＡＤＣ回路３０００の２つのインスタンスの積分コンデンサ３００２を組み合わせることによってなど、ｎビットよりも高い精度を有するＡＤＣ回路を生成するように構成されている。

【0174】

図３１は、構成可能なニューロンＳＡＲ（逐次近似レジスタ）アナログ－デジタル変換器３１００を示す。この回路は、バイナリコンデンサを使用した電荷再分散に基づく、逐次近似変換器である。それは、バイナリＣＤＡＣ（コンデンサに基づくＤＡＣ）３１０１、演算増幅器／コンパレータ３１０２、並びにＳＡＲロジック及びレジスタ３１０３を含む。示されるように、ＧｎｄＶ３１０４は、低電圧基準レベル、例えば、接地レベルである。ＳＡＲロジック及びレジスタ３１０３は、デジタル出力３１０６を提供する。

【0175】

図３２は、構成可能なニューロンのコンボＳＡＲアナログ－デジタル変換器回路３２００を示す。この回路は、２つのニューロン回路からの２つのｎビットＡＤＣを１つに組み合わせて、ｎビットよりも高い精度を達成し、例えば、１つのニューロン回路の４ビットＡＤＣの場合、この回路は、２つの４ビットＡＤＣを組み合わせることにより、８ビットＡＤＣ精度などの４ビットを超える精度を達成することができる。コンボ回路トポロジは、スプリットキャップ（ブリッジコンデンサ（キャップ）又はアテンションキャップ）ＳＡＲ ＡＤＣ回路と同等であり、例えば、８ビット４Ｃ－４Ｃ ＳＡＲ ＡＤＣは、２つの隣接する４ビット４Ｃ ＳＡＲ ＡＤＣ回路を組み合わせることによってもたらされる。これを成し遂げるためにブリッジ回路３２０４（Ｃスプリット）を使用し、この回路の静電容量＝（ＣＤＡＣキャップユニットの総数／ＣＤＡＣキャップユニットの総数－１）である。

【0176】

図３３は、次のＳＡＲ ＡＤＣと組み合わせてパイプライン方式でビット数を増加させるために使用することができるパイプライン型ＳＡＲ ＡＤＣ回路３３００を示す。ＳＡＲ ＡＤＣ回路３３００は、バイナリＣＤＡＣ（コンデンサに基づくＤＡＣ）３３０１、演算増幅器／コンパレータ３３０２、演算増幅器／コンパレータ３３０３、ＳＡＲロジック及びレジスタ３３０４を備える。示されるように、ＧｎｄＶ３１０４は、低電圧基準レベル、例えば、接地レベルである。ＳＡＲロジック及びレジスタ３１０３は、デジタル出力３１０６を提供する。Ｖｉｎは、入力電圧にあり、ＶＲＥＦは、基準電圧であり、ＧｎｄＶは、接地電圧である。Ｖ残余は、コンデンサ３３０５によって生成され、ＳＡＲ ＡＤＣの次のステージへの入力として提供される。

【0177】

構成可能な出力ニューロン（構成可能なニューロンＡＤＣなど）の回路に関する追加の実装詳細は、同じ譲受人によって２０１９年６月２１日に出願され、「Ｃｏｎｆｉｇｕｒａｂｌｅ Ｉｎｐｕｔ Ｂｌｏｃｋｓ ａｎｄ Ｏｕｔｐｕｔ Ｂｌｏｃｋｓ ａｎｄ Ｐｈｙｓｉｃａｌ Ｌａｙｏｕｔ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する、米国特許出願第１６／４４９，２０１号に見出すことができ、それは、参照により本明細書に組み込まれる。

【0178】

本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「の上に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「の上に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板の上に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図18C】

【図19A】

【図19B】

【図19C】

【図20】

【図21A】

【図21B】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27A】

【図27B】

【図28A】

【図28B】

【図28C】

【図29】

【図30】

【図31】

【図32】

【図33】