▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特許7314286スタックゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類子
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-14
(45)【発行日】2023-07-25
(54)【発明の名称】スタックゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類子
(51)【国際特許分類】
G11C 11/54 20060101AFI20230718BHJP
H01L 29/66 20060101ALI20230718BHJP
H01L 21/336 20060101ALI20230718BHJP
H01L 29/788 20060101ALI20230718BHJP
H01L 29/792 20060101ALI20230718BHJP
G06G 7/60 20060101ALI20230718BHJP
G06N 3/063 20230101ALI20230718BHJP
H10B 41/30 20230101ALI20230718BHJP
【ＦＩ】
G11C11/54
H01L29/66 Z
H01L29/78 371
G06G7/60
G06N3/063
H10B41/30
【請求項の数】
9
(21)【出願番号】P 2021544155
(86)(22)【出願日】2019-08-29
(65)【公表番号】
(43)【公表日】2022-03-18
(86)【国際出願番号】 US2019048934
(87)【国際公開番号】W WO2020159580
(87)【国際公開日】2020-08-06
【審査請求日】2021-09-17
(31)【優先権主張番号】62/798,417
(32)【優先日】2019-01-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/382,051
(32)【優先日】2019-04-11
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー、バン
(72)【発明者】
【氏名】レムケ、スティーブン
(72)【発明者】
【氏名】ティワリ、ビピン
(72)【発明者】
【氏名】ドー、ナン
(72)【発明者】
【氏名】レイテン、マーク
【審査官】後藤 彰
(56)【参考文献】
【文献】国際公開第２０１７／２００８８３（ＷＯ，Ａ１）
【文献】特開２００９－０８０８９２（ＪＰ，Ａ）
【文献】特開平０３－０４６１９５（ＪＰ，Ａ）
【文献】特開平０６－１３９３７９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０６３
Ｈ０１Ｌ ２９／６６
Ｈ１０Ｂ ４１／３０
Ｈ０１Ｌ ２１／３３６
Ｇ１１Ｃ １１／５４
Ｇ０６Ｇ ７／６０
(57)【特許請求の範囲】
【請求項1】
ニューラルネットワークデバイスであって、第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成された、第１の複数のシナプスを含み、前記第１の複数のシナプスは、
複数のメモリセルであって、前記メモリセルの各々は、半導体基板内に形成され、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、前記チャネル領域全体の上方に配設され、前記チャネル領域から絶縁された浮遊ゲートと、前記浮遊ゲートの上方に配設され、前記浮遊ゲートから絶縁された第１のゲートと、を含む、複数のメモリセルを含み、
前記複数のメモリセルの各々は、前記浮遊ゲートで多くの電子に対応する重み値を格納するように構成され、
前記複数のメモリセルは、前記第１の複数の入力及び格納された前記重み値に基づいて前記第１の複数の出力を生成するように構成され、
前記第１の複数のシナプスの前記メモリセルは、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記列のうちの１つにおいて前記第１のゲートのうちの少なくともいくつかを各々電気的に一緒に接続する複数の第１の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域を各々電気的に一緒に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域を各々電気的に一緒に接続する複数の第３の線と、を含み、
前記第１の複数のシナプスは、前記複数の第１の線で電圧として前記第１の複数の入力を受信するように、かつ前記複数の第２の線で電流として前記第１の複数の出力を提供するように構成され、
前記メモリセルの前記行は、偶数及び奇数番号の行に交互に配置され、
前記メモリセルの前記列の各々は、前記メモリセルの前記奇数番号の行にある前記メモリセルの前記列内の前記メモリセルの前記第１のゲートを電気的に一緒に接続する前記第１の線のうちの１つと、前記メモリセルの前記偶数番号の行にある前記メモリセルの前記列内の前記メモリセルの前記第１のゲートを電気的に一緒に接続する前記第１の線のうちの別の１つと、含む、ニューラルネットワークデバイス。
【請求項2】
前記第１の複数の出力を受信するように構成された第１の複数のニューロンを更に含む、請求項１に記載のニューラルネットワークデバイス。
【請求項3】
前記第１の複数のニューロンから第２の複数の入力を受信するように、かつそれから第２の複数の出力を生成するように構成された、第２の複数のシナプスを更に含み、前記第２の複数のシナプスは、複数の第２のメモリセルであって、前記第２のメモリセルの各々は、前記半導体基板内に形成され、間に第２のチャネル領域が延在する離間した第２のソース領域及び第２のドレイン領域と、前記第２のチャネル領域全体の上方に配設され、前記第２のチャネル領域から絶縁された第２の浮遊ゲートと、前記第２の浮遊ゲートの上方に配設され、前記第２の浮遊ゲートから絶縁された第２のゲートと、を含む、複数の第２のメモリセルを含み、
前記複数の第２のメモリセルの各々は、前記第２の浮遊ゲートで多くの電子に対応する第２の重み値を格納するように構成され、
前記複数の第２のメモリセルは、前記第２の複数の入力及び格納された前記第２の重み値に基づいて、前記第２の複数の出力を生成するように構成され、
前記第２の複数のシナプスの前記第２のメモリセルは、行及び列に配置され、前記第２の複数のシナプスは、
前記第２のメモリセルの前記列のうちの１つにおいて前記第２のゲートのうちの少なくともいくつかを各々電気的に一緒に接続する複数の第４の線と、
前記第２のメモリセルの前記行のうちの１つにおいて前記第２のソース領域を各々電気的に一緒に接続する複数の第５の線と、
前記第２のメモリセルの前記列のうちの１つにおいて前記第２のドレイン領域を各々電気的に一緒に接続する複数の第６の線と、を含み、
前記第２の複数のシナプスは、前記複数の第４の線で電圧として前記第２の複数の入力を受信するように、かつ前記複数の第５の線で電流として前記第２の複数の出力を提供するように構成された、請求項２に記載のニューラルネットワークデバイス。
【請求項4】
前記第２のメモリセルの前記行は、偶数及び奇数番号の行に交互に配置され、前記第２のメモリセルの前記列の各々は、前記第２のメモリセルの前記奇数番号の行にある前記第２のメモリセルの前記列内の前記第２のメモリセルの前記第２のゲートを電気的に一緒に接続する前記第４の線のうちの１つと、前記第２のメモリセルの前記偶数番号の行にある前記第２のメモリセルの前記列内の前記第２のメモリセルの前記第２のゲートを電気的に一緒に接続する前記第４の線のうちの別の１つと、を含む、請求項３に記載のニューラルネットワークデバイス。
【請求項5】
前記第２の複数の出力を受信するように構成された第２の複数のニューロンを更に含む、請求項３に記載のニューラルネットワークデバイス。
【請求項6】
ニューラルネットワークデバイスであって、第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成された、第１の複数のシナプスを含み、前記第１の複数のシナプスは、
複数のメモリセルであって、前記メモリセルの各々は、半導体基板内に形成され、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、前記チャネル領域全体の上方に配設され、前記チャネル領域から絶縁された浮遊ゲートと、前記浮遊ゲートの上方に配設され、前記浮遊ゲートから絶縁された第１のゲートと、を含む、複数のメモリセルを含み、
前記複数のメモリセルの各々は、前記浮遊ゲートで多くの電子に対応する重み値を格納するように構成され、
前記複数のメモリセルは、前記第１の複数の入力及び格納された前記重み値に基づいて前記第１の複数の出力を生成するように構成され、
前記第１の複数のシナプスの前記メモリセルは、行及び列に配置され、前記第１の複数のシナプスは、
前記メモリセルの前記行のうちの１つにおいて前記第１のゲートを各々電気的に一緒に接続する複数の第１の線と、
前記メモリセルの前記行のうちの１つにおいて前記ソース領域を各々電気的に一緒に接続する複数の第２の線と、
前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域を各々電気的に一緒に接続する複数の第３の線と、
前記第３の線のうちの１つと直列に各々電気的に接続された複数のトランジスタと、を含み、
前記第１の複数のシナプスは、前記複数のトランジスタのゲートで電圧として前記第１の複数の入力を受信するように、かつ前記複数の第２の線で電流として前記第１の複数の出力を提供するように構成された、ニューラルネットワークデバイス。
【請求項7】
前記第１の複数の出力を受信するように構成された第１の複数のニューロンを更に含む、請求項６に記載のニューラルネットワークデバイス。
【請求項8】
前記第１の複数のニューロンから第２の複数の入力を受信するように、かつそれから第２の複数の出力を生成するように構成された、第２の複数のシナプスを更に含み、前記第２の複数のシナプスは、複数の第２のメモリセルであって、前記第２のメモリセルの各々は、前記半導体基板内に形成され、間に第２のチャネル領域が延在する離間した第２のソース領域及び第２のドレイン領域と、前記第２のチャネル領域全体の上方に配設され、前記第２のチャネル領域から絶縁された第２の浮遊ゲートと、前記第２の浮遊ゲートの上方に配設され、前記第２の浮遊ゲートから絶縁された第２のゲートと、を含む、複数の第２のメモリセルを含み、
前記複数の第２のメモリセルの各々は、前記第２の浮遊ゲートで多くの電子に対応する第２の重み値を格納するように構成され、
前記複数の第２のメモリセルは、前記第２の複数の入力及び格納された前記第２の重み値に基づいて、前記第２の複数の出力を生成するように構成され、
前記第２の複数のシナプスの前記第２のメモリセルは、行及び列に配置され、前記第２の複数のシナプスは、
前記第２のメモリセルの前記行のうちの１つにおいて前記第２のゲートを各々電気的に一緒に接続する複数の第４の線と、
前記第２のメモリセルの前記行のうちの１つにおいて前記第２のソース領域を各々電気的に一緒に接続する複数の第５の線と、
前記第２のメモリセルの前記列のうちの１つにおいて前記第２のドレイン領域を各々電気的に一緒に接続する複数の第６の線と、
前記第６の線のうちの１つと直列に各々電気的に接続された第２の複数のトランジスタと、を含み、
前記第２の複数のシナプスは、前記第２の複数のトランジスタのゲートで電圧として前記第２の複数の入力を受信するように、かつ前記複数の第５の線で電流として前記第２の複数の出力を提供するように構成された、請求項７に記載のニューラルネットワークデバイス。
【請求項9】
前記第２の複数の出力を受信するように構成された第２の複数のニューロンを更に含む、請求項８に記載のニューラルネットワークデバイス。【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本出願は、２０１９年４月１１日出願の米国特許出願第１６／３８２，０５１号及び２０１９年１月２９日出願の米国仮特許出願第６２／７９８，４１７号の利益を主張するものである。
本出願は、２０１９年４月１１日出願の米国特許出願第１６／３８２，０５１号及び２０１９年１月２９日出願の米国仮特許出願第６２／７９８，４１７号の利益を主張するものである。
【0002】
（発明の分野）
本発明は、ニューラルネットワークに関する。
本発明は、ニューラルネットワークに関する。
【背景技術】
【0003】
人工ニューラルネットワークは、多数の入力により得る機能を推定又は近似するために使用され、概ね既知である生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）によく似ている。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。図１は、人工ニューラルネットワークを図示しており、ここで円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる。）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これは、ニューラルネットが入力に適応できるようにし、学習できるようにする。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信したデータに基づいて個々に又は合わせて決定を行う。
【0004】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用ＧＰＵ（グラフィックプロセッシングユニット）クラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【発明の概要】
【0005】
前述の問題及び必要性は、第１の複数の入力を受信し、第１の複数の出力をそれから生成するように構成された第１の複数のシナプスを含むニューラルネットワークデバイスによって対処される。前記第１の複数のシナプスは複数のメモリセルを含み、前記メモリセルの各々は、半導体基板内に形成され、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、前記チャネル領域全体の上方に配設され、前記チャネル領域から絶縁された浮遊ゲートと、前記浮遊ゲートの上方に配設され、前記浮遊ゲートから絶縁された第１のゲートと、を含む。前記複数のメモリセルの各々は、前記浮遊ゲートで多くの電子に対応する重み値を格納するように構成されている。前記複数のメモリセルは、前記第１の複数の入力及び格納された前記重み値に基づいて、前記第１の複数の出力を生成するように構成される。前記第１の複数のシナプスの前記メモリセルは、行及び列に配置される。前記第１の複数のシナプスは、前記メモリセルの前記行のうちの１つの前記第１のゲートを各々電気的に一緒に接続する複数の第１の線を含み、前記メモリセルの前記行のうちの１つの前記ソース領域を各々電気的に一緒に接続する複数の第２の線と、前記メモリセルの前記列のうちの１つの前記ドレイン領域を各々電気的に一緒に接続する複数の第３の線と、を含む。前記第１の複数のシナプスは、前記複数の第１の線で、又は前記複数の第２の線で電圧として前記第１の複数の入力を受信するように、かつ前記複数の第３の線で電流として前記第１の複数の出力を提供するように構成されている。
【0006】
ニューラルネットワークデバイスは、第１の複数の入力を受信するように、かつ第１の複数の出力をそれから生成するように構成された第１の複数のシナプスを含むことができる。前記第１の複数のシナプスは複数のメモリセルを含み、前記メモリセルの各々は、半導体基板内に形成され、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、前記チャネル領域全体の上方に配設され、前記チャネル領域から絶縁された浮遊ゲートと、前記浮遊ゲートの上方に配設され、前記浮遊ゲートから絶縁された第１のゲートと、を含む。前記複数のメモリセルの各々は、前記浮遊ゲートで多くの電子に対応する重み値を格納するように構成されている。前記複数のメモリセルは、前記第１の複数の入力及び格納された前記重み値に基づいて、前記第１の複数の出力を生成するように構成される。前記第１の複数のシナプスの前記メモリセルは、行及び列に配置される。前記第１の複数のシナプスは、前記メモリセルの前記行のうちの１つの前記第１のゲートを各々電気的に一緒に接続する複数の第１の線を含み、前記メモリセルの前記行のうちの１つの前記ソース領域を各々電気的に一緒に接続する複数の第２の線と、前記メモリセルの前記列のうちの１つの前記ドレイン領域を各々電気的に一緒に接続する複数の第３の線と、を含む。前記第１の複数のシナプスは、前記複数の第３の線で電圧として前記第１の複数の入力を受信するように、かつ前記複数の第２の線で電流として前記第１の複数の出力を提供するように構成されている。
【0007】
ニューラルネットワークデバイスは、第１の複数の入力を受信するように、かつ第１の複数の出力をそれから生成するように構成された第１の複数のシナプスを含むことができる。前記第１の複数のシナプスは複数のメモリセルを含み、前記メモリセルの各々は、半導体基板内に形成され、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、前記チャネル領域全体の上方に配設され、前記チャネル領域から絶縁された浮遊ゲートと、前記浮遊ゲートの上方に配設され、前記浮遊ゲートから絶縁された第１のゲートと、を含む。前記複数のメモリセルの各々は、前記浮遊ゲートで多くの電子に対応する重み値を格納するように構成されている。前記複数のメモリセルは、前記第１の複数の入力及び格納された前記重み値に基づいて、前記第１の複数の出力を生成するように構成される。前記第１の複数のシナプスの前記メモリセルは、行及び列に配置される。前記第１の複数のシナプスは、前記メモリセルの前記行のうちの１つの前記第１のゲートを各々電気的に一緒に接続する複数の第１の線を含み、前記メモリセルの前記列のうちの１つの前記ソース領域を各々電気的に一緒に接続する複数の第２の線と、前記メモリセルの前記列のうちの１つの前記ドレイン領域を各々電気的に一緒に接続する複数の第３の線と、を含む。前記第１の複数のシナプスは、前記複数の第１の線で電圧として前記第１の複数の入力を受信するように、かつ前記複数の第２の線で、又は前記複数の第３の線で電流として前記第１の複数の出力を提供するように構成されている。
【0008】
ニューラルネットワークデバイスは、第１の複数の入力を受信するように、かつ第１の複数の出力をそれから生成するように構成された第１の複数のシナプスを含むことができる。前記第１の複数のシナプスは複数のメモリセルを含み、前記メモリセルの各々は、半導体基板内に形成され、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、前記チャネル領域全体の上方に配設され、前記チャネル領域から絶縁された浮遊ゲートと、前記浮遊ゲートの上方に配設され、前記浮遊ゲートから絶縁された第１のゲートと、を含む。前記複数のメモリセルの各々は、前記浮遊ゲートで多くの電子に対応する重み値を格納するように構成されている。前記複数のメモリセルは、前記第１の複数の入力及び格納された前記重み値に基づいて、前記第１の複数の出力を生成するように構成される。前記第１の複数のシナプスの前記メモリセルは、行及び列に配置される。前記第１の複数のシナプスは、前記メモリセルの前記列のうちの１つの前記第１のゲートの少なくとも一部を各々電気的に一緒に接続する複数の第１の線と、前記メモリセルの前記行のうちの１つの前記ソース領域を各々電気的に一緒に接続する複数の第２の線と、前記メモリセルの前記列のうちの１つの前記ドレイン領域を各々電気的に一緒に接続する複数の第３の線と、を含む。前記第１の複数のシナプスは、前記複数の第１の線で電圧として前記第１の複数の入力を受信するように、かつ前記複数の第２の線で電流として前記第１の複数の出力を提供するように構成されている。
【0009】
ニューラルネットワークデバイスは、第１の複数の入力を受信するように、かつ第１の複数の出力をそれから生成するように構成された第１の複数のシナプスを含むことができる。前記第１の複数のシナプスは複数のメモリセルを含み、前記メモリセルの各々は、半導体基板内に形成され、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、前記チャネル領域全体の上方に配設され、前記チャネル領域から絶縁された浮遊ゲートと、前記浮遊ゲートの上方に配設され、前記浮遊ゲートから絶縁された第１のゲートと、を含む。前記複数のメモリセルの各々は、前記浮遊ゲートで多くの電子に対応する重み値を格納するように構成されている。前記複数のメモリセルは、前記第１の複数の入力及び格納された前記重み値に基づいて、前記第１の複数の出力を生成するように構成される。前記第１の複数のシナプスの前記メモリセルは、行及び列に配置される。前記第１の複数のシナプスは、前記メモリセルの前記行のうちの１つの前記第１のゲートを各々電気的に一緒に接続する複数の第１の線と、前記メモリセルの前記行のうちの１つの前記ソース領域を各々電気的に一緒に接続する複数の第２の線と、前記メモリセルの前記列のうちの１つの前記ドレイン領域を各々電気的に一緒に接続する複数の第３の線と、前記第３の線のうちの１つと直列に各々電気的に接続された複数のトランジスタと、を含む。前記第１の複数のシナプスは、前記複数のトランジスタのゲートで電圧として前記第１の複数の入力を受信するように、かつ前記複数の第２の線で電流として前記第１の複数の出力を提供するように構成されている。
【0010】
本発明の他の目的及び特徴は、明細書、特許請求の範囲、添付図面を精読することによって明らかになるであろう。
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【図面の簡単な説明】
【0030】
【図1】人工ニューラルネットワークを示す図である。
【図2】従来の２ゲート不揮発性メモリセルの側断面図である。
【図4】従来の２ゲート不揮発性メモリセルの側断面図である。
【図6】従来の４ゲート不揮発性メモリセルの側断面図である。
【図8A】均等な間隔であるニューラルネットワークの重みレベルの割当てを示す図である。
【図8B】不均等な間隔であるニューラルネットワークの重みレベルの割当てを示す図である。
【図9】双方向調整アルゴリズムを示すフローチャートである。
【図10】電流比較を使用した重みマッピングを示すブロック図である。
【図11】電圧比較を使用した重みマッピングを示すブロック図である。
【図12】不揮発性メモリアレイを利用する異なるレベルの例示のニューラルネットワークを示す図である。
【図13】ベクトル乗算器マトリクスを示すブロック図である。
【図14】様々なレベルのベクトル乗算器マトリクスを示すブロック図である。
【図15】スタックゲートの不揮発性メモリセルの側断面図である。
【図17】スタックゲートメモリセルを使用する電流－電圧変換器を示す概略図である。
【図25】メモリアレイ（複数可）の動作を実装するためのメモリアレイ（複数可）と同じチップのコントローラを示す図である。
【発明を実施するための形態】
【0031】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。デジタル不揮発性メモリは、周知である。例えば、米国特許第５，０２９，１３０号（「’１３０特許」）は、分割ゲート不揮発性メモリセルのアレイを開示する。’１３０特許に開示されているメモリセルは、メモリセル１０として図２に示されている。各メモリセル１０は、半導体基板１２に形成されたソース領域及びドレイン領域１４／１６を含み、それらの間にチャネル領域１８を有する。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に形成され、チャネル領域１８の第１の部分から絶縁され（かつその伝導率を制御し）、かつドレイン領域１６の一部分の上方に形成されている。制御ゲート２２（すなわち、第２のチャネル制御ゲート）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁される（かつその伝導率を制御する。）第１の部分２２ｂと、浮遊ゲート２０の上方に延在する第２の部分２２ｃと、を有する。浮遊ゲート２０及び制御ゲート２２は、ゲート酸化物２６によって基板１２から絶縁されている。
【0032】
メモリセル１０は、制御ゲート２２上に高い正電圧を印加することによって消去され（ここで電子は、浮遊ゲート２０から除去される。）、それにより、ファウラーノルドハイムトンネリングによって浮遊ゲート２０から制御ゲート２２まで中間絶縁体２４を通って浮遊ゲート２０の電子をトンネリングさせる。
【0033】
メモリセル１０は、制御ゲート２２に正電圧を印加し、かつドレイン１６に正電圧を印加することによってプログラムされる（ここで電子は、浮遊ゲート２０に配置される。）。電子流は、ソース１４からドレイン１６に向かって流れることになる。電子は、制御ゲート２２と浮遊ゲート２０との間の間隙に達すると、加速し加熱されることになる。熱せられた電子のいくらかは、浮遊ゲート２０からの静電引力に起因してゲート酸化物２６を通って浮遊ゲート２０に注入される。
【0034】
メモリセル１０は、ドレイン１６及び制御ゲート２２に正の読み出し電圧を印加することによって読み出される（制御ゲート下のチャネル領域の部分をオンにする。）。浮遊ゲート２０が正に帯電する（すなわち、電子を消去し、ドレイン１６の正電圧に容量的に結合する。）場合、浮遊ゲート２０下のチャネル領域１８の部分は、次に同様にオンになり、電流は、チャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる。）と、浮遊ゲート２０の下のチャネル領域１８の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検出される。
【0035】
メモリセル１０の従来のアレイアーキテクチャのアーキテクチャを図３に示す。メモリセル１０は、行及び列に配置される。各列において、メモリセルは、ミラー方式にエンドツーエンドで配置され、その結果、それらのメモリセルは、それぞれが共通ソース領域１４（source、Ｓ）を共有するメモリセルのペアとして形成され、メモリセルペアの隣接するセットはそれぞれ共通ドレイン領域１６（drain、Ｄ）を共有する。任意の所与のメモリセルの行のソース領域１４は全て、ソース線１４ａによって電気的に接続される。任意の所与のメモリセルの列のドレイン領域１６は全て、ビット線１６ａによって電気的に接続される。任意の所与のメモリセルの行の制御ゲート２２は全て、制御ゲート線２２ａによって電気的に接続される。したがって、メモリセルを個々にプログラム及び読み出しすることができる一方、メモリセル消去は１行ずつ実行される（メモリセルの各行は、制御ゲート線２２ａへの高電圧の適用によって一緒に消去される。）。特定のメモリセルを消去する場合は、同じ行にある全てのメモリセルもまた消去される。
【0036】
当業者には、ソース及びドレインに互換性があり得ることが理解され、ここで浮遊ゲート２０は、図４に示されるように、ドレイン１６の代わりにソース１４の上方に部分的に延在し得る。図５は、メモリセル１０、ソース線１４ａ、ビット線１６ａ、及び制御ゲート線２２ａを含む対応するメモリセルアーキテクチャを最も良く示している。図から明らかなように、同じ行のメモリセル１０は、同じソース線１４ａ及び同じ制御ゲート線２２ａを共有し、一方同じ列の全てのセルのドレイン領域は、同じビット線１６ａに電気的に接続されている。アレイの設計は、デジタルアプリケーション用に最適化されており、例えば、１．６Ｖ及び７．６Ｖを選択した制御ゲート線２２ａ及びソース線１４ａにそれぞれ印加し、選択したビット線１６ａを接地することによるなど、選択したセルの個々のプログラミングを可能にする。同じペア内の選択されていないメモリセルを妨害することは、選択されていないビット線１６ａに２ボルト超の電圧を印加し、残りの線を接地することによって回避される。消去に関与しているプロセス（浮遊ゲート２０から制御ゲート２２までの電子のファウラーノルドハイムトンネリング）は、ドレイン電圧（すなわち、同じソース線１４ａを共有する行方向で２つの隣接するセルにより異なり得る電圧のみ）に弱く影響を受けるだけであるので、メモリセル１０を個々に消去することはできない。動作電圧の非限定的な例としては、以下が挙げられる。
表１
読み出し１は、セル電流がビット線に出る読み取りモードである。読み出し２は、セル電流がソース線に出る読み取りモードである。
表１
【表1】
【0037】
３つ以上のゲートを有する分割ゲートメモリセルもまた既知である。例えば、図６に示されるように、メモリセルは、ソース領域１４、ドレイン領域１６、チャネル領域１８の第１の部分の上方の浮遊ゲート２０、チャネル領域１８の第２の部分の上方の選択ゲート２８（すなわち、第２のチャネル制御ゲート）、浮遊ゲート２０の上方の制御ゲート２２、及びソース領域１４の上方の消去ゲート３０を有し、それらは既知である（例えば、米国特許第６，７４７，３１０号を参照のこと。）。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧又は電流源に電気的に接続される又は接続可能である。プログラミングは、浮遊ゲート２０にそれ自体を注入するチャネル領域１８からの熱せられた電子によって示される。消去は、浮遊ゲート２０から消去ゲート３０へトンネリングする電子によって示される。
【0038】
４ゲートのメモリセルアレイのアーキテクチャは、図７に示されるように構成され得る。この実施形態では、水平の各選択ゲート線２８ａは、メモリセルのその行の選択ゲート２８全てを電気的に一緒に接続する。水平の各制御ゲート線２２ａは、メモリセルのその行の制御ゲート２２全てを電気的に一緒に接続する。水平の各ソース線１４ａは、ソース領域１４を共有するメモリセルの２つの行に対するソース領域１４全てを電気的に一緒に接続する。各ビット線１６ａは、メモリセルのその列のドレイン領域１６全てを電気的に一緒に接続する。それぞれの消去ゲート線３０ａは、消去ゲート３０を共有するメモリセルの２つの行に対する消去ゲート３０全てを電気的に一緒に接続する。以前のアーキテクチャと同様に、個々のメモリセルは、独立してプログラム及び読み出しを行うことができる。しかしながら、メモリセルを個々に消去する方法はない。消去は、消去ゲート線３０ａに高圧正電圧を印加することによって実行され、このことは同じ消去ゲート線３０ａを共有するメモリセルの両方の行の同時消去をもたらす。非限定的な動作電圧は、下の表２内のものを含み得る（この実施形態では、選択ゲート線２８ａはワード線（ｗｏｒｄ ｌｉｎｅ、ＷＬ）と呼ばれることがある。）：
表２
読み出し１は、セル電流がビット線に出る読み取りモードである。読み出し２は、セル電流がソース線に出る読み取りモードである。
表２
【表2】
【0039】
上述の不揮発性メモリアレイをニューラルネットワークで利用するために、２つの変形を行ってもよい。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しすることができるように線を再構成してもよい。第２に、メモリセルの連続（アナログ）プログラミングを提供してもよい。具体的には、アレイ内の各メモリセルのメモリ又はプログラム状態（すなわち、浮遊ゲートの多数の電子によって反映されるような浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で連続的に変えることができる。このことは、セル格納がアナログであるか、又は多数の別個の値のうちの１つを最低限格納することができ、それは、メモリアレイ内の全てのセルに対する非常に正確、かつ個々の調整を可能にし、またメモリアレイを格納に理想的にし、ニューラルネットワークのシナプシスの重みに微調整を加えることを意味する。
メモリセルのプログラミング及び格納
メモリセルのプログラミング及び格納
【0040】
メモリセル内に格納されるニューラルネットワークの重みレベルの割り当ては、図８Ａに示されるような均等な間隔、又は図８Ｂに示されるような不均等な間隔であり得る。不揮発性メモリセルのプログラミングは、図９に示されるものなど双方向調整アルゴリズムを使用して実装され得る。Ｉｃｅｌｌは、プログラムされる標的セルの読み出し電流であり、Ｉｔａｒｇｅｔは、セルが理想的にプログラムされる際の所望の読み出し電流である。標的セル読み出し電流Ｉｃｅｌｌを読み出し（工程１）、標的読み出し電流Ｉｔａｒｇｅｔと比較する（工程２）。標的セル読み出し電流Ｉｃｅｌｌが、標的読み出し電流Ｉｔａｒｇｅｔより大きい場合は、プログラミング調整プロセスを実行して（工程３）浮遊ゲート２０（ルックアップテーブル又はシリコン系の近似関数を使用して制御ゲート２２の所望の初期及び増分プログラミング電圧ＶＣＧを判定する。）の電子数を増大させ（工程３ａ～３ｂ）、必要に応じてこれを繰り返すことができる（工程３ｃ）。標的セル読み出し電流Ｉｃｅｌｌが、標的読み出し電流Ｉｔａｒｇｅｔより小さい場合は、消去調整プロセスを実行して（工程４）浮遊ゲート２０（ルックアップテーブル又はシリコン系の近似関数を使用して消去ゲート３０の所望の初期及び増分消去電圧ＶＥＧを判定する。）の電子数を減少させ（工程４ａ～４ｂ）、必要に応じてこれを繰り返すことができる（工程４ｃ）。プログラミング調整プロセスが標的読み出し電流を通り過ぎると、（許容できるデルタ値内で）標的読み出し電流を達成するまで次に消去調整プロセスを実行し（工程３ｄ及び工程４ａで始まる。）、逆もまた同様である（工程４ｄ及び工程３ａで始まる。）。
【0041】
不揮発性メモリセルのプログラミングは、プログラミング調整を使用して一方向の調整アルゴリズムを使用して代わりに実装され得る。このアルゴリズムを使用して、メモリセル１０を最初に完全に消去し、次に標的メモリセル１０の読み出し電流が標的閾値に達するまで図９のプログラミング調整工程３ａ～３ｃを実行する。あるいは、不揮発性メモリセルの調整は、消去調整を使用して一方向の調整アルゴリズムを使用して実装され得る。このアプローチでは、メモリセルを最初に完全にプログラムし、次に標的メモリセルの読み出し電流が標的閾値に達するまで図９の消去調整工程４ａ～４ｃを実行する。
【0042】
図１０は、電流比較を使用した重みマッピングを示す図である。重みデジタルビット（例えば、各シナプシスに対して５ビットの重み、メモリセルの標的デジタル重みを表す。）は、デジタルアナログ変換器（digital-to-analog converter、ＤＡＣ）４０に入力され、ＤＡＣ４０はビットを電圧Ｖｏｕｔ（例えば、６４電圧レベル－５ビット）に変換する。Ｖｏｕｔは、電圧電流変換器Ｖ／Ｉ Ｃｏｎｖ４２によって電流Ｉｏｕｔ（例えば、６４電流レベル－５ビット）に変換される。電流Ｉｏｕｔは、電流比較器ＩＣｏｍｐ４４に供給される。プログラム又は消去アルゴリズムの有効化は、メモリセル１０に入力される（例えば、消去：ＥＧ電圧をインクリメント、又はプログラム：ＣＧ電圧をインクリメント）。出力メモリセル電流Ｉｃｅｌｌｏｕｔ（すなわち、読み出し動作から）は、電流比較器ＩＣｏｍｐ４４に供給される。電流比較器ＩＣｏｍｐ４４は、メモリセル電流Ｉｃｅｌｌｏｕｔを重みデジタルビット由来の電流Ｉｏｕｔと比較してメモリセル１０に格納された重みを示す信号を生成する。
【0043】
図１１は、電圧比較を使用した重みマッピングを示す図である。重みデジタルビット（例えば、各シナプシスに対して５ビットの重み）は、デジタルアナログ変換器（ＤＡＣ）４０に入力され、ＤＡＣ４０はビットを電圧Ｖｏｕｔ（例えば、６４電圧レベル－５ビット）に変換する。Ｖｏｕｔは、電圧比較器ＶＣｏｍｐ４６に供給される。プログラム又は消去アルゴリズムの有効化は、メモリセル１０に入力される（例えば、消去：ＥＧ電圧をインクリメント、又はプログラム：ＣＧ電圧をインクリメント）。出力メモリセル電流Ｉｃｅｌｌｏｕｔは、電圧Ｖ２ｏｕｔへの変換（例えば、６４電圧レベル－５ビット）のために電流電圧変換器Ｉ／Ｖ Ｃｏｎｖ４８に供給される。電圧Ｖ２ｏｕｔは、電圧比較器ＶＣｏｍｐ４６に供給される。電圧比較器ＶＣｏｍｐ４６は、電圧Ｖｏｕｔ及びＶ２ｏｕｔを比較してメモリセル１０に格納された重みを示す信号を生成する。
【0044】
重みマッピング比較の別の実施形態は、入力重み及び／又はメモリセルの出力のための可変パルス幅を使用する（すなわち、パルス幅は、重みの値に比例するか、又は反比例する。）。重みマッピング比較の更に別の実施形態では、入力重み及び／又はメモリセルの出力のためにデジタルパルス（例えば、クロックから生成されたパルスであって、パルス数は、重みの値に比例するか、又は反比例する。）を使用する。
不揮発性メモリセルアレイを使用するニューラルネットワーク
不揮発性メモリセルアレイを使用するニューラルネットワーク
【0045】
図１２は、不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に図示する。この例は、顔認識アプリケーションのために不揮発性メモリアレイニューラルネットを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の任意の適切なアプリケーションを実施することができる。Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である。）。Ｓ０からＣ１に行くシナプスＣＢ１は、異なる重みのセット及び共有される重みの両方を有し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによって決まるように２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる。）はシナプスＣＢ１に提供され、これによって、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が判定され、特徴マップＣ１の層のうちの１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする。）、そのため、この新しく位置付けられたフィルタの９ピクセル値が、シナプスＣＢ１に提供されるため、それらに同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を判定する。このプロセスを、３×３フィルタが３２×３２ピクセル画像全体にわたって３色全て及び全てのビットについてスキャンするまで続ける（精度値）。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
【0046】
本例では、層Ｃ１において、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、シナプスＣＢ１は、２次元アレイの１６層を構成する（本明細書で言及されるニューロン層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意する。）。１６個の特徴マップの各々は、フィルタスキャンに適用される１６個の異なるシナプス重みのセットの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される。）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される。）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
【0047】
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング段階の目的は、平均して近隣の位置にすること（又はｍａｘ関数もまた使用され得る。）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、それぞれ１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２へ行くＣＢ２内のシナプス及び関連するニューロンは、Ｓ１内のマップを１ピクセルのフィルタシフトを使用して４×４フィルタでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。活性化関数は、層Ｓ２から層Ｃ３へ行くシナプスＣＢ３で適用され、ここで層Ｃ３内の全てのニューロンは層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へ行くシナプスＣＢ４は、Ｓ３をＣ３と完全に接続する。層Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを判定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
【0048】
シナプスの各レベルは、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。図１３は、不揮発性メモリセルを含み、入力層と次の層との間のシナプスとして利用されるベクターとマトリクスとの乗算（vector-by-matrix multiplication、ＶＭＭ）アレイのブロック図である。具体的には、ＶＭＭアレイ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダはメモリセルアレイ３３に対する入力をデコードする。この例におけるソース線デコーダ３７はまた、メモリセルアレイ３３の出力をデコードする。あるいは、ビット線デコーダ３６が、不揮発性メモリセルアレイ３３の出力をデコードすることができる。メモリアレイは、２つの目的を果たす。第１に、ＶＭＭアレイ３２によって使用される重みを格納する。第２に、メモリセルアレイは、メモリセルアレイに格納された重みによって、入力を有効に乗算して、その結果を各出力線に沿って一緒に加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、メモリアレイは、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
【0049】
メモリセルアレイの出力は、メモリセルアレイの出力を合計してその畳み込み用の単一の値を生成する単一の、又は差動加算回路３８に供給される。合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数には、シグモイド、ｔａｎｈ、又はＲｅＬｕ関数が含まれ得る。回路３９からの整流された出力値は、次の層（例えば上の説明ではＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、メモリセルアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する。）、加算回路３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0050】
図１４は、図中でＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅとして標示されたＶＭＭアレイ３２の多数の層の使用を示すブロック図である。図１４に示されるように、入力（Ｉｎｐｕｔｘで示される。）は、デジタルアナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭアレイ３２ａに提供される。入力ＶＭＭアレイ３２ａによって生成された出力は、次に、次のＶＭＭアレイ（隠しレベル１）３２ｂへの入力として提供され、次に入力ＶＭＭアレイ（隠しレベル２）３２ｃへの入力として提供される出力を生成するなどとなる。ＶＭＭアレイ３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。図１４に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。
【0051】
図１５～図１６は、ドレイン加算マトリクス乗算器として配置されたスタックゲートメモリセルのアレイの構成を示す。スタックゲートメモリセル１０は、図１５に示されており、上述の分割ゲート型メモリセルと同様に、チャネル領域１８が間にあるソース領域及びドレイン領域１４／１６を含む。しかしながら、スタックゲートメモリセル構成では、浮遊ゲート２０は、チャネル領域１８全体の上方に延在し（かつ、その導電性を制御し）、制御ゲート２２が浮遊ゲートの上方に配設される。他のゲートは存在しない。このメモリセルは、ドレイン側にホット電子注入、又は基板１２からのトンネリングによってプログラムすることができる。メモリセルは、電子が浮遊ゲート２０から基板１２にトンネリングする、基板１２、ソース領域１４及び／又はドレイン領域１６に高い正電圧を印加することによって消去することができる。このメモリセルは、制御ゲート２２及びソース領域１４に読み出し電圧を印加し、チャネル領域１８を通る任意の電流を感知することによって読み出される。例示的な非限定的な動作電圧は、以下の表３のものを含むことができる。
表３
読み出し１は、セル電流がビット線に出る読み取りモードである。読み出し２は、セル電流がソース線に出る読み取りモードである。
表３
【表3】
【0052】
図１６は、水平／行方向に延在する制御ゲート線２２ａ及びソース線１４ａ、並びに垂直／列方向に延在するビット線１６ａを有する、図１５のスタックゲートメモリセル１０を使用するメモリセルアレイアーキテクチャを示す。そのセルに適切な重み値を使用してメモリセルの各々がプログラムされた後で、アレイは、ビット線加算マトリクス乗算器として作動する。マトリクス電圧入力は、Ｖｉｎ０－Ｖｉｎ３であり、制御ゲート線２２ａに印加される。マトリクス出力Ｉｏｕｔ０．．．Ｉｏｕｔｎは、ビット線１６ａに生成される。各出力Ｉｏｕｔは、列内の全てのセルについて入力電流Ｉに、セルに格納された重みＷを乗じた値の合計である：
Ｉｏｕｔ＝Σ（Ｉｊ*Ｗｉｊ）
式中、「ｉ」は行を表し、「ｊ」はメモリセルが存在する列を表す。入力電圧が入力電流の代わりに印加される場合、図１６にＶｉｎ０－Ｖｉｎ３として示されるように、各出力Ｉｏｕｔは、列内の全てのセルについて入力電圧に、セル内に格納された重みＷを乗じた値の合計に比例する。
Ｉｏｕｔ α Σ（Ｖｊ*Ｗｉｊ）
Ｉｏｕｔ＝Σ（Ｉｊ*Ｗｉｊ）
式中、「ｉ」は行を表し、「ｊ」はメモリセルが存在する列を表す。入力電圧が入力電流の代わりに印加される場合、図１６にＶｉｎ０－Ｖｉｎ３として示されるように、各出力Ｉｏｕｔは、列内の全てのセルについて入力電圧に、セル内に格納された重みＷを乗じた値の合計に比例する。
Ｉｏｕｔ α Σ（Ｖｊ*Ｗｉｊ）
【0053】
各メモリセルの列は、その列内のメモリセルに格納された重み値の合計によって決まる出力電流Ｉｏｕｔとして表される合計の重み値を有する単一のニューロンとして作動する。任意の所与のニューロンの出力は電流の形態であり、これにより、次の後続のＶＭＭアレイ段階のための活性化関数回路による調節後に入力電流Ｉｉｎとして使用することができる。
【0054】
入力が電圧であり、出力が電流であることを考慮すると、図１６では、第１段階の後の各後続のＶＭＭ段階は、前のＶＭＭ段階から入力電圧Ｖｉｎとして使用される電圧に入力電流を変換するための回路を含むことが好ましい。図１７は、そのような電流電圧変換回路機構の例を示しているが、これは入力電流Ｉｉｎ０．．．Ｉｉｎ１を後続の段階への適用のために入力電圧Ｖｉｎ０．．．Ｖｉｎ１にログ変換する改変されたメモリセルの行である。本明細書に記載されたメモリセルは、弱反転にバイアスされる。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
式中、ｗ＝ｅ(-Vth)/kVtである。
入力電流を入力電圧に変換するためのメモリセルを使用するＩ－Ｖログ変換器について：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。ベクトルマトリックス乗算器ＶＭＭとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。制御ゲート線２２ａは、電流－電圧変換の間に閉じられるスイッチＢＬＲによってビット線１６ａに接続される入力電圧のためのメモリセルの入力として使用することができる。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
式中、ｗ＝ｅ(-Vth)/kVtである。
入力電流を入力電圧に変換するためのメモリセルを使用するＩ－Ｖログ変換器について：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。ベクトルマトリックス乗算器ＶＭＭとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。制御ゲート線２２ａは、電流－電圧変換の間に閉じられるスイッチＢＬＲによってビット線１６ａに接続される入力電圧のためのメモリセルの入力として使用することができる。
【0055】
あるいは、本明細書に記載されたＶＭＭアレイの不揮発性メモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
式中、Ｗｔ及びＬは、トランジスタのそれぞれの幅及び長さである。
Ｗ α（Ｖｇｓ－Ｖｔｈ）は、重みＷが（Ｖｇｓ－Ｖｔｈ）に比例する。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
式中、Ｗｔ及びＬは、トランジスタのそれぞれの幅及び長さである。
Ｗ α（Ｖｇｓ－Ｖｔｈ）は、重みＷが（Ｖｇｓ－Ｖｔｈ）に比例する。
【0056】
制御ゲート線又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
【0057】
Ｉ－Ｖ線形変換器用に、メモリセル（基準メモリセル又は周辺メモリセルなど）、又は線形領域で動作するトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。あるいは、本明細書に記載されたＶＭＭアレイの不揮発性メモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝α１／２*β*（Ｖｇｓ－Ｖｔｈ）2；β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α（Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは（Ｖｇｓ－Ｖｔｈ）2に比例する。
Ｉｄｓ＝α１／２*β*（Ｖｇｓ－Ｖｔｈ）2；β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α（Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは（Ｖｇｓ－Ｖｔｈ）2に比例する。
【0058】
制御ゲート線は、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。あるいは、本明細書に記載されるＶＭＭアレイの不揮発性メモリセルは、全ての領域又はそれらの組み合わせ（サブ閾値、線形、又は飽和）で使用することができる。上述の電流－電圧変換回路又は技術は、本明細書のいずれかの実施形態で使用することができ、任意のニューロンからの電流出力を電流の形態で、次の後続のＶＭＭアレイ段階の活性化関数回路で調整した後、入力として使用することができる。
【0059】
図１８は、ドレイン加算マトリクス乗算器として配置された、図１５のスタックゲートメモリセル１０のアレイの別の構成を示す。図１８のアレイの線は、図１６のアレイのものと同じである。しかしながら、マトリクス電圧入力Ｖｉｎ０－Ｖｉｎ１はソース線１４ａに配置され、マトリクス電流出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ビット線１６ａに生成される（すなわち、各出力Ｉｏｕｔは、列内の全てのセルに対し、セル内に格納された重みＷに比例するセル電流の合計である）。前の実施形態のように、任意の所与のニューロンの出力は電流の形態であり、これにより、次の後続のＶＭＭアレイ段階のための活性化関数回路による調節後に入力として使用することができる。
【0060】
図１９は、ソース加算マトリクス乗算器として配置された、図１５のスタックゲートメモリセル１０のアレイの別の構成を示す。図１９のアレイの線は、図１６のアレイのものと同じである。しかしながら、マトリクス電圧入力Ｖｉｎ０－Ｖｉｎｎはビット線１６ａに印加され、マトリクス電流出力Ｉｏｕｔ０．．．Ｉｏｕｔ１は、ソース線１４ａに生成される（すなわち、各出力Ｉｏｕｔは、行内の全てのセルに対し、セル内に格納された重みＷに比例するセル電流の合計である）。前の実施形態のように、任意の所与のニューロンの出力は電流の形態であり、これにより、次の後続のＶＭＭアレイ段階のための活性化関数回路による調節後に入力として使用することができる。
【0061】
図２０は、ソース加算マトリクス乗算器として配置された、図１５のスタックゲートメモリセル１０のアレイの別の構成を示す。図２０のアレイの線は、ソース線１４ａが、水平の代わりに垂直に走っていることを除き、図１６中のものと同じである。具体的には、メモリセルの各列は、その列内のメモリセルの全てのソース領域１４を一緒に接続するソース線１４ａを含み、それにより、セルは個々にプログラムされ、読み出し及び消去され得る。そのセルに適切な重み値を使用してメモリセルの各々がプログラムされた後で、アレイは、ソース加算マトリクス乗算器として作動する。マトリクス電圧入力は、Ｖｉｎ０－Ｖｉｎ３であり、制御ゲート線２２ａに印加される。マトリクス出力Ｉｏｕｔ０．．．Ｉｏｕｔｎは、ソース線１４ａに生成される。各出力Ｉｏｕｔは、列内の全てのセルについて、セルに格納された重みＷに比例するセル電流の合計である。前の実施形態のように、任意の所与のニューロンの出力は電流の形態であり、これにより、次の後続のＶＭＭアレイ段階のための活性化関数回路による調節後に入力として使用することができる。
【0062】
図２１は、ドレイン加算マトリクス乗算器として配置された、図１５のスタックゲートメモリセル１０のアレイの別の構成を示す。図２１のアレイの線は、図２０のものと同じである。そのセルに適切な重み値を使用してメモリセルのそれぞれがプログラムされた後で、アレイは、ドレイン加算マトリクス乗算器として作動する。マトリクス電圧入力は、Ｖｉｎ０－Ｖｉｎ３であり、制御ゲート線２２ａに印加される。マトリクス出力Ｉｏｕｔ０．．．Ｉｏｕｔｎは、ビット線１６ａに生成される。各出力Ｉｏｕｔは、列内の全てのセルについて、セルに格納された重みＷに比例するセル電流の合計である。前の実施形態のように、任意の所与のニューロンの出力は電流の形態であり、これにより、次の後続のＶＭＭアレイ段階のための活性化関数回路による調節後に入力として使用することができる。
【0063】
図２２は、ソース加算マトリクス乗算器として配置された、図１５のスタックゲートメモリセル１０のアレイの別の構成を示す。図２２のアレイの線は、制御ゲート線２２ａが、水平の代わりに垂直に走っていることを除き、図１６中のものと同じである。具体的には、メモリセルの各列は、その列内の全ての制御ゲート２２を一緒に接続する制御ゲート線２２ａを含む。そのセルに適切な重み値を使用してメモリセルの各々がプログラムされた後で、アレイは、ソース加算マトリクス乗算器として作動する。マトリクス電圧入力は、Ｖｉｎ０－Ｖｉｎｎであり、制御ゲート線２２ａに印加される。マトリクス電流出力Ｉｏｕｔ０．．．Ｉｏｕｔ１は、ソース線１４ａに生成される。各出力Ｉｏｕｔは、行内の全てのセルについて、セルに格納された重みＷに比例するセル電流の合計である。前の実施形態のように、任意の所与のニューロンの出力は電流の形態であり、これにより、次の後続のＶＭＭアレイ段階のための活性化関数回路による調節後に入力として使用することができる。
【0064】
図２３は、ソース加算マトリクス乗算器として配置された、図１５のスタックゲートメモリセル１０のアレイの別の構成を示す。図２３のアレイの線は、メモリセルの各列に対し２つの制御ゲート線２２ａがあることを除き、図２２中のものと同じである。具体的には、メモリセルの列のそれぞれは、第１の制御ゲート線２２ａ１及び第２の制御ゲート線２２ａ２の両方を含む。各列に関して、第１の制御ゲート線２２ａ１は、偶数行の列内の全てのメモリセルの制御ゲート２２を一緒に接続し、第２の制御ゲート線２２ａ２は、奇数行の列内の全てのメモリセルに対して制御ゲート２２を一緒に接続する。そのセルに適切な重み値を使用してメモリセルの各々がプログラムされた後で、アレイは、ソース加算マトリクス乗算器として作動する。マトリクス電圧入力は、Ｖｉｎ０－Ｖｉｎｎであり、制御ゲート線２２ａ１及び２２ａ２に印加される。マトリクス出力Ｉｏｕｔ０．．．Ｉｏｕｔ２は、ソース線１４ａに生成される。各出力Ｉｏｕｔは、行内の全てのセルについて、セルに格納された重みＷに比例するセル電流の合計である。各列の２つの入力は、差動入力であり得る。前の実施形態のように、任意の所与のニューロンの出力は電流の形態であり、これにより、次の後続のＶＭＭアレイ段階のための活性化関数回路による調節後に入力として使用することができる。
【0065】
図２４は、ドレイン加算マトリクス乗算器として配置された、図１５のスタックゲートメモリセル１０のアレイの別の構成を示す。図２４のアレイの線は、各ビット線がビット線と直列に接続されたビット線バッファトランジスタ６０を含む（すなわち、ビット線の任意の電流は、そのソースとドレインとの間のトランジスタを通って流れる）ことを除いて、図１９のアレイ内の線と同じである。トランジスタ６０は、トランジスタのゲート端子の入力電圧が増加するにつれてビット線を選択的にかつ徐々にオンにする階段状のスイッチとして作用する（すなわち、トランジスタはビット線をその電流又は電圧ソースに結合する）。マトリクス電圧入力Ｖｉｎ０．．．Ｖｉｎｎがトランジスタ６０のゲートに提供され、マトリクス電流出力Ｉｏｕｔ０．．．Ｉｏｕｔ１がソース線１４ａに提供される。この構成の利点は、電圧の形態でビット線に直接入力を供給する代わりに、マトリクス入力を電圧として（トランジスタ６０を動作させるために）供給することができることである。これにより、トランジスタのゲートに供給される入力電圧Ｖｉｎに応答して、トランジスタ６０を用いてビット線に徐々に結合させることで、定電圧源を用いてビット線を動作させることができ、メモリアレイに電気的な電圧入力を供給する必要がなくなる。前の実施形態のように、任意の所与のニューロンの出力は電流の形態であり、これにより、次の後続のＶＭＭアレイ段階のための活性化関数回路による調節後に入力として使用することができる。
【0066】
上記の全ての機能は、ニューラルネット機能に使用される上述のメモリセル１０のメモリアレイ（複数可）に接続されているコントローラ１００の制御下で実行することができる。図２５に示すように、コントローラ１００は、メモリアレイ（複数可）１２０と同じ半導体チップ又は基板１１０にあることが好ましい。しかし、コントローラ１００は、別の半導体チップ又は基板に配置することも可能であり、半導体チップ又は基板１１０又は外の異なる場所に配設された複数のコントローラの集合体であることも可能である。
【0067】
本発明は、本明細書に図示された上記実施形態（複数可）に限定されるものではなく、任意の特許請求の範囲の範疇に収まるあらゆる変形例を包含することが理解されよう。例えば、本明細書で本発明に言及することは、任意の特許請求項又は特許請求項の用語の範囲を限定することを意図しておらず、その代わり、単に、１つ以上の特許請求項によって網羅され得る１つ以上の特徴に言及するものである。上記で説明した材料、プロセス、及び数値の実施例は、単に例示的なものであり、特許請求の範囲を限定するものとみなされるべきではない。単一の材料層は、かかる又は類似の材料から構成される多数の層として形成することができ、そして、逆もまた同様である。各メモリセルアレイの出力は、次のニューロン層に送られる前にフィルタコンデンセーションによって操作されるが、そうである必要はない。最後に、上述したマトリクス乗算器アレイの各実施形態では、入力電圧や出力電流に使用されていない任意の線に関して、メモリセルの構成について本明細書の表に開示される公称読み出し電圧は、動作中にそれらの線に印加され得る（ただし、必須ではない。）。
【0068】
本明細書で使用される、用語「の上方に（over）」及び「に（on）」は共に、「上に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）及び「上に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「直接電気的に結合された」（中間材料又は要素がそれらの間で要素を電気的に連結していない）、及び「間接的に電気的に結合された」（中間材料又は要素がそれらの間で要素を電気的に連結している）を含む。例えば、「基板の上方に」要素を形成することは、中間材料／要素が介在せずに直接基板にその要素を形成することも、１つ以上の中間材料／要素が介在して間接的に基板にその要素を形成することも含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】