知財求人 - 知財ポータルサイト「IP Force」
▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特表2024-521006深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-28
(54)【発明の名称】深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路
(51)【国際特許分類】
G06F 3/05 20060101AFI20240521BHJP
G06G 7/60 20060101ALI20240521BHJP
G06N 3/063 20230101ALI20240521BHJP
【ＦＩ】
G06F3/05 301A
G06G7/60
G06N3/063
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023564551
(86)(22)【出願日】2021-09-03
(85)【翻訳文提出日】2023-12-19
(86)【国際出願番号】 US2021049075
(87)【国際公開番号】W WO2022245384
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】63/190,240
(32)【優先日】2021-05-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/463,063
(32)【優先日】2021-08-31
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
(72)【発明者】
【氏名】ブー、サン
(72)【発明者】
【氏名】レイテン、マーク
(57)【要約】
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路のための多数の実施形態が開示される。いくつかの実施形態では、出力ブロックは、Ｗ＋ビット線からの電流と、関連付けられたＷ－ビット線からの電流を受け取り、出力ブロックは、ある実施形態では差動信号であり、他の実施形態ではシングルエンド信号である出力信号を生成する。
【選択図】図３５Ａ
【選択図】図３５Ａ
【特許請求の範囲】
【請求項1】
不揮発性メモリセルの１つ以上のアレイから出力を生成するための出力回路であって、複数の電流－電圧変換器であって、前記複数の電流－電圧変換器のそれぞれは、Ｗ＋値を記憶する前記１つ以上のアレイの１つ以上の不揮発性メモリセルに結合されたそれぞれのビット線から、及びＷ－値を記憶する前記１つ以上のアレイの１つ以上の不揮発性メモリセルに結合されたそれぞれのビット線から電流を受け取る、複数の電流－電圧変換器と、
前記複数の電流－電圧変換器からそれぞれの電圧出力を受け取るためのマルチプレクサと、
複数のサンプルホールド回路であって、それぞれのサンプルホールド回路は、保持された電圧出力を生成するために、前記マルチプレクサによって前記複数の電流－電圧変換器のうちの１つに選択的に結合されている、複数のサンプルホールド回路と、
前記複数のサンプルホールド回路から保持された電圧出力を受け取るチャネルマルチプレクサと、
前記チャネルマルチプレクサから前記保持された電圧出力を選択的に受け取り、前記保持された電圧出力をデジタル出力に変換するアナログ－デジタル変換器と、を備える、出力回路。
【請求項2】
Ｗ＋値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線と、Ｗ－値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線とは、前記１つ以上のアレイのうちの同じアレイ内に位置する、請求項１に記載の出力回路。
【請求項3】
Ｗ＋値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線と、Ｗ－値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線とは、前記１つ以上のアレイのうちの異なるアレイ内に位置する、請求項１に記載の出力回路。
【請求項4】
前記不揮発性メモリセルの１つ以上のアレイのそれぞれは、ニューラルネットワークメモリアレイである、請求項１に記載の出力回路。
【請求項5】
前記１つ以上のアレイ内のそれぞれの不揮発性メモリセルは、３つ以上の可能な値のうちの１つを記憶し得る、請求項１に記載の出力回路。
【請求項6】
前記１つ以上のアレイ内の前記不揮発性メモリセルのそれぞれは、スプリットゲートフラッシュメモリセルである、請求項１に記載の出力回路。
【請求項7】
不揮発性メモリセルの１つ以上のアレイから出力を生成するための出力回路であって、前記出力回路は、複数の電流－電圧変換器であって、前記複数の電流－電圧変換器のそれぞれは、Ｗ＋値を記憶する前記不揮発性メモリセルの１つ以上のアレイの１つ以上の不揮発性メモリセルに結合されたそれぞれのビット線から、及びＷ－値を記憶する前記不揮発性メモリセルの１つ以上のアレイの１つ以上の不揮発性メモリセルに結合されたそれぞれのビット線から電流を受け取り、前記受け取った電流を差動電圧出力に変換する、複数の電流－電圧変換器と、
前記差動電圧出力を受け取り、前記差動電圧出力をデジタル出力に変換するアナログーデジタル変換器と、を備える、出力回路。
【請求項8】
前記複数の電流－電圧変換器から前記差動電圧出力を受け取るマルチプレクサであって、前記アナログ－デジタル変換器は、前記マルチプレクサから前記差動電圧出力を選択的に受け取る、マルチプレクサを更に備える、請求項７に記載の出力回路。
【請求項9】
複数のサンプルホールド回路であって、それぞれのサンプルホールド回路は、前記マルチプレクサによって前記複数の電流－電圧変換器のうちの１つに選択的に結合されている、複数のサンプルホールド回路を更に備える、請求項８に記載の出力回路。
【請求項10】
前記複数のサンプルホールド回路から電圧出力を受け取るチャネルマルチプレクサを更に備える、請求項９に記載の出力回路。
【請求項11】
Ｗ＋値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線と、Ｗ－値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線とは、前記不揮発性メモリセルの１つ以上のアレイのうちの同じアレイ内に位置する、請求項７に記載の出力回路。
【請求項12】
Ｗ＋値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線と、Ｗ－値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線とは、前記不揮発性メモリセルの１つ以上のアレイのうちの異なるアレイ内に位置する、請求項７に記載の出力回路。
【請求項13】
前記不揮発性メモリセルの１つ以上のアレイのそれぞれは、ニューラルネットワークメモリアレイである、請求項７に記載の出力回路。
【請求項14】
前記１つ以上のアレイ内のそれぞれの不揮発性メモリセルは、３つ以上の可能な値のうちの１つを記憶し得る、請求項７に記載の出力回路。
【請求項15】
１つ以上のアレイ内の前記不揮発性メモリセルのそれぞれは、スプリットゲートフラッシュメモリセルである、請求項７に記載の出力回路。
【請求項16】
不揮発性メモリセルの１つ以上のアレイから出力を生成するための出力回路であって、前記出力回路は、複数の加算回路であって、前記複数の加算回路のそれぞれは、Ｗ＋値を記憶する前記不揮発性メモリセルの１つ以上のアレイの１つ以上の不揮発性メモリセルに結合されたそれぞれのビット線から、及びＷ－値を記憶する前記不揮発性メモリセルの１つ以上のアレイの１つ以上の不揮発性メモリセルに結合されたそれぞれのビット線から電流を受け取り、前記複数の加算回路のそれぞれは、それぞれの加算電流を生成する、複数の加算回路と、
複数の電流－電圧変換器であって、前記電流－電圧変換器のそれぞれは、前記複数の加算回路のうちの１つからそれぞれの加算電流を受け取り、それぞれの加算電圧を生成する、複数の電流－電圧変換器と、
前記複数の電流－電圧変換器からそれぞれの加算電圧を受け取るマルチプレクサと、
複数のサンプルホールド回路であって、それぞれのサンプルホールド回路は、それぞれの保持された電圧を生成するために、前記マルチプレクサによって前記複数の電流－電圧変換器のうちの１つに選択的に結合されている、複数のサンプルホールド回路と、
前記複数のサンプルホールド回路から前記それぞれの保持された電圧を受け取り、チャネル出力を生成するチャネルマルチプレクサと、
前記チャネルマルチプレクサから受け取った前記チャネル出力をデジタル出力に変換するアナログーデジタル変換器と、を備える、出力回路。
【請求項17】
Ｗ＋値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線と、Ｗ－値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線とは、前記不揮発性メモリセルの１つ以上のアレイのうちの同じアレイ内に位置する、請求項１６に記載の出力回路。
【請求項18】
Ｗ＋値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線と、Ｗ－値を記憶する前記１つ以上の不揮発性メモリセルに結合された前記ビット線とは、前記不揮発性メモリセルの１つ以上のアレイのうちの異なるアレイ内に位置する、請求項１６に記載の出力回路。
【請求項19】
前記不揮発性メモリセルの１つ以上のアレイのそれぞれは、ニューラルネットワークメモリアレイである、請求項１６に記載の出力回路。
【請求項20】
前記１つ以上のアレイ内のそれぞれの不揮発性メモリセルは、３つ以上の可能な値のうちの１つを記憶し得る、請求項１６に記載の出力回路。
【請求項21】
前記１つ以上のアレイ内の前記不揮発性メモリセルのそれぞれは、スプリットゲートフラッシュメモリセルである、請求項１６に記載の出力回路。
【請求項22】
不揮発性メモリセルのアレイから出力を生成するための出力回路であって、ビット線からの電流をｎビット出力のビットの一部分に変換するための第１のアナログ－デジタル変換器と、
前記ビット線からの前記電流を前記ｎビット出力中のビットの残余に変換するための第２のアナログ－デジタル変換器と、を備える、出力回路。
【請求項23】
前記第２のアナログ－デジタル変換器は、前記第１のアナログ－デジタル変換器からビットの前記一部分を受け取り、ビットの前記一部分及びビットの前記残余を直列方式で配列する直列出力回路を含む、請求項２２に記載の出力回路。
【請求項24】
前記第１のアナログ－デジタル変換器及び前記第２のアナログ－デジタル変換器はそれぞれ、逐次近似レジスタアナログ－デジタル変換器を含む、請求項２２に記載の出力回路。
【請求項25】
前記逐次近似レジスタアナログ－デジタル変換器のそれぞれは、１つ以上の可変コンデンサを含む、請求項２４に記載の出力回路。
【請求項26】
前記第１のアナログ－デジタル変換器及び前記第２のアナログ－デジタル変換器はそれぞれ、アルゴリズム型アナログ－デジタル変換器を含む、請求項２２に記載の出力回路。
【請求項27】
前記不揮発性メモリセルのアレイは、ニューラルネットワークメモリアレイである、請求項２２に記載の出力回路。
【請求項28】
前記不揮発性メモリセルのアレイ内のそれぞれの不揮発性メモリセルは、３つ以上の可能な値のうちの１つを記憶し得る、請求項２７に記載の出力回路。
【請求項29】
前記アレイ内の前記不揮発性メモリセルのそれぞれは、スプリットゲートフラッシュメモリセルである、請求項２２に記載の出力回路。
【請求項30】
前記第１のアナログ－デジタル変換器及び前記第２のアナログ－デジタル変換器のうちの１つ以上は、不揮発性メモリセルの前記アレイと、不揮発性メモリセルの１つ以上の他のアレイとの間で共有される、請求項２２に記載の出力回路。
【請求項31】
不揮発性メモリセルのアレイから出力を生成するための出力回路であって、可変抵抗器に応答して基準電圧を生成するためのトラッキング電圧基準回路と、
前記アレイからの電流を電圧に変換するための電流－電圧変換器であって、前記電流－電圧変換器は、前記基準電圧を利用する、電流－電圧変換器と、を備える、出力回路。
【請求項32】
アナログ信号をデジタル出力に変換するためのアナログーデジタル変換器であって、前記アナログーデジタル変換器は、前記基準電圧を利用する、アナログーデジタル変換器を更に備える、請求項３１に記載の出力回路。
【請求項33】
前記不揮発性メモリセルは、スプリットゲートメモリセルである、請求項３１に記載の出力回路。
【請求項34】
前記アレイは、ニューラルネットワークの一部である、請求項３１に記載の出力回路。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、参照により本明細書に組み込まれる、２０２１年５月１９日に出願された「Ｈｙｂｒｉｄ Ｏｕｔｐｕｔ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６３／１９０，２４０号、及び２０２１年８月３１日に出願された「Ｏｕｔｐｕｔ Ｃｉｒｃｕｉｔ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１７／４６３，０６３号の優先権を主張する。
本出願は、参照により本明細書に組み込まれる、２０２１年５月１９日に出願された「Ｈｙｂｒｉｄ Ｏｕｔｐｕｔ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６３／１９０，２４０号、及び２０２１年８月３１日に出願された「Ｏｕｔｐｕｔ Ｃｉｒｃｕｉｔ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１７／４６３，０６３号の優先権を主張する。
【0002】
（発明の分野）
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のハイブリッド出力アーキテクチャについて多数の実施形態が開示される。
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のハイブリッド出力アーキテクチャについて多数の実施形態が開示される。
【背景技術】
【0003】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、お互いの間でメッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの１つの出力層が存在する。各レベルでニューロンは、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題のうちの１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューラルメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受け取って、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受け取るように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、メモリセルの各々は、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に絶縁されて配設される浮遊ゲートと、チャネル領域の第２の部分の上方に絶縁されて配設される非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。
【0007】
不揮発性メモリセル
不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４及びドレイン領域１６を含み、ソース領域１４とドレイン領域１６との間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に絶縁されて配設される、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４及びドレイン領域１６を含み、ソース領域１４とドレイン領域１６との間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に絶縁されて配設される、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
【0008】
ワード線端子２２に高圧正電圧を加えることによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim、ＦＮ）トンネリングを介して通過する。
【0009】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を加えることによって、ホットエレクトロンのソースサイド注入（source side injection、ＳＳＩ）によって、プログラムされる（電子が浮遊ゲートに加えられる）。電子流は、ドレイン領域１６からソース領域１４に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部は、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
【0010】
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を加える（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。
【0011】
【0012】
他の種類のフラッシュメモリセルとして、他のスプリットゲート型メモリセル構成も知られている。例えば、図３は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル３１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
【0013】
【0014】
図４は、別の種類のフラッシュメモリセルである、３ゲートメモリセル４１０を示す。メモリセル４１０は、メモリセル４１０が別個の制御ゲートを有しないことを除いて、図３のメモリセル３１０と同一である。（消去ゲートの使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図３のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加されなければならない。
【0015】
【0016】
図５は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル５１０を示す。メモリセル５１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２（ここでワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去は、ＦＧから基板への電子のＦＮトンネリングによって行われ、プログラミングは、チャネル１８とドレイン領域１６との間の領域でのチャネルホットエレクトロン（channel hot electron、ＣＨＥ）注入によって、ソース領域１４からドレイン領域１６に向かって流れる電子によって、及びより高い制御ゲート電圧を有するメモリセル２１０の読み出し動作と同様である読み出し動作によって行われる。
【0017】
【0018】
本明細書に記載される方法及び手段は、限定されないが、ＦＩＮＦＥＴスプリットゲートフラッシュ又はスタックゲートフラッシュメモリ、ＮＡＮＤフラッシュ、ＳＯＮＯＳ（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（抵抗変化型メモリ）、ＰＣＭ（相変化メモリ）、ＭＲＡＭ（磁気抵抗メモリ）、ＦｅＲＡＭ（強誘電体メモリ）、ＣＴ（電荷トラップ）メモリ、ＣＮ（カーボンチューブ）メモリ、ＯＴＰ（バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（強相関電子メモリ）などの他の不揮発性メモリ技術に適用され得る。
【0019】
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第一に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第二に、メモリセルの連続（アナログ）プログラミングを提供する。
【0020】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値（例えば１６個又は６４個の異なる値）のうちの１つを最低限記憶することができることを意味し、これにより、メモリアレイ内の全てのセルが非常に精密に、かつ個々にチューニング可能となり、また、メモリアレイが、記憶、及びニューラルネットワークのシナプシスの重みへの微細チューニング調整に対して、理想的なものになる。
【0021】
不揮発性メモリセルアレイを使用するニューラルネットワーク
図６は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に例解する。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。
図６は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に例解する。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。
【0022】
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと称される）は、シナプスＣＢ１に提供され、そこで、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、層Ｃ１の特徴マップのうちの１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、層Ｃ１の異なる特徴マップを生成する。
【0023】
本例では、層Ｃ１において、各々３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、二次元アレイであり、したがってこの例では、層Ｃ１は、二次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な二次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するために使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又はある特定の特徴のアスペクト比などを識別することができる。
【0024】
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数Ｐ１の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、各々１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、層Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類（クラス）を示すことができる。
【0025】
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。
【0026】
図７は、その目的のために使用可能なアレイのブロック図である。ベクトルマトリックス乗算（ＶＭＭ）アレイ３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭアレイ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３２への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、不揮発性メモリセルアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、不揮発性メモリセルアレイ３３の出力をデコードすることもできる。
【0027】
不揮発性メモリセルアレイ３３は、２つの目的を果たす。第一に、不揮発性メモリアレイ３３は、ＶＭＭアレイ３２によって使用される重みを記憶する。第二に、不揮発性メモリセルアレイ３３は、不揮発性メモリセルアレイ３３に格納された重みを、入力に有効に乗算して、それらを出力線（ソース線又はビット線）ごとに加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。不揮発性メモリセルアレイ３３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、メモリ内の計算により電力効率も良い。
【0028】
不揮発性メモリセルアレイ３３の出力は、不揮発性メモリセルアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動合計器（合計オペアンプ又は合計カレントミラーなど）３８に供給される。差動合計器３８は、正の重み及び負の重みの総和を実行するように配置される。
【0029】
差動加算器３８の合計された出力値は、次に出力を整流する活性化関数ブロック３９に供給される。活性化関数ブロック３９は、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数を提供し得る。活性化関数ブロック３９の整流された出力値は、次の層（例えば図６のＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、不揮発性メモリセルアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受け取る）、合計オペアンプ３８及び活性化関数ブロック３９は、複数のニューロンを構成する。
【0030】
図７のＶＭＭアレイ３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、ＤＡＣは、デジタルビットを適切な入力アナログレベルに変換するために提供される）であり得、出力は、アナログレベル、バイナリレベル、又はデジタルビットであり得る（この場合、出力ＡＤＣは出力アナログレベルをデジタルビットに変換するために提供される）。
【0031】
図８は、図中でＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭアレイ３２の多数の層の使用を示すブロック図である。図８に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭアレイ３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭアレイ３２ａのマトリックス乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭアレイ３２ａへのマッピングされたアナログ入力に変換するために、アナログ－アナログ（analog to analog、Ａ／Ａ）変換器によって行うこともできる。
【0032】
入力ＶＭＭアレイ３２ａによって生成された出力は、次に、次のＶＭＭアレイ（隠しレベル１）３２ｂへの入力として提供され、次に入力ＶＭＭアレイ（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭアレイ３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。図８に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの全接続層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える全接続層を含み得ることを理解するであろう。
【0033】
ベクトルマトリックス乗算（ＶＭＭ）アレイ
図９は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ９００を示す。ＶＭＭアレイ９００は、不揮発性メモリセルのメモリアレイ９０１と、不揮発性基準メモリセルの基準アレイ９０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することもできる。
図９は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ９００を示す。ＶＭＭアレイ９００は、不揮発性メモリセルのメモリアレイ９０１と、不揮発性基準メモリセルの基準アレイ９０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することもできる。
【0034】
ＶＭＭアレイ９００では、制御ゲート線９０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ９０２が、制御ゲート線９０３に直交する）、消去ゲート線９０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ９００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ９００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では偶数行のみが使用され、別の実施形態では奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0035】
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ９００の不揮発性メモリセル、すなわちＶＭＭアレイ９００のメモリセル３１０は、サブスレッショルド領域で動作するように構成されることが好ましい。
【0036】
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱反転（サブスレッショルド領域）でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓはドレイン－ソース間電流であり、Ｖｇはメモリセルのゲート電圧であり、Ｖｔｈはメモリセルのスレッショルド電圧であり、Ｖｔは熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷であり、ｎは、傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、そして、Ｃｏｘはゲート酸化物層の容量であり、Ｉｏはスレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは、（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓはドレイン－ソース間電流であり、Ｖｇはメモリセルのゲート電圧であり、Ｖｔｈはメモリセルのスレッショルド電圧であり、Ｖｔは熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷であり、ｎは、傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、そして、Ｃｏｘはゲート酸化物層の容量であり、Ｉｏはスレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは、（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
【0037】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0038】
電流入力を伴うベクトルマトリックス乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
式中、ｗａ＝メモリアレイの各メモリセルのｗである。
Ｖｔｈｐは周辺メモリセルの有効スレッショルド電圧であり、Ｖｔｈａはメイン（データ）メモリセルの有効スレッショルド電圧である。トランジスタのスレッショルド電圧は基板本体バイアス電圧の関数であり、Ｖｓｂと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように変調され得ることに留意されたい。スレッショルド電圧Ｖｔｈは、次のように表すことができる。
式中、Ｖｔｈ０は、ゼロ基板バイアスを有するスレッショルド電圧であり、
は表面電位であり、γは本体効果パラメータである。
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
式中、ｗａ＝メモリアレイの各メモリセルのｗである。
Ｖｔｈｐは周辺メモリセルの有効スレッショルド電圧であり、Ｖｔｈａはメイン（データ）メモリセルの有効スレッショルド電圧である。トランジスタのスレッショルド電圧は基板本体バイアス電圧の関数であり、Ｖｓｂと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように変調され得ることに留意されたい。スレッショルド電圧Ｖｔｈは、次のように表すことができる。
【数1】
【数2】
【0039】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0040】
代替的に、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することもできる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
すなわち、直線領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
すなわち、直線領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する。
【0041】
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
【0042】
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して、入出力電流を入出力電圧に線形変換することができる。
【0043】
代替的に、本明細書に記載されたＶＭＭアレイのメモリセルは、飽和領域で動作するように構成することもできる。
Ｉｄｓ＝１／２*β*（Ｖｇｓ－Ｖｔｈ）2； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ ∝ （Ｖｇｓ－Ｖｔｈ）2、すなわち、重みＷは（Ｖｇｓ－Ｖｔｈ）2に比例する。
Ｉｄｓ＝１／２*β*（Ｖｇｓ－Ｖｔｈ）2； β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ ∝ （Ｖｇｓ－Ｖｔｈ）2、すなわち、重みＷは（Ｖｇｓ－Ｖｔｈ）2に比例する。
【0044】
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
【0045】
代替的に、本明細書に記載されるＶＭＭアレイのメモリセルは、ニューラルネットワークの各層又は多層に対して全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用され得る。
【0046】
図７のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許第１０，７４８，６３０号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
【0047】
図１０は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間のシナプスとして利用される、ニューロンＶＭＭアレイ１０００を示す。ＶＭＭアレイ１０００は、不揮発性メモリセルのメモリアレイ１００３と、第１の不揮発性基準メモリセルの基準アレイ１００１と、第２の不揮発性基準メモリセルの基準アレイ１００２と、を含む。アレイの列方向に配置された基準アレイ１００１及び１００２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１０１４（一部のみ示す）を通してダイオード接続される。基準セルは、目標基準レベルにチューニング（例えば、プログラム）される。目標基準レベルは、基準ミニアレイマトリックス（図示せず）によって提供される。
【0048】
メモリアレイ１００３は、２つの目的を果たす。第一に、メモリアレイ１００３は、ＶＭＭアレイ１０００により使用される重みを、それぞれのメモリセルに記憶する。第二に、メモリアレイ１００３は、メモリアレイ１００３に記憶された重みを、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１００１及び１００２がこれらの電流入力を入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）に有効に乗算し、次いで、全ての結果（メモリセル電流）を加算してそれぞれのビット線（ＢＬ０～ＢＬＮ）に出力を生成し、この出力は次の層への入力又は最後の層への入力となる。乗算及び加算の関数を実行することで、メモリアレイ１００３は、別個の乗算及び加算の論理回路の必要性をなくし、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にそれぞれのビット線ＢＬ０～ＢＬＮに現れる。ビット線ＢＬ０～ＢＬＮの各々の電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
【0049】
表５は、ＶＭＭアレイ１０００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表５：図１０のＶＭＭアレイ１０００の動作
表５：図１０のＶＭＭアレイ１０００の動作
【表5】
【0050】
図１１は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０３と、第１の不揮発性基準メモリセルの基準アレイ１１０１と、第２の不揮発性基準メモリセルの基準アレイ１１０２と、を含む。基準アレイ１１０１及び１１０２は、ＶＭＭアレイ１１００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１１００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0051】
表６は、ＶＭＭアレイ１１００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表６：図１１のＶＭＭアレイ１１００の動作
表６：図１１のＶＭＭアレイ１１００の動作
【表6】
【0052】
図１２は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１２００を示す。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１２１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１２１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルのそれぞれのビット線（ＢＬＲ０など）の一定電圧を確実にするために、対応のマルチプレクサ１２０５及びカスコーディングトランジスタ１２０４をそれぞれ含む。基準セルは、目標基準レベルにチューニングされる。
【0053】
メモリアレイ１２０３は、２つの目的を果たす。第一に、メモリアレイ１２０３は、ＶＭＭアレイ１２００によって使用される重みを記憶する。第二に、メモリアレイ１２０３は、メモリアレイに記憶された重みを、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１２０１及び１２０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に有効に乗算して、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに現れ、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線の電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0054】
ＶＭＭアレイ１２００は、メモリアレイ１２０３内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに記憶されるなど）、セルは消去され、一連の部分的なプログラミング動作が最初からやり直される。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去され（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
【0055】
表７は、ＶＭＭアレイ１２００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表７：図１２のＶＭＭアレイ１２００の動作
表７：図１２のＶＭＭアレイ１２００の動作
【表7】
【0056】
図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、基準アレイ１３０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、それぞれ個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、必要に応じて完全に消去され、部分的にプログラムされ、部分的に消去され得る。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【0057】
表８は、ＶＭＭアレイ１３００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表８：図１３のＶＭＭアレイ１３００の動作
表８：図１３のＶＭＭアレイ１３００の動作
【表8】
【0058】
図２２は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２２００を示す。ＶＭＭアレイ２２００では、入力ＩＮＰＵＴ0．．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNでそれぞれ受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3にそれぞれ生成される。
【0059】
図２３は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２３００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3でそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0060】
図２４は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２４００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0061】
図２５は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２５００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0062】
図２６は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２６００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnがそれぞれ垂直制御ゲート線ＣＧ0、．．．、ＣＧNで受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
【0063】
図２７は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２７００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ結合されているビット線制御ゲート２７０１－１、２７０１－２、．．．、２７０１－（Ｎ－１）及び２７０１－Ｎのゲートでそれぞれ受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
【0064】
図２８は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成される。
【0065】
図２９は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMで受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ソース線ＳＬ0、．．．、ＳＬNにそれぞれ生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線に結合されている。
【0066】
図３０は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ３０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMで受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成され、各ビット線ＢＬiは、列ｉ内の全てのメモリセルのビット線に結合されている。
【0067】
長・短期メモリ
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調節する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調節する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
【0068】
図１４は、例示的なＬＳＴＭ１４００を示す。この例におけるＬＳＴＭ１４００は、セル１４０１、１４０２、１４０３及び１４０４を含む。セル１４０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１４０２は、入力ベクトルｘ1と、セル１４０１からの出力ベクトル（隠れ状態）ｈ0と、セル１４０１からのセル状態ｃ0と、を受け取り、出力ベクトルｈ1と、セル状態ベクトルｃ1と、を生成する。セル１４０３は、入力ベクトルｘ2と、セル１４０２からの出力ベクトル（隠れ状態）ｈ1と、セル１４０２からのセル状態ｃ1と、を受け取り、出力ベクトルｈ2と、セル状態ベクトルｃ2と、を生成する。セル１４０４は、入力ベクトルｘ3と、セル１４０３からの出力ベクトル（隠れ状態）ｈ2と、セル１４０３からのセル状態ｃ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
【0069】
図１５は、図１４のセル１４０１、１４０２、１４０３、及び１４０４に使用可能なＬＳＴＭセル１５００の例示的な実装を示す。ＬＳＴＭセル１５００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
【0070】
ＬＳＴＭセル１５００は、シグモイド関数デバイス１５０１、１５０２、及び１５０３を含み、それぞれが０～１の数を適用して、入力ベクトルのそれぞれの成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１５００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１５０４及び１５０５と、２つのベクトルを乗算するための乗算器デバイス１５０６、１５０７、及び１５０８と、２つのベクトルを加算するための加算器デバイス１５０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができるか、又は他の目的でアクセスすることができる。
【0071】
図１６は、ＬＳＴＭセル１５００の一実装の一例であるＬＳＴＭセル１６００を示す。読者の便宜のために、ＬＳＴＭセル１５００からの同じ採番方法が、ＬＳＴＭセル１６００で使用される。シグモイド関数デバイス１５０１、１５０２、及び１５０３、並びにｔａｎｈデバイス１５０４はそれぞれ、複数のＶＭＭアレイ１６０１及び活性化関数ブロック１６０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが分かる。乗算器デバイス１５０６、１５０７、及び１５０８、並びに加算器デバイス１５０９は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック１６０２は、デジタル方式、又はアナログ方式で実装され得る。
【0072】
ＬＳＴＭセル１６００の代替例（及びＬＳＴＭセル１５００の一実装の別の例）を図１７に示す。図１７では、シグモイド関数デバイス１５０１、１５０２及び１５０３、並びにｔａｎｈデバイス１５０４は、同じ物理ハードウェア（ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１７００はまた、２つのベクトルを乗算するための乗算器デバイス１７０３と、２つのベクトルを加算するための加算器デバイス１７０８と、（活性化関数ブロック１７０２を含む）ｔａｎｈデバイス１５０５と、値ｉ（ｔ）を、ｉ（ｔ）がシグモイド関数ブロック１７０２から出力されるときに記憶するためのレジスタ１７０７と、値ｆ（ｔ）*ｃ（ｔ－１）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０４と、値ｉ（ｔ）*ｕ（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０５と、値ｏ（ｔ）*ｃ～（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０６と、マルチプレクサ１７０９と、を含む。
【0073】
ＬＳＴＭセル１６００がＶＭＭアレイ１６０１とそれぞれの活性化関数ブロック１６０２との複数のセットを含むのに対し、ＬＳＴＭセル１７００は、ＬＳＴＭセル１７００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２の１つのセットのみを含む。ＬＳＴＭセル１７００は、ＬＳＴＭセル１６００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭセル１７００は、ＬＳＴＭ１６００より必要とするスペースが少ない。
【0074】
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらはそれぞれ、加算器及び活性化関数ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態は、ＶＭＭアレイ自体の外側に必要とされる回路を削減する。
【0075】
ゲート付き回帰型ユニット
アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
【0076】
図１８は、例示的なＧＲＵ１８００を示す。この例におけるＧＲＵ１８００は、セル１８０１、１８０２、１８０３及び１８０４を含む。セル１８０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル１８０２は、入力ベクトルｘ1と、セル１８０１からの出力ベクトルｈ0と、を受け取り、出力ベクトルｈ1を生成する。セル１８０３は、入力ベクトルｘ2と、セル１８０２からの出力ベクトル（隠れ状態）ｈ1と、を受け取り、出力ベクトルｈ2を生成する。セル１８０４は、入力ベクトルｘ3と、セル１８０３からの出力ベクトル（隠れ状態）ｈ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
【0077】
図１９は、図１８のセル１８０１、１８０２、１８０３、及び１８０４に使用され得るＧＲＵセル１９００の例示的な実装を示す。ＧＲＵセル１９００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル１９００は、シグモイド関数デバイス１９０１及び１９０２を含み、それらのそれぞれが、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル１９００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１９０３と、２つのベクトルを乗算するための複数の乗算器デバイス１９０４、１９０５、及び１９０６と、２つのベクトルを加算するための加算器デバイス１９０７と、１から入力を減算して出力を生成するための相補デバイス１９０８と、を含む。
【0078】
図２０は、ＧＲＵセル１９００の一実装の一例であるＧＲＵセル２０００を示す。読者の便宜のために、ＧＲＵセル１９００からの同じ採番方法が、ＧＲＵセル２０００で使用される。図２０から分かるように、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３はそれぞれ、複数のＶＭＭアレイ２００１及び活性化関数ブロック２００２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが分かる。乗算器デバイス１９０４、１９０５、１９０６、加算器デバイス１９０７、及び相補デバイス１９０８は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック２００２は、デジタル方式、又はアナログ方式で実装され得る。
【0079】
ＧＲＵセル２０００の代替例（且つＧＲＵセル１９００の一実装の別の例）を図２１に示す。図２１において、ＧＲＵセル２１００は、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２を利用しており、シグモイド関数として構成された場合には、０～１の数を適用して、入力ベクトルのそれぞれの成分が出力ベクトルに寄与する程度を制御する。図２１では、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は、同じ物理ハードウェア（ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２）を、時分割多重化された方式で共有する。ＧＲＵセル２１００はまた、２つのベクトルを乗算するための乗算器デバイス２１０３と、２つのベクトルを加算するための加算器デバイス２１０５と、１から入力を減算して出力を生成するための相補デバイス２１０９と、マルチプレクサ２１０４と、値ｈ（ｔ－１）*ｒ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０６と、値ｈ（ｔ－１）*ｚ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０７と、値ｈ＾（ｔ）*（１－ｚ（（ｔ））を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０８と、を含む。
【0080】
ＧＲＵセル２０００がＶＭＭアレイ２００１及び活性化関数ブロック２００２の複数のセットを含むのに対し、ＧＲＵセル２１００は、ＧＲＵセル２１００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２の１つのセットのみを含む。ＧＲＵセル２１００は、ＧＲＵセル２０００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２１００は、ＧＲＵセル２０００よりも必要とするスペースが少ない。
【0081】
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらはそれぞれ、加算器及び活性化関数ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態は、ＶＭＭアレイ自体の外側に必要とされる回路を削減する。
【0082】
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、パルス、時間変調パルス、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力は、アナログレベル、バイナリレベル、タイミングパルス、パルス、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
【0083】
ＶＭＭアレイ内の各メモリセルに関して、各重みＷは、単一のメモリセルによって、又は差動セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差動セルの場合では、重みＷを差動重み（Ｗ＝Ｗ＋－Ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みＷを実装するために２つのメモリセルが必要とされる。
【0084】
図３１は、ＶＭＭシステム３１００を示す。いくつかの実施形態では、ＶＭＭアレイに記憶された重みＷは、差動対、Ｗ＋（正の重み）及びＷ－（負の重み）、として記憶され、ここでＷ＝（Ｗ＋）－（Ｗ－）となる。ＶＭＭシステム３１００において、ビット線の半分はＷ＋線として指定され、すなわち、正の重みＷ＋を記憶するメモリセルに接続するビット線であり、複数のビット線の他の半分はＷ－線として指定され、すなわち、負の重みＷ－を実装するメモリセルに接続するビット線である。Ｗ－線は、Ｗ＋線の間に交互に散在される。減算演算は、加算回路３１０１及び３１０２のような、Ｗ＋線及びＷ－線から電流を受け取る加算回路によって実行される。Ｗ＋線の出力及びＷ－線の出力を一緒に組み合わせて、（Ｗ＋、Ｗ－）線の全ての対の（Ｗ＋、Ｗ－）セルの各対に対して効果的にＷ＝Ｗ＋－Ｗ－を与える。これまでＷ＋線間に交互に散在するＷ－線に関して説明してきたが、他の実施形態では、Ｗ＋線及びＷ－線は、アレイ内のどこにでも任意に配置され得る。
【0085】
図３２は、別の実施形態を示す。ＶＭＭシステム３２１０において、正の重みＷ＋は第１のアレイ３２１１に実装され、負の重みＷ－は第２のアレイ３２１２内に実装され、第２のアレイ３２１２は第１のアレイとは別個であり、結果として生じる重みは、加算回路３２１３によって適切に一緒に組み合わされる。
【0086】
図３３は、ＶＭＭシステム３３００を示す。ＶＭＭアレイに記憶された重みＷは、差動対、Ｗ＋（正の重み）及びＷ－（負の重み）として記憶され、ここでＷ＝（Ｗ＋）－（Ｗ－）となる。ＶＭＭシステム３３００は、アレイ３３０１及びアレイ３３０２を備える。アレイ３３０１及び３３０２のそれぞれにおける複数のビット線の半分は、Ｗ＋線として指定され、すなわち、正の重みＷ＋を記憶するメモリセルに接続するビット線であり、アレイ３３０１及び３３０２のそれぞれにおける複数のビット線の他の半分はＷ－線として指定され、すなわち、負の重みＷ－を実装するメモリセルに接続するビット線である。Ｗ－線は、Ｗ＋線の間に交互に散在される。減算演算は、加算回路３３０３、３３０４、３３０５及び３３０６のような、Ｗ＋線及びＷ－線から電流を受け取る加算回路によって実行される。それぞれのアレイ３３０１、３３０２からのＷ＋線の出力及びＷ－線の出力をそれぞれ一緒に組み合わせて、（Ｗ＋、Ｗ－）線の全ての対の（Ｗ＋、Ｗ－）セルのそれぞれの対に対して効果的にＷ＝Ｗ＋－Ｗ－を与える。更に、それぞれのアレイ３３０１及び３３０２からのＷ値は、それぞれのＷ値がアレイ３３０１からのＷ値からアレイ３３０２からのＷ値を引いた結果であり、加算回路３３０７及び３３０８からの最終結果が２つの差分値のうちの１つの差分値であることを意味するように、加算回路３３０７及び３３０８を介して更に組み合わされ得る。
【0087】
アナログニューラルメモリシステムに使用されるそれぞれの不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持する。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
【0088】
同様に、読み出し動作は、Ｎ個の異なるレベル間を正確に識別できなければならない。
【0089】
ＶＭＭシステムにおいて、アレイからの出力を迅速かつ正確に受け取り、それらの出力によって表される値を識別することができる改善された出力ブロックが必要とされている。
【発明の概要】
【0090】
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路のための多数の実施形態が開示される。
【0091】
【0092】
【0093】
【0094】
【0095】
【0096】
【0097】
【0098】
【0099】
【0100】
【0101】
【0102】
【0103】
【0104】
【0105】
【0106】
【0107】
【0108】
【0109】
【0110】
【0111】
【0112】
【0113】
【0114】
【0115】
【0116】
【0117】
【0118】
【0119】
【0120】
【0121】
【0122】
【0123】
【0124】
【0125】
【0126】
【0127】
【0128】
【0129】
【0130】
【0131】
【0132】
【0133】
【0134】
【0135】
【0136】
【0137】
【0138】
【0139】
【0140】
【0141】
【図面の簡単な説明】
【0142】
【図1】人工ニューラルネットワークを例解する図である。
【図2】先行技術のスプリットゲートフラッシュメモリセルを示す。
【図3】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図4】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図5】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図6】１つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを例解する図である。
【図7】ベクトルマトリックス乗算システムを例解するブロック図である。
【図8】１つ以上のベクトルマトリックス乗算システムを利用する例示的な人工ニューラルネットワークを例解するブロック図である。
【図9】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図10】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図11】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図12】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図13】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図14】先行技術の長・短期メモリシステムを示す。
【図15】長・短期メモリシステムで使用する例示的なセルを示す。
【図18】先行技術のゲート付き回帰型ユニットシステムを示す。
【図19】ゲート付き回帰型ユニットシステムでの使用のための例示的なセルを示す。
【図22】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図23】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図24】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図25】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図26】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図27】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図28】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図29】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図30】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図31】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図32】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図33】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図34】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図35A】出力ブロックの実施形態を示す。
【図35B】出力ブロックの実施形態を示す。
【図36】出力ブロックの別の実施形態を示す。
【図37A】出力ブロックの別の実施形態を示す。
【図37B】出力ブロックの別の実施形態を示す。
【図38A】出力ブロックの別の実施形態を示す。
【図38B】出力ブロックの別の実施形態を示す。
【図39A】出力ブロックの別の実施形態を示す。
【図39B】出力ブロックの別の実施形態を示す。
【図40A】出力ブロックの別の実施形態を示す。
【図40B】出力ブロックの別の実施形態を示す。
【図40C】出力ブロックの別の実施形態を示す。
【図41】シリアルアナログ－デジタル変換器回路を示す。
【図42】逐次近似レジスタアナログ－デジタル変換器回路を示す。
【図43】パイプライン型逐次近似レジスタアナログ－デジタル変換器回路を示す。
【図44A】ハイブリッド逐次近似レジスタ及びシリアルアナログ－デジタル変換器回路を示す。
【図44B】ハイブリッド逐次近似レジスタ及びシリアルアナログ－デジタル変換器回路を示す。
【図45】アルゴリズム型アナログ－デジタル変換器ブロックを示す。
【図46】出力ブロックで使用されるトラッキング基準発生器を示す。
【発明を実施するための形態】
【0143】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
【0144】
ＶＭＭシステムの概要
図３４は、ＶＭＭシステム３４００のブロック図を示す。ＶＭＭシステム３４００は、ＶＭＭアレイ３４０１、行デコーダ３４０２、高電圧デコーダ３４０３、列デコーダ３４０４、ビット線ドライバ３４０５、入力回路３４０６、出力回路３４０７、制御論理３４０８、及びバイアス生成器３４０９を備える。ＶＭＭシステム３４００は、チャージポンプ３４１１、チャージポンプレギュレータ３４１２、及び高電圧アナログ精度レベル生成器３４１３を含む、高電圧生成ブロック３４１０を更に備える。ＶＭＭシステム３４００は、（プログラム／消去、又は重み調整）アルゴリズムコントローラ３４１４、アナログ回路３４１５、制御エンジン３４１６（限定するものではないが、算術機能、起動機能、埋め込みマイクロコントローラ論理などの特殊機能を含み得る）、及びテスト制御論理３４１７を更に備える。以下に記載されるシステム及び方法は、ＶＭＭシステム３４００に実装され得る。
図３４は、ＶＭＭシステム３４００のブロック図を示す。ＶＭＭシステム３４００は、ＶＭＭアレイ３４０１、行デコーダ３４０２、高電圧デコーダ３４０３、列デコーダ３４０４、ビット線ドライバ３４０５、入力回路３４０６、出力回路３４０７、制御論理３４０８、及びバイアス生成器３４０９を備える。ＶＭＭシステム３４００は、チャージポンプ３４１１、チャージポンプレギュレータ３４１２、及び高電圧アナログ精度レベル生成器３４１３を含む、高電圧生成ブロック３４１０を更に備える。ＶＭＭシステム３４００は、（プログラム／消去、又は重み調整）アルゴリズムコントローラ３４１４、アナログ回路３４１５、制御エンジン３４１６（限定するものではないが、算術機能、起動機能、埋め込みマイクロコントローラ論理などの特殊機能を含み得る）、及びテスト制御論理３４１７を更に備える。以下に記載されるシステム及び方法は、ＶＭＭシステム３４００に実装され得る。
【0145】
入力回路３４０６は、ＤＡＣ（デジタル－アナログ変換器）、ＤＰＣ（デジタル－パルス変換器、デジタル－時間変調パルス変換器）、ＡＡＣ（電流－電圧変換器、対数変換器などのアナログ－アナログ変換器）、ＰＡＣ（パルス－アナログレベル変換器）、又は任意の他の種類の変換器などの回路を含み得る。入力回路３４０６は、正規化、線形若しくは非線形アップ／ダウンスケーリング関数、又は算術関数を実装し得る。入力回路３４０６は、入力レベルのための温度補償関数を実装し得る。入力回路３４０６は、ＲｅＬＵ又はシグモイドなどの活性化関数を実装し得る。出力回路３４０７は、ＡＤＣ（ニューロンアナログ出力をデジタルビットに変換するための、アナログ－デジタル変換器）、ＡＡＣ（電流－電圧変換器などのアナログ－アナログ変換器、対数変換器）、ＡＰＣ（アナログ－パルス変換器、アナログ－時間変調パルス変換器）、又は任意の他の種類の変換器などの回路を含み得る。
【0146】
出力回路３４０７は、整流化線形活性関数（rectified linear activation function、ＲｅＬＵ）又はシグモイドなどの活性化関数を実装し得る。出力回路３４０７は、ニューロン出力の統計的正規化、正則化、アップ／ダウンスケーリング／ゲイン関数、統計的丸め、又は算術関数（例えば、加算、減算、除算、乗算、シフト、ログ）を実装し得る。出力回路３４０７は、アレイの電力消費をほぼ一定に保つために、又はＩＶの傾斜をほぼ同じに保つことになどによってアレイ（ニューロン）出力の精度を高めるために、ニューロン出力又はアレイ出力（ビット線出力など）のための温度補償関数を実装し得る。
【0147】
図３５Ａは、出力ブロック３５００を示す。出力ブロックは、電流－電圧変換器（ＩＴＶ）３５０１－１～３５０１－ｉ（ｉは、出力ブロック３５００が受け取るビット線Ｗ＋及びＷ－の対の数である）と、マルチプレクサ３５０２と、サンプルホールド回路３５０３－１～３５０３－ｉと、チャネルマルチプレクサ３５０４と、アナログーデジタル変換器（ＡＤＣ）３５０５と、を含む。出力ブロック３５００は、アレイ内のビット線対から差動重み出力Ｗ＋及びＷ－を受け取り、最終的に、ＡＤＣ３５０５からのビット線対（例えば、Ｗ＋線及びＷ－線）のうちの１つの出力を表すデジタル出力、ＤＯＵＴｘを生成する。
【0148】
電流－電圧変換器３５０１－１～３５０１－ｉのそれぞれは、アナログビット線電流信号ＢＬｗ＋及びＢＬｗ－（それぞれ、入力並びに記憶されたＷ＋重み及びＷ－重みに応答して生成されるビット線出力である）を受け取り、それらを差動電圧ＩＴＶＯ＋及びＩＴＶＯ－に変換する。
【0149】
次いで、ＩＴＶＯ＋及びＩＴＶＯ－はマルチプレクサ３５０２によって受け取られ、マルチプレクサ３５０２は、電流－電圧変換器３５０１－１～３５０１－Ｉからの出力をＳ／Ｈ回路３５０３－１～３５０３ｋに時分割多重化し、ここでｋはｉと同じであるか又は異なり得る。
【0150】
Ｓ／Ｈ回路３５０３－１～３５０３－ｋはそれぞれ、その受け取った差動電圧をサンプリングし、それらを差動出力として保持する。
【0151】
次いで、チャネルマルチプレクサ３５０４は、制御信号を受信して、ビット線Ｗ＋チャネル及びＷ－チャネルのうちの１つ、すなわち、ビット線対のうちの１つを選択し、それぞれのサンプルホールド回路３５０３によって保持された差動電圧をＡＤＣ３５０５に出力し、ＡＤＣ３５０５は、それぞれのサンプルホールド回路３５０３によって出力されたアナログ差動電圧を１組のデジタルビット、ＤＯＵＴｘに変換する。示されるように、Ｓ／Ｈ３５０３は、複数のＩＴＶ回路３５０１にわたって共有され得、ＡＤＣ３５０５は、時分割多重化方式で複数のＩＴＶ回路で動作し得る。それぞれのＳ／Ｈ３５０３は、単なるコンデンサであるか又はバッファ（例えば、演算増幅器）が後続するコンデンサであり得る。
【0152】
ＡＤＣ３５０５は、ハイブリッドＡＤＣアーキテクチャとすることができ、これは、変換を実行するために２つ以上のＡＤＣアーキテクチャを有することを意味する。例えば、ＤＯＵＴｘが８ビット出力である場合、ＡＤＣ３５０５は、ビットＢ７～Ｂ４を生成するためのＡＤＣサブアーキテクチャと、差動入力ＩＴＶＳＨ＋及びＩＴＶＳＨ－からビットＢ３～Ｂ０を生成するための別のＡＤＣサブアーキテクチャと、を含み得る。すなわち、ＡＤＣ回路３５０５は、複数のＡＤＣサブ０アーキテクチャを含み得る。
【0153】
任意選択で、あるＡＤＣサブアーキテクチャは、全てのチャネル間では共有され得るが、別のＡＤＣサブアーキテクチャは、全てのチャネル間で共有されない。
【0154】
別の実施形態では、チャネルｍｕｘ３５０４及びＡＤＣ３５０５は除去され得、代わりに、出力は、演算増幅器によってバッファリングされ得る、Ｓ／Ｈ３５０３からのアナログ差動電圧であり得る。例えば、アナログ電圧の使用は、全アナログニューラルネットワーク（すなわち、ニューラルメモリアレイのためにデジタル出力又はデジタル入力が必要とされないもの）において実装され得る。
【0155】
図３５Ｂは、出力ブロック３５５０を示す。出力ブロックは、電流－電圧変換器（ＩＴＶ）３５５１－１～３５５１－ｉ（ｉは、出力ブロック３５５０が受け取るビット線Ｗ＋及びＷ－の対の数である）と、マルチプレクサ３５５２と、差動－シングルエンド変換器Ｄｉｆｆ－ｔｏ－Ｓ変換器３５５３と、サンプルホールド回路３５５４－１～３５５４－ｋ（ｋはｉと同じか又は異なる）と、チャネルマルチプレクサ３５５４と、アナログ－デジタル変換器（ＡＤＣ）３５５５と、を含む。Ｄｉｆｆ－ｔｏ－Ｓ変換器３５５３は、ｍｕｘ３５５２によって提供されるＩＴＶ３５５１信号からの差動出力をシングルエンド出力に変換するために使用される。シングルエンド出力は、次いで、Ｓ／Ｈ３５５４、ｍｕｘ３５５５、及びＡＤＣ３５５６に入力される。
【0156】
図３６は、出力ブロック３６００を示す。出力ブロックは、加算回路３６０１－１～３６０１－ｉ（カレントミラー回路など。ｉは、出力ブロック３６００が受け取るビット線ＢＬｗ＋及びＢＬｗ－の対の数である）と、電流－電圧変換器回路（ＩＴＶ）３６０２－１～３６０２－ｉと、マルチプレクサ３６０３と、サンプルホールド回路３６０４－１～３６０４－ｋと（ｋはｉと同じであるか又は異なる）、チャネルマルチプレクサ３６０５と、ＡＤＣ３６０６と、を含む。出力ブロック３６００は、アレイ内のビット線対から差動重み出力ＢＬｗ＋及びＢＬｗ－を受け取り、最終的に、一度にビット線対のうちの１つの出力を表す、ＡＤＣ３６０６からのデジタル出力、ＤＯＵＴｘを生成する。
【0157】
電流加算回路３６０１－１～３６０１－ｉは、それぞれ、ビット線対から電流を受け取り、ＢＬｗ－からＢＬｗ－値を減算し、その結果を加算電流として出力する。
【0158】
電流－電圧変換器３６０２－１～３６０２－ｉは、出力加算電流を受け取り、それぞれの加算電流を差動電圧ＩＴＶＯ＋及びＩＴＶＯ－に変換し、次いで、差動電圧は、マルチプレクサ３６０３によって受け取られ、サンプルホールド回路３６０４－１～３６０４－ｋに選択的に提供される。
【0159】
それぞれのサンプルホールド回路３６０４は、差動電圧ＩＴＶＯＭＸ＋及びＩＴＶＯＭＸ－を受け取り、受け取った差動電圧をサンプリングし、それらを差動電圧出力ＯＳＨ＋及びＰＳＨ－として保持する。
【0160】
チャネルマルチプレクサ３６０５は、ビット線対のうちの１つ、すなわち、チャネルＢＬｗ＋及びＢＬｗ－を選択するための制御信号を受信し、それぞれのサンプルホールド回路３６０４によって保持された電圧をＡＤＣ３６０６に出力し、ＡＤＣ３６０６は、電圧をＤＯＵＴｘとして１組のデジタルビットに変換する。
【0161】
図３７Ａは、電流－電圧変換器３７００を示す。電流－電圧変換器３７００は、示されるように構成された演算増幅器３７０１及び３７０２と、可変抵抗器３７０３、３７０４、及び３７０５と、を含む。電流－電圧変換器３７００は、可変電流源として示される差動出力電流、Ｗ＋ビット線からのＢＬｗ＋及びＷ－ビット線からのＢＬｗ－を受け取り、シングルエンド出力Ｖｏｕｔを生成する。出力電圧Ｖｏｕｔは、＝ （ＢＬｗ＋ － Ｂｌｗ－）* Ｒであり、抵抗器３７０３、３７０４、及び３７０５はそれぞれ、Ｒに等しい値を有する。図３７Ａの可変抵抗器は、出力をスケーリングするために使用され得る。
【0162】
図３７Ｂは、電流－電圧変換器３７１０を示す。電流－電圧変換器３７１０は、示されるように構成された演算増幅器３７１１、３７１２、及び３７１３と、可変抵抗器３７１４、３７１５、３７１６、及び３７１７と、を含む。電流－電圧変換器３７１０は、可変電流源として示されるＷ＋ビット線からの出力電流ＢＬｗ＋を受け取り、その線の出力Ｖｏｕｔ＋を生成し、可変電流源として示されるＷ－ビット線からの出力電流Ｂｌｗ－を受け取り、その線の出力Ｖｏｕｔ－を生成する。したがって、出力ブロック３７００とは異なり、出力ブロック３７１０は、シングルエンド出力ではなく、それぞれ差分値ＢＬｗ＋及びＢＬｗ－を表す差動電圧を生成する。出力電圧はＶｏｕｔ＋ ＝ Ｉｗ＋*Ｒ及びＶｏｕｔ－ ＝ －Ｒｗ－*Ｒであり、抵抗器３７１４、３７１５、３７１６、及び３７１７はそれぞれＲに等しい値を有する。図３７Ｂの可変抵抗器は、出力をスケーリングするために使用され得る。
【0163】
任意選択で、差動出力電圧Ｖｏｕｔ＋及びＶｏｕｔ－は、ＡＤＣ３７１８に入力され得、ＡＤＣ３７１８は、それらを１組のデジタル出力ビット、Ｄｏｕｔｘに変換する。
【0164】
図３８Ａは、電流－電圧変換器３８００を示す。電流－電圧変換器３８００は、示されるように構成された、演算増幅器３８０１及び３８０２と、可変コンデンサ３８０３、３８０５、及び３８０６と、被制御スイッチ３８０４及び３８０７と、を含む。電流－電圧変換器３８００は、可変電流源として示されるＷ＋ビット線からの差動出力電流ＢＬｗ＋を受け取り、可変電流源として示されるＷ－ビット線からのＢＬｗ－を受け取り、シングルエンド出力Ｖｏｕｔを生成する。出力電圧Ｖｏｕｔは、＝ （Ｉｗ＋ － Ｉｗ－）* ｔ＿ｉｎｔｅｇｒａｔｉｏｎ／Ｃであり、コンデンサ３８０３、３８０５、及び３８０６はそれぞれ、Ｃに等しい静電容量値を有する。制御回路（図示せず）は、スイッチ３８０４、３８０７の開閉を制御して、積分時間ｔ＿ｉｎｔｅｇｒａｔｉｏｎを提供する。
【0165】
図３８Ｂは、電流－電圧変換器３８１０を示す。電流－電圧変換器３８１０は、演算増幅器３８１１、３８１２、及び３８１３と、可変コンデンサ３８１５、３８１６、３８１７、及び３８１９と、スイッチ３８１４、３８１８、及び３８２０と、を含む。電流－電圧変換器３８１０は、可変電流源として示されるＷ＋ビット線からの出力電流ＢＬｗ＋を受け取り、その線の出力Ｖｏｕｔ＋を生成し、可変電流源として示されるＷ－ビット線からの出力電流ＢＬｗ－を受け取り、その線のＶｏｕｔ－を生成する。したがって、出力ブロック３８００とは異なり、出力ブロック３８１０は、それぞれの差分値ＢＬｗ＋及びＢＬｗ－を表す２つの電圧を生成する。出力電圧はＶｏｕｔ＋ ＝ ＢＬｗ＋ * ｔ＿ｉｎｔｅｇｒａｔｉｏｎ／Ｃ及びＶｏｕｔ－ ＝ ＢＬｗ－ * ｔ＿ｉｎｔｅｇｒａｔｉｏｎ／Ｃであり、コンデンサ３８１５、３８１６、３８１７、及び３８１９はそれぞれ、Ｃに等しい静電容量値を有する。制御回路（図示せず）は、スイッチ３８１４、３８１８、及び３８２０の開閉を制御して、積分時間ｔ＿ｉｎｔｅｇｒａｔｉｏｎを提供する。
【0166】
任意選択で、差動出力電圧Ｖｏｕｔ＋及びＶｏｕｔ－は、ＡＤＣ３８２１に入力され得、ＡＤＣ３８２１は、それらを１組のデジタル出力ビット、Ｄｏｕｔｘに変換する。
【0167】
図３９Ａは、電流－電圧変換器３９００を示す。電流－電圧変換器３９００は、示されるように構成された演算増幅器３９０１と、可変積分抵抗器３９０２及び３９０３と、被制御スイッチ３９０４、３９０５、３９０６、及び３９０７と、サンプルホールドコンデンサ３９０８及び３９０９と、を含む。電流－電圧変換器３９００は、Ｗ＋ビット線からの差動電流ＢＬｗ＋及びＷ－ビット線からのＢＬｗ－を受け取り、電圧Ｖｏｕｔ＋及びＶｏｕｔ－をそれぞれ出力する。出力電圧はＶｏｕｔ＋ ＝ （Ｂｌｗ＋）* Ｒ及びＶｏｕｔ－ ＝ （ＢＬｗ－）* Ｒであり、抵抗器３９０２及び３９０３はそれぞれＲに等しい値を有する。コンデンサ３９０８及び３９０９はそれぞれ、抵抗器３９０２及び３９０３並びに入力電流が遮断されると出力電圧を保持するための保持Ｓ／Ｈコンデンサとして機能する。制御回路（図示せず）は、スイッチ３９０４、３９０５、３９０６、及び３９０７の開閉を制御して、積分時間を提供する。
【0168】
任意選択で、差動出力電圧Ｖｏｕｔ＋及びＶｏｕｔ－は、ＡＤＣ３９１０に入力され得、ＡＤＣ３９１０は、それらを１組のデジタル出力ビット、Ｄｏｕｔｘに変換する。
【0169】
図３９Ｂは、差動電圧－シングルエンド電圧変換器（Ｄｉｆｆ－ｔｏ－Ｓ）３９５０を示す。Ｄｉｆｆ－ｔｏ－Ｓ変換器３９５０は、演算増幅器３９５１と、可変積分抵抗器３９５２及び３９５３と、を含む。出力電圧Ｖｏｕｔ－（Ｖｉｎ１－Ｖｉｎ２）*（Ｒ＿３８５２／Ｒ＿３９５３）。これは、例えば、図３５Ｂのブロック３５５３として使用される。
【0170】
図４０Ａは、ハイブリッド出力変換ブロックである出力ブロック４０００を示す。出力ブロック４００は、示されるように、ＳＡＲ及びシリアルＡＤＣサブアーキテクチャなどの複数のサブアーキテクチャを含む。出力ブロック４０００は、差動信号Ｉｗ＋及びＩｗ－を受信する。逐次近似レジスタアナログ－デジタル変換器ＳＡＲ４００１は、差動信号Ｉｗ＋及びＩｗ－を上位デジタルビットに変換し、次いで、シリアルブロックＡＤＣ４００２は、上位ビット変換後に残る信号を下位ビットに変換し、全ての出力デジタルビットをまとめて出力する。一例では、８ビットＡＤＣ変換のために、ＳＡＲ ＡＤＣ４００１は、受け取った差動電圧の一部をＭＳＢビットＢ７～Ｂ４に変換し、シリアルＡＤＣ４００２は、受け取った差動電圧の一部をＬＳＢビットＢ３～Ｂ０に変換する。
【0171】
図４０Ｂは、出力ブロック４０１０を示す。出力ブロック４０１０は、示されるように、アルゴリズム型ＡＤＣ及びシリアルＡＤＣサブアーキテクチャなどの複数のサブアーキテクチャを含む。出力ブロック４０１０は、差動信号Ｉｗ＋及びＩｗ－を受信する。アルゴリズム型アナログ－デジタル変換器４００３は、差動信号Ｉｗ＋及びＩｗ－を上位デジタルビットに変換し、次いで、シリアルＡＤＣブロック４００４は、上位ビット変換後に残る信号を下位ビットに変換し、全ての出力デジタルビットをまとめて出力する。一例では、８ビットＡＤＣ変換のために、アルゴリズム型ＡＤＣ４００３は、受け取った差動電圧の一部をＭＳＢビットＢ７～Ｂ４に変換し、シリアルＡＤＣ４００４は、受け取った差動電圧の一部をＬＳＢビットＢ３～Ｂ０に変換する。
【0172】
図４０Ｃは、出力ブロック４０２０を示す。出力ブロック４０２０は、差動信号Ｉｗ＋及びＩｗ－を受信する。出力ブロック４０２０は、異なる変換方式（図４０Ａ及び図４０Ｂに示されるものなど）を１つのブロックに組み合わせることによって、差動信号Ｉｗ＋及びＩｗ－をデジタルビットに変換する、ハイブリッドアナログ－デジタル変換器を含む。
【0173】
図４１は、構成可能なシリアルアナログ－デジタル変換器４１００を示す。シリアルアナログ－デジタル変換器４１００は、可変電流源として示されるニューロン出力電流ＩNEUを積分コンデンサ４１０２（Ｃｉｎｔ）に積分する積分器４１７０を含む。積分器４１７０は、差動増幅器４１０１と、被制御スイッチ４１０８及び４１１０と、積分時間を提供するためにスイッチ４１０８及び４１１０の開閉を制御する制御回路（図示せず）と、を含む。
【0174】
一実施形態では、ＶＲＡＭＰ４１５０が、コンパレータ４１０４の反転入力に提供される。デジタル出力（カウント値）４１２１は、ＥＣ４１０５として示されるコンパレータ４１０４の出力が極性を切り替えるまでＶＲＡＭＰ４１５０をランプすることによって生成され、カウンタ４１２０は、ＶＲＡＭＰ４１５０のランプの開始からクロックパルスをカウントし、クロック４１４１の通過がパルス系列４１４２としてカウンタ４１２０に到達するのを阻止するＡＮＤゲート４１４０に応答して、コンパレータ４１０４の出力が極性を切り替えたときに停止する。
【0175】
別の実施形態では、ＶＲＥＦ４１５５が、コンパレータ４１０４の反転入力に提供される。ＶＣ４１１０は、ＶＯＵＴ４１０３がＶＲＥＦ４１５５に到達するまでランプ電流４１５１（ＩＲＥＦ）によってランプダウンされ、その時点で、コンパレータ４１０４の出力ＥＣ４１０５は、極性を切り替えてカウンタ４１２０のカウントを無効にする。したがって、カウンタ４１２０は、スイッチＳ２の閉鎖とともに有効になる（それは、Ｓ２の開放の後であり、コンパレータ４１０４の出力、ＥＣ４１０５が極性を切り替えるときに無効になる）。Ｓ３は、動作の開始時に初期化（等化）するために使用される。（ｎビット）ＡＤＣ４１００は、目標アプリケーションに応じて、より低い精度（ｎビットよりも少ない）又はより高い精度（ｎビットよりも多い）を有するように構成可能である。精度のコンフィギュアビリティは、限定することなく、コンデンサ４１０２の静電容量、電流４１５１（ＩＲＥＦ）、ＶＲＡＭＰ４１５０のランピング速度、又はクロック４１４１のクロック周波数を構成することによって行われる。
【0176】
別の実施形態では、ＶＭＭアレイのＡＤＣ回路は、ｎビットよりも低い精度を有するように構成され、別のＶＭＭアレイのＡＤＣ回路は、ビットよりも高い精度を有するように構成される。
【0177】
別の実施形態では、１つのニューロン（アレイ出力）回路のシリアルＡＤＣ回路４１００の１つのインスタンスは、隣接するニューロン回路のシリアルＡＤＣ回路４１００の別のインスタンスと組み合わせて、シリアルＡＤＣ回路４１００の２つのインスタンスの積分コンデンサ４１０２を組み合わせることによってなど、ｎビットよりも高い精度を有するＡＤＣ回路を生成するように構成されている。
【0178】
図４２は、ニューロン出力回路（アレイ出力回路）に使用される構成可能なＳＡＲ（逐次近似レジスタ）アナログ－デジタル変換器４２００を示す。この回路は、バイナリコンデンサを使用した電荷再分散に基づく、逐次近似変換器である。逐次近似変換器は、バイナリＣＤＡＣ（コンデンサデジタル－アナログ変換器）４２０１、コンパレータ４２０２、並びにＳＡＲ論理及びレジスタ４２０３を含む。示されるように、ＧｎｄＶ４２０４は、低電圧基準レベル、例えば、接地レベルである。ＳＡＲロジック及びレジスタ４２０３は、デジタル出力４２０６を提供する。他の非バイナリコンデンサ構造は、重み付けされた基準電圧又は出力による補正を用いて実装され得る。
【0179】
図４３は、次のＳＡＲ ＡＤＣと組み合わせてパイプライン方式でビット数を増加させるために使用され得るパイプライン型ＳＡＲ ＡＤＣ回路４３００を示す。ＳＡＲ ＡＤＣ回路４３００は、バイナリＣＤＡＣ４３０１、コンパレータ４３０２（オペアンプ又はコンパレータとして動作する）、オペアンプ／コンパレータ４３０３、ＳＡＲ論理及びレジスタ４３０４を含む。示されるように、ＧｎｄＶ３１０４は、低電圧基準レベル、例えば、接地レベルである。ＳＡＲ論理及びレジスタ４３０４は、デジタル出力４３０６を提供する。Ｖｉｎは入力電圧にあり、ＶＲＥＦは基準電圧であり、ＧｎｄＶは接地電圧などの低電圧である。Ｖ残余は、コンデンサ４３０５によって生成され、ＳＡＲ ＡＤＣ変換シーケンスの次のステージへの入力として提供される。
【0180】
図４４Ａは、ハイブリッド方式でビット数を増加させるために使用され得るハイブリッドＳＡＲ＋シリアルＡＤＣ回路４４００を示す。ＳＡＲ ＡＤＣ回路４４００は、バイナリＣＤＡＣ４４０１と、コンパレータ４４０２ｓと、ＳＡＲ論理及びレジスタ４４０３と、を含む。示されるように、ＧｎｄＶは、低電圧基準レベル、例えば、ＳＡＲ ＡＤＣ動作中の接地レベルである。ＳＡＲ論理及びレジスタ４４０３は、デジタル出力を提供する。Ｖｉｎは入力電圧である。ＶＲＥＦＲＡＭＰは、適切な制御回路及び信号多重化（図示せず）を用いたシリアルＡＤＣ動作中に、基準ランプ電圧として使用される。
【0181】
使用され得る他のハイブリッドＡＤＣアーキテクチャは、ＳＡＲ ＡＤＣ＋シグマデルタＡＤＣ、フラッシュＡＤＣ＋シリアルＡＤＣ、パイプライン型ＡＤＣ＋シリアルＡＤＣ、シリアルＡＤＣ＋ＳＡＲ ＡＤＣ、及び他のアーキテクチャを含む。
【0182】
図４４Ｂは、ハイブリッド方式でビット数を増加させるために使用され得るハイブリッド差動ＳＡＲ＋シリアルＡＤＣ回路４４００を示す。
【0183】
図４５は、アルゴリズム型ＡＤＣ出力ブロック４５００を示す。出力ブロック４５００は、示されるように構成された、サンプルホールド回路４５０１と、１ビットアナログ－デジタル変換器４５０２と、１ビットデジタル－アナログ変換器４５０３と、加算器４５０４と、演算増幅器４５０５と、被制御スイッチ４５０６及び４５０７と、を含む。２の利得を提供するように構成された演算増幅器４５０５が示されている。
【0184】
図４６は、本明細書に説明される出力回路、並びに図３７Ａ、図３７Ｂ、図３８Ａ、図３８Ｂ、図４１、図４２、図４３、図４４Ａ、及び図４４Ｂなどのそのような出力回路の構成要素によって使用され得る基準電圧を生成するために使用される、追跡電圧基準発生器４６００を示す。
【0185】
トラッキング電圧基準発生器４６００は、バイアス電流４６０１及び可変抵抗器４６０２を含み、出力ＶＲＥＦｘ４６０３＝ｉ*Ｒを生成し、ここで、ｉはバイアス電流４６０１からの電流であり、Ｒは可変抵抗器４６０２の抵抗である。
【0186】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35A】
【図35B】
【図36】
【図37A】
【図37B】
【図38A】
【図38B】
【図39A】
【図39B】
【図40A】
【図40B】
【図40C】
【図41】
【図42】
【図43】
【図44A】
【図44B】
【図45】
【図46】
【手続補正書】
【提出日】2023-12-19
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【0050】
図１１は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０３と、第１の不揮発性基準メモリセルの基準アレイ１１０１と、第２の不揮発性基準メモリセルの基準アレイ１１０２と、を含む。基準アレイ１１０１及び１１０２は、ＶＭＭアレイ１１００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１１００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ１、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【0056】
図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、それぞれ個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、必要に応じて完全に消去され、部分的にプログラムされ、部分的に消去され得る。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０１５２
【補正方法】変更
【補正の内容】
【0152】
ＡＤＣ３５０５は、ハイブリッドＡＤＣアーキテクチャとすることができ、これは、変換を実行するために２つ以上のＡＤＣアーキテクチャを有することを意味する。例えば、ＤＯＵＴｘが８ビット出力である場合、ＡＤＣ３５０５は、ビットＢ７～Ｂ４を生成するためのＡＤＣサブアーキテクチャと、差動入力ＩＴＶＳＨ＋及びＩＴＶＳＨ－からビットＢ３～Ｂ０を生成するための別のＡＤＣサブアーキテクチャと、を含み得る。すなわち、ＡＤＣ回路３５０５は、複数のＡＤＣサブアーキテクチャを含み得る。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０１５５
【補正方法】変更
【補正の内容】
【0155】
図３５Ｂは、出力ブロック３５５０を示す。出力ブロックは、電流－電圧変換器（ＩＴＶ）３５５１－１～３５５１－ｉ（ｉは、出力ブロック３５５０が受け取るビット線Ｗ＋及びＷ－の対の数である）と、マルチプレクサ３５５２と、差動－シングルエンド変換器Ｄｉｆｆ－ｔｏ－Ｓ変換器３５５３と、サンプルホールド回路３５５４－１～３５５４－ｋ（ｋはｉと同じか又は異なる）と、チャネルマルチプレクサ３５５５と、アナログ－デジタル変換器（ＡＤＣ）３５５６と、を含む。Ｄｉｆｆ－ｔｏ－Ｓ変換器３５５３は、ｍｕｘ３５５２によって提供されるＩＴＶ３５５１信号からの差動出力をシングルエンド出力に変換するために使用される。シングルエンド出力は、次いで、Ｓ／Ｈ３５５４、ｍｕｘ３５５５、及びＡＤＣ３５５６に入力される。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０１８０
【補正方法】変更
【補正の内容】
【0180】
図４４Ａは、ハイブリッド方式でビット数を増加させるために使用され得るハイブリッドＳＡＲ＋シリアルＡＤＣ回路４４００を示す。ＳＡＲ ＡＤＣ回路４４００は、バイナリＣＤＡＣ４４０１と、コンパレータ４４０２と、ＳＡＲ論理及びレジスタ４４０３と、を含む。示されるように、ＧｎｄＶは、低電圧基準レベル、例えば、ＳＡＲ ＡＤＣ動作中の接地レベルである。ＳＡＲ論理及びレジスタ４４０３は、デジタル出力を提供する。Ｖｉｎは入力電圧である。ＶＲＥＦＲＡＭＰは、適切な制御回路及び信号多重化（図示せず）を用いたシリアルＡＤＣ動作中に、基準ランプ電圧として使用される。
【国際調査報告】