知財求人 - 知財ポータルサイト「IP Force」
▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特許7602046深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデジタル出力機構
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデジタル出力機構
(51)【国際特許分類】
G11C 11/56 20060101AFI20241210BHJP
G11C 16/26 20060101ALI20241210BHJP
G11C 11/54 20060101ALI20241210BHJP
G06N 3/065 20230101ALI20241210BHJP
G06G 7/60 20060101ALI20241210BHJP
G06G 7/16 20060101ALI20241210BHJP
【ＦＩ】
G11C11/56 220
G11C16/26 140
G11C11/54
G06N3/065
G06G7/60
G06G7/16 510
【請求項の数】
18
(21)【出願番号】P 2023539789
(86)(22)【出願日】2021-04-07
(65)【公表番号】
(43)【公表日】2024-01-23
(86)【国際出願番号】 US2021026284
(87)【国際公開番号】W WO2022146468
(87)【国際公開日】2022-07-07
【審査請求日】2023-08-22
(31)【優先権主張番号】63/133,270
(32)【優先日】2021-01-01
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/219,352
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
(72)【発明者】
【氏名】ブー、サン
(72)【発明者】
【氏名】トリン、ステファン
(72)【発明者】
【氏名】ホン、スタンレー
(72)【発明者】
【氏名】レ、ギア
(72)【発明者】
【氏名】レ、トアン
(72)【発明者】
【氏名】パム、ヒエン
【審査官】後藤 彰
(56)【参考文献】
【文献】国際公開第２０２０／２２２８６９（ＷＯ，Ａ１）
【文献】国際公開第２０２０／１４９８９０（ＷＯ，Ａ１）
【文献】国際公開第２０２０／１４９８８９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１１Ｃ １１／５６
Ｇ１１Ｃ １６／２６
Ｇ１１Ｃ １１／５４
Ｇ０６Ｎ ３／０６５
Ｇ０６Ｇ ７／６０
Ｇ０６Ｇ ７／１６
(57)【特許請求の範囲】
【請求項1】
不揮発性メモリセルのアレイから出力を生成するための出力ブロックであって、前記アレイへの一連の入力に応答して、生成された前記アレイ内の１つ以上の選択された不揮発性メモリセルから一連の電流を受け取り、かつ前記一連の電流に応答して電圧又は一連の電圧を生成するための電流－電圧変換器と、
前記電圧又は前記一連の電圧を複数の出力ビットに変換するためのアナログ－デジタル変換器であって、前記複数の出力ビットは、前記一連の電流又は前記電圧若しくは前記一連の電圧のうちの１つ以上に対して実行される重み付け関数を反映する、アナログ－デジタル変換器と、を備える、出力ブロック。
【請求項2】
前記一連の入力のうちの各入力はパルスを含み、前記パルスの幅は、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項3】
前記一連の入力のうちの各入力は、アナログバイアス電圧に加算されるパルスを含み、前記パルスの幅は、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項4】
前記一連の入力のうちの各入力は、一連の１つ以上のパルスを含み、前記一連の１つ以上のパルス内のパルスの数は、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項5】
前記一連の入力のうちの各入力は、アナログバイアス電圧に加算される一連の１つ以上のパルスを含み、前記一連の１つ以上のパルス内のパルスの数は、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項6】
前記一連の入力のうちの各入力は、アナログバイアス電圧に加算されるパルスを含み、前記パルスの幅は、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項7】
前記一連の入力のうちの各入力は、アナログバイアス電圧を含み、前記アナログバイアス電圧の大きさは、前記入力のデータ値に比例する、請求項１に記載の出力ブロック。
【請求項8】
前記一連の入力のうちの各入力は、アナログバイアス電圧を含み、前記アナログバイアス電圧の大きさは、前記入力によって表される複数のデジタルビットのデータ値に比例する、請求項１に記載の出力ブロック。
【請求項9】
前記一連の入力のうちの各入力は、アナログバイアス電圧を含み、前記アナログバイアス電圧の大きさは、前記入力によって表されるデジタルビットのビット位置に応じて変化する、請求項１に記載の出力ブロック。
【請求項10】
前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項１に記載の出力ブロック。
【請求項11】
前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項１に記載の出力ブロック。
【請求項12】
前記電流－電圧変換器は、無損失である、請求項１に記載の出力ブロック。
【請求項13】
前記電流－電圧変換器は、前記電圧又は前記一連の電圧を出力するサンプルアンドホールド回路を備える、請求項１に記載の出力ブロック。
【請求項14】
前記電流－電圧変換器は、前記電圧又は前記一連の電圧を出力する演算増幅器を備える、請求項１に記載の出力ブロック。
【請求項15】
前記電流－電圧変換器は、前記電圧又は前記一連の電圧を出力する無損失可変抵抗ユニットを含む、請求項１に記載の出力ブロック。
【請求項16】
前記アレイは、ベクトルマトリックス乗算器アレイである、請求項１に記載の出力ブロック。
【請求項17】
前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項１６に記載の出力ブロック。
【請求項18】
前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項１６に記載の出力ブロック。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０２１年１月１日に出願された「Ｉｎｐｕｔ ａｎｄ Ｄｉｇｉｔａｌ Ｏｕｔｐｕｔ Ｍｅｃｈａｎｉｓｍｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６３／１３３，２７０号、及び２０２１年３月３１日に出願された「Ｄｉｇｉｔａｌ Ｏｕｔｐｕｔ Ｍｅｃｈａｎｉｓｍｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１７／２１９，３５２号の優先権を主張する。
本出願は、２０２１年１月１日に出願された「Ｉｎｐｕｔ ａｎｄ Ｄｉｇｉｔａｌ Ｏｕｔｐｕｔ Ｍｅｃｈａｎｉｓｍｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６３／１３３，２７０号、及び２０２１年３月３１日に出願された「Ｄｉｇｉｔａｌ Ｏｕｔｐｕｔ Ｍｅｃｈａｎｉｓｍｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１７／２１９，３５２号の優先権を主張する。
【0002】
（発明の分野）
人工ニューラルネットワークにおけるベクトルマトリックス乗算（vector-by-matrix multiplication、ＶＭＭ）アレイ内の不揮発性メモリセルを読み出す又は検証するための出力機構の多数の実施形態が開示される。
人工ニューラルネットワークにおけるベクトルマトリックス乗算（vector-by-matrix multiplication、ＶＭＭ）アレイ内の不揮発性メモリセルを読み出す又は検証するための出力機構の多数の実施形態が開示される。
【背景技術】
【0003】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、お互いの間でメッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルでニューロンは、シナプスから受け取ったデータに基づいて個々に又は集合的に意思決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題のうちの１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受け取って、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受け取るように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、メモリセルの各々は、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に絶縁されて配設される浮遊ゲートと、チャネル領域の第２の部分の上方に絶縁されて配設される非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。
【0007】
アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持しなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
【0008】
１つのＶＭＭの出力はしばしば別のＶＭＭに適用される必要があるので、ＶＭＭシステムにおいては、ＶＭＭの出力をビットに変換し、入力ビットを別のＶＭＭに適用できることが望ましい。次に、ＶＭＭシステムのビット符号化機構をどのようにして最良に実装するかに関する課題が生じる。
【0009】
必要とされるのは、プログラミング、検証、及び読み出しを実行するためのＶＭＭのための改善された入力及び出力ブロックである。
【発明の概要】
【0010】
人工ニューラルネットワークにおけるベクトルマトリックス乗算（ＶＭＭ）アレイ内の選択されたメモリセルに記憶された値を読み出す又は検証するための多数の実施形態が開示される。実施形態は、ＶＭＭアレイとともに使用するための入力ブロック及び出力ブロックの様々な設計を含む。
【0011】
一実施形態では、不揮発性メモリセルのアレイから出力を生成するための出力ブロックは、アレイへの一連の入力に応答して、生成されたアレイ内の１つ以上の選択された不揮発性メモリセルから一連の電流を受け取り、かつ一連の電流に応答して電圧又は一連の電圧を生成するための電流－電圧変換器と、電圧又は一連の電圧を複数の出力ビットに変換するためのアナログ－デジタル変換器とを備え、複数の出力ビットは、一連の電流又は電圧若しくは一連の電圧のうちの１つ以上に対して実行される重み付け関数を反映する。
【0012】
別の実施形態では、不揮発性メモリセルのアレイから出力を生成するための出力ブロックは、アレイに印加される入力に応答して、アレイ内の１つ以上の選択された不揮発性メモリセルから電流を受け取り、電流を電圧に変換するための電流－電圧変換器を備え、電流－電圧変換器は、電圧を保持するためのサンプルアンドホールド回路を備える。
【0013】
別の実施形態では、不揮発性メモリセルのアレイによって受け取られた一連の入力に応答して、不揮発性メモリセルのアレイから受け取られた一連の電流から出力を生成するための出力ブロックは、一連の電流を受け取り、一連の電流を複数の出力ビットを含む出力に変換するためのアナログ－デジタル変換器を備える。
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】
【0050】
【0051】
【0052】
【0053】
【0054】
【0055】
【0056】
【0057】
【0058】
【0059】
【0060】
【0061】
【0062】
【0063】
【0064】
【0065】
【0066】
【0067】
【0068】
【0069】
【0070】
【0071】
【図面の簡単な説明】
【0072】
【図1】人工ニューラルネットワークを例解する図である。
【図2】先行技術のスプリットゲートフラッシュメモリセルを示す。
【図3】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図4】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図5】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図6】１つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを例解する図である。
【図7】ベクトルマトリックス乗算システムを例解するブロック図である。
【図8】１つ以上のベクトルマトリックス乗算システムを利用する例示的な人工ニューラルネットワークを例解するブロック図である。
【図9】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図10】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図11】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図12】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図13】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図14】先行技術の長・短期メモリシステムを示す。
【図15】長・短期メモリシステムで使用する例示的なセルを示す。
【図18】先行技術のゲート付き回帰型ユニットシステムを示す。
【図19】ゲート付き回帰型ユニットシステムでの使用のための例示的なセルを示す。
【図22A】不揮発性メモリセルをプログラミングする方法の一実施形態を示す。
【図22B】不揮発性メモリセルをプログラミングする方法の別の実施形態を示す。
【図23】粗プログラミング方法の一実施形態を示す。
【図24】不揮発性メモリセルのプログラミングで使用される例示的なパルスを示す。
【図25】不揮発性メモリセルのプログラミングで使用される例示的なパルスを示す。
【図26A】セルの傾斜特性に基づいてプログラミングパラメータを調整する、不揮発性メモリセルのプログラミングのための較正アルゴリズムを示す。
【図26B】セルの傾斜特性に基づいてプログラミングパラメータを調整する、不揮発性メモリセルのプログラミングのための較正アルゴリズムを示す。
【図28】不揮発性メモリセルのプログラミングのための較正アルゴリズムを示す。
【図30】プログラミング動作中に不揮発性メモリセルの制御ゲートに印加される電圧の例示的な進行を示す。
【図31】プログラミング動作中に不揮発性メモリセルの制御ゲートに印加される電圧の例示的な進行を示す。
【図32】ベクトル乗算マトリックスシステム内の不揮発性メモリセルのプログラミング中にプログラミング電圧を印加するためのシステムを示す。
【図33】電荷合計器回路を示す。
【図34】電流合計器回路を示す。
【図35】デジタル合計器回路を示す。
【図36A】ニューロン出力用の積分型アナログ－デジタル変換器の一実施形態を示す。
【図36C】ニューロン出力用の積分型アナログ－デジタル変換器の別の実施形態を示す。
【図36E】ニューロン出力用の積分型アナログ－デジタル変換器の別の実施形態を示す。
【図36F】ニューロン出力用の積分型アナログ－デジタル変換器の別の実施形態を示す。
【図37A】ニューロン出力用の逐次比較型アナログ－デジタル変換器を示す。
【図37B】ニューロン出力用の逐次比較型アナログ－デジタル変換器を示す。
【図38】シグマデルタ型アナログ－デジタル変換器の一実施形態を示す。
【図39】出力ブロックを示す。
【図40】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図41】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図42】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図43】ベクトルマトリックス乗算システムのブロック図を示す。
【図44】デジタル合計器を示す。
【図45】出力ブロックを示す。
【図46】電流－電圧変換器の一実施形態を示す。
【図47】電流－電圧変換器の別の実施形態を示す。
【図48】電流－電圧変換器の別の実施形態を示す。
【図49A】電流－電圧変換器の別の実施形態を示す。
【図49B】無損失可変抵抗器の一実施形態を示す。
【図50】電流－電圧変換器の別の実施形態を示す。
【図51】電流－電圧変換器の別の実施形態を示す。
【図52A】ハイブリッドシリアル変換器の実施形態を示す。
【図52B】ハイブリッドシリアル変換器の実施形態を示す。
【図52C】ハイブリッドシリアル変換器の実施形態を示す。
【発明を実施するための形態】
【0073】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
不揮発性メモリセル
【0074】
デジタル不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４及びドレイン領域１６を含み、ソース領域１４とドレイン領域１６との間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に絶縁されて配設される、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
【0075】
ワード線端子２２に高圧正電圧を加えることによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim、ＦＮ）トンネリングを介して通過する。
【0076】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を加えることによって、ホットエレクトロンによるソースサイド注入（source side injection、ＳＳＩ）によって、プログラムされる（電子が浮遊ゲートに加えられる）。電子電流は、ドレイン領域１６からソース領域１４に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部は、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
【0077】
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を加える（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。
【0078】
【0079】
他の種類のフラッシュメモリセルとして、他のスプリットゲート型メモリセル構成も知られている。例えば、図３は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル３１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
【0080】
【0081】
図４は、別の種類のフラッシュメモリセルである、３ゲートメモリセル４１０を示す。メモリセル４１０は、メモリセル４１０が別個の制御ゲートを有しないことを除いて、図３のメモリセル３１０と同一である。（消去ゲートの使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図３のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加されなければならない。
【0082】
【0083】
図５は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル５１０を示す。メモリセル５１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２（ここでワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去は、ＦＧから基板への電子のＦＮトンネリングによって行われ、プログラミングは、チャネル１８とドレイン領域１６との間の領域でのチャネルホットエレクトロン（channel hot electron、ＣＨＥ）注入によって、ソース領域１４からドレイン領域１６に向かって流れる電子によって、及びより高い制御ゲート電圧を有するメモリセル２１０の読み出し動作と同様である読み出し動作によって行われる。
【0084】
【0085】
本明細書に記載される方法及び手段は、限定されないが、ＦＩＮＦＥＴスプリットゲートフラッシュ又はスタックゲートフラッシュメモリ、ＮＡＮＤフラッシュ、ＳＯＮＯＳ（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（抵抗変化型メモリ）、ＰＣＭ（相変化メモリ）、ＭＲＡＭ（磁気抵抗メモリ）、ＦｅＲＡＭ（強誘電体メモリ）、ＣＴ（電荷トラップ）メモリ、ＣＮ（カーボンチューブ）メモリ、ＯＴＰ（バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（強相関電子メモリ）などの他の不揮発性メモリ技術に適用され得る。
【0086】
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第一に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第二に、メモリセルの連続（アナログ）プログラミングを提供する。
【0087】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値（１６個又は６４個の異なる値など）のうちの１つを最低限記憶することができることを意味し、これにより、メモリアレイ内の全てのセルが非常に精確に、かつ個々にチューニング可能となり、また、メモリアレイが、記憶、及びニューラルネットワークのシナプシスの重みへの微細チューニング調整に対して、理想的なものになる。
不揮発性メモリセルアレイを使用するニューラルネットワーク
不揮発性メモリセルアレイを使用するニューラルネットワーク
【0088】
図６は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に例解する。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。
【0089】
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと称される）は、シナプスＣＢ１に提供され、そこで、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、層Ｃ１の特徴マップのうちの１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、層Ｃ１の異なる特徴マップを生成する。
【0090】
本例では、層Ｃ１において、各々３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、二次元アレイであり、したがってこの例では、層Ｃ１は、二次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な二次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界識別など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するために使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又はある特定の特徴のアスペクト比などを識別することができる。
【0091】
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数Ｐ１の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、各々１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、層Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の識別又は分類（クラス）を示すことができる。
【0092】
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。
【0093】
図７は、その目的のために使用可能なアレイのブロック図である。ベクトルマトリックス乗算（ＶＭＭ）アレイ３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭアレイ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３２への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、不揮発性メモリセルアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、不揮発性メモリセルアレイ３３の出力をデコードすることもできる。
【0094】
不揮発性メモリセルアレイ３３は、２つの目的を果たす。第一に、メモリセルアレイ３３は、ＶＭＭアレイ３２によって使用される重みを記憶する。第二に、不揮発性メモリセルアレイ３３は、不揮発性メモリセルアレイ３３に格納された重みを、入力に有効に乗算して、それらを出力線（ソース線又はビット線）ごとに加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。不揮発性メモリセルアレイ３３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、メモリ内の計算により電力効率も良い。
【0095】
不揮発性メモリセルアレイ３３の出力は、不揮発性メモリセルアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動合計器（合計オペアンプ又は合計カレントミラーなど）３８に供給される。差動合計器３８は、正の重み及び負の重みの総和を実行するように配置される。
【0096】
差動合計器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図６のＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、不揮発性メモリセルアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受け取る）、合計オペアンプ３８及び活性化関数回路３９は、複数のニューロンを構成する。
【0097】
図７のＶＭＭアレイ３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが提供される）であり得、出力は、アナログレベル、バイナリレベル、又はデジタルビットであり得る（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが提供される）。
【0098】
図８は、図中でＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭアレイ３２の多数の層の使用を示すブロック図である。図８に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭアレイ３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭアレイ３２ａのマトリックス乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭアレイ３２ａへのマッピングされたアナログ入力に変換するために、アナログ－アナログ（analog to analog、Ａ／Ａ）変換器によって行うこともできる。
【0099】
入力ＶＭＭアレイ３２ａによって生成された出力は、次に、次のＶＭＭアレイ（隠しレベル１）３２ｂへの入力として提供され、次に入力ＶＭＭアレイ（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭアレイ３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。図８に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全接続層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全接続層を含み得ることを理解するであろう。
ベクトルマトリックス乗算（ＶＭＭ）アレイ
ベクトルマトリックス乗算（ＶＭＭ）アレイ
【0100】
図９は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ９００を示す。ＶＭＭアレイ９００は、不揮発性メモリセルのメモリアレイ９０１と、不揮発性基準メモリセルの基準アレイ９０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することもできる。
【0101】
ＶＭＭアレイ９００では、制御ゲート線９０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ９０２が、制御ゲート線９０３に直交する）、消去ゲート線９０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ９００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ９００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0102】
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ９００の不揮発性メモリセル、すなわちＶＭＭアレイ９００のメモリセル３１０は、サブスレッショルド領域で動作するように構成されることが好ましい。
【0103】
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱反転（サブスレッショルド領域）でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓはドレイン－ソース間電流であり、Ｖｇはメモリセルのゲート電圧であり、Ｖｔｈはメモリセルのスレッショルド電圧であり、Ｖｔは熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷であり、ｎは傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、及びＣｏｘはゲート酸化物層の容量であり、Ｉｏはスレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓはドレイン－ソース間電流であり、Ｖｇはメモリセルのゲート電圧であり、Ｖｔｈはメモリセルのスレッショルド電圧であり、Ｖｔは熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷であり、ｎは傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、及びＣｏｘはゲート酸化物層の容量であり、Ｉｏはスレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
【0104】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0105】
電流入力を伴うベクトルマトリックス乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
式中、ｗａ＝メモリアレイの各メモリセルのｗである。
Ｖｔｈｐは周辺メモリセルの有効スレッショルド電圧であり、Ｖｔｈａはメイン（データ）メモリセルの有効スレッショルド電圧である。トランジスタのスレッショルド電圧は基板本体バイアス電圧の関数であり、Ｖｓｂと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように変調され得ることに留意されたい。スレッショルド電圧Ｖｔｈは、次のように表すことができる。
Ｖｔｈ＝Ｖｔｈ０＋ガンマ（ＳＱＲＴ｜Ｖｓｂ－２*ΦＦ）－ＳＱＲＴ｜２*ΦＦ｜）
式中、Ｖｔｈ０は、ゼロ基板バイアスを有するスレッショルド電圧であり、ΦＦは表面電位であり、ガンマは本体効果パラメータである。
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
式中、ｗａ＝メモリアレイの各メモリセルのｗである。
Ｖｔｈｐは周辺メモリセルの有効スレッショルド電圧であり、Ｖｔｈａはメイン（データ）メモリセルの有効スレッショルド電圧である。トランジスタのスレッショルド電圧は基板本体バイアス電圧の関数であり、Ｖｓｂと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように変調され得ることに留意されたい。スレッショルド電圧Ｖｔｈは、次のように表すことができる。
Ｖｔｈ＝Ｖｔｈ０＋ガンマ（ＳＱＲＴ｜Ｖｓｂ－２*ΦＦ）－ＳＱＲＴ｜２*ΦＦ｜）
式中、Ｖｔｈ０は、ゼロ基板バイアスを有するスレッショルド電圧であり、ΦＦは表面電位であり、ガンマは本体効果パラメータである。
【0106】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0107】
代替的に、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
すなわち、線形領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
すなわち、線形領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する
【0108】
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
【0109】
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して、入出力電流を入出力電圧に線形変換することができる。
【0110】
代替的に、本明細書に記載されたＶＭＭアレイのメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2； ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）2、すなわち、重みＷは（Ｖｇｓ－Ｖｔｈ）2に比例する
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2； ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ α （Ｖｇｓ－Ｖｔｈ）2、すなわち、重みＷは（Ｖｇｓ－Ｖｔｈ）2に比例する
【0111】
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
【0112】
代替的に、本明細書に記載されるＶＭＭアレイのメモリセルは、ニューラルネットワークの各層又は多層に対して全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用され得る。
【0113】
図７のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
【0114】
図１０は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間のシナプスとして利用される、ニューロンＶＭＭアレイ１０００を示す。ＶＭＭアレイ１０００は、不揮発性メモリセルのメモリアレイ１００３と、第１の不揮発性基準メモリセルの基準アレイ１００１と、第２の不揮発性基準メモリセルの基準アレイ１００２と、を含む。アレイの列方向に配置された基準アレイ１００１及び１００２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１０１４（一部のみ示す）を通してダイオード接続される。基準セルは、目標基準レベルにチューニング（例えば、プログラム）される。目標基準レベルは、基準ミニアレイマトリックス（図示せず）によって提供される。
【0115】
メモリアレイ１００３は、２つの目的を果たす。第一に、メモリアレイ１００３は、ＶＭＭアレイ１０００により使用される重みを、それぞれのメモリセルに記憶する。第二に、メモリアレイ１００３は、メモリアレイ１００３に記憶された重みを、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１００１及び１００２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）に有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。乗算及び加算の関数を実行することで、メモリアレイ１００３は、別個の乗算及び加算の論理回路の必要性をなくし、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にそれぞれのビット線ＢＬ０～ＢＬＮに現れる。ビット線ＢＬ０～ＢＬＮの各々の電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
【0116】
表５は、ＶＭＭアレイ１０００の動作電圧及び電流を示す。表中の列は、選択されたセルのワード線、選択されていないセルのワード線、選択されたセルのビット線、選択されていないセルのビット線、選択されたセルのソース線、及び選択されていないセルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表５：図１０のＶＭＭアレイ１０００の動作
表５：図１０のＶＭＭアレイ１０００の動作
【表5】
【0117】
図１１は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０３と、第１の不揮発性基準メモリセルの基準アレイ１１０１と、第２の不揮発性基準メモリセルの基準アレイ１１０２と、を含む。基準アレイ１１０１及び１１０２は、ＶＭＭアレイ１１００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１１００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0118】
表６は、ＶＭＭアレイ１１００の動作電圧及び電流を示す。表中の列は、選択されたセルのワード線、選択されていないセルのワード線、選択されたセルのビット線、選択されていないセルのビット線、選択されたセルのソース線、及び選択されていないセルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表６：図１１のＶＭＭアレイ１１００の動作
表６：図１１のＶＭＭアレイ１１００の動作
【表6】
【0119】
図１２は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１２００を示す。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１２１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１２１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）の一定電圧を確実にするために、対応のマルチプレクサ１２０５及びカスコーディングトランジスタ１２０４をそれぞれ含む。基準セルは、目標基準レベルにチューニングされる。
【0120】
メモリアレイ１２０３は、２つの目的を果たす。第一に、メモリアレイ１２０３は、ＶＭＭアレイ１２００によって使用される重みを記憶する。第二に、メモリアレイ１２０３は、メモリアレイに記憶された重みを、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１２０１及び１２０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に有効に乗算して、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに現れ、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線の電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0121】
ＶＭＭアレイ１２００は、メモリアレイ１２０３内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに記憶されるなどの場合）、セルは消去され、一連の部分的なプログラミング動作が最初からやり直される。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去され（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
【0122】
表７は、ＶＭＭアレイ１２００の動作電圧及び電流を示す。表中の列は、選択されたセルのワード線、選択されていないセルのワード線、選択されたセルのビット線、選択されていないセルのビット線、選択されたセルの制御ゲート、選択されたセルと同じセクタ内の選択されていないセルの制御ゲート、選択されたセルとは異なるセクタ内の選択されていないセルの制御ゲート、選択されたセルの消去ゲート、選択されていないセルの消去ゲート、選択されたセルのソース線、及び選択されていないセルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表７：図１２のＶＭＭアレイ１２００の動作
表７：図１２のＶＭＭアレイ１２００の動作
【表7】
【0123】
図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【0124】
表８は、ＶＭＭアレイ１３００の動作電圧及び電流を示す。表中の列は、選択されたセルのワード線、選択されていないセルのワード線、選択されたセルのビット線、選択されていないセルのビット線、選択されたセルの制御ゲート、選択されたセルと同じセクタ内の選択されていないセルの制御ゲート、選択されたセルとは異なるセクタ内の選択されていないセルの制御ゲート、選択されたセルの消去ゲート、選択されていないセルの消去ゲート、選択されたセルのソース線、及び選択されていないセルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表８：図１３のＶＭＭアレイ１３００の動作
ページ又はワード基準のチューニングによる改善されたＶＭＭシステム
表８：図１３のＶＭＭアレイ１３００の動作
【表8】
【0125】
図４０は、ＶＭＭアレイ４０００を示す。ＶＭＭアレイ４０００は、不揮発性メモリセルのページの一方向又は双方向チューニングを実装する。ここで、例示的なページ４００１は、それぞれが異なる行にある２つのワードを含む。ワードは、複数のメモリセル、例えば、８～６４個を含む。特別なワードは、１つのセルのみ又は数個のセルを含み得る。隣接する行の対は、ＳＬ０又はＳＬ１などのソース線を共有する。ページ４００１内の全てのセルは、例示的なページセット４００１内の全てのセルの消去ゲート端子ＥＧＷへの電圧の提供を制御する、消去ゲートイネーブルトランジスタ４００２によって制御される共通の消去ゲート線を共有する。ここで、ページ４００１内の全てのセルは、同時に消去され得る。その後、ページ４００１内のセルは、プログラム（セル単位では、ワード内の各セルが一度にチューニングされ得ることを意味し、ワード単位では、ワード内の全てのセルが同時にチューニングされ得ることを意味する）及び消去（ワード単位では、ワード内の全てのセルが同時にチューニングされ得ることを意味する）動作を通して一方向又は双方向にチューニングされ得、ページ４００１内のいくつかのセルは、プログラム動作を通して一方向にチューニングされ得る。プログラム動作は、図２４～図２６を参照して以下に記載される精密プログラミング技術を含み得る。浮遊ゲートに電子電荷がかかりすぎる（誤った電流値、すなわち、意図された電流値より低い電流値がセルに記憶される原因となる）場合、セルは消去される必要があり、部分的なプログラミング動作のシーケンスをやり直す必要がある。
【0126】
図４１は、ＶＭＭアレイ４１００を示す。ＶＭＭアレイ４１００は、不揮発性メモリセルのワードの一方向又は双方向チューニングを実装する。ここで、例示的なワード４１０１は、１行に複数のセルを含む。ワード４１０１内の全てのセルは、ワード４１０１内の全てのセルの消去ゲート端子への電圧の提供を制御する、消去ゲートイネーブルトランジスタ４１０２によって制御される共通の消去ゲート線を共有する。ここで、ワード４１０１内の全てのセルは、同時に消去され得る。その後、ワード４１０１内のセルは、プログラム（セル単位では、ワード内の各セルが一度にチューニングされ得ることを意味し、ワード単位では、ワード内の全てのセルが同時にチューニングされ得ることを意味する）及び消去（ワード単位では、ワード内の全てのセルが同時にチューニングされ得ることを意味する）動作を通して一方向又は双方向にチューニングされ得る。プログラム動作は、以下に記載される精密プログラミング技術を含み得る。浮遊ゲートに電子電荷がかかりすぎる（その結果、誤った電流値、すなわち、意図された電流値より低い電流値がセルに記憶される）場合、セルは消去される必要があり、部分的なプログラミング動作のシーケンスをやり直す必要がある。
【0127】
図４２は、ＶＭＭアレイ４２００を示す。ＶＭＭアレイ４２００は、不揮発性メモリセルのワードの一方向又は双方向チューニングを実装する。ここで、例示的なワード４２０１は、セルの２つの半ワードを含む。それぞれの半ワードは、消去ゲートを共有する行に属する。ワード４２０１内の全てのセルは、消去ゲート端子ＥＧＷに接続された共通の消去ゲート線を共有する。ＶＭＭアレイ１８００及び１７００とは異なり、消去ゲートイネーブルトランジスタは存在しない。ここで、ワード４２０１内の全てのセルは、同時に消去され得る。その後、ワード４２０１内のセルは、プログラム（セル単位では、ワード内の各セルが一度にチューニングされ得ることを意味し、ワード単位では、ワード内の全てのセルが同時にチューニングされ得ることを意味する）及び消去（ワード単位では、ワード内の全てのセルが同時にチューニングされ得ることを意味する）動作を通して一方向又は双方向にチューニングされ得る。プログラム動作は、以下に記載される精密プログラミング技術を含み得る。浮遊ゲートに電子電荷がかかりすぎる（その結果、誤った電流値、すなわち、意図された電流値より低い電流値がセルに記憶される）場合、セルは消去される必要があり、部分的なプログラミング動作のシーケンスをやり直す必要がある。
長・短期メモリ
長・短期メモリ
【0128】
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調節する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
【0129】
図１４は、例示的なＬＳＴＭ１４００を示す。この例におけるＬＳＴＭ１４００は、セル１４０１、１４０２、１４０３及び１４０４を含む。セル１４０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１４０２は、入力ベクトルｘ1と、セル１４０１からの出力ベクトル（隠れ状態）ｈ0と、セル１４０１からのセル状態ｃ0と、を受け取り、出力ベクトルｈ1と、セル状態ベクトルｃ1と、を生成する。セル１４０３は、入力ベクトルｘ2と、セル１４０２からの出力ベクトル（隠れ状態）ｈ1と、セル１４０２からのセル状態ｃ1と、を受け取り、出力ベクトルｈ2と、セル状態ベクトルｃ2と、を生成する。セル１４０４は、入力ベクトルｘ3と、セル１４０３からの出力ベクトル（隠れ状態）ｈ2と、セル１４０３からのセル状態ｃ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
【0130】
図１５は、図１４のセル１４０１、１４０２、１４０３、及び１４０４に使用可能なＬＳＴＭセル１５００の例示的な実装を示す。ＬＳＴＭセル１５００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
【0131】
ＬＳＴＭセル１５００は、シグモイド関数デバイス１５０１、１５０２、及び１５０３を含み、各々が０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１５００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１５０４及び１５０５と、２つのベクトルを乗算するための乗算器デバイス１５０６、１５０７、及び１５０８と、２つのベクトルを加算するための加算デバイス１５０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができるか、又は他の目的でアクセスすることができる。
【0132】
図１６は、ＬＳＴＭセル１５００の一実装の一例であるＬＳＴＭセル１６００を示す。読者の便宜のために、ＬＳＴＭセル１５００からの同じ採番方法が、ＬＳＴＭセル１６００で使用される。シグモイド関数デバイス１５０１、１５０２、及び１５０３、並びにｔａｎｈデバイス１５０４は各々、複数のＶＭＭアレイ１６０１及び活性化回路ブロック１６０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが分かる。
【0133】
ＬＳＴＭセル１６００の代替例（及びＬＳＴＭセル１５００の一実装の別の例）を図１７に示す。図１７では、シグモイド関数デバイス１５０１、１５０２及び１５０３、並びにｔａｎｈデバイス１５０４は、同じ物理ハードウェア（ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１７００はまた、２つのベクトルを乗算するための乗算器デバイス１７０３と、２つのベクトルを加算するための加算デバイス１７０８と、（活性化回路ブロック１７０２を含む）ｔａｎｈデバイス１５０５と、値ｉ（ｔ）を、ｉ（ｔ）がシグモイド関数ブロック１７０２から出力されるときに記憶するためのレジスタ１７０７と、値ｆ（ｔ）*ｃ（ｔ－１）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０４と、値ｉ（ｔ）*ｕ（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０５と、値ｏ（ｔ）*ｃ～（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０６と、マルチプレクサ１７０９と、を含む。
【0134】
ＬＳＴＭセル１６００がＶＭＭアレイ１６０１とそれぞれの活性化関数ブロック１６０２との複数のセットを含むのに対し、ＬＳＴＭセル１７００は、ＬＳＴＭセル１７００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２の１つのセットのみを含む。ＬＳＴＭセル１７００は、ＬＳＴＭセル１６００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭセル１７００は、ＬＳＴＭ１６００より必要とするスペースが少ない。
【0135】
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、合計器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、ＶＭＭアレイ自体の外側に必要とされる回路の最小化を試みる。
ゲート付き回帰型ユニット
ゲート付き回帰型ユニット
【0136】
アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルより少ない数の成分を含むことを除いて、ＬＳＴＭに類似している。
【0137】
図１８は、例示的なＧＲＵ１８００を示す。この例におけるＧＲＵ１８００は、セル１８０１、１８０２、１８０３及び１８０４を含む。セル１８０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル１８０２は、入力ベクトルｘ1と、セル１８０１からの出力ベクトルｈ0と、を受け取り、出力ベクトルｈ1を生成する。セル１８０３は、入力ベクトルｘ2と、セル１８０２からの出力ベクトル（隠れ状態）ｈ1と、を受け取り、出力ベクトルｈ2を生成する。セル１８０４は、入力ベクトルｘ3と、セル１８０３からの出力ベクトル（隠れ状態）ｈ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
【0138】
図１９は、図１８のセル１８０１、１８０２、１８０３、及び１８０４に使用することができるＧＲＵセル１９００の例示的な実装を示す。ＧＲＵセル１９００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル１９００は、シグモイド関数デバイス１９０１及び１９０２を含み、それらの各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル１９００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１９０３と、２つのベクトルを乗算するための複数の乗算器デバイス１９０４、１９０５、及び１９０６と、２つのベクトルを加算するための加算デバイス１９０７と、１から入力を減算して出力を生成するための相補デバイス１９０８と、を含む。
【0139】
図２０は、ＧＲＵセル１９００の一実装の一例であるＧＲＵセル２０００を示す。読者の便宜のために、ＧＲＵセル１９００からの同じ採番方法が、ＧＲＵセル２０００で使用される。図２０から分かるように、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は各々、複数のＶＭＭアレイ２００１及び活性化関数ブロック２００２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが分かる。
【0140】
ＧＲＵセル２０００の代替例（及びＧＲＵセル１９００の一実装の別の例）を図２１に示す。図２１において、ＧＲＵセル２１００は、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２を利用しており、シグモイド関数として構成された場合には、０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図２１では、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は、同じ物理ハードウェア（ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２）を、時分割多重化された方式で共有する。ＧＲＵセル２１００はまた、２つのベクトルを乗算するための乗算器デバイス２１０３と、２つのベクトルを加算するための加算デバイス２１０５と、１から入力を減算して、出力を生成するための相補デバイス２１０９と、マルチプレクサ２１０４と、値ｈ（ｔ－１）*ｒ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０６と、値ｈ（ｔ－１）*ｚ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０７と、値ｈ＾（ｔ）*（１－ｚ（（ｔ））を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０８と、を備える。
【0141】
ＧＲＵセル２０００がＶＭＭアレイ２００１及び活性化関数ブロック２００２の複数のセットを含むのに対し、ＧＲＵセル２１００は、ＧＲＵセル２１００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２の１つのセットのみを含む。ＧＲＵセル２１００は、ＧＲＵセル２０００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２１００は、ＧＲＵセル２０００より必要とするスペースが少ない。
【0142】
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらは各々、合計器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、ＶＭＭアレイ自体の外側に必要とされる回路の最小化を試みる。
【0143】
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、パルス、時間変調パルス、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力は、アナログレベル、バイナリレベル、タイミングパルス、パルス、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
【0144】
ＶＭＭアレイ内のそれぞれのメモリセルに関して、それぞれの重みＷは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差分セルの場合では、重みＷを差分重み（Ｗ＝Ｗ＋－Ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みＷを実装するために２つのメモリセルが必要とされる。
ＶＭＭシステムの概要
ＶＭＭシステムの概要
【0145】
図４３は、ＶＭＭシステム４３００のブロック図を示す。ＶＭＭシステム４３００は、ＶＭＭアレイ４３０１、行デコーダ４３０２、高電圧デコーダ４３０３、列デコーダ４３０４、ビット線ドライバ４３０５、入力回路４３０６、出力回路４３０７、制御論理４３０８、及びバイアス生成器４３０９を備える。ＶＭＭシステム４３００は、チャージポンプ４３１１、チャージポンプレギュレータ４３１２、及び高電圧レベル生成器４３１３を含む、高電圧生成ブロック４３１０を更に備える。ＶＭＭシステム４３００は、（プログラム／消去、又は別名重みチューニング）アルゴリズムコントローラ４３１４、アナログ回路４３１５、制御エンジン４３１６（算術機能、起動機能、埋め込みマイクロコントローラ論理などの特殊機能を含み得る）、及びテスト制御論理４３１７を更に備える。以下に記載されるシステム及び方法は、ＶＭＭシステム４３００に実装され得る。
【0146】
入力回路４３０６は、ＤＡＣ（デジタル－アナログ変換器）、ＤＰＣ（デジタル－パルス変換器、デジタル－時間変調パルス変換器）、ＡＡＣ（電流－電圧変換器などのアナログ－アナログ変換器、対数変換器）、ＰＡＣ（パルス－アナログレベル変換器）、又は任意の他の種類の変換器などの回路を含み得る。入力回路４３０６は、正規化、線形若しくは非線形アップ／ダウンスケーリング関数、又は算術関数を実装し得る。入力回路４３０６は、入力レベルのための温度補償関数を実装し得る。入力回路４３０６は、ＲｅＬＵ又はシグモイドなどの活性化関数を実装し得る。出力回路４３０７は、ＡＤＣ（ニューロンアナログ出力をデジタルビットに変換するための、アナログ－デジタル変換器）、ＡＡＣ（電流－電圧変換器などのアナログ－アナログ変換器、対数変換器）、ＡＰＣ（アナログ－パルス変換器、アナログ－時間変調パルス変換器）、又は任意の他の種類の変換器などの回路を含み得る。出力回路４３０７は、ＲｅＬＵ又はシグモイドなどの活性化関数を実装し得る。出力回路４３０７は、ニューロン出力の統計的正規化、正則化、アップ／ダウンスケーリング／ゲイン関数、統計的丸め、又は算術関数（例えば、加算、減算、除算、乗算、シフト、ログ）を実装し得る。出力回路４３０７は、アレイの電力消費をほぼ一定に保つために、又はＩＶの傾斜をほぼ同じに保つことになどによってアレイ（ニューロン）出力の精度を高めるために、ニューロン出力又はアレイ出力（ビット線出力など）のための温度補償関数を実装し得る。
ＶＭＭ内のセルの精密プログラミングのための実施形態
ＶＭＭ内のセルの精密プログラミングのための実施形態
【0147】
図２２Ａは、プログラミング方法２２００を示す。最初に、方法は、典型的には受け取られるプログラムコマンドに応じて、開始する（ステップ２２０１）。次に、一斉プログラム動作が、全てのセルを「０」状態にプログラムする（ステップ２２０２）。次いで、各セルが読み出し動作中に約３～５μＡの電流を引き込むように、ソフト消去動作が、全てのセルに対して中間レベルまで消去を行う（弱消去、すなわち、完全ではない消去によって達成される）（ステップ２２０３）。これは、読み出し動作中に各セルが約２０～３０μＡの電流を引き込む、深く消去されたレベルとは対照的である。次いで、全ての選択されていないセル又はゼロ重みセル（すなわち、重み＝ゼロ又は微々たる重み、すなわち、微々たるスレッショルド内の重みのセル）で非常に深いプログラムされた状態までセルの浮遊ゲートに電子を追加し、全ての正電荷を除去するハードプログラムが実行されて（ステップ２２０４）、それらのセルが本当に「オフ」であることを確実にし、これは、それらのセルが読み出し動作中に無視できる量の電流しか引き込まないことを意味する。
【0148】
次いで、粗プログラミング方法が、選択されたセルで実行され（ステップ２２０５）、続いて精密プログラミング方法が、選択されたセルで実行されて（ステップ２２０６）、各選択されたセルに所望される精密な値をプログラムする。ここで、選択されたセルは、プログラミング方法２２００の対象として識別され、適切なワード線及びビット線をアサートすることによって、又は何らかの他の機構によって選択されるセルである。
【0149】
図２２Ｂは、プログラミング方法２２００と同様の別のプログラミング方法２２１０を示す。しかしながら、方法が開始した後（ステップ２２０１）、図２２Ａのステップ２２０２でのように全てのセルを「０」状態にプログラムするプログラム動作の代わりに、消去動作が使用されて、全てのセルに対して消去を行って「１」状態にする（ステップ２２１２）。次いで、各セルが読み出し動作中に約３～５ｕＡの電流を引き込むように、ソフトプログラム動作（ステップ２２１３）が使用されて、全てのセルを中間レベルにプログラムする（ソフトプログラミング、すなわち、完全ではないプログラミングによって達成される）。その後、図２２Ａに関連して上述したように、選択されていないセルのハードプログラミング（ステップ２２０４）並びに粗かつ精密なプログラミング方法が続く（ステップ２２０５～２２０６）。図２２Ｂの実施形態の変形形態は、ソフトプログラミング方法（ステップ２２１３）を完全に除去する。
【0150】
図２３は、検索及び実行方法２３００である、粗プログラミング方法２２０５の第１の実施形態を示す。最初に、ルックアップテーブル検索、又は所定の関数を実行して、選択されたセルの各々の粗標的電流値（ＩCT）を、その選択されたセルに記憶されることが意図される値に基づいて決定する（ステップ２３０１）。選択されたセルは、Ｎ（例えば、限定することなく、１２８、６４、３２）個の可能な値のうちの１つを記憶するようにプログラムすることができる。Ｎ個の値の各々は、選択されたセルによって読み出し動作中に引き込まれる異なる所望の電流値（ＩD）に対応する。一実施形態では、ルックアップテーブル又は関数（例えば、データへの曲線当てはめから導出された関数、又はメモリ挙動の物理学に基づく関数であり、この関数は、最終標的値及び既存の値などの変数に作用し、次の動作のための予想又は所望の標的を計算する）は、探索及び実行方法２３００中に選択されたセルのための粗標的電流値ＩCTとして使用するためのＭ個の可能な電流値を含み、ここで、ＭはＮ未満の整数である。例えば、Ｎが８である場合、Ｍは４である可能性があり、これは、選択されたセルが記憶することができる８つの可能な値が存在することを意味し、４つの粗標的電流値ＩCTのうちの１つが、探索及び実行方法２３００のための粗標的電流値ＩCTとして選択される。すなわち、検索及び実行方法２３００は、選択されたセルを、所望の電流値ＩDに幾分近い粗標的電流値（ＩCT）に迅速にプログラムするように配置され、次いで、精密プログラミング方法２２０６は、所望の電流値ＩDに極めて近くなるように、選択されたセルをより精密にプログラムする。
【0151】
セル値、所望の電流値、及び粗標的電流値の例を、Ｎ＝８及びＭ＝４の単純な例について表９及び１０に示す。
表９：Ｎ＝８の場合のＮ個の所望の電流値の例
表１０：Ｍ＝４の場合のＭ個の標的電流値の例
オフセット値ＩCTOFFSETxは、粗プログラミング中に所望の電流値をオーバーシュートしてしまうのを防止するために使用される。
表９：Ｎ＝８の場合のＮ個の所望の電流値の例
【表9】
【表10】
【0152】
粗標的電流値ＩCTが選択されると、選択されたセルは、選択されたセルのセルアーキテクチャタイプ（例えば、メモリセル２１０、３１０、４１０、又は５１０）に基づいた、選択されたセルの適切な端子に電圧ｖ0を印加することによってプログラムされる（ステップ２３０２）。選択されたセルが図３のメモリセル３１０のタイプである場合、電圧ｖ0は制御ゲート端子２８に印加され、ｖ0は粗標的電流値ＩCTに応じて５～７Ｖであり得る。ｖ0の値は、任意選択的に、粗標的電流値ＩCTと対応させてｖ0を記憶する電圧ルックアップテーブルから決定することができる。
【0153】
次に、選択されたセルは、電圧ｖi＝ｖi-1＋ｖincrementを印加することによってプログラムされ、式中、ｉは１で開始し、このステップが繰り返されるたびに増分し（ステップ２３０３）、ｖincrementは、所望される変化の粒度に見合う程度のプログラミングを引き起こす小さい電圧である。したがって、第１の時間ステップ２３０３はｉ＝１で実行され、ｖ1は、ｖ0＋ｖincrementである。次いで、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉcell）が測定される、検証動作が実行される（ステップ２３０４）。ＩcellがＩCT（第１のスレッショルド値）以下である場合、検索及び実行方法２３００は完了し、精密プログラミング方法２２０６が開始し得る。ＩcellがＩCT以下でない場合、ステップ２３０３が繰り返され、ｉは増分される。
【0154】
したがって、粗プログラミング方法２２０５が終了し、精密プログラミング方法２２０６が開始する時点で、電圧ｖiは、選択されたセルをプログラムするために使用される最後の電圧であり、選択されたセルは、粗標的電流値ＩCTに関連付けられた値を記憶する。精密プログラミング方法２２０６は、選択されたセルを、読み出し動作中に選択されたセルが所望の電流値ＩD（５０ｐＡ以下などの許容可能な量の偏差を加減する）を引き込む点にプログラムし、この電流は、選択されたセルに記憶されることが意図される値に関連付けられている所望の電流値ＩDである。
【0155】
図２４は、精密プログラム方法２２０６中に、選択されたメモリセルの制御ゲートに印加することができる異なる電圧進行の例を示す。
【0156】
第１の実施形態では、選択されたメモリセルを更にプログラムするために、増加する電圧が制御ゲートに漸次印加される。開始点はｖiであり、これは粗プログラミング方法２２０５中に印加された最後の電圧である。増分ｖp1がｖ1に加えられ、次いで、電圧ｖ1＋ｖp1が使用されて、選択されたセルをプログラムする（進行２４０１において左から第２のパルスによって示される）。ｖp1は、ｖincrement（粗プログラミング方法２２０５の間に使用される電圧増分）より小さい増分である。各プログラミング電圧が印加された後、ＩｃｅｌｌがＩPT1（第１の精密標的電流値であり、ここでは第２のスレッショルド値である）以下であるかどうかの決定が行われる、検証ステップ（ステップ２３０４と同様）が実行され、ＩPT1＝ＩD＋ＩPT1OFFSETであり、ＩPT1OFFSETは、プログラムオーバーシュートを防止するために加算されるオフセット値である。ＩPT1以下でない場合、別の増分ｖp1が、前に印加されたプログラミング電圧に加えられ、プロセスが繰り返される。ＩcellがＩPT1以下である時点で、プログラミングシーケンスのこの部分は停止する。任意選択的に、ＩPT1がＩDに等しいか、又は十分な精度で（許容可能な偏差量を意味する）ＩDにほぼ等しい場合、選択されたメモリセルは正常にプログラムされている。
【0157】
ＩPT1がＩDに等しくないか、又は十分な精度でＩDにほぼ等しくはない場合、より小さい粒度の更なるプログラミングが行われる。ここで、進行２４０２が使用される。進行２４０２の開始点は、進行２４０１下のプログラミングに使用された最後の電圧である。増分Ｖp2（ｖp1より小さい）がそのプログラミング電圧に加えられ、組み合わされた電圧が印加されて、選択されたメモリセルをプログラムする。各プログラミング電圧が印加された後、ＩcellがＩPT2（第２の精密標的電流値であり、ここでは第３のスレッショルド値である）以下であるかどうかの決定が行われる、検証ステップ（ステップ２３０４と同様）が実行され、ここで、ＩPT2＝ＩＤ＋ＩPT2OFFSETであり、ここで、ＩPT2OFFSETは、プログラムオーバーシュートを防止するために加算されるオフセット値である。ＩcellがＩPT2以下ではない場合、別の増分Ｖp2が、前に印加されたプログラミング電圧に加えられ、プロセスが繰り返される。ＩcellがＩPT2以下である時点で、プログラミングシーケンスのこの部分は停止する。ここで、標的値が十分な精度で達成されているので、ＩPT2はＩDに等しいか、又はプログラミングが停止できるほどＩDに十分に近接していると想定される。当業者であれば、ＩPT2がＩDに等しくないか、又はプログラミングを停止することができるほどＩDに近くない場合、ますます小さいプログラミング増分を使用して追加の進行を適用することができることを理解することができる。例えば、図２５では、２つだけではなく、３つの進行（２５０１、２５０２、及び２５０３）が適用される。
【0158】
第２の実施形態が、進行２４０３に示される。ここで、選択されたメモリセルのプログラミング中に印加されるプログラミング電圧を増加させる代わりに、増加する期間の持続時間に対して同じプログラミング電圧が印加される。進行２４０１におけるｖp1及び進行２４０３におけるｖp2などの増分電圧を加算する代わりに、各印加パルスが、前に印加されたパルスよりｔp1だけ長くなるように、追加の時間増分ｔp1がプログラミングパルスに加算される。図示の例では、第１のパルスは持続時間ｔｐ０を有し、第２のパルスは持続時間ｔp0＋ｔp1を有する。各プログラミングパルスが印加された後、進行２４０１について前述したのと同じ検証ステップが実行される。任意選択的に、プログラミングパルスに加えられる追加の時間増分が前の使用された進行より短い持続時間である、追加の進行を、印加することができる。１つの時間的な進行のみが示されているが、当業者は、任意の数の異なる時間的進行が印加され得ることを理解するであろう。
【0159】
ここで、粗プログラミング方法２２０５の２つの更なる実施形態について、更なる詳細が提供される。
【0160】
図２６Ａは、適応較正方法２６００である、（図２２Ａ及び図２２Ｂに示される）粗プログラミング方法２２０５の第２の実施形態を示す。方法が開始する（ステップ２６０１）。選択されたセルは、デフォルトの出発プログラミング電圧値ｖ0でプログラムされる（ステップ２６０２）。検索及び実行方法２３００とは異なり、ここで、プログラミング電圧値ｖ0は、ルックアップテーブルから、又は関数から得られず、代わりに比較的小さい初期値である。セルの制御ゲート電圧（Ｖｃｇ）は、第１の電流値ＩＲ１（例えば、１００ｎａ）及び第２の電流値ＩＲ２（例えば、１０ｎａ）で測定され、傾斜は、それらの測定値に基づいて決定され（例えば、３６０ｍＶ／電流のデケイド）、記憶される（ステップ２６０３）。
【0161】
新しいプログラミング電圧ｖiが決定される。このステップが最初に実行されるとき、ｉ＝１であり、ｖ1は、以下のようなサブスレッショルド式を使用して、記憶された傾斜値並びに粗標的電流値ＩCTなどの電流標的値及びオフセット値に基づいて決定される。
ｖi＝ｖi-1＋ｖincrement、
ｖincrementは、ｌｏｇ［Ｉｄｓ／ｗａ*Ｉｏ］に対するＶｃｇの傾斜に比例し
Ｖｃｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗａ*Ｉｏ］
ここで、Ｖｃｇは制御ゲート電圧であり、ｗａはメモリセルのｗであり、Ｉｄｓは電流標的プラスオフセット値である。
ｖi＝ｖi-1＋ｖincrement、
ｖincrementは、ｌｏｇ［Ｉｄｓ／ｗａ*Ｉｏ］に対するＶｃｇの傾斜に比例し
Ｖｃｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗａ*Ｉｏ］
ここで、Ｖｃｇは制御ゲート電圧であり、ｗａはメモリセルのｗであり、Ｉｄｓは電流標的プラスオフセット値である。
【0162】
記憶された傾斜値が比較的急勾配である場合、比較的小さい電流オフセット値を使用することができる。記憶された傾斜値が比較的平坦である場合、比較的高い電流オフセット値を使用することができる。したがって、傾斜情報を決定することは、問題の特定のセルにカスタマイズされている電流オフセット値が選択されることを可能にする。これは、最終的に、プログラミングプロセスをより短くする。このステップが繰り返されると、ｉはインクリメントされ、ｖi＝ｖi-1＋ｖincrementである。次いで、セルは、ｖiを使用してプログラムされる。ｖincrementは、ｖincrement対粗標的電流値ＩCTなどの電流標的値の値を記憶するルックアップテーブルから決定することができる。
【0163】
次に、検証動作が行われ、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉcell）が粗標的電流値ＩCTと比較される（ステップ２６０５）。Ｉcellが粗標的電流値ＩCT以下であり、ＩCTがＩD＋ＩCTOFFSETに設定され、ＩCTOFFSETは、プログラムオーバーシュートを防止するために追加されるオフセット値である場合、適応較正方法２６００は完了し、精密プログラミング方法２２０６が開始され得る。ＩcellがＩCT以下でない場合、ステップ２６０４～２６０５が繰り返され、ｉは増分される。
【0164】
図２６Ｂは、適応較正方法２６５０である、粗プログラミング方法２２０５の第２の実施形態を示す。方法が開始する（ステップ２６５１）。セルは、デフォルトの出発値ｖ0でプログラムされる（ステップ２６５２）。ｖ0は、シリコン特性評価から作成されるルックアップテーブルから得られ、テーブル値は、プログラムされた標的をオーバーシュートしないようにオフセット値ＩCTOFFSETを更に提供する。
【0165】
ステップ２６５３では、次のプログラミング電圧を決定する際に使用されるＩ－Ｖ傾斜パラメータが作成される。第１の制御ゲート読み出し電圧ＶCGR1が選択されたセルに印加され、結果として生じるセル電流ＩＲ1が測定される。次いで、第２の制御ゲート読み出し電圧ＶCGR2が選択されたセルに印加され、結果として生じるセル電流ＩＲ2が測定される。傾斜は、それらの測定値に基づいて決定され、例えば、サブスレッショルド領域（サブスレッショルドで動作するセル）における次の等式に従って記憶される：
傾斜＝（ＶCGR1－ＶCGR2）／（ＬＯＧ（ＩＲ1）－ＬＯＧ（ＩＲ2））
（ステップ２６５３）。ＶCGR1及びＶCGR2の値の例は、それぞれ１．５Ｖ及び１．３Ｖである。
傾斜＝（ＶCGR1－ＶCGR2）／（ＬＯＧ（ＩＲ1）－ＬＯＧ（ＩＲ2））
（ステップ２６５３）。ＶCGR1及びＶCGR2の値の例は、それぞれ１．５Ｖ及び１．３Ｖである。
【0166】
傾斜値を決定することは、選択されたセルの各々にカスタマイズされているｖincrement値が選択されることを可能にする。これは、プログラミングプロセスをより短くする。
【0167】
ステップ２６５４が実行されると、ｉが増分され、新しいプログラミング電圧ｖiは、記憶された傾斜値並びに粗標的電流値ＩCT及びオフセット値に基づき、次のような等式を使用して決定される。
ｖi＝ｖi-1＋ｖincrement、
式中、ｖincrement＝アルファ*傾斜*（ＬＯＧ（ＩＲ1）－ＬＯＧ（ＩCT））であり、
式中、アルファは、オーバーシュートを防止するためには、１（プログラミングオフセット値）未満の所定の定数、例えば０．９である。
ｖi＝ｖi-1＋ｖincrement、
式中、ｖincrement＝アルファ*傾斜*（ＬＯＧ（ＩＲ1）－ＬＯＧ（ＩCT））であり、
式中、アルファは、オーバーシュートを防止するためには、１（プログラミングオフセット値）未満の所定の定数、例えば０．９である。
【0168】
次いで、セルは、プログラミング電圧ｖiを使用してプログラムされる（ステップ２６５５）。ここでは、ｖiは、使用されるプログラミングスキームに応じて、選択されたセルのソース線端子、制御ゲート端子、又は消去ゲート端子に印加され得る。
【0169】
次に、検証動作が行われ、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉcell）が粗標的電流値ＩCTと比較される（ステップ２６５６）。Ｉcellが粗標的電流値ＩCT以下であり、粗標的スレッショルドＩCTがＩD＋ＩCTOFFSETに設定され、ＩCTOFFSETは、プログラムオーバーシュートを防止するために加えられるオフセット値である場合、プロセスはステップ２６５７に進む。そうでない場合、プロセスはステップ２６５４に戻り、ｉは増分される。
【0170】
ステップ２６５７において、Ｉcellは、オーバーシュートが発生したかを決定するために、粗標的電流値ＩCTより小さいスレッショルド値、ＩCT2と比較される。すなわち、ステップ２６５４～２６５６は、Ｉcellが粗標的電流値ＩCTを下回ることを確実にするが、Ｉcellが粗標的電流値ＩCTをはるかに下回る可能性があり、すなわち、オーバーシュートが発生し、Ｉcellが誤った値に対応する記憶された値を表す可能性がある。ＩcellがＩCT2以下でない場合、オーバーシュートは発生しておらず、適応較正方法２６５０は完了しており、その時点で、プロセスは、開始値ｖi及びセルが粗標的スレッショルド値ＩCTに、又はその近くにプログラムされた状態で、精密プログラミング方法２２０６に進行する。ＩcellがＩCT2以下である場合、オーバーシュートが発生しており、選択されたセルが消去され（ステップ２６５８）、プログラミングプロセスがステップ２６５２で再開され、今度は、オーバーシュートを再び回避するために、より小さいＶincrementで再開される。任意選択的に、ステップ２６５８が所定の回数より多く実行される場合、選択されたセルは、使用されるべきではない不良セルと見なされ得る。
【0171】
精密プログラム方法２２０６は、複数の検証及びプログラムサイクルからなり、図２４～図２５に関連して上述されるように、プログラム電圧が固定パルス幅を有する一定の微細電圧によって増分されるか、又はプログラム電圧は固定され、プログラムパルス幅は次のパルスのために変化するか若しくは一定である。
【0172】
任意選択的に、読み出し動作又は検証動作中に選択された不揮発性メモリセルを通る電流が粗標的電流スレッショルド値ＩCT以下であるかどうかを決定するステップ（２６５６）は、不揮発性メモリセルの端子に固定バイアスを印加し、選択された不揮発性メモリセルによって引き込まれた電流を測定及びデジタル化してデジタル出力ビットを生成し、デジタル出力ビットを、第１のスレッショルド電流値ＩCTを表すデジタルビットと比較することによって実行され得る。
【0173】
任意選択的に、読み出し動作又は検証動作中に選択された不揮発性メモリセルを通る電流が粗標的電流値ＩCT以下であるかどうかを決定するステップは、不揮発性メモリセルの端子に入力を印加し、不揮発性メモリセルによって引き込まれた電流を入力パルスで変調して変調出力を生成し、変調出力をデジタル化してデジタル出力ビットを生成し、デジタル出力ビットを、第１のスレッショルド電流ＩCTを表すデジタルビットと比較することによって実行され得る。
図２７は、適応較正方法２６００の一部を実行するための例示的な回路実装を示す。ステップ２６０３中、例示的な電流値ＩＲ１及びＩＲ２を選択されたセル（ここではメモリセル２７０２）に印加するために電流源２７０１が使用され、次いで、メモリセル２７０２の制御ゲートにおける電圧（ＩＲ１に対するＣＧＲ１及びＩＲ２に対するＣＧＲ２）が測定される。上記に示すように、傾斜値は、（ＶCGR1－ＶCGR2）／（ＬＯＧ（ＩＲ1）－ＬＯＧ（ＩＲ2））である。
図２７は、適応較正方法２６００の一部を実行するための例示的な回路実装を示す。ステップ２６０３中、例示的な電流値ＩＲ１及びＩＲ２を選択されたセル（ここではメモリセル２７０２）に印加するために電流源２７０１が使用され、次いで、メモリセル２７０２の制御ゲートにおける電圧（ＩＲ１に対するＣＧＲ１及びＩＲ２に対するＣＧＲ２）が測定される。上記に示すように、傾斜値は、（ＶCGR1－ＶCGR2）／（ＬＯＧ（ＩＲ1）－ＬＯＧ（ＩＲ2））である。
【0174】
図２８は、絶対較正方法２８００である、粗プログラミング方法２２０５の別の実施形態を示す。方法が開始する（ステップ２８０１）。セルは、デフォルトの出発値ｖ0でプログラムされる（ステップ２８０２）。セルの制御ゲート電圧ＶCGRxは、電流値Ｉｔａｒｇｅｔ（すなわち、セル電流の最終的な所望の値）で測定され、記憶される（ステップ２８０３）。プログラミング電圧ｖ1は、記憶された制御ゲート電圧並びに電流値Ｉｔａｒｇｅｔプラスオフセット値、Ｉｏｆｆｓｅｔ＋Ｉｔａｒｇｅｔに基づいて決定される（ステップ２８０４）。例えば、新しいプログラミング電圧ｖ1は、以下のように計算することができる：ｖ1＝ｖ0＋（ＶCGBIAS－記憶されたＶCGR）、式中、ＶCGBIASは、最大標的電流でのデフォルトの読み出し制御ゲート電圧であり（これは、一実施形態では、約１．５Ｖであり）、記憶されたＶCGRは、ステップ２８０３の測定された読み出し制御ゲート電圧である。
【0175】
次いで、セルは、プログラミング電圧ｖiを使用してプログラムされる。ｉ＝１のとき、ステップ２８０４からの電圧ｖ1が使用される。ｉ≧２のとき、電圧ｖi＝ｖi-1＋Ｖincrementが使用される。ｖincrementは、電流値Ｉｔａｒｇｅｔと対応させてｖincrementの値を記憶するルックアップテーブルから決定することができる。次に、検証動作が行われ、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉcell）が粗標的電流値ＩCTと比較される（ステップ２８０６）。Ｉcellが粗標的電流値ＩCT以下である場合、絶対較正方法２８００は完了し、精密プログラミング方法２２０６が開始され得る。Ｉcellが粗標的電流値ＩCT以下でない場合、ステップ２８０５～２８０６が繰り返され、ｉは増分される。
【0176】
図２９は、絶対較正方法２８００のステップ２８０３を実装するための回路２９００を示す。電圧源（図示せず）はＶCGRを生成し、これは、初期電圧で開始し、上昇する。ここで、ｎ＋１個の異なる電流源２９０１（２９０１－０、２９０１－１、２９０１－２、．．．、２９０１－ｎ）は、大きさが増加していく異なる電流ＩＯ０、ＩＯ１、ＩＯ２、．．．ＩＯｎを生成する。各電流源２９０１は、それぞれのインバータ２９０２（２９０２－０、２９０２－１、２９０２－２、．．．、２９０２－ｎ）及びメモリセル２９０３（２９０３－０、２９０３－１、２９０３－２、．．．２９０３－ｎ）に接続されている。ＶCGRが上昇するにつれて、各メモリセル２９０３は、増加する量の電流を引き込み、各インバータ２９０２への入力電圧は減少する。ＩＯ０＜ＩＯ１＜ＩＯ２＜．．．＜ＩＯｎであるため、ＶCGRが増加するにつれて、最初にインバータ２９０２－０の出力が低から高に切り替わる。次にインバータ２９０２－１の出力が低から高に切り替わり、次いでインバータ２９０２－２の出力が同様に切り替わり、以下インバータ２９０２－ｎの出力が低から高に切り替わるまで同様である。各インバータ２９０２は、それぞれのスイッチ２９０４（２９０４－０、２９０４－１、２９０４－２、．．、２９０４－ｎ）を制御し、インバータ２９０２の出力が低であるとき、スイッチ２９０４が閉じられ、インバータ２９０２の出力が高であるとき、スイッチ２９０４が開かれるようにする。インバータ２９０２が低から高に切り替わるとき、スイッチ２９０４が低であるときにサンプリングされたＶCGRは、それぞれのコンデンサ２９０５（２９０５－０、２９０５－１、２９０５－２、．．．、２９０５－ｎ）によって保持される。したがって、スイッチ２９０４及びコンデンサ２９０５の各々は、サンプルアンドホールド回路を形成する。ＩＯ０、ＩＯ１、ＩＯ２、．．．、ＩＯｎの値は、Ｉｔａｒｇｅｔの可能な値として使用され、それぞれのサンプリングされた電圧は、図２８の絶対較正方法２８００において関連する値ＶCGRxとして使用される。グラフ２９０６は、経時的に上昇するＶＣＧＲ、並びに様々な時間において低から高に切り替わるインバータ２９０２－０、２９０２－１、及び２９０２－ｎの出力を示す。
【0177】
図３０は、適応較正方法２６００又は絶対較正方法２８００中に、選択されたセルをプログラミングするための例示的な進行３０００を示す。一実施形態では、電圧ｖcgpは、選択された行のメモリセルの制御ゲートに印加される。選択された行内の選択されたメモリセルの数は、例えば、３２個のセルである。したがって、選択された行内の最大３２個のメモリセルが、並行してプログラムされ得る。各メモリセルは、ビット線イネーブル信号によって、プログラミング電流Ｉｐｒｏｇに結合することが可能になる。ビット線イネーブル信号が非アクティブである場合（選択されたビット線に正電圧が印加されていることを意味する）、メモリセルはインヒビット状態である（プログラムされない）。図３０に示されるように、ビット線有効化信号Ｅｎ＿ｂｌｘ（ｘは１～ｎで変化し、ｎはビット線の数である）は、異なる時間に、そのビット線に所望されるｖcgp電圧レベルで（したがって、上記ビット線の選択されたメモリに対して）有効化される。別の実施形態では、選択されたセルの制御ゲートに印加される電圧は、ビット線でのイネーブル信号を使用して制御することができる。各ビット線イネーブル信号により、そのビット線に対応する所望の電圧（図２８に記載のｖiなど）がｖcgpとして印加される。ビット線イネーブル信号はまた、ビット線に流れ込むプログラミング電流を制御することもできる。この例では、後続の制御ゲート電圧ｖcgpはそれぞれ、その前の電圧より高い。代替的に、後続の制御ゲート電圧はそれぞれ、その前の電圧より低くても、高くてもよい。ｖcgpの後続の増分はそれぞれ、その前の増分と等しいか又は等しくないかのいずれでもよい。
【0178】
図３１は、適応較正方法２６００又は絶対較正方法２８００中に、選択されたセルをプログラミングするための例示的な進行３１００を示す。一実施形態では、ビット線イネーブル信号（例えば、ＥＮ＿ｂｌｎ、ＥＮ＿ｂｌ１、ＥＮ＿ｂｌ５）は、選択されたビット線（すなわち、選択されたメモリセルに結合されたビット線）が対応するＶcgp電圧レベルでプログラムされることを可能にする。別の実施形態では、選択されたセルの増分上昇を行う制御ゲートに印加される電圧は、ビット線イネーブル信号を使用して制御することができる。各ビット線イネーブル信号により、そのビット線に対応する所望の電圧（図２８に記載のｖiなど）が制御ゲート電圧に印加される。この例では、後続の増分はそれぞれ、その前の増分と等しい。
【0179】
図３２は、ＶＭＭアレイで読み出す又は検証するための入力及び出力方法を実装するためのシステムを示す。入力関数回路３２０１は、デジタルビット値を受け取り、それらのデジタル値をアナログ信号に変換し、次いで、アナログ信号は、制御ゲートデコーダ３２０２、ワード線デコーダ３２０３、及びビット線（図示せず）によって選択されるアレイ３２０４内の選択されたセルの制御ゲートに電圧を印加するために使用される。以下に説明する実施形態では、選択されたメモリセルに入力が印加され、選択されたメモリセルは、受け取った入力と選択されたセル内に記憶された重みＷとの乗算演算を表す出力電流を生成する。出力ニューロン回路ブロック３２０５は、ＶＭＭアレイ３２０４内のセルの各列（ニューロン）の出力作用を実行する。出力回路ブロック３２０５は、積分型アナログ－デジタル変換器（analog-to-digital converter、ＡＤＣ）、逐次比較型（successive approximation、ＳＡＲ）ＡＤＣ、又はシグマデルタ型ＡＤＣを使用して実装することができる。
【0180】
一実施形態において、入力関数回路３２０１に提供されるデジタル値は、４ビット（ＤＩＮ３、ＤＩＮ２、ＤＩＮ１、及びＤＩＮ０）を含み、これは、入力が１６個の異なる値のうちの１つであり得ることを意味する。ビット値の１６個の異なる組み合わせのそれぞれは、選択されたセルの制御ゲートに印加される異なる数の入力パルスに対応し、そのセルは、入力値とそのセル内に記憶された重みＷとの乗算を表す出力電流を生成する。パルスの数が大きいほど、セルの出力値（電流）は大きくなる。入力ビット値ＤＩＮ［３：０］及び制御ゲートに印加される対応するパルス数の例を表１１に示す。
表１１：デジタルビット入力と生成パルス数
表１１：デジタルビット入力と生成パルス数
【表11】
【0181】
上記の例では、セル値を読み出すための４ビットのデジタル値に対して最大１６個のパルスが存在する。各パルスは、１単位のセル値（電流）に等しい。例えば、Ｉｃｅｌｌ単位＝１ｎＡの場合、ＤＩＮ［３～０］＝０００１では、Ｉｃｅｌｌ＝１*１ｎＡ＝１ｎＡであり、ＤＩＮ［３～０］＝１１１１では、Ｉｃｅｌｌ＝１５*１ｎＡ＝１５ｎＡである。
【0182】
別の実施形態では、デジタルビット入力は、表１２に示すように、セル値を読み出すためにデジタルビット位置合計を使用する。ここで、４ビットのデジタル値を評価するのに、４つのパルスのみが必要である。例えば、第１のパルスはＤＩＮ０を評価するために使用され、第２のパルスはＤＩＮ１を評価するために使用され、第３のパルスはＤＩＮ２を評価するために使用され、第４のパルスはＤＩＮ３を評価するために使用される。その後、４つのパルスからの結果は、ビット位置に応じて合計される。実現されるデジタルビット合計式は、以下のものである：出力＝２＾０*ＤＩＮ０＋２＾１*ＤＩＮ１＋２＾２*ＤＩＮ２＋２＾３*ＤＩＮ３）*Ｉｃｅｌｌ単位。
【0183】
例えば、Ｉｃｅｌｌ単位＝１ｎＡの場合、ＤＩＮ［３～０］＝０００１では、Ｉｃｅｌｌ合計＝０＋０＋０＋１*１ｎＡ＝１ｎＡであり、ＤＩＮ［３～０］＝１１１１では、Ｉｃｅｌｌ合計＝８*１ｎＡ＋４*１ｎＡ＋２*１ｎＡ＋１*１ｎＡ＝１５ｎＡである。
表１２：デジタルビット入力合計
表１２：デジタルビット入力合計
【表12】
【0184】
図３３は、検証又は読み出し動作中にＶＭＭの出力を合計して、出力を表す単一のアナログ値を得るために使用できる電荷合計器３３００の例を示しており、この単一のアナログ値は、任意選択的にデジタルビット値に変換することができる。電荷合計器３３００は、電流源３３０１と、スイッチ３３０２及びサンプルアンドホールド（ｓａｍｐｌｅ－ａｎｄ－ｈｏｌｄ、Ｓ／Ｈ）コンデンサ３３０３を含むサンプルアンドホールド回路のアレイと、を含む。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するための４つのＳ／Ｈ回路が存在し、これらの値はプロセスの終了時に合計される。Ｓ／Ｈコンデンサ３３０３は、そのＳ／Ｈコンデンサの２＾ｎ*ＤＩＮｎビット位置に関連付けられる比率で選択され、例えば、Ｃ＿ＤＩＮ３＝ｘ８ Ｃｕ ＤＩＮ３（ここで、Ｃｕは単位コンデンサである）、ビットＤＩＮ２に対してＣ＿ＤＩＮ２＝ｘ４ Ｃｕ、ビットＤＩＮ１に対してＣ＿ＤＩＮ１＝ｘ２ Ｃｕ、ビットＤＩＮ９に対してＤＩＮ０＝ｘ１ Ｃｕである。電流源３３０１もまた、それに応じて比率が乗じられる。
【0185】
図３４は、検証又は読み出し動作中にＶＭＭの出力を合計するために使用できる電流合計器３４００を示す。電流合計器３４００は、電流源３４０１（これは、ＶＭＭアレイの出力、Ｉｃｅｌｌである）、トランジスタ３４０２、スイッチ３４０３、ノード３４０４、及びトランジスタ３４０５を含む。この例では、電流合計器３４００は、ノード３４０４に４つのデジタル値ＤＩＮ０、ＤＩＮ１、ＤＩＮ２、及びＤＩＮ３をシリアルに出力する。４つの評価パルスが順番にＶＭＭアレイに入力される。第１のパルスの間、期間ｔ＿ＤＩＮ０の間、ＤＩＮ０に対応するスイッチ３４０３は閉じられ、他のスイッチ３４０３は開かれる。第２のパルスの間、期間ｔ＿ＤＩＮ１の間に、ＤＩＮ１に対応するスイッチ３４０４は閉じられ、他のスイッチは開かれる。第３のパルスの間、ＤＩＮ２に対応するスイッチ３４０４は、期間ｔ＿ＤＩＮ２の間に閉じられ、他のスイッチは開かれる。第４のパルスの間、ＤＩＮ３に対応するスイッチ３４０４は、期間ｔ＿ＤＩＮ３の間に閉じられ、他のスイッチは開かれる。プロセスの終わりに、値が合計されてデジタル出力が生成され、ＤＩＮの相対ビット位置に基づいてＤＩＮ値に重み付けプロセスが適用される。例えば、ＤＯＵＴは、８*Ｉ＿ＤＩＮ３＋４*Ｉ＿ＤＩＮ２、＋２*Ｉ＿ＤＩＮ１＋１*Ｉ＿ＤＩＮ０に等しくすることができる。
【0186】
図３９は、出力ブロック３９００（図３２の出力ブロック３２０５の実施形態である）を示す。出力ブロック３９００は、ここではＩＣＥＬＬ３９０１として示されるＶＭＭアレイ（図３２のアレイ３２０４など）から出力電流を受け取る。出力ブロック３９００は、Ｄ／Ａ変換器３９０２、シフタ３９０３、アダー３９０４、及び出力レジスタ３９０５を備える。
【0187】
ここで、ＶＭＭの入力ブロック（図３２の入力ブロック３２０１など）への入力はＤＩＮ［ｎ：０］であると仮定され、ｎは入力ビットバイナリインデックス数であり、ｉは１からｎ＋１までの範囲とすることができる合計ｉビットが存在する。例えば、ｉ＝４の場合、入力は、ＤＩＮ３、ＤＩＮ２、ＤＩＮ１、及びＤＩＮ０の４つの入力ビットとなる。各入力ビットＤＩＮｘは、一度にＶＭＭ３２０４の入力ブロック３２０１に適用される。
【0188】
入力ブロック３２０１は、ＤＩＮｘを、アレイ３２０４内の選択されたセルの端子に印加される入力信号に（本明細書に記載の実施形態又は他の既知の技術のうちの１つを使用して）変換する（ここで、選択されたセルは、ワード線デコーダ３２０３及び選択されたビット線（図示せず）によって選択される）。一実施形態では、入力信号は、表１３に示すように例示的な４ビット入力に対する、可変持続時間の単一パルスである。パルスＴＰＵＬＳＥの入力信号（ＶＭＭアレイへの行入力）は、ｄａｔａｉｎ ＤＩＮ［３：０］の１０進数値（０～１５）に比例する幅を有する。
表１３．４ビット入力とパルスの例示的な表
表１３．４ビット入力とパルスの例示的な表
【表13】
【0189】
別の実施形態では、入力信号は、表１４Ａに示すように例示的な４ビット入力に対するアナログバイアス電圧である。入力信号は、例えば、線形領域で動作するセルに対して線形に離間された１６個の電圧レベルを有し得る。代替的に、入力信号は、サブスレッショルド領域で動作するセルに対して対数的に離間されてもよく（電圧値がセル電流の対数に比例することを意味する）、例えば、バイナリ電流値に対してＶＣＧＩＮｋ＝ＶＣＧＩＮ（ｋ－１）－（１／ｎ*Ｖｔ）*ＬＮ ２であり、ＶＣＧＩＮは、対応するＣＧ端子の電圧である。
表１４Ａ：４ビット入力とアナログバイアスレベルの例示的な表
表１４Ａ：４ビット入力とアナログバイアスレベルの例示的な表
【表14A】
【0190】
特定の行に対する４ビット入力ＤＩＮ［３：０］は、１６個のレベル（例えば、ＶＣＧＩＮ０、．．．、又はＶＣＧＩＮ１５）のうちの１つのアナログレベルを選択させ、ＶＭＭアレイの行に適用させる。一実施形態では、この動作は、４つの入力データビット全てに対して同時に動作し、これは、４つの入力データビットが１６個の可能な電圧レベルのうちの１つに変換され、行に印加されることを意味する。代替的な実施形態は、データ入力ビットは、一度に１つずつ順次適用すること（入力ビットごとの演算）であり、各データ入力に対する結果は、次いで、アナログ領域（図３３、図３４）又はデジタル領域（図３５、図３９）において一緒に加算（合計）される。任意選択的に、各データ入力ビットは、そのビット位置に基づいて重み付けされ得る。例えば、図３９の出力ブロック３９００を使用することなどによって、最下位ビット位置における「１」は、電圧ＶＣＧＩＮ１をＶＭＭアレイの行への入力として印加させ、最上位ビット位置における「１」は、電圧ＶＣＧＩＮ８をＶＭＭアレイの行への入力として印加させ得る。
【0191】
別の実施形態では、アレイの入力ブロックへの入力信号は、線形又はサブスレッショルド又は任意の領域において動作するセルに対して一定のアナログバイアス電圧を伴う入力ビットごとの演算（例えば、演算は、ＤＩＮ０、次いでＤＩＮ１、次いでＤＩＮ２、次いでＤＩＮ３入力に対して行われる）のための表１４Ｂに示される例示的な４ビット入力である。
表１４Ｂ：４ビット入力と入力ビットごとの演算を伴う単一アナログバイアスレベルの例示的な表
表１４Ｂ：４ビット入力と入力ビットごとの演算を伴う単一アナログバイアスレベルの例示的な表
【表14B】
【0192】
入力ビットＤＩＮごとのバイナリ重み付け結果は、図３４に示されるものなどの電流合計器を使用することなどによって、アナログ領域において、又は図３５若しくは図４４の実施形態を使用することなどによって、デジタル領域において一緒に合計される。図４４は、特定の重みが入力ビットに応答して、生成された各出力ストリームに割り当てられていることを除いて、図３５のデジタル合計器３５００と同じデジタル合計器４４００を示す。
【0193】
別の実施形態では、アレイの入力ブロックへの入力信号は、４つのアナログバイアスレベルの例を伴う入力マルチビットごとの演算（例えば、ＤＩＮ３及びＤＩＮ２を合わせて、並びにＤＩＮ１及びＤＩＮ０を合わせて）のための表１４Ｃに示されるような例示的な４ビット入力である。一実施形態では、４つのアナログレベルが、線形領域、例えば、０Ｖ、０．２５Ｖ、０．５Ｖ、１．０Ｖで動作するセルに対して線形に離間され、出力セル電流に対する線形等スケーリングを確実にする。別の実施形態では、レベルは、出力されるセル電流の線形スケーリングを確実にするために、サブスレッショルドで動作するセルについて対数間隔であり、これは、例えば、電圧値がサブスレッショルド領域で動作するセルについて電流の対数に比例することを意味し、例えば、バイナリ電流値についてＶＣＧＩＮｋ＝ＶＣＧＩＮ（ｋ－１）－（１／ｎ*Ｖｔ）*ＬＮ２である。
表１４Ｃ：４ビット入力と入力マルチビットごとの演算を伴うアナログバイアスレベルの例示的な表
表１４Ｃ：４ビット入力と入力マルチビットごとの演算を伴うアナログバイアスレベルの例示的な表
【表14C】
【0194】
【0195】
別の実施形態では、入力信号は、アナログバイアス供給及びパルスを伴う例示的な４ビット入力に対して表１５に示されるような、パルス成分（アナログバイアス供給変調パルス）が加えられたアナログバイアス電圧成分を含むハイブリッド信号である。パルスは、長さ（ＴＰＵＬＳＥ）によって、又は所定の期間内のパルスの数（ＰＵＬＳＥＳ）によって変調され得る。
表１５：４ビット入力とアナログバイアスレベル及びパルスのハイブリッド入力のための例示的な表
上記の表において、「４．５Ｘ」の値は、１Ｘパルスの幅の４．５倍に等しい幅を有するパルス、又は４つの１Ｘパルスに１Ｘパルスの半分の幅を有するパルスを加えたものを意味する。
表１５：４ビット入力とアナログバイアスレベル及びパルスのハイブリッド入力のための例示的な表
【表15】
【0196】
入力データは、複数の入力データインセットに分割され、各データインセットは、特定の電圧バイアスレベルに割り当てられる。例えば、８ビット入力ＤＩＮ［７：０］の場合、第１の行電源ＶＣＧＩＮ１は、セットＤＩＮ［３：０］内の入力ビットに適用され、ＶＣＧＩＮ１とは異なる第２の行電源ＶＣＧＩＮ２は、セットＤＩＮ［７：４］内の入力ビットに適用される。２つのバイナリ入力セット分割のこの例示的な実施形態において、（第２のデータインセットＤＩＮ［７：４］のための）アナログバイアス電源ＶＣＧＩＮ２は、（第１のデータインセットＤＩＮ［３：０］のための）アナログバイアス電源ＶＣＧＩＮ１によって生成されるセル電流の２倍であるセル電流を生成する。例えば、ＶＣＧＩＮ２／ＶＣＧＩＮ１の比率は、線形領域で動作するセルについては２倍であり得る。各データインセットに対して異なるＶＣＧＩＮ電圧が印加されるので、データインセットＤＩＮ［７：４］のメンバとデータインセットＤＩＮ［３：０］のメンバとに対して、同じ周期を有する同じ数のパルスを印加することができ、これは、ＶＣＧＩＮの差が２つのメンバを区別するからである。
【0197】
この実施形態の変形形態では、各入力データインセットに対して２つの分割を使用することができ、各分割は異なるアナログバイアス電圧に対応し、これは、４つの異なる電圧ＶＣＧＩＮ１、ＶＣＧＩＮ２、ＶＣＧＩＮ３、及びＶＣＧＩＮ４が使用されることを意味する。これは、必要とされるパルスの数／期間を更に低減することができる。すなわち、４つの異なるデータイン値は、ＶＣＧＩＮの差が４つの異なる値を区別するので、同じ数／期間のパルスを使用することができる。
【0198】
再び図３９を参照すると、出力ブロック３９００は、入力ＤＩＮｘに応答してＶＭＭから出力電流ＩＣＥＬＬを受け取る。Ｄ／Ａ変換器３９０２は、ＩＣＥＬＬを、ＤＩＮｎに応答して、生成された出力のデジタル値を表すデジタル形式ＤＯＵＴ［ｍ：０］に変換し、各ＤＯＵＴ＿ｎは１つ以上の出力ビットのセットである。
【0199】
シフタ３９０３、アダー３９０４、及びレジスタ３９０５は、各入力ビットＤＩＮｎに応答して、生成された各出力ＤＯＵＴ［ｍ：０］＿ｎに異なる重みを適用するように動作する。ｎ＝４である単純な例では、シフタ３９０２、アダー３９０４、及びレジスタ３９０５は以下の作用を実行する。
（１）ＤＩＮ０に応答して、シフタ３９０３はＤＯＵＴ＿０［ｍ：０］０を受け取り、それをシフトせず、（１）の結果を生成する。
（２）ＤＩＮ１に応答して、シフタ３９０３はＤＯＵＴ＿１［ｍ：０］を受け取り、それを左に１ビットシフトし、アダー３９０４はシフトした結果を（１）の結果に加算して（２）の結果を生成する。
（３）ＤＩＮ２に応答して、シフタ３９０３はＤＯＵＴ＿２［ｍ：０］を受け取り、それを左に２ビットシフトし、アダー３９０４はシフトした結果を（２）の結果に加算して（３）の結果を生成する。
（４）ＤＩＮ３に応答して、シフタ３９０３はＤＯＵＴ＿３［ｍ：０］を受け取り、それを左に３ビットシフトし、アダー３９０４は、シフトした結果を（３）の結果に加算して（４）の結果、すなわち最終結果ＤＯＵＴ［ｍ：０］を生成する。
（１）ＤＩＮ０に応答して、シフタ３９０３はＤＯＵＴ＿０［ｍ：０］０を受け取り、それをシフトせず、（１）の結果を生成する。
（２）ＤＩＮ１に応答して、シフタ３９０３はＤＯＵＴ＿１［ｍ：０］を受け取り、それを左に１ビットシフトし、アダー３９０４はシフトした結果を（１）の結果に加算して（２）の結果を生成する。
（３）ＤＩＮ２に応答して、シフタ３９０３はＤＯＵＴ＿２［ｍ：０］を受け取り、それを左に２ビットシフトし、アダー３９０４はシフトした結果を（２）の結果に加算して（３）の結果を生成する。
（４）ＤＩＮ３に応答して、シフタ３９０３はＤＯＵＴ＿３［ｍ：０］を受け取り、それを左に３ビットシフトし、アダー３９０４は、シフトした結果を（３）の結果に加算して（４）の結果、すなわち最終結果ＤＯＵＴ［ｍ：０］を生成する。
【0200】
ＤＩＮ［ｎ：０］入力が、各データ入力のバイナリ重みを表すアナログ電圧レベルと組み合わされる場合、加算のみが必要とされ、このようなハイブリッド入力ビットごとの演算のためにシフトすることはない。出力レジスタ３９０５は、（４）の結果をＤＯＵＴとして記憶し、出力する。
追加の入力回路及び出力回路
追加の入力回路及び出力回路
【0201】
図３５は、複数のデジタル値を受け取り、それらを一緒に合計し、入力の和を表す出力ＤＯＵＴを生成する、デジタル合計器３５００を示す。デジタル合計器３５００は、検証又は読み出し動作中に使用することができる。図３５は、ビットＤＯＵＴ０、ＤＯＵＴ１、ＤＯＵＴ２、及びＤＯＵＴ３を含む４ビットデジタル値の例を示す。各ビットは評価入力パルスから生成される。各ビットは、そのビット位置に基づいて重み付けされることができ、２＾ｎの重みｔ＿ＤＩＮｎがビットＤＩＮｎに適用される。例えば、ＤＯＵＴ３に２＾３（＝８）を乗算し、ＤＯＵＴ２に２＾２（＝４）を乗算し、ＤＯＵＴ１に２＾１（＝２）を乗算し、ＤＯＵＴ０に２＾０（＝１）を乗算することができる。
【0202】
図３６Ａは、アレイセル電流をデジタル出力ビットＤＯＵＴｘに変換するために出力ニューロンに適用される二重傾斜積分型ＡＤＣ３６００を示す。積分オペアンプ３６０１及び積分コンデンサ３６０２からなる積分器は、基準電流ＩＲＥＦに対してセル電流ＩＣＥＬＬを積分する。図３６Ｂに示されるように、固定時間ｔ１の間（積分時間）、セル電流は上へと積分され（ＶＯＵＴが上昇する）、次いで、基準電流が、時間ｔ２にわたって下へと積分される（ＶＯＵＴが降下する、非積分時間）ように印加される。電流Ｉｃｅｌｌは、＝ｔ２／ｔ１*ＩＲＥＦである。例えば、ｔ１に対して、１０ビットのデジタルビット解像度では、１０２４サイクルが使用され、ｔ２に対するサイクル数は、Ｉｃｅｌｌ値に応じて０～１０２４サイクルに変化する。信号ＥＣによってイネーブルされるデジタルカウンタ３６３０は、ｔ２期間中にデジタル出力ビットＤＯＵＴｘを生成するために使用される。
【0203】
図３６Ｃは、アレイセル電流をデジタル出力ビットに変換するために出力ニューロンに適用される単一傾斜積分型ＡＤＣ３６６０を示す。積分オペアンプ３６６１、積分コンデンサ３６６２、スイッチＳ３、及び比較器３６６４からなる積分器は、アレイセル電流ＩＣＥＬＬ３６６６を積分し、出力信号ＥＣを生成する。
【0204】
図３６Ｄに示されるように、グラフ３６７０は、時間ｔ１の間、セル電流ＩＣＥＬＬ１が上へと積分され（ＶＯＵＴがＶＲＥＦ２に達するまで上昇し、これは図３６ＣのＥＣの値の変化に対応する）、時間ｔ２の間、別のセル電流ＩＣＥＬＬ２が上へと積分されることを示す。セル電流ＩＣＥＬＬ＝Ｃｉｎｔ*ＶＲＥＦ２／ｔであり、ここで、ｔは、ＥＣが値を変える前に経過する時間である。信号ＥＣによってイネーブルされるパルスカウンタ３６６８は、積分時間ｔの間のパルス数をカウントするために使用され、パルス数は、デジタル出力値ＤＯＵＴｘを表す。
【0205】
示される例では、ｔ１のデジタル出力は、ｔ１のカウントがｔ２のカウントより小さくなるので、ｔ２のデジタル出力より小さくなり、これはまた、期間ｔ１中のセル電流ＩＣＥＬＬ１が期間ｔ２中のセル電流ＩＣＥＬＬ２より大きかったことを意味する。．初期較正は、積分コンデンサ３６６２値を基準電流Ｉｒｅｆ及び固定時間Ｔｒｅｆで較正するために行われ、Ｃｉｎｔ＝Ｔｒｅｆ*Ｉｒｅｆ／ＶＲＥＦ２である。
【0206】
図３６Ｅは、ＩＣＥＬＬ３６８４、比較器３６８１、スイッチＳ１、スイッチＳ２、スイッチＳ３、コンデンサ３６８２、及び基準電流源３６８３を備える二重傾斜積分型ＡＤＣ３６８０を示す。二重傾斜積分型ＡＤＣ３６８０は、出力ニューロン電流（ＩＣＥＬＬ３６８４）を受け取り、出力ＥＣを生成する。二重傾斜積分型ＡＤＣ３６８０は、積分オペアンプを利用しない。セル電流又は基準電流は、コンデンサ３６８２で直接積分される。信号ＥＣによってイネーブルされるパルスカウンタ３６８７は、積分時間中にパルスをカウントするために使用され、積分時間は、ＥＣが値を変えるときに終了する。パルスカウンタの出力は、ＩＣＥＬＬを表すデジタル出力ＤＯＵＴｘである。電流ＩＣＥＬＬは、＝ｔ２／ｔ１*ＩＲＥＦである。
【0207】
図３６Ｆは、ＩＣＥＬＬ３６９４、比較器３６９１、スイッチＳ２、スイッチＳ３、及びコンデンサ３６９２を備える単一傾斜積分型ＡＤＣ３６９０を示す。単一傾斜積分型ＡＤＣ３６９０は、出力ニューロン電流（ＩＣＥＬＬ３６９４）を受け取り、出力ＥＣを生成する。単一傾斜積分型ＡＤＣ３６９０は、積分オペアンプを利用しない。セル電流は、コンデンサ３６９２で直接積分される。信号ＥＣによってイネーブルされるパルスカウンタ３６９７は、積分時間中にデジタル出力パルスをカウントするために使用され、積分時間は、ＥＣが値を変えるときに終了する。パルスカウンタの出力は、ＩＣＥＬＬを表すデジタル出力ＤＯＵＴｘである。セル電流ＩＣＥＬＬ＝Ｃｉｎｔ*ＶＲＥＦ２／ｔである。
【0208】
図３７Ａは、セル（アレイ）電流をデジタル出力ビットに変換するために出力ニューロンに適用されるＳＡＲ（逐次比較レジスタ）ＡＤＣ３７００を示す。セル電流は、抵抗器を通って降下させて、ＶＣＥＬＬに変換することができる。代替的に、セル電流は、Ｓ／Ｈコンデンサをチャージアップして、ＶＣＥＬＬに変換することができる。ＭＳＢビット（最上位ビット）から始まるビットを計算するために、二分探索が使用される。ＳＡＲ３７０１からのデジタルビットに基づいて、適切なアナログ基準電圧を比較器３７０３に設定するために、ＤＡＣ３７０２が使用される。比較器３７０３の出力は、次のアナログレベルを選択するために、ＳＡＲ３７０１にフィードバックされる。図３７Ｂに示されるように、４ビットのデジタル出力ビットの例では、４つの評価期間が存在し、アナログレベルを中間に設定することによってＤＯＵＴ３を評価するための第１のパルス、次いで、アナログレベルを上半分の中間又は下半分の中間に設定することによってＤＯＵＴ２を評価するための第２のパルスなどがある。ＤＯＵＴ３及びＤＯＵＴ４も同様に範囲を半分に分割する。別の実施形態は、ニューロン電流をデジタル出力ビットに変換するためにＳＡＲ ＣＤＡＣ（電荷再分配ＣＤＡＣ）を使用することができる。
【0209】
図３８は、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用されるシグマデルタ型ＡＤＣ３８００を示す。オペアンプ３８０１及びコンデンサ３８０５からなる積分器は、選択されたセル電流からの電流と、１ビット電流ＤＡＣ３８０４からもたらされる基準電流との総和を積分する。比較器３８０２は、基準電圧に対して積分出力電圧を比較する。クロックドＤＦＦ３８０３は、比較器３８０２の出力に応じてデジタル出力ストリームを提供する。デジタル出力ストリームは、典型的には、デジタル出力ビットに出力される前にデジタルフィルタに進む。
【0210】
図４５は、出力ブロック４５００を示す。出力ブロック４５００は、電流－電圧変換器４５０１及びアナログ－デジタル変換器４５０２を備える。出力ブロック４５００は、ここではＩｎｅｕとして示されるＶＭＭアレイからの出力電流を受け取り、ここで、出力電流は、実行されている読み出し又は検証動作のためのＶＭＭアレイからの出力値を表す。電流－電圧変換器４５０１は、電圧ＶＯＵＴがＶＭＭからの出力電流Ｉｎｅｕを表すように、出力電流Ｉｎｅｕを、ここではＶＯＵＴとして示される電圧信号に変換する。Ａ／Ｄ変換器４５０２は、電圧ＶＯＵＴをデジタル形式に変換し、ここではＤＯＵＴとして示されるデジタル出力を出力する。
【0211】
出力ブロック４５００の一実装では、電流－電圧変換器４５０１は、一連の入力に応答して、アレイ内の１つ以上の選択された不揮発性メモリセルから一連の電流を受け取り、一連の電流を一連の電圧に変換する。次に、Ａ／Ｄ変換器は、電流－電圧変換器４５０１から受け取った一連の電圧を複数の出力ビットに変換し、複数の出力ビットは、一連の電圧の加重和に基づいて生成される。
【0212】
図４６は、図４５の電流－電圧変換器４５０１の一実施形態である無損失（Ｉ*Ｒｍｕｘ降下がない）電流－電圧変換器４６００を示す。電流－電圧変換器４６００は、演算増幅器４６０１、抵抗器４６０２、４６０３、４６０４、及び４６０５、並びにスイッチ４６０６、４６０７、４６０８、４６０９、４６１０、４６１１、４６１２、及び４６１３を備える。無損失可変抵抗器ユニットは、抵抗器及び２つのスイッチ（ｍｕｘ）、例えば、抵抗器４６０２並びにスイッチ４６１０及び４６０６からなり、１つのスイッチは、電流を運び（スイッチ４６１０）、１つのスイッチは、電流を運ばず（スイッチ４６０６）、出力は、電流を運ばないスイッチから取られる。
【0213】
電流－電圧変換器４６００は、電流Ｉｎｅｕを受け取り、電圧ＶＯＵＴを出力する。特に、ＶＯＵＴは、出力電圧ＶＯＵＴにおける多重化（スイッチのＩ*Ｒ降下）に起因する電圧降下を被ることなく測定することができ、これは、出力電圧がフィードバックループ又は電流ループの外側でサンプリングされることを意味する。例えば、スイッチ４６１３及び４６０９が閉じられ（オン）、他のスイッチが開かれる（オフ）とき、ＶＯＵＴは、ＶＲＥＦ＋（Ｒ４６０２＋Ｒ４６０３＋Ｒ４６０４＋Ｒ４６０５）*（Ｉｎｅｕ）に等しい。別の例として、スイッチ４６１０及び４６０６が閉じられ（オン）、他のスイッチが開かれている（オフ）とき、ＶＯＵＴはＶＲＥＦ＋（Ｒ４６０２*Ｉｎｅｕ）である。電流Ｉｎｅｕが電圧ＶＯＵＴに変換された後、電圧ＶＯＵＴは、全てのスイッチを開くことによってサンプリング及び保持され得る。この場合、電圧ＶＯＵＴは基準レベルＶＲＥＦを基準とする。
【0214】
図４７は、図４５の電流－電圧変換器４５０１の一実施形態である電流－電圧変換器４７００を示す。電流－電圧変換器４７００は、比較器４７０１、スイッチ４７０２、４７０５、４７０６、及び４７０７、Ｓ／Ｈ（サンプルアンドホールド）コンデンサ４７０３、並びに可変抵抗器４７０４を備える。電流－電圧変換器４７００は、電流Ｉｎｅｕを受け取り、Ｓ／Ｈ電圧ＶＯＵＴを出力する。無損失可変抵抗器４７０４は、図４６の抵抗器４６５０と同様である。電流から電圧への変換の間、電流Ｉｎｅｕは、出力電圧＝Ｒ４７０４*Ｉｎｅｕを生成するために抵抗器４７０４を通って流れ、Ｓ１（４７０２）、Ｓ２（４７０５）及びＳ３（４７０７）は閉じられ（オン）、Ｓ４（４７０６）は開かれ（オフ）、Ｓ３は電流を運ばないので、出力ＶＯＵＴは＝Ｒ４７０４*Ｉｎｅｕである。保持期間中、Ｓ４は閉じられ（オン）、Ｓ１、Ｓ２及びＳ３は開かれ（オフ）、ＶＯＵＴはコンデンサ４７０３に保持される。特に、ＶＯＵＴは、電流を運ぶスイッチの外部で測定される（イネーブルされる）ので、ＶＯＵＴは、電圧降下を受けることなく測定され得る。
【0215】
図４８は、図４５の電流－電圧変換器４５０１の一実施形態である電流－電圧変換器４８００を示す。電流－電圧変換器４８００は、演算増幅器４８０１、スイッチ４８０２及び４８０５、Ｓ／Ｈコンデンサ４８０３、並びに可変抵抗器４８０４を備える。電流－電圧変換器４８００は、電流Ｉｎｅｕを受け取り、電圧ＶＯＵＴを出力する。注目すべきことに、ＶＯＵＴは、電流を運ぶスイッチ（ｍｕｘ）の外側でＶＯＵＴが測定される（イネーブルにされる）ことによる電圧降下なしに測定され得る。電流－電圧変換の間、電流Ｉｎｅｕは、出力電圧＝Ｒ４８０４*Ｉｎｅｕを生成するために抵抗器４８０４を通って流れ、Ｓ１（４８０２）及びＳ２（４８０５）は閉じられ（オン）、Ｓ２が電流を運ばないので、出力ＶＯＵＴは、＝Ｒ４８０４*Ｉｎｅｕである。保持期間中、Ｓ１及びＳ２は開かれており（オフ）、ＶＯＵＴはコンデンサ４８０３に保持される。この場合、Ｓ／Ｈ電圧ＶＯＵＴは接地レベルを基準とする。
【0216】
代替的に、電流－電圧変換器４７００及び４８００は、可変抵抗器４７０４又は４８０４を含まず、その場合、Ｉｎｅｕは、所定の調整可能なタイミングパルス値によって制御される可変信号パルス有効化スイッチ４７０２又は４８０２によってＳ／Ｈコンデンサ４７０３又は４８０３を充電し、ここで、タイミングパルス値は、Ｉｎｅｕ動的電流範囲に基づいて選択される。この場合、Ｓ／Ｈコンデンサは、調整可能なキャパシタンス値を有する可変コンデンサであり得る。
【0217】
図４９Ａは、図４５の電流－電圧変換器４５０１の一実施形態である電流－電圧変換器４９００を示す。電流－電圧変換器４９００は、スイッチ４９０１及び４９０２、可変抵抗器４９０３、並びにコンデンサ４９０４を備える。電流－電圧変換器４８００は、電流Ｉｎｅｕを受け取り、電圧ＶＯＵＴを出力する。電流－電圧変換の間、電流Ｉｎｅｕは、出力電圧＝Ｒ４８０４*Ｉｎｅｕを生成するために可変抵抗器４９０３を通って流れ、Ｓ１（４９０１）は閉じられ（オン）、出力ＶＯＵＴ＝Ｒ４９０３*Ｉｎｅｕである。保持期間の間、Ｓ１は開かれ（オフ）、ＶＯＵＴはコンデンサ４９０４に保持され、可変抵抗器４９０３の内側のスイッチ（ｍｕｘ）（例えば、図４９Ｂの可変抵抗器４９５０内のＳ１ａ／Ｓ２ａ／Ｓ３ａ／Ｓ４ａ）も開かれる（オフ）。注目すべきことに、ＶＯＵＴは、電流を運ぶスイッチ（ｍｕｘ）の外側でＶＯＵＴが測定される（イネーブルにされる）ことに起因する電圧降下を被ることなく測定され得る。
【0218】
図４９Ｂは、４９０３で使用されるような可変抵抗器４９５０を示す。可変抵抗器４９５０は、スイッチＳ１ａ、Ｓ２ａ、Ｓ３ａ、Ｓ４ａ、Ｓ１ｂ、Ｓ２ｂ、Ｓ３ｂ、及びＳ４ｂを備える。
【0219】
図５０は、図４５の電流－電圧変換器４５０１の一実施形態である電流－電圧変換器５０００を示す。電流－電圧変換器５０００は、演算増幅器（ｏｐ ａｍｐ）５００１、レベルシフタ５００２（トランジスタ５００４のゲート＝トランジスタ５００４のドレイン－Ｖｏｆｆｓｅｔ）、ＮＭＯＳトランジスタ５００３、ＰＭＯＳトランジスタ５００４及び５００５、スイッチ５００６及び５００７、可変抵抗器５００８（図４９Ｂに関連して上述したように実装することができる）、コンデンサ５００９、並びに電圧源ＶＨを備える。電流－電圧変換器５０００は、電流Ｉｎｅｕを受け取り、電圧ＶＯＵＴを出力する。特に、ＶＯＵＴは、電圧降下を被ることなく、同様に（図４９におけるように）測定されることができる。この場合のＳ／Ｈ電圧ＶＯＵＴは接地レベルを基準とする。オペアンプ５００１及びトランジスタ５００３は、読み出し動作中にアレイのビット線に固定バイアス電圧ＶＲＥＦ５０１０を印加する。ＰＭＯＳトランジスタ５００４及び５００５は、アレイ出力電流（Ｉｎｅｕ）を可変抵抗器５００８及びＳ／Ｈコンデンサ５００９にミラーリングするための可変比電流ミラーとして働く。代替的に、電流－電圧変換器５０００は、可変抵抗器５００８を含まず、その場合、ミラーリングされたＩｎｅｕは、所定の調整可能なタイミングパルス値によって制御される可変信号パルス有効化スイッチ５００６によってＳ／Ｈコンデンサ５００９を充電し、ここで、タイミングパルス値は、Ｉｎｅｕ動的電流範囲に基づいて選択される。この場合、Ｓ／Ｈコンデンサは、調整可能なキャパシタンス値を有する可変コンデンサであり得る。
【0220】
図５１は、図４５の電流－電圧変換器４５０１の一実施形態である電流－電圧変換器５１００を示す。電流－電圧変換器５１００は、演算増幅器５１０１、ＮＭＯＳトランジスタ５１０２、可変抵抗器５１０３（図４９Ｂに関連して上述したように実装され得る）、スイッチ５１０４及び５１０５、コンデンサ５１０６、並びに電圧源ＶＨを備える。電流－電圧変換器５１００は、電流Ｉｎｅｕを受け取り、電圧ＶＯＵＴを出力する。特に、ＶＯＵＴは、図５０と同様に電圧降下を受けることなく測定することができる。この場合のＳ／Ｈ電圧ＶＯＵＴは、高電源ＶＨを基準とする。演算増幅器５１０１及びトランジスタ５１０２は、読み出し動作中にビット線に固定バイアスＶＲＥＦ５１１０を印加する働きをする。代替的に、電流－電圧変換器５１００は、可変抵抗器５１０３を含まず、その場合、Ｉｎｅｕは、所定の調整可能なパルスタイミング値によって制御される可変信号パルス有効化スイッチ５１０６を通してＳ／Ｈコンデンサ５１０６を放電し、ここで、タイミング値は、Ｉｎｅｕ動的電流範囲に基づいて選択される。この場合、Ｓ／Ｈコンデンサは、調整可能なキャパシタンス値を有する可変コンデンサであり得る。
【0221】
図５２Ａは、図４８に関連して上述した無損失電流－電圧変換器４８００を利用するハイブリッドシリアルアナログ－デジタル変換器５２００を示す。これは、電流－電圧変換器５２２０、比較器５２０９、電流源５２０６及び５２０７、並びにスイッチＳ１及びＳ２からなる。電流－電圧変換器５２２０は、代わりに、図４６、図４７、図４９、図５０、及び図５１において上記で説明される電流－電圧変換器のいずれかを使用して実装されてもよい。電流－電圧変換器５２２０は、演算増幅器５２０１と、スイッチ５２０５と、可変抵抗器５２０４と、サンプルアンドホールドコンデンサ５２０３とを備える。
【0222】
図５２Ｂは、ハイブリッドシリアルＡＤＣ変換器５２００の動作のタイミング図５２５０を示し、期間ｔ１の間、電流ＩＣＥＬＬ５２０６は、スイッチ５２０８（Ｓ１）を開いたまま維持しながらスイッチ５２０２（Ｓ２）を閉じることによって電圧ＶＯＵＴに変換され、次いで、スイッチ５２０２（Ｓ２）を開くことによってコンデンサ５２０３によって保持される。期間ｔ２の間、ＩＲＥＦ５２０７は、スイッチ５２０８（Ｓ１）を閉じることによってイネーブルされて、非積分期間、すなわちカウント期間を開始し、その間、ｔ２として示される時間、クロックパルス（図示せず）は、ＥＣがハイである限り、パルスカウンタ５２１０によってカウントされ、これは、デジタルビットＤＯＵＴ、すなわち、カウント数に変換される。比較器出力ＥＣをデジタルビットに変換するためのデジタルカウンタ及びクロック及び制御論理は示されていない。
【0223】
図５２Ｃは、ハイブリッドシリアルＡＤＣ変換器５２００の動作の別のタイミング図５２５０を示し、ｔ１期間は、図５２Ｂのものと同じである。期間ｔ２の間、電圧ＶＯＵＴは、基準電圧ＶＲＥＦ２をＶＲＥＦ１などの基準レベルからその最大レベルまで上昇させることによってデジタルビットＤＯＵＴに変換される。期間ｔ２の間、デジタルカウンタ（図示せず）はパルスをカウントし、デジタルカウンタの出力は出力ＤＯＵＴである。期間ｔ２は、ＶＲＥＦ２がＶＯＵＴを超えたときに終了し、その結果、図５２ＡにおいてＥＣの値が変化する。
【0224】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22A】
【図22B】
【図23】
【図24】
【図25】
【図26A】
【図26B】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36A】
【図36B】
【図36C】
【図36D】
【図36E】
【図36F】
【図37A】
【図37B】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49A】
【図49B】
【図50】
【図51】
【図52A】
【図52B】
【図52C】