IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ シリコン　ストーリッジ　テクノロージー　インコーポレイテッドの特許一覧

特表2025-505495深層学習人工ニューラルネットワークにおける電気パラメータの較正
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-02-28
(54)【発明の名称】深層学習人工ニューラルネットワークにおける電気パラメータの較正
(51)【国際特許分類】
   G11C 16/30 20060101AFI20250220BHJP
   G11C 11/54 20060101ALI20250220BHJP
   G11C 7/16 20060101ALI20250220BHJP
   G06N 3/04 20230101ALI20250220BHJP
   G06N 3/06 20060101ALI20250220BHJP
   G06G 7/60 20060101ALI20250220BHJP
【ＦＩ】
G11C16/30 120
G11C11/54
G11C7/16
G06N3/04
G06N3/06
G06G7/60
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024537377
(86)(22)【出願日】2022-04-26
(85)【翻訳文提出日】2024-08-20
(86)【国際出願番号】 US2022026363
(87)【国際公開番号】W WO2023154073
(87)【国際公開日】2023-08-17
(31)【優先権主張番号】63/307,983
(32)【優先日】2022-02-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/724,415
(32)【優先日】2022-04-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
【テーマコード（参考）】
5B225
【Ｆターム（参考）】
5B225BA02
5B225BA03
5B225CA13
5B225EA01
5B225EG08
5B225EG14
5B225FA01
5B225FA02
5B225FA06
(57)【要約】
深層学習人工ニューラルネットワークにおいて様々な電気パラメータの較正を実行するための多数の例が開示されている。一例では、方法は、人工ニューラルネットワーク内の１つ以上の不揮発性メモリセルに印加されるバイアス電圧を調整することと、人工ニューラルネットワーク内の１つ以上の不揮発性メモリセルに対して性能目標チェックを実行することと、電気パラメータが所定の範囲内にあることを性能目標チェックが示すまで、調整及び実行を繰り返すことと、を含む。
【選択図】図３５
【特許請求の範囲】
【請求項1】
方法であって、
人工ニューラルネットワーク内の１つ以上の不揮発性メモリセルに印加されるバイアス電圧を調整するステップと、
前記人工ニューラルネットワーク内の前記１つ以上の不揮発性メモリセルに対して性能目標チェックを実行するステップと、
電気パラメータが所定の範囲内にあることを前記性能目標チェックが示すまで、前記調整するステップ及び前記実行するステップを繰り返すステップと、
を含む、方法。
【請求項2】
前記電気パラメータはニューロン電流である、請求項１に記載の方法。
【請求項3】
前記電気パラメータは平均ニューロン電流である、請求項１に記載の方法。
【請求項4】
方法であって、
ある範囲の複数の電気パラメータを第１の不揮発性メモリシステムに適用し、結果として生じる特性を測定し、所定の目標範囲と比較することによって機械学習モデルを生成するステップと、
動作中に、前記機械学習モデルを使用して、前記第１の不揮発性メモリシステム又は第２の不揮発性メモリシステムに複数の電気パラメータを適用するステップと、
を含む、方法。
【請求項5】
前記電気パラメータは、前記第１の不揮発性メモリシステム又は第２の不揮発性メモリシステム内の１つ以上の不揮発性メモリセルに印加されるバイアス電圧を含む、請求項４に記載の方法。
【請求項6】
システムであって、
デジタル入力に応答して電流を生成する電流デジタル－アナログ変換器と、
第１の端子と、第２の端子と、第３の端子とを含む不揮発性メモリセルであって、前記第１の端子は前記電流デジタル－アナログ変換器から前記電流を受け取り、前記第３の端子は接地に結合され、前記第２の端子の電圧は、前記第１の端子の電圧が基準電圧を超えるか又は下回るまで調整され、前記第２の端子の電圧は次いで、バイアス電圧として不揮発性メモリセルのアレイに印加される、不揮発性メモリセルと、
を備える、システム。
【請求項7】
前記第２の端子は制御ゲート端子である、請求項６に記載のシステム。
【請求項8】
前記第２の端子は消去ゲート端子である、請求項６に記載のシステム。
【請求項9】
前記不揮発性メモリセルと直列のカスコーディングトランジスタを備える、請求項６に記載のシステム。
【請求項10】
前記不揮発性メモリセルの前記第１の端子にバイアス基準電圧を印加するように前記カスコーディングトランジスタのゲートを制御する演算増幅器を備える、請求項９に記載のシステム。
【請求項11】
前記カスコーディングトランジスタの第１の端子の電圧が第２の基準電圧を超えたか又は下回ったことを示す比較器を備える、請求項１０に記載のシステム。
【請求項12】
前記不揮発性メモリセルは第４の端子を含み、前記第４の端子の電圧は、前記第１の端子の電圧が基準電圧を超えるか又は下回るまで調整され、前記第４の端子の電圧は次いで、第２のバイアス電圧として捕捉される、請求項６に記載のシステム。
【請求項13】
請求項１２に記載のシステムであって、前記システムは、
バイアス制御回路であって、
前記第１の端子から電圧を受け取るための反転端子と、前記基準電圧を受け取るための非反転端子と、第１の出力とを含む、第１の演算増幅器と、
前記第１の演算増幅器から前記第１の出力を受け取って第２の出力を生成する、利得回路と、
を含み、
前記第１の出力は前記第２の端子の電圧であり、前記第２の出力は前記第４の端子の電圧である、
バイアス制御回路
を備える、システム。
【請求項14】
前記利得回路は、第２の演算増幅器と、入力抵抗器と、フィードバック抵抗器とを含む、請求項１３に記載のシステム。
【請求項15】
方法であって、
不揮発性メモリセルのアレイを較正するステップと、
前記アレイの特性を測定するステップであって、前記特性は、熱事象が発生する電圧、温度、又は持続時間である、測定するステップと、
前記測定された特性を目標値と比較するステップと、
前記測定された特性が前記目標値と等しいか、又は所定の範囲内にある場合には、前記測定するステップ及び前記比較するステップを繰り返し、前記測定された特性が前記目標値と等しくなく、かつ、所定の範囲内にない場合には、前記較正するステップ、前記測定するステップ、及び前記比較するステップを繰り返すステップと、
を含む、方法。
【請求項16】
前記特性は前記電圧である、請求項１５に記載の方法。
【請求項17】
前記特性は前記温度である、請求項１５に記載の方法。
【請求項18】
前記特性は前記持続時間である、請求項１５に記載の方法。
【請求項19】
方法であって、
不揮発性メモリセルのアレイを較正するステップと、
温度チェックを実行するステップであって、前記温度チェックは、温度を測定するステップと、前記測定された温度を目標温度と比較するステップとを含む、実行するステップと、
前記測定された温度が前記目標温度と等しいか又は所定の範囲内にある場合に、前記温度チェックを繰り返すステップと、
前記測定された温度が前記目標温度に等しくなく、かつ、所定の範囲内にない場合に、電圧チェックを実行するステップであって、前記電圧チェックは、前記アレイ内の電圧を測定するステップと、前記測定された電圧を目標電圧と比較するステップと、前記測定された電圧が前記目標電圧に等しいか、又は所定の範囲内にある場合に前記温度チェックを繰り返すステップと、前記測定された電圧が前記目標電圧に等しくない場合に前記較正を繰り返すステップと、を含む、実行するステップと、
を含む、方法。
【請求項20】
方法であって、
グローバルデジタル－アナログ変換器における第１の基準電圧を調整するステップと、
前記グローバルデジタル－アナログ変換器における第２の基準電圧を調整するステップと、
前記調整された第１の基準電圧及び前記調整された第２の基準電圧を前記グローバルデジタル－アナログ変換器内のトリム回路に印加して、前記グローバルデジタル－アナログ変換器の出力を調整する、印加するステップと、
前記グローバルデジタル－アナログ変換器を使用して、アレイ中の複数の行のバイアス電圧を生成するステップと、
を含む、方法。
【請求項21】
ローカルデジタル－アナログ変換器を較正するステップを含む、請求項２０に記載の方法。
【請求項22】
システムであって、
バイアス制御回路と、
サンプリングされたニューロン電流を提供するアレイと、
前記アレイに結合された電流源と、
を備え、
前記アレイに印加される制御ゲートバイアス又は消去ゲートバイアスは、前記サンプリングされたニューロン電流が前記電流源の電流に等しくなるまで、前記バイアス制御回路によって調整される、
システム。
【請求項23】
システムであって、
バイアス制御回路と、
サンプリングされたニューロン電流を提供するアレイと、
ノードでアレイに結合された第１の端子と接地に結合された第２の端子とを含む抵抗器と、
を備え、
前記アレイに印加される制御ゲートバイアス又は消去ゲートバイアスは、前記ノードの電圧が基準電圧に等しくなるまで調整される、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、参照により本明細書に組み込まれる、２０２２年２月８日に出願され、「Ｃａｌｉｂｒａｔｉｏｎ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｐａｒａｍｅｔｅｒｓ Ｕｓｉｎｇ Ｈｅｕｒｉｓｔｉｃｓ ａｎｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する、米国仮特許出願第６３／３０７，９８３号、及び２０２２年４月１９日に出願された米国特許出願第１７／７２４，４１５号の優先権を主張する。
【0002】
（発明の分野）
深層学習人工ニューラルネットワークにおいて様々な電気パラメータの較正を実行するための多数の例が開示されている。
【背景技術】
【0003】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、通常、お互いの間でメッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を例解する。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、ニューロンの１つ以上の中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルのニューロンが、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題のうちの１つは、適切なハードウェア技術の欠如である。実際に、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実行するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許出願公開第２０１７／０３３７４６６（Ａ１）号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューラルメモリとして動作し、行及び列に配置された不揮発性メモリセルを備える。ニューラルネットワークは、第１の複数の入力を受け取って、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受け取るように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、メモリセルの各々は、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に絶縁されて配設される浮遊ゲートと、チャネル領域の第２の部分の上方に絶縁されて配設される非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲートの多くの電子に対応する重み値を記憶する。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成する。
＜不揮発性メモリセル＞
【0007】
不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４及びドレイン領域１６を含み、ソース領域１４とドレイン領域１６との間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に絶縁されて配設される、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
【0008】
ワード線端子２２に高圧正電圧を加えることによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim、ＦＮ）トンネリングを介して通過する。
【0009】
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を加えることによって、ホットエレクトロンによるソースサイド注入（source side injection、ＳＳＩ）によって、プログラムされる（電子が浮遊ゲートに加えられる）。電子流は、ドレイン領域１６からソース領域１４に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部は、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
【0010】
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を加える（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。
【0011】
表１は、読み出し動作、消去動作、及びプログラム動作を実行するためにメモリセル２１０の端子に印加され得る典型的な電圧／電流範囲を示す。
表１：図２のフラッシュメモリセル２１０の動作
【表1】
【0012】
他の種類のフラッシュメモリセルである、他のスプリットゲート型メモリセル構成も知られている。例えば、図３は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル３１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続されている又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
【0013】
表２は、読み出し動作、消去動作、及びプログラム動作を実行するためにメモリセル３１０の端子に印加され得る典型的な電圧／電流範囲を示す。
表２：図３のフラッシュメモリセル３１０の動作
【表2】
【0014】
図４は、別の種類のフラッシュメモリセルである、３ゲートメモリセル４１０を示す。メモリセル４１０は、メモリセル４１０が別個の制御ゲートを有しないことを除いて、図３のメモリセル３１０と同一である。（消去ゲートの使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図３のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加される。
【0015】
表３は、読み出し動作、消去動作、及びプログラム動作を実行するためにメモリセル４１０の端子に印加され得る典型的な電圧／電流範囲を示す。
表３：図４のフラッシュメモリセル４１０の動作
【表3】
【0016】
図５は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル５１０を示す。メモリセル５１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２（ここでワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去は、ＦＧから基板への電子のＦＮトンネリングによって行われ、プログラミングは、チャネル１８とドレイン領域１６との間の領域でのチャネルホットエレクトロン（channel hot electron、ＣＨＥ）注入によって、ソース領域１４からドレイン領域１６に向かって流れる電子によって、及びより高い制御ゲート電圧を有するメモリセル２１０の読み出し動作と同様である読み出し動作によって行われる。
【0017】
表４は、読み出し動作、消去動作、及びプログラム動作を実行するためのメモリセル５１０及び基板１２の端子に印加され得る典型的な電圧範囲を示す。
表４：図５のフラッシュメモリセル５１０の動作
【表4】
【0018】
本明細書に記載される方法及び手段は、限定されないが、ＦＩＮＦＥＴスプリットゲートフラッシュ又はスタックゲートフラッシュメモリ、ＮＡＮＤフラッシュ、ＳＯＮＯＳ（silicon-oxide-nitride-oxide-silicon、ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（metal-oxide-nitride-oxide-silicon、金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（resistive ram、抵抗変化型メモリ）、ＰＣＭ（phase change memory、相変化メモリ）、ＭＲＡＭ（Magnetic ram、磁気抵抗メモリ）、ＦｅＲＡＭ（ferroelectric ram、強誘電体メモリ）、ＣＴ（charge trap、電荷トラップ）メモリ、ＣＮ（carbon-tube、カーボンチューブ）メモリ、ＯＴＰ（one time programmable、バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（correlated electron ram、強相関電子メモリ）などの他の不揮発性メモリ技術に適用され得る。
【0019】
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第一に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第二に、メモリセルの連続（アナログ）プログラミングを提供する。
【0020】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れを最小限に抑えて連続的に変化させることができ、その逆もまた同様である。これはつまり、セル記憶が実質的にアナログであるか、又は多数の不連続値（１６個又は６４個の異なる値など）のうちの１つを最低限記憶することができることを意味し、これにより、メモリアレイ内の全てのメモリセルが非常に精密に、かつ個々にチューニング可能となり、また、メモリアレイが、記憶、及びニューラルネットワークのシナプシスの重みへの微細チューニング調整に対して、理想的なものになる。
＜不揮発性メモリセルアレイを使用するニューラルネットワーク＞
【0021】
図６は、本発明の実施例の不揮発性メモリアレイを利用するニューラルネットワークの非限定的な例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。
【0022】
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと称される）は、シナプスＣＢ１に提供され、そこで、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、層Ｃ１の特徴マップのうちの１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みセットを使用して繰り返されて、層Ｃ１の異なる特徴マップを生成する。
【0023】
本例では、層Ｃ１において、各々３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、二次元アレイであり、したがってこの例では、層Ｃ１は、二次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な二次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するために使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又はある特定の特徴のアスペクト比などを識別することができる。
【0024】
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数Ｐ１の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、各々１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、層Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類（クラス分け）を示すことができる。
【0025】
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。
【0026】
図７は、その目的のために使用可能なアレイのブロック図である。ベクトルマトリックス乗算（Vector-by-matrix multiplication、ＶＭＭ）アレイ３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭアレイ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３２への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、不揮発性メモリセルアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、不揮発性メモリセルアレイ３３の出力をデコードすることができる。
【0027】
不揮発性メモリセルアレイ３３は、２つの目的を果たす。第一に、不揮発性メモリセルアレイ３３は、ＶＭＭアレイ３２によって使用される重みを記憶する。第二に、不揮発性メモリセルアレイ３３は、不揮発性メモリセルアレイ３３に格納された重みを、入力に有効に乗算して、それらを出力線（ソース線又はビット線）毎に加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。不揮発性メモリセルアレイ３３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、メモリ内の計算により電力効率も良い。
【0028】
不揮発性メモリセルアレイ３３の出力は、不揮発性メモリセルアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動合計器（合計オペアンプ又は合計カレントミラーなど）３８に供給される。差動合計器３８は、正の重み及び負の重みの総和を実行するように配置される。
【0029】
差動合計器３８の合計された出力値は、次に出力を整流する活性化関数ブロック３９に供給される。活性化関数ブロック３９は、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数を提供し得る。活性化関数ブロック３９の整流された出力値は、次の層（例えば図６のＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、不揮発性メモリセルアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受け取る）、合計オペアンプ３８及び活性化関数ブロック３９は、複数のニューロンを構成する。
【0030】
図７のＶＭＭアレイ３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、ＤＡＣが、デジタルビットを適切な入力アナログレベルに変換するために提供される）であり得、出力は、アナログレベル、バイナリレベル、又はデジタルビットであり得る（この場合、出力ＡＤＣが、出力アナログレベルをデジタルビットに変換するために提供される）。
【0031】
図８は、図中でＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭアレイ３２の多数の層の使用を示すブロック図である。図８に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭアレイ３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭアレイ３２ａのマトリックス乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（look up table、ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭアレイ３２ａへのマッピングされたアナログ入力に変換するために、アナログ－アナログ（analog to analog、Ａ／Ａ）変換器によって行うこともできる。
【0032】
入力ＶＭＭアレイ３２ａによって生成された出力は、次に、次のＶＭＭアレイ（隠しレベル１）３２ｂへの入力として提供され、次に入力ＶＭＭアレイ（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭアレイ３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。各ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅは、スタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。図８に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全接続層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全接続層を含み得ることを理解するであろう。
＜ベクトルマトリックス乗算（ＶＭＭ）アレイ＞
【0033】
図９は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ９００を示す。ＶＭＭアレイ９００は、不揮発性メモリセルのメモリアレイ９０１と、不揮発性基準メモリセルの基準アレイ９０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することができる。
【0034】
ＶＭＭアレイ９００では、制御ゲート線９０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ９０２が、制御ゲート線９０３に直交する）、消去ゲート線９０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ９００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ９００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一例では偶数行のみが使用され、別の例では奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0035】
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ９００の不揮発性メモリセル、すなわちＶＭＭアレイ９００のメモリセル３１０は、任意選択的に、サブスレッショルド領域で動作するように構成される。
【0036】
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱反転（サブスレッショルド領域）でバイアスされ:
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
Ｉｄｓはドレイン－ソース間電流であり、Ｖｇはメモリセルのゲート電圧であり、Ｖｔｈはメモリセルの閾値電圧であり、Ｖｔは熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷であり、ｎは傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、そして、Ｃｏｘはゲート酸化物層の容量であり、Ｉｏは、閾値電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、ここで、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
【0037】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0038】
電流入力を伴うベクトルマトリックス乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
ここで、ｗａ＝メモリアレイの各メモリセルのｗである。
Ｖｔｈｐは周辺メモリセルの有効閾値電圧であり、Ｖｔｈａはメイン（データ）メモリセルの有効閾値電圧である。トランジスタの閾値電圧は基板本体バイアス電圧の関数であり、Ｖｓｂと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように変調され得ることに留意されたい。閾値電圧Ｖｔｈは、次のように表すことができ：
【数1】
式中、Ｖｔｈ０は、ゼロ基板バイアスを有するスレッショルド電圧であり、φＦは表面電位であり、ガンマは本体効果パラメータである。
【0039】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0040】
代替的に、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる：
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
すなわち、線形領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する。
【0041】
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
【0042】
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して、入出力電流を入出力電圧に線形変換することができる。
【0043】
代替的に、本明細書に記載されたＶＭＭアレイのメモリセルは、飽和領域で動作するように構成することができる：
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2、ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ∝（Ｖｇｓ－Ｖｔｈ）2、すなわち、重みＷは（Ｖｇｓ－Ｖｔｈ）2に比例する。
【0044】
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
【0045】
代替的に、本明細書に記載されるＶＭＭアレイのメモリセルは、ニューラルネットワークの各層又は多層に対して全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用され得る。
【0046】
図７のＶＭＭアレイ３２の他の例は、参照により本明細書に組み込まれる米国特許第１０，７４８，６３０号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
【0047】
図１０は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間のシナプスとして利用される、ニューロンＶＭＭアレイ１０００を示す。ＶＭＭアレイ１０００は、不揮発性メモリセルのメモリアレイ１００３と、第１の不揮発性基準メモリセルの基準アレイ１００１と、第２の不揮発性基準メモリセルの基準アレイ１００２と、を含む。アレイの列方向に配置された基準アレイ１００１及び１００２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１０１４（部分的にのみ示される）を通してダイオード接続される。基準セルは、目標基準レベルにチューニング（例えば、プログラム）される。目標基準レベルは、基準ミニアレイマトリックス（図示せず）によって提供される。
【0048】
メモリアレイ１００３は、２つの目的を果たす。第一に、メモリアレイ１００３は、ＶＭＭアレイ１０００により使用される重みを、それぞれのメモリセルに記憶する。第二に、メモリアレイ１００３は、メモリアレイ１００３に記憶された重みを、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１００１及び１００２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）に有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。乗算及び加算の関数を実行することで、メモリアレイ１００３は、別個の乗算及び加算の論理回路の必要性をなくし、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にそれぞれのビット線ＢＬ０～ＢＬＮに現れる。ビット線ＢＬ０～ＢＬＮの各々の電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
【0049】
表５は、ＶＭＭアレイ１０００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表５：図１０のＶＭＭアレイ１０００の動作
【表5】
【0050】
図１１は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０３と、第１の不揮発性基準メモリセルの基準アレイ１１０１と、第２の不揮発性基準メモリセルの基準アレイ１１０２と、を含む。基準アレイ１１０１及び１１０２は、ＶＭＭアレイ１１００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１１００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0051】
表６は、ＶＭＭアレイ１１００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表６：図１１のＶＭＭアレイ１１００の動作
【表6】
【0052】
図１２は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１２００を示す。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１２１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１２１２は、各々読み出し動作中に第１及び第２の不揮発性基準メモリセルのそれぞれのビット線（ＢＬＲ０など）の一定電圧を確実にするために、対応のマルチプレクサ１２０５及びカスコーディングトランジスタ１２０４を含む。基準セルは、目標基準レベルにチューニングされる。
【0053】
メモリアレイ１２０３は、２つの目的を果たす。第一に、メモリアレイ１２０３は、ＶＭＭアレイ１２００によって使用される重みを記憶する。第二に、メモリアレイ１２０３は、メモリアレイに記憶された重みを、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１２０１及び１２０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に有効に乗算して、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに現れ、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線の電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0054】
ＶＭＭアレイ１２００は、メモリアレイ１２０３内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに記憶されるなど）、セルは消去され、一連の部分的なプログラミング動作が最初からやり直される。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去され（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
【0055】
表７は、ＶＭＭアレイ１２００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表７：図１２のＶＭＭアレイ１２００の動作
【表7】
【0056】
図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、基準アレイ１３０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、必要に応じて完全に消去され、部分的にプログラムされ、部分的に消去され得る。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに適用される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【0057】
表８は、ＶＭＭアレイ１３００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。


表８：図１３のＶＭＭアレイ１３００の動作
【表8】
【0058】
図２２は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２２００を示す。ＶＭＭアレイ２２００では、入力ＩＮＰＵＴ0．．．、ＩＮＰＵＴNは、それぞれ、ビット線ＢＬ0、．．．ＢＬNで受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、それぞれ、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3で生成される。
【0059】
図２３は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２３００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、それぞれ、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3で受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
【0060】
図２４は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２４００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、それぞれ、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
【0061】
図２５は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２５００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、それぞれ、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
【0062】
図２６は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２６００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnが、それぞれ、垂直制御ゲート線ＣＧ0、．．．、ＣＧNに受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
【0063】
図２７は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２７００を示す。この例では、それぞれ、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、それぞれ、ビット線ＢＬ0、．．．、ＢＬNに結合されているビット線制御ゲート２７０１－１、２７０１－２、．．．、２７０１－（Ｎ－１）及び２７０１－Ｎのゲートに受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
【0064】
図２８は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、それぞれ、ワード線ＷＬ0、．．．、ＷＬMに受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0065】
図２９は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、それぞれ、垂直ソース線ＳＬ0、．．．、ＳＬNに生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線に結合されている。
【0066】
図３０は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ３０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、それぞれ、垂直ビット線ＢＬ0、．．．、ＢＬNに生成され、各ビット線ＢＬiは、列ｉ内の全てのメモリセルのビット線に結合されている。
＜長・短期メモリ＞
【0067】
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調節する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
【0068】
図１４は、例示的なＬＳＴＭ１４００を示す。この例におけるＬＳＴＭ１４００は、セル１４０１、１４０２、１４０３及び１４０４を含む。セル１４０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１４０２は、入力ベクトルｘ1と、セル１４０１からの出力ベクトル（隠れ状態）ｈ0と、セル１４０１からのセル状態ｃ0と、を受け取り、出力ベクトルｈ1と、セル状態ベクトルｃ1と、を生成する。セル１４０３は、入力ベクトルｘ2と、セル１４０２からの出力ベクトル（隠れ状態）ｈ1と、セル１４０２からのセル状態ｃ1と、を受け取り、出力ベクトルｈ2と、セル状態ベクトルｃ2と、を生成する。セル１４０４は、入力ベクトルｘ3と、セル１４０３からの出力ベクトル（隠れ状態）ｈ2と、セル１４０３からのセル状態ｃ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
【0069】
図１５は、図１４のセル１４０１、１４０２、１４０３、及び１４０４に使用可能なＬＳＴＭセル１５００の例示的な実装を示す。ＬＳＴＭセル１５００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
【0070】
ＬＳＴＭセル１５００は、シグモイド関数デバイス１５０１、１５０２、及び１５０３を含み、それらの各々が０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１５００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１５０４及び１５０５と、２つのベクトルを乗算するための乗算器デバイス１５０６、１５０７、及び１５０８と、２つのベクトルを加算するための加算器デバイス１５０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができるか、又は他の目的のためにアクセスすることができる。
【0071】
図１６は、ＬＳＴＭセル１５００の一実装の一例であるＬＳＴＭセル１６００を示す。読者の便宜のために、ＬＳＴＭセル１５００からの同じ採番方法が、ＬＳＴＭセル１６００で使用される。シグモイド関数デバイス１５０１、１５０２、及び１５０３、並びにｔａｎｈデバイス１５０４は各々、複数のＶＭＭアレイ１６０１及び活性化関数ブロック１６０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが分かる。乗算器デバイス１５０６、１５０７、及び１５０８、並びに加算器デバイス１５０９は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック１６０２は、デジタル方式、又はアナログ方式で実装され得る。
【0072】
ＬＳＴＭセル１６００の代替例（及びＬＳＴＭセル１５００の一実装の別の例）を図１７に示す。図１７では、シグモイド関数デバイス１５０１、１５０２及び１５０３、並びにｔａｎｈデバイス１５０４は、同じ物理ハードウェア（ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１７００はまた、２つのベクトルを乗算するための乗算器デバイス１７０３と、２つのベクトルを加算するための加算器デバイス１７０８と、（活性化関数ブロック１７０２を含む）ｔａｎｈデバイス１５０５と、値ｉ（ｔ）を、ｉ（ｔ）がシグモイド関数ブロック１７０２から出力されるときに記憶するためのレジスタ１７０７と、値ｆ（ｔ）*ｃ（ｔ－１）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０４と、値ｉ（ｔ）*ｕ（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０５と、値ｏ（ｔ）*ｃ～（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０６と、マルチプレクサ１７０９と、を含む。
【0073】
ＬＳＴＭセル１６００がＶＭＭアレイ１６０１とそれぞれの活性化関数ブロック１６０２との複数のセットを含むのに対し、ＬＳＴＭセル１７００は、ＬＳＴＭセル１７００の例では複数の層を表すために使用される、ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２の１つのセットのみを含む。ＬＳＴＭセル１７００は、ＬＳＴＭセル１６００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭセル１７００は、ＬＳＴＭ１６００より必要とするスペースが少ない。
【0074】
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらの各々は、加算器及び活性化関数ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される例は、ＶＭＭアレイ自体の外側に必要とされる回路を削減する。
＜ゲート付き回帰型ユニット＞
【0075】
アナログＶＭＭ実装は、ＧＲＵ（gated recurrent unit、ゲート付き回帰型ユニット）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少数の構成要素を含むことを除いて、ＬＳＴＭに類似している。
【0076】
図１８は、例示的なＧＲＵ１８００を示す。この例におけるＧＲＵ１８００は、セル１８０１、１８０２、１８０３及び１８０４を含む。セル１８０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル１８０２は、入力ベクトルｘ1と、セル１８０１からの出力ベクトルｈ0と、を受け取り、出力ベクトルｈ1を生成する。セル１８０３は、入力ベクトルｘ2と、セル１８０２からの出力ベクトル（隠れ状態）ｈ1と、を受け取り、出力ベクトルｈ2を生成する。セル１８０４は、入力ベクトルｘ3と、セル１８０３からの出力ベクトル（隠れ状態）ｈ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
【0077】
図１９は、図１８のセル１８０１、１８０２、１８０３、及び１８０４に使用され得るＧＲＵセル１９００の例示的な実装を示す。ＧＲＵセル１９００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル１９００は、シグモイド関数デバイス１９０１及び１９０２を含み、それらの各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル１９００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１９０３と、２つのベクトルを乗算するための複数の乗算器デバイス１９０４、１９０５、及び１９０６と、２つのベクトルを加算するための加算器デバイス１９０７と、１から入力を減算して出力を生成するための相補デバイス１９０８と、を含む。
【0078】
図２０は、ＧＲＵセル１９００の一実装の一例であるＧＲＵセル２０００を示す。読者の便宜のために、ＧＲＵセル１９００からの同じ採番方法が、ＧＲＵセル２０００で使用される。図２０から分かるように、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は各々、複数のＶＭＭアレイ２００１及び活性化関数ブロック２００２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが分かる。乗算器デバイス１９０４、１９０５、１９０６、加算器デバイス１９０７、及び相補デバイス１９０８は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック２００２は、デジタル方式、又はアナログ方式で実装され得る。
【0079】
ＧＲＵセル２０００の代替例（及びＧＲＵセル１９００の一実装の別の例）を図２１に示す。図２１において、ＧＲＵセル２１００は、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２を利用しており、シグモイド関数として構成された場合には、０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図２１では、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は、同じ物理ハードウェア（ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２）を、時分割多重化された方式で共有する。ＧＲＵセル２１００はまた、２つのベクトルを乗算するための乗算器デバイス２１０３と、２つのベクトルを加算するための加算器デバイス２１０５と、１から入力を減算して、出力を生成するためのコンプリメンタリデバイス２１０９と、マルチプレクサ２１０４と、値ｈ（ｔ－１）*ｒ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０６と、値ｈ（ｔ－１）*ｚ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０７と、値ｈ＾（ｔ）*（１－ｚ（（ｔ））を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０８と、を含む。
【0080】
ＧＲＵセル２０００がＶＭＭアレイ２００１及び活性化関数ブロック２００２の複数のセットを含むのに対し、ＧＲＵセル２１００は、ＧＲＵセル２１００の例では複数の層を表すために使用される、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２の１つのセットのみを含む。ＧＲＵセル２１００は、ＧＲＵセル２０００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２１００は、ＧＲＵセル２０００よりも必要とするスペースが少ない。
【0081】
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらの各々は、加算器及び活性化関数ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される例は、ＶＭＭアレイ自体の外側に必要とされる回路を削減する。
【0082】
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、パルス、時間変調パルス、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力は、アナログレベル、バイナリレベル、タイミングパルス、パルス、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
【0083】
一般に、ＶＭＭアレイ内の各メモリセルに関して、各重みＷは、単一のメモリセルによって、又は差動セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差分セルの場合では、重みＷを差分重み（Ｗ＝Ｗ＋－Ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みＷを実装するために２つのメモリセルが必要とされる。
【0084】
図３１は、ＶＭＭシステム３１００を示す。いくつかの例では、ＶＭＭアレイに記憶された重みＷは、差動対、Ｗ＋（正の重み）及びＷ－（負の重み）として記憶され、ここで、Ｗ＝（Ｗ＋）－（Ｗ－）である。ＶＭＭシステム３１００において、複数のビット線の半分は、Ｗ＋線、すなわち、正の重みＷ＋を記憶することになるメモリセルに接続するビット線として指定され、複数のビット線の他の半分は、Ｗ－線、すなわち、負の重みＷ－を実装するメモリセルに接続するビット線として指定される。Ｗ－線は、Ｗ＋線の間に交互に散在される。減算演算は、加算回路３１０１及び３１０２のような、Ｗ＋線及びＷ－線から電流を受け取る加算回路によって実行される。Ｗ＋線の出力及びＷ－線の出力を一緒に組み合わせて、（Ｗ＋、Ｗ－）線の全ての対の（Ｗ＋、Ｗ－）セルの各対に対して効果的にＷ＝Ｗ＋－Ｗ－を与える。これまでＷ＋線間に交互に散在するＷ－線に関して説明してきたが、他の例では、Ｗ＋線及びＷ－線は、アレイ内のどこにでも任意に配置され得る。
【0085】
図３２は、別の例を示す。ＶＭＭシステム３２１０において、正の重みＷ＋は第１のアレイ３２１１に実装され、負の重みＷ－は第２のアレイ３２１２内に実装され、第２のアレイ３２１２は第１のアレイとは別個であり、結果として生じる重みは、加算回路３２１３によって適切に一緒に組み合わされる。
【0086】
図３３は、ＶＭＭシステム３３００を示す。ＶＭＭアレイに記憶された重みＷは、差動対、Ｗ＋（正の重み）及びＷ－（負の重み）として記憶され、ここで、Ｗ＝（Ｗ＋）－（Ｗ－）である。ＶＭＭシステム３３００は、アレイ３３０１及びアレイ３３０２を備える。アレイ３３０１及び３３０２の各々における複数のビット線の半分は、Ｗ＋線として指定され、すなわち、正の重みＷ＋を記憶するメモリセルに接続するビット線であり、アレイ３３０１及び３３０２の各々における複数のビット線の他の半分はＷ－線として指定され、すなわち、負の重みＷ－を実装するメモリセルに接続するビット線である。Ｗ－線は、Ｗ＋線の間に交互に散在される。減算演算は、加算回路３３０３、３３０４、３３０５及び３３０６のような、Ｗ＋線及びＷ－線から電流を受け取る加算回路によって実行される。各アレイ３３０１、３３０２からのＷ＋線の出力及びＷ－線の出力をそれぞれ一緒に組み合わせて、（Ｗ＋、Ｗ－）線の全ての対の（Ｗ＋、Ｗ－）セルの各対に対して効果的にＷ＝Ｗ＋－Ｗ－を与える。加えて、各アレイ３３０１及び３３０２からのＷ値は、各Ｗ値がアレイ３３０１からのＷ値からアレイ３３０２からのＷ値を引いた結果であり、加算回路３３０７及び３３０８からの最終結果が２つの差分値のうちの１つの差分値であることを意味するように、加算回路３３０７及び３３０８を介して更に組み合わされ得る。
【0087】
アナログニューラルメモリシステムに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持する。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持するべきであり、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
【0088】
同様に、読み出し動作は、Ｎ個の異なるレベル間を正確に識別することができなければならない。
【0089】
ＶＭＭシステムにおけるプログラム及び読み出し動作では精度が極めて重要であることが理解されよう。しかしながら、メモリセル間の内因性の差異が、システムの正確度を損なう可能性がある。例えば、セルが導通させ得る最大セル電流（Icell max）、セルに記憶されているビット数、セルのＩ－Ｖ傾斜（アナログ連続入力）（セルの端子の各々特定の電圧に対するセルによって引き出される電流を示す）、温度挙動、及びセルが奇数行に位置するのか又は偶数行に位置するのか等の特性が、ニューラルネットワーク性能に影響を及ぼし得る。セルがどのように利用されるかの外因性の差異もまた、正確度を損なう可能性がある。例えば、外部構成要素とセルとの間の回路不整合及び差異、並びにアレイ内のセルの位置に基づく電流降下などの特性が、正確度に影響を及ぼす。
【0090】
動作中のセル間の内因性及び外因性の差異を補償するためにＶＭＭシステムにおいてリアルタイムで実行することができる較正技術が必要とされている。
【発明の概要】
【0091】
深層学習人工ニューラルネットワークにおいて様々な電気パラメータの較正を実行するための多数の例が開示されている。そのような電気パラメータの較正は、トランジスタ、メモリセル、もしくは他のデバイス間の差異、又は動作温度の変化を補償することができる。電気パラメータは、深層学習人工ニューラルネットワーク全体、深層学習人工ニューラルネットワーク内の各層、又は深層学習人工ニューラルネットワーク内の層の一部に対して較正をすることができる。
【0092】
【0093】
【0094】
【0095】
【0096】
【0097】
【0098】
【0099】
【0100】
【0101】
【0102】
【0103】
【0104】
【0105】
【0106】
【0107】
【0108】
【0109】
【0110】
【0111】
【0112】
【0113】
【0114】
【0115】
【0116】
【0117】
【0118】
【0119】
【0120】
【0121】
【0122】
【0123】
【0124】
【0125】
【0126】
【0127】
【0128】
【0129】
【0130】
【0131】
【0132】
【0133】
【0134】
【0135】
【0136】
【0137】
【0138】
【0139】
【0140】
【0141】
【0142】
【0143】
【0144】
【0145】
【0146】
【0147】
【0148】
【0149】
【0150】
【0151】
【0152】
【0153】
【0154】
【0155】
【0156】
【0157】
【0158】
【0159】
【0160】
【0161】
【0162】
【0163】
【0164】
【0165】
【0166】
【0167】
【0168】
【0169】
【0170】
【0171】
【図面の簡単な説明】
【0172】
【図1】人工ニューラルネットワークを例解する図である。
【図2】先行技術のスプリットゲートフラッシュメモリセルを示す。
【図3】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図4】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図5】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図6】１つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを例解する図である。
【図7】ベクトルマトリックス乗算システムを例解するブロック図である。
【図8】１つ以上のベクトルマトリックス乗算システムを利用する例示的な人工ニューラルネットワークを例解するブロック図である。
【図9】ベクトルマトリックス乗算システムの別の例を示す。
【図10】ベクトルマトリックス乗算システムの別の例を示す。
【図11】ベクトルマトリックス乗算システムの別の例を示す。
【図12】ベクトルマトリックス乗算システムの別の例を示す。
【図13】ベクトルマトリックス乗算システムの別の例を示す。
【図14】先行技術の長・短期メモリシステムを示す。
【図15】長・短期メモリシステムで使用する例示的なセルを示す。
【図16】図１５のセルの例示的な実施形態を示す。
【図17】図１５のセルの別の例示的な実施形態を示す。
【図18】先行技術のゲート付き回帰型ユニットシステムを示す。
【図19】ゲート付き回帰型ユニットシステムで使用する例示的なセルを示す。
【図20】図１９のセルの例示的な実施形態を示す。
【図21】図１９のセルの別の例示的な実施形態を示す。
【図22】ベクトルマトリックス乗算システムの別の例を示す。
【図23】ベクトルマトリックス乗算システムの別の例を示す。
【図24】ベクトルマトリックス乗算システムの別の例を示す。
【図25】ベクトルマトリックス乗算システムの別の例を示す。
【図26】ベクトルマトリックス乗算システムの別の例を示す。
【図27】ベクトルマトリックス乗算システムの別の例を示す。
【図28】ベクトルマトリックス乗算システムの別の例を示す。
【図29】ベクトルマトリックス乗算システムの別の例を示す。
【図30】ベクトルマトリックス乗算システムの別の例を示す。
【図31】ベクトルマトリックス乗算システムの別の例を示す。
【図32】ベクトルマトリックス乗算システムの別の例を示す。
【図33】ベクトルマトリックス乗算システムの別の例を示す。
【図34】ベクトルマトリックス乗算システムの別の例を示す。
【図35】例示的な較正方法を示す。
【図36】別の例示的な較正方法を示す。
【図37】別の例示的な較正方法を示す。
【図38】ベクトルマトリックス乗算システムの動作温度の典型的な経時変化を示すグラフを示す。
【図39】様々な動作温度で様々な値を記憶する様々な不揮発性メモリセルの電流－電圧特性を示す。
【図40】差動電流－電圧変換器を示す。
【図41】差動逐次アドレスレジスタアナログ－デジタル変換器を示す。
【図42】例示的な読み出し回路を示す。
【図43】例示的な入力ブロックを示す。
【図44】例示的な入力ブロックを示す。
【図45】例示的な入力ブロックを示す。
【図46】例示的な入力ブロックを示す。
【図47】例示的な入力ブロックを示す。
【図48】例示的なデュアルレジスタブロックを示す。
【図49】入力ブロックの例示的な入出力を示す。
【図50】例示的な出力ブロックを示す。
【図51】例示的な入力ブロックを示す。
【図52】グローバルデジタル－アナログ変換器及び行デコーダの一例を示す。
【図53】グローバルデジタル－アナログ変換器及び行デコーダの一例を示す。
【図54】グローバルデジタル－アナログ変換器及び行デコーダの一例を示す。
【図55】デジタル－アナログ変換器の例示的な波形を示す。
【図56】デジタル－アナログ変換器の例示的な波形を示す。
【図57】デジタル－アナログ変換器の出力例を示す。
【図58】デジタル－アナログ変換器の出力例を示す。
【図59】例示的な較正回路を示す。
【図60】較正回路の一例を示す。
【図61】較正回路の一例を示す。
【図62】較正回路の一例を示す。
【図63】較正回路の一例を示す。
【図64】較正回路の一例を示す。
【図65】例示的な入力ブロックを示す。
【図66】例示的な行入力回路を示す。
【図67】例示的なグローバル入力生成器を示す。
【図68】例示的なアレイ及びサンプリングされたニューロン回路を示す。
【図69】例示的なアレイ、基準アレイ、及びサンプリングされたニューロン回路を示す。
【図70】例示的な基準アレイ及びサンプリングされたニューロン回路を示す。
【図71】例示的なアレイ較正器を示す。
【図72】例示的な電流－電圧変換器を示す。
【図73】例示的な較正方法を示す。
【図74】例示的な較正方法を示す。
【図75】例示的な較正方法を示す。
【図76】例示的な較正方法を示す。
【図77】例示的な較正方法を示す。
【図78】例示的な較正方法を示す。
【図79】ＧＤＡＣ入力レベルから出力レベルへの選択の一例を示す。
【図80】ＧＤＡＣ入力レベルから出力レベルへの選択の一例を示す。
【図81】ＧＤＡＣ入力レベルから出力レベルへの選択の一例を示す。
【発明を実施するための形態】
【0173】
本発明の実施例の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
＜ＶＭＭシステムの概要＞
【0174】
図３４は、例示的なＶＭＭシステム３４００のブロック図を示す。ＶＭＭシステム３４００は、ＶＭＭアレイ３４０１、行デコーダ３４０２、高電圧デコーダ３４０３、列デコーダ３４０４、ビット線ドライバ３４０５、入力回路３４０６、出力回路３４０７、制御論理３４０８、及びバイアス生成器３４０９を備える。ＶＭＭシステム３４００は、チャージポンプ３４１１、チャージポンプレギュレータ３４１２、及び高電圧アナログ精度レベル生成器３４１３を含む、高電圧生成ブロック３４１０を更に備える。ＶＭＭシステム３４００は、（プログラム／消去、又は重みチューニング）アルゴリズムコントローラ３４１４、アナログ回路３４１５、制御エンジン３４１６（限定するものではないが、算術機能、起動機能、埋め込みマイクロコントローラ論理などの機能を含み得る）、及びテスト制御論理３４１７を更に備える。以下に記載されるシステム及び方法は、ＶＭＭシステム３４００に実装され得る。
【0175】
入力回路３４０６は、ＤＡＣ（digital to analog converter、デジタルアナログ変換器）、ＤＰＣ（digital to pulses converter、デジタルパルス変換器、digital to time modulated pulse converter、デジタル時間変調パルス変換器）、ＡＡＣ（analog to analog converter、電流電圧変換器、対数変換器などのアナログアナログ変換器）、ＰＡＣ（pulse to analog level converter、パルスアナログレベル変換器）、又は任意の他の種類の変換器などの回路を含み得る。入力回路３４０６は、正規化、線形もしくは非線形アップ／ダウンスケーリング関数、又は算術関数を実装し得る。入力回路３４０６は、入力レベルのための温度補償関数を実装し得る。入力回路３４０６は、ＲｅＬＵ又はシグモイドなどの活性化関数を実装し得る。出力回路３４０７は、ＡＤＣ（analog to digital converter、ニューロンアナログ出力をデジタルビットに変換するための、アナログ－デジタル変換器）、ＡＡＣ（analog to analog converter、電流－電圧変換器、対数変換器などのアナログ－アナログ変換器）、ＡＰＣ（analog to pulse converter、アナログ－パルス変換器、analog to time modulated pulse converter、アナログ－時間変調パルス変換器）、又は任意の他の種類の変換器などの回路を含み得る。出力回路３４０７は、正規化線形活性化関数（rectified linear activation function、ＲｅＬＵ）又はシグモイドなどの活性化関数を実装し得る。出力回路３４０７は、ニューロン出力の統計的正規化、正則化、アップ／ダウンスケーリング／ゲイン関数、統計的丸め、又は算術関数（例えば、加算、減算、除算、乗算、シフト、ログ）を実装し得る。出力回路３４０７は、アレイの電力消費をほぼ一定に保つために、又はＩＶの傾斜をほぼ同じに保つことになどによってアレイ（ニューロン）出力の精度を高めるために、ニューロン出力又はアレイ出力（ビット線出力など）のための温度補償関数を実装し得る。
【0176】
リアルタイム較正を実行するための２つのアプローチが、本明細書で説明される。第一に、近似を使用するアプローチが開示され（図３５及び図３６に示す）、平均Ｉ－Ｖデータセットが、実際のアレイ又はサンプリングされたアレイ又は基準アレイから蓄積されたデータに基づいて仮定される。第二に、学習挙動（図３７に示す）を使用するアプローチが開示され、パラメータがネットワーク性能に適合される。
【0177】
図３５は、ＶＭＭシステム３４００を較正するための例示的な較正方法３５００を示す。
【0178】
第一に、１つ以上の電気パラメータが調整され、メモリセル、メモリアレイ、又は周辺回路に適用される（動作３５０１）。これが、実行中の動作３５０１の最初のインスタンスである場合、電気パラメータに初期値が使用される。これが、実行中の動作３５０１の２回目以降のインスタンスである場合、動作３５０３（後述）において決定された任意の調整された電気パラメータが適用される。
【0179】
メモリセルレベルで変更することができる電気パラメータの例は、セルに記憶される重みの分解能（変化するｎ、ここでｎはセルのビット分解能である）（例えば、より小さいｎを使用することで精度がより良好に制御される）、セルが引き出すことができる最大セル電流（Icell max）及び／又は最小セル電流（Icell min）（例えば、より低いＩｃｅｌｌ ｍａｘはより低い電力をもたらし、より高いＩｃｅｌｌ ｍｉｎは改善されたベースラインノイズ耐性をもたらす）；セルＩ－Ｖ傾斜（例えば、特定の性能測定基準を達成するための傾斜）；並びにセル温度挙動及び関連する補償方式（温度変化時のバイアス電圧の調整など）を含むが、これらに限定されない。
【0180】
メモリアレイレベルで変更することができる電気パラメータの例は、許容される欠陥（スタックした「１」又は「０」、不良行又は不良列）の数；許容されるノイズフロア（例えば、冗長セル／アレイ部分と置換する前、又は特定のセル／アレイ部分を使用できないようにする前の熱雑音又はポップコーンノイズ又はフリッカーノイズなど）；バンクの数（Ｍ行Ｎ列）；書き込みＩ／Ｏ幅（並列に書き込まれたセルの数；これは、例えば、動作電流からのＩＲｄｒｏｐ、すなわち電圧降下に対するトレードオフである）；ソース線を共有する行の数；セクタサイズ（行及び列の数、これは、例えば、同じ高電圧線の共有による妨害に対する面積のトレードオフである）；アレイバイアス条件（ビット線、ワード線、制御ゲート、消去ゲートへのバイアスなど）を含むが、これらに限定されない。
【0181】
周辺回路レベルで変化させることができる電気パラメータの例には、出力ニューロン回路における抵抗、キャパシタンス、又は別の可変特性；出力に対して実行されるスケーリングの程度；ニューロン出力から生成されたデジタル出力のビット分解能；オフセット較正；電力と速度との間のトレードオフ；デジタル－アナログ変換器、アナログ－デジタル変換器、又は活性化回路を対象とした多重化（ＶＭＭアレイ毎にいくつが必要とされるか、レイテンシ及びスループットのトレードオフ対面積）が含まれるが、これらに限定されない。正規化回路又は整形回路などの回路は、周辺回路の更なる例である。
【0182】
第二に、性能目標チェックが実行される（動作３５０２）。これは、例えば、ニューロン電流（アレイからのビット線電流）又は平均ニューロン電流（ここで、ニューロン電流及び平均ニューロン電流は、決定された値の例である）が特定の温度で目標電流（所定の閾値）を満たすかどうかをチェックすること、あるいはニューロン電流又は平均ニューロン電流が活性化後に所定の閾値を満たすかどうかをチェックすることを含むことができる。性能目標は、目標ニューロン値、回路正確度、電力、又はレイテンシに関係し得る。性能目標（所定の閾値）が達成された場合、較正方法３５００は動作３５０６に進み、完了する。そうでない場合、方法は次の動作３５０３に進む。
【0183】
動作３５０３において、適用された電気パラメータが調整される（動作３５０３）。
【0184】
動作３５０４において、システムは、適用された電気パラメータが、構成要素又はシステムの公差に対応する範囲内など、所定の範囲内にあるかどうかを判定する。そうである場合、動作３５０１、３５０２、３５０３、及び３５０４が繰り返される。そうでない場合、（電気パラメータが許容可能な量を超えて調整されたことを意味するので）ネットワーク回路は不良であるとみなされ、使用されない（動作３５０５）。例えば、これは不良ダイの結果であり得る。
【0185】
任意選択的に、方法３５００は、ＶＭＭシステム３４００の動作中にリアルタイムで実行することができ、これは、例えば、ＶＭＭシステム３４００の動作温度の変化に伴ってパラメータを較正するのに有用であろう。
【0186】
図３６は、ＶＭＭシステム３４００を較正するための例示的な較正方法３６００を示す。較正方法３６００は、ニューラルネットワーク推論を利用する。そのような推論を生成するためのニューラルネットワークは、多層パーセプトロン（ＭＬＰ）、畳み込みニューラルネットワーク（ＣＮＮ）（例えば、残余ネットワーク、ＲｅｓＮｅｔ－ｘ）、反復ニューラルネットワーク（ＲＮＮ）（例えば、長・短期メモリ、ＬＳＴＭ）など、任意の既知のタイプのニューラルネットワークであり得る。
【0187】
第一に、電気パラメータが適用される（動作３６０１）。これが、実行中の動作３６０１の最初のインスタンスである場合、電気パラメータに初期値が使用される。これが、実行中の動作３６０１の２回目以降のインスタンスである場合、動作３６０３（後述）において決定された任意の調整された電気パラメータが適用される。パラメータは、較正方法３５００の動作３５０１に関して前述したパラメータと同じであり得る。
【0188】
第二に、性能ニューラルネットワーク推論目標チェックが実行される（動作３６０２）。これは、例えば、Ｍｏｄｉｆｉｅｄ Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（ＭＮＩＳＴ）の数字を認識すること、又はＩｍａｇｅＮｅｔの画像を分類することを含むことができる。目標が達成された場合、較正方法３６００は動作３６０６に進み、完了する。そうでない場合、方法は次の動作に進む。
【0189】
動作３６０３において、適用された電気パラメータが調整される。
【0190】
次に、システムは、適用された電気パラメータが、構成要素又はシステムの公差に対応する範囲内など、所定の範囲内にあるかどうかを判定する（動作３６０４）。そうである場合、動作３６０１、３６０２、３６０４、及び３６０４が繰り返される。そうでない場合、（電気パラメータが許容可能な量を超えて調整されたことを意味するので）ネットワーク回路は不良であるとみなされ、使用されない（動作３６０５）。例えば、これは不良ダイの結果であり得る。
【0191】
任意選択的に、方法３６００は、ＶＭＭシステム３４００の動作中にリアルタイムで実行することができ、これは、例えば、ＶＭＭシステム３４００の動作温度の変化に伴ってパラメータを較正するのに有用であろう。
【0192】
図３７は、ＶＭＭシステム３４００を較正するための例示的な較正方法３７００を示す。較正方法３７００は、機械学習を利用する。
【0193】
第一に、ある範囲のバイアス電圧などの電気パラメータを第１の不揮発性メモリシステム（例えば、ＶＭＭシステム３４００）に適用し、結果として生じるニューロン電流又は平均ニューロン電流などの特性を測定し、測定された結果として生じる特性を所定の目標範囲と比較することによって、機械学習モデルセットが生成される。（動作３７０１）。これらのパラメータは、較正方法３５００の動作３５０１に関して前述したパラメータと同じであり得る。
【0194】
第二に、第１の不揮発性メモリシステム又は第２の不揮発性メモリシステム（例えば、ＶＭＭシステム３４００の別のインスタンス）の動作中に、機械学習モデルを使用して、メモリセル、メモリアレイ、及び周辺回路に適用する電気パラメータを決定する（動作３７０２）。
【0195】
図３８は、温度の関数として動作中に電気パラメータがどの程度急速に変化し得るかを示す例を提供する。図３８は、均一なシリコンウェハの温度を特定の温度に変化させるのにかかる時間量である、均一なウェハのシリコン熱伝導率を示す。この熱伝導率は、シリコン内の局所的な電力消費を含む様々な要因によって影響され得る。このグラフに基づいて、熱伝導率は、１度の変化毎に約１００ｍｓである。これは、温度の影響を受ける電気パラメータが、動作中に１００ｍｓ毎に調整を必要とし得ることを意味する。
【0196】
図３９は、ＶＭＭシステム３４００内の異なるメモリセル間の差異の例を提供する。図３９は、各セルがサブスレッショルド領域で動作しているときの複数のメモリセルの電流－電圧データ（Ｉ－Ｖ傾斜を示す）を示す。電流は、電圧ＶＣＧがセルの制御ゲートに印加されたときにセルによって引き出される電流Ｉｃｅｌｌである。図から分かるように、Ｉ－Ｖ傾斜は、ＶＣＧの値毎に異なり得る。セル毎の特定のＩ－Ｖ傾斜は、セルの固有の特性によって影響を受け、セルに記憶された値Ｗに基づいて、並びにセルの動作温度に基づいて変動し得る。Ｉ－Ｖ傾斜はまた、マスクアライメントステップ又はプロセスステップあるいはプロセスインプラントにおけるそのような差異（エッチングむら等）に起因して、セルの物理的寸法又は電気パラメータに基づいて変動する。
【0197】
図４０は、差動電流－電圧変換器４００１を示す。差動電流－電圧変換器４００１は、演算増幅器４００３と、可変積分抵抗器４００４及び４００５と、コモンモード回路４００６（演算増幅器４００３の差動増幅器実装のために使用される）とを含む。差動電流－電圧変換器４００１は、２つの電流入力ＩＢＬ＋及びＩＢＬ－を差動出力電圧ＶＯ＋及びＶＯ－に変換し、出力電圧は可変抵抗器４００４及び４００５の抵抗に比例する。入力電流ＩＢＬ＋及びＩＢＬ－は、任意で、正の重み及び負の重みを表す電流であってもよい。例えば、ＩＢＬ＋は、単一のセルからの電流Ｉｗ＋、又はビット線に結合された複数のｗ＋セルからの電流の和であるビット線電流であってもよく、ＩＢＬ－は、単一のセルからの電流Ｉｗ－、又はビット線に結合された複数のｗ－セルからの電流の和であるビット線電流であってもよい。そのような正の重み及び負の重みは、重み（Ｗ＝Ｗ＋－Ｗ－）を示すためにニューラルネットワークにおいて使用され得る。別の例では、２つの入力電流ＩＢＬ＋及びＩＢＬ－は、アレイからのセル電流又はビット線電流、及び基準電流を表すことができる。
【0198】
図４１は、差動逐次アドレスレジスタ（ＳＡＲ）アナログ－デジタル変換器（ＡＤＣ）４１０２を示す。
【0199】
差動逐次アドレスレジスタアナログ－デジタル変換器４１０２は、適切なデジタル出力を識別するために、全ての可能な量子化レベルにわたるバイナリサーチを使用して、アナログ入力又は差動アナログ入力をデジタル出力に変換する。
【0200】
差動逐次アドレスレジスタアナログ－デジタル変換器４１０２は、バイナリ容量性デジタル－アナログ変換器（ＣＤＡＣ）４１０７と、バイナリＣＤＡＣ４１０８（ＣＤＡＣ４１０７と相補的）と、比較器４１０９と、ＳＡＲ論理及びレジスタ４１１０とを備える。
【0201】
差動逐次アドレスレジスタアナログ－デジタル変換器４１０２は、差動電流入力Ｖｉｎｐ及びＶｉｎｎを受け取る。ＳＡＲ論理及びレジスタ４１１０は、電圧源をキャパシタに結合するＣＤＡＣ４１０７及び４１０８内のスイッチを制御する、全ての可能なデジタルビットの組み合わせを巡回する。比較器４１０９の出力が反転すると、ＳＡＲ論理及びレジスタ４１１０内のデジタルビットの組み合わせがデジタル出力として出力される。任意選択で、ＳＡＲ論理及びレジスタ４１１０は、デジタル値のビットの過半数が「１」である場合に「１」であり、対応するデジタル値のビットの過半数が「１」でない場合に、「０」である追加の１ビットデジタル出力ＤＭＡＪをデジタル出力内に生成する。
【0202】
図４２は、図３４のＶＭＭアレイ３４０１などのＶＭＭアレイ内の１つ以上のビット線に対して読み出し動作を実行するためのオフセット較正を実装する例示的な読み出し回路４２００を示す。読み出し回路４２００は、比較器４２０１、オフセット較正キャパシタデジタル－アナログ変換器４２０２、オフセット較正キャパシタデジタル－アナログ変換器４２０３、及び較正コントローラ４２０４を備える。較正コントローラ４２０４は、図３９に示すように、温度むらに起因して生成されるオフセットを補償するために、ｅｎ及びｅｎｂと標識される種々のスイッチを閉鎖又は開放することによって、オフセット較正キャパシタデジタル－アナログ変換器４２０２及びオフセット較正キャパシタデジタル－アナログ変換器４２０３内の種々のキャパシタを有効化する。
【0203】
図４０及び図４１の回路に対する図３５及び図３６の較正又は訓練プロセス中の学習のための電気パラメータは、ビット分解能の程度（４ビット、５ビット、又は８ビット分解能など）、ニューロンスケーリングの程度（例えば、４Ｘ～２５６Ｘなどのスケーリング係数の大きさなど）、バイアス電流による電力消費の程度（より高いバイアス電流は、より多くの電力及びより速い速度を意味するなど）、並びに温度補償のために追加されるオフセットの量（より高いオフセット値の追加は、より高い回路複雑度を犠牲にしたより高い精度を意味する）を含む。
【0204】
図４３は、図３４のＶＭＭアレイ３４０１のようなＶＭＭアレイに入力を提供するために使用される例示的な入力ブロック４３００を示す。入力ブロック４３００は、グローバルデジタル－アナログ変換器（ＤＡＣ）４３０１と、アドレス行デコーダ４３０２－０～４３０２－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、アドレス行デコーダと、行レジスタ４３０３－０～４３０３－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、行レジスタと、デジタル比較器ブロック４３０４－０～４３０４－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、デジタル比較器ブロックと、行サンプルホールド（Ｓ／Ｈ）バッファ４３０５－０～４３０５－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、行サンプルホールドバッファと、出力信号４３０６－０～４３０６－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、出力信号と、カウンタ４３０７と、を備える。
【0205】
アドレス行デコーダ４３０２－０～４３０２－ｎは、行アドレスＡＤＤ［ｎ：０］及びイネーブル信号ＥＮを受信する。ＥＮＲＯＷで示される各アドレス行デコーダの出力は、ＡＤＤ［ｎ：０］がその特定の行のアドレスであり、かつＥＮがアサートされるときにハイである。行レジスタ４３０３－０～４３０３－ｎには、その特定の行のそれぞれのデジタル入力ビットＤＩＮｘ（ｘは８ビット又は１６ビットなどのビット数である）がロードされ、ロード動作はクロック信号ＣＬＫによってトリガされ、ＤＩＮｘはその特定の行の活性化入力である。ベクトル乗算マトリックス演算を行う。特定のアドレス行デコーダ４３０２の出力がハイであるとき、関連する行レジスタ４３０３がイネーブルされ、そのデジタルビットＤＩＮｘを出力する。カウンタ４３０７は、信号ＥＮによってイネーブルされると、別のクロック信号ＣＬＫＢ内のパルスをカウントする。カウンタ４３０７の出力はカウント値である。デジタル比較器ブロック４３０４－０～４３０４－ｎは、それぞれの行レジスタ４３０３の各々に記憶された活性化値ＤＩＮｘをカウント値と比較する。カウント値が特定の行レジスタ４３０２に記憶された値と一致する場合、対応する行サンプルホールドバッファ４３０５がイネーブルされて、グローバルＤＡＣ４３０１からのアナログ出力値をサンプリング及び保持する。グローバルＤＡＣ４３０１は、（当該行の行レジスタ４３０３のＤＩＮｘにも一致する）カウント値に対してデジタル－アナログ変換を実行する。各行サンプルホールドバッファ４３０５は、保持したアナログ値を出力信号４３０６として出力する。例えば、ｘ＝８であり、ＤＩＮｘが８ビット入力である（ＤＩＮｘに２５６個の異なる値があることを意味する）場合、カウンタ４３０７は２５６までカウントし、次いでリセットされる。そうすることで、ＤＩＮｘの全ての可能な値がカバーされ、各行サンプルホールドバッファ４３０５にその関連するＤＩＮｘの値がロードされる。
【0206】
出力信号４３０６は、例えば、その特定の行におけるプログラミング又は読み出し動作中に、あるいは全ての行が読み出されるニューラル読み出し動作中に、制御ゲート線又はワード線に印加され得る。ニューラル読み出し中、全てのサンプルホールドバッファ４３０５は、それぞれの出力信号４３０６を介してアレイ入力端子を駆動するようにイネーブルされ、その結果、ビット線電流がＶＭＭアレイによって出力され、ビット線電流は次いで、ＩＴＶ（電流－電圧変換器）回路及びＡＤＣ（アナログ－デジタル変換器）回路などの出力回路によって処理される。
【0207】
出力信号４３０６は、例えば、その特定の行におけるプログラミング動作中にそれぞれの制御ゲート線又はワード線に適用され得る。
【0208】
別の例では、行サンプルホールドバッファ４３０４は、時分割多重化方式で複数の行によって共有され得る。
【0209】
図４４は、図３４のＶＭＭアレイ３４０１のようなＶＭＭアレイに入力を提供するために使用される例示的な行入力ブロック４４００を示す。入力ブロック４４００は、グローバルデジタル－アナログ変換器（ＤＡＣ）４４０１と、アドレス行デコーダ４４０２－０～４４０２－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、アドレス行デコーダと、行レジスタ４４０３－０～４４０３－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、行レジスタと、デジタルマルチプレクサ（ｍｕｘ）ブロック４４０４－０～４４０４－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、デジタルマルチプレクサブロックと、行サンプルホールドバッファ４４０５－０～４００５－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、行サンプルホールドバッファと、出力信号４４０６－０～４４０６－ｎであって、各々、０～ｎの番号が付けられた行のうちの１つに対応する、出力信号と、を含む。
【0210】
アドレス行デコーダ４４０２－０～４４０２－ｎは、行アドレスＡＤＤ［ｎ：０］及びイネーブル信号ＥＮを受信する。ＥＮＲＯＷで示される各アドレス行デコーダの出力は、ＡＤＤ［ｎ：０］がその特定の行のアドレスであるときにハイである。行レジスタ４４０３－０～４３０３－ｎには、その特定の行のそれぞれのデジタル入力ビットＤＩＮｘ（ｘは８ビット又は１６ビットなどのビット数である）がロードされ、ロード動作はクロック信号ＣＬＫによってトリガされ、ＤＩＮｘはその特定の行の活性化入力である。特定のアドレス行デコーダ４４０２の出力がハイであり、かつＥＮがアサートされるとき、関連する行レジスタ４４０３がイネーブルされ、そのそれぞれのデジタルビットＤＩＮｘを出力する。ＣＬＫＣＯＵＮＴｘは、カウンタによって提供されるカウント値であり、１と行の総数との間の範囲であり得る。デジタルマルチプレクサ４４０４は、ＣＬＫＣＯＵＮＴｘに応答して、それぞれの行レジスタ４４０３のデータをバスＤＩＮ＿ＧＤＡＣｘに多重送信する。ＣＬＫＣＯＵＮＴｘは、各行のＤＩＮｘがグローバルＤＡＣ４４０１に順に適用されるように、各行を連続した順序（行０、行１、．．．）でイネーブルする。各行サンプルホールドバッファ４４０５は、その関連するアドレス行デコーダ４４０２の出力を受け取り、行アドレスがその特定の行の行アドレスと一致するとき、それぞれの信号ＥＮＲＯＷによってイネーブルされ、その場合、行サンプルホールドバッファ４４０５は、グローバルＤＡＣ４４０１からの値をサンプリングし、それをそれぞれのアナログ出力４４０６として提供する。出力信号４４０６は、例えば、その特定の行におけるプログラミング動作中に制御ゲート線又はワード線に適用され得る。
【0211】
別の例では、行サンプルホールドバッファ４４０５は、行サンプルホールドバッファを時間多重化するために複数の行に共用され得る。
【0212】
図４５は、図３４のＶＭＭアレイ３４０１のようなＶＭＭアレイに入力を提供するために使用される例示的な入力ブロック４５００を示す。入力ブロック４５００は、図４４の入力ブロック４４００と同様であるが、ニューラル読み出し動作のためにグローバルデジタル－アナログ変換器からの複数の出力を提供する。入力ブロック４５００は、グローバルデジタル－アナログ変換器及び行デコーダ４５０１と、アドレス行デコーダ４５０２－０～４５０２－ｎであって、各々、０～ｎの番号が付けられた行のうちのそれぞれ１つに対応する、アドレス行デコーダと、行レジスタ４５０３－０～４５０３－ｎであって、各々、０～ｎの番号が付けられた行のうちのそれぞれ１つに対応する、行レジスタと、デジタル比較器４５０４～４５０４－ｎであって、各々、０～ｎの番号が付けられた行のうちのそれぞれ１つに対応する、デジタル比較器と、行サンプルホールドバッファ４５０５－０～４５０５－ｎであって、各々、０～ｎの番号が付けられた行のうちのそれぞれ１つに対応する、行サンプルホールドバッファと、出力信号４５０６－０～４５０６－ｎであって、各々、０～ｎの番号が付けられた行のうちのそれぞれ１つに対応する、出力信号と、を含む。
【0213】
アドレス行デコーダ４５０２－０～４５０２－ｎは、行アドレスＡＤＤ［ｎ：０］及びイネーブル信号ＥＮを受信する。ＥＮＲＯＷで示される各アドレス行デコーダ４５０２の出力は、ＡＤＤ［ｎ：０］がその特定の行のアドレスであり、かつＥＮがアサートされるときにハイである。行レジスタ４５０３－０～４５０３－ｎには、それぞれのデジタル入力ビットＤＩＮｘ（ｘは８ビット又は１６ビットなどのビット数である）がロードされ、ロードは、その特定の行のクロック信号ＣＬＫによってトリガされ、ＤＩＮｘは、その特定の行の活性化入力である。特定のアドレス行デコーダ４５０２の出力ＥＮＲＯＷがハイであるとき、関連する行レジスタ４５０３がイネーブルされ、そのデジタルビットＤＩＮｘを出力する。カウンタ４５０７は、信号ＥＮによってイネーブルされると、別のクロック信号ＣＬＫＢ内のパルスをカウントする。カウンタ４５０７の出力はカウント値である。デジタル比較器ブロック４５０４－０～４５０４－ｎは、それぞれの行レジスタ４５０３の各々に記憶された活性化値ＤＩＮｘをカウント値と比較する。カウント値が特定の行レジスタ４５０２に記憶された値と一致する場合、対応する行サンプルホールドバッファ４５０５がイネーブルされて、ＧＤＡＣ４５０１からのアナログ出力値をサンプリング及び保持する。図示のように、ＧＤＡＣ４５０１からの２つの垂直アナログ出力線がある。例えば、８ビットＧＤＡＣ４５０１の場合、一方のラインは、０～１２７のアナログレベル（００００００００～０１１１１１１１に対応する）の出力を供給することができ、他方のラインは、１２８～２５５のアナログレベル（１０００００００～１１１１１１１１に対応する）の出力を供給することができる。両方のラインが同時に動作して、行ＤＡＣサンプリング時間を２５６（ＤＡＣ）クロックから１２８（ＤＡＣ）クロックに短縮することができる。出力信号４５０６は、例えば、その特定の行におけるプログラミング動作中に制御ゲート線又はワード線に適用され得る。
【0214】
任意選択で、グローバルデジタル－アナログ変換器４５０１は、奇数行用の第１のグローバルＤＡＣと、偶数行用の第２のグローバルＤＡＣとを備えることができる。
【0215】
図４６は、図３４のＶＭＭアレイ３４０１のようなＶＭＭアレイに入力を提供するために使用される例示的な入力ブロック４６００を示す。入力ブロック４６００は、アナログ電圧源４６０１と、アドレス行デコーダ４６０２－０～４６０２－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちのそれぞれ１つに対応する、アドレス行デコーダと、行レジスタ４６０３－０～４６０３－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちのそれぞれ１つに対応する、行レジスタと、ローカルデジタル－アナログ変換器４６０４－０～４６０４－ｎ（各行はそれ自体のＤＡＣを有する）であって、各々、０～ｎの番号が付けられた行のそれぞれ１つに対応する、ローカルデジタル－アナログ変換器と、行バッファ４６０５－０～４６０５－ｎであって、各々、０～ｎの番号が付けられた行のうちのそれぞれ１つに対応する、行バッファと、出力信号４６０６－０～４６０６－ｎであって、各々、０～ｎの番号が付けられた行のうちのそれぞれ１つに対応する、出力信号と、を含む。
【0216】
アドレス行デコーダ４６０２は、行アドレスＡＤＤ［ｎ：０］及びイネーブル信号ＥＮｘを受信する。各アドレス行デコーダＥＮＲＯＷの出力は、ＡＤＤ［ｎ：０］がその特定の行のアドレスであり、かつＥＮｘがアサートされるときにハイである。行レジスタ４６０３－０～４３０３－ｎには、その特定の行のそれぞれのデジタル入力ビットＤＩＮｘ（ｘは８ビット又は１６ビットなどのビット数である）がロードされ、ロードはクロック信号ＣＬＫによってトリガされ、ＤＩＮｘはその特定の行の活性化入力である。特定のアドレス行デコーダ４６０２の出力ＥＮＲＯＷがハイであるとき、関連する行レジスタ４６０３がイネーブルされ、そのデジタルビットＤＩＮｘを出力する。
【0217】
ローカルデジタル－アナログ変換器４６０４－０～４６０４－ｎは、関連する行レジスタ４６０３に記憶されたデジタルビットＤＩＮｘに対してデジタル－アナログ変換を実行する。その行に対応する行サンプルホールドバッファ４６０５は、デジタル－アナログ変換器４６０４からのアナログ出力をサンプリングし、その値を保持し、その値は、その特定の行の出力信号４６０６として適用される。出力信号４６０６は、例えば、他の図に関して上述した方式で、その特定の行（複数可）におけるプログラミング動作中に制御ゲート線又はワード線に適用され得る。
【0218】
図４７は、グローバルＤＡＣブロック４７０７が追加された、図４６の入力ブロックと同様の例示的な入力ブロック４７００を示す。グローバルＤＡＣブロック４７０７は、ローカルＤＡＣ４７０４と連携して動作する。例えば、ＣＤＡＣ ＤＡＣ（容量性電荷再分配ＤＡＣ）の場合、グローバルＤＡＣ４７０７は、ローカルＣＤＡＣ ＤＡＣに追加の基準電圧を提供して、ＤＡＣ分解能を拡張することができる。
【0219】
入力ブロック４３００、４４００、４５００、４６００、及び４７００に関連する較正のための電気パラメータは、（ＤＩＮｘのビット数を変更することによる）ビット分解能の程度、（ＤＡＣ４６０４及び４７０４並びにＧＤＡＣｘ４３０１、４４０１、４５０１、４６０１、及び４７０７による）バイアスの程度（基準電圧の値を調整すること、又は可変抵抗器などの可変要素を調整することを意味する）、（ＤＡＣ４６０４及び４７０４並びにＧＤＡＣｘ４３０１、４４０１、４５０１、４６０１、及び４７０７による）電力消費の程度、（ＤＡＣ４６０４及び４７０４並びにＧＤＡＣｘ４３０１、４４０１、４５０１、４６０１、及び４７０７による）速度、（ＤＡＣ４６０４及び４７０４並びにＧＤＡＣｘ４３０１、４４０１、４５０１、４６０１、及び４７０７による）オフセットの程度、（ＤＡＣ４６０４及び４７０４並びにＧＤＡＣｘ４３０１、４４０１、４５０１、４６０１、及び４７０７による）温度補償の程度を含むことができるが、これらに限定されない。
【0220】
図４８は、図４３、図４３、図４４、図４６、及び図４７の任意の個々のレジスタの代わりに使用することができる、行レジスタ４３０３、４４０３、４５０３、４６０３、及び４７０３のいずれかなどの例示的なデュアルレジスタブロック４８００を示す。デュアルレジスタブロック４８００は、選択信号１によって制御されるマルチプレクサ４８０３と、選択信号２によって制御されるマルチプレクサ４８０４と、行レジスタ４８０１及び４８０２とを備える。行レジスタ４８０１にマルチプレクサ４８０３を介してデータをロードすることができ、行レジスタ４８０２は、マルチプレクサ４８０４を介してデータを出力し、その逆も可能である。これにより、行レジスタのロード及び読み出しに必要な動作時間が短縮されるが、これは、これらの動作を同時に又は部分的に同時に行うことができるからである。対照的に、単一レジスタ構成では、データを読み出す前にレジスタにロードする時間が必要である。
【0221】
図４９は、デジタル－アナログ変換器を備えることができる入力ブロックの例示的な入力－出力値４９００を示す。ここで、入力ブロックは、２５６個の異なる値Ｌ０～Ｌ２５５に対応する８個のデジタルビットを受け取る。入力ブロックは、グラフに示すように、対数関数に従って、８つのデジタルビットに応答してアナログ電圧Ｖｉｎを生成する。
【0222】
図５０は、例示的な出力ブロック５０００を示す。出力ブロックは、電流－電圧変換器５００１（スケーラブルニューロン回路）及びアナログ－デジタル変換器５００２を備える。電流－電圧変換器５００１は、ＶＭＭアレイ内の列からの出力として出力電流Ｉｎｅｕを受け取り、この電流を電圧に変換する。アナログ－デジタル変換器５００２は、電圧をｎ＋１個のデジタルビットのセットＤ［ｎ：０］に変換する。図示のように、電流－電圧変換器５００１及びアナログ－デジタル変換器５００２は構成可能である（例えば、ｎビット分解能、電力、レイテンシ、スケーリング）。
【0223】
図５１は、入力ブロック（行入力バイアス生成器）５１００を示す。入力ブロック５１００は、ｋビットデジタル－アナログ変換器５１０１、マッピングスカラー５１０２、及びｎビットアナログ－デジタル変換器５１０３を備える。ｋビットデジタル－アナログ変換器５１０１は、ｋ個のビットを入力とし、線形関数又は対数関数を用いてアナログ信号を生成する。グラフ５１０５及び５１０７は、対数関数に従って生成されたアナログ信号の例を示し、グラフ５１０４及び５１０６は、線形関数に従って生成されたアナログ信号の例を示す。マッピングスカラー５１０２は、アナログ信号に対してスケーリング関数を実行し、ｎビットアナログ－デジタル変換器５１０３は、マッピングスカラー５１０２の出力をｎビットのデジタル出力に変換する。したがって、出力ブロック５１００は、マッピングスカラー５１０２を介してｋビット値をｎビット値に変換する。例えば、ｋは１０～１４ビットであり、ｎは５～８ビットである。変換（マッピング）は、例えば、図５９～図６４の較正回路によって支援される。
【0224】
図５２は、デジタル入力及び１つ以上のバイアス電圧に応答して不揮発性メモリアレイに印加されるアナログ信号を生成するために、それぞれ図４３～図４７のＧＤＡＣ４３０１、４４０１、４５０１、４６０１、及び４７０７に使用することができる調整可能なＧＤＡＣ５２２０を示す。調整可能なＧＤＡＣ５２２０は、グローバルＤＡＣｘ５２２１及びバイアス生成器５２２７を含む。バイアス生成器５２２７は、基準アレイ５２２３と、バイアス５２２４を生成するバイアス生成回路５２２２とを含む。バイアス生成回路５２２２は、基準アレイ５２２３を使用して、基準アレイ５２２３が経験する温度変化に基づいて温度が自動的に補償されるバイアス５２２４を生成する。例えば、バイアス５２２４は、基準アレイ５２２３の温度の影響を受ける基準アレイ５２２３によって引き出される電流に基づくことができる。このバイアス５２２４は、結果として生じ、アレイに供給される出力電圧５２２６が温度に対して補償されるように、グローバルＤＡＣ５２２１に供給される。
【0225】
図５３は、図４３～図４７のグローバルデジタル－アナログ変換器及び行デコーダ４３０１、４４０１、４５０１、４６０１、及び４７０７に使用することができるグローバルデジタル－アナログ変換器及び行デコーダ５３５０の一例を示す。グローバルデジタル－アナログ変換器及び行デコーダ５３５０は、ＤＡＣ５３５１、マッピングブロック５３６１、及び出力バッファ５３７１を含む。制御論理（図示せず）は、（ＥＮなどのイネーブル信号を使用した様々なブロックのイネーブル、制御信号のマルチプレクサへの供給、及び他の制御機能などの機能を実行するために）ＧＤＡＣの動作を制御する。
【0226】
ＤＡＣ５３５１は、高基準電圧ＶＲＥＦＨ及び低基準電圧ＶＲＥＦＬを受け取る。ＤＡＣ５３５１は、任意選択で線形関数又は対数関数に従って、ＶＲＥＦＬとＶＲＥＦＨとの間の範囲の電圧を生成するために使用される複数の抵抗器の電圧ラダーを含む。例えば、電圧ラダー内の頂部抵抗器の頂部ノードは、電圧ＶＲＥＦＨを有し、抵抗器の底部は、頂部抵抗器における電圧降下に起因して、より低い電圧を有する。底部抵抗器の底部ノードは電圧ＶＲＥＦＬを有する。これにより、電圧ラダーは、ＶＭＭアレイの不揮発性メモリセルを線形モード又はサブスレッショルドモードで動作させるためにＶＭＭアレイへの電圧供給が所望されるときに必要とされる複数の電圧レベル（Ｌ０、．．．、Ｌｋ）（例えば、ｋは４０９５であってもよい）を生成する。
【0227】
デジタル－アナログ変換器５３５１は、マッピングブロック５３６１内のサブブロック５３６３を介してｍ＋１個の電圧のうちの１つを選択するために使用されるデジタル入力ＤＩＮ［ｎ：０］を受け取り、（ｍ＋１）＝２＾（ｎ＋１）である。例えば、（ｎ＋１）＝８である場合、（ｍ＋１）＝２５６である。マッピングブロック５３６１は、（ｍ＋１）個のトリムブロック５３６２及び（ｍ＋１）個のマルチプレクサ５３６３を含む。マッピングブロック５３６１は、ＤＡＣ５３５１からのｋ＋１個の電圧レベルを、ＤＩＮ［ｎ：０］に対応するそれぞれのアナログ出力に変換する。これは、例えば、アレイ内の不揮発性メモリセルがサブスレッショルド領域で動作している場合に有用であり得る各レベル（トリムブロックＬ０＿ｔｒｍ、．．．Ｌｍ＿ｔｒｍによって表される）のローカルトリミングを用いて達成される。これは、サブスレッショルド領域又は線形領域内の温度に対するＶＭＭアレイ内の不揮発性メモリセルの最も良好に整合するＩ－Ｖ傾斜を達成するために望ましい。
【0228】
基準電圧ＶＲＥＦＬ及びＶＲＥＦＨを調整することによって、ｋ＋１個のレベルも調整される。これは、例えば、この入力ブロックの出力範囲をメモリセルの入力範囲と一致させるためである。これは、基準レベルＶＲＥＦＬ及びＶＲＥＦＨを、温度に対するメモリセルのゲートバイアスの基準レベルと一致するように調整する（例えば、高温では低くシフトし、低温では高くシフトする）ことによる温度補償のためでもある。更なる個々のレベル調整及び温度補償は、マッピングブロック５３６１のレベルトリミング回路によって行われる。変換（マッピング）及び温度補償は、例えば、図５９～図６４の較正回路によって支援される。
【0229】
図５４は、中間的な中間基準レベルＶＲＥＦＭｘが追加された、図５３と同様のグローバルデジタル－アナログ変換器及び行デコーダ５４８０の一例を示す。ＶＲＥＦＭｘ基準レベルの調整及び温度挙動は、ＶＲＥＦＨ基準レベル及びＶＲＥＦＬ基準レベルと同様に制御される。この例は、中間基準レベルを抵抗器ラダーに印加してＧＤＡＣ５４８０のＩ－Ｖ傾斜整合とメモリアレイの入力とを更に調整するための追加のバッファ５４８２を含む。
【0230】
図７９～図８１は、図５３及び図５４のグローバルデジタル－アナログ変換器及び行デコーダ５３５０及び５４８０の任意選択の実装形態に関する追加の詳細を示す。
【0231】
図７９は、ＧＤＡＣ入力レベルから出力レベルへの選択方法７９００を示す。この例では、４０９６個の異なるレベル入力（ｋ＝４０９５）があり、出力レベル（ｍ＝３）当たり４個のトリムビットＴＲＩＭ［３：０］があり、２５６個の可能な出力レベル（Ｌ０．．Ｌｎ）がある。
【0232】
図８０は、ＧＤＡＣ入力レベルから出力レベルへの選択方法８０００を示す。この例では、４０９６個のレベル入力（ｋ＝４０９５）があり、出力レベル（ｍ＝３）当たり４個のトリムビットＴＲＩＭ［３：０］があり、２５６個の可能な出力レベル（Ｌ０．．Ｌｎ）がある。ブロック８００１はグループ選択である。図示のように、４つのグループが存在する。ブロック８００２は、グループ選択ブロック８００１からの１０２４個の可能な出力を調整するトリム選択ブロックである。ブロック８００３は、６４：１多重化を行う出力選択ブロックである。図示のように、図７９と比較して必要なトリムブロック回路の数は少ない。
【0233】
図８１は、ＧＤＡＣ入力レベルから出力レベルへの選択方法８１００を示す。この例では、４０９６個のレベル入力（ｋ＝４０９５）があり、出力レベル（ｍ＝３）当たり４個のトリムビットＴＲＩＭ［３：０］があり、２５６個の出力レベル（Ｌ０．．Ｌｎ）がある。ブロック８１０１はグループ選択である。図示のように、４つのグループが存在する。ブロック８１０２及び８１０３は、グループ選択ブロック８１０１からの１０２４個の可能な出力を調整するトリム選択ブロックである。ブロック８１０４及び８１０５は、６４：１多重化を行う出力選択ブロックである。図示のように、図７９と比較して必要なトリムブロック回路の数は少ない。レイテンシを短縮するために、一方ではブロック８１０２と８１０４との間で、他方ではブロック８１０３と８１０５との間でピンポン法を実行することができる。例えば、ブロック８１０２が入力レベルの第１のセットに対してトリム動作を実行する間、入力レベルの第２のグループがブロック８１０３においてトリムビットを設定するために使用され、その逆も同様である。
【0234】
図５５は、それぞれ図４３～図４７の行サンプルホールドバッファ４３０５、４４０５、４５０５、４６０５、及び４７０５によるサンプルホールド動作のための線形電圧レベルを示す例示的な波形５５００を示す。ＧＤＡＣ出力は、いくつかの異なる値をとることができる。行サンプルホールドバッファ４３０５、４４０５、４５０５、４６０５、及び４７０５によって出力され得るサンプル値の２つの例、すなわち第１のサンプル値及び第２のサンプル値が示されている。このような値は、デジタル値が線形関数に従ってアナログ値に変換される線形領域で動作するＶＭＭアレイ内のメモリセルに適している。
【0235】
図５６は、それぞれ図４３～図４７の行サンプルホールドバッファ４３０５、４４０５、４５０５、４６０５、及び４７０５による例示的なサンプルホールド動作の対数電圧レベルを示す例示的な波形５６００を示す。ＧＤＡＣ出力は、いくつかの異なる値をとることができる。行サンプルホールドバッファ４３０５、４４０５、４５０５、４６０５、及び４７０５によって出力され得るサンプル値の２つの例、すなわち第１のサンプル値及び第２のサンプル値が示されている。このような値は、デジタル値が対数関数に従ってアナログ値に変換されるサブスレッショルド領域で動作するメモリセルに適している。
【0236】
代替的には、グローバルＤＡＣ電圧波形は、飽和領域で動作するメモリセルに利用することができる。
【0237】
図５７は、２つの出力が異なる動作温度で生成される、８ビット分解能（２５６個のレベル）の例示的な２つの線形デジタル－アナログ出力５７００を示す。
【0238】
図５８は、出力がセグメント化されている例示的なデジタル／アナログ出力５８００を示す。各デジタル入力は、図５７と同じアナログ電圧出力に対応するが、入力は、それぞれが異なる電圧曲線に対応するサブグループにグループ化されている。例えば、入力Ｌ０～Ｌ６３は電圧曲線Ｖ１に対応し、入力Ｌ６４～Ｌ１２７は電圧曲線Ｖ２に対応し、入力Ｌ１２８～Ｌ１９１は電圧曲線Ｖ３に対応し、入力Ｌ１９２～Ｌ２５５は電圧曲線Ｖ４に対応する。これは、例えば、２つの最上位ビットを使用して、印加する電圧曲線Ｖ１、Ｖ２、Ｖ３、又はＶ４を決定し、次に残りの６ビットを選択された電圧曲線内の適切な電圧に変換することによって達成することができる。この例では、デジタル入力の数の１／４をグローバルＤＡＣによって変換する必要があるので、グローバルＤＡＣサンプリング時間は４分の１に短縮される。４個のセグメントの代わりに、２個、８個、又は１６個などの他の数のセグメントを使用することができる。
【0239】
図５９は、電流デジタル－アナログ変換器５９０１と、オペアンプ（演算増幅器）５９０２と、ＦＥＴとして図示されるトランジスタ５９０３と、メモリセル５９０４とを備える例示的な行バイアス（Ｉ－Ｖセル／アレイ）較正回路５９００を示す。電流デジタル－アナログ変換器５９０１は、デジタル入力ＤＩＮ［０：ｎ］を受け取ってアナログ電流を出力し、ＤＩＮ［０：ｎ］は、メモリセル５９０４によって引き出される可能性のある電流に対応する範囲のデジタル値を提供する。カスコーディングトランジスタ５９０３を有するオペアンプ５９０２は、メモリセル５９０４のビット線にバイアス基準電圧ＶＲＥＦを印加する。メモリセル５９０４の制御ゲート端子からの電圧は、ＣＧｂｉａｓとして出力される。ＩＤＡＣ５９０１からの電流が変化すると、制御ゲート端子からの電圧もそれに応じて変化する。
【0240】
較正回路５９００は、サブスレッショルド動作において、２５６個のレベルについて０．５ｎＡステップで１～１２８ｎＡの電流範囲で電圧ＣＧｂｉａｓを生成するために使用され得る。したがって、電圧ＣＧｂｉａｓに対して２５６個のレベルが存在し、各レベルは、電流ステップ当たり０．５ｎＡの２５６個の電流レベルのうちの１つを反映する。これらのＣＧｂｉａｓ値を、図４３～図４７のＤＡＣ回路及びＧＤＡＣ回路内の差異を補償するために、ＶＭＭアレイ内のメモリセルの行に適用することができ、その結果、所与のデジタル入力は、メモリセルを含む行がどのＤＡＣ回路に取り付けられているかにかかわらず、ＶＭＭアレイ内のメモリセルに対して同じ効果を有することになる。
【0241】
較正回路５９００は、ニューロン電流（ビット線電流）などの所定の電流に対する等価電圧を生成するために使用することもできる。例えば、１０μＡのニューロン電流に対して、対応するＣＧ電圧が存在する。この場合、メモリセル５９０４は、ニューラルメモリアレイ内のデータパターンを表すために、いくつかの混合電流パターンを有する複数のセル（サブスレッショルドモードで動作する）を含むことになる。複数のセルが使用される場合に得られるＣＧバイアス電圧は、温度の変化によってニューロン電流及びアレイ電流が変化しないように、読み出し動作中にアレイに印加される。
【0242】
図５９及び図６０～図６２のメモリセル５９０４、６００４、６１３４、及び６２５４（以下で説明する）は、図３４のＶＭＭアレイ３４０１などのメインＶＭＭアレイの一部、又は別個の基準セクタもしくは外部ミニアレイであってもよい。
【0243】
図６０は、電流デジタル－アナログ変換器（ＩＤＡＣ）６００１と、オペアンプ６００２と、比較器６００６と、ＦＥＴ６００３と、メモリセル６００４とを備える行バイアス較正回路６０００を示す。ＦＥＴ６００３は、カスケード関数を実行する。電流デジタル－アナログ変換器６００１は、デジタル入力ＤＩＮ［０：ｎ］を受け取ってアナログ電流を出力し、ＤＩＮ［０：ｎ］は、メモリセル６００４によって引き出される可能性のある電流に対応する範囲のデジタル値を提供する。カスコーディングＦＥＴ６００３を有するオペアンプ６００２は、メモリセル６００４のビット線ＢＬ（第１の端子）にバイアス基準電圧ＶＲＥＦを印加する。比較器６００６は、その反転入力で第２の基準電圧ＶＲＥＦ２を受け取り、その出力で制御信号６００７を生成する。メモリセル６００４の制御ゲート（第２の端子）の電圧、すなわちＣＧｂｉａｓは、比較器６００６が極性を切り替えるまで掃引され、これは、カスコーディングＦＥＴ６００３の第１の端子がＶＲＥＦ２を超えたときに生じる値を制御信号６００７が変化させることを意味する。制御信号６００７の変化は、制御ゲートバイアスＣＧｂｉａｓをサンプリング及び保持するために使用され、ＣＧｂｉａｓは、次いで、ＶＭＭアレイ内のセルの行の制御ゲート端子に印加されるバイアス電圧として使用される。メモリセル６００４のソース線（第３の端子）は、接地に結合され得る。
【0244】
較正回路６０００の用途は、図５９の較正回路５９００の用途と同様である。
【0245】
図６１は、電流ＤＡＣ６１３１と、オペアンプ６１３２と、メモリセル６１３４とを備える例示的な行バイアス較正回路６１３０を示す。オペアンプ６１３２は、メモリセル６１３４内の電流がＩＤＡＣ６１３１の電流と同じになるように、メモリセル６１３４の端子ＣＧ（第２の端子）に電圧を出力する。較正回路６１００の用途は、図５９の用途と同様である。ＶＲＥＦは、ビット線ＢＬ（メモリセル６１３４の第１の端子）の正確な電圧を調整して、ビット線電圧差による不正確さを低減するために使用される電圧である。例えば、ＶＲＥＦは０．６Ｖであってもよく、これは、この動作中の電圧ビット線が０．６Ｖであることを意味する。メモリセル６１３４のソース線（第３の端子）は、接地に結合され得る。
【0246】
図６２は、電流ＤＡＣ６２５１と、バイアス制御回路６２５２と、メモリセル６２５４とを備える例示的な行バイアス較正回路６２５０を示す。電流ＤＡＣ６２５１は、メモリセル６２５４のビット線（第１の端子）に接続される。バイアス制御回路６２５２は、メモリセル６２５４内の電流がＩＤＡＣ６２５１の電流と同じになるように、メモリセル５４のＣＧ端子及びＥＧ端子（いずれも第２の端子又は第４の端子と呼ぶことができる）の各々に電圧を出力する。ＶＲＥＦは、ビット線ＢＬ（メモリセル６２５４の第１の端子）の電圧を調整するために使用される電圧である。回路６２５０の用途は、図５９の用途と同様である。メモリセル６２５４のソース線（第３の端子）は、接地に結合され得る。ＣＧ端子及びＥＧ端子の両方の電圧は、ビット線電圧がＶＲＥＦを超えるまでとすることができ、その時点で、ＣＧ電圧及びＥＧ電圧をバイアス電圧としてＶＭＭアレイに印加することができる。
【0247】
図６３は、例示的なバイアス制御回路６３５２を示す。例示的なバイアス制御回路６３５２は、不揮発性メモリセルの第１の端子（ＢＬ）から電圧を受け取るための反転端子と、基準電圧を受けるための非反転端子と、第１の出力とを含むオペアンプ６３６２（第１の演算増幅器）及び、オペアンプ６３６３（第２の演算増幅器）と、入力抵抗器Ｒ１ ６３６７と、フィードバック抵抗器Ｒ２ ６３６８とからなる利得回路を備える。利得は、例えば約１．９の比であってもよい比Ｒ２／Ｒ１によって定められる。したがって、オペアンプ６３６３の出力であるＥＧＢＩＡＳは、ＣＧｂｉａｓの約１．９倍である。他の比率も可能である。ＣＧｂｉａｓは、他の例では、ＥＧｂｉａｓの関数として提供され得る。
【0248】
図６４は、電流ＤＡＣ６４７１と、オペアンプ６４７２と、メモリセル６４７３とを備える例示的な較正回路６４７０を示す。電流ＤＡＣ６４７１の出力は、メモリセル６４７３のビット線（第１の端子）に接続される。オペアンプ６４７２は、メモリセル６４７３内の電流がＩＤＡＣ６４７１の電流と同じになるように、メモリセル６４７３のＥＧ端子（第２の端子）に電圧を出力する。ＶＲＥＦは、ビット線ＢＬ（メモリセル６４７３の第１の端子）の電圧を調整するために使用される電圧である。任意選択で、オペアンプ６４７２は、図６３のようにバイアス制御ＥＧＣＧ＿ＣＴＬ回路６４５２で置き換えることができ、バイアス制御回路６４５２は、メモリセル６４７３内の電流がＩＤＡＣ６４７１の電流と同じになるように端子ＣＧ及びＥＧに電圧を出力する。メモリセル６４７３のソース線（第３の端子）は接地に結合されている。
【0249】
図６５は、マルチプレクサ６５０１と、キャパシタバンク６５０２と、バッファ６５０３とを備える入力ブロック６５００を示す。マルチプレクサ６５０１は、ｍ＋１個のデジタルビット［ｍ：０］を選択信号として受け取り、また、ｎ＋１個のキャパシタ（Ｌ０，．Ｌｎ）から電圧を受け取り、受け取ったデジタルビットに応答して、選択された電圧をバッファ６５０３に提供し、バッファ６５０３は、選択された電圧をバイアス電圧として出力する。これは、（図４３～図４７に示す方式の代わりに）ＤＡＣ出力を生成する別の方式である。したがって、一例では、８ビットＤＡＣ（ｍ＝７）は、２５６個の電圧レベルを保持するために２５６個のキャパシタ（ｎ＝２５５）を備える。これらの電圧レベルは、例えば、デジタルビット入力に基づく線形関数又は対数関数に従って、図５９～図６４の行バイアス較正回路によって生成される。
【0250】
図６６は、例示的な行入力回路６６００を示す。行入力回路６６００は、スイッチ６６０１、６６０２、６６０３、６６０４、及び６６０５と、キャパシタ６６０６及び６６０７と、比較器６６０８とを備える。行入力回路６６００は、バッファ機能及びオフセット較正機能を提供する。オフセットキャパシタ６６０６は、スイッチ６６０３（第２のスイッチ）及び６６０２（第３のスイッチ）が閉じており、スイッチ６６０１（第１のスイッチ）、６６０５が開いているときに、オペアンプ６６０８のオフセット電圧をサンプリングする。次いで、キャパシタ６６０６は、スイッチ６６０１（第１のスイッチ）が閉じ、スイッチ６６０３（第２のスイッチ）及び６６０２（第３のスイッチ）が開いている状態で逆に再接続され、したがって、キャパシタ６６０６のオフセット電圧は、オペアンプ５６０９８のオフセットを相殺する。
【0251】
図６７は、グローバルデジタル－アナログ変換器６７０１と、グローバルデジタル－アナログ変換器６７０２と、スイッチ６７０３及び６７０４とを備える例示的なグローバル入力生成器６７００を示す。グローバル入力生成器６７００は、通常動作を遅延させることなくリアルタイム較正を可能にする。例えば、グローバルデジタル－アナログ変換器６７０１を使用してアレイを較正することができ、グローバルデジタル－アナログ変換器６７０２を読み出しニューラル動作に使用することができ、その逆も可能である。
【0252】
較正はまた、図６８～図７０に示すような以下の較正システムを使用して製造プロセス中に実行することができる。
【0253】
図６８は、アレイ６８０１と、ニューロン電流比較回路６８０２と、バイアスコントローラ６８０３と備える製造較正システム６８００を示す。アレイ６８０１は、較正中のＶＭＭシステムの一部であり、最終的に使用のために現場に送られる。ニューロン電流比較回路６８０２及びバイアスコントローラ６８０３は、製造プロセス中に使用するために同じＶＭＭシステム内にあってもよく、又は製造中にのみ使用される外部試験機器の一部であってもよい。アレイ６８０１は、所定の重みのセットを記憶するようにプログラムされる。次いで、ニューロン出力電流が生成され、サンプリングされ、ニューロン電流比較回路６８０２によって、この所定の重みのセットの目標ニューロン電流と比較される。比較に基づいて、バイアスコントローラ６８０３は、ニューロン出力が目標ニューロン電流に等しいか、又は目標ニューロン電流の許容閾値内であることをニューロン電流比較回路６８０２が示すまで、選択されたセルのＣＧ端子又はＥＧ端子に印加されるバイアス電圧を修正する。これは、限定はしないが、ニューラルネットワーク全体（複数の層を含み得る）、単一層、又は単一層の一部分に対して実行され得る。したがって、ニューロン電流比較回路６８０２は、複数のビット線から電流を受け取り、複数のビット線からの電流のサンプリングからアナログ出力を生成するためのサンプリングされたニューロン回路である。
【0254】
図６９は、アレイ６８０１（第１のアレイ）と、基準アレイ６９０１（第２のアレイ）と、ニューロン電流比較回路６８０２と、バイアスコントローラ６８０３とを備える製造較正システム６９００を示す。各ビット線は、アレイ６８０１内の列及び基準アレイ６９０１内の列に結合されている。製造較正システム６９００は、アレイ６８０１上ではなく埋め込み基準アレイ６９０１上で動作が実行されることを除いて、製造較正システム６８００と同様である。アレイ６８０１は、正規ベクトルマトリックス乗算演算に使用される。
【0255】
図７０は、基準アレイ７００１と、ニューロン電流比較回路６８０２と、バイアスコントローラ６８０３とを備える製造較正システム７０００を示す。製造較正システム７０００は、基準アレイ７００１が別個であり、メインＶＭＭアレイと同じデバイスに組み込まれていないことを除いて、製造較正システム６９００と同様である。
【0256】
図６８～図７０におけるニューロン電流のサンプリングは、ニューラル層又はネットワークの重み分布の平均値を表し得る。
【0257】
任意選択で、回路が基準電流Ｉｒｅｆを利用するときはいつでも、図６９及び図７０の基準アレイ６９０１又は７００１を使用して基準電流を生成することができる。これは、基準アレイ６９０１又は基準アレイ７００１の（温度変化に起因する、又は較正によって行われる補正に起因するなどの）任意の変化が基準電流の生成にも伝播するため有用である。
【0258】
図７１は、アレイ７１０１と、電流源７１０２と、バイアス制御回路７１０３とを備えるアレイ較正器７１００を示す。電流源７１０２は目標電流を供給する。アレイ７１０１は、サンプリングされたニューロン電流出力を提供する。アレイ７１０１は、読み出し動作中にバイアス制御回路７１０３によってアレイの一部又は全部に印加される、（較正パラメータである）制御ゲートバイアス信号又は消去ゲートバイアス信号を変化させることによって較正することができる。アレイ７１０１によって供給される電流が電流源７１０２に等しい場合は、出力の極性が切り替わり、これは、印加された制御ゲートバイアス又は消去ゲートバイアスが適切であることを示す。任意選択で、較正パラメータは、動作温度及びアレイに記憶される値とともに、ルックアップテーブルに記憶され得る。
【0259】
図７２は、アレイ７２０１と、抵抗器７２０２と、バイアス制御回路７２０３とを備える例示的な電流－電圧変換器７２００を示す。抵抗器７２０２は出力電圧を提供する。アレイ７２０１は、サンプリングされたニューロン電流出力を提供する。アレイ７２０１から出力されるサンプリングされたニューロン電流は、読み出し動作中にバイアス制御回路７２０３によってアレイに印加される制御ゲートバイアス信号又は消去ゲートバイアス信号を変化させることによって変化させることができる。出力電圧が所望の目標電圧に等しい場合は、制御ゲートバイアス又は消去ゲートバイアスの所望の構成が達成されている。これは、例えば、図６８～図７０と併せて使用される。
【0260】
図７３は、例示的な較正方法７３００を示す。方法が開始する（動作７３０１）。次の動作は、不揮発性メモリセルのアレイの較正である（動作７３０２）。アレイの特性（ここでは、制御ゲート端子又は消去ゲート端子の電圧）が測定され、目標電圧（又は電流）などの目標と比較される（動作７３０３）。測定された電圧が目標電圧に等しいか、又は（所定の範囲の）許容可能なマージンだけ逸脱している場合、動作７３０３は、較正が必要かどうかを判定するために周期的に繰り返され、較正が必要な場合は、例えば、動作温度が変化した場合に起こり得る。測定電圧が目標電圧に等しくなく、（所定の範囲の）許容可能なマージンだけ逸脱しているのでもない場合、較正動作７３０２が繰り返される。
【0261】
図７４は、例示的な較正方法７４００を示す。方法が開始する（動作７４０１）。次の動作は、不揮発性メモリセルのアレイの較正である（動作７４０２）。温度センサは、特性（ここでは温度）を測定し、これを目標温度と比較する（動作７４０３）。測定された温度が目標温度に等しいか、又は（所定の範囲の）許容可能なマージンだけ逸脱している場合、動作７４０３は、較正が必要かどうかを判定するために周期的に繰り返され、較正が必要な場合は、動作温度が変化した場合に起こり得る。測定された温度が目標温度に等しくなく、（所定の範囲の）許容可能なマージンだけ逸脱しているのでもない場合、較正動作７４０２が繰り返される。
【0262】
図７５は、例示的な較正方法７５００を示す。方法が開始する（動作７５０１）。次の動作は、不揮発性メモリセルのアレイの較正である（動作７５０２）。温度センサは、特性（ここでは温度）を測定し、これを目標温度と比較する（動作７５０３）。測定された温度が目標温度に等しいか、又は（所定の範囲の）許容可能なマージンだけ異なる場合、動作７５０３が周期的に繰り返される。測定された温度が目標温度に等しくなく、（所定の範囲の）許容可能なマージンだけ逸脱しているのでもない場合、方法は動作７５０４に進み、アレイ特性（電圧又は電流、ここでは制御ゲート端子又は消去ゲート端子の電圧）が目標電圧と比較される。測定されたアレイ特性（例えば、電圧）が目標に等しいか、又は（所定の範囲の）許容可能なマージンだけ異なる場合、方法は動作７３０３に戻る。測定された特性が目標特性に等しくなく、（所定の範囲の）許容可能なマージンだけ逸脱しているのでもない場合、方法は動作７５０２に戻って較正を繰り返す。較正方法７５００の利点は、測定されたアレイ特性が実際に目標と異なる場合にのみ較正手順を繰り返すことである。例えば、測定された温度が目標温度と異なるが、測定されたアレイ特性が目標と比較して依然として（所定の範囲の）許容可能なマージン内にある場合があり、その場合、較正は繰り返されない。
【0263】
図７６は、例示的な較正方法７６００を示す。方法が開始する（動作７６０１）。次の動作は、不揮発性メモリセルのアレイの較正である（動作７６０２）。時間センサが、事象の時間を測定し、これを目標時間と比較し、時間は、１度の増加が距離Ｘを隔てて感知されるのにかかる時間（熱伝導率）などの熱伝導率に関連し得る（動作７６０３）。これらが等しいか、又は（所定の範囲の）許容可能なマージンだけ異なる場合、較正が必要かどうかを判定するために、動作７６０３が周期的に繰り返される。これらが等しくなく、（所定の範囲の）許容できるマージンだけ異なるのでもない場合、方法７４００は較正動作７４０２をトリガする。
【0264】
図７７は、図５３～図５４のグローバルデジタル－アナログ変換器及び行デコーダ５３５０又は５４８０の例示的な較正方法７７００を示す。方法が開始する（動作７８０１）。較正は、出力ＤＡＣ＿ＯＵＴを調整し、次いで、図４３～図４７の入力ブロック４３００、４４００、４５００、４６００、及び４７００の複数の行のバイアス電圧を生成するために使用される、図５３又は図５４のグローバル基準レベルＶＲＥＦＬ、ＶＲＥＦＨ、及び／又はＶＲＥＦＭを調整することによって実行される（動作７８０２）。方法が終了する（動作７８０３）。
【0265】
図７８は、図４７のグローバルＤＡＣ４７０７及びローカルＤＡＣ４７０４に使用される例示的な較正方法７８００を示す。方法が開始する（動作７８０１）。較正は、出力ＤＡＣ＿ＯＵＴを調整する図５３及び図５４のグローバル基準レベルＶＲＥＦＬ、ＶＲＥＦＨ、及び／又はＶＲＥＦＭを調整することによって、図４７のＧＤＡＣ４７０７に使用されるグローバルＤＡＣ及び行デコーダ５３５０又は５４８０（図５３及び図５４）に対して実行される（動作７８０２）。次いで、図４７のローカルデジタル－アナログ変換器４７０４が、図４７で較正される（動作７８０３）。方法が終了する（動作７８０４）。
【0266】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【図62】
【図63】
【図64】
【図65】
【図66】
【図67】
【図68】
【図69】
【図70】
【図71】
【図72】
【図73】
【図74】
【図75】
【図76】
【図77】
【図78】
【図79】
【図80】
【図81】
【手続補正書】
【提出日】2024-08-20
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【0056】
図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、必要に応じて完全に消去され、部分的にプログラムされ、部分的に消去され得る。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに適用される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０１９０
【補正方法】変更
【補正の内容】
【0190】
次に、システムは、適用された電気パラメータが、構成要素又はシステムの公差に対応する範囲内など、所定の範囲内にあるかどうかを判定する（動作３６０４）。そうである場合、動作３６０１、３６０２、３６０３、及び３６０４が繰り返される。そうでない場合、（電気パラメータが許容可能な量を超えて調整されたことを意味するので）ネットワーク回路は不良であるとみなされ、使用されない（動作３６０５）。例えば、これは不良ダイの結果であり得る。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０２０５
【補正方法】変更
【補正の内容】
【0205】
アドレス行デコーダ４３０２－０～４３０２－ｎは、行アドレスＡＤＤ［ｎ：０］及びイネーブル信号ＥＮを受信する。ＥＮＲＯＷで示される各アドレス行デコーダの出力は、ＡＤＤ［ｎ：０］がその特定の行のアドレスであり、かつＥＮがアサートされるときにハイである。行レジスタ４３０３－０～４３０３－ｎには、その特定の行のそれぞれのデジタル入力ビットＤＩＮｘ（ｘは８ビット又は１６ビットなどのビット数である）がロードされ、ロード動作はクロック信号ＣＬＫによってトリガされ、ＤＩＮｘはその特定の行の活性化入力である。特定のアドレス行デコーダ４３０２の出力がハイであるとき、関連する行レジスタ４３０３がイネーブルされ、そのデジタルビットＤＩＮｘを出力する。カウンタ４３０７は、信号ＥＮによってイネーブルされると、別のクロック信号ＣＬＫＢ内のパルスをカウントする。カウンタ４３０７の出力はカウント値である。デジタル比較器ブロック４３０４－０～４３０４－ｎは、それぞれの行レジスタ４３０３の各々に記憶された活性化値ＤＩＮｘをカウント値と比較する。カウント値が特定の行レジスタ４３０２に記憶された値と一致する場合、対応する行サンプルホールドバッファ４３０５がイネーブルされて、グローバルＤＡＣ４３０１からのアナログ出力値をサンプリング及び保持する。グローバルＤＡＣ４３０１は、（当該行の行レジスタ４３０３のＤＩＮｘにも一致する）カウント値に対してデジタル－アナログ変換を実行する。各行サンプルホールドバッファ４３０５は、保持したアナログ値を出力信号４３０６として出力する。例えば、ｘ＝８であり、ＤＩＮｘが８ビット入力である（ＤＩＮｘに２５６個の異なる値があることを意味する）場合、カウンタ４３０７は２５６までカウントし、次いでリセットされる。そうすることで、ＤＩＮｘの全ての可能な値がカバーされ、各行サンプルホールドバッファ４３０５にその関連するＤＩＮｘの値がロードされる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０２０９
【補正方法】変更
【補正の内容】
【0209】
図４４は、図３４のＶＭＭアレイ３４０１のようなＶＭＭアレイに入力を提供するために使用される例示的な行入力ブロック４４００を示す。入力ブロック４４００は、グローバルデジタル－アナログ変換器（ＧＤＡＣ）４４０１と、アドレス行デコーダ４４０２－０～４４０２－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、アドレス行デコーダと、行レジスタ４４０３－０～４４０３－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、行レジスタと、デジタルマルチプレクサ（ｍｕｘ）ブロック４４０４－０～４４０４－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、デジタルマルチプレクサブロックと、行サンプルホールドバッファ４４０５－０～４００５－ｎであって、各々、ＶＭＭアレイ内の０～ｎの番号が付けられた行のうちの１つに対応する、行サンプルホールドバッファと、出力信号４４０６－０～４４０６－ｎであって、各々、０～ｎの番号が付けられた行のうちの１つに対応する、出力信号と、を含む。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０２２０
【補正方法】変更
【補正の内容】
【0220】
図４８は、図４３、図４４、図４５、図４６、及び図４７の任意の個々のレジスタの代わりに使用することができる、行レジスタ４３０３、４４０３、４５０３、４６０３、及び４７０３のいずれかなどの例示的なデュアルレジスタブロック４８００を示す。デュアルレジスタブロック４８００は、選択信号１によって制御されるマルチプレクサ４８０３と、選択信号２によって制御されるマルチプレクサ４８０４と、行レジスタ４８０１及び４８０２とを備える。行レジスタ４８０１にマルチプレクサ４８０３を介してデータをロードすることができ、行レジスタ４８０２は、マルチプレクサ４８０４を介してデータを出力し、その逆も可能である。これにより、行レジスタのロード及び読み出しに必要な動作時間が短縮されるが、これは、これらの動作を同時に又は部分的に同時に行うことができるからである。対照的に、単一レジスタ構成では、データを読み出す前にレジスタにロードする時間が必要である。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０２５０
【補正方法】変更
【補正の内容】
【0250】
図６６は、例示的な行入力回路６６００を示す。行入力回路６６００は、スイッチ６６０１、６６０２、６６０３、６６０４、及び６６０５と、キャパシタ６６０６及び６６０７と、比較器６６０８とを備える。行入力回路６６００は、バッファ機能及びオフセット較正機能を提供する。オフセットキャパシタ６６０６は、スイッチ６６０３（第２のスイッチ）及び６６０２（第３のスイッチ）が閉じており、スイッチ６６０１（第１のスイッチ）、６６０５が開いているときに、オペアンプ６６０８のオフセット電圧をサンプリングする。次いで、キャパシタ６６０６は、スイッチ６６０１（第１のスイッチ）が閉じ、スイッチ６６０３（第２のスイッチ）及び６６０２（第３のスイッチ）が開いている状態で逆に再接続され、したがって、キャパシタ６６０６のオフセット電圧は、オペアンプ６６０８のオフセットを相殺する。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】０２６２
【補正方法】変更
【補正の内容】
【0262】
図７５は、例示的な較正方法７５００を示す。方法が開始する（動作７５０１）。次の動作は、不揮発性メモリセルのアレイの較正である（動作７５０２）。温度センサは、特性（ここでは温度）を測定し、これを目標温度と比較する（動作７５０３）。測定された温度が目標温度に等しいか、又は（所定の範囲の）許容可能なマージンだけ異なる場合、動作７５０３が周期的に繰り返される。測定された温度が目標温度に等しくなく、（所定の範囲の）許容可能なマージンだけ逸脱しているのでもない場合、方法は動作７５０４に進み、アレイ特性（電圧又は電流、ここでは制御ゲート端子又は消去ゲート端子の電圧）が目標電圧と比較される。測定されたアレイ特性（例えば、電圧）が目標に等しいか、又は（所定の範囲の）許容可能なマージンだけ異なる場合、方法は動作７５０３に戻る。測定された特性が目標特性に等しくなく、（所定の範囲の）許容可能なマージンだけ逸脱しているのでもない場合、方法は動作７５０２に戻って較正を繰り返す。較正方法７５００の利点は、測定されたアレイ特性が実際に目標と異なる場合にのみ較正手順を繰り返すことである。例えば、測定された温度が目標温度と異なるが、測定されたアレイ特性が目標と比較して依然として（所定の範囲の）許容可能なマージン内にある場合があり、その場合、較正は繰り返されない。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】０２６３
【補正方法】変更
【補正の内容】
【0263】
図７６は、例示的な較正方法７６００を示す。方法が開始する（動作７６０１）。次の動作は、不揮発性メモリセルのアレイの較正である（動作７６０２）。時間センサが、事象の時間を測定し、これを目標時間と比較し、時間は、１度の増加が距離Ｘを隔てて感知されるのにかかる時間（熱伝導率）などの熱伝導率に関連し得る（動作７６０３）。これらが等しいか、又は（所定の範囲の）許容可能なマージンだけ異なる場合、較正が必要かどうかを判定するために、動作７６０３が周期的に繰り返される。これらが等しくなく、（所定の範囲の）許容できるマージンだけ異なるのでもない場合、方法７６００は較正動作７６０２をトリガする。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】０２６４
【補正方法】変更
【補正の内容】
【0264】
図７７は、図５３～図５４のグローバルデジタル－アナログ変換器及び行デコーダ５３５０又は５４８０の例示的な較正方法７７００を示す。方法が開始する（動作７７０１）。較正は、出力ＤＡＣ＿ＯＵＴを調整し、次いで、図４３～図４７の入力ブロック４３００、４４００、４５００、４６００、及び４７００の複数の行のバイアス電圧を生成するために使用される、図５３又は図５４のグローバル基準レベルＶＲＥＦＬ、ＶＲＥＦＨ、及び／又はＶＲＥＦＭを調整することによって実行される（動作７７０２）。方法が終了する（動作７７０３）。
【国際調査報告】
Copyright © 2010-2025 Science Impact Inc. All Rights Reserved.