知財求人 - 知財ポータルサイト「IP Force」
▶ シリコン ストーリッジ テクノロージー インコーポレイテッドの特許一覧
特表2024-545987ニューラルネットワークにおける１つ以上のメモリセルに印加するためのバイアス電圧の決定
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-17
(54)【発明の名称】ニューラルネットワークにおける１つ以上のメモリセルに印加するためのバイアス電圧の決定
(51)【国際特許分類】
G11C 16/08 20060101AFI20241210BHJP
G11C 11/54 20060101ALI20241210BHJP
G11C 7/04 20060101ALI20241210BHJP
H10B 41/30 20230101ALI20241210BHJP
H10B 41/35 20230101ALI20241210BHJP
H01L 21/336 20060101ALI20241210BHJP
G11C 11/56 20060101ALI20241210BHJP
G06N 3/063 20230101ALI20241210BHJP
【ＦＩ】
G11C16/08 120
G11C11/54
G11C7/04
H10B41/30
H10B41/35
H01L29/78 371
G11C11/56 220
G06N3/063
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024521166
(86)(22)【出願日】2022-01-27
(85)【翻訳文提出日】2024-06-04
(86)【国際出願番号】 US2022014166
(87)【国際公開番号】W WO2023086117
(87)【国際公開日】2023-05-19
(31)【優先権主張番号】63/279,028
(32)【優先日】2021-11-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/585,452
(32)【優先日】2022-01-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】500147506
【氏名又は名称】シリコン ストーリッジ テクノロージー インコーポレイテッド
【氏名又は名称原語表記】ＳＩＬＩＣＯＮ ＳＴＯＲＡＧＥ ＴＥＣＨＮＯＬＯＧＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110000626
【氏名又は名称】弁理士法人英知国際特許商標事務所
(72)【発明者】
【氏名】トラン、ヒュー バン
【テーマコード（参考）】
5B225
5F083
5F101
【Ｆターム（参考）】
5B225BA02
5B225BA03
5B225CA07
5B225DA10
5B225DD07
5B225DD11
5B225DE02
5B225EA01
5B225EG14
5B225FA01
5B225FA06
5B225FA07
5F083EP02
5F083EP18
5F083EP24
5F083ER02
5F083ER09
5F083ER13
5F083ER17
5F083ER18
5F083KA01
5F083KA05
5F101BA01
5F101BA45
5F101BB04
5F101BC11
5F101BE02
5F101BE05
5F101BE06
(57)【要約】
温度が変化するときに、正確性又は電力消費に関して、深層学習人工ニューラルネットワークにおけるアナログニューラルメモリを改善するための多数の実施形態が開示される。いくつかの実施形態では、ニューラルネットワークにおける１つ以上のメモリセルに印加するためのバイアス値をリアルタイムで決定するための方法が実行される。他の実施形態では、バイアス電圧は、ルックアップテーブルから決定され、読み出し動作中に、メモリセルの端子に印加される。
【選択図】図６
【選択図】図６
【特許請求の範囲】
【請求項1】
ニューラルネットワークのための方法であって、前記方法は、メモリセルのセットに関連付けられた動作温度を検知するステップと、
前記検知された動作温度に基づいて、ルックアップテーブルにおいてバイアスを決定するステップと、
前記決定されたバイアスを前記メモリセルのセットの端子に印加するステップと、
前記メモリセルのセットに対して読み出し動作を実行するステップと、を含む、方法。
【請求項2】
前記バイアスはメモリセルから生成される、請求項１に記載の方法。
【請求項3】
前記メモリセルのセットは、前記ニューラルネットワークにおけるニューロンを含む、請求項１に記載の方法。
【請求項4】
前記メモリセルのセットは第１のアレイ内に配置されている、請求項１に記載の方法。
【請求項5】
メモリセルの第２のセットに関連付けられた第２の動作温度を検知するステップと、前記第２の動作温度に基づいて、ルックアップテーブルにおいて第２のバイアスを決定するステップと、
前記決定された第２のバイアスを前記メモリセルの第２のセットの端子に印加するステップであって、前記メモリセルの第２のセットは、前記第１のアレイとは異なる第２のアレイ内に配置されている、印加するステップと、
前記メモリセルの第２のセットに対して読み出し動作を実行するステップと、を更に含む、請求項４に記載の方法。
【請求項6】
前記メモリセルのセットは、前記ニューラルネットワークにおける単一層に含まれる、請求項１に記載の方法。
【請求項7】
前記メモリセルのセットは、前記ニューラルネットワークにおける複数のアレイ内の全てのメモリセルを含む、請求項１に記載の方法。
【請求項8】
前記メモリセルのセットは、前記ニューラルネットワークにおける複数のアレイ内の１つ以上の選択されたアレイ内の全てのメモリセルを含む、請求項１に記載の方法。
【請求項9】
前記メモリセルのセットはスプリットゲートフラッシュメモリセルを含む、請求項１に記載の方法。
【請求項10】
前記メモリセルのセットはスタックゲートフラッシュメモリセルを含む、請求項１に記載の方法。
【請求項11】
バイアスルックアップテーブルに投入するための方法であって、前記方法は、Ｎ個の値のうちのいずれかを記憶することができるメモリセルを、前記Ｎ個の値のうちの１つでプログラムするステップと、
増加するサイズの一連の電流を、前記プログラムされたメモリセルのビット線に流すステップと、
比較出力を生成するために、前記ビット線の電圧を基準電圧と比較するステップと、
前記比較出力が値を変化させるときに、前記メモリセルの制御ゲート端子の電圧を測定し、前記電圧をルックアップテーブルに記憶するステップと、を含む、方法。
【請求項12】
前記メモリアレイは不揮発性メモリセルを含む、請求項１１に記載の方法。
【請求項13】
前記メモリアレイは揮発性メモリセルを含む、請求項１１に記載の方法。
【請求項14】
前記制御ゲート端子の前記電圧は、サンプルアンドホールド回路を使用して測定される、請求項１１に記載の方法。
【請求項15】
ニューラルネットワークのための方法であって、前記方法は、動作温度を検知するステップと、
前記検知された動作温度をデジタルビットで示すステップと、
出力ニューロン電流を電圧に変換するステップと、
前記デジタルビットに応答して、前記電圧をスケーリングするステップと、を含む、方法。
【請求項16】
バイアスを生成するための電圧平均化回路であって、出力ノードと接地との間に結合された可変レジスタと、
複数の測定ブロックであって、各測定ブロックは、それぞれの入力電圧を電流に変換し、かつ前記電流を前記出力ノードにミラーする、複数の測定ブロックと、を備え、
前記出力ノードは、前記入力電圧の平均に等しいバイアスを前記複数の測定ブロックに提供する、電圧平均化回路。
【請求項17】
前記出力ノードにおける電圧が、各測定ブロックによって提供された値の合計に等しく、前記値は、前記測定ブロックによって受信された前記入力電圧に前記可変レジスタの比率を乗算し、前記測定ブロックの前記レジスタの合計で除算し、前記それぞれの入力電圧の前記合計を乗算したものを含む、請求項１６に記載の電圧平均化回路。
【請求項18】
前記出力電圧は、前記ニューラルネットワークメモリアレイ内の１つ以上のセルの制御ゲート端子に印加される、請求項１７に記載の電圧平均化回路。
【請求項19】
ニューラルネットワークのための方法であって、前記方法は、メモリセルのセットに関連付けられた動作温度を検知するステップと、
前記検知された動作温度に基づいて、バイアスを決定するステップと、
前記決定されたバイアスを前記メモリセルのセットの端子に印加するステップと、
前記メモリセルのセットに対して読み出し動作を実行するステップと、を含む、方法。
【請求項20】
前記メモリセルのセットは、前記ニューラルネットワークにおけるニューロンを含む、請求項１９に記載の方法。
【請求項21】
前記バイアスはメモリセルから生成される、請求項１９に記載の方法。
【請求項22】
メモリアレイのためのバイアスを生成するための方法であって、前記方法は、値を記憶するように、メモリセルをプログラムするステップと、
前記プログラムされたメモリセルのビット線に、増加するサイズの一連の電流を流すステップと、
前記バイアスを決定するように、前記メモリセルの制御ゲート端子の電圧を測定するステップと、を含む、方法。
【請求項23】
前記決定されたバイアスを記憶するステップ、を更に含む、請求項２２に記載の方法。
【請求項24】
メモリセルのアレイ内の１つ以上のメモリセルに対する動作中に、前記バイアスを前記１つ以上のメモリセルに印加するステップを更に含む、請求項２３に記載の方法。
【請求項25】
前記アレイはアナログニューラルメモリアレイである、請求項２４に記載の方法。
【請求項26】
前記プログラムされたメモリセルの複数の異なる動作温度について、前記プログラムするステップ、前記流すステップ、前記測定するステップ、及び前記記憶するステップを実行するステップを含む、請求項２３に記載の方法。
【請求項27】
ニューラルネットワークにおけるメモリアレイのためのバイアスをリアルタイムで決定するための方法であって、前記方法は、値を記憶するように、メモリセルをプログラムするステップと、
前記プログラムされたメモリセルのビット線に所定の電流を流すステップと、
前記バイアスを決定するように、前記メモリセルの制御ゲート端子の電圧を測定するステップと、を含む、方法。
【請求項28】
前記バイアスを記憶するステップ、を更に含む、請求項２７に記載の方法。
【請求項29】
メモリセルのアレイ内の１つ以上のメモリセルに対する動作中に、前記バイアスを前記１つ以上のメモリセルに印加するステップを更に含む、請求項２８に記載の方法。
【請求項30】
前記アレイはアナログニューラルメモリアレイである、請求項２９に記載の方法。
【請求項31】
前記プログラムされたメモリセルの複数の異なる動作温度について、前記プログラムするステップ、前記印加するステップ、前記測定するステップ、及び前記記憶するステップを実行するステップを含む、請求項２８に記載の方法。
【請求項32】
ニューラルネットワークのための方法であって、前記方法は、メモリセルをプログラムするステップと、
増加するサイズの一連の電流を、前記プログラムされたメモリセルのビット線に流すステップと、
比較出力を生成するために、前記ビット線の電圧を基準電圧と比較するステップと、
前記比較出力が値を変化したときに、前記メモリセルの制御ゲート端子の電圧を測定し、そして、前記電圧を、決定されたバイアスとして記憶するステップと、
前記決定されたバイアスを前記メモリセルのセットの端子に印加するステップと、
前記メモリセルのセットに対して読み出し動作を実行するステップと、を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０２１年１１月１２日に出願された「Ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ａｓ ｔｏ Ｐｅｒｆｏｒｍａｎｃｅ，Ｐｏｗｅｒ，ｏｒ Ｔｅｍｐｅｒａｔｕｒｅ」と題する米国仮特許出願第６３／２７９，０２８号、及び２０２２年１月２６日に出願された「Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ａ Ｂｉａｓ Ｖｏｌｔａｇｅ ｔｏ Ａｐｐｌｙ ｔｏ Ｏｎｅ ｏｒ Ｍｏｒｅ Ｍｅｍｏｒｙ Ｃｅｌｌｓ ｉｎ ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１７／５８５，４５２号の優先権を主張する。
本出願は、２０２１年１１月１２日に出願された「Ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ａｓ ｔｏ Ｐｅｒｆｏｒｍａｎｃｅ，Ｐｏｗｅｒ，ｏｒ Ｔｅｍｐｅｒａｔｕｒｅ」と題する米国仮特許出願第６３／２７９，０２８号、及び２０２２年１月２６日に出願された「Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ａ Ｂｉａｓ Ｖｏｌｔａｇｅ ｔｏ Ａｐｐｌｙ ｔｏ Ｏｎｅ ｏｒ Ｍｏｒｅ Ｍｅｍｏｒｙ Ｃｅｌｌｓ ｉｎ ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１７／５８５，４５２号の優先権を主張する。
【0002】
（発明の分野）
様々な温度環境におけるパフォーマンス又は電力に関して、深層学習人工ニューラルネットワークにおけるアナログニューラルメモリを改善するための多数の実施形態が開示される。
様々な温度環境におけるパフォーマンス又は電力に関して、深層学習人工ニューラルネットワークにおけるアナログニューラルメモリを改善するための多数の実施形態が開示される。
【背景技術】
【0003】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、通常、お互いの間でメッセージを交換する相互接続した「ニューロン」の層を含む。
【0004】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を例解する。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、ニューロンの１つ以上の中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルのニューロンが、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。
【0005】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題のうちの１つは、適切なハードウェア技術の欠如である。実際に、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実行するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【0006】
出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューラルメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受け取って、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受け取るように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、メモリセルの各々は、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に絶縁されて配設される浮遊ゲートと、チャネル領域の第２の部分の上方に絶縁されて配設される非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。
＜不揮発性メモリセル＞
＜不揮発性メモリセル＞
【0007】
不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４及びドレイン領域１６を含み、ソース領域１４とドレイン領域１６との間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に絶縁されて配設される、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
【0008】
ワード線端子２２に高圧正電圧を加えることによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim、ＦＮ）トンネリングを介して通過する。
【0009】
メモリセル２１０は、ワード線端子２２に正電圧を、そしてソース領域１４に正電圧を加えることによって、ホットエレクトロンによるソースサイド注入（source side injection、ＳＳＩ）によって、プログラムされる（電子が浮遊ゲートに加えられる）。電子流は、ドレイン領域１６からソース領域１４に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部は、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
【0010】
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を加える（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。
【0011】
【0012】
他の種類のフラッシュメモリセルである、他のスプリットゲート型メモリセル構成も知られている。例えば、図３は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル３１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
【0013】
【0014】
図４は、別の種類のフラッシュメモリセルである、３ゲートメモリセル４１０を示す。メモリセル４１０は、メモリセル４１０が別個の制御ゲートを有しないことを除いて、図３のメモリセル３１０と同一である。（消去ゲートの使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが適用されないことを除いて、図３のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に適用されなければならない。
【0015】
【0016】
図５は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル５１０を示す。メモリセル５１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２（ここでワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去は、ＦＧから基板への電子のＦＮトンネリングによって行われ、プログラミングは、チャネル１８とドレイン領域１６との間の領域でのチャネルホットエレクトロン（channel hot electron、ＣＨＥ）注入によって、ソース領域１４からドレイン領域１６に向かって流れる電子によって、及びより高い制御ゲート電圧を有するメモリセル２１０の読み出し動作と同様である読み出し動作によって行われる。
【0017】
【0018】
本明細書に記載される方法及び手段は、限定されないが、ＦＩＮＦＥＴスプリットゲートフラッシュ又はスタックゲートフラッシュメモリ、ＮＡＮＤフラッシュ、ＳＯＮＯＳ（ｓｉｌｉｃｏｎ－ｏｘｉｄｅ－ｎｉｔｒｉｄｅ－ｏｘｉｄｅ－ｓｉｌｉｃｏｎ、ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（ｍｅｔａｌ－ｏｘｉｄｅ－ｎｉｔｒｉｄｅ－ｏｘｉｄｅ－ｓｉｌｉｃｏｎ、金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（ｒｅｓｉｓｔｉｖｅ ｒａｍ、抵抗変化型メモリ）、ＰＣＭ（ｐｈａｓｅ ｃｈａｎｇｅ ｍｅｍｏｒｙ、相変化メモリ）、ＭＲＡＭ（ｆｅｒｒｏｅｌｅｃｔｒｉｃ ｒａｍ、磁気抵抗メモリ）、ＦｅＲＡＭ（ｆｅｒｒｏｅｌｅｃｔｒｉｃ ｒａｍ、強誘電体メモリ）、ＣＴ（ｃｈａｒｇｅ ｔｒａｐ、電荷トラップ）メモリ、ＣＮ（ｃａｒｂｏｎ－ｔｕｂｅ、カーボンチューブ）メモリ、ＯＴＰ（ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ、バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（ｃｏｒｒｅｌａｔｅｄ ｅｌｅｃｔｒｏｎ ｒａｍ、強相関電子メモリ）などの他の不揮発性メモリ技術に適用され得る。
【0019】
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第一に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第二に、メモリセルの連続（アナログ）プログラミングを提供する。
【0020】
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値（１６個又は６４個の異なる値など）のうちの１つを最低限記憶することができることを意味し、これにより、メモリアレイ内の全てのセルが非常に精密に、かつ個々にチューニング可能となり、また、メモリアレイが、記憶、及びニューラルネットワークのシナプシスの重みへの微細チューニング調整に対して、理想的なものになる。
＜不揮発性メモリセルアレイを使用するニューラルネットワーク＞
＜不揮発性メモリセルアレイを使用するニューラルネットワーク＞
【0021】
図６は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に例解する。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。
【0022】
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと称される）は、シナプスＣＢ１に提供され、そこで、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、層Ｃ１の特徴マップのうちの１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みセットを使用して繰り返されて、層Ｃ１の異なる特徴マップを生成する。
【0023】
本例では、層Ｃ１において、各々３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、二次元アレイであり、したがってこの例では、層Ｃ１は、二次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な二次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するために使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又はある特定の特徴のアスペクト比などを識別することができる。
【0024】
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数Ｐ１の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、各々１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、層Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類（クラス分け）を示すことができる。
【0025】
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。
【0026】
図７は、その目的のために使用可能なアレイのブロック図である。ベクトルマトリックス乗算（Vector-by-matrix multiplication、ＶＭＭ）アレイ３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭアレイ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３２への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、不揮発性メモリセルアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、不揮発性メモリセルアレイ３３の出力をデコードすることができる。
【0027】
不揮発性メモリセルアレイ３３は、２つの目的を果たす。第一に、それは、ＶＭＭアレイ３２によって使用されることになる重みを記憶する。第二に、不揮発性メモリセルアレイ３３は、不揮発性メモリセルアレイ３３に格納された重みを、入力に有効に乗算して、それらを出力線（ソース線又はビット線）毎に加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。不揮発性メモリセルアレイ３３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、メモリ内の計算により電力効率も良い。
【0028】
不揮発性メモリセルアレイ３３の出力は、不揮発性メモリセルアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動合計器（合計オペアンプ又は合計カレントミラーなど）３８に供給される。差動合計器３８は、正の重み及び負の重みの総和を実行するように配置される。
【0029】
差動合計器３８の合計された出力値は、次に、出力を整流する活性化関数ブロック３９に供給される。活性化関数ブロック３９は、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数を提供し得る。活性化関数ブロック３９の整流された出力値は、次の層（例えば図６のＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、不揮発性メモリセルアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受け取る）、合計オペアンプ３８及び活性化関数ブロック３９は、複数のニューロンを構成する。
【0030】
図７のＶＭＭアレイ３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、ＤＡＣが、デジタルビットを適切な入力アナログレベルに変換するために提供される）であり得、出力は、アナログレベル、バイナリレベル、又はデジタルビットであり得る（この場合、出力ＡＤＣが、出力アナログレベルをデジタルビットに変換するために提供される）。
【0031】
図８は、図中でＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭアレイ３２の多数の層の使用を示すブロック図である。図８に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭアレイ３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭアレイ３２ａのマトリックス乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ｌｏｏｋ ｕｐ ｔａｂｌｅ、ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭアレイ３２ａへのマッピングされたアナログ入力に変換するために、アナログ－アナログ（ａｎａｌｏｇ ｔｏ ａｎａｌｏｇ、Ａ／Ａ）変換器によって行うこともできる。
【0032】
入力ＶＭＭアレイ３２ａによって生成された出力は、次に、次のＶＭＭアレイ（隠しレベル１）３２ｂへの入力として提供され、次に入力ＶＭＭアレイ（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭアレイ３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。各ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅは、スタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。図８に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全接続層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全接続層を含み得ることを理解するであろう。
＜ベクトルマトリックス乗算（ＶＭＭ）アレイ＞
＜ベクトルマトリックス乗算（ＶＭＭ）アレイ＞
【0033】
図９は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ９００を示す。ＶＭＭアレイ９００は、不揮発性メモリセルのメモリアレイ９０１と、不揮発性基準メモリセルの基準アレイ９０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することができる。
【0034】
ＶＭＭアレイ９００では、制御ゲート線９０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ９０２が、制御ゲート線９０３に直交する）、消去ゲート線９０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ９００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ９００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0035】
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ９００の不揮発性メモリセル、すなわちＶＭＭアレイ９００のメモリセル３１０は、サブスレッショルド領域で動作するように構成されることが好ましい。
【0036】
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱反転（サブ閾値領域）でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
Ｉｄｓはドレイン－ソース間電流であり、Ｖｇはメモリセルのゲート電圧であり、Ｖｔｈはメモリセルの閾値電圧であり、Ｖｔは熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷であり、ｎは、傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、そして、Ｃｏｘはゲート酸化物層の容量であり、Ｉｏは、閾値電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
Ｉｄｓはドレイン－ソース間電流であり、Ｖｇはメモリセルのゲート電圧であり、Ｖｔｈはメモリセルの閾値電圧であり、Ｖｔは熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷であり、ｎは、傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、そして、Ｃｏｘはゲート酸化物層の容量であり、Ｉｏは、閾値電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
【0037】
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
【0038】
電流入力を伴うベクトルマトリックス乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
ここで、ｗａ＝メモリアレイの各メモリセルのｗである。
Ｖｔｈｐは周辺メモリセルの有効閾値電圧であり、Ｖｔｈａはメイン（データ）メモリセルの有効閾値電圧である。トランジスタの閾値電圧は基板本体バイアス電圧の関数であり、Ｖｓｂと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように調整され得ることに留意されたい。閾値電圧Ｖｔｈは、次のように表すことができる。
式中、Ｖｔｈ０はゼロ基板バイアスを有する閾値電圧であり、φＦは表面電位であり、ガンマは本体効果パラメータである。
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
ここで、ｗａ＝メモリアレイの各メモリセルのｗである。
Ｖｔｈｐは周辺メモリセルの有効閾値電圧であり、Ｖｔｈａはメイン（データ）メモリセルの有効閾値電圧である。トランジスタの閾値電圧は基板本体バイアス電圧の関数であり、Ｖｓｂと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように調整され得ることに留意されたい。閾値電圧Ｖｔｈは、次のように表すことができる。
【数1】
【0039】
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
【0040】
代替的に、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
すなわち、線形領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
すなわち、線形領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する
【0041】
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
【0042】
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して、入出力電流を入出力電圧に線形変換することができる。
【0043】
代替的に、本明細書に記載されたＶＭＭアレイのメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗα（Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗα（Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する
【0044】
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
【0045】
代替的に、本明細書に記載されるＶＭＭアレイのメモリセルは、ニューラルネットワークの各層又は多層に対して全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用され得る。
【0046】
図７のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許第１０，７４８，６３０号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
【0047】
図１０は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間のシナプスとして利用される、ニューロンＶＭＭアレイ１０００を示す。ＶＭＭアレイ１０００は、不揮発性メモリセルのメモリアレイ１００３と、第１の不揮発性基準メモリセルの基準アレイ１００１と、第２の不揮発性基準メモリセルの基準アレイ１００２と、を含む。アレイの列方向に配置された基準アレイ１００１及び１００２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１０１４（部分的にのみ示す）を通してダイオード接続される。基準セルは、目標基準レベルにチューニング（例えば、プログラム）される。目標基準レベルは、基準ミニアレイマトリックス（図示せず）によって提供される。
【0048】
メモリアレイ１００３は、２つの目的を果たす。第一に、メモリアレイ１００３は、ＶＭＭアレイ１０００により使用される重みを、それぞれのメモリセルに記憶する。第二に、メモリアレイ１００３は、メモリアレイ１００３に記憶された重みを、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１００１及び１００２がこれらの電流入力を入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）に有効に乗算し、次いで、全ての結果（メモリセル電流）を加算してそれぞれのビット線（ＢＬ０～ＢＬＮ）に出力を生成し、この出力は次の層への入力又は最後の層への入力となる。乗算及び加算の関数を実行することで、メモリアレイ１００３は、別個の乗算及び加算の論理回路の必要性をなくし、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にそれぞれのビット線ＢＬ０～ＢＬＮに現れる。ビット線ＢＬ０～ＢＬＮの各々の電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
【0049】
表５は、ＶＭＭアレイ１０００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表５：図１０のＶＭＭアレイ１０００の動作
表５：図１０のＶＭＭアレイ１０００の動作
【表5】
【0050】
図１１は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０３と、第１の不揮発性基準メモリセルの基準アレイ１１０１と、第２の不揮発性基準メモリセルの基準アレイ１１０２と、を含む。基準アレイ１１０１及び１１０２は、ＶＭＭアレイ１１００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１１００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0051】
表６は、ＶＭＭアレイ１１００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表６：図１１のＶＭＭアレイ１１００の動作
表６：図１１のＶＭＭアレイ１１００の動作
【表6】
【0052】
図１２は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１２００を示す。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１２１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１２１２は、各々読み出し動作中に第１及び第２の不揮発性基準メモリセルのそれぞれのビット線（ＢＬＲ０など）の一定電圧を確実にするために、対応のマルチプレクサ１２０５及びカスコーディングトランジスタ１２０４を含む。基準セルは、目標基準レベルにチューニングされる。
【0053】
メモリアレイ１２０３は、２つの目的を果たす。第１に、メモリアレイ１２０３は、ＶＭＭアレイ１２００によって使用される重みを記憶する。第２に、メモリアレイ１２０３は、メモリアレイに記憶された重みを、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１２０１及び１２０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に有効に乗算して、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに現れ、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線の電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
【0054】
ＶＭＭアレイ１２００は、メモリアレイ１２０３内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに記憶されるなど）、セルは消去され、一連の部分的なプログラミング動作が最初からやり直される。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去され（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
【0055】
表７は、ＶＭＭアレイ１２００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表７：図１２のＶＭＭアレイ１２００の動作
表７：図１２のＶＭＭアレイ１２００の動作
【表7】
【0056】
図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、基準アレイ１３０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、必要に応じて完全に消去され、部分的にプログラムされ、部分的に消去され得る。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに適用される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【0057】
表８は、ＶＭＭアレイ１３００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表８：図１３のＶＭＭアレイ１３００の動作
表８：図１３のＶＭＭアレイ１３００の動作
【表8】
【0058】
図２２は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２２００を示す。ＶＭＭアレイ２２００では、入力ＩＮＰＵＴ0．．．、ＩＮＰＵＴNは、それぞれ、ビット線ＢＬ0、．．．ＢＬNで受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、それぞれ、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3で生成される。
【0059】
図２３は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２３００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、それぞれ、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3で受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
【0060】
図２４は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２４００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、それぞれ、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
【0061】
図２５は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２５００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、それぞれ、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
【0062】
図２６は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２６００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnが、それぞれ、垂直制御ゲート線ＣＧ0、．．．、ＣＧNに受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
【0063】
図２７は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２７００を示す。この例では、それぞれ、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、それぞれ、ビット線ＢＬ0、．．．、ＢＬNに結合されているビット線制御ゲート２７０１－１、２７０１－２、．．．、２７０１－（Ｎ－１）及び２７０１－Ｎのゲートに受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
【0064】
図２８は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、それぞれ、ワード線ＷＬ0、．．．、ＷＬMに受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
【0065】
図２９は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、それぞれ、垂直ソース線ＳＬ0、．．．、ＳＬNに生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線に結合されている。
【0066】
図３０は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ３０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、それぞれ、垂直ビット線ＢＬ0、．．．、ＢＬNに生成され、各ビット線ＢＬiは、列ｉ内の全てのメモリセルのビット線に結合されている。
＜長・短期メモリ＞
＜長・短期メモリ＞
【0067】
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調節する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
【0068】
図１４は、例示的なＬＳＴＭ１４００を示す。この例におけるＬＳＴＭ１４００は、セル１４０１、１４０２、１４０３及び１４０４を含む。セル１４０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１４０２は、入力ベクトルｘ1と、セル１４０１からの出力ベクトル（隠れ状態）ｈ0と、セル１４０１からのセル状態ｃ0と、を受け取り、出力ベクトルｈ1と、セル状態ベクトルｃ1と、を生成する。セル１４０３は、入力ベクトルｘ2と、セル１４０２からの出力ベクトル（隠れ状態）ｈ1と、セル１４０２からのセル状態ｃ1と、を受け取り、出力ベクトルｈ2と、セル状態ベクトルｃ2と、を生成する。セル１４０４は、入力ベクトルｘ3と、セル１４０３からの出力ベクトル（隠れ状態）ｈ2と、セル１４０３からのセル状態ｃ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
【0069】
図１５は、図１４のセル１４０１、１４０２、１４０３、及び１４０４に使用可能なＬＳＴＭセル１５００の例示的な実装を示す。ＬＳＴＭセル１５００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
【0070】
ＬＳＴＭセル１５００は、シグモイド関数デバイス１５０１、１５０２、及び１５０３を含み、それらの各々が０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１５００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１５０４及び１５０５と、２つのベクトルを乗算するための乗算器デバイス１５０６、１５０７、及び１５０８と、２つのベクトルを加算するための加算器デバイス１５０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができるか、又は他の目的のためにアクセスすることができる。
【0071】
図１６は、ＬＳＴＭセル１５００の一実装の一例であるＬＳＴＭセル１６００を示す。読者の便宜のために、ＬＳＴＭセル１５００からの同じ採番方法が、ＬＳＴＭセル１６００で使用される。シグモイド関数デバイス１５０１、１５０２、及び１５０３、並びにｔａｎｈデバイス１５０４は各々、複数のＶＭＭアレイ１６０１及び活性化関数ブロック１６０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが分かる。乗算器デバイス１５０６、１５０７、及び１５０８、並びに加算器デバイス１５０９は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック１６０２は、デジタル方式、又はアナログ方式で実装され得る。
【0072】
ＬＳＴＭセル１６００の代替例（及びＬＳＴＭセル１５００の実装の別の例）を図１７に示す。図１７では、シグモイド関数デバイス１５０１、１５０２及び１５０３、並びにｔａｎｈデバイス１５０４は、同じ物理ハードウェア（ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１７００はまた、２つのベクトルを乗算するための乗算器デバイス１７０３と、２つのベクトルを加算するための加算器デバイス１７０８と、（活性化関数ブロック１７０２を含む）ｔａｎｈデバイス１５０５と、値ｉ（ｔ）を、ｉ（ｔ）がシグモイド関数ブロック１７０２から出力されるときに記憶するためのレジスタ１７０７と、値ｆ（ｔ）*ｃ（ｔ－１）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０４と、値ｉ（ｔ）*ｕ（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０５と、値ｏ（ｔ）*ｃ～（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０６と、マルチプレクサ１７０９と、を含む。
【0073】
ＬＳＴＭセル１６００がＶＭＭアレイ１６０１とそれぞれの活性化関数ブロック１６０２との複数のセットを含むのに対し、ＬＳＴＭセル１７００は、ＬＳＴＭセル１７００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２の１つのセットのみを含む。ＬＳＴＭセル１７００は、ＬＳＴＭセル１６００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースが１／４で済むので、ＬＳＴＭセル１７００は、ＬＳＴＭ１６００より必要とするスペースが少ない。
【0074】
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらの各々は、加算器及び活性化関数ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態は、ＶＭＭアレイ自体の外側に必要とされる回路を削減する。
＜ゲート付き回帰型ユニット＞
＜ゲート付き回帰型ユニット＞
【0075】
アナログＶＭＭ実装は、ＧＲＵ（ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ、ゲート付き回帰型ユニット）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
【0076】
図１８は、例示的なＧＲＵ１８００を示す。この例におけるＧＲＵ１８００は、セル１８０１、１８０２、１８０３及び１８０４を含む。セル１８０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル１８０２は、入力ベクトルｘ1と、セル１８０１からの出力ベクトルｈ0と、を受け取り、出力ベクトルｈ1を生成する。セル１８０３は、入力ベクトルｘ2と、セル１８０２からの出力ベクトル（隠れ状態）ｈ1と、を受け取り、出力ベクトルｈ2を生成する。セル１８０４は、入力ベクトルｘ3と、セル１８０３からの出力ベクトル（隠れ状態）ｈ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
【0077】
図１９は、図１８のセル１８０１、１８０２、１８０３、及び１８０４に使用され得るＧＲＵセル１９００の例示的な実装を示す。ＧＲＵセル１９００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル１９００は、シグモイド関数デバイス１９０１及び１９０２を含み、それらの各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル１９００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１９０３と、２つのベクトルを乗算するための複数の乗算器デバイス１９０４、１９０５、及び１９０６と、２つのベクトルを加算するための加算器デバイス１９０７と、１から入力を減算して出力を生成するための相補デバイス１９０８と、を含む。
【0078】
図２０は、ＧＲＵセル１９００の一実装の一例であるＧＲＵセル２０００を示す。読者の便宜のために、ＧＲＵセル１９００からの同じ採番方法が、ＧＲＵセル２０００で使用される。図２０から分かるように、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は各々、複数のＶＭＭアレイ２００１及び活性化関数ブロック２００２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが分かる。乗算器デバイス１９０４、１９０５、１９０６、加算器デバイス１９０７、及びコンプリメンタリデバイス１９０８は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック２００２は、デジタル方式、又はアナログ方式で実装され得る。
【0079】
ＧＲＵセル２０００の代替例（及びＧＲＵセル１９００の一実装の別の例）を図２１に示す。図２１において、ＧＲＵセル２１００は、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２を利用しており、シグモイド関数として構成された場合には、０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図２１では、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は、同じ物理ハードウェア（ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２）を、時分割多重化された方式で共有する。ＧＲＵセル２１００はまた、２つのベクトルを乗算するための乗算器デバイス２１０３と、２つのベクトルを加算するための加算器デバイス２１０５と、１から入力を減算して出力を生成するためのコンプリメンタリデバイス２１０９と、マルチプレクサ２１０４と、値ｈ（ｔ－１）*ｒ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０６と、値ｈ（ｔ－１）*ｚ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０７と、値ｈ＾（ｔ）*（１－ｚ（（ｔ））を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０８と、を含む。
【0080】
ＧＲＵセル２０００がＶＭＭアレイ２００１及び活性化関数ブロック２００２の複数のセットを含むのに対し、ＧＲＵセル２１００は、ＧＲＵセル２１００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２の１つのセットのみを含む。ＧＲＵセル２１００は、ＧＲＵセル２０００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースが１／３で済むので、ＧＲＵセル２１００は、ＧＲＵセル２０００よりも必要とするスペースが少ない。
【0081】
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらの各々は、加算器及び活性化関数ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態は、ＶＭＭアレイ自体の外側に必要とされる回路を削減する。
【0082】
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、パルス、時間変調パルス、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力は、アナログレベル、バイナリレベル、タイミングパルス、パルス、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
【0083】
ＶＭＭアレイ内の各メモリセルに関して、各重みＷは、単一のメモリセルによって、又は差動セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差分セルの場合では、重みＷを差分重み（Ｗ＝Ｗ＋－Ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みＷを実装するために２つのメモリセルが必要とされる。
【0084】
図３１は、ＶＭＭシステム３１００を示す。いくつかの実施形態では、ＶＭＭアレイに記憶された複数の重みＷ、差動対、Ｗ＋（正の重み）及びＷ－（負の重み）、として記憶され、Ｗ＝（Ｗ＋）－（Ｗ－）である。ＶＭＭシステム３１００において、複数のビット線の半分は、Ｗ＋線、すなわち、正の重みＷ＋を記憶することになるメモリセルに接続するビット線として指定され、複数のビット線の他の半分は、Ｗ－線、すなわち、負の重みＷ－を実装するメモリセルに接続するビット線として指定される。複数のＷ－線が、複数のＷ＋線の間に交互に散在される。減算演算は、加算回路３１０１及び３１０２のような、Ｗ＋線及びＷ－線から電流を受け取る加算回路によって実行される。Ｗ＋線の出力及びＷ－線の出力を一緒に組み合わせて、（Ｗ＋、Ｗ－）線の全ての対の（Ｗ＋、Ｗ－）セルの各対に対して効果的にＷ＝Ｗ＋－Ｗ－を与える。これまでＷ＋線間に交互に散在するＷ－線に関して説明してきたが、他の実施形態では、Ｗ＋線及びＷ－線は、アレイ内のどこにでも任意に配置され得る。
【0085】
図３２は、別の実施形態を示す。ＶＭＭシステム３２１０において、複数の正の重みＷ＋が第１のアレイ３２１１に実装され、複数の負の重みＷ－が第２のアレイ３２１２内に実装され、第２のアレイ３２１２は第１のアレイとは別個であり、結果として生じる重みは、加算回路３２１３によって適切に一緒に組み合わされる。
【0086】
図３３は、ＶＭＭシステム３３００を示す。ＶＭＭアレイに記憶された複数の重みＷが、差動対、Ｗ＋（正の重み）及びＷ－（負の重み）として記憶され、Ｗ＝（Ｗ＋）－（Ｗ－）である。ＶＭＭシステム３３００は、アレイ３３０１及びアレイ３３０２を備える。アレイ３３０１及び３３０２の各々における複数のビット線の半分は、Ｗ＋線として指定され、すなわち、正の重みＷ＋を記憶するメモリセルに接続するビット線であり、アレイ３３０１及び３３０２の各々における複数のビット線の他の半分はＷ－線として指定され、すなわち、負の重みＷ－を実装するメモリセルに接続するビット線である。複数のＷ－線が、複数のＷ＋線の間に交互に散在される。減算演算は、加算回路３３０３、３３０４、３３０５及び３３０６のような、Ｗ＋線及びＷ－線から電流を受け取る加算回路によって実行される。各アレイ３３０１、３３０２からのＷ＋線の出力及びＷ－線の出力をそれぞれ一緒に組み合わせて、（Ｗ＋、Ｗ－）線の全ての対の（Ｗ＋、Ｗ－）セルの各対に対して効果的にＷ＝Ｗ＋－Ｗ－を与える。加えて、各アレイ３３０１及び３３０２からのＷ値は、各Ｗ値がアレイ３３０１からのＷ値からアレイ３３０２からのＷ値を引いた結果であり、加算回路３３０７及び３３０８からの最終結果が２つの差分値のうちの１つの差分値であることを意味するように、加算回路３３０７及び３３０８を介して更に組み合わされ得る。
【0087】
アナログニューラルメモリシステムに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持する。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持するべきであり、ここで、Ｎは、各セルによって示され得る異なる重みの個数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
【0088】
同様に、読み出し動作は、Ｎ個の異なるレベル間を正確に識別することができるべきである。
【0089】
場合によっては、正確性が非常に重要であり、システムの正確性を（おそらく、電力消費を犠牲にして）改善することが望ましい。他の例では、電力管理は非常に重要であり、（おそらく、正確性を犠牲にして）システムの電力消費を改善する（すなわち、電力消費を低減する）ことが望ましい。他の例では、動作温度が変化するときに、正確性を維持するための能力が望ましい。電力消費及び正確性の代わりに、待ち時間又は他のパフォーマンス基準などの他の特性を最大化することができる。
【0090】
様々な温度環境において正確性又は電力消費を改善するために、ニューラルネットワークシステムの特性を変更することができることが望ましい。
【発明の概要】
【0091】
温度変化としての正確性、電力消費、又は他の基準に関して、深層学習人工ニューラルネットワークにおけるアナログニューラルメモリを改善するための多数の実施形態が開示される。いくつかの実施形態では、ニューラルネットワーク内の１つ以上のメモリセルに印加するバイアス値をリアルタイムで決定するための方法が実行される。他の実施形態では、バイアス電圧は、ルックアップテーブルから決定され、読み出し動作中にメモリセルの端子に印加される。
【0092】
【0093】
【0094】
【0095】
【0096】
【0097】
【0098】
【0099】
【0100】
【0101】
【0102】
【0103】
【0104】
【0105】
【0106】
【0107】
【0108】
【0109】
【0110】
【0111】
【0112】
【0113】
【0114】
【0115】
【0116】
【0117】
【0118】
【0119】
【0120】
【0121】
【0122】
【0123】
【0124】
【0125】
【0126】
【0127】
【0128】
【0129】
【0130】
【0131】
【0132】
【0133】
【0134】
【0135】
【0136】
【0137】
【0138】
【0139】
【0140】
【0141】
【0142】
【0143】
【図面の簡単な説明】
【0144】
【図1】人工ニューラルネットワークを例解する図である。
【図2】先行技術のスプリットゲートフラッシュメモリセルを示す。
【図3】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図4】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図5】別の先行技術のスプリットゲートフラッシュメモリセルを示す。
【図6】１つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを例解する図である。
【図7】ベクトルマトリックス乗算システムを例解するブロック図である。
【図8】１つ以上のベクトルマトリックス乗算システムを利用する例示的な人工ニューラルネットワークを例解するブロック図である。
【図9】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図10】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図11】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図12】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図13】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図14】先行技術の長・短期メモリシステムを示す。
【図15】長短期メモリシステムで使用する例示的なセルを示す。
【図18】先行技術のゲート付き回帰型ユニットシステムを示す。
【図19】ゲート付き回帰型ユニットシステムでの使用のための例示的なセルを示す。
【図22】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図23】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図24】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図25】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図26】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図27】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図28】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図29】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図30】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図31】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図32】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図33】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図34】ベクトルマトリックス乗算システムの別の実施形態を示す。
【図35】ニューラルネットワークからのパフォーマンスデータを示す。
【図36】ニューラルネットワーク方法を示す。
【図37】ニューラルネットワークアレイを示す。
【図38】アレイを示す。
【図39】ニューラルネットワークアレイを示す。
【図40A】方法を示す。
【図40B】バイアスルックアップテーブルを示す。
【図41】方法を示す。
【図42】方法を示す。
【図43】スケーラ及びアナログデジタル変換器の一実装を示す。
【図44A】較正回路を示す。
【図44B】較正方法を示す。
【図45】バイアス平均化回路を示す。
【図46A】バイアス生成ブロックを示す。
【図46B】別のバイアス生成ブロックを示す。
【図46C】別のバイアス生成ブロックを示す。
【図47】ニューラルネットワーク層方法を示す。
【図48】ニューラルネットワーク方法を示す。
【図49】ニューラルネットワーク方法を示す。
【図50】ニューラルネットワーク方法を示す。
【発明を実施するための形態】
【0145】
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
＜ＶＭＭシステムの概要＞
＜ＶＭＭシステムの概要＞
【0146】
図３４は、ＶＭＭシステム３４００のブロック図を示す。ＶＭＭシステム３４００は、ＶＭＭアレイ３４０１、行デコーダ３４０２、高電圧デコーダ３４０３、列デコーダ３４０４、ビット線ドライバ３４０５、入力回路３４０６、出力回路３４０７、制御論理３４０８、及びバイアス生成器３４０９を備える。ＶＭＭシステム３４００は、チャージポンプ３４１１、チャージポンプレギュレータ３４１２、及び高電圧アナログ精度レベル生成器３４１３を含む、高電圧生成ブロック３４１０を更に備える。ＶＭＭシステム３４００は、（プログラム／消去、又は重みチューニング）アルゴリズムコントローラ３４１４、アナログ回路３４１５、制御エンジン３４１６（限定するものではないが、算術機能、起動機能、埋め込みマイクロコントローラ論理などの特殊機能を含み得る）、及びテスト制御論理３４１７を更に備える。以下に記載されるシステム及び方法は、ＶＭＭシステム３４００に実装され得る。
【0147】
入力回路３４０６は、ＤＡＣ（ｄｉｇｉｔａｌ ｔｏ ａｎａｌｏｇ ｃｏｎｖｅｒｔｅｒ、デジタルアナログ変換器）、ＤＰＣ（ｄｉｇｉｔａｌ ｔｏ ｐｕｌｓｅｓ ｃｏｎｖｅｒｔｅｒ、デジタルパルス変換器、ｄｉｇｉｔａｌ ｔｏ ｔｉｍｅ ｍｏｄｕｌａｔｅｄ ｐｕｌｓｅ ｃｏｎｖｅｒｔｅｒ、デジタル時間変調パルス変換器）、ＡＡＣ（ａｎａｌｏｇ ｔｏ ａｎａｌｏｇ ｃｏｎｖｅｒｔｅｒ、電流電圧変換器、対数変換器などのアナログアナログ変換器）、ＰＡＣ（ｐｕｌｓｅ ｔｏ ａｎａｌｏｇ ｌｅｖｅｌ ｃｏｎｖｅｒｔｅｒ、パルスアナログレベル変換器）、又は任意の他の種類の変換器などの回路を含み得る。入力回路３４０６は、正規化、線形若しくは非線形アップ／ダウンスケーリング関数、又は算術関数を実装し得る。入力回路３４０６は、入力レベルのための温度補償関数を実装し得る。入力回路３４０６は、ＲｅＬＵ又はシグモイドなどの活性化関数を実装し得る。出力回路３４０７は、ＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ、ニューロンアナログ出力をデジタルビットに変換するための、アナログ－デジタル変換器）、ＡＡＣ（ａｎａｌｏｇ ｔｏ ａｎａｌｏｇ ｃｏｎｖｅｒｔｅｒ、電流－電圧変換器、対数変換器などのアナログ－アナログ変換器）、ＡＰＣ（ａｎａｌｏｇ ｔｏ ｐｕｌｓｅ ｃｏｎｖｅｒｔｅｒ、アナログ－パルス変換器、ａｎａｌｏｇ ｔｏ ｔｉｍｅ ｍｏｄｕｌａｔｅｄ ｐｕｌｓｅ ｃｏｎｖｅｒｔｅｒ、アナログ－時間変調パルス変換器）、又は任意の他の種類の変換器などの回路を含み得る。出力回路３４０７は、正規化線形活性化関数（rectified linear activation function、ＲｅＬＵ）又はシグモイドなどの活性化関数を実装し得る。出力回路３４０７は、ニューロン出力の統計的正規化、正則化、アップ／ダウンスケーリング／ゲイン関数、統計的丸め、又は算術関数（例えば、加算、減算、除算、乗算、シフト、ログ）を実装し得る。出力回路３４０７は、アレイの電力消費をほぼ一定に保つために、又はＩＶの傾斜をほぼ同じに保つことになどによってアレイ（ニューロン）出力の精度を高めるために、ニューロン出力又はアレイ出力（ビット線出力など）のための温度補償関数を実装し得る。
【0148】
上述したように、ニューラルネットワークは、多くの異なる層を含むことができ、各層内で、その層内の１つ以上のアレイに記憶された重み値を必要とする多くの計算が実行されることになる。いくつかの層は、他の層よりも多く使用されることになり、そのような層は、それらの高い使用頻度に基づいてニューラルネットワークの全体的な正確性にとってより重要であることが理解され得る。
【0149】
図３５は、ＭＮＩＳＴ（Ｍｏｄｉｆｉｅｄ Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ、米国国立標準技術研究所）桁分類のためのＭＬＰ（ｍｕｌｔｉ－ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ、多層パーセプトロン）ニューラルネットワーク内の重みの使用頻度に関して、本発明者らによって収集されたデータを反映するグラフ３５０１を示している。図示の例では、ｎ個のレベルがあり、ここで、各Ｌ（Ｌ０、．．．、Ｌｎ）は、重みの範囲を表す。見て分かるように、より低い重みは、他の重み範囲よりもはるかに頻繁に使用される。このグラフでは、一例として、Ｌｎは、全体的なネットワークパフォーマンスに大きくは寄与しない。したがって、レベルＬｎにおいてアレイに印加される制御ゲート電圧を低減することなどによって、Ｌｎを０値に設定することができ、これは、正確性に著しく影響を及ぼすことなく、より低い制御ゲート電圧において引き出されるより低いセル電流に起因して、より低い電力消費をもたらす。
【0150】
ニューラルネットワークは、複数の層を含む。各層は、その層に固有である重み分布を有することができる。したがって、全体的なネットワークパフォーマンスを改善するために、層毎に異なる技術が必要とされ得る。例えば、Ｌｎは、第１の層では少量しか寄与しない可能性があるが、第２の層では有意に寄与する可能性がある。
【0151】
本実施例は、ニューラルネットワークの動作を改善する方法を提供する。最適化という用語が利用される場合があるが、本方法は、絶対的な最適化、すなわち、可能な限り完全な、機能的な、又は効果的な最適化を必ずしも保証するものではなく、代わりに、本明細書で使用される場合の最適化という用語は、単に従来技術の方法に対する改善として意味するものであることを理解されたい。
【0152】
図３５はまた、読み出し動作中に、メモリセルの制御ゲートに印加される電圧ＶＣＧの変化に基づく読み出し動作の正確性を示す表３５０２を示している。図から分かるように、ＶＣＧを１．８Ｖから１．６Ｖに下げることは、正確性に影響を与えず、ＶＣＧを１．５Ｖから１．４Ｖに下げることは、正確性に小さな影響を与える。ＶＣＧ（又はＶＥＧ）が低下するにつれて、セル電流は、サブスレッショルド式に基づいて、指数関数的に低下する。これは、場合によっては、正確性を犠牲にすることなく、又は正確性を許容可能な程度まで犠牲にしながら、メモリセルの端子に印加される電圧を降下させることによって、電力が節約され得ることを示す。同様に、線形領域において、より低い入力行電圧は、より低い電流をもたらす。更に、動作温度の変化は、正確性及び電力消費の両方に影響を及ぼす可能性があり、同様に、ＶＣＧ及び／又はＥＧ調整（すなわち、大きさの増加又は減少）を使用して、温度が変化するにつれて、改善された電力及び／又は正確性を得ることができることを理解することができる。
【0153】
図３５のこの考察に基づいて、メモリセル（ＣＧ、ＥＧ、ＷＬなど）の１つ以上の端子に対して異なるバイアス電圧を決定及び印加して、電力消費を改善する（おそらく、正確性を犠牲にして、例えば、使用されるＶＣＧを低下させることによって）、静的温度条件中に正確性を改善する（おそらく、電力消費を犠牲にして、例えば、使用されるＶＣＧを増加させることによって）、又は変化する温度条件中に正確性を改善若しくは維持する（おそらく、電力消費を犠牲にして、例えば、温度が変化するにつれてＶＣＧを増加させることによって）ことができることが理解されよう。正確性及び電力消費の代わりに、他のパフォーマンス特性を最大化することができる。
【0154】
これらの概念を念頭において、様々な方法が、ここで説明される。
【0155】
図３６は、ニューラルネットワーク内の特定の層に対して実行されるニューラルネットワーク層方法３６００を示す。例えば、この方法は、全体的なネットワーク正確性に対する重大な影響に起因して、より重要であると考えられる１つの層（又は１つ超の層）で実行され得る。
【0156】
ステップ３６０１において、デフォルト電圧バイアスが、読み出し動作中に、層のアレイ内のセルの端子（例えば、制御ゲート端子）に印加される。このデフォルト電圧バイアスは、通常、プログラムされた重みが検証されるときの、検証動作中に使用されるバイアス値と同じである。
【0157】
ステップ３６０２において、パフォーマンス推論が行われる。
【0158】
ステップ３６０３において、デフォルトバイアスがアレイに印加されるときの、ネットワークのパフォーマンス（例えば、正確性）に関するベースラインデータが収集される。このデータは、例えば、ＭＮＩＳＴ推論演算の正確性を示すデータである。このベースラインデータは、ステップ３６０５におけるパフォーマンス目標チェックのための基準点として機能することになる。
【0159】
ステップ３６０４において、バイアスが調整され（例えば、特定の増分だけ増加又は減少され）、次いで、アレイの層内のセルの端子（例えば、制御ゲート端子）に印加される。
【0160】
ステップ３６０５では、パフォーマンス目標チェックが実行される。パフォーマンスデータ結果が、ステップ３６０３において実行されたパフォーマンスデータ収集と比較して目標範囲内にある場合、本方法は、パフォーマンス目標が満たされなくなるまでステップ３６０４に進み、満たされなくなった時点で、本方法は、ステップ３６０６の完了に進み、本方法は、目標範囲内のパフォーマンスデータをもたらしたバイアスの最後のセットであった以前のバイアス条件を記憶する。
【0161】
ステップ３６０６において、以前のバイアスのセットは、良好であるとみなされ、その層に関連して将来の使用のために（ルックアップテーブルなどに）記憶される。任意選択的に、現在の動作温度は、バイアスレベルとともに記憶されることができる。
【0162】
図３７は、ニューラルネットワークアレイ３７００を示す。ニューラルネットワークアレイ３７００は、アレイ３７０１－０、．．．、３７０１－ｎを備え、ここで、ｎ＋１は、ニューラルネットワーク３７００内のアレイの数である。ニューラルネットワーク３７００はまた、温度センサ３７０３－ｉを備え、ここで、ｉは、ニューラルネットワーク３７００内の特定の場所内の動作温度を検知するセンサの数である。任意選択的に、各アレイ３７０１－０、．．．、３７０１－ｎは、各温度センサ３７０３がアレイ３７０１－０、．．．、３７０１－ｎのうちの１つ、及びそのようなアレイに含まれるメモリセルに関連付けられるように、（ｉ＝ｎ＋１となるように）それ自体の温度センサ３７０３を含む。温度電圧バイアスルックアップテーブル（lookup table、ＬＵＴ）３７０４－ｉ（ここで、ｉは、電圧バイアスルックアップテーブルの数である）が参照され、検知された温度に基づいて、１つ以上の端子（例えば、限定するものではないが、制御ゲート端子又は消去ゲート端子）のためのバイアス電圧が取得される。次いで、温度バイアス３７０２と呼ばれるそれらのバイアス電圧が、問題の特定のアレイ内の各セルに印加される。したがって、温度バイアス３７０２－０が、アレイ３７０１－０に印加され、以下同様である。各アレイ３７０１－０、．．．、３７０１－ｎは、ニューラルネットワーク内の１つ以上のニューロンを形成する。
【0163】
図３８は、アレイ３８０１を示す。アレイ３８０１は、例えば、図３７のアレイ３７０１－０、３７０１－ｎのうちのいずれかに使用することができる。この実施形態では、同じアレイ３８０１内に含まれる異なるサブアレイ３８０２－０、．．．、３８０２－ｋに対して異なるバイアス電圧（例えば、ＶＣＧ）を使用することができ、すなわち、アレイ３８０１は、複数のサブアレイに分割される。例えば、各サブアレイ３８０２－０、．．．、３８０２ーｋは、それ自体の温度バイアス３８０３－０、．．．、３８０３－ｋをそれぞれ受信することができる。アレイ３８０１内の異なる場所で測定された特定の動作温度に基づく補償を可能にすることに加えて、この実施形態はまた、異なるタイプの重みが各サブアレイ３８０２に記憶される状況にも適している。各電流範囲が異なる温度バイアスを必要とする可能性があるため、例えば、サブアレイ３８０２－０は、０～３０ｎＡの範囲の重みを記憶し得、アレイ３８０１－１は、３０～６０ｎＡの範囲の重みを記憶し得、以下同様である。
【0164】
この実施形態はまた、異なるアレイ内のメモリセルが異なるモード（領域）で動作する状況にも適している。例えば、異なるモード（領域）が異なる温度バイアスを必要とする可能性があるため、サブアレイ３８０２－０内のセルは、サブスレッショルドモードで動作し得るが、サブアレイ３８０２－ｎ内のセルは、線形モードで動作し得る。
【0165】
図３９は、ニューラルネットワークアレイ３９００を示す。この実施形態では、図３８に関する教示は、ニューラルネットワークアレイ３９００内のｍ＋１個のアレイ３９０１－０、．．．、３９０１－ｍに拡張される。各アレイ３９０１は、ｋ＋１個のアレイ３９０２－０ａ、．．．、３９０２－ｋａに分割される（ここで、ａは、０からｍまでの範囲のアレイ番号である）。各アレイ３９０２は、それ自体の温度バイアス３９０３－０ａ、．．．、３９０３－ｋａをそれぞれ受信する。各アレイ３９０１は、異なる数のアレイに分割することができ、他のアレイ３９０１と同じ数のアレイに分割する必要はないことを更に理解されたい。
【0166】
図４０Ａは、ニューラルネットワークアレイ４０００を示す。単一層内の典型的なニューラルネットワーク読み出し（推論）動作では、デジタル入力値ＤＩＮ［ｍ：０］が、アレイ４００１に印加され、その結果、デジタル出力ＤＯＵＴ［ｎ：０］（又は代替として、アナログ値）が得られる。アレイ４００１は、アレイ又はアレイの一部であってもよい。
【0167】
ニューラルネットワーク４０００では、ルックアップテーブル４００３内の１つ以上の値を見つけるために、基準が使用される。この基準は、例えば、所望の入力値及び出力値、現在の動作温度値、並びに最低電力消費、目標パフォーマンス（例えば、正確性若しくは待ち時間）、又はある特定の温度におけるパフォーマンスを目標とすることが所望されるかどうかを含み得る。次いで、ルックアップテーブル４００３は、これらの基準に基づいて、バイアスを提供することになる。その後、バイアスは、読み出し動作中にアレイ４００１に印加され、方法４０００が完了する。アレイ４００１は、不揮発性メモリセル又は揮発性メモリセルを含むことができる。
【0168】
図４０Ｂは、バイアスルックアップテーブル（bias look up table、ＢＬＵＴ）４０２０を示す。アレイ４０２１は、揮発性又は不揮発性メモリセルのアレイ又はアレイの一部である。アレイ４０２１は、デジタル入力ＤＩＮ［ｍ：０］を受信し、デジタル出力ＤＯＵＴ［ｎ：０］を出力する。デジタル出力データパターンは、限定するものではないが、線形若しくはサブスレッショルドメモリセル関係から、又はシリコン特性データからなどの所望の出力に応じてプログラム可能である。次いで、デジタル出力データＤＯＵＴ［ｎ：０］は、デジタルアナログ変換器４０２２に印加され、この変換器は、問題のアレイ又はサブアレイに印加される所望のバイアスアナログ電圧を出力する。ＢＬＵＴ４０２０は、例えば、ニューラルネットワークのパフォーマンスを改善するために、温度センサとともにバイアス値、すなわち温度バイアスを提供するために使用される。
【0169】
図４１は、バイアス生成回路４１００を示す。温度センサ４１０１Ａは、動作温度を検知し、デジタルビットＤ［ｍ：０］で動作温度を示す。任意選択的に、タイマー４１０４は、例えば、１０～１００ｍｓ（ネットワークパフォーマンスに著しくは影響を及ぼさない許容可能な温度変化として摂氏１度を用いて、シリコンが例として摂氏１度増加するのにかかる時間）毎などに、温度検知及び後続のバイアス生成を開始することができる。それらのＤ［ｍ：０］ビットは、その動作温度に基づいて印加されるべきバイアス値、すなわち、適切な温度バイアスを見つけるために、ルックアップテーブル４１０２において参照を実行するために使用される。バイアス値はデジタルビットＤ［ｋ：０］で示され、デジタルビットはデジタルアナログ変換器４１０３に提供され、デジタルアナログ変換器はデジタルビットをバイアス電圧に変換し、次いで、バイアス電圧は、読み出し（推論）動作中にアレイ内のメモリセルの端子（例えば、制御ゲート端子）に印加され得る。
【0170】
図４２は、スケーリング回路４２００を示す。温度センサ４２０１は、動作温度を検知し、デジタルビットＤ［ｎ：０］で動作温度を示す。それらのデジタルビットはスケーラ４２０２に提供され、スケーラはまた、ニューロン読み出し動作の結果としてアレイから出力ニューロン電流Ｉｎｅｕも受信する。スケーラ４２０２は、Ｉｎｅｕの電流電圧変換を実行し、Ｄ［ｎ：０］に基づいてその信号のスケーリングを実行する。例えば、サブスレッショルド領域の場合、より高い温度は、（より高いメモリセル電流に起因して）より高いニューロン電流をもたらし、したがって、ＡＤＣ４２０３に印加される前にこの電流をスケールダウンすることが望ましい。線形領域の場合、より高い温度は、典型的に、（より低いセル電流に起因して）より低いニューロン電流をもたらし、したがって、ＡＤＣ４２０３に印加される前に、この電流をスケールアップすることが望ましい。その結果は、アナログデジタル変換器４２０３に提供される、温度にわたってよりバランスの取れたアナログ値であり、Ｉｎｅｕのスケーリングされたデジタルバージョンを表すデジタル出力ビットＤ［ｎ：０］をもたらし、このスケーリングは、動作温度を検知することを少なくとも部分的に補償する。
【0171】
図４３は、図４２からのスケーラＩＴＶ（電流電圧変換器）４２０２及びアナログデジタル変換器４２０３の実装である、スケーリング回路４３００を示す。スケーラ４２０２はプログラム可能利得を有し、これは、Ｒ値（ニューロン電流を、ＡＤＣによってデジタル化される電圧に変換するためにＲを使用するＩＴＶ回路の場合）又はＣ値（ニューロン電流を、ＡＤＣによってデジタル化される電圧に変換するためにＣを使用するＩＴＶ回路の場合）をプログラムすることによってプログラムすることができる。スケーラ４２０２はまた、（ニューロン（ビット線）電流のための）プログラム可能な電流ミラーとしても実装することができる。ＡＤＣ４２０３は、プログラム可能なｎビットＡＤＣであり、ここで、ｎは、例えば、４又は８又は１２ビットであり得る。
【0172】
図４４Ａは較正回路４４００を示し、図４４Ｂは、較正回路４４００を利用してルックアップテーブル４４７０に値を投入する較正方法４４５０を示す。電流デジタルアナログ変換器４４０２は、メモリセル４４０１のビット線と、比較器４４０３の非反転入力とに結合され、この比較器はまた、その反転入力において基準電圧ＶＲＥＦも受け取る。メモリセル４４０１は、単一のセル又は複数のセル（例えば、基準アレイ、又はメインアレイの一部からの）であり得る。
【0173】
上述したように、アナログニューラルメモリシステムに使用される各不揮発性メモリセル又は揮発性メモリセルは、消去及びプログラムされて、浮遊ゲート内に、非常に具体的かつ精確な電荷量、すなわち、電子の数を保持することができる。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持するべきであり、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。較正方法４４５０は、メモリセル４４０１に記憶することができるＮ個の異なる値の各々に対して実行される。較正方法４４５０が実行されるたびに、メモリセル４４０１は、１０ｎＡの読み出し電流など、Ｎ個の異なる値のうちの１つにプログラム（チューニング）される（ステップ４４５１）。
【0174】
メモリセル４４０１の制御ゲートにおける電圧は、較正方法４４５０に従って測定される。ビット線電流は、電流デジタルアナログ変換器４４０２によって低電流（１ｎＡなど）から高電流（１００ｎＡなど）に変化し、その結果、増加するサイズの電流が流され、比較器４４０３の出力（比較出力と呼ばれる）が監視される。ある時点で、比較出力の値が変化する（例えば、「０」から「１」に）（ステップ４４５２）。フリップが発生するとき、すなわち、電流デジタルアナログ変換器４４０２によるビット線電流の任意の変化の前に、メモリセル４４０１の制御ゲート電圧が測定され、その制御ゲート電圧は、ルックアップテーブル４４７０に記憶することができる。この方法は、メモリセルに記憶することができる他のＮ個の可能な値に対して繰り返される。１つ超のセルが使用される場合、電流ＤＡＣ（ＩＤＡＣ）によって提供される電流は、それに応じて調整される必要があり、例えば、４つのセルが（例えば、平均化のために）各セルにおいて１ｎＡで使用される場合、ＩＤＡＣ電流は、４ｎＡである。結果として生じるＣＧ電圧は、ルックアップテーブル４４７０に記憶される（ステップ４４５４）。
【0175】
別の実施形態において、ルックアップテーブル４４７０は、ルックアップテーブル４４７０が温度バイアスルックアップテーブル（temperature bias lookup table、ＴＢＬＵＴ）であるように、予想される動作範囲内の複数の温度の値を含むように更に拡張される。
【0176】
例えば、Ｎ＝１２８（８ビット入力値に対応する）の状況の場合、等価電流範囲は、１ｎａ～１２８ｎＡであり得、各１ｎＡの増分は、Ｎ個のレベルのうちの１つに関連付けられる。次いで、較正回路４４００及び較正方法４４５０を使用して、複数の異なる温度（例えば、－４０Ｃ、－３９Ｃ、．．．、０Ｃ、．．．２５Ｃ、２６Ｃ、．．．、８５Ｃ）の各々について全ての１２８レベルについてのＣＧ電圧をルックアップテーブル４４７０に投入する。例えば、Ｎ＝１２８に対して１０個の異なる温度点が使用される場合、ルックアップテーブルは、１２８０個の値（１０個の異なる温度の各々に対する１２８個のレベルの各々について１つの値を投入する。
【0177】
別の較正方法では、アレイ内のサンプルを表す（重み）電流を記憶するために複数のセルが使用される。次いで、ＩＤＡＣ４４０２からのバイアス電流が流され、ＣＧが、複数のセル及びそれらの対応する記憶された値（重み）の各々について、上記のように抽出される。これは、温度にわたって決定されて、ルックアップテーブルに記憶され得、したがって、温度にわたるＣＧバイアス変化は、異なる記憶された値（重み）に対してルックアップテーブルから呼び出されて、問題のセルに対する記憶された値に基づいてアレイに適用され得る。任意選択的に、これは、リアルタイムで実行することができ、バイアスは、動作中にアレイ内の様々なセルに印加される。
【0178】
別の実施形態では、図４４Ａ、４４Ｂの較正回路４４００及び較正方法４４５０を使用して、複数の異なる温度の各々について、Ｎ個のレベルの各々について印加されるＣＧ電圧の平均を計算することができる。例えば、Ｎ個の各値、及び各温度に対して、Ｍ個の異なる読み取り値を取得することができ、平均読み取り値をルックアップテーブル４４７０に記憶することができる。例えば、Ｎ＝１２８に対して１０個の異なる温度点が使用される場合、１２８０*Ｍ個の読み取り値が取得されることになり、１２８０個の異なる平均が、ルックアップテーブル４４７０に記憶される。
【0179】
別の実施形態では、複数の温度の各々についてＮ個全ての可能な値について測定を行う代わりに、可能な値のより小さいセットについて（例えば、Ｎ個全ての可能な値の代わりにＮ個の可能な値のうちの４つについて）、測定を行うことができ、可能な値のそれらのより小さいセットの平均を、使用される特定の温度についてルックアップテーブル４４７０に記憶することができる。したがって、１０個の異なる温度が使用される場合、ルックアップテーブル４４７０は、１０個の値（１０個の異なる温度の各々に対して１つの値のみを含むことになる。
【0180】
別の実施形態では、ＥＧバイアス電圧もまた、変更される。ＣＧ電圧の測定は、異なるＥＧバイアス電圧で行われ、ＣＧ及びＥＧバイアスはルックアップテーブル４４７０に記憶される。
【0181】
図４５は、ｎ＋１個の異なるメモリセルに対して実行された測定に基づいて、平均バイアスを決定するためのバイアス平均回路４５００を示す。較正方法４４５０は、ｎ＋１個の異なるセルに対して実行され、各々は、そのセルに対する「最適」又は平均バイアス電圧を表す電圧（例えば、ＶＣＧ）をもたらす。
【0182】
各セルは、ここで測定ブロック４５０１－０～４５０１－ｎとして示される測定ブロック４５０１に関連付けられる。各測定ブロック４５０１は、全く同じものである。測定ブロック４５０１－０は、演算増幅器４５０２－０と、電流ミラーとして配置されたＰＭＯＳトランジスタ４５０３－０及び４５０４と、ＮＭＯＳトランジスタ４５０５－０と、レジスタ４５０６－０とを備える。他の測定ブロック４５０１は、全く同じ構成要素を含む。動作中、各測定ブロック４５０１は、そのＰＭＯＳトランジスタ４５０４を通るミラー電流に寄与し、そのミラー電流はレジスタ４５０７の上部端子において合計され、そのレジスタ４５０７は可変レジスタであってもよい。出力ＶＯＵＴは、ブロック４５０１への入力として提供された様々な電圧の平均である（４５０６に対するレジスタ４５０７の値の適切な比率による）。出力電圧ＶＯＵＴ＝（Ｒ－４５０７／Ｒ－４５０６）*ＶＩＮ０～ＶＩＮｎの合計、例えばｎ＝３、Ｒ－４５０７／Ｒ－４５０６＝１／４、ＶＯＵＴ＝（１／４）*（ＶＩＮ０＋ＶＩＮ１＋ＶＩＮ２＋ＶＩＮ３）＝４つの入力電圧ＶＩＮ０～３の平均電圧である。
【0183】
出力電圧ＶＯＵＴは、ニューラルネットワークメモリアレイ内の１つ以上のセルの制御ゲート端子に、バイアスとして印加され得る。
【0184】
図４６Ａは、バイアス生成ブロック４６００を示す。バイアス生成ブロック４６００は、メモリセル４６０１のビット線及び比較器４６０３の非反転入力に結合された電流デジタルアナログ変換器４６０２を備え、その比較器４６０３はまた、その反転入力に基準電圧ＶＲＥＦをも受信する（ここで、ＶＲＥＦは、図４４に示されるものと同じＶＲＥＦである）。行レジスタ４６０４はデジタル値ＤＲＩＮ［０：７］をＩＤＡＸ４６０２に提供し、ＩＤＡＸ４６０２は、デジタル値をセル４６０１のビット線端子に流される電流に変換する。スイッチ４６０５が閉じられると、外部電圧ＶＩＮが、ＣＧ端子に印加される。スイッチ４６０６は閉じられ、コンデンサ４６０７は、ＣＧと同じ電圧に充電される。比較器４６０３の出力が変化すると、スイッチ４６０６は開かれる。その時点でのコンデンサ４６０７の電圧は、比較器４６０３の出力を変化させたＣＧ電圧を表し、これは、決定されたバイアス電圧である。すなわち、スイッチ４６０６及びコンデンサ４６０７は、サンプルアンドホールド回路を形成する。この電圧は、バッファ４６０８によって一定に保持され、アレイ内の制御ゲートに印加される。メモリセル４６０１は、サブスレッショルド領域又は線形領域で動作されることができる。
【0185】
図４６Ｂはバイアス生成ブロック４６５０を示し、これは、メモリセル４６５１がＣＧバイアスを生成するためにダイオード接続され、かつ比較器を使用しないことを除いて、バイアス生成ブロック４６００と同様である。バイアス生成ブロック４６５０は、図４４Ａにおいて、ルックアップテーブル４４７０のためのＣＧバイアス値を生成するために使用され得る。バイアス生成ブロック４６５０は、メモリセル４６５１のビット線に結合された電流デジタルアナログ変換器４６５２を備える。電流デジタルアナログ変換器４６５２は、行レジスタ４６５４によって制御される。セル４６５１の制御ゲートにおける電圧は、スイッチ４６５６によってサンプリングされ、それは、次に、コンデンサ４６５７をその電圧に充電し、コンデンサ４６５７は、スイッチ４６５６が開かれた後に、その電圧を保持する。すなわち、スイッチ４６５６及びコンデンサ４６５７は、サンプルアンドホールド回路を形成する。この電圧は、バッファ４６５８によって一定に保持され、アレイ内の制御ゲートに印加される。メモリセル４６５１は、サブスレッショルド領域又は線形領域で動作することができる。バイアス生成ブロック４６５０は、行レジスタ４６５４からの入力デジタル値ＤＲＩＮ［０：７］を、アレイに印加される等価ＣＧ電圧に変換する。
【0186】
図４６Ｃは、バイアス生成ブロック４６８０を示しており、これは、レベルシフタ４６８５を追加することを除いて、バイアス生成ブロック４６５０と同様である。バイアス生成ブロック４６８０は、図４４Ａにおいて、ルックアップテーブル４４７０のためのＣＧバイアス値を生成するために使用され得る。バイアス生成ブロック４６８０は、メモリセル４６５１のビット線に結合された電流デジタルアナログ変換器４６５２を備える。電流デジタルアナログ変換器４６５２は、行レジスタ４６５４によって制御される。レベルシフタ４６８５は、電流デジタルアナログ変換器４６５２の出力と、メモリセル４６５１の制御ゲート端子との間に配置され、例えば、バイアス電圧（例えば、０．２Ｖ～０．５Ｖ）だけ電圧をシフトする。セル４６５１の制御ゲートにおける電圧は、スイッチ４６５６によってサンプリングされ、それは、次に、コンデンサ４６５７をその電圧に充電し、コンデンサ４６５７は、スイッチ４６５６が開かれた後に、その電圧を保持する。すなわち、スイッチ４６５６及びコンデンサ４６５７は、サンプルアンドホールド回路を形成する。この電圧は、バッファ４６５８によって一定に保持され、アレイ内の制御ゲートに印加される。メモリセル４６５１は、サブスレッショルド領域又は線形領域で動作することができる。バイアス生成ブロック４６５０は、行レジスタ４６５４からの入力デジタル値ＤＲＩＮ［０：７］を、アレイに印加される等価ＣＧ電圧に変換する。
【0187】
図４７は、ニューラルネットワークにおける特定のニューロンに対して実行されるニューラルネットワークニューロン方法４７００を示す。ステップ４７０１において、公称バイアスが、アレイの対象となる特定のニューロンに印加される。この方法は、その使用頻度に起因してより重要であると考えられるニューロンに対して実行され得る。ステップ４７０２～４７０６は、図３６のステップ３６０２～３６０６と全く同じである。
【0188】
図４８は、ニューラルネットワーク方法４８００示す。この方法４８００は、メモリセルの第１のセットに関連付けられた動作温度を検知するステップ（ステップ４８０１）と、検知された動作温度に基づいて、ルックアップテーブルにおいてバイアスを決定するステップ（ステップ４８０２）と、決定されたバイアスをメモリセルの第１のセットの端子に印加するステップ（ステップ４８０３）と、メモリセルの第１のセットに対して読み出し動作を実行するステップ（ステップ４８０４）と、を含む。任意選択的に、メモリセルの第１のセットは、アレイ内の全てのセルを含むことができる。任意選択的に、メモリセルの第１のセットは、全てのアレイ内の全てのセルを含むことができる。任意選択的に、方法４８００は、メモリセルの第２のセットに関連付けられた動作温度を検知するステップ（ステップ４８０５）と、第２の検知された動作温度に基づいて、ルックアップテーブルにおいてバイアスを決定するステップ（ステップ４８０６）と、決定されたバイアスをメモリセルの第２のセットの端子に印加するステップ（ステップ４８０７）と、メモリセルの第２のセットに対して読み出し動作を実行するステップ（ステップ４８０８）と、を更に含む。
【0189】
図４９は、ニューラルネットワーク動作方法４９００を示しており、これは、バイアス較正がリアルタイムで実行されることを除いて、ニューラルネットワーク動作方法４８００と同様である。ニューラルネットワーク動作方法４９００は、メモリセルの第１のセットに関連付けられた動作温度を検知するステップ（ステップ４９０１）と、検知された動作温度に基づいてバイアスを決定するステップ（ステップ４９０２）、決定されたバイアスをメモリセルの第１のセットの端子に印加するステップ（ステップ４９０３）と、メモリセルの第１のセットに対して読み出し動作を実行するステップ（ステップ４９０４）と、を含む。任意選択的に、メモリセルの第１のセットは、アレイ内の全てのセルを含むことができる。任意選択的に、メモリセルの第１のセットは、全てのアレイ内の全てのセルを含むことができる。任意選択的に、方法４９００は、メモリセルの第２のセットに関連付けられた動作温度を検知するステップ（ステップ４９０５）と、第２の検知された動作温度に基づいて、バイアスを決定するステップ（ステップ４９０６）と、決定されたバイアスをメモリセルの第２のセットの端子に印加するステップ（ステップ４９０７）と、メモリセルの第２のセットに対して読み出し動作を実行するステップ（ステップ４９０８）と、を更に含む。
【0190】
図５０は、ニューラルネットワーク方法５０００を示しており、これは、１つ以上のメモリセルをプログラムするステップ（ステップ５００１）と、プログラムされたメモリセルに複数の電流を流すステップ（ステップ５００２）と、各プログラムされたメモリセルの制御ゲート端子の電圧を測定し、かつプログラムされたメモリセルに記憶された値を記憶するセルのための決定バイアスとして電圧を記憶するステップ（ステップ５００３）と、メモリセルのセットに記憶されるべき値を記憶するセルのための決定されたバイアスの使用に基づいて、メモリセルのセットの端子にバイアス電圧を印加するステップ（ステップ５００４）と、メモリセルのセットに対して読み出し動作を実行するステップ（ステップ５００５）と、を含む。
【0191】
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40A】
【図40B】
【図41】
【図42】
【図43】
【図44A】
【図44B】
【図45】
【図46A】
【図46B】
【図46C】
【図47】
【図48】
【図49】
【図50】
【手続補正書】
【提出日】2024-06-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ニューラルネットワークのための方法であって、前記方法は、メモリセルのセットに関連付けられた動作温度を検知するステップと、
前記検知された動作温度に基づいて、ルックアップテーブルにおいてバイアスを決定するステップと、
前記決定されたバイアスを前記メモリセルのセットの端子に印加するステップと、
前記メモリセルのセットに対して読み出し動作を実行するステップと、を含む、方法。
【請求項2】
前記バイアスはメモリセルから生成される、請求項１に記載の方法。
【請求項3】
前記メモリセルのセットは、前記ニューラルネットワークにおけるニューロンを含む、請求項１に記載の方法。
【請求項4】
前記メモリセルのセットは第１のアレイ内に配置されている、請求項１に記載の方法。
【請求項5】
メモリセルの第２のセットに関連付けられた第２の動作温度を検知するステップと、前記第２の動作温度に基づいて、ルックアップテーブルにおいて第２のバイアスを決定するステップと、
前記決定された第２のバイアスを前記メモリセルの第２のセットの端子に印加するステップであって、前記メモリセルの第２のセットは、前記第１のアレイとは異なる第２のアレイ内に配置されている、印加するステップと、
前記メモリセルの第２のセットに対して読み出し動作を実行するステップと、を更に含む、請求項４に記載の方法。
【請求項6】
前記メモリセルのセットは、前記ニューラルネットワークにおける単一層に含まれる、請求項１に記載の方法。
【請求項7】
前記メモリセルのセットは、前記ニューラルネットワークにおける複数のアレイ内の全てのメモリセルを含む、請求項１に記載の方法。
【請求項8】
前記メモリセルのセットは、前記ニューラルネットワークにおける複数のアレイ内の１つ以上の選択されたアレイ内の全てのメモリセルを含む、請求項１に記載の方法。
【請求項9】
前記メモリセルのセットはスプリットゲートフラッシュメモリセルを含む、請求項１に記載の方法。
【請求項10】
前記メモリセルのセットはスタックゲートフラッシュメモリセルを含む、請求項１に記載の方法。
【請求項11】
バイアスルックアップテーブルに投入するための方法であって、前記方法は、Ｎ個の値のうちのいずれかを記憶することができるメモリセルを、前記Ｎ個の値のうちの１つでプログラムするステップと、
増加するサイズの一連の電流を、前記プログラムされたメモリセルのビット線に流すステップと、
比較出力を生成するために、前記ビット線の電圧を基準電圧と比較するステップと、
前記比較出力が値を変化させるときに、前記メモリセルの制御ゲート端子の電圧を測定し、前記電圧をルックアップテーブルに記憶するステップと、を含む、方法。
【請求項12】
前記メモリセルは不揮発性メモリセルである、請求項１１に記載の方法。
【請求項13】
前記メモリセルは揮発性メモリセルである、請求項１１に記載の方法。
【請求項14】
前記制御ゲート端子の前記電圧は、サンプルアンドホールド回路を使用して測定される、請求項１１に記載の方法。
【請求項15】
ニューラルネットワークのための方法であって、前記方法は、動作温度を検知するステップと、
前記検知された動作温度をデジタルビットで示すステップと、
出力ニューロン電流を電圧に変換するステップと、
前記デジタルビットに応答して、前記電圧をスケーリングするステップと、を含む、方法。
【請求項16】
バイアスを生成するための電圧平均化回路であって、出力ノードと接地との間に結合された可変レジスタと、
複数の測定ブロックであって、各測定ブロックは、それぞれの入力電圧を電流に変換し、かつ前記電流を前記出力ノードにミラーする、複数の測定ブロックと、を備え、
前記出力ノードは、前記入力電圧の平均に等しいバイアスを前記複数の測定ブロックに提供する、電圧平均化回路。
【請求項17】
前記出力ノードにおける電圧が、各測定ブロックによって提供された値の合計に等しく、前記値は、前記測定ブロックによって受信された前記入力電圧に前記可変レジスタの比率を乗算し、前記測定ブロックの前記可変レジスタの合計で除算し、前記それぞれの入力電圧の前記合計を乗算したものを含む、請求項１６に記載の電圧平均化回路。
【請求項18】
前記出力ノードにおける前記電圧は、ニューラルネットワークメモリアレイ内の１つ以上のセルの制御ゲート端子に印加される、請求項１７に記載の電圧平均化回路。
【請求項19】
ニューラルネットワークのための方法であって、前記方法は、メモリセルのセットに関連付けられた動作温度を検知するステップと、
前記検知された動作温度に基づいて、バイアスを決定するステップと、
前記決定されたバイアスを前記メモリセルのセットの端子に印加するステップと、
前記メモリセルのセットに対して読み出し動作を実行するステップと、を含む、方法。
【請求項20】
前記メモリセルのセットは、前記ニューラルネットワークにおけるニューロンを含む、請求項１９に記載の方法。
【請求項21】
前記バイアスはメモリセルから生成される、請求項１９に記載の方法。
【請求項22】
メモリアレイのためのバイアスを生成するための方法であって、前記方法は、値を記憶するように、メモリセルをプログラムするステップと、
前記プログラムされたメモリセルのビット線に、増加するサイズの一連の電流を流すステップと、
前記バイアスを決定するように、前記メモリセルの制御ゲート端子の電圧を測定するステップと、を含む、方法。
【請求項23】
前記決定されたバイアスを記憶するステップ、を更に含む、請求項２２に記載の方法。
【請求項24】
メモリセルのアレイ内の１つ以上のメモリセルに対する動作中に、前記バイアスを前記１つ以上のメモリセルに印加するステップを更に含む、請求項２３に記載の方法。
【請求項25】
前記アレイはアナログニューラルメモリアレイである、請求項２４に記載の方法。
【請求項26】
前記プログラムされたメモリセルの複数の異なる動作温度について、前記プログラムするステップ、前記流すステップ、前記測定するステップ、及び前記記憶するステップを実行するステップを含む、請求項２３に記載の方法。
【請求項27】
ニューラルネットワークにおけるメモリアレイのためのバイアスをリアルタイムで決定するための方法であって、前記方法は、値を記憶するように、メモリセルをプログラムするステップと、
前記プログラムされたメモリセルのビット線に所定の電流を流すステップと、
前記バイアスを決定するように、前記メモリセルの制御ゲート端子の電圧を測定するステップと、を含む、方法。
【請求項28】
前記バイアスを記憶するステップ、を更に含む、請求項２７に記載の方法。
【請求項29】
メモリセルのアレイ内の１つ以上のメモリセルに対する動作中に、前記バイアスを前記１つ以上のメモリセルに印加するステップを更に含む、請求項２８に記載の方法。
【請求項30】
前記アレイはアナログニューラルメモリアレイである、請求項２９に記載の方法。
【請求項31】
前記プログラムされたメモリセルの複数の異なる動作温度について、前記プログラムするステップ、前記印加するステップ、前記測定するステップ、及び前記記憶するステップを実行するステップを含む、請求項２８に記載の方法。
【請求項32】
ニューラルネットワークのための方法であって、前記方法は、メモリセルをプログラムするステップと、
増加するサイズの一連の電流を、前記プログラムされたメモリセルのビット線に流すステップと、
比較出力を生成するために、前記ビット線の電圧を基準電圧と比較するステップと、
前記比較出力が値を変化したときに、前記メモリセルの制御ゲート端子の電圧を測定し、そして、前記電圧を、決定されたバイアスとして記憶するステップと、
前記決定されたバイアスを前記メモリセルのセットの端子に印加するステップと、
前記メモリセルのセットに対して読み出し動作を実行するステップと、を含む、方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
表１は、読み出し動作、消去動作、及びプログラム動作を実行するためにメモリセル１１０の端子に印加され得る典型的な電圧及び電流範囲を示す。
表１：図２のフラッシュメモリセル２１０の動作
表１：図２のフラッシュメモリセル２１０の動作
【表1】
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【0040】
代替的に、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ∝（Ｖｇｓ－Ｖｔｈ）
すなわち、線形領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ∝（Ｖｇｓ－Ｖｔｈ）
すなわち、線形領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【0043】
代替的に、本明細書に記載されたＶＭＭアレイのメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ∝（Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ∝（Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【0056】
図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス、及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１２００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、必要に応じて完全に消去され、部分的にプログラムされ、部分的に消去され得る。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに適用される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０１７６
【補正方法】変更
【補正の内容】
【0176】
例えば、Ｎ＝１２８（８ビット入力値に対応する）の状況の場合、等価電流範囲は、１ｎａ～１２８ｎＡであり得、各１ｎＡの増分は、Ｎ個のレベルのうちの１つに関連付けられる。次いで、較正回路４４００及び較正方法４４５０を使用して、複数の異なる温度（例えば、－４０℃、－３９℃、．．．、０℃、．．．２５℃、２６℃、．．．、８５℃）の各々について全ての１２８レベルについてのＣＧ電圧をルックアップテーブル４４７０に投入する。例えば、Ｎ＝１２８に対して１０個の異なる温度点が使用される場合、ルックアップテーブルは、１２８０個の値（１０個の異なる温度の各々に対する１２８個のレベルの各々について１つの値を投入する。
【国際調査報告】