特許 7654001 パフォーマンスおよび面積の効率的なシナプス・メモリ・セル構造

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-21

(45)【発行日】2025-03-31

(54)【発明の名称】パフォーマンスおよび面積の効率的なシナプス・メモリ・セル構造

(51)【国際特許分類】

   G11C 11/54 20060101AFI20250324BHJP

   G11C 11/16 20060101ALI20250324BHJP

   G06N 3/065 20230101ALI20250324BHJP

   G06G 7/60 20060101ALI20250324BHJP

   H10B 61/00 20230101ALI20250324BHJP

   H10N 50/10 20230101ALI20250324BHJP

【ＦＩ】

G11C11/54

G11C11/16 100C

G06N3/065

G06G7/60

H10B61/00

H10N50/10 Z

【請求項の数】 16

(21)【出願番号】P 2022542783

(86)(22)【出願日】2021-02-03

(65)【公表番号】

(43)【公表日】2023-03-30

(86)【国際出願番号】 IB2021050854

(87)【国際公開番号】W WO2021156755

(87)【国際公開日】2021-08-12

【審査請求日】2023-07-21

(31)【優先権主張番号】16/782,758

(32)【優先日】2020-02-05

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(72)【発明者】

【氏名】安田 岳雄

(72)【発明者】

【氏名】細川 浩二

(72)【発明者】

【氏名】岡澤 潤香

(72)【発明者】

【氏名】岩科 晶代

【審査官】小林 紀和

(56)【参考文献】

【文献】米国特許第１０５２８６４３（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１９／０２２８２９５（ＵＳ，Ａ１）

【文献】特表２０１９－５３７１８７（ＪＰ，Ａ）

【文献】再公表特許第２０１０／０８７３８９（ＪＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１１Ｃ １１／５４

Ｇ１１Ｃ １１／１６

Ｇ０６Ｎ ３／０６５

Ｇ０６Ｇ ７／６０

Ｈ１０Ｂ ６１／００

Ｈ１０Ｎ ５０／１０

(57)【特許請求の範囲】

【請求項1】

シナプス・メモリ・システムであって、
複数のアクソン・ラインと複数のデンドライト・ラインとの交点に設けられた複数のシナプス・メモリ・セルであって、各シナプス・メモリ・セルが複数の分解能を含む複数のアナログ・メモリ・デバイスを備え、各シナプス・メモリ・セルが書き込み信号の出力レベルに従って重み値を格納するように構成されて、各シナプス・メモリ・セルに格納されることになる前記重み値が少なくとも３つの異なる値のうちの１つの値であり、前記複数の分解能を含む前記複数のアナログ・メモリ・デバイスが、各シナプス・メモリ・セルにおける前記複数のアナログ・メモリ・デバイスの前記複数の分解能を用いて指数スケールで表現される各シナプス・メモリ・セルの構成要素となるように組み合わされた、前記複数のシナプス・メモリ・セルと、
前記重み値を各シナプス・メモリ・セルへ書き込むように構成された書き込み部分であって、前記書き込み部分が書き込みドライバおよび出力コントローラを備え、前記書き込みドライバが前記書き込み信号をサブジェクト・シナプス・メモリ・セルへ出力するように構成されて、前記サブジェクト・シナプス・メモリ・セルが前記シナプス・メモリ・セルのうちの１つであり、前記サブジェクト・シナプス・メモリ・セルが前記重み値を格納するために選択されて、前記出力コントローラが前記書き込みドライバの前記書き込み信号の前記出力レベルを制御するように構成された、前記書き込み部分と、
および前記シナプス・メモリ・セルに格納された前記重み値を読み取るように構成された読み取りドライバと
を備える、シナプス・メモリ・システム。

【請求項2】

前記複数のアナログ・メモリ・デバイスのダイナミック・レンジが各シナプス・メモリ・セル全体としてのダイナミック・レンジを得るために組み合わされた、請求項１に記載のシナプス・メモリ・システム。

【請求項3】

前記複数のアナログ・メモリ・デバイスの各々に異なる大きさが割り当てられた、請求項２に記載のシナプス・メモリ・システム。

【請求項4】

前記複数のシナプス・メモリ・セルは、各シナプス・メモリ・セルに含まれる前記複数のアナログ・メモリ・デバイスの長辺が互いに平行であるように配列された、請求項１～３のいずれか一項に記載のシナプス・メモリ・システム。

【請求項5】

各シナプス・メモリ・セルのアスペクト比は、各アナログ・メモリ・デバイスのアスペクト比より小さい、請求項４に記載のシナプス・メモリ・システム。

【請求項6】

各シナプス・メモリ・セルのアスペクト比は、ほとんど１：１である、請求項４に記載のシナプス・メモリ・システム。

【請求項7】

各アナログ・メモリ・デバイスは、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）を備える、請求項１～６のいずれか一項に記載のシナプス・メモリ・システム。

【請求項8】

各アナログ・メモリ・デバイスは、磁気抵抗ランダム・アクセス・メモリ（ＭＲＡＭ）を備える、請求項１～７のいずれか一項に記載のシナプス・メモリ・システム。

【請求項9】

シナプス・メモリ・システムを動作させるための方法であって、前記シナプス・メモリ・システムは、
複数のアクソン・ラインと複数のデンドライト・ラインとの交点に設けられた複数のシナプス・メモリ・セルであって、各シナプス・メモリ・セルが複数の分解能を含む複数のアナログ・メモリ・デバイスを備え、前記複数の分解能を含む前記複数のアナログ・メモリ・デバイスが、各シナプス・メモリ・セルにおける前記複数のアナログ・メモリ・デバイスの前記複数の分解能を用いて指数スケールで表現される各シナプス・メモリ・セルの構成要素となるように組み合わされた、前記複数のシナプス・メモリ・セルと、
書き込みドライバおよび出力コントローラを備える書き込み部分と、
ならびに一組の読み取りドライバと
を備え、
前記方法は、
書き込み信号の出力レベルに従って重み値を、前記システムのシナプス・メモリ・セルによって、格納することであって、格納される前記重み値が少なくとも３つの異なる値のうちの１つの値である、前記格納することと、
前記重み値を前記シナプス・メモリ・セルに、前記書き込み部分によって、書き込むことであって、前記書き込むことが、前記重み値を格納するために選択された前記シナプス・メモリ・セルへ前記書き込み信号を、前記書き込みドライバによって、出力することと、前記書き込みドライバの前記書き込み信号の前記出力レベルを、前記出力コントローラによって、制御することとを含む、前記書き込むことと、
前記シナプス・メモリ・セルに格納された前記重み値を、前記読み取りドライバによって、読み取ることと
を含む、方法。

【請求項10】

各シナプス・メモリ・セル全体としてのダイナミック・レンジを得るために、前記複数のアナログ・メモリ・デバイスのダイナミック・レンジを組み合わせることをさらに含む、請求項９に記載の方法。

【請求項11】

前記複数のアナログ・メモリ・デバイスの各々に異なる大きさを割り当てることをさらに含む、請求項１０に記載の方法。

【請求項12】

前記複数のシナプス・メモリ・セルを、各シナプス・メモリ・セルに含まれる前記複数のアナログ・メモリ・デバイスの長辺が互いに平行であるように、配列することをさらに含む、請求項９～１１のいずれか一項に記載の方法。

【請求項13】

各シナプス・メモリ・セルのアスペクト比は、各アナログ・メモリ・デバイスのアスペクト比より小さい、請求項１２に記載の方法。

【請求項14】

各シナプス・メモリ・セルのアスペクト比は、ほとんど１：１である、請求項１２に記載の方法。

【請求項15】

各アナログ・メモリ・デバイスは、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）を備える、請求項９～１４のいずれか一項に記載の方法。

【請求項16】

各アナログ・メモリ・デバイスは、磁気抵抗ランダム・アクセス・メモリ（ＭＲＡＭ）を備える、請求項９～１４のいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パフォーマンスおよび面積の効率的なシナプス・メモリ・セル構造に関する。特に、本発明は、シナプス・メモリ・セル構造を動作させるためのシステムおよび方法を提供する。

【背景技術】

【0002】

アナログ・メモリは、その抵抗およびキャパシタンスを連続的に制御できるような特性を有し、典型的に、ニューラル・ネットワーク・システムにおいてシナプスの重み値を格納するためのメモリ・デバイスとして用いられる。ニューラル・ネットワーク・システムとして良好なパフォーマンスを達成するために、シナプス・メモリ・セルが高い分解能を有することが好ましい。多くのメモリ・デバイスは、低い分解能もしくは小さいダイナミック・レンジを有する。それらを改善することは、それらのデバイス特性およびノイズ・マージンゆえに難しい。いくつかのメモリ・デバイスは、アレイ・ブロックへの集積化には適さない、アスペクト比が大きい長方形を有する。それゆえに、当技術分野においては前述の問題に取り組む必要がある。

【発明の概要】

【0003】

第１の態様の観点から、本発明は、シナプス・メモリ・システムを提供し、シナプス・メモリ・システムは、複数のアクソン・ラインと複数のデンドライト・ラインとの交点に設けられた複数のシナプス・メモリ・セルであって、各シナプス・メモリ・セルが複数のアナログ・メモリ・デバイスを備え、各シナプス・メモリ・セルが書き込み信号の出力レベルに従って重み値を格納するように構成されて、各シナプス・メモリ・セルに格納されることになる重み値が少なくとも３つの異なる値のうちの１つの値であり、複数のアナログ・メモリ・デバイスが各シナプス・メモリ・セルの構成要素となるように組み合わされた、複数のシナプス・メモリ・セルと、重み値を各シナプス・メモリ・セルへ書き込むように構成された書き込み部分であって、書き込み部分が書き込みドライバおよび出力コントローラを備え、書き込みドライバが書き込み信号をサブジェクト・シナプス・メモリ・セルへ出力するように構成されて、サブジェクト・シナプス・メモリ・セルがシナプス・メモリ・セルのうちの１つであり、サブジェクト・シナプス・メモリ・セルが重み値を格納するために選択されて、出力コントローラが書き込みドライバの書き込み信号の出力レベルを制御するように構成された、書き込み部分と、およびシナプス・メモリ・セルに格納された重み値を読み取るように構成された読み取りドライバとを備える。

【0004】

さらなる態様の観点から、本発明は、シナプス・メモリ・システムを備えるデバイスを提供し、シナプス・メモリ・システムは、複数のアクソン・ラインと複数のデンドライト・ラインとの交点に設けられた複数のシナプス・メモリ・セルであって、各シナプス・メモリ・セルが複数のアナログ・メモリ・デバイスを備え、各シナプス・メモリ・セルが書き込み信号の出力レベルに従って重み値を格納するように構成されて、各シナプス・メモリ・セルに格納されることになる重み値が少なくとも３つの異なる値のうちの１つの値であり、複数のアナログ・メモリ・デバイスが各シナプス・メモリ・セルの構成要素となるように組み合わされた、シナプス・メモリ・セルと、重み値を各シナプス・メモリ・セルへ書き込むように構成された書き込み部分であって、書き込み部分が書き込みドライバおよび出力コントローラを備え、書き込みドライバが書き込み信号をサブジェクト・シナプス・メモリ・セルへ出力するように構成されて、サブジェクト・シナプス・メモリ・セルがシナプス・メモリ・セルのうちの１つであり、サブジェクト・シナプス・メモリ・セルが重み値を格納するために選択されて、出力コントローラが書き込みドライバの書き込み信号の出力レベルを制御するように構成された、書き込み部分と、およびシナプス・メモリ・セルに格納された重み値を読み取るように構成された読み取りドライバとを備える。

【0005】

さらなる態様の観点から、本発明は、シナプス・メモリ・システムを動作させるための方法を提供し、シナプス・メモリ・システムは、複数のアクソン・ラインと複数のデンドライト・ラインとの交点に設けられた複数のシナプス・メモリ・セルであって、各シナプス・メモリ・セルが複数のアナログ・メモリ・デバイスを備える、シナプス・メモリ・セルと、書き込みドライバおよび出力コントローラを備える書き込み部分と、ならびに一組の読み取りドライバとを備え、方法は、書き込み信号の出力レベルに従って重み値を、システムのシナプス・メモリ・セルによって、格納することであって、格納される重み値が少なくとも３つの異なる値のうちの１つである、格納することと、重み値をシナプス・メモリ・セルに、書き込み部分によって、書き込むことであって、書き込むことが、重み値を格納するために選択されたシナプス・メモリ・セルへ書き込み信号を、書き込みドライバによって、出力することと、書き込みドライバの書き込み信号の出力レベルを、出力コントローラによって、制御することとを含む、書き込むことと、シナプス・メモリ・セルに格納された重み値を、読み取りドライバによって、読み取ることとを含む。

【0006】

本発明のある態様によれば、シナプス・メモリ・システムが提供される。システムは、複数のシナプス・メモリ・セル、書き込み部分、および読み取りドライバを含む。複数のシナプス・メモリ・セルは、複数のアクソン・ラインと複数のデンドライト・ラインとの交点に設けられる。各シナプス・メモリ・セルは、複数のアナログ・メモリ・デバイスを含む。各シナプス・メモリ・セルが書き込み信号の出力レベルに従って重み値を格納するように構成される。各シナプス・メモリ・セルに格納されることになる重み値は、少なくとも３つの異なる値のうちの１つの値である。複数のアナログ・メモリ・デバイスが各シナプス・メモリ・セルの構成要素となるように組み合わされる。書き込み部分は、重み値を各シナプス・メモリ・セルへ書き込むように構成される。書き込み部分が書き込みドライバおよび出力コントローラを含む。書き込みドライバが書き込み信号をサブジェクト・シナプス・メモリ・セルへ出力するように構成される。サブジェクト・シナプス・メモリ・セルは、シナプス・メモリ・セルのうちの１つである。サブジェクト・シナプス・メモリ・セルが重み値を格納するために選択される。出力コントローラが書き込みドライバの書き込み信号の出力レベルを制御するように構成される。読み取りドライバは、シナプス・メモリ・セルに格納された重み値を読み取るように構成される。

【0007】

本発明の別の態様によれば、前述のシナプス・メモリ・システムを含むデバイスが提供される。

【0008】

次に、以下の図に示されるような、好ましい実施形態を参照して、本発明が、例としてのみ、記載される。

【図面の簡単な説明】

【0009】

【図1】本発明の第１の例示的な実施形態によるクロスバー・アレイを有するシナプス・メモリを示す。

【図2】第１の例示的な実施形態によるシナプス・メモリ・システムを示す。

【図3】信号出力のタイミングを図示するタイミング・チャートを示す。

【図4】シナプス・メモリおよび各々が複数のメモリ・デバイスからなるシナプス・メモリ・セルを示す。

【図5A】ＭＲＡＭからなるアナログ・メモリの例示的な構造を示す。

【図5B】図５Ａのアナログ・メモリが最大（または最小）値を格納する状態を示す。

【図5C】図５Ａのアナログ・メモリが最小（または最大）値を格納する状態を示す。

【図6】図５Ａ～５Ｃに示されるアナログ・メモリがシナプス・メモリ・セル中の各メモリ・デバイスに用いられる例示的な構成を示す。

【図7】ニューロシナプティック・コア・システムを含むデバイスの例を示す。

【発明を実施するための形態】

【0010】

以下に、本発明の例示的な実施形態が添付図面を参照して詳細に記載される。本発明は、以下に与えられることになる例示的な実施形態には限定されず、本発明の範囲内の様々な修正を伴って実装されてよいことに留意すべきである。加えて、本明細書に用いられる図面は、図示のためであり、実寸法を示さない。

【0011】

第１の例示的な実施形態
図１は、本発明の第１の例示的な実施形態によるクロスバー・アレイを有するシナプス・メモリ１００を描く。

【0012】

ニューロモーフィック・システムのハードウェア実装は、シナプス・メモリならびにニューロン本体と、アクソンおよびデンドライトによるネットワーク接続とを含んでよい。図１に示されるように、シナプス・メモリ１００は、すべてのアクソン（アクソン・ライン）２０とすべてのデンドライト（デンドライト・ライン）３０とのすべての交点に配置された／置かれたシナプス・メモリ・セル１０を含んでよい。シナプス・メモリ・セル１０の各々が、対応するシナプス・メモリ・セル１０のシナプス接続の重みを示す、シナプスの重み値を格納するように構成されてよい。留意すべきは、アクソン２０がプレニューロンのそれぞれのアクソンに対応し、デンドライト３０がポストニューロンのそれぞれのデンドライトに対応することである。

【0013】

シナプス・メモリ・セル１０のためのメモリ・デバイスは、アナログ・メモリである、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ：ｎｏｎ－ｖｏｌａｔｉｌｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）であってよい。シナプス・メモリ・セル１０は、後で詳細に記載される。

【0014】

図２は、第１の例示的な実施形態によるシナプス・メモリ・システム１を描く。

【0015】

図２に示されるように、シナプス・メモリ・システム１は、シナプス・メモリ１００、書き込みドライバ４０、書き込みライン・セレクタ４５、読み取りドライバ５０、読み取りドライバ・セレクタ１５０、重みエバリュエータ７０、重みエンコーダ８０、および書き込みパルス発生器９０を含んでよい。留意すべきは、シナプス・メモリ・システム１をシリコン上のニューロモーフィック・システムとすることができることである。シナプス・メモリ・システム１は、請求されるシナプス・メモリ・システムの例である。

【0016】

ここで、図１を参照して上述されたように、シナプス・メモリ１００は、アクソン２０とデンドライト３０とのクロスバー・アレイを有し、アクソン２０とデンドライト３０とのすべての交点に配列されたシナプス・メモリ・セル１０を含む。この例示的な実施形態は、シナプスの重み値をＮＶＲＡＭへ書き込むことが、電圧値を制御することによって実行されることを仮定する。

【0017】

書き込みドライバ（シナプス・メモリ・セル・ドライバ）４０がシナプス・メモリ１００へ接続される。書き込みドライバ４０は、学習動作入力または認識動作入力に応答してシナプスの重み値をそれぞれのシナプス・メモリ・セル１０へ書き込むように構成されてよい。具体的には、書き込みドライバ４０が書き込みライン・セレクタ４５によって選択されたそれぞれのアクソン２０へ電圧を印加してよい。書き込みライン・セレクタ４５は、書き込みドライバ４０が電圧を印加するアクソン２０を選択する。例えば、書き込みライン・セレクタ４５が予め決められた順に選択されたアクソン２０をある一定のタイミングでスイッチする。この例では、書き込みライン・セレクタ４５によって選択されたアクソン（単数または複数）２０上に設けられたシナプス・メモリ・セル（単数または複数）１０へ書き込みライン・セレクタ４５のスイッチング・タイミングに従って電圧を印加するように、重みエンコーダ８０が書き込みドライバ４０および書き込みライン・セレクタ４５を制御する。これは、書き込みドライバ４０および書き込みライン・セレクタ４５の単一のペアがシナプスの重み値をそれぞれのアクソン２０上に設けられたシナプス・メモリ・セル１０のすべてへ書き込むことを可能にする。

【0018】

デンドライト３０が、デンドライト３０から、サブジェクト・デンドライト（単数または複数）を選択するデンドライト・ドライバ（図示されない）へ接続されて、シナプスの重み値がサブジェクト・デンドライトを用いてシナプスの重み値の書き込み動作では書き込まれて、読み取り動作では読み取られる。デンドライト・ドライバは、電圧をデンドライト３０へ選択的に印加してよい。これは、デンドライト・ドライバがサブジェクト・デンドライト（単数または複数）を決定することを可能にする。具体的には、シナプスの重み値の書き込み動作では、デンドライト・ドライバがデンドライト３０のうちの１つをグラウンド（ＧＮＤ）状態にセットして、他のデンドライト３０を高インピーダンス（Ｈｉ－Ｚ）状態にセットする。書き込みライン・セレクタ４５は、書き込みドライバ４０へ接続されたアクソン２０のうちの１つを選択して、電圧をそれへ印加する。これは、ＧＮＤ状態にセットされたデンドライト３０と、書き込みドライバ４０によって電圧を印加されたアクソン２０との交点上のシナプス・メモリ・セル１０にシナプスの重み値が書き込まれる結果をもたらす。書き込みドライバ４０は、出力タイミングを制御するためのパルス信号を受信する。書き込みドライバ４０は、駆動電圧（ＶＤＤ）を印加される。留意すべきは、書き込みドライバ４０がシナプス・メモリ・セル１０へ印加される電圧を制御するように構成されることである。

【0019】

読み取りドライバ５０がシナプス・メモリ１００へ接続される。読み取りドライバ５０は、認識動作入力に応答してシナプスの重み値をシナプス・メモリ・セル１０から読み取るように構成されてよい。具体的には、デンドライト・ドライバ（図示されない）が、シナプスの重み値がそれを用いて読み取られるデンドライト（単数または複数）３０をＧＮＤ状態にセットして、他のデンドライト３０をＨｉ－Ｚ状態にセットする。読み取りドライバ・セレクタ１５０は、アクソン（単数または複数）２０に対応する読み取りドライバ５０を選択し、または有効にして、電圧をそれらへ印加する。これは、ＧＮＤ状態にセットされたデンドライト３０と、読み取りドライバ５０によって電圧を印加されたアクソン２０との交点上のシナプス・メモリ・セル１０からシナプスの重み値が読み取られる結果をもたらす。シナプスの重み値の読み取り動作では、ＧＮＤ状態にセットされた各デンドライト３０について全シナプスの重み値が読み取られる。全シナプスの重み値とは、電圧を印加されているアクソン２０上にあるそれぞれのシナプス・メモリ・セル１０のシナプスの重み値の合計である。

【0020】

重みエバリュエータ７０は、デンドライト３０からのニューロン出力信号を用いて現在のシナプスの重み値を評価し、次のシナプスの重み値を決定する。具体的には、重みエバリュエータ７０がデンドライト３０から得られたニューロン出力信号と、学習動作入力として与えられた所望の出力信号とを比較して、シナプス・メモリ・セル１０に格納された現在のシナプスの重み値がそれを用いてアップデートされることになる、次のシナプスの重み値を計算する。

【0021】

重みエンコーダ８０は、重みエバリュエータ７０によって計算された次のシナプスの重み値をエンコードしてよい。重みエンコーダ８０が重みエバリュエータ７０によって計算された次のシナプスの重み値に基づいて書き込みドライバ４０の駆動電圧を制御する。これは、書き込みドライバ４０がシナプス・メモリ・セル１０へ印加される電圧を制御することを可能にする。

【0022】

書き込みパルス発生器９０は、パルス幅変調およびパルス数（または周波数）変調のような、変調プロセスを実施してよい。言い換えれば、書き込みパルス発生器９０が重みエンコーダ８０によって発生されたエンコード値に基づいてパルス信号を発生させて、出力してよい。重みエンコーダ８０によって制御されたこのパルス信号および駆動電圧は、シナプス・メモリ・セル１０に格納された現在のシナプスの重み値をアップデートするように書き込みドライバ４０を導く。

【0023】

現在のシナプスの重み値をアップデートするために、いくつかの方法、例えば、（ｉ）現在のシナプスの重み値と次のシナプスの重み値との間のギャップを現在のシナプスの重み値に追加する方法、および（ｉｉ）現在のシナプスの重み値を最小値へリセットして、ひいては次のシナプスの重み値を書き込む方法が適用可能でありうる。

【0024】

例えば、方法（ｉ）は、次の場合にシナプスの重み値を減少させることによってそれをアップデートするために適用可能でありうる。すなわち、シナプス・メモリ・セル１０として用いられるＮＶＲＡＭは、格納値を増加させるために印加される電圧とは反対の極性を有する電圧を印加することによって格納値を削減でき、格納されたシナプスの重み値の減少量を供給電圧の値によって制御できる。

【0025】

方法（ｉ）において、シナプスの重み値を制御するために書き込みドライバ４０の出力値についていくつかのレベルをセットできる。例えば、レベルは、「ドライバ共通レベル」、「セット閾値レベル」、および「リセット閾値レベル」である。ドライバ共通レベルは、書き込みドライバ４０がオフ状態にある（非アクティブな）ときの電圧レベルである。シナプス・メモリ・セル１０は、書き込みドライバ４０の出力がセット閾値レベルとリセット閾値レベルとの間にあるかまたは高インピーダンス（Ｈｉ－Ｚ）状態にあり、デンドライト３０へ印加される電圧値がドライバ共通レベルにあれば、現在の重み値を維持するように構成される。セット閾値レベル、すなわち、正の閾値レベルは、シナプスの重み値を増加させるための書き込み動作がそれ以上では実行可能な電圧レベルである。リセット閾値レベル、すなわち、負の閾値レベルは、シナプスの重み値を減少させるための書き込み動作がそれ以下では実行可能な電圧レベルである。書き込みドライバ４０の出力値は、請求される出力レベルの例である。

【0026】

図３を参照すると、上記の方法がより詳細に記載される。図３は、書き込みドライバ４０からの信号出力のタイミング、読み取りドライバ５０からの信号出力のタイミング、およびシナプス・メモリ・セル１０の状態遷移のタイミングを示すタイム・チャートである。

【0027】

（１）第１に、時間ｔ１から時間ｔ２へ（期間ｔ１～ｔ２）、書き込みドライバ４０は、書き込みドライバ４０がターゲット・セルをリセット状態（ある一定のデクリメントされた値）にセットするように、リセット閾値レベルより低い電圧をシナプス・メモリ・セル１０のうちの１つ（ターゲット・セル）へ印加する。すなわち、シナプスの重み値を減少させるための書き込み動作が行われる。ターゲット・セルでデクリメントされることになる値は、書き込みドライバ４０によって印加される電圧がリセット閾値レベルより低くなる量に依存する。タイム・チャートでは、この動作が状態「リセット１」で行われる。

【0028】

（２）次に、時間ｔ２から時間ｔ３へ（期間ｔ２～ｔ３）、書き込みドライバ４０は、書き込みドライバ４０がターゲット・セルをセット状態（ある一定のインクリメントされた値）にセットするように、セット閾値レベルより高い電圧をターゲット・セルへ印加する。すなわち、シナプスの重み値を増加させるための書き込み動作が行われる。ターゲット・セルでインクリメントされることになる値は、書き込みドライバ４０によって印加される電圧がセット閾値レベルを超える量に依存する。タイム・チャートでは、この動作が状態「セット１」で行われる。

【0029】

（３）次に、時間ｔ４から時間ｔ５へ（期間ｔ４～ｔ５）、読み取りドライバ５０は、読み取りドライバ５０がターゲット・セルを読み取り状態にセットするように、ドライバ共通レベルとセット閾値レベルとの間の電圧をターゲット・セルへ印加する。すなわち、シナプスの重み値の読み取り動作が行われる。この状態で読み取られるターゲット・セルが「セット１」状態で書き込まれた同じものであれば、この時点で読み取られることになる値が上記のステップ（２）でアップデートされたシナプスの重み値に対応する。タイム・チャートでは、この動作が状態「読み取り１」で行われる。

【0030】

（４）次に、時間ｔ６から時間ｔ７へ（期間ｔ６～ｔ７）、書き込みドライバ４０は、書き込みドライバ４０がターゲット・セルを別のデクリメントされた値へ別のリセット状態にセットするように、リセット閾値レベルより低い電圧をターゲット・セルへ印加する。すなわち、シナプスの重み値を減少させるための書き込み動作が行われる。タイム・チャートでは、この動作が状態「リセット２」で行われる。

【0031】

（５）次に、時間ｔ８から時間ｔ９へ（期間ｔ８～ｔ９）、読み取りドライバ５０は、読み取りドライバ５０がターゲット・セルを別の読み取り状態にセットするように、ドライバ共通レベルとセット閾値レベルとの間の電圧をターゲット・セルへ印加する。すなわち、シナプスの重み値の読み取り動作が行われる。この状態で読み取られるターゲット・セルが「リセット２」状態で書き込まれた同じものであれば、この時点で読み取られることになる値が上記のステップ（４）でアップデートされたシナプスの重み値に対応する。タイム・チャートでは、この動作が状態「読み取り２」で行われる。

【0032】

（６）期間ｔ１～ｔ２、ｔ２～ｔ３、およびｔ６～ｔ７以外の期間には、ターゲット・セルが書き込みドライバ４０に対して高インピーダンス（Ｈｉ－Ｚ）状態にセットされる。すなわち、その期間に書き込み動作が行われない。さらに、期間ｔ４～ｔ５およびｔ８～ｔ９以外の期間には、ターゲット・セルが読み取りドライバ５０に対して高インピーダンス状態にセットされる。すなわち、その期間には読み取り動作が行われない。

【0033】

書き込みドライバ４０がオフ状態にあるときに、シナプス・メモリ・セル１０への印加電圧は、セット閾値レベルとリセット閾値レベルとの間にあるかまたは高インピーダンス状態であり、シナプス・メモリ・セル１０が現在の重み値を維持する。これは、シナプスの重み値の書き込み動作を防止する。

【0034】

書き込みドライバ４０からの出力信号に応答して、印加電圧がドライバ共通レベルからセット閾値レベル以上へ、またはリセット閾値レベル以下へシフトする。

【0035】

書き込みドライバ４０によって印加される電圧がセット閾値レベルを超えるときに、シナプスの重み値は、増加されるようにアップデートされる。インクリメントの量は、書き込みドライバ４０によって印加される電圧がセット閾値レベルを超える量に依存する。すなわち、書き込みドライバ４０により印加される電圧を調整することによって、つまり書き込みレベルを選択することによって超過量を制御すると、シナプスの重み値のインクリメント量を制御することが可能になる。

【0036】

書き込みドライバ４０によって印加される電圧がリセット閾値レベルより低くなるときに、シナプスの重み値は、減少されるようにアップデートされる。デクリメントの量は、書き込みドライバ４０によって印加される電圧がリセット閾値レベルより低くなる量に依存する。すなわち、書き込みドライバ４０により印加される電圧を調整することによって、つまり書き込みレベルを選択することによって低下量を制御すると、シナプスの重み値のデクリメント量を制御することが可能になる。

【0037】

留意すべきは、印加電圧がセット閾値レベルとリセット閾値レベルとの間の範囲内にあれば、シナプスの重み値が保たれることである。言い換えれば、シナプス・メモリ・セル１０上の書き込み動作は実施されない。読み取りドライバ５０は、この範囲内の電圧をシナプス・メモリ・セル１０へ印加することによってシナプスの重み値をシナプス・メモリ・セル１０から読み取る。

【0038】

以下に、シナプス・メモリ・セル１０の説明が与えられる。

【0039】

アナログ・メモリである、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）がシナプス・メモリ・セル１０として用いられてよい。アナログ・メモリは、その抵抗およびキャパシタンスを連続的に制御できるような特性を有する。ＮＶＲＡＭの例は、フラッシュ・メモリ、強誘電体ランダム・アクセス・メモリ（ＦｅＲＡＭ：ｆｅｒｒｏｅｌｅｃｔｒｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、磁気抵抗ランダム・アクセス・メモリ（ＭＲＡＭ：ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、相変化ランダム・アクセス・メモリ（ＰＲＡＭ：ｐｈａｓｅ ｃｈａｎｇｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、および抵抗性ランダム・アクセス・メモリ（ＲｅＲＡＭ：ｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）を含む。

【0040】

データをＮＶＲＡＭへ書き込むことが、電圧もしくは電流をＮＶＲＡＭへ印加することによって実行される。ＮＶＲＡＭは、印加電圧もしくは電流に応答し、対応するシナプス・メモリ・セル１０の状態変化を用いてデータを格納することができる。留意すべきは、データを記録するために用いられる状態変化がＮＶＲＡＭの構造に依存することである。例えば、状態変化は、電気的状態における変化、磁気的状態における変化、および相における変化を含んでよい。

【0041】

状態変化の度合いは、印加電圧もしくは電流の大きさ、すなわち、電圧値もしくは電流値に依存して変動してよい。これは、ＮＶＲＡＭが連続値（アナログ値）または多値（離散値）を格納することを可能にする。留意すべきは、ＮＶＲＡＭが少なくとも３つの異なる（非デジタル）値のうちの１つである値を格納して保持できることである。言い換えれば、ＮＶＲＡＭをアナログ・メモリとして用いることができる。図に示される例では、シナプス・メモリ・セル１０がＮＶＲＡＭによって構成され、そのため、ＮＶＲＡＭへ印加されることになる電圧値もしくは電流値を制御することが、シナプス・メモリ・セル１０に格納されるシナプスの重み値を制御することを可能にする。具体的には、書き込み動作を制御するために電圧値が用いられるならば、電圧値が大きいほど、ＮＶＲＡＭがより大きいシナプスの重み値を格納することを許容する。電圧（電流）のこのチューニングをシナプス・メモリ・システム１（後述）の製造後に行うことができる。ＮＶＲＡＭ上の書き込み動作を制御するために電圧値もしくは電流値を用いるべきかどうかは、ＮＶＲＡＭの特性、例えば、データ記録に用いられる状態における変化のタイプ、および電圧値もしくは電流値に依存して変動する状態変化の変動幅、速度、または精度に基づいてそれを判定できることに留意すべきである。

【0042】

ところで、ニューラル・ネットワーク・システムとして良好なパフォーマンスを達成するために、シナプス・メモリ・セル１００は、十分過ぎるほどの分解能ステップを有することが望まれる。しかしながら、多数のメモリ・デバイスがかなり低い分解能もしくは小さいダイナミック・レンジを有し、それらを改善することは、デバイス特性およびノイズ・マージンゆえに難しい。

【0043】

このような観点から、本実施形態は、低い分解能もしくは小さいダイナミック・レンジ（または両方）をもつ複数のメモリ・デバイスを単一のシナプス・メモリ（シナプス・メモリ・セル１０）として組み合わせる。より好ましくは、全ダイナミック・レンジを増加できるように、デバイスごとに異なる大きさが割り当てられてよい。

【0044】

図４は、シナプス・メモリ１００および各々が複数のメモリ・デバイスからなるシナプス・メモリ・セル１０を描く。

【0045】

この図では、ｍ個のメモリ・デバイス１１が１つのシナプス・メモリ・セル１０の構成要素となるように組み合わされる。１つのシナプス・メモリ・セル１０に含まれるメモリ・デバイス１１が同じデバイス特性を有すると仮定される。また、各メモリ・デバイス１１がｎ個の分解能ステップを有すると仮定される。

【0046】

１つのシナプス・メモリ・セル１０がｍ個のメモリ・デバイス１１からなるので、それぞれのメモリ・デバイス１１に対応するデンドライトのｍ本のラインが１つのシナプス・メモリ・セル１０へ接続される。これらｍ本のラインが一組のデンドライト３０の構成要素となる。

【0047】

一組のデンドライト３０の構成要素となるｍ本のラインの各々に０～（ｍ－１）の範囲内の数が割り当てられる。シナプス・メモリ・セル１０の構成要素となるメモリ・デバイス１１が互いに区別されるべきときに、メモリ・デバイス１１の各々に、以下では、メモリ・デバイス１１（０）、メモリ・デバイス１１（１）．．．メモリ・デバイス１１（ｍ－２）、およびメモリ・デバイス１１（ｍ－１）のように、そのメモリ・デバイス１１へ接続されたラインの番号が記される。

【0048】

図４に示されるシナプス・メモリ・セル１０全体としての分解能は、複数のメモリ・デバイス１１のダイナミック・レンジの組み合わせによって決定される。例えば、シナプス・メモリ・セル１０全体としての分解能は、ｎを底としてもつメモリ・デバイス１１の分解能（ｎ）を用いて指数スケールで表現される。それに応じて、各メモリ・デバイス１１には異なる大きさが割り当てられる。より具体的には、シナプス・メモリ・セル１０の分解能がｍ桁の値であることを仮定すると、メモリ・デバイス１１（０）が第１桁を表し、メモリ・デバイス１１（１）が第２桁を表し．．．メモリ・デバイス１１（ｍ－２）が第（ｍ－１）桁を表し、メモリ・デバイス１１（ｍ－１）が第ｍ桁を表す。

【0049】

シナプス・メモリ・セル１０全体としての分解能を得るために、一組のデンドライト３０の構成要素となるラインの各々からの電流が、対応するメモリ・デバイス１１によって表現される桁に従って、コンバータ１２（ｋ－１）（ｋ＝１，２，・・・，ｍ）によって変換される。より具体的には、メモリ・デバイス１１（０）へ接続されたラインからの電流に１（またはｎ^０）が乗じられ、メモリ・デバイス１１（１）へ接続されたラインからの電流にｎ（またはｎ^１）が乗じられ、．．．メモリ・デバイス１１（ｍ－２）へ接続されたラインからの電流にｎ^ｍ－２が乗じられて、メモリ・デバイス１１（ｍ－１）へ接続されたラインからの電流にはｎ^ｍ－１が乗じられる。従って、各ラインからの出力は、シナプス・メモリ・セル１０全体としての分解能の値の一部を形成する、対応するメモリ・デバイス１１（ｋ－１）（ｋ＝１，２，・・・，ｍ）の桁を表すことができる。

【0050】

次に、加算器１３がラインからの電流を合計する。先に記載されたように、ラインの各々からの出力電流がシナプス・メモリ・セル１０の分解能の桁に従って変換され、従って、これらの電流を合計することが、シナプス・メモリ・セル１０全体としての分解能に対応する電流を得ることを許容する。次に、電流から電圧への変換器（ＩＶＣ：ｃｕｒｒｅｎｔ－ｔｏ－ｖｏｌｔａｇｅ ｃｏｎｖｅｒｔｅｒ）１４が出力値を電圧へ変換して、その電圧が、次に、アナログからデジタルへの変換器（ＡＤＣ：ａｎａｌｏｇ－ｔｏ－ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）１５によってアナログからデジタルへの変換を受ける。このようにして得られたデジタル値がマージされたデンドライト３５からの出力信号として出力される。

【0051】

図７は、ニューロシナプティック・コア・システム１０００を含むデバイス１０１０の例を描く。

【0052】

図７に示されるように、シナプス・メモリ・システム１が、コンピュータのような、デバイス１０１０上に設けられてよい。示される例では、複数のニューロシナプティック・コア・システム１０００は、半導体チップのような、チップ１００１上に設けられる。チップ１００１が、次に、デバイス１０１０上に載せられる。

【0053】

ニューロシナプティック・コア・システム１０００の各々がシナプス・メモリ・システム１およびニューロン本体７００を含む。ニューロン本体７００は、ニューロン動作を行う。具体的には、ニューロン本体７００が電流センサによってセンシングされた全電流に基づいてシナプスの重み値と入力値との積和値を得る。電流センサによってセンシングされた全電流は、選択されたアクソン（単数または複数）２０と一組のデンドライト３０との交点上のシナプス・メモリ・セル１０に格納されたシナプスの重み値と、入力値との積和値を表してよい。次に、ニューロン本体７００が全電流値に対応するニューロン出力を出力する。

【0054】

ここで、ニューロシナプティック・コア・システム１０００がプリドライブされたアクソン２５を介して互いに接続される。シナプス・メモリ・システム１は、プリドライブされたアクソン２５を介してプレニューロンへ接続される。ニューロン本体７００は、ポストニューロンの一部であり、その出力が、同じかまたは他のニューロシナプティック・コア・システム１０００中のシナプス・メモリ・システム１へ接続された、プリドライブされたアクソン２５である。シナプス・メモリ・システム１は、入力がアクソン２０を介して活動化されるシナプスの重み値を累積するためにプレニューロンからの出力信号を受信する。シナプスの重み値と、アクソン２０（またはプリドライブされたアクソン２５）からの入力値との乗算値の累積値が予め決められた閾値に達すれば、ニューロン本体７００が出力信号をプリドライブされたアクソン２５でポストニューロンのニューロン出力として出力する。

【0055】

第２の例示的な実施形態
図５Ａは、ＭＲＡＭからなるアナログ・メモリの例示的な構造を示す。図５Ｂは、図５Ａのアナログ・メモリが値「０」を格納する状態を示す。図５Ｃは、図５Ａのアナログ・メモリが値「１」を格納する状態を示す。

【0056】

アナログ・メモリ１６は、フリー層１６１およびピンニング層１６２を含む。フリー層１６１は、平面状であり、その端部に固定領域１６１ａ、および固定領域１６１ａの間にデータ領域１６１ｂを含む。ピンニング層１６２は、フリー層１６１の端部においてそれぞれの固定領域１６１ａ上に堆積される。

【0057】

ピンニング層１６２によって励起されるにつれて、２つの固定領域１６１ａは、反対方向の磁界を有する。

【0058】

固定領域１６１ａの影響に起因して、データ領域１６１ｂの磁界は、いずれかの固定領域１６１ａの磁界と同一であってもよく、または両方の固定領域１６１ａの磁界を部分的に含んでもよい。データ領域１６１ｂの磁界が変化する境界は、分域壁１６１ｃと呼ばれる。

【0059】

固定領域１６１ａがピンニング層１６２によって励起されるにつれて、データ領域１６１ｂでは分域壁１６１ｃの位置が固定領域１６１ａの間で移動する。分域壁１６１ｃの位置に従ってアナログ値が格納される。

【0060】

それに応じて、上記のように構成されたアナログ・メモリ１６のダイナミック・レンジを増加させるために必要とされるのは、分域壁１６１ｃが移動できる長さを、できる限り、増加させることである。言い換えれば、データ領域１６１ｂの長さ（図５Ａ中の長さａ）ができるだけ長い必要がある。さらに言い換えれば、２つの固定領域１６１ａの間の距離ができるだけ長い必要がある。

【0061】

一方では、メモリに書き込む際に分域壁１６１ｃが図５Ｂおよび５Ｃに示されるように２つの固定領域１６１ａの間で移動するときに、図３中のセット閾値レベルまたはリセット閾値レベルより大きい電圧によってある一定の閾値量より大きい電流（または単位時間当たりの電子移動）がもたらされる。この電子移動の方向（電流方向とは反対）が図５Ｂおよび５Ｃに示される。分域壁１６１ｃ移動の量は、その電流（単位時間内に移動される電子の量）に依存する。そのように、その全範囲内のメモリの記録値のステップの数は、分域壁１６１ｃが図５Ｂ中の分域壁から図５Ｃ中の分域壁へ移動することができるデータ領域１６１ｂの長さに比例する。従って、図５Ａ中のデバイス１６のａの長さが最大化されるべきである。他方では、記録電流は、流れる電流に垂直なメモリ・デバイスの断面積に比例する。従って、図５Ａ中のデバイス１６の幅ｂは、記録電流を削減して、電力消費を削減するために最小化されるべきである。これらの理由のため、ダイナミック・レンジが大きく、低電力消費で格納値の十分な分解能をもつアナログ・メモリ１６の形状は、大きいアスペクト比（図５Ａのａ：ｂの比）を呈するであろう。

【0062】

図５Ａ～５Ｃを参照して説明されたアナログ・メモリ１６の構造は、例示に過ぎない。しかしながら、多くのアナログ・メモリは、それらが多数の少量のステップによって大きいダイナミック・レンジを有することができるように、実際には、大きいアスペクト比を呈する。

【0063】

図４を参照して説明されたシナプス・メモリ・セル１０のメモリ・デバイス１１の各々が図５Ａ～５Ｃを参照して説明されたアナログ・メモリ１６からなることを仮定する。

【0064】

図６は、図５Ａ～５Ｃに示されるアナログ・メモリ１６がシナプス・メモリ・セル１０中の各メモリ・デバイス１１に用いられる例示的な構成を示す。

【0065】

図６に示される例では、各シナプス・メモリ・セル１０中の複数のメモリ・デバイス１１（アナログ・メモリ１６）は、それらの長辺（図５Ａ中の長さａの方向に沿う辺）が互いに平行であるように配列される。これは、シナプス・メモリ・セル１０全体としてのアスペクト比（すなわち、メモリ・デバイス１１の長さ方向対メモリ・デバイス１１が配列される方向の比）を個々のメモリ・デバイス１１と比較して削減できる。これは、複数のメモリ・デバイス１１が１つのシナプス・メモリ・セル１０として組み合わされた構成においてシナプス・メモリ・セル１０およびシナプス・メモリ１００の形状のフレキシビリティを増加させる。

【0066】

第３の例示的な実施形態
図２を参照して説明されたように、シナプス・メモリ・システム１が、または外部ブロックがシナプス・メモリ１００へ接続された周辺デバイスを含んでよい。これらの周辺デバイスは、シナプス・メモリ１００のアクソン２０側に設けられたもの、およびシナプス・メモリ１００のマージされたデンドライト３５側に設けられたものを含む。

【0067】

推論（または認識）およびトレーニングを伴うシナプス・メモリ・システム１の通常動作の下で、前のニューロン本体７００からの信号出力がプリドライブされたアクソン２５を介してシナプス・メモリ１００へ入力されて、シナプス・メモリ１００が、次には、その信号をマージされたデンドライト３５を介して後のニューロン本体７００へ出力する。

【0068】

他方では、バック・プロパゲーションを伴うシナプス・メモリ・システム１の動作の下で、後のニューロン本体７００からの信号出力がマージされたデンドライト３５を介してシナプス・メモリ１００へ入力されて、シナプス・メモリ１００が、次には、その信号をプリドライブされたアクソン２５を介して前のニューロン本体７００へ出力する。

【0069】

この理由のため、ほとんど同じサイズの一群の周辺デバイスがシナプス・メモリ１００のアクソン２０（またはプリドライブされたアクソン２５）側およびデンドライト３０（またはマージされたデンドライト３５）側の両方に設けられる。従って、シナプス・メモリ１００のアスペクト比（すなわち、そのアクソン２０に沿った長さ対そのデンドライト３０に沿った長さの比）が１：１に近づくにつれて、シナプス・メモリ１００に対して周辺デバイスを置くことがより容易になり、従って、シナプス・メモリ・システム１を設計することがより容易になる。

【0070】

図４を参照して説明されたように、シナプス・メモリ・セル１０が複数のメモリ・デバイス１１からなるときに、シナプス・メモリ・セル１０に含まれるメモリ・デバイス１１の数に依存してシナプス・メモリ・セル１０が大きいアスペクト比を有することがある。その場合には、シナプス・メモリ１００全体としてのアスペクト比を削減するために、シナプス・メモリ・セル１０は、各シナプス・メモリ・セル１０のアスペクト比に従って垂直方向にある一定の距離のブランク・ギャップによって互いにスペースを空けて置かれる必要があり、これにより無用なスペースが作り出される結果をもたらす。

【0071】

他方では、図６に示されるように各シナプス・メモリ・セル１０中のメモリ・デバイス１１としてアナログ・メモリ１６を配列すると、シナプス・メモリ１００全体としてのアスペクト比を削減し、同時に無用なスペースをなくすことができる。

【0072】

より具体的には、各シナプス・メモリ・セル１０中の複数のメモリ・デバイス１１（アナログ・メモリ１６）は、それらの長辺が互いに平行であるように配列される。これは、シナプス・メモリ・セル１０のアスペクト比を１：１に近付けることができる。従って、かかるシナプス・メモリ・セル１０からなるシナプス・メモリ１００は、シナプス・メモリ・セル１０の間に無用なスペースのない１：１に近いアスペクト比を有することができる。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】