知財求人 - 知財ポータルサイト「IP Force」
▶ 三星電子株式会社の特許一覧 ▶ リサーチ ビジネス ファウンデーション ソンギュングァン ユニバーシティの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023088841
(43)【公開日】2023-06-27
(54)【発明の名称】ニューラルネットワーク回路及び装置
(51)【国際特許分類】
G06N 3/063 20230101AFI20230620BHJP
G11C 11/54 20060101ALI20230620BHJP
G11C 11/16 20060101ALI20230620BHJP
G06G 7/60 20060101ALI20230620BHJP
G06G 7/14 20060101ALI20230620BHJP
G06G 7/16 20060101ALI20230620BHJP
【ＦＩ】
G06N3/063
G11C11/54
G11C11/16 230
G06G7/60
G06G7/14
G06G7/16
【審査請求】未請求
【請求項の数】24
【出願形態】ＯＬ
(21)【出願番号】P 2022157261
(22)【出願日】2022-09-30
(31)【優先権主張番号】10-2021-0179808
(32)【優先日】2021-12-15
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(71)【出願人】
【識別番号】517066191
【氏名又は名称】リサーチ ビジネス ファウンデーション ソンギュングァン ユニバーシティ
【氏名又は名称原語表記】ＲＥＳＥＡＲＣＨ ＢＵＳＩＮＥＳＳ ＦＯＵＮＤＡＴＩＯＮ ＳＵＮＧＫＹＵＮＫＷＡＮ ＵＮＩＶＥＲＳＩＴＹ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】田 正勳
(72)【発明者】
【氏名】宋 至浩
(72)【発明者】
【氏名】李 允銘
(72)【発明者】
【氏名】李 柱兒
(57)【要約】 （修正有）
【課題】ニューラルネットワーク回路及び装置を提供すること。
【解決手段】ニューラルネットワーク回路１００は、Ｊ個の出力ラインに沿って配置されて、第１抵抗値及び第２抵抗値のうちの１つを有する抵抗性メモリ素子を含み、入力ライン（Ｋ個のワードラインＷＬ０～ＷＬＫ－１）を介して入力信号を受信する場合に応答して、抵抗性メモリ素子及び入力信号に基づいてカラム信号を生成するシナプスメモリセル１１１を有するシナプスメモリアレイ１１０と、基準ラインに沿って配置されて、第１抵抗値と異なる第２抵抗値を有する基準メモリ素子を含み、前記基準メモリ素子及び前記入力信号に基づいて基準信号を生成する基準メモリセル１２１を有する基準メモリアレイ１２０と、前記カラム信号及び前記基準信号から前記出力ラインに対する出力信号１５９を生成する出力回路１５０と、を含む。
【選択図】図１
【解決手段】ニューラルネットワーク回路１００は、Ｊ個の出力ラインに沿って配置されて、第１抵抗値及び第２抵抗値のうちの１つを有する抵抗性メモリ素子を含み、入力ライン（Ｋ個のワードラインＷＬ０～ＷＬＫ－１）を介して入力信号を受信する場合に応答して、抵抗性メモリ素子及び入力信号に基づいてカラム信号を生成するシナプスメモリセル１１１を有するシナプスメモリアレイ１１０と、基準ラインに沿って配置されて、第１抵抗値と異なる第２抵抗値を有する基準メモリ素子を含み、前記基準メモリ素子及び前記入力信号に基づいて基準信号を生成する基準メモリセル１２１を有する基準メモリアレイ１２０と、前記カラム信号及び前記基準信号から前記出力ラインに対する出力信号１５９を生成する出力回路１５０と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ニューラルネットワーク装置であって、
出力ラインに沿って配置されて、第１抵抗値及び第２抵抗値のうちの１つを有する抵抗性メモリ素子を含み、入力ラインを介して入力信号を受信する場合に応答して、前記抵抗性メモリ素子及び前記入力信号に基づいてカラム信号を生成する、シナプスメモリセルと、
基準ラインに沿って配置されて、前記第１抵抗値とは異なる前記第２抵抗値を有する基準メモリ素子を含み、前記基準メモリ素子及び前記入力信号に基づいて基準信号を生成する、基準メモリセルと、
前記カラム信号及び前記基準信号から、前記出力ラインに対する出力信号を生成する、出力回路と、
を含む、装置。
出力ラインに沿って配置されて、第１抵抗値及び第２抵抗値のうちの１つを有する抵抗性メモリ素子を含み、入力ラインを介して入力信号を受信する場合に応答して、前記抵抗性メモリ素子及び前記入力信号に基づいてカラム信号を生成する、シナプスメモリセルと、
基準ラインに沿って配置されて、前記第１抵抗値とは異なる前記第２抵抗値を有する基準メモリ素子を含み、前記基準メモリ素子及び前記入力信号に基づいて基準信号を生成する、基準メモリセルと、
前記カラム信号及び前記基準信号から、前記出力ラインに対する出力信号を生成する、出力回路と、
を含む、装置。
【請求項2】
前記シナプスメモリセルは、前記シナプスメモリセルに割り当てられるシナプス加重値を表現するためのビット数の抵抗性メモリ素子を含み、
前記ビット数の抵抗性メモリ素子は、同じ入力ラインに沿って配置される、
請求項１に記載の装置。
前記ビット数の抵抗性メモリ素子は、同じ入力ラインに沿って配置される、
請求項１に記載の装置。
【請求項3】
前記基準メモリセルは、前記シナプス加重値を表現するためのビット数の基準メモリ素子を含み、
前記ビット数の基準メモリ素子は、同じ入力ラインに沿って配置されている、
請求項２に記載の装置。
前記ビット数の基準メモリ素子は、同じ入力ラインに沿って配置されている、
請求項２に記載の装置。
【請求項4】
同じ出力ラインに接続されたシナプスメモリセルの抵抗性メモリ素子は、互いに並列に接続されている、
請求項１に記載の装置。
請求項１に記載の装置。
【請求項5】
前記装置は、さらに、
前記出力ラインとは異なる出力ラインに沿って配置される他のシナプスメモリセル、を含み、
前記出力回路は、前記出力ライン及び前記他の出力ラインのそれぞれに対して、同じ基準メモリセルを用いて、個別的に出力信号を生成する、
請求項１に記載の装置。
前記出力ラインとは異なる出力ラインに沿って配置される他のシナプスメモリセル、を含み、
前記出力回路は、前記出力ライン及び前記他の出力ラインのそれぞれに対して、同じ基準メモリセルを用いて、個別的に出力信号を生成する、
請求項１に記載の装置。
【請求項6】
前記出力回路は、前記シナプスメモリセルのビットごとの前記カラム信号を累積することにより、カラム累積信号を生成し、前記基準メモリセルのビットごとの前記基準信号を累積することによって、基準累積信号を生成する、読出し回路、を含む、
請求項１に記載の装置。
請求項１に記載の装置。
【請求項7】
前記読出し回路は、前記シナプスメモリセル及び前記基準メモリセルのビットごとに、前記カラム信号を該当ビットに対応する倍数の電流でコピーする、カレントミラー、を含む、
請求項６に記載の装置。
請求項６に記載の装置。
【請求項8】
前記出力回路は、前記カラム累積信号と前記基準累積信号との間の差異に対応する前記出力信号を生成する、
請求項６に記載の装置。
請求項６に記載の装置。
【請求項9】
前記出力回路は、前記基準累積信号に対応する電流をノードに向かって流入させ、前記カラム累積信号に対応する電流を前記ノードから流出させることで、前記カラム累積信号と前記基準累積信号との間の差異に対応する電流が流れる、キャパシタ、を含む、
請求項８に記載の装置。
請求項８に記載の装置。
【請求項10】
前記出力回路は、前記第１抵抗値の抵抗性メモリ素子に基づいた第１電流と、前記第２抵抗値の抵抗性メモリ素子に基づいた第２電流との間の差異であるネット電流の整数倍に対応する電流を、前記出力信号として生成する、
請求項１に記載の装置。
請求項１に記載の装置。
【請求項11】
前記出力回路は、さらに、
前記出力信号を閾値と比較した結果に基づいて、他のニューラルネットワーク装置への発火を行う漏洩及び発火（ＬＩＦ）回路、を含む、
請求項１に記載の装置。
前記出力信号を閾値と比較した結果に基づいて、他のニューラルネットワーク装置への発火を行う漏洩及び発火（ＬＩＦ）回路、を含む、
請求項１に記載の装置。
【請求項12】
前記ＬＩＦ回路は、前記出力信号に基づいて累積する電圧が、閾値時間内に閾値電圧に達しない場合に応答して、前記出力信号を漏洩する、
請求項１１に記載の装置。
請求項１１に記載の装置。
【請求項13】
前記ＬＩＦ回路は、前記出力信号に基づいて累積する電圧が、前記閾値に対応する閾値時間内に閾値電圧に達する場合に応答して、前記他のニューロン回路への発火を行う、
請求項１１に記載の装置。
請求項１１に記載の装置。
【請求項14】
前記装置は、さらに、
複数のメモリ素子を含む閾値メモリアレイ、を含み、
前記複数のメモリ素子のうちの１つ以上のメモリ素子は、前記閾値に基づいて指定され、前記第１抵抗値を有する、
請求項１１に記載の装置。
複数のメモリ素子を含む閾値メモリアレイ、を含み、
前記複数のメモリ素子のうちの１つ以上のメモリ素子は、前記閾値に基づいて指定され、前記第１抵抗値を有する、
請求項１１に記載の装置。
【請求項15】
前記装置は、さらに、
閾値生成回路と基準ワードラインを共有し、
前記基準ワードラインに沿って配置されて、前記第２抵抗値を有する追加基準メモリ素子を有する追加基準メモリセル、を含む、
請求項１４に記載の装置。
閾値生成回路と基準ワードラインを共有し、
前記基準ワードラインに沿って配置されて、前記第２抵抗値を有する追加基準メモリ素子を有する追加基準メモリセル、を含む、
請求項１４に記載の装置。
【請求項16】
前記出力回路は、
閾値メモリセルに基づいて生成された信号及び前記追加基準メモリセルに基づいて生成された信号に基づいて、前記閾値に対応する閾値時間を設定する、
請求項１５に記載の装置。
閾値メモリセルに基づいて生成された信号及び前記追加基準メモリセルに基づいて生成された信号に基づいて、前記閾値に対応する閾値時間を設定する、
請求項１５に記載の装置。
【請求項17】
前記出力回路は、
閾値メモリセルに基づいて生成された信号と、前記追加基準メモリセルに基づいて生成された信号との間の差異に対応する電流の累積を開始し、
前記累積された電流に対応する電圧が閾値電圧を超過する場合に、前記閾値に対応する閾値時間を指示する信号、を出力する、
請求項１５に記載の装置。
閾値メモリセルに基づいて生成された信号と、前記追加基準メモリセルに基づいて生成された信号との間の差異に対応する電流の累積を開始し、
前記累積された電流に対応する電圧が閾値電圧を超過する場合に、前記閾値に対応する閾値時間を指示する信号、を出力する、
請求項１５に記載の装置。
【請求項18】
前記出力回路は、
閾値メモリセル及び前記追加基準メモリセルに基づいて決定された前記閾値に対応する閾値時間を、前記出力ラインに対する前記出力信号及び他の出力ラインに対する他の出力信号に対して適用する、
請求項１５に記載の装置。
閾値メモリセル及び前記追加基準メモリセルに基づいて決定された前記閾値に対応する閾値時間を、前記出力ラインに対する前記出力信号及び他の出力ラインに対する他の出力信号に対して適用する、
請求項１５に記載の装置。
【請求項19】
前記出力回路は、
前記入力ラインに沿って受信される入力信号とシナプス加重値との間の積和（ＭＡＣ）を、前記出力信号を解釈した結果に基づいて取得し、
前記取得された積和に基づいて決定されたノード値を他のニューロン回路に伝達する、
請求項１に記載の装置。
前記入力ラインに沿って受信される入力信号とシナプス加重値との間の積和（ＭＡＣ）を、前記出力信号を解釈した結果に基づいて取得し、
前記取得された積和に基づいて決定されたノード値を他のニューロン回路に伝達する、
請求項１に記載の装置。
【請求項20】
電子装置であって、
複数のニューラルネットワーク回路を含み、
請求項１に記載の装置は、前記複数のニューラルネットワーク回路のうちの１つである、
電子装置。
複数のニューラルネットワーク回路を含み、
請求項１に記載の装置は、前記複数のニューラルネットワーク回路のうちの１つである、
電子装置。
【請求項21】
ニューラルネットワーク回路の動作方法であって、
出力ラインに沿って配置された１つ以上のメモリセルのうち、入力ラインを介して入力信号が印加されたシナプスメモリセルの抵抗性メモリ素子及び前記入力信号に基づいて、カラム信号を生成する、ステップと、
基準ラインに沿って配置された１つ以上のメモリセルのうち、前記入力信号が印加された基準メモリセルの基準抵抗値を有する基準メモリ素子及び前記入力信号に基づいて、基準信号を生成する、ステップと、
前記カラム信号及び前記基準信号から、前記出力ラインに対する出力信号を生成する、ステップと、
を含む、動作方法。
出力ラインに沿って配置された１つ以上のメモリセルのうち、入力ラインを介して入力信号が印加されたシナプスメモリセルの抵抗性メモリ素子及び前記入力信号に基づいて、カラム信号を生成する、ステップと、
基準ラインに沿って配置された１つ以上のメモリセルのうち、前記入力信号が印加された基準メモリセルの基準抵抗値を有する基準メモリ素子及び前記入力信号に基づいて、基準信号を生成する、ステップと、
前記カラム信号及び前記基準信号から、前記出力ラインに対する出力信号を生成する、ステップと、
を含む、動作方法。
【請求項22】
ニューラルネットワーク装置であって、
それぞれの第１抵抗値及び第２抵抗値のうちの１つを有する複数の抵抗性メモリ素子を含み、かつ、入力ラインを介して受信される入力信号に基づいてカラム信号を生成する、ように構成されている、シナプスメモリセルと、
それぞれ前記第２抵抗値を有する複数の基準メモリ素子を含み、前記入力信号に基づいて基準信号を生成するように構成されている、基準メモリセルと、
出力回路と、
を含み、
前記出力回路は、
前記シナプスメモリセルの各ビットに対して前記カラム信号を累積することによって、カラム累積信号を生成し、前記基準メモリセルの各ビットに対して前記基準信号を累積することによって、基準累積信号を生成し、
前記カラム累積信号と前記基準累積信号との間の差異に対応する、出力信号を生成する、
ように構成されている、
装置。
それぞれの第１抵抗値及び第２抵抗値のうちの１つを有する複数の抵抗性メモリ素子を含み、かつ、入力ラインを介して受信される入力信号に基づいてカラム信号を生成する、ように構成されている、シナプスメモリセルと、
それぞれ前記第２抵抗値を有する複数の基準メモリ素子を含み、前記入力信号に基づいて基準信号を生成するように構成されている、基準メモリセルと、
出力回路と、
を含み、
前記出力回路は、
前記シナプスメモリセルの各ビットに対して前記カラム信号を累積することによって、カラム累積信号を生成し、前記基準メモリセルの各ビットに対して前記基準信号を累積することによって、基準累積信号を生成し、
前記カラム累積信号と前記基準累積信号との間の差異に対応する、出力信号を生成する、
ように構成されている、
装置。
【請求項23】
前記出力回路は、
前記第１抵抗値を有する前記抵抗性メモリ素子の個数に基づいて決定された値、及び、
前記第２抵抗値を有する抵抗性メモリ素子に流れる電流の値と、前記第１抵抗値を有する抵抗性メモリ素子に流れる電流値との間の積に対応する前記出力信号、
を生成する、ように構成されている、
請求項２２に記載の装置。
前記第１抵抗値を有する前記抵抗性メモリ素子の個数に基づいて決定された値、及び、
前記第２抵抗値を有する抵抗性メモリ素子に流れる電流の値と、前記第１抵抗値を有する抵抗性メモリ素子に流れる電流値との間の積に対応する前記出力信号、
を生成する、ように構成されている、
請求項２２に記載の装置。
【請求項24】
前記第２抵抗値は、前記第１抵抗値よりも大きく、
前記抵抗性メモリ素子は、ＭＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）を含む、
請求項２２に記載の装置。
前記抵抗性メモリ素子は、ＭＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）を含む、
請求項２２に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワーク回路及び装置に関する。
【背景技術】
【0002】
現在、フォン・ノイマン（ｖｏｎ Ｎｅｕｍａｎｎ）コンピュータアーキテクチャーにおけるプロセッサとメモリとの間の膨大なデータの頻繁な移動は、長いディレイと大きい電力消耗を引き起こし、チップの性能を制限してしまう。現在のソフトウェア基盤のディープ神経網演算は、高性能ＣＰＵ、ＧＰＵ、ＡＳＩＣなどのＡＩ加速器ハードウェアが用いられている。
【0003】
脳神経模写アーキテクチャーは、データが格納されているメモリ素子の位置で直ちに演算を行い、ニューロン回路間の接続強度（例えば、シナプス加重値）をメモリ素子に格納して更新することができる。脳神経模写演算方式は、人工知能、ビックデータ、センサネットワーク、パターン／事物認識などに適用されてもよい。脳神経模写アーキテクチャーは、アナログメモリを用いたハードウェアで実現することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、ニューラルネットワーク回路及び装置を提供することにある。
【課題を解決するための手段】
【0005】
一実施形態に係るニューラルネットワーク装置は、出力ラインに沿って配置されて第１抵抗値及び第２抵抗値のうちの１つを有する抵抗性メモリ素子を含み、入力ラインを介して入力信号を受信する場合に応答して、前記抵抗性メモリ素子及び前記入力信号に基づいてカラム信号を生成するシナプスメモリセルと、基準ラインに沿って配置され、前記第１抵抗値と異なる前記第２抵抗値を有する基準メモリ素子を含み、前記基準メモリ素子及び前記入力信号に基づいて基準信号を生成する基準メモリセルと、前記カラム信号及び前記基準信号から前記出力ラインに対する出力信号を生成する出力回路と、を含むことができる。
【0006】
前記シナプスメモリセルは、前記シナプスメモリセルに割り当てられるシナプス加重値を表現するためのビット数の抵抗性メモリ素子を含み、前記ビット数の抵抗性メモリ素子は、同じ入力ラインに沿って配置され得る。
【0007】
前記基準メモリセルは、前記シナプス加重値を表現するためのビット数の基準メモリ素子を含み、前記ビット数の基準メモリ素子は、同じ入力ラインに沿って配置され得る。
【0008】
同じ出力ラインに接続されたシナプスメモリセルの抵抗性メモリ素子は、互いに並列に接続され得る。
【0009】
ニューラルネットワーク装置は、さらに、前記出力ラインとは異なる出力ラインに沿って配置される他のシナプスメモリセルを含み、前記出力回路は、前記出力ライン及び前記他の出力ラインのそれぞれに対して同じ基準メモリセルを用いて個別的に出力信号を生成することができる。
【0010】
前記出力回路は、前記シナプスメモリセルのビットごとの前記カラム信号を累積することによりカラム累積信号を生成し、前記基準メモリセルのビットごとの前記基準信号を累積することによって基準累積信号を生成する、読出し回路を含み得る。
【0011】
前記読出し回路は、前記シナプスメモリセル及び前記基準メモリセルのビットごとに、前記カラム信号を該当ビットに対応する倍数の電流でコピーする、カレントミラーを含み得る。
【0012】
前記出力回路は、前記カラム累積信号と前記基準累積信号との間の差異に対応する前記出力信号を生成することができる。
【0013】
前記出力回路は、前記基準累積信号に対応する電流をノードに向かって流入させ、前記カラム累積信号に対応する電流を前記ノードから流出させることで、前記カラム累積信号と前記基準累積信号との間の差異に対応する電流が流れるキャパシタを含み得る。
【0014】
前記出力回路は、前記第１抵抗値の抵抗性メモリ素子に基づいた第１電流と、前記第２抵抗値の抵抗性メモリ素子に基づいた第２電流との間の差異であるネット電流（ｎｅｔ ｃｕｒｒｅｎｔ）の整数倍に対応する電流を前記出力信号として生成することができる。
【0015】
前記出力回路は、さらに、前記出力信号を閾値と比較した結果に基づいて、他のニューラルネットワーク装置への発火を行う漏洩及び発火回路、を含み得る。
【0016】
前記ＬＩＦ回路は、前記出力信号に基づいて累積する電圧が、閾値時間内に閾値電圧に達しない場合に応答して、前記出力信号を漏洩することができる。
【0017】
前記ＬＩＦ回路は、前記出力信号に基づいて累積する電圧が、前記閾値に対応する閾値時間内に閾値電圧に達する場合に応答して、前記他のニューロン回路への発火を行うことができる。
【0018】
ニューラルネットワーク装置は、さらに、複数のメモリ素子を含む閾値メモリアレイを含み、前記複数のメモリ素子のうちの１つ以上のメモリ素子は、前記閾値に基づいて指定され、前記第１抵抗値を有し得る。
【0019】
ニューラルネットワーク装置は、さらに、前記閾値生成回路と基準ワードラインを共有し、前記基準ワードラインに沿って配置されて、前記第２抵抗値を有する追加基準メモリ素子を有する追加基準メモリセル、を含み得る。
【0020】
前記出力回路は、前記閾値メモリセルに基づいて生成された信号及び前記追加基準メモリセルに基づいて生成された信号に基づいて、前記閾値に対応する閾値時間を設定することができる。
【0021】
前記出力回路は、前記閾値メモリセルに基づいて生成された信号と、前記追加基準メモリセルに基づいて生成された信号との間の差異に対応する電流の累積を開始し、前記累積された電流に対応する電圧が閾値電圧を超過する場合に、前記閾値に対応する閾値時間を指示する信号を出力することができる。
【0022】
前記出力回路は、前記閾値メモリセル及び前記追加基準メモリセルに基づいて決定された前記閾値に対応する閾値時間を、前記出力ラインに対する前記出力信号及び他の出力ラインに対する他の出力信号に対して適用することができる。
【0023】
前記出力回路は、前記入力ラインに沿って受信される入力信号とシナプス加重値との間の積和（ｍｕｌｔｉｐｌｙ ａｎｄ ａｃｃｕｍｕｌａｔｉｏｎ：ＭＡＣ）を、前記出力信号を解釈した結果に基づいて取得し、前記取得された積和に基づいて決定されたノード値を他のニューロン回路に伝達することができる。
【0024】
一実施形態に係る電子装置は、複数のニューラルネットワーク回路を含み、請求項１に記載の装置が前記複数のニューラルネットワーク回路のうちの１つであり得る。
【0025】
一実施形態に係るニューラルネットワーク回路の動作方法は、出力ラインに沿って配置された１つ以上のメモリセルのうち、入力ラインを介して入力信号が印加されたシナプスメモリセルの抵抗性メモリ素子及び前記入力信号に基づいて、カラム信号を生成するステップと、基準ラインに沿って配置された１つ以上のメモリセルのうち、前記入力信号が印加された基準メモリセルの基準抵抗値を有する基準メモリ素子及び前記入力信号に基づいて、基準信号を生成するステップと、前記カラム信号及び前記基準信号から前記出力ラインに対する出力信号を生成するステップと、を含む。
【0026】
一実施形態に係るニューラルネットワーク装置は、それぞれの第１抵抗値及び第２抵抗値のうちの１つを有する複数の抵抗性メモリ素子を含み、かつ、入力ラインを介して受信される入力信号に基づいてカラム信号を生成するように構成されているシナプスメモリセルと、それぞれ前記第２抵抗値を有する複数の基準メモリ素子を含み、前記入力信号に基づいて基準信号を生成するように構成されている基準メモリセルと、出力回路とを含み、前記出力回路は、前記シナプスメモリセルの各ビットに対して前記カラム信号を累積することによって、カラム累積信号を生成し、前記基準メモリセルの各ビットに対して前記基準信号を累積することによって、基準累積信号を生成し、前記カラム累積信号と前記基準累積信号との間の差異に対応する出力信号を生成するように構成され得る。
【0027】
前記出力回路は、前記第１抵抗値を有する前記抵抗性メモリ素子の個数に基づいて決定された値、及び、前記第２抵抗値を有する抵抗性メモリ素子に流れる電流の値と前記第１抵抗値を有する抵抗性メモリ素子に流れる電流値との間の積に対応する前記出力信号を生成する、ように構成され得る。
【0028】
前記第２抵抗値は、前記第１抵抗値よりも大きく、前記抵抗性メモリ素子は、ＭＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）を含むことができる。
【発明の効果】
【0029】
本発明によれば、ニューラルネットワーク回路及び装置を提供することができる。
【図面の簡単な説明】
【0030】
【図1】一実施形態に係るニューラルネットワーク回路を示す。
【図2】一実施形態に係るシナプスメモリセル及び読出し回路を示す。
【図3】一実施形態に係る出力回路の漏洩及び発火（Ｌｅａｋｙ Ｉｎｔｅｇｒａｔｉｏｎ ａｎｄ Ｆｉｒｅ、ＬＩＦ）回路を示す。
【図4】一実施形態に係るニューラルネットワーク回路に含まれた閾値生成回路及び追加基準回路を説明する図である。
【図5】一実施形態に係るシナプスメモリカラム、基準カラム、閾値生成カラム、及び追加基準カラムで生成されるネット信号を用いた発火比較の例示を説明する図である。
【図6】一実施形態に係るシナプスメモリカラム、基準カラム、閾値生成カラム、及び追加基準カラムで生成されるネット信号を用いた発火比較の例示を説明する図である。
【図7】一実施形態に係る出力回路の閾値時間生成回路を示す。
【図8】一実施形態に係る出力回路でＬＩＦ回路に含まれる素子及び素子ごとのタイミング図を示す。
【図9】一実施形態に係るニューラルネットワーク回路の発火動作例示を説明する図である。
【図10】一実施形態に係るニューラルネットワーク回路の動作方法を示すフローチャートである。
【発明を実施するための形態】
【0031】
実施形態に対する特定の構造的又は機能的な説明は、単なる例示のための目的として開示されたものであって、様々な形態に変更され得る。したがって、実施形態は、特定の開示形態に限定されるものではなく、本明細書の範囲は、技術的な思想に含まれる変更、均等物、ないし代替物を含む。
【0032】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は、１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は、第２構成要素と命名することができ、同様に、第２構成要素は、第１構成要素としても命名することができる。
【0033】
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に対して直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
【0034】
単数の表現は、文脈上、明白に異なる意味をもたない限り、複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又は、これを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0035】
異なるように定義がされない限り、技術的又は科学的な用語を含んで、ここにおいて使用される全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0036】
以下に、添付の図面を参照しながら実施形態を詳細に説明する。図面を参照して説明する際には、図面符号に拘わらず、同じ構成要素には同じ参照符号を付与し、これに対する重複する説明は省略する。
【0037】
図１は、一実施形態に係るニューラルネットワーク回路を示す。
【0038】
一実施形態に係るニューラルネットワーク回路１００（例えば、ニューラルネットワーク装置）は、ニューラルネットワークで以前レイヤのニューロン回路及び対象レイヤのニューロン回路を接続するシナプスを模写した回路として実現することができる。ニューラルネットワーク回路１００を含む電子装置をニューラルネットワーク装置に示すことができる。ニューロン回路は、ニューロン（例えば、ノード）の活性化及び／又はニューラルネットワークの活性化関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）を実現した回路を含んでもよい。ニューラルネットワークは、それぞれ複数のノードを有する複数のレイヤを含み、以前レイヤは、ニューラルネットワークで対象レイヤの以前に接続されているレイヤを示す。ニューラルネットワークのノードは、ニューラルネットワーク回路１００のニューロン回路に対応する。ニューラルネットワーク回路１００は、以前レイヤのニューロン回路から出力されたノード値（例えば、入力値）を該当するニューロン回路間の接続強度（例えば、シナプス加重値）に基づいて、対象レイヤのニューロン回路に伝達することができる。対象レイヤの対象ニューロン回路は、対象ニューロン回路に接続された以前レイヤの以前ニューロン回路から受信されるノード値及びシナプス加重値に基づいた加重和に、活性化関数が適用された結果を、ノード値として有することができる。本明細書において、ニューラルネットワーク回路１００のニューロン回路は、出力回路１５０において実現され、後述するが、スパイキングニューラルネットワーク（ｓｐｉｋｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を実現したニューラルネットワーク回路１００のニューロン回路は、漏洩及び発火（Ｌｅａｋｙ Ｉｎｔｅｇｒａｔｉｏｎ ａｎｄ Ｆｉｒｅ、ＬＩＦ）回路を含んでもよい。但し、これに限定されることなく、ニューラルネットワークの活性化関数は、他の方式で設計された回路において実現されてもよい。特定回路が「ニューロン回路」、ノードが「ニューロン」、接続が「シナプス」として称されるが、「ニューロン回路」、「ニューロン」、及び「シナプス」は、単にニューラルネットワークのハードウェアで具現されたノードを示す用語である。
【0039】
ニューラルネットワーク回路１００は、シナプスメモリアレイ１１０、基準メモリアレイ１２０、及び、出力回路１５０を含む。シナプスメモリアレイ１１０及び基準メモリアレイ１２０は、メモリアレイとして称されてもよい。
【0040】
シナプスメモリアレイ１１０は、入力ライン及び出力ラインに沿って配置される、複数のシナプスメモリセル１１１を含む。複数のシナプスメモリセル１１１は、クロスバーアレイの形態に配置されてもよい。入力ラインは、入力を受信するラインとして、図１ではＫ個のワードラインＷＬ０～ＷＬＫ－１に示されている。Ｋは、１以上の整数である。出力ラインは、該当出力ラインに沿って配置されたシナプスメモリセル１１１の抵抗性メモリ素子により指示されるシナプス加重値と、各入力信号によって指示される入力値との間の演算結果（例えば、積の結果）が合算された値（例えば、積和（ｍｕｌｔｉｐｌｉｃａｔｉｏｎ ａｎｄ ａｃｃｕｍｕｌａｔｉｏｎ、ＭＡＣ）である結果値又は加重和を示す出力信号１５９を出力することができる。出力ラインは、図１では、Ｊ個のラインに図示されており、Ｊは、１以上の整数であってもよい。従って、シナプスメモリアレイ１１０は、Ｋ×Ｊ個のシナプスメモリセル１１１を含み得る。言い換えれば、図１に示されたニューラルネットワーク回路１００は、Ｋ個の以前ノードと、Ｊ個の次のノードとを接続する、シナプス接続が具現された回路として解釈され得る。シナプス加重値がａビットに表現された場合、各出力ラインは、ａ個のビットラインを含んでもよい。ここで、ａは、１以上の整数であってもよい。いずれかの出力ラインから出力される出力信号１５９は、該当出力ラインに含まれているビットラインで生成されるカラム信号（例えば、ビットカラム信号）が累積された信号と、基準ラインで生成される基準信号が累積された信号との間の差信号であってもよい。
【0041】
入力ラインは、プリシナプス回路（ｐｒｅ－ｓｙｎａｐｔｉｃ ｃｉｒｃｕｉｔ）を介して入力信号を受信することができる。プリシナプス回路は、ニューラルネットワークの以前ノード（例えば、以前のニューロン回路）の出力を受信し、現在のノードのシナプスメモリ素子に伝達することができる。プリシナプス回路は、アクソン回路（ａｘｏｎ ｃｉｒｃｕｉｔ）として示してもよい。出力ラインは、ポストシナプス回路（ｐｏｓｔ－ｓｙｎａｐｔｉｃ ｃｉｒｃｕｉｔ）に接続され、該当出力ラインに接続されたシナプスメモリ素子のシナプス加重値と、入力信号との間の積和に対応する信号を、ポストシナプス回路に伝達することができる。ポストシナプス回路は、シナプス加重値と入力信号との間の積和に対応する出力信号１５９を、次のノード（例えば、次のシナプス回路）に発火（ｆｉｒｅ）し、または、伝達することができる。ポストシナプス回路は、デンドライト回路（ｄｅｎｄｒｉｔｅｓ ｃｉｒｃｕｉｔ）として示してもよく、例示的に後述するＬＩＦ回路として実現してもよい。
【0042】
入力信号は、入力ラインを介して受信される信号を示す。本明細書において、ニューラルネットワーク回路１００が、いずれかの入力ラインでビット値「１」に対応する入力信号を受信する場合、該当入力ラインに入力電圧が印加されてもよい。異なる例として、いずれかの入力ラインの入力信号がビット値「０」を示す場合、ニューラルネットワーク回路１００は、該当入力ラインを不活性化することができる。言い換えれば、ニューラルネットワーク回路１００は、該当入力ラインに電圧を印加していないか、または、０Ｖの電圧を印加することができる。但し、入力信号が示すビット値ごとに印加される入力電圧は、前述したものに限定されることはない。図１に示された例示では、Ｋ個の入力ラインのうち、ｋ個の入力ラインで活性化値（例えば、ビット値「１」に対応する電圧）が印加されてもよい。ｋは、０以上かつＫ以下の整数であってもよい。
【0043】
シナプスメモリセル１１１は、出力ラインに沿って配置されて、第１抵抗値及び第２抵抗値のうち１つを有する抵抗性メモリ素子を含んでもよい。シナプスメモリセル１１１は、シナプスメモリセル１１１に割り当てられるシナプス加重値を表現するためのビット数（ｂｉｔ ｎｕｍｂｅｒ）の抵抗性メモリ素子を含む。前述したビット数の抵抗性メモリ素子は、同じ入力ラインに沿って配置されてもよい。
【0044】
シナプスメモリセル１１１は、入力ラインを介して入力信号を受信する場合に応答して、抵抗性メモリ素子及び入力信号に基づいて、カラム信号を生成することができる。第１抵抗値及び第２抵抗値は、それぞれ２進化された値にマッピングされてもよい。例えば、第１抵抗値及び第２抵抗値は、それぞれ「０」又は「１」のビット値を指示する。例示的に、低抵抗である第１抵抗値は「０」のビット値、高抵抗である第２抵抗値は「１」のビット値を示す。但し、これに限定されることなく、設計に応じて、第１抵抗値及び第２抵抗値にマッピングされるビット値は、変わり得る。
【0045】
シナプス加重値がマルチビットからなるビットシーケンスとして表現される場合、シナプスメモリセル１１１は、複数のサブセルを含んでもよい。例えば、シナプス加重値は、ａビットのビットシーケンスとして表現されてもよい。ａビットのシナプス加重値に対して、シナプスメモリセル１１１は、ａ個のサブセルを含んでもよい。第１サブセルは、シナプス加重値を示すビットシーケンスのＬＳＢ（ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）ディジットに対応するビット値の抵抗値を有し、第ａサブセルは、ＭＳＢ（ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）ディジットに対応するビット値の抵抗値を有することができる。ａ個のサブセルのそれぞれは、シナプス加重値のうち該当するビットディジットのビット値に対応する抵抗値を有する抵抗性メモリ素子、を含んでもよい。ａ個のサブセルのそれぞれに含まれている抵抗性メモリ素子は、該当するビットディジットのビット値にマッピングされた抵抗値を有するように設定され得る。第１抵抗値及び第２抵抗値のうち１つを有するように設定されてもよい。下記の図２では、シナプスメモリセル１１１が、３ビットセルに具現された例示について説明する。
【0046】
カラム信号は、シナプスメモリアレイ１１０でいずれかのカラムラインに沿って配置されている、シナプスメモリセル１１１で出力される信号が、累積された信号である。例えば、カラム信号は、シナプスメモリアレイ１１０で、同じビットラインに接続されたサブセルの抵抗性メモリ素子に対応するビット値と、入力信号の入力値との間の積和に対応する信号である。言い換えれば、いずれかのビットラインのカラム信号は、出力ラインで該当ビットラインが示すビットディジットの積和に対応する信号であってもよい。後述するが、ニューラルネットワーク回路１００は、同じ出力ラインに含まれているビットラインのカラム信号のそれぞれに、該当ビットラインのビットディジットに対応する加重値（以下、「ビット加重値」）を乗算して、合算した信号を取得することがでる。例えば、ＬＳＢに対応するビット加重値は１／４、ＬＳＢから１番目のビットディジットに対応するビット加重値は１／２、ＬＳＢから２番目のビットディジットに対応するビット加重値は１であってもよい。但し、ＬＳＢから２番目のビットディジットのビット加重値が１であると仮定して設計したものであり、ビット加重値は、これに限定されることなく、設計に応じて変わり得る。説明の便宜上、本明細書では、いずれかのカラムを主に縦ラインとして示しているが、これに限定されることなく、設計に応じて、カラムラインの形状は変わり得る。
【0047】
上述のように、抵抗性メモリ素子は、第１抵抗値及び第２抵抗値のうちいずれかの抵抗値を有する素子である。例えば、抵抗性メモリ素子は、ＭＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｍ）であってもよい。ＭＲＡＭは、ＭＴＪ（Ｍａｇｎｅｔｉｃ Ｔｕｎｎｅｌ Ｊｕｎｃｔｉｏｎ）の２つの状態のうち１つの状態を有してもよい。Ｐ状態（ｐａｒａｌｌｅｌ ｓｔａｔｅ）のＭＲＡＭは、第１抵抗値を有し、ＡＰ状態（ａｎｔｉ－ｐａｒａｌｌｅｌ ｓｔａｔｅ）のＭＲＡＭは、第２抵抗値を有する。第２抵抗値は、第１抵抗値より大きくてもよい。第２抵抗値は高抵抗値（ｈｉｇｈ ｒｅｓｉｓｔａｎｃｅ ｖａｌｕｅ）として、第１抵抗値は低抵抗値（ｌｏｗ ｒｅｓｉｓｔａｎｃｅ ｖａｌｕｅ）として称されてもよい。ＡＰ状態は高抵抗状態、Ｐ状態は低い抵抗状態として称されてもよい。ＭＲＡＭの第１抵抗値対第２抵抗値の抵抗比は、２であってもよい。但し、抵抗性メモリ素子の抵抗比は、前述のように限定されず、素子の種類に応じて、抵抗比が変わり得る。一実施形態に係るニューラルネットワーク回路１００は、抵抗性メモリ素子の第１抵抗値及び第２抵抗値により出力される信号を区別するために、後述する基準メモリアレイ１２０を用いて、ネット信号を生成することができる。
【0048】
参考として、本明細書では説明の便宜のために、Ｐ状態及びＡＰ状態の抵抗性メモリ素子を主に説明するが、これに限定されることはない。説明に反しない限り、Ｐ状態は第１抵抗値を有する状態、ＡＰ状態は第２抵抗値を有する状態に置換されて、解釈されてもよい。
【0049】
基準メモリアレイ１２０は、基準ラインに沿って配置される複数の基準メモリセル１２１を含む。図１に示された例示において、基準メモリアレイ１２０に含まれている基準メモリセル１２１は、基準ラインに沿って配置されてもよい。基準メモリアレイ１２０は、入力ラインの個数と同じ個数の基準メモリセル１２１を含んでもよい。
【0050】
基準メモリセル１２１は、基準ラインに沿って配置され、第１抵抗値とは異なる第２抵抗値を有する基準メモリ素子を含んでいる。基準メモリセル１２１は、シナプス加重値を表現するためのビット数の基準メモリ素子を含んでもよい。前述したビット数の基準メモリ素子は、同じ入力ラインに沿って配置されてもよい。各基準メモリセル１２１は、前述したシナプスメモリセル１１１と同様に、ビット数だけの基準サブセル、言い換えれば、ビット数だけの抵抗性メモリ素子を含むことができる。但し、基準メモリセル１２１は、前述したシナプスメモリセル１１１とは相違して、全て第２抵抗値として設定された抵抗性メモリ素子を含んでもよい。基準メモリセル１２１は、基準メモリ素子及び入力信号に基づいて、基準信号を生成することができる。基準信号は、基準メモリアレイ１２０で、基準ラインに沿って配置された基準メモリセル１２１から出力される信号が累積した信号である。基準ラインも、ビット数だけの基準ビットラインを含んでもよい。例えば、基準信号は、基準メモリアレイ１２０で、同じ基準ビットラインに接続されている基準サブセルの抵抗性メモリ素子に対応するビット値と、入力信号の入力値との間の積和に対応する信号である。言い換えれば、いずれか１つの基準ビットラインの基準信号は、基準ラインで該当基準ビットラインが示すビットディジットの積和に対応する信号であり得る。本明細書において、第２抵抗値として設定された抵抗性メモリ素子は、ＡＰ状態のＭＲＡＭ素子ＡＰに示されている。
【0051】
出力回路１５０は、カラム信号及び基準信号から、出力ラインに対する出力信号１５９を生成することができる。参考として、ニューラルネットワーク回路１００は、出力ラインと他の出力ラインに沿って配置される他のシナプスメモリセルを、さらに含んでもよい。この場合、出力回路１５０は、出力ライン及び他の出力ラインのそれぞれに対して同じ基準メモリセルを用いて、個別に出力信号を生成することができる。言い換えれば、出力回路１５０は、出力ラインごとに異なる出力信号を生成するために、同じ基準カラム信号を利用することができる。出力回路１５０の動作については、後述する。
【0052】
一実施形態に係るニューラルネットワーク回路１００は、シナプス動作（Ｓｙｎａｐｓｅ ｏｐｅｒａｔｉｏｎ）を行っている間に、各シナプスメモリ素子にアクセスするためのＫ個のワードラインに入力が入ってくると、カラムごとに生成された信号（例えば、電流信号）を全て累積することができる。出力ラインは、ビットディジットに対応するビットラインを含み、出力ラインから出力されるカラム累積信号ＩＣｅｌｌｓは、個別ビットラインのカラム信号にビット加重値が適用された信号が、統合された信号であってもよい。カラム累積信号は、下記の数式（１）のように表現され得る。
ＩＣｅｌｌｓ＝ＭＩＰ＋（Ｎ－Ｍ）ＩＡＰ （１）
ＩＣｅｌｌｓ＝ＭＩＰ＋（Ｎ－Ｍ）ＩＡＰ （１）
【0053】
前述した数式（１）において、ＩＰは、Ｐ状態（例えば、第１抵抗値）の抵抗性メモリ素子に流れる電流を示し、ＩＡＰは、ＡＰ状態（例えば、第２抵抗値）の抵抗性メモリ素子に流れる電流を示す。カラム累積信号ＩＣｅｌｌｓは、ＩＰ及びＩＡＰの線型な組み合せである。出力回路１５０のシナプス読出し回路１５１が、カラム累積信号ＩＣｅｌｌｓを生成することができる。
ＩＡＰｓ＝ＮＩＡＰ （２）
ＩＡＰｓ＝ＮＩＡＰ （２）
【0054】
前述した数式（２）は、基準メモリアレイ１２０に含まれているＡＰ状態の抵抗性メモリ素子のうち、入力信号が印加された抵抗性メモリ素子に流れる電流信号に、ビットディジットごとのビット加重値が適用された信号である。基準累積信号ＩＡＰｓは、ビットディジットごとの基準信号に、ビット加重値が適用されて統合された信号である。出力回路１５０の基準読出し回路１５２が、基準累積信号ＩＡＰｓを生成することができる。前述した数式（１）及び数式（２）において、線型組み合せの係数Ｎ及びＭは、下記の数式（３）及び数式（４）のように表現され得る。
Ｎ＝ｋ・（２ａ―１） （３）
Ｎ＝ｋ・（２ａ―１） （３）
【数1】
【0055】
数式（３）及び数式（４）において、Ｎは、活性化したワードライン（例えば、入力ライン）に接続されたサブセルに基づいて決定される値を示す。ｋは、上述のように、活性化したワードライン（例えば、入力ライン）の個数を示す。ａは、各メモリセルに含まれているサブセルの個数であり、シナプス加重値のビット数である。例えば、Ｎは、いずれかの出力ラインに接続されているシナプスメモリセル１１１のうち、活性化したワードラインに接続されているシナプスメモリセル１１１に含まれた各サブセルが示すビットディジットを指数にする、２のべき乗の値の和である。Ｍは、Ｎ以下の整数であって、活性化したワードラインに接続されているシナプスメモリセル１１１のうち、Ｐ状態（例えば、第１抵抗値）のサブセルに基づいて決定される値である。ｍｉは、第ｉシナプスメモリセルが第１抵抗値を有する場合は１であり、第ｉシナプスメモリセルが第２抵抗値を有する場合は０である。例えば、Ｍは、いずれかの出力ラインに接続されているシナプスメモリセル１１１のうち、活性化したワードラインに接続されているシナプスメモリセル１１１において、Ｐ状態のサブセルが示すビットディジットを指数にする、２のべき乗の値の和である。
Ｉｎｅｔ，ｃｏｌｕｍｎ＝ＩＣｅｌｌｓ－ＩＡＰｓ＝Ｍ（ＩＰ－ＩＡＰ） （５）
Ｉｎｅｔ，ｃｏｌｕｍｎ＝ＩＣｅｌｌｓ－ＩＡＰｓ＝Ｍ（ＩＰ－ＩＡＰ） （５）
【0056】
一実施形態に係るニューラルネットワーク回路１００の出力回路１５０は、前述した数式（５）により、カラム累積信号ＩＣｅｌｌｓと基準累積信号ＩＡＰｓとの間の差異に対応する出力信号１５９Ｉｎｅｔ、ｃｏｌｕｍｎを生成することができる。前述した数式（５）によれば、出力信号１５９Ｉｎｅｔ、ｃｏｌｕｍｎは、Ｐ状態（例えば、第１抵抗値）の抵抗性メモリ素子が指示する２進値の和である、Ｍに比例する電流信号である。本明細書において、カラム累積信号ＩＣｅｌｌｓと基準累積信号ＩＡＰｓとの間の差信号を、有効信号又はネット信号（ｎｅｔ ｓｉｇｎａｌ）とも示すことができる。出力信号１５９Ｉｎｅｔ、ｃｏｌｕｍｎは、電流形態の信号であるため、ネット電流（ｎｅｔ ｃｕｒｒｅｎｔ）とも示すことができる。いずれかの抵抗性メモリ素子を用いて生成されるネット電流は、ＩＰ－ＩＡＰ＝０又はＩＡＰ－ＩＡＰ＝０のうちの１つである。言い換えれば、出力信号１５９Ｉｎｅｔ、ｃｏｌｕｍｎは、Ｍ個のネット電流の合算信号と解釈されるか、又は、同一であってもよい。従って、積分器（ｉｎｔｅｇｒａｔｏｒ）及び比較器（ｃｏｍｐａｒａｔｏｒ）の性能が十分な場合、ニューラルネットワーク回路１００は、多くの個数のシナプスメモリセル１１１を含むことができる。
【0057】
本明細書において、ニューラルネットワーク回路１００は、シナプス加重値により電流を累積する生物神経網の模写機能を実現する、スパイキングニューラルネットワーク（ｓｐｉｋｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＳＮＮ）を主に説明するが、これに限定されることはない。一実施形態に係るニューラルネットワーク回路１００は、抵抗比の大きくないメモリを使用するＣＩＭ（Ｃｏｍｐｕｔａｔｉｏｎ Ｉｎ Ｍｅｍｏｒｙ）回路、及び、ＶＭＭ（Ｖｅｃｔｏｒ Ｍａｔｒｉｘ Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）回路のような、ＭＡＣ（Ｍｕｌｔｉｐｌｙ－Ａｃｃｕｍｕｌａｔｅ）演算を実現するシステムに適用されてもよい。ニューラルネットワーク回路１００に含まれている抵抗性メモリ素子の低抵抗及び高抵抗間の抵抗比が大きくなくても、前述したネット信号を介して、出力値が区別され得る。一実施形態に係るニューラルネットワーク回路１００では、第１抵抗値対第２抵抗値の抵抗比が１を超過する抵抗性メモリ素子を用いても、ネット信号を介して出力が区別されてもよい。従って、メモリアレイから出力された電流の検出及び合算のための設計における制約を低減することができる。
【0058】
従って、一実施形態に係るニューラルネットワーク回路１００は、高抵抗状態を相殺することで、さらに大きいメモリアレイを有することができる。さらに、ニューラルネットワーク回路１００は、多い量のデータを扱う人工知能プロセッサにも適用され得る。
【0059】
参考として、本明細書では、出力回路１５０が活性化関数回路としてＬＩＦ回路を含む例示を主に説明するが、これに限定されることはない。例えば、ニューラルネットワーク回路１００は、ＬＩＦ回路の代わりに、アナログデジタルコンバータ（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）を含み、前述した出力信号をアナログ信号からデジタル値（例えば、出力データ）に変換してもよい。ニューラルネットワーク回路１００を含む電子装置は、出力データに活性化関数を適用して、次のノードに伝播する値を決定してもよい。言い換えれば、電子装置は、活性化関数に対応する演算をデジタルレベルで行ってもよい。
【0060】
図２は、一実施形態に係るシナプスメモリセル及び読出し回路を示す。
【0061】
一実施形態に係るニューラルネットワーク回路の出力回路は、シナプスメモリアレイ２１０に接続されている読出し回路２５１（例えば、非限定的な例示として、図１に示すシナプス読出し回路１５１）及びＬＩＦ回路を含む。図２においては省略されたが、出力回路１５０は、基準メモリアレイに接続される基準読出し回路２５１を含んでもよい。図２では、シナプス読出し回路２５１を主に説明するが、基準読出し回路２５１もシナプス読出し回路２５１と同様に構成され得る。
【0062】
図２に示すように、同じ出力ラインに接続されているシナプスメモリセル２１１の抵抗性メモリ素子は、互いに並列に接続されている。例えば、同じ出力ラインに接続されているシナプスメモリセル２１１のうち、同じビットラインに接続された抵抗性メモリ素子が、互いに並列に接続されてもよい。従って、同じビットラインの抵抗性メモリ素子から出力される電流信号が、出力ラインに沿って統合され得る。図２において、抵抗性メモリ素子の抵抗はＲＤａｔａとして示されている。上述したように、ビットラインＢＬ０～ＢＬ２に沿って配置された抵抗性メモリ素子のうち、ワードラインＷＬ０～ＷＬＫ－１を介して入力信号が印加された抵抗性メモリ素子は、該当抵抗性メモリ素子にかかる電圧による電流信号を生成することができる。ワードラインＷＬ０～ＷＬＫ－１に沿って入力信号が印加されたスイッチＳＷｓｅｎｓｅ（例えば、トランジスタ）は、抵抗性メモリ素子を検出ラインと接続させ得る。ここで、Ｓｅｌ＿ｄａｔａ信号が印加されることによって、ビットラインＢＬ０～ＢＬ２及び検出ライン（ｓｅｎｓｅ ｌｉｎｅ；ＳＬ）が、それぞれ供給電圧及びグラウンドに接続され得る。
【0063】
演算増幅器ＯＰは、高い利益を有し、検出ラインＳＬとビットラインＢＬ０～ＢＬ２との間に見える抵抗値に関係なく、ビットラインＢＬ０～ＢＬ２の電圧をＶａｍｐ＿ｒｅｆに固定させることができる。言い換えれば、検出ラインＳＬとビットラインＢＬ０～ＢＬ２との間の電圧差が一定に保持され得る。抵抗性メモリ素子は、それぞれの両端に同一にかかる固定された電圧Ｖａｍｐ＿ｒｅｆに対して、抵抗ＲＤａｔａにより決定された電流（例えば、カラム信号）をビットラインＢＬ０～ＢＬ２に生成することができる。
【0064】
出力回路の読出し回路２５１は、シナプスメモリセル２１１及び基準メモリセルのビットごとにカラム信号を該当ビットに対応する倍数の電流でコピーする、カレントミラーを含んでもよい。例えば、読出し回路２５１のカレントミラーは、ビットラインで生成されたカラム信号を他のビットラインＢＬ’０～ＢＬ’２に複製することができる。複製された電流の大きさは、トランジスタの幅によって変わり得る。上述したように、カレントミラーは、ビット加重値に対応する電流コピー比でカラム信号を複製することができる。例示的に、図２において、第１ビットラインＢＬ０は１／４倍、第２ビットラインＢＬ１は１／２倍、第３ビットラインＢＬ２は１倍に電流が複製されている。非限定的な例示として、第１ビットラインＢＬ０は、ＬＳＢに対応するビット加重値に対応する。第２ビットラインＢＬ１は、ＬＳＢから１番目のビットディジット（ｂｉｔ ｄｉｇｉｔ）に対応するビット加重値に対応する。第３ビットラインＢＬ２は、ＬＳＢから２番目のビットディジットに対応するビット加重値に対応する。
【0065】
出力回路１５０の読出し回路２５１は、シナプスメモリセル２１１のビットごとのカラム信号を累積することにより、カラム累積信号（ｃｏｌｕｍｎ ｉｎｔｅｇｒａｔｅｄ ｓｉｇｎａｌ）ＩＣｅｌｌｓを生成し、基準メモリセルのビットごとの基準信号を累積することによって、基準累積信号（ｒｅｆｅｒｅｎｃｅ ｉｎｔｅｇｒａｔｅｄ ｓｉｇｎａｌ）ＩＡＰｓを生成することができる。例えば、出力回路１５０は、カラム信号から複製された電流を合算することによって、カラム累積信号ＩＣｅｌｌｓを生成することができる。出力回路１５０は、基準信号に対しても前述のような読出し回路２５１及び動作により、基準累積信号ＩＡＰｓを生成することができる。参考として、抵抗性メモリ素子がＭＲＡＭとして実現される場合、ＭＴＪに流れる電流が小さくなると、読み出し妨害（ｒｅａｄ ｄｉｓｔｕｒｂａｎｃｅ）が発生しないため、相対的に低い共通入力（ｌｏｗ ｃｏｍｍｏｎ ｉｎｐｕｔ）を処理することのできる増幅器が求められる。出力回路１５０は、カラム累積信号ＩＣｅｌｌｓ及び基準累積信号ＩＡＰｓに基づいて出力信号を生成し、生成された出力信号を処理するＬＩＦ回路２６０を、さらに含んでもよい。ＬＩＦ回路２６０の構造及び動作については後述する。
【0066】
出力回路１５０は、前述した読出し回路２５１からカラム累積信号ＩＣｅｌｌｓと基準累積信号ＩＡＰｓとの間のネット信号である出力信号を利用でき、従って、１つ以上の実施形態に係るニューラルネットワーク回路は、Ｐ状態の抵抗性メモリ素子が１つであり、ＡＰ状態の抵抗性メモリ素子が複数ある場合であっても、信号を正確に区分することができる。ＡＰ状態の個数に関わらず、Ｐ状態のみによってネット電流が決定されるためである。図２では、出力回路１５０のうち、読出し回路２５１によって、シナプスメモリアレイに含まれている抵抗性メモリ素子の抵抗値を判読した出力信号（例えば、ネット信号）が説明され、下記の図３を参照して出力信号を用いた発火処理について説明する。
【0067】
図３は、一実施形態に係る出力回路の漏洩及び発火（Ｌｅａｋｙ Ｉｎｔｅｇｒａｔｉｏｎ ａｎｄ Ｆｉｒｅ；ＬＩＦ）回路を示す。
【0068】
一実施形態に係る出力回路１５０は、ＬＩＦ回路２６０を含んでいる。ＬＩＦ回路２６０は、ニューロン（例えば、ノード）動作を模写するための回路として、出力信号１５９を閾値と比較した結果に基づいて、他のニューロン回路への発火を行うことができる。出力信号１５９は、前述した数式（５）において、前述したＩｎｅｔ、ｃｏｌｕｍｎであるため、その説明は省略する。ＬＩＦ回路２６０は、漏洩部分回路３６１及び発火部分回路３６２を含む。ニューロンでは、フリーニューロン（ｐｒｅ－ｎｅｕｒｏｎ）において、ポストニューロン（ｐｏｓｔ－ｎｅｕｒｏｎ）で閾値を超過する刺激が伝達され、（時間周期内でポストニューロンによって受信された複数の刺激の和が閾値を超過するように）、または、閾値以下の複数の刺激が短い時間内で数回伝達されれば、活動電位（Ａｃｔｉｏｎ Ｐｏｔｅｎｔｉａｌ）が発生し得る。その後、ニューロンの膜電位は、基本電圧でリセットできる。但し、フリーニューロンにおいて、ポストニューロンで閾値以下の刺激が伝達されれば、活動電位の代わりにＰＳＰ（Ｐｏｓｔ Ｓｙｎａｐｔｉｃ Ｐｏｔｅｎｔｉａｌ）が発生し、ＰＳＰでは、次の刺激が入ってくる前まで、少しずつ漏洩が生じ得る。ＬＩＦ回路２６０は、前述したニューロンの発火又は漏洩を実現した回路である。
【0069】
漏洩部分回路３６１は、図２を参照して前述したカラム累積信号（例えば、ＩＣｅｌｌｓ）及び基準累積信号（例えば、ＩＡＰｓ）を受信することができる。図３において、カラム累積信号及び基準累積信号は、電流源としてモデリングされて図示されているが、これは説明の便宜のためのものであり、実際には、図２に示された読出し回路によって供給される電流として解釈される。漏洩部分回路３６１は、ネット信号（例えば、ネット電流）を生成するキャパシタを含んでもよい。例えば、出力信号１５９は、基準累積信号に対応する電流をキャパシタのノードに向かって流入させ、カラム累積信号に対応する電流をキャパシタのようなノードから流出させることができる。前述した基準累積信号の流入及びカラム累積信号の流出によりキャパシタには、カラム累積信号と基準累積信号との間の差に対応する電流が流れる。言い換えれば、ネット電流（例えば、Ｉｎｅｔ、ｃｏｌｕｍｎ）である出力信号１５９がキャパシタに流れることになる。出力回路１５０は、第１抵抗値の抵抗性メモリ素子に基づいた第１電流ＩＰと、第２抵抗値の抵抗性メモリ素子に基づいた第２電流ＩＡＰとの間の差であるネット電流の整数倍に対応する電流（例えば、ネット電流ＩＰ－ＩＡＰ）を出力信号１５９として生成することができる。漏洩部分回路３６１は、リセット信号ＲＥＳＥＴが印加されている間には不活性化され、リセット信号ＲＥＳＥＴが印加されていない間には活性化される。言い換えれば、漏洩部分回路３６１は、リセット信号ＲＥＳＥＴが印加されていない以後に、閾値時間の間に出力信号１５９による出力電流を漏洩させてもよい。
【0070】
出力信号１５９の出力電流は、キャパシタに流れることによって出力電圧に変換される。漏洩部分回路３６１のうち、漏洩演算増幅器ＯＰｉｎｔｅｇは、出力端でウィンドウスイッチと接続し、ウィンドウスイッチは、グラウンドに接続されているキャパシタと接続してもよい。ウィンドウスイッチにウィンドウ信号ＷＩＮＤＯＷが印加されている間にウィンドウスイッチが閉じられ、漏洩演算増幅器ＯＰｉｎｔｅｇとグラウンドに接続されているキャパシタが接続され得る。従って、出力信号１５９の出力電流が漏洩演算増幅器ＯＰｉｎｔｅｇの出力端に位置しているグラウンドに接続されているキャパシタに流れる。グラウンドに接続されているキャパシタは、出力電流による電荷を漏洩することで、出力電流を出力電圧に変換することができる。ここで、グラウンドに接続されているキャパシタに充填された電圧は、漏洩トランジスタＬＥＡＫＡＧＥによって漏洩され得る。漏洩トランジスタＬＥＡＫＡＧＥには、ＶＣＭ＿ＣＯＬＯＵＭＮ＿ＩＮに基づく付勢電圧が印加されてもよい。ウィンドウスイッチは、ウィンドウ信号ＷＩＮＤＯＷによって所定の閾値時間（例えば、漏洩時間）の間にターンオンされる。言い換えれば、グラウンドに接続されているキャパシタは、リセット後の閾値時間が経過する前まで出力電流が漏洩され得る。
【0071】
一実施形態によれば、漏洩部分回路３６１は発火部分回路３６２として、前述した閾値時間の間に漏洩された出力電圧を伝達することができる。発火部分回路３６２の比較器ＯＰｆｉｒｅは、予め設定された閾値電圧ＶＴＨ及び出力電圧ＶＣＯＬＵＭＮを比較することができる。例えば、比較器ＯＰｆｉｒｅは、閾値時間の間に累積された出力電圧ＶＣＯＬＵＭＮが閾値電圧ＶＴＨを超過する場合、発火信号（例えば、１）を出力し、出力電圧ＶＣＯＬＵＭＮが閾値電圧ＶＴＨ以下である場合、漏洩信号（例えば、０）を出力することができる。参考として、後述するが、閾値時間は、別途の回路（例えば、閾値時間生成回路）で閾値に対応する閾値電流の漏洩を介して、閾値電圧ＶＴＨを達成するまでに所要される時間として設定されてもよい。出力電流と閾値電流の両方は電流であるため、電流対電流を比較することが難しい。従って、発火部分回路３６２の比較器ＯＰｆｉｒｅは、後述する図７を参照して生成された、ＷＩＮＤＯＷ信号によるＲＥＳＥＴ信号が０になる瞬間から、ＷＩＮＤＯＷ信号が０になる瞬間までの閾値時間の間に漏洩された電流から変換された電圧を、閾値電圧と比較することができる。電流が小さければ電圧に変換される量が小さく、変換された電圧が閾値電圧よりも小さいこともある。反対に、電流が大きければ、電圧に変換される量が大きいため、変換された電圧が閾値電圧以上になり、比較器ＯＰｆｉｒｅが発火パルスを出力することができる。
【0072】
一実施形態によれば、ＬＩＦ回路は、出力信号１５９に基づいて累積される電圧が閾値時間内に閾値電圧に達しない場合に応答して、出力信号１５９を漏洩することができる。例えば、ＬＩＦ回路２６０の発火部分回路３６２は、漏洩及び変換された出力電圧が閾値電圧よりも小さい場合、変換された出力電圧を漏洩演算増幅器ＯＰｉｎｔｅｇに伝達することができる。アナログＭＵＸ（ａｎａｌｏｇ ＭＵＸ）は、変換された出力電圧を漏洩演算増幅器ＯＰｉｎｔｅｇの新しいコモンモード入力（ｃｏｍｍｏｎ ｍｏｄｅ ｉｎｐｕｔ）ＶＣＭ＿ＣＯＬＵＭＮとして提供することができる。漏洩回路は、次のニューロン入力に基づいた出力信号１５９が生成される場合、前述したコモンモード入力を基準にして、出力電流による漏洩として継続することで、漏洩された（ｌｅａｋｙ ｉｎｔｅｇｒａｔｅｄ）出力電圧を取得することができる。
【0073】
一実施形態によれば、ＬＩＦ回路２６０は、出力信号１５９に基づいて累積される電圧が閾値に対応する閾値時間内に閾値電圧に達する場合に応答して、他のニューロン回路への発火を行うことができる。例えば、漏洩した出力電圧が閾値電圧を超過し、または、数個の小さい出力信号１５９の漏洩された電圧が閾値電圧を超過する場合、発火部分回路３６２の比較器ＯＰｆｉｒｅは、発火信号を生成することができる。発火信号は、発火を指示するパルス出力であってもよい。発火信号は、クロック信号に対して同期されるアナログ増幅器基盤の比較器ＯＰｆｉｒｅ及びフリップフロップ（ｆｌｉｐ－ｆｌｏｐ）回路を介して、クロック信号に同期された信号として生成されてもよい。
【0074】
発火部分回路３６２は、アナログＭＵＸ回路の選択信号ＳＥＬを制御し、外部から入力されるＶＣＭ＿ＣＯＬＵＭＮ＿ＩＮを漏洩演算増幅器ＯＰｉｎｔｅｇに伝達することで、コモンモード電圧を初期化することができる。
【0075】
一実施形態に係る出力回路１５０は、回路ごとに漏洩動作、比較動作、及び、漏洩動作を区分して行うことができる。従って、１つ以上の実施形態に係るニューラルネットワーク回路は、出力回路１５０でキャパシタの大きさや漏洩電流の制約による誤差を最小化できる。さらに、出力回路１５０は、実際の生物の刺激周期である、ｍｓの単位の発火も模写できる。
【0076】
図３において、ＲＥＳＥＴ信号及びＳＷ信号は制御信号として、外部クロックＣｌｋが入力されるタイミングジェネレータ（ｔｉｍｉｎｇ ｇｅｎｅｒａｔｏｒ）によって生成され得る。後述する閾値時間生成回路は、発火の有無の基準となる閾値時間を指示するウィンドウ信号ＷＩＮＤＯＷを生成することができる。ウィンドウ信号ＷＩＮＤＯＷは、設定された閾値電圧、抵抗性メモリ素子、及び、キャパシタの変化に強靭な閾値時間（例えば、累積時間）を提供することができる。
【0077】
図４は、一実施形態に係るニューラルネットワーク回路に含まれた閾値生成回路及び追加基準回路を説明する。
【0078】
一実施形態に係るニューラルネットワーク回路は、閾値を設定するための回路をさらに含んでもよい。例えば、ニューラルネットワーク回路は、閾値メモリアレイ４８０及び追加基準メモリセルをさらに含んでもよい。シナプスメモリアレイ１１０及び基準メモリアレイ１２０は、図１を参照して前述したため、その説明は省略する。
【0079】
閾値メモリアレイ４８０は、複数のメモリ素子を含んでもよい。閾値メモリアレイ４８０で複数のメモリ素子のうち設定された閾値に基づいて指定された少なくともいずれかのメモリ素子は、第１抵抗値（例えば、Ｐ状態）を有する。図４において、閾値メモリアレイ４８０に含まれているメモリセルは、閾値メモリセルとして、Ｔｈに図示されてもよい。例えば、閾値を表現するためのメモリ素子が、ビットディジットを考慮して選択されてもよい。言い換えれば、閾値は、第１抵抗値を有するメモリ素子の個数及び該当メモリ素子が示すビットディジットに基づいて、表現される。閾値メモリアレイ４８０は、いずれかのカラムラインに沿って配置される閾値メモリセルを含んでもよい。カラムラインは、マルチビットを示す複数のビットラインを含んでもよい。閾値メモリセルのそれぞれは、ビットラインごとにサブセルを含んでもよい。例示的に、閾値が６ＩＰの閾値電流に設定される場合、（２＋４）×ＩＰを表現するために、閾値メモリアレイ４８０において、ＬＳＢから１番目のビットディジット（例えば、２１＝２）に対応するメモリ素子、及び、ＬＳＢから２番目のビットディジット（例えば、２２＝４）に対応するメモリ素子が、第１抵抗値を有することができる。閾値の他の例示は、下記の図５及び図６を参照して説明する。
【0080】
追加基準メモリセルは、閾値生成回路と基準ワードラインＲｅｆ ＷＬ０～Ｒｅｆ ＷＬ Ｌ－１を共有する。追加基準メモリセルは、基準ワードラインに沿って配置されて、第２抵抗値を有する追加基準メモリ素子を有する。追加基準メモリアレイ４９０に含まれている全ての追加基準メモリセルのメモリ素子は、第２抵抗値を有する。追加基準メモリセルは、後述するが、前述した閾値メモリアレイ４８０において指定された閾値をネット信号に表現するために使用されてもよい。
【0081】
例えば、前述した閾値メモリアレイ４８０のカラムに沿って累積した信号（以下、「閾値累積信号」）は、下記の数式（６）のように表現され得る。
ＩＴｈ＝Ｔ・Ｉｐ＋（Ｒ－Ｔ）・ＩＡＰ （６）
ＩＴｈ＝Ｔ・Ｉｐ＋（Ｒ－Ｔ）・ＩＡＰ （６）
【0082】
前述した数式（６）において、ＩＰは、Ｐ状態（例えば、第１抵抗値）の抵抗性メモリ素子に流れる電流を示し、ＩＡＰは、ＡＰ状態（例えば、第２抵抗値）の抵抗性メモリ素子に流れる電流を示す。閾値累積信号ＩＴｈは、ＩＰ及びＩＡＰの線型組み合せであってもよい。出力回路４５０の第２読出し回路４５２が閾値累積信号ＩＴｈを生成することができる。
ＩＡＰ、Ｔｈ＝Ｒ・ＩＡＰ （７）
ＩＡＰ、Ｔｈ＝Ｒ・ＩＡＰ （７）
【0083】
前述した数式（７）は、追加基準メモリアレイ４９０に含まれたＡＰ状態の抵抗性メモリ素子のうち、基準ワード信号が印加された抵抗性メモリ素子に流れる電流信号に、ビットディジットごとのビット加重値が適用された信号である。追加基準累積信号ＩＡＰ、Ｔｈは、ビットディジットごとの基準信号にビット加重値が適用されて統合された信号である。出力回路４５０の第２読出し回路４５２が、追加基準累積信号ＩＡＰ、Ｔｈを生成することができる。前述した数式（６）及び数式（７）で線型組み合せの係数Ｔ、Ｒは、下記の数式（８）及び数式（９）のように表現され得る。
Ｒ＝Ｌ・（２ａ―１） （８）
Ｒ＝Ｌ・（２ａ―１） （８）
【数2】
【0084】
前述した数式（７）、数式（８）、及び数式（９）において、Ｒは、活性化した基準ワードラインに接続されたサブセルに基づいて決定される値を示す。Ｌは、活性化した基準ワードラインの個数を示す。図４では、全ての基準ワードラインが活性化した例示について説明する。ａは、各メモリセルに含まれているサブセルの個数であり、シナプス加重値のビット数であってもよい。例えば、Ｒは、いずれかのカラムに沿って接続された閾値メモリセルのうち、活性化した基準ワードラインに接続された基準メモリセルに含まれている各サブセルが示すビットディジットを指数にする２のべき乗の値の和である。Ｔは、Ｒ以下の整数として、活性化した基準ワードラインに接続されている閾値メモリセルのうち、Ｐ状態（例えば、第１抵抗値）のサブセルに基づいて決定される値である。Ｔは、予め設定される閾値に対応する。ｔｉは、第ｉ閾値メモリセルが第１抵抗値を有すれば１であり、第ｉ閾値メモリセルが第２抵抗値を有すれば０である。例えば、Ｔは、同じカラムに接続されている閾値メモリセルにおいて、Ｐ状態のサブセルが示すビットディジットを指数にする２のべき乗の値の和である。
Ｉｎｅｔ，Ｔｈ＝ＩＴｈ－ＩＡＰ、Ｔｈ＝Ｔ（ＩＰ－ＩＡＰ） （１０）
Ｉｎｅｔ，Ｔｈ＝ＩＴｈ－ＩＡＰ、Ｔｈ＝Ｔ（ＩＰ－ＩＡＰ） （１０）
【0085】
一実施形態に係るニューラルネットワーク回路の出力回路４５０は、前述した数式（１０）により、閾値累積信号ＩＴｈ及び追加基準累積信号ＩＡＰ、Ｔｈ間の差に対応する閾値ネット信号Ｉｎｅｔ、Ｔｈを生成することができる。出力回路４５０は、前述した数式（５）で第１読出し回路４５１（例えば、図１に示すシナプス読出し回路１５１及び基準読出し回路１５２を含む回路）から取得された出力信号Ｉｎｅｔ、ｃｏｌｕｍｎと、前述した数式（１０）で取得された閾値ネット信号Ｉｎｅｔ、Ｔｈとを比較することができる。但し、上述したように、電流対電流間の比較は、回路の実現が難しため、出力回路４５０は、出力信号Ｉｎｅｔ、ｃｏｌｕｍｎ及び閾値ネット信号Ｉｎｅｔ、Ｔｈを間接的に比較するための閾値時間生成回路をさらに含んでもよい。閾値時間生成回路は、下記の図７を参照して説明する。
【0086】
一実施形態に係る出力回路４５０は、閾値メモリセル及び追加基準メモリセルに基づいて決定された閾値に対応する閾値時間を、出力ラインに対する出力信号及び他の出力ラインに対する他の出力信号に対して適用することができる。言い換えれば、出力回路４５０は、シナプスメモリアレイの出力ラインから取得される出力信号に対して、共通した閾値に対応する閾値時間を適用することができる。以下、図５及び図６では、設定された閾値に対する閾値メモリセルの抵抗値マッピングについて説明する。
【0087】
【0088】
図５において、シナプスメモリアレイのいずれかのカラムが、シナプスメモリカラム５１０のように図示されている。基準メモリアレイのいずれかのカラムが、基準カラム５２０に図示されてもよい。閾値メモリアレイのいずれかのカラムが、閾値生成カラム５８０のように図示されてもよい。追加基準メモリアレイのいずれかのカラムが、追加基準カラム５９０のように図示されてもよい。説明の便宜のために、各カラムは、３ビットのビットラインを含み、１つの入力ラインに入力信号が印加された例示を示している。
【0089】
シナプスメモリカラム５１０のサブセルは、例示的に、全ての第１抵抗値として設定された抵抗性メモリ素子を有してもよい。基準カラム５２０は、上述したように、全ての第２抵抗値として設定されたメモリ素子を有してもよい。各サブセルのそれぞれは、ＬＳＢに対応するビット加重値（例えば、１倍）、ＬＳＢから１番目のビットディジットのビット加重値（例えば、２倍）、ＬＳＢから２番目のビットディジットのビット加重値（例えば、４倍）が適用された電流信号を生成してもよい。シナプスメモリカラム５１０のカラム累積信号ＩＣｅｌｌｓは、（１＋２＋４）×ＩＰである。基準カラム５２０の基準累積信号ＩＡＰｓは、（１＋２＋４）×ＩＡＰである。言い換えれば、図５において、Ｎ＝Ｍ＝７である。出力信号Ｉｎｅｔ、ｃｏｌｕｍｎは、７（ＩＰ－ＩＡＰ）であってもよい。同様に、閾値生成カラム５８０において、閾値累積信号ＩＴｈは、１×ＩＡＰ＋（２＋４）×ＩＰ＝６ＩＰ＋ＩＡＰであってもよい。追加基準カラム５９０で生成される追加基準累積信号ＩＡＰ、Ｔｈは、（１＋２＋４）×ＩＡＰ＝７ＩＡＰであってもよい。言い換えれば、図５において、Ｔ＝６、Ｒ＝７であってもよい。図５において、閾値はＴ＝６であり、閾値ネット信号Ｉｎｅｔ、Ｔｈは、６（ＩＰ－ＩＡＰ）に決定されてもよい。出力回路は、出力信号Ｉｎｅｔ、ｃｏｌｕｍｎが閾値ネット信号Ｉｎｅｔ、Ｔｈよりも大きいため、発火信号を生成することができる。
【0090】
図６では、閾値Ｔ＝８に設定され得るが、Ｔ＝８を表現するために、閾値生成カラム６８０が２つの基準ワードラインに沿って配置される閾値メモリセルを含んでもよい。参考として、入力ラインの個数と基準ワードラインの個数は互いに独立的であって、互いに関係がない。
【0091】
図５を参照して前述したように、シナプスメモリカラム６１０で生成されるカラム累積信号ＩＣｅｌｌｓは、（１＋２）×ＩＰ＋（４＋１＋２＋４）×ＩＡＰ＝３ＩＰ＋１１ＩＡＰであってもよい。基準カラム６２０で生成される基準累積信号ＩＡＰｓは、（１＋２＋４＋１＋２＋４）×ＩＡＰ＝１４ＩＡＰであってもよい。言い換えれば、図６において、Ｎ＝１４、Ｍ＝３であってもよい。出力信号Ｉｎｅｔ、ｃｏｌｕｍｎは、３（ＩＰ－ＩＡＰ）であってもよい。同様に、閾値生成カラム６８０において、閾値累積信号ＩＴｈは、（１＋１＋２＋４）×ＩＰ＋（２＋４）×ＩＡＰ＝８ＩＰ＋６ＩＡＰであってもよい。追加基準カラム６９０で生成される追加基準累積信号ＩＡＰ、Ｔｈは、（１＋２＋４＋１＋２＋４）×ＩＡＰ＝１４ＩＡＰであってもよい。言い換えれば、図６において、Ｔ＝８、Ｒ＝１４であってもよい。図６において、閾値はＴ＝８であり、閾値ネット信号Ｉｎｅｔ、Ｔｈは、８（ＩＰ－ＩＡＰ）に決定され得る。出力回路は、出力信号Ｉｎｅｔ、ｃｏｌｕｍｎが閾値ネット信号Ｉｎｅｔ、Ｔｈよりも小さくなるため、漏洩動作を行うことができる。
【0092】
図７は、一実施形態に係る出力回路の閾値時間生成回路を示す。
【0093】
一実施形態に係る出力回路は、閾値メモリセルに基づいて生成された信号、及び、追加基準メモリセルに基づいて生成された信号に基づいて、閾値に対応する閾値時間７９１を設定することができる。図７において、出力回路で閾値時間７９１を設定する閾値時間生成回路７５３について説明する。第１読出し回路４５１、第２読出し回路４５２、及びＬＩＦ回路は前述したため、その説明は省略する。
【0094】
上述したように、出力された電流と閾値として設定された電流との間の直接的な比較が難しいため、閾値時間生成回路７５３は、電流比較のための閾値時間７９１を設定することができる。閾値時間生成回路７５３は、閾値に対応する電流の漏洩を介して閾値電圧まで達するために所要する時間を閾値時間７９１として設定することができる。上述したように、出力回路は、出力電流の漏洩を介して、同じ閾値電圧まで達するために所要する時間が閾値時間７９１よりも小さいかを比較することができる。例えば、出力回路は、設定された閾値時間７９１内に出力電流の漏洩を介して、変換された出力電圧が閾値電圧を超過するか否かを判断することで、間接的に閾値電流と出力電流との間の比較を行うことができる。
【0095】
出力回路は、閾値メモリセルに基づいて生成された信号と、追加基準メモリセルに基づいて生成された信号との間の差に対応する電流の累積を開始し、累積された電流に対応する電圧が閾値電圧を超過する場合、閾値に対応する閾値時間７９１を指示する信号を出力することができる。
【0096】
閾値時間生成回路７５３は、図３を参照して前述した漏洩部分回路と一部類似している構成を含む。例えば、閾値時間生成回路７５３は、キャパシタのノードから閾値累積信号ＩＴｈを流出し、該当ノードに向かって追加基準累積信号ＩＡＰ、Ｔｈを流入させることができる。したがって、該当キャパシタには、閾値ネット信号Ｉｎｅｔ＿Ｔｈが流れることができる。キャパシタ、演算増幅器の種類及びサイズは、同一に設計されてもよい。
【0097】
タイミング図７９０に示されたリセット信号ＲＥＳＥＴ、ホールド信号ＨＯＬＤ、ウィンドウ信号ＷＩＮＤＯＷは、タイミングジェネレータによって生成され得る。リセット信号ＲＥＳＥＴ＝１である場合、閾値ネット信号Ｉｎｅｔ、Ｔｈが流れるキャパシタの両端電圧が全てＶＣＭ、ＴＷＧであるため、初期化され得る。リセット信号ＲＥＳＥＴ＝０であり、ホールド信号ＨＯＬＤ＝１である場合、キャパシタに閾値ネット信号Ｉｎｅｔ、Ｔｈによる累積を介して変換された電圧ＶＴＷＧが格納されてもよい。変換された電圧ＶＴＷＧは、閾値ネット信号Ｉｎｅｔ、Ｔｈの累積により徐々に増加し得る。ウィンドウ比較器ＯＰｗｉｎｄｏｗは、変換された電圧ＶＴＷＧが閾値電圧ＶＴＨを超過する場合、０を出力することができる。従って、閾値時間７９１は、リセット信号ＲＥＳＥＴ＝０となる時点からウィンドウ信号ＷＩＮＤＯＷ＝０になるまで、のように定義することができる。ＶＣＭ、ＴＷＧは、ＶＣＭ＿ＣＯＬＵＭＮ＿ＩＮよりも小さく設定されてもよい。
【0098】
図８は、一実施形態に係る出力回路でＬＩＦ回路に含まれる素子及び素子ごとのタイミング図を示す。
【0099】
リセットフリップフラップ８１０は、１／４に分周されたクロック信号及びニューロン入力（入力信号）に応答して、リセット信号ＲＥＳＥＴを生成することができる。ホールドフリップフラップ８２０は、１／８に分周されたクロック信号及びニューロン入力（例えば、入力信号）に応答して、ホールド信号ＨＯＬＤを生成することができる。比較フリップフラップ８３０は、クロック信号、供給電圧ＶＤＤ、インバースされたホールド信号ＨＯＬＤＢに応答して、比較信号ＣＯＭＰＡＲＥを生成することができる。比較信号ＣＯＭＰＡＲＥは、累積された出力信号が比較器の入力として伝達が完了すれば、比較器の比較動作を開始するようにした信号であってもよい。漏洩フリップフラップ８４０は、クロック信号、供給電圧ＶＤＤ、インバースされた比較信号ＣＯＭＰＡＲＥＢに応答して、漏洩信号ＬＥＡＫＡＧＥを生成することができる。漏洩信号ＬＥＡＫＡＧＥは、前述した比較動作の後に、出力電圧の漏洩動作（ｌｅａｋａｇｅ ｏｐｅｒａｔｉｏｎ）を行うための信号である。ＳＷプルリップルラプ８７０は、漏洩された電圧がある場合、漏洩された電圧を次の入力に基づいた出力に合算されるよう漏洩部分回路に伝達するためのＳＷ信号を生成することができる。前述した信号に対するタイミング図８９０で示されているように、閾値時間８９１は、リセット以後のウィンドウ信号ＷＩＮＤＯＷが不活性化される前までの時間区間である。
【0100】
図９は、一実施形態に係るニューラルネットワーク回路の発火動作例示を説明する。
【0101】
ニューラルネットワーク回路９００は、メモリアレイ９１０、出力回路９５０、分周器及びタイミングジェネレータ９４０、ワードラインドライバ９７０、書込みドライバ９８０を含む。メモリアレイ９１０は、シナプスメモリアレイ、基準メモリアレイ、閾値メモリアレイ、追加基準メモリアレイを含む。出力回路９５０は、読出し回路９５１、閾値時間生成回路９５３、ＬＩＦ回路９６０を含む。メモリアレイ９１０及び出力回路９５０は、前述したため、その説明は省略する。分周器及びタイミングジェネレータ９４０は、回路で使用される信号（例えば、クロック信号及び個別素子に対する制御信号）を生成することができる。ワードラインドライバ９７０は、メモリアレイ９１０のワードライン（例えば、入力ライン）を駆動することができる。書込みドライバ９８０は、メモリアレイ９１０のビットラインに沿って配置されるメモリセルの抵抗性メモリ素子の抵抗値を設定し、ビットライン及び検出ラインを駆動することができる。
【0102】
図９に示されたタイミング図９９０は、閾値がＴ＝６に設定されたニューラルネットワーク回路９００の例示的な動作を説明する。閾値ネット信号Ｉｎｅｔ、Ｔｈは、６（ＩＰ－ＩＡＰ）であってもよい。カラム＜０＞に流れるネット電流信号が、７（ＩＰ－ＩＡＰ）→４（ＩＰ－ＩＡＰ）→４（ＩＰ－ＩＡＰ）に変化し、カラム＜１＞に流れるネット電流信号が、５（ＩＰ－ＩＡＰ）→３（ＩＰ－ＩＡＰ）→１０（ＩＰ－ＩＡＰ）に変化し得る。上述したように、閾値以下の刺激が伝達されれば、発火信号が出力されず、蓄積された電圧Ｖ＿ｉｎｔｅｇｒａｔｅｄが、漏洩パルス（ＬＥＡＫＡＧＥ ｐｕｌｓｅ）がハイ（ｈｉｇｈ）の区間に伝達される。蓄積された電圧のレベルは、累積パルス（ＬＥＡＫＡＧＥ ｐｕｌｓｅ）がハイ（ｈｉｇｈ）の区間の間に徐々に減少される。閾値以上の刺激が伝達されれば、発火信号が出力され、累積した電圧Ｖ＿ｉｎｔｅｇｒａｔｅｄが初期化される。また、閾値以下の刺激が伝達されて漏洩された後、刺激がさらに伝達されて２つの刺激の和が閾値以上になると、発火信号が出力され得る。図９に示された例示において、閾値Ｔ＝７であるため、カラム＜０＞に流れるネット電流信号に対して、順次に発火→漏洩→発火が発生し得る。カラム＜１＞に流れるネット電流信号に対して、順次に漏洩→漏洩→発火が発生し得る。
【0103】
図１０は、一実施形態に係るニューラルネットワーク回路の動作方法を示すフローチャートである。
【0104】
まず、ステップＳ１０１０において、ニューラルネットワーク回路は、出力ラインに沿って配置された１つ以上のメモリセルのうち、入力ラインを介して入力信号が印加されたシナプスメモリセルの抵抗性メモリ素子及び入力信号に基づいて、カラム信号を生成する。例えば、フリーシナプス回路を介して入力信号（例えば、スパイク信号）が受信されれば、ニューラルネットワーク回路は、メモリアレイのワードラインにアクセスすることができる。ニューラルネットワーク回路の読出し回路は、シナプス加重値及び入力信号によるカラム信号（例えば、電流）を生成することができる。
【0105】
そして、ステップＳ１０２０において、ニューラルネットワーク回路は、基準ラインに沿って配置された１つ以上のメモリセルのうち、入力信号が印加された基準メモリセルの基準抵抗値を有する基準メモリ素子及び入力信号に基づいて、基準信号を生成する。基準抵抗値は、第２抵抗値（例えば、ＡＰ状態に対応する高抵抗値）であってもよい。
【0106】
次に、ステップＳ１０３０において、ニューラルネットワーク回路は、カラム信号及び基準信号から出力ラインに対する出力信号を生成する。ニューラルネットワーク回路は、高抵抗状態の電流を相殺させるために、カラム累積信号と基準累積信号との間の差に対応するネット電流を出力信号として生成することができる。
【0107】
そして、ステップＳ１０４０において、ニューラルネットワーク回路は、出力信号に基づいて、発火又は累積処理を行う。例えば、ニューラルネットワーク回路は、出力信号を閾値時間の間に漏洩してもよい。ニューラルネットワーク回路は、漏洩された出力電圧を閾値電圧と比較した結果に応じて、発火又は累積を行う。ニューラルネットワーク回路は、出力電圧が閾値電圧を超過する場合、発火を行ってもよい。ニューラルネットワーク回路は、出力電圧が閾値電圧以下である場合に、累積処理を実行し、該当電圧を次のニューロンインプットが入ってくるまで保持する。
【0108】
但し、ニューラルネットワークの出力信号処理が、前述したステップＳ１０４０に限定されることはない。ニューラルネットワーク回路の出力回路は、入力ラインに沿って受信される入力信号とシナプス加重値との間の積和（ｍｕｌｔｉｐｌｙ ａｎｄ ａｃｃｕｍｕｌａｔｉｏｎ；ＭＡＣ）を、出力信号を解釈した結果（例えば、アナログデジタル変換された値）に基づいて、取得し、取得された積和に基づいて、決定されたノード値（例えば、活性化値）を、他のニューロン回路に伝達してもよい。
【0109】
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又は、ハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者であれば、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことを把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0110】
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成し、または、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈され、または、処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、もしくは、送信される信号波に、永久的又は一時的に具体化することができる。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納され、または、実行され得る。ソフトウェア及びデータは、一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
【0111】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって、公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例は、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及び、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例は、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。
【0112】
上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、また、その逆も同様である。
【0113】
上述したように、実施形態を限定された図面によって説明してきたが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて、様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が、説明された方法と異なる順に実行され、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても、適切な結果を達成することができる。
【0114】
したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも、また、後述する特許請求範囲の範囲に属する。
【符号の説明】
【0115】
１００ ニューラルネットワーク回路
１１０ ニューラルネットワーク回路
１２０ 基準メモリアレイ
１５０ 出力回路
２５１ 読出し回路
３６１ 漏洩部分回路
３６２ 発火部分回路
４５０ 出力回路
４５１ 第１読出し回路
４５２ 第２読出し回路
７９０ タイミング図
９００ ニューラルネットワーク回路
１１０ ニューラルネットワーク回路
１２０ 基準メモリアレイ
１５０ 出力回路
２５１ 読出し回路
３６１ 漏洩部分回路
３６２ 発火部分回路
４５０ 出力回路
４５１ 第１読出し回路
４５２ 第２読出し回路
７９０ タイミング図
９００ ニューラルネットワーク回路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】