特許 7623018 ニューロモーフィック装置及びニューロモーフィックシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-20

(45)【発行日】2025-01-28

(54)【発明の名称】ニューロモーフィック装置及びニューロモーフィックシステム

(51)【国際特許分類】

   G06N 3/063 20230101AFI20250121BHJP

   G06G 7/60 20060101ALI20250121BHJP

   H10B 63/00 20230101ALI20250121BHJP

   H10N 70/20 20230101ALI20250121BHJP

【ＦＩ】

G06N3/063

G06G7/60

H10B63/00

H10N70/20

【請求項の数】 10

(21)【出願番号】P 2022558995

(86)(22)【出願日】2021-10-14

(86)【国際出願番号】 JP2021037982

(87)【国際公開番号】W WO2022091794

(87)【国際公開日】2022-05-05

【審査請求日】2024-05-15

(31)【優先権主張番号】P 2020183082

(32)【優先日】2020-10-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504143441

【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】木村 睦

(72)【発明者】

【氏名】中島 康彦

(72)【発明者】

【氏名】滝下 雄太

【審査官】大倉 崚吾

(56)【参考文献】

【文献】特表２０１８－５２１４００（ＪＰ，Ａ）

【文献】特表２０１８－５１１８６２（ＪＰ，Ａ）

【文献】米国特許第１０４９０２７３（ＵＳ，Ｂ１）

【文献】NARAYANAN, P., et al.，"Toward on-chip acceleration of the backpropagation algorithm using nonvolatile memory"，IBM Journal of Research and Development [online]，IBM，2017年09月08日，Vol. 61，No. 4/5，p. 11:1-11:11，［2024年12月12日検索］，インターネット＜ＵＲＬ：https://ieeexplore.ieee.org/abstract/document/8030206＞，DOI: 10.1147/JRD.2017.2716579

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０６３

Ｇ０６Ｇ ７／６０

Ｈ１０Ｂ ６３／００

Ｈ１０Ｎ ７０／２０

(57)【特許請求の範囲】

【請求項1】

相互接続された第１ニューロンと第２ニューロンとの間における接続強度である重みを更新するニューロモーフィック装置であって、
前記重みを示す、可変の電気的特性を有するメムデバイスと、
半導体素子を含み、前記重みを更新するために前記電気的特性を変化させる重み更新回路と
を備え、
前記重み更新回路は、前記第１ニューロンの出力データである第１データ及び前記第２ニューロンの出力データである第２データを少なくとも用いて前記半導体素子を駆動させることによって、誤差逆伝播法により前記電気的特性を変化させ、
前記メムデバイスは、前記第１ニューロン側の端子である入力端子及び前記第２ニューロン側の端子である出力端子を有し、
前記半導体素子は１つ又は複数であり、当該各半導体素子はそれぞれ、
第１ｎ型ＭＯＳトランジスタと、
第２ｎ型ＭＯＳトランジスタと、
ｐ型ＭＯＳトランジスタと、
ＣＭＯＳトランジスタと
のうちのいずれかであり、
前記各半導体素子はそれぞれ、前記メムデバイスの前記入力端子側又は前記出力端子側のいずれかに配置される、ニューロモーフィック装置。

【請求項2】

前記重み更新回路は、第１重み更新回路及び第２重み更新回路を有し、
前記第１重み更新回路は、前記第１データを少なくとも用いて前記半導体素子を駆動させ、
前記第２重み更新回路は、前記第２データを少なくとも用いて前記半導体素子を駆動させる、請求項１に記載のニューロモーフィック装置。

【請求項3】

前記第１ニューロン及び前記第２ニューロンは、ニューラルネットワークを構成する、互いに異なる層にそれぞれ含まれており、
前記重み更新回路は、前記第１データ、前記第２データ及び前記ニューラルネットワークの教師データを用いて前記半導体素子を駆動させることによって、誤差逆伝播法により前記電気的特性を変化させる、請求項１又は２に記載のニューロモーフィック装置。

【請求項4】

前記第２ニューロンは、多層ニューラルネットワークの出力層に含まれ、
前記第１ニューロンは、前記多層ニューラルネットワークの、前記出力層の１つ前の層に含まれており、
前記重み更新回路は、前記第１データ、前記第２データ、及び前記第２ニューロンの出力データに対応する教師データを用いて前記半導体素子を駆動させることによって、誤差逆伝播法により前記電気的特性を変化させる、請求項１～３のいずれか１項に記載のニューロモーフィック装置。

【請求項5】

前記第２ニューロンは、単純パーセプトロンの出力層に含まれ、
前記第１ニューロンは、前記単純パーセプトロンの入力層に含まれており、
前記重み更新回路は、前記第１データ、前記第２データ、及び前記第２ニューロンの出力データに対応する教師データを用いて前記半導体素子を駆動させることによって、誤差逆伝播法により前記電気的特性を変化させる、請求項１～３のいずれか１項に記載のニューロモーフィック装置。

【請求項6】

前記第１ｎ型ＭＯＳトランジスタのゲート端子には前記第１データが入力され、
前記第２ｎ型ＭＯＳトランジスタのゲート端子には前記第２データが入力され、
前記ｐ型ＭＯＳトランジスタのゲート端子には前記第２データが入力され、
前記ＣＭＯＳトランジスタの入力端子には前記教師データが入力される、請求項３～５のいずれか１項に記載のニューロモーフィック装置。

【請求項7】

前記重み更新回路は、第１重み更新回路及び第２重み更新回路を有し、
前記第１重み更新回路は、前記第１ｎ型ＭＯＳトランジスタを少なくとも含み、
前記第２重み更新回路は、前記第２ｎ型ＭＯＳトランジスタ、前記ｐ型ＭＯＳトランジスタ、及び前記ＣＭＯＳトランジスタのいずれかを少なくとも含む、請求項６に記載のニューロモーフィック装置。

【請求項9】

相互接続された第１ニューロン及び第２ニューロンと、
前記第１ニューロンと前記第２ニューロンとの間における接続強度である重みを更新する、請求項１～８のいずれか１項に記載のニューロモーフィック装置と
を備える、ニューロモーフィックシステム。

【請求項10】

前記ニューロモーフィックシステムは、
前記重みを更新するときには前記重み更新回路を作動させる一方、
前記重みを用いて前記第１ニューロンと前記第２ニューロンとの間における情報伝達を行うときには前記重み更新回路を作動させない、請求項９に記載のニューロモーフィックシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ニューロモーフィック装置及びニューロモーフィックシステムに関する。

【背景技術】

【0002】

デジタル計算ではなく、アナログ計算が可能なデバイスを利用するニューロモーフィックシステムが知られている。ニューロモーフィックシステムはニューラルネットワークをハードウェアで実現したシステムである。ニューロモーフィックシステムはニューロモルフィックシステムと称される場合もある。

【0003】

特許文献１及び２には、ニューラルネットワークに用いる電子装置が記載されている。特許文献１及び２の電子装置はニューラルネットワークをハードウェアで実現した装置である。特許文献１及び２の電子装置は、ニューロン同士の接続強度である重みを保持する回路を備えている。当該回路は、複数のトランジスタと、容量素子とを有する。容量素子に保持される電位はアナログデータである。特許文献１及び２の電子装置は、上記回路の容量素子に重みを書き込み、上記回路の容量素子から重みを読み出す。

【0004】

非特許文献１には、酸化物半導体を用いたセルラニューラルネットワークが記載されている。非特許文献１のセルラニューラルネットワークはニューラルネットワークをハードウェアで実現したネットワークである。非特許文献１のセルラニューラルネットワークは、ニューロン同士の接続強度である重みを保持する記憶素子を備えている。当該記憶素子は酸化物半導体を用いた記憶素子である。当該記憶素子はアナログデータを保持する。非特許文献１のセルラニューラルネットワークは、上記記憶素子に重みを書き込み、上記記憶素子から重みを読み出す。

【先行技術文献】

【特許文献】

【0005】

【文献】日本国特開２０２０－８０１６２号

【文献】日本国特開２０２０－１０９７１５号

【非特許文献】

【0006】

【文献】MUTSUMI KIMURA, YUKI KOGA, HIROKI NAKANISHI, TOKIYOSHI MATSUDA, TOMOYA KAMEDA, AND YASUHIKO NAKASHIMA, "In-Ga-Zn-O Thin-Film Devices As Synapse Elements in a Neural Network", 27 November 2017, IEEE Journal of the Electron Devices Society(Volume:6), Page(s):100-105

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１、特許文献２及び非特許文献１のいずれにも、誤差逆伝播法（バックプロパゲーション）によって上述の重みを学習させる構成について開示も示唆もされていない。

【0008】

本開示の一態様は、新規な構成を備えたニューロモーフィック装置及びニューロモーフィックシステムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の課題を解決するために、本開示の一態様に係るニューロモーフィック装置は、相互接続された第１ニューロンと第２ニューロンとの間における接続強度である重みを更新するニューロモーフィック装置である。前記ニューロモーフィック装置は、メムデバイスと、重み更新回路とを備える。前記メムデバイスは、前記重みを示す、可変の電気的特性を有する。前記重み更新回路は、半導体素子を含み、前記重みを更新するために前記電気的特性を変化させる。前記重み更新回路は、第１データ及び第２データを少なくとも用いて前記半導体素子を駆動させることによって、誤差逆伝播法により前記電気的特性を変化させる。前記第１データは、前記第１ニューロンの出力データである。前記第２データは、前記第２ニューロンの出力データである。

【発明の効果】

【0010】

本開示の一態様によれば、新規な構成を備えたニューロモーフィック装置及びニューロモーフィックシステムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】誤差逆伝播法を説明するための説明図である。

【図2】誤差逆伝播法を説明するための他の説明図である。

【図3】本開示の一実施形態に係るニューロモーフィック装置の概略構成図である。

【図4】上記ニューロモーフィック装置に含まれるメムデバイスの電気的特性と、当該メムデバイスの概略構成と、を示す図である。

【図5】上記ニューロモーフィック装置に含まれる他のメムデバイスの電気的特性と、当該メムデバイスの概略構成と、を示す図である。

【図6】上記ニューロモーフィック装置の動作を説明するための説明図である。

【図7】上記ニューロモーフィック装置のハードウェア構成例を示す図である。

【図8】上記ニューロモーフィック装置の効果を説明するための説明図である。

【図9】上記ニューロモーフィック装置の効果を説明するための説明図である。

【図10】上記ニューロモーフィック装置の効果を説明するための説明図である。

【図11】上記ニューロモーフィック装置の他のハードウェア構成例を示す図である。

【図12】上記ニューロモーフィック装置の応用例を示す図である。

【発明を実施するための形態】

【0012】

＜本開示に至った経緯＞
人工知能は、未来の社会の中心となる技術である。人工知能を実現する代表的な技術としてニューラルネットワークが挙げられる。従来のニューラルネットワークは、高機能なハードウェア上で実行される複雑且つ長大なソフトウェアである。このため、従来のニューラルネットワークには、ハードウェアサイズの巨大化及びソフトウェア実行に伴う消費電力の増大といった課題がある。

【0013】

これに対し、ニューロモーフィックシステムは、ニューラルネットワークをハードウェアで実現したシステムである。ニューロモーフィックシステムは、ハードウェアレベルで生体の脳神経回路を模倣したシステムである。ニューロモーフィックシステムには、ハードウェアサイズの縮小化及び低消費電力化といった利点がある。

【0014】

しかしながら、ニューロモーフィックシステムには次の課題がある。ニューラルネットワークの学習アルゴリズムである誤差逆伝播法は、ソフトウェアであればニューロモーフィックシステムに実装が容易である。一方、誤差逆伝播法をハードウェアでニューロモーフィックシステムに実装することは未だ実現されていない。ニューロモーフィックシステムの上記利点を実現する上で、誤差逆伝播法をハードウェアでニューロモーフィックシステムに実装することが大いに期待されている。

【0015】

そこで、本開示者らは、ニューロモーフィックシステムに誤差逆伝播法を実装可能とすべく鋭意検討を行った結果、誤差逆伝播法をハードウェアで実装し易くする本開示をするに至った。

【0016】

＜実施形態＞
以下、本開示の一実施形態について、詳細に説明する。

【0017】

（誤差逆伝播法）
まず、誤差逆伝播法に関して簡単に説明しておく。誤差逆伝播法は、多層ニューラルネットワークに用いられる公知の学習方法である。このため、以下では、本開示の一実施形態の理解を容易とするために必要と思われる事項に関してのみ説明するものとする。

【0018】

図１は、誤差逆伝播法を説明するための説明図である。図１のとおり、多層ニューラルネットワーク１００は、入力層１０１と、中間層１０２と、出力層１０３とから構成される。各層は複数のニューロンを含む。図１の白抜きの丸印はそれぞれ、各層に含まれるニューロンを表す。１つの白抜きの丸印が１つのニューロンに相当する。

【0019】

入力層１０１は５個のニューロンを含む。中間層１０２は４個のニューロンを含む。出力層１０３は３個のニューロンを含む。また、中間層１０２は１層である。ただし、図１の多層ニューラルネットワーク１００の構成は単なる一例に過ぎない。本開示は、図１の中間層１０２の数及び各層に含まれるニューロンの数に限定されるものではない。

【0020】

入力層１０１に含まれる各ニューロンは、中間層１０２に含まれる全ニューロンに接続される。中間層１０２に含まれる各ニューロンは、出力層１０３に含まれる全ニューロンに接続される。

【0021】

入力データ群１１１は、入力層１０１に含まれる各ニューロンに入力される５個の入力データを含む。出力データ群１１２は、出力層１０３に含まれる各ニューロンから出力される３個の出力データを含む。教師データ群１１３は、出力層１０３に含まれる各ニューロンに対応する３つの教師データを含む。各教師データは出力層１０３に含まれる各ニューロンの出力データの目標値である。

【0022】

誤差逆伝播法は、出力データ群１１２に含まれる各出力データと、各出力データに対応する、教師データ群１１３に含まれる各教師データとを比較し（符号１２１で示す工程）、当該比較結果に基づき互いに異なる層に含まれるニューロン同士の接続強度である重みを訂正する（符号１２２で示す工程）ことによって、重みを更新する方法である。本明細書においては、誤差逆伝播法を用いて重みを更新する処理を「学習」と称する。また、本明細書においては、上記「学習」を行った多層ニューラルネットワーク１００において、入力データ群１１１と更新済みの重みとに基づいて出力データ群１１２を出力する処理を「推論」と称する。

【0023】

式（１）は、誤差逆伝播法を用いて重みＷ_ｉｊを更新する場合における重みＷ_ｉｊの訂正量ΔＷ_ｉｊを表す式である。ここで、重みＷ_ｉｊは、図１の入力層１０１に含まれる各ニューロンと中間層１０２に含まれる各ニューロンとの間における重みである。重みＷ_ｉｊの添え字ｉと添え字ｊは、重みＷ_ｉｊが、入力層１０１に含まれる第ｉ番目のニューロンと中間層１０２に含まれる第ｊ番目のニューロンとの間における重みであることを意味する。

【数1】

ここで、ηは、学習率であり、設計者が任意に設定することができる。Ｚ_ｋは、出力層１０３に含まれる各ニューロンから出力される出力データ（すなわち、出力データ群１１２に含まれる出力データ）である。Ｚ_ｋバーは、教師データ群１１３に含まれる各教師データである。Ｗ_ｊｋは、図１の中間層１０２に含まれる各ニューロンと出力層１０３に含まれる各ニューロンとの間における重みである。ｙ_ｊは、中間層１０２に含まれる各ニューロンから出力される出力データである。ｘ_ｉは、入力層１０１に含まれる各ニューロンから出力される出力データである。

【0024】

なお、出力データＺ_ｋの添え字ｋは、出力データＺ_ｋが、出力層１０３に含まれる第ｋ番目のニューロンから出力される出力データであることを意味する。また、教師データＺ_ｋバーの添え字ｋは、教師データＺ_ｋバーが、出力層１０３に含まれる第ｋ番目のニューロンの出力データの目標値であることを意味する。重みＷ_ｊｋの添え字ｊと添え字ｋは、重みＷ_ｊｋが、中間層１０２に含まれる第ｊ番目のニューロンと出力層１０３に含まれるｋ番目のニューロンとの間における重みであることを意味する。出力データｙ_ｊの添え字ｊは、出力データｙ_ｊが、中間層１０２に含まれる第ｊ番目のニューロンから出力される出力データであることを意味する。出力データｘ_ｉの添え字ｉは、出力データｘ_ｉが、入力層１０１に含まれる第ｉ番目のニューロンから出力される出力データであることを意味する。

【0025】

図２は、誤差逆伝播法を説明するための他の説明図である。図２のとおり、多層ニューラルネットワーク２００は、第１層２０１、・・・、第ｍ－１層２０２、第ｍ層２０３、第ｍ＋１層２０４、・・・、及び第ｎ層２０５から構成される。第１層２０１は入力層である。第ｎ層２０５は出力層である。第ｍ－１層２０２、第ｍ層２０３及び第ｍ＋１層２０４はいずれも中間層である。なお、ｍ及びｎは共に自然数であって、且つ、ｍ＜ｎである。多層ニューラルネットワーク２００を構成する各層は複数のニューロンを含む。図１と同様、図２の白抜きの丸印はそれぞれ、各層に含まれるニューロンを表す。また、図１と同様、１つの白抜きの丸印が１つのニューロンに相当する。

【0026】

ただし、図２の多層ニューラルネットワーク２００の構成は単なる一例に過ぎない。本開示は、図２の中間層の数及び各層に含まれるニューロンの数に限定されるものではない。

【0027】

入力層である第１層２０１に含まれる各ニューロンは、図示しない第２層に含まれる全ニューロンに接続される。第ｍ－１層２０２に含まれる各ニューロンは、第ｍ層２０３に含まれる全ニューロンに接続される。第ｍ層２０３に含まれる各ニューロンは、第ｍ＋１層２０４に含まれる全ニューロンに接続される。図示しない第ｎ－１層に含まれる各ニューロンは、第ｎ層２０５に含まれる全ニューロンに接続される。

【0028】

式（２）は、第ｍ層２０３に含まれる第ｊ番のニューロンに入力される入力データｕ_ｊ ^ｍを表す式である。

【数2】

ここで、Ｗ_ｉｊ ^{ｍ－１，ｍ}は、第ｍ－１層２０２に含まれる第ｉ番目のニューロンと第ｍ層２０３に含まれる第ｊ番目のニューロンとの間における重みであり、ｙ_ｉ ^ｍ－１は、第ｍ－１層２０２に含まれる第ｉ番目のニューロンから出力される出力データである。

【0029】

式（３）は、第ｍ層２０３に含まれる第ｊ番のニューロンから出力される出力データｙ_ｊ ^ｍを表す式である。

【0030】

【数3】

式（４）は、第ｍ＋１層２０４に含まれる第ｋ番のニューロンに入力される入力データｕ_ｋ ^ｍ＋１を表す式である。

【数4】

ここで、Ｗ_ｊｋ ^{ｍ，ｍ＋１}は、第ｍ層２０３に含まれる第ｊ番目のニューロンと第ｍ＋１層２０４に含まれる第ｋ番目のニューロンとの間における重みであり、ｙ_ｊ ^ｍは、第ｍ層２０３に含まれる第ｊ番目のニューロンから出力される出力データである。

【0031】

式（５）は、第ｍ＋１層２０４に含まれる第ｋ番目のニューロンから出力される出力データｙ_ｋ ^ｍ＋１を表す式である。

【0032】

【数5】

なお、式（６）は、式（３）及び式（５）の活性化関数ｆ（ｕ）を表す式である。活性化関数ｆ（ｕ）は公知のシグモイド関数である。

【0033】

【数6】

式（７）は、第ｎ層２０５に含まれる第ｏ番目のニューロンから出力される出力データｙ_ｏ ^ｎと、当該第ｏ番目のニューロンの出力データの目標値である教師データｙ_ｏバーとの誤差を算出するための誤差関数Ｅを表す式である。

【0034】

【数7】

式（８）は、誤差逆伝播法を用いて重みＷ_ｉｊ ^{ｍ－１，ｍ}を更新する場合における重みＷ_ｉｊ ^{ｍ－１，ｍ}の訂正量ΔＷ_ｉｊ ^{ｍ－１，ｍ}を表す式である。重みＷ_ｉｊ ^{ｍ－１，ｍ}は、図２の第ｍ－１層２０２に含まれる第ｉ番目のニューロンと第ｍ層２０３に含まれる第ｊ番目のニューロンとの間における重みである。

【数8】

ここで、ηは、学習率であり、設計者が任意に設定することができる。δ_ｊ ^ｍは、第ｍ層２０３に含まれる第ｊ番目のニューロンに対する誤差データであり、ｙ_ｉ ^ｍ－１は、第ｍ－１層２０２に含まれる第ｉ番目のニューロンから出力される出力データである。

【0035】

式（９ａ）は、ｍ＝ｎの場合、すなわち、出力層である第ｎ層２０５に含まれる第ｊ番目のニューロンに対する誤差データを表す。一方、式（９ｂ）は、ｍ≠ｎの場合、すなわち、出力層以外の各層に含まれる第ｊ番目のニューロンに対する誤差データを表す。

【0036】

【数9】

誤差逆伝播法によれば、以上の計算を全ての重みについて行い、各重みを更新する。この計算を繰り返し行うことで、重みが最適な値に収束していく。

【0037】

（ニューロモーフィック装置）
１．構成
図３は、本開示の一実施形態に係るニューロモーフィック装置３００の概略構成図である。図３のとおり、ニューロモーフィック装置３００は、相互接続された第１ニューロン３０１と第２ニューロン３０３との間における接続強度である重みを示す、可変の電気的特性を有するメムデバイス３０２と、上記重みを更新するためにメムデバイス３０２の電気的特性を変化させる第１重み更新回路３０４ａ及び第２重み更新回路３０４ｂとを備える。

【0038】

図３の例では、第１ニューロン３０１は、図２の第ｍ－１層２０２に含まれる第ｉ番目のニューロンである。ｙ_ｉ ^ｍ－１は、第１ニューロン３０１から出力される出力データ（第１データ）である。第２ニューロン３０３は、図２の第ｍ層２０３に含まれる第ｊ番目のニューロンである。ｙ_ｊ ^ｍは、第２ニューロン３０３から出力される出力データ（第２データ）である。

【0039】

図４は、メムデバイス３０２の一例であるメモリスタの電気的特性と、当該メモリスタの概略構成と、を示す図である。メモリスタは、図４の符号４０１で示す電気的特性を備える。メモリスタは、図４の符号４０２で示す概略構成を備える。

【0040】

メモリスタは、図４の符号４０１で示すヒステリシス特性のとおり、通過した電荷を記憶し、抵抗値を変えられる電気的特性を持った受動素子である。メモリスタは記憶素子である。メモリスタは、記憶素子としてアナログデータを保持する。メモリスタは不揮発性メモリとしての活用が可能である。

【0041】

メモリスタは、図４の符号４０２で示す概略構成のとおり、基台４１上に配置されたＡｌ層４２と、Ａｌ層４２上に配置されたＧａ－Ｓｎ－Ｏ（ＧＴＯ）層４３と、ＧＴＯ層４３上に配置されたＡｕ層４４とを備える。Ａｌ層４２は負極である。Ａｕ層４４は正極である。Ａｌ層４２とＡｕ層４４との間に電圧Ｖが印加されることによって、ＧＴＯ層４３に電流Ｉが流れる。すなわち、ＧＴＯ層４３を電荷が通過する。この電荷の通過によって、ＧＴＯ層４３の抵抗値が変化する。なお、メモリスタは公知の素子であるので詳細は割愛する。

【0042】

メムデバイス３０２がメモリスタである場合、第１ニューロン３０１と第２ニューロン３０３との間における重みは、上述した、可変の抵抗値を用いて表現される。

【0043】

図５は、メムデバイス３０２の一例であるメムキャパシタの電気的特性と、当該メムキャパシタの概略構成と、を示す図である。メムキャパシタは、図５の符号５０１で示す電気的特性を備える。メムキャパシタは、図５の符号５０２で示す概略構成を備える。

【0044】

メムキャパシタは、図５の符号５０１で示すヒステリシス特性のとおり、コンデンサに電荷を貯めるだけでなく、コンデンサの容量値が印加電圧の履歴に応じて変化する電気的特性を持った受動素子である。メムキャパシタは記憶素子である。メムキャパシタは、記憶素子としてアナログデータを保持する。メムキャパシタは不揮発性メモリとしての活用が可能である。

【0045】

メムキャパシタは、図５の符号５０２で示す概略構成のとおり、基台５１上に配置されたＰｔ層５２と、Ｐｔ層５２上に配置されたチタン酸ビスマスランタン（ＢＬＴ）層５３と、ＢＬＴ層５３上に配置されたＡｕ層５４とを備える。Ｐｔ層５２は負極である。Ａｕ層５４は正極である。Ｐｔ層５２とＡｕ層５４との間に電圧Ｖが印加されることによって、ＢＬＴ層５３に電荷Ｑが蓄積される。この電圧Ｖの印加によって、Ｐｔ層５２とＢＬＴ層５３とＡｕ層５４とからなるコンデンサの容量値が変化する。なお、メムキャパシタは公知の素子であるので詳細は割愛する。

【0046】

メムデバイス３０２がメムキャパシタである場合、第１ニューロン３０１と第２ニューロン３０３との間における重みは、上述した、可変の容量値を用いて表現される。

【0047】

第１重み更新回路３０４ａは、第１ニューロン３０１の出力側とメムデバイス３０２の入力側との間に配置される。第１重み更新回路３０４ａの入力側は、第１ニューロン３０１の出力側に接続される。第１重み更新回路３０４ａの出力側は、メムデバイス３０２の入力側に接続される。

【0048】

第２重み更新回路３０４ｂは、メムデバイス３０２の出力側と第２ニューロン３０３の入力側との間に配置される。第２重み更新回路３０４ｂの入力側は、メムデバイス３０２の出力側に接続される。第２重み更新回路３０４ｂの出力側は、第２ニューロン３０３の入力側に接続される。

【0049】

ただし、第１重み更新回路３０４ａは、メムデバイス３０２の電気的特性を用いて表現される重みを更新するための「学習」を行う際に、図３のとおり、第１ニューロン３０１の出力側とメムデバイス３０２の入力側との間に配置される。そして、第１重み更新回路３０４ａの入力側は、第１ニューロン３０１の出力側に接続され、第１重み更新回路３０４ａの出力側は、メムデバイス３０２の入力側に接続される。

【0050】

同様に、第２重み更新回路３０４ｂは、上記「学習」を行う際に、図３のとおり、メムデバイス３０２の出力側と第２ニューロン３０３の入力側との間に配置される。そして、第２重み更新回路３０４ｂの入力側は、メムデバイス３０２の出力側に接続され、第２重み更新回路３０４ｂの出力側は、第２ニューロン３０３の入力側に接続される。

【0051】

図３のとおり、第１ニューロン３０１と第２ニューロン３０３との間における重みＷ_ｉｊ ^{ｍ－１，ｍ}の訂正量ΔＷ_ｉｊ ^{ｍ－１，ｍ}は式（１０）で表される。なお、式（１０）は式（８）と同じ式である。

【0052】

【数10】

第１重み更新回路３０４ａ及び第２重み更新回路３０４ｂは、図３の式（１０）における符号Ａで示す部分式「δ_ｊ ^ｍｙ_ｉ ^ｍ－１」をハードウェアで表現するための回路である。言い換えれば、第１重み更新回路３０４ａ及び第２重み更新回路３０４ｂは、誤差逆伝播法をハードウェアで実装するための回路である。

【0053】

２．ハードウェア構成例
以下、図６及び図７を用いて、ニューロモーフィック装置の動作を説明する。図６は、ニューロモーフィック装置の動作を説明するための説明図である。図７は、ニューロモーフィック装置のハードウェア構成例を示す図である。

【0054】

図６のとおり、図３のニューロモーフィック装置３００の一例であるニューロモーフィック装置６００は、メムデバイス６０２と、第１重み更新回路６０４ａと、第２重み更新回路６０４ｂとを備える。メムデバイス６０２は、図３のメムデバイス３０２に対応する。第１重み更新回路６０４ａは、図３の第１重み更新回路３０４ａに対応する。第２重み更新回路６０４ｂは、図３の第２重み更新回路３０４ｂに対応する。

【0055】

図６のとおり、ニューロモーフィック装置６００は、多層ニューラルネットワーク６１０における第ｎ－１層６１１に含まれる第ｉ番目のニューロンと第ｎ層６１２に含まれる第ｊ番目のニューロンとの間における重みＷ_ｉｊを更新する。なお、第ｎ層６１２は出力層である。第ｎ－１層６１１は第ｎ層６１２の一つ前の層である。

【0056】

また、ニューロモーフィック装置６００は、多層ニューラルネットワーク６１０に代えて、第ｎ－１層６１１が入力層であり、第ｎ層６１２が出力層である単純パーセプトロンにおける、第ｎ－１層６１１に含まれる第ｉ番目のニューロンと第ｎ層６１２に含まれる第ｊ番目のニューロンとの間における重みＷ_ｉｊを更新しても良い。

【0057】

図６のとおり、式（９ａ）を用いることにより、重みＷ_ｉｊの訂正量ΔＷ_ｉｊは、式（１１）で表される。
ΔＷ_ｉｊ＝－η（ｙ_ｊ－ｙ_ｊバー）ｙ_ｊ（１－ｙ_ｊ）ｘ_ｉ ・・・（１１）
ここで、ｙ_ｊは、第ｎ層６１２に含まれる第ｊ番目のニューロンから出力される出力データである。ｙ_ｊバーは、第ｎ層６１２に含まれる第ｊ番目のニューロンの出力データの目標値である。ｙ_ｊバーは教師データ群６１３に含まれる。ｘ_ｉは、第ｎ－１層６１１に含まれる第ｉ番目のニューロンから出力される出力データである。

【0058】

図６のとおり、第１重み更新回路６０４ａ及び第２重み更新回路６０４ｂは、図６の式（１１）における符号Ｂで示す部分式「（ｙ_ｊ－ｙ_ｊバー）ｙ_ｊ（１－ｙ_ｊ）ｘ_ｉ」をハードウェアで表現するための回路である。

【0059】

図７のとおり、図６の第１重み更新回路６０４ａは、ｎ型ＭＯＳトランジスタ（第１ｎ型ＭＯＳトランジスタ）６０４ａ－１から構成される。図６の第２重み更新回路６０４ｂは、ｎ型ＭＯＳトランジスタ（第２ｎ型ＭＯＳトランジスタ）６０４ｂ－１と、ｐ型ＭＯＳトランジスタ６０４ｂ－２と、ＣＭＯＳトランジスタ６０４ｂ－３とから構成される。

【0060】

図７のとおり、ｎ型ＭＯＳトランジスタ６０４ａ－１は、電源電圧Ｖｄｄの１／２の電圧であるＶｄｄ／２とメムデバイス６０２の入力側との間に接続され、符号６０１で示す出力データｘ_ｉが入力されるゲート端子を備える。ｎ型ＭＯＳトランジスタ６０４ｂ－１は、メムデバイス６０２の出力側とｐ型ＭＯＳトランジスタ６０４ｂ－２との間に接続され、符号６０３で示す出力データｙ_ｊが入力されるゲート端子を備える。ｐ型ＭＯＳトランジスタ６０４ｂ－２は、ｎ型ＭＯＳトランジスタ６０４ｂ－１とＣＭＯＳトランジスタ６０４ｂ－３との間に接続され、符号６０３で示す出力データｙ_ｊが入力されるゲート端子を備える。ＣＭＯＳトランジスタ６０４ｂ－３は、電源電圧Ｖｄｄと接地電圧ＧＮＤとの間に接続され、キャパシタ６０６を介して、符号６０５で示す教師データｙ_ｊバーが入力される入力端子と、ｐ型ＭＯＳトランジスタ６０４ｂ－２に接続される出力端子とを備える。

【0061】

図７のとおり、図６の式（１１）における符号Ｂで示す部分式における、符号Ｂ－１で示す部分式「（ｙ_ｊ－ｙ_ｊバー）」は、ＣＭＯＳトランジスタ６０４ｂ－３で表現される。符号Ｂ－２で示す部分式「ｙ_ｊ」は、ｎ型ＭＯＳトランジスタ６０４ｂ－１で表現される。符号Ｂ－３で示す部分式「（１－ｙ_ｊ）」は、ｐ型ＭＯＳトランジスタ６０４ｂ－２で表現される。符号Ｂ－４で示す部分式「ｘ_ｉ」は、ｎ型ＭＯＳトランジスタ６０４ａ－１で表現される。

【0062】

以下、上述の各部分式が上述の各半導体素子で表現される理由に関し、より詳細に説明する。

【0063】

・符号Ｂ－１で示す部分式「（ｙ_ｊ－ｙ_ｊバー）」：
符号Ｂ－１で示す部分式「（ｙ_ｊ－ｙ_ｊバー）」の正負は、出力データｙ_ｊと教師データｙ_ｊバーとの大小関係により決定される。また、符号Ｂ－１で示す部分式「（ｙ_ｊ－ｙ_ｊバー）」の絶対値は、教師データｙ_ｊバーと出力データｙ_ｊとの差の絶対値である。

【0064】

これに対し、ＣＭＯＳトランジスタ６０４ｂ－３の入力端子には、キャパシタ６０６を介して、「（ｙ_ｊ－ｙ_ｊバー）」に対応する電圧が入力される。「（ｙ_ｊ－ｙ_ｊバー）」に対応する電圧がＣＭＯＳトランジスタ６０４ｂ－３の閾値電圧よりも高い場合、ＣＭＯＳトランジスタ６０４ｂ－３は、出力端子に接地電圧ＧＮＤを出力する。一方、「（ｙ_ｊ－ｙ_ｊバー）」に対応する電圧がＣＭＯＳトランジスタ６０４ｂ－３の閾値電圧よりも低い場合、ＣＭＯＳトランジスタ６０４ｂ－３は、出力端子に電源電圧Ｖｄｄを出力する。すなわち、ＣＭＯＳトランジスタ６０４ｂ－３は、入力端子に印加される電圧の正負により、出力端子に出力される電圧が接地電圧ＧＮＤと電源電圧Ｖｄｄとの間で切り替わる。

【0065】

この切り替えによって、メムデバイス６０２の入力端子側のＶｄｄ／２と、メムデバイス６０２の出力端子側の電圧との大小関係が変化する。すなわち、出力端子に出力される電圧が接地電圧ＧＮＤであれば、メムデバイス６０２の入力端子側の電圧よりも出力端子側の電圧が小さくなる。一方、出力端子に出力される電圧が電源電圧Ｖｄｄであれば、メムデバイス６０２の入力端子側の電圧よりも出力端子側の電圧が大きくなる。

【0066】

上記の大小関係の変化によって、メムデバイス６０２を流れる電流の向きが変化する。メムデバイス６０２の電気的特性から、メムデバイス６０２の抵抗値は電流の向きにより変化する。この電流の向きが部分式「（ｙ_ｊ－ｙ_ｊバー）」の正負で表現される。この抵抗値が部分式「（ｙ_ｊ－ｙ_ｊバー）」の絶対値で表現される。

【0067】

・符号Ｂ－２で示す部分式「ｙ_ｊ」：
ｎ型ＭＯＳトランジスタ６０４ｂ－１は、ゲート端子に印加される電圧が大きくなるほど、ｎ型ＭＯＳトランジスタ６０４ｂ－１のコンダクタンスは大きくなる。このコンダクタンスの増加によって、メムデバイス６０２を流れる電流の量が大きくなる。メムデバイス６０２の電気的特性から、メムデバイス６０２の抵抗値は電流の量により変化する。この抵抗値が部分式「ｙ_ｊ」で表現される。

【0068】

・符号Ｂ－３で示す部分式「（１－ｙ_ｊ）」：
ｐ型ＭＯＳトランジスタ６０４ｂ－２は、ゲート端子に印加される電圧が小さくなるほど、ｐ型ＭＯＳトランジスタ６０４ｂ－２のコンダクタンスは大きくなる。このコンダクタンスの増加によって、メムデバイス６０２を流れる電流の量が大きくなる。メムデバイス６０２の電気的特性から、メムデバイス６０２の抵抗値は電流の量により変化する。この抵抗値が部分式「（１－ｙ_ｊ）」で表現される。

【0069】

・符号Ｂ－４で示す部分式「ｘ_ｉ」：
ｎ型ＭＯＳトランジスタ６０４ａ－１は、ゲート端子に印加される電圧が大きくなるほど、ｎ型ＭＯＳトランジスタ６０４ａ－１のコンダクタンスは大きくなる。このコンダクタンスの増加によって、メムデバイス６０２を流れる電流の量が大きくなる。メムデバイス６０２の電気的特性から、メムデバイス６０２の抵抗値は電流の量により変化する。この抵抗値が部分式「ｘ_ｉ」で表現される。

【0070】

３．効果
以下、図８、図９及び図１０を用いて、図７のニューロモーフィック装置６００の効果を説明する。図８は、ニューロモーフィック装置６００の効果を実証する際に、図７の式（１１）を簡単化するために定めた前提条件である。図８のとおり、出力データｘ_ｉは、「０」又は「１」を表すデータである。また、教師データｙ_ｊバーは、「０」又は「１」を表すデータである。図８のとおり、出力データｘ_ｉが「０」である場合、教師データｙ_ｊバーが「０」又は「１」のいずれであっても、訂正量Δｗ_ｉｊは「０」となる。

【0071】

これに対し、出力データｘ_ｉが「１」である場合、教師データｙ_ｊバーが「０」であれば、式（１１）から訂正量Δｗ_ｉｊは－ηｙ_ｊｙ_ｊ（１－ｙ_ｊ）となる。一方、教師データｙ_ｊバーが「１」であれば、式（１１）から訂正量Δｗ_ｉｊは－η（ｙ_ｊ－１）ｙ_ｊ（１－ｙ_ｊ）となる。

【0072】

図９は、出力データｙ_ｊと式（１１）の訂正量Δｗ_ｉｊとの関係を示す図である。また、図１０は、ＨＳＰＩＣＥによる回路シュミレーションを行った結果である。

【0073】

図１０のグラフは、図９の「ｘ_ｉ＝１／ｙ_ｊバー＝０」、「ｘ_ｉ＝０／ｙ_ｊバー＝０」、「ｘ_ｉ＝１／ｙ_ｊバー＝１」及び「ｘ_ｉ＝０／ｙ_ｊバー＝１」の４つのグラフに対応する。図１０の結果が図９の結果と略一致していることが分かる。

【0074】

４．変形例
図１１に、ニューロモーフィック装置６００の変形例を示す。図１１のニューロモーフィック装置７００が図７のニューロモーフィック装置６００と異なる点は、スイッチング素子１１０１と、スイッチング素子１１０２と、スイッチング素子１１０３と、スイッチング素子１１０４とをさらに備える点である。

【0075】

図１１のとおり、ニューロモーフィック装置７００が上記「学習」を行う際には、スイッチング素子１１０１は端子１１０１ａと端子１１０１ｂとを接続し、スイッチング素子１１０２は端子１１０２ａと端子１１０２ｂとを接続し、スイッチング素子１１０３は端子１１０３ａと端子１１０３ｂとを接続し、スイッチング素子１１０４は端子１１０４ａと端子１１０４ｂとを接続する。

【0076】

一方、ニューロモーフィック装置７００が上記「推論」を行う際には、スイッチング素子１１０１は端子１１０１ａと端子１１０１ｃとを接続し、スイッチング素子１１０２は端子１１０２ａと端子１１０２ｃとを接続し、スイッチング素子１１０３は端子１１０３ａと端子１１０３ｃとを接続し、スイッチング素子１１０４は端子１１０４ａと端子１１０４ｃとを接続する。

【0077】

上述の、スイッチング素子１１０１～１１０４の各切り替えによって、ニューロモーフィック装置７００が上記「学習」を行う際には、ｎ型ＭＯＳトランジスタ６０４ａ－１、ｎ型ＭＯＳトランジスタ６０４ｂ－１、ｐ型ＭＯＳトランジスタ６０４ｂ－２及びＣＭＯＳトランジスタ６０４ｂ－３を駆動させる。すなわち、ニューロモーフィック装置７００は、図６の第１重み更新回路６０４ａ及び第２重み更新回路６０４ｂを作動させる。一方、ニューロモーフィック装置７００が上記「推論」を行う際には、ｎ型ＭＯＳトランジスタ６０４ａ－１、ｎ型ＭＯＳトランジスタ６０４ｂ－１、ｐ型ＭＯＳトランジスタ６０４ｂ－２及びＣＭＯＳトランジスタ６０４ｂ－３を駆動させない。すなわち、ニューロモーフィック装置７００は、図６の第１重み更新回路６０４ａ及び第２重み更新回路６０４ｂを作動させない。

【0078】

＜その他の実施形態＞
本開示は、すべてのニューラルネットワーク及びニューロモーフィックシステムに利用できる。例えば、図１２のような、複数層の畳み込み層と数層の最終層の全結合層を組み合わせたニューラルネットワークにおいて、上記「学習」は全結合層で実行される。本開示は全結合層において利用可能である。

【0079】

また、図７では、ｎ型ＭＯＳトランジスタ６０４ａ－１をメムデバイス６０２の入力側に、ｎ型ＭＯＳトランジスタ６０４ｂ－１、ｐ型ＭＯＳトランジスタ６０４ｂ－２及び、ＣＭＯＳトランジスタ６０４ｂ－３をメムデバイス６０２の出力側に配置した。しかし、本開示はこの配置に限られるものではない。ｎ型ＭＯＳトランジスタ６０４ａ－１、ｎ型ＭＯＳトランジスタ６０４ｂ－１、ｐ型ＭＯＳトランジスタ６０４ｂ－２及び、ＣＭＯＳトランジスタ６０４ｂ－３の全てを、メムデバイス６０２の入力側に配置しても良いし、逆に、それらをすべてメムデバイス６０２の出力側に配置しても良い。

【0080】

さらに、ｎ型ＭＯＳトランジスタ６０４ａ－１、ｎ型ＭＯＳトランジスタ６０４ｂ－１、ｐ型ＭＯＳトランジスタ６０４ｂ－２及び、ＣＭＯＳトランジスタ６０４ｂ－３の全てを配置せずに、それらのうちの少なくとも一つを配置することによっても、誤差逆伝播法をハードウェアで実装し易くすることができる。

【0081】

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

【0082】

＜まとめ＞
本開示の態様１に係るニューロモーフィック装置は、相互接続された第１ニューロンと第２ニューロンとの間における接続強度である重みを更新するニューロモーフィック装置であって、前記重みを示す、可変の電気的特性を有するメムデバイスと、半導体素子を含み、前記重みを更新するために前記電気的特性を変化させる重み更新回路とを備え、前記重み更新回路は、前記第１ニューロンの出力データである第１データ及び前記第２ニューロンの出力データである第２データを少なくとも用いて前記半導体素子を駆動させることによって、誤差逆伝播法により前記電気的特性を変化させる。

【0083】

本開示の態様２に係るニューロモーフィック装置は、上記態様１において、前記重み更新回路は、第１重み更新回路及び第２重み更新回路を有し、前記第１重み更新回路は、前記第１データを少なくとも用いて前記半導体素子を駆動させ、前記第２重み更新回路は、前記第２データを少なくとも用いて前記半導体素子を駆動させる。

【0084】

本開示の態様３に係るニューロモーフィック装置は、上記態様１又は２において、前記第１ニューロン及び前記第２ニューロンは、ニューラルネットワークを構成する、互いに異なる層にそれぞれ含まれており、前記重み更新回路は、前記第１データ、前記第２データ及び前記ニューラルネットワークの教師データを用いて前記半導体素子を駆動させることによって、誤差逆伝播法により前記電気的特性を変化させる。

【0085】

本開示の態様４に係るニューロモーフィック装置は、上記態様１～３のいずれかにおいて、前記第２ニューロンは、多層ニューラルネットワークの出力層に含まれ、前記第１ニューロンは、前記多層ニューラルネットワークの、前記出力層の１つ前の層に含まれており、前記重み更新回路は、前記第１データ、前記第２データ、及び前記第２ニューロンの出力データに対応する教師データを用いて前記半導体素子を駆動させることによって、誤差逆伝播法により前記電気的特性を変化させる。

【0086】

本開示の態様５に係るニューロモーフィック装置は、上記態様１～３のいずれかにおいて、前記第２ニューロンは、単純パーセプトロンの出力層に含まれ、前記第１ニューロンは、前記単純パーセプトロンの入力層に含まれており、前記重み更新回路は、前記第１データ、前記第２データ、及び前記第２ニューロンの出力データに対応する教師データを用いて前記半導体素子を駆動させることによって、誤差逆伝播法により前記電気的特性を変化させる。

【0087】

本開示の態様６に係るニューロモーフィック装置は、上記態様３～５のいずれかにおいて、前記メムデバイスは、前記第１ニューロン側の端子である入力端子及び前記第２ニューロン側の端子である出力端子を有し、前記半導体素子は１つ又は複数であり、当該各半導体素子はそれぞれ、ゲート端子に前記第１データが入力される第１ｎ型ＭＯＳトランジスタと、ゲート端子に前記第２データが入力される第２ｎ型ＭＯＳトランジスタと、ゲート端子に前記第２データが入力されるｐ型ＭＯＳトランジスタと、入力端子に前記教師データが入力されるＣＭＯＳトランジスタとのうちのいずれかであり、前記各半導体素子はそれぞれ、前記メムデバイスの前記入力端子側又は前記出力端子側のいずれかに配置される。

【0088】

本開示の態様７に係るニューロモーフィック装置は、上記態様６において、前記重み更新回路は、第１重み更新回路及び第２重み更新回路を有し、前記第１重み更新回路は、前記第１ｎ型ＭＯＳトランジスタを少なくとも含み、前記第２重み更新回路は、前記第２ｎ型ＭＯＳトランジスタ、前記ｐ型ＭＯＳトランジスタ、及び前記ＣＭＯＳトランジスタのいずれかを少なくとも含む。

【0089】

本開示の態様８に係るニューロモーフィック装置は、上記態様１～７のいずれかにおいて、前記メムデバイスは、メモリスタ、メムキャパシタ又はメムインダクタのいずれかである。

【0090】

本開示の態様９に係るニューロモーフィックシステムは、相互接続された第１ニューロン及び第２ニューロンと、前記第１ニューロンと前記第２ニューロンとの間における接続強度である重みを更新する、上記態様１～８のいずれかのニューロモーフィック装置とを備える。

【0091】

本開示の態様１０に係るニューロモーフィックシステムは、上記態様９において、前記ニューロモーフィックシステムは、前記重みを更新するときには前記重み更新回路を作動させる一方、前記重みを用いて前記第１ニューロンと前記第２ニューロンとの間における情報伝達を行うときには前記重み更新回路を作動させない。

【符号の説明】

【0092】

１００、２００、６１０ 多層ニューラルネットワーク
１０１ 入力層
１０２ 中間層
１０３ 出力層
３００、６００、７００ ニューロモーフィック装置
３０１ 第１ニューロン
３０２、６０２ メムデバイス
３０３ 第２ニューロン
３０４ａ、６０４ａ 第１重み更新回路（重み更新回路）
３０４ｂ、６０４ｂ 第２重み更新回路（重み更新回路）
６０４ａ－１ ｎ型ＭＯＳトランジスタ（第１ｎ型ＭＯＳトランジスタ）
６０４ｂ－１ ｎ型ＭＯＳトランジスタ（第２ｎ型ＭＯＳトランジスタ）
６０４ｂ－２ ｐ型ＭＯＳトランジスタ
６０４ｂ－３ ＣＭＯＳトランジスタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】