特許 7436968 ＡＩモジュール

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-14

(45)【発行日】2024-02-22

(54)【発明の名称】ＡＩモジュール

(51)【国際特許分類】

   G06N 3/063 20230101AFI20240215BHJP

   G06G 7/60 20060101ALI20240215BHJP

【ＦＩ】

G06N3/063

G06G7/60

【請求項の数】 10

(21)【出願番号】P 2019163242

(22)【出願日】2019-09-06

(65)【公開番号】P2021043541

(43)【公開日】2021-03-18

【審査請求日】2022-06-14

(73)【特許権者】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(73)【特許権者】

【識別番号】313003358

【氏名又は名称】東北マイクロテック株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(72)【発明者】

【氏名】小柳 光正

【審査官】北川 純次

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００６５９４３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０１６５５７３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０１６４０３８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０２－３／１０

Ｇ０６Ｇ ７／６０

(57)【特許請求の範囲】

【請求項1】

第１方向に積層され、それぞれが積和演算を行う積和演算部と、前記積和演算結果を活性化関数に代入して出力信号を出力する活性化関数回路と、を有するｎ層（ｎは任意の２以上の整数）のニューロ層と、
前記ｎ層のニューロ層のそれぞれに接続され、それぞれのニューロ層の演算時の重みを設定するウェイトメモリ領域と、を備え、
それぞれの前記ニューロ層は、信号入力部と積和演算部と信号出力部とをそれぞれ有し、
第ｉ層（ｉはｎ未満の任意の整数）の前記ニューロ層の信号出力部は、第ｉ＋１層の前記ニューロ層の信号入力部と、前記第１方向に延びる層間配線で接続され、
第ｎ層の前記ニューロ層の信号出力部は、第１層の前記ニューロ層の信号入力部と、前記第１方向に延びる層間配線で接続されている、ＡＩモジュール。

【請求項2】

前記第１層の前記ニューロ層から前記第ｎ層の前記ニューロ層に向ってニューロ演算を行い、前記第ｎ層の前記ニューロ層におけるニューロ演算の結果を前記第１層の前記ニューロ層に戻す、請求項１に記載のＡＩモジュール。

【請求項3】

前記ウェイトメモリ領域は、複数のウェイトメモリ層からなり、
前記複数のウェイトメモリ層は、前記第１方向から見て、前記ｎ層のニューロ層と重なる位置にある、請求項１又は２に記載のＡＩモジュール。

【請求項4】

第１方向に積層され、それぞれが積和演算を行うことができるｎ層（ｎは任意の２以上の整数）のニューロ層と、
前記ｎ層のニューロ層のそれぞれに接続され、それぞれのニューロ層の演算時の重みを設定するウェイトメモリ領域と、を備え、
それぞれの前記ニューロ層は、信号入力部と積和演算部と信号出力部とをそれぞれ有し、
第ｉ層（ｉはｎ未満の任意の整数）の前記ニューロ層の信号出力部は、第ｉ＋１層の前記ニューロ層の信号入力部に接続され、
第ｎ層の前記ニューロ層の信号出力部は、第１層の前記ニューロ層の信号入力部と接続されており、
前記ウェイトメモリ領域は、複数のウェイトメモリ層からなり、
前記複数のウェイトメモリ層は、前記第１方向から見て、前記ｎ層のニューロ層と重なる位置にあり、
前記複数のウェイトメモリ層は、第１ウェイトメモリ層と第２ウェイトメモリ層とを備え、
前記第１ウェイトメモリ層は、前記ｎ層のニューロ層のうち積層順の奇数番目の奇数層のそれぞれと接続され、
前記第２ウェイトメモリ層は、前記ｎ層のニューロ層のうち積層順の偶数番目の偶数層のそれぞれと接続されている、ＡＩモジュール。

【請求項5】

前記第１方向から見て、前記第ｉ層の信号出力部は、前記第ｉ＋１層の信号入力部と重なる位置にある、請求項１～４のいずれか一項に記載のＡＩモジュール。

【請求項6】

前記信号入力部及び前記信号出力部はそれぞれ、複数のニューロン素子を有し、
前記積和演算部は、
前記信号入力部の複数のニューロン素子とそれぞれ接続され、前記第１方向から見て第２方向に延びる複数のアクソン線と、
前記信号出力部の複数のニューロン素子とそれぞれ接続され、前記第２方向と交差する第３方向に延びる複数のデンドライト線と、
前記アクソン線と前記デンドライト線が交差する箇所に、行列状に配列した複数のシナプス回路と、を有する、請求項１～５のいずれか一項に記載のＡＩモジュール。

【請求項7】

それぞれのシナプス回路は、トランジスタを備え、
前記トランジスタは、入力信号が入力されるソースと、前記ウェイトメモリ領域で設定された重みが印加されるゲートと、前記入力信号に前記重みが掛け合わされた信号を出力するドレインと、を有する、請求項６に記載のＡＩモジュール。

【請求項8】

それぞれのシナプス回路は、前記信号入力部における２以上のニューロン素子と接続され、前記信号出力部における２以上のニューロン素子と接続される、請求項６又は７に記載のＡＩモジュール。

【請求項9】

第１方向に積層され、それぞれが積和演算を行うことができるｎ層（ｎは任意の２以上の整数）のニューロ層と、
前記ｎ層のニューロ層のそれぞれに接続され、それぞれのニューロ層の演算時の重みを設定するウェイトメモリ領域と、を備え、
それぞれの前記ニューロ層は、信号入力部と積和演算部と信号出力部とをそれぞれ有し、
第ｉ層（ｉはｎ未満の任意の整数）の前記ニューロ層の信号出力部は、第ｉ＋１層の前記ニューロ層の信号入力部に接続され、
第ｎ層の前記ニューロ層の信号出力部は、第１層の前記ニューロ層の信号入力部と接続されており、
前記ウェイトメモリ領域は、複数のウェイトメモリ層からなり、
前記複数のウェイトメモリ層はそれぞれ、重み入力部と重み設定部と重み出力部とを備え、
前記重み出力部は、それぞれのニューロ層と接続され、
前記重み出力部は、前記積和演算部を構成する行列状に配列した複数のシナプス回路のうち同じ列又は同じ行に属するシナプス回路に同時に重みを書き込む、ＡＩモジュール。

【請求項10】

前記重み設定部は、
行列状に配列した複数のスイッチング素子と、
前記スイッチング素子のうち同じ列のスイッチング素子にそれぞれ接続されたワード線と、
前記スイッチング素子のうち同じ列のスイッチング素子にそれぞれ接続された第１ビット線と、
前記スイッチング素子のうち同じ行のスイッチング素子にそれぞれ接続された第２ビット線と、を備える、請求項９に記載のＡＩモジュール。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＩモジュールに関する。

【背景技術】

【0002】

近年、情報技術の発展に伴い、世の中で扱われるデータ量は加速度的に増加している。膨大なデータを処理する手段として人工知能（ＡＩ：Artificial Intelligence）に注目が集まっている。ＡＩは、脳を模倣したニューラルネットワークによって情報を処理する。ＡＩが学習を行うことで、情報の処理効率が高まる。

【0003】

例えば、特許文献１には、ニューラルネットワークの機能を有する半導体装置が記載されている。特許文献１に記載の半導体装置は、入力層、中間層、出力層のそれぞれに対応したメモリセルアレイを準備し、階層ごとに順に重みを乗算しながら、データを出力している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－４６３７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の半導体素子は、各階層に対応するメモリセルアレイを準備している。しかしながら、より複雑な情報を処理するためには、ニューラルネットワークの階層数やニューロン数を増やす必要がある。ニューラルネットワークの階層及びニューロン数に応じたメモリセルアレイを準備すると、半導体装置が大型化する。また各階層が演算を行うと、半導体装置が発熱し、高温になる。大型な設備を導入可能なクラウドサーバーに用いる人工知能であれば、半導体装置が大型化しても対応できるかもしれないが、小規模のＡＩモジュールに適用することは難しい。

【0006】

本発明は上記問題に鑑みてなされたものであり、小型で簡易に学習可能なＡＩモジュールを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、上記課題を解決するため、以下の手段を提供する。

【0008】

（１）第１の態様にかかるＡＩモジュールは、第１方向に積層され、それぞれが積和演算を行うことができるｎ層（ｎは任意の２以上の整数）のニューロ層と、前記ｎ層のニューロ層のそれぞれに接続され、それぞれのニューロ層の演算時の重みを設定するウェイトメモリ領域と、を有し、それぞれの前記ニューロ層は、信号入力部と積和演算部と信号出力部とをそれぞれ有し、第ｉ層（ｉはｎ未満の任意の整数）の前記ニューロ層の信号出力部は、第ｉ＋１層の前記ニューロ層の信号入力部に接続され、第ｎ層の前記ニューロ層の信号出力部は、第１層の前記ニューロ層の信号入力部と接続されている。

【0009】

（２）上記態様にかかるＡＩモジュールにおいて、前記第１層の前記ニューロ層から前記第ｎ層の前記ニューロ層に向ってニューロ演算を行い、前記第ｎ層の前記ニューロ層におけるニューロ演算の結果を前記第１層の前記ニューロ層に戻してもよい。

【0010】

（３）上記態様にかかるＡＩモジュールにおいて、前記ウェイトメモリ領域は、複数のウェイトメモリ層からなり、前記複数のウェイトメモリ層は、前記第１方向から見て、前記ｎ層のニューロ層と重なる位置にあってもよい。

【0011】

（４）上記態様にかかるＡＩモジュールにおいて、前記複数のウェイトメモリ層は、第１ウェイトメモリ層と第２ウェイトメモリ層とを備え、前記第１ウェイトメモリ層は、前記ｎ層のニューロ層のうち積層順の奇数番目の奇数層のそれぞれと接続され、前記第２ウェイトメモリ層は、前記ｎ層のニューロ層のうち積層順の偶数番目の偶数層のそれぞれと接続されていてもよい。

【0012】

（５）上記態様にかかるＡＩモジュールは、前記第１方向から見て、前記第ｉ層の信号出力部は、前記第ｉ＋１層の信号入力部と重なる位置にあってもよい。

【0013】

（６）上記態様にかかるＡＩモジュールにおいて、前記信号入力部及び前記信号出力部はそれぞれ、複数のニューロン素子を有し、前記積和演算部は、前記信号入力部の複数のニューロン素子とそれぞれ接続され、前記第１方向から見て第２方向に延びる複数のアクソン線と、前記信号出力部の複数のニューロン素子とそれぞれ接続され、前記第２方向と交差する第３方向に延びる複数のデンドライト線と、前記アクソン線と前記デンドライト線が交差する箇所に、行列状に配列した複数のシナプス回路と、を有してもよい。

【0014】

（７）上記態様にかかるＡＩモジュールにおいて、それぞれのシナプス回路は、トランジスタを備え、前記トランジスタは、入力信号が入力されるソースと、前記ウェイトメモリ領域で設定された重みが印加されるゲートと、前記入力信号に前記重みが掛け合わされた信号を出力するドレインと、を有してもよい。

【0015】

（８）上記態様にかかるＡＩモジュールにおいて、それぞれのシナプス回路は、前記信号入力部における２以上のニューロン素子と接続され、前記信号出力部における２以上のニューロン素子と接続されていてもよい。

【0016】

（９）上記態様にかかるＡＩモジュールにおいて、前記ウェイトメモリ領域は複数のウェイトメモリ層からなり、前記複数のウェイトメモリ層はそれぞれ、重み入力部と重み設定部と重み出力部とを備え、前記重み出力部は、それぞれのニューロ層と接続され、前記重み出力部は、前記積和演算部を構成する行列状に配列した複数のシナプス回路のうち同じ列又は同じ行に属するシナプス回路に同時に重みを書き込む構成でもよい。

【0017】

（１０）上記態様にかかるＡＩモジュールにおいて、前記重み設定部は、行列状に配列した複数のスイッチング素子と、前記スイッチング素子のうち同じ列のスイッチング素子にそれぞれ接続されたワード線と、前記スイッチング素子のうち同じ列のスイッチング素子にそれぞれ接続された第１ビット線と、前記スイッチング素子のうち同じ行のスイッチング素子にそれぞれ接続された第２ビット線と、を備えてもよい。

【発明の効果】

【0018】

上記態様にかかるＡＩモジュールによれば、簡易に学習が可能である。

【図面の簡単な説明】

【0019】

【図1】ニューラルネットワークの一例の模式図である。

【図2】本実施形態にかかるＡＩモジュールの模式図である。

【図3】本実施形態にかかるＡＩモジュールの第１層をｚ方向から平面視した図である。

【図4】本実施形態にかかるＡＩモジュールの第２層をｚ方向から平面視した図である。

【図5】本実施形態にかかるＡＩモジュールの第１ウェイトメモリ層をｚ方向から平面視した図である。

【図6】本実施形態にかかるＡＩモジュールの第２ウェイトメモリ層をｚ方向から平面視した図である。

【図7】本実施形態にかかるＡＩモジュールのシナプス回路の一例である。

【図8】本実施形態にかかるＡＩモジュールのシナプス回路の別の例である。

【図9】本実施形態にかかるＡＩモジュールのシナプス回路の別の例である。

【図10】本実施形態にかかるＡＩモジュールの動作を説明する回路図である。

【図11】本実施形態にかかるＡＩモジュールにおいて第１層への重みデータの書きこみを説明する回路図である。

【図12】本実施形態にかかるＡＩモジュールにおいて第１層への重みデータの書きこみを説明する回路図である。

【図13】本実施形態にかかるＡＩモジュールの動作を説明する回路図である。

【図14】本実施形態にかかるＡＩモジュールの別の例の回路図である。

【図15】本実施形態にかかるＡＩモジュールの動作を説明する回路図である。

【図16】本実施形態にかかるＡＩモジュールの動作を説明する回路図である。

【図17】本実施形態にかかるＡＩモジュールの動作を説明する回路図である。

【図18】本実施形態にかかるＡＩモジュールの動作を説明する回路図である。

【図19】第１変形例にかかるＡＩモジュールの模式図である。

【図20】第２変形例にかかるＡＩモジュールの模式図である。

【図21】第３変形例にかかるＡＩモジュールの模式図である。

【図22】第４変形例にかかるＡＩモジュールの模式図である。

【図23】畳み込みニューラルネットワークのイメージ図である。

【図24】ＡＩモジュールを畳み込みニューラルネットワークに適用する場合の第１層の平面図である。

【図25】再帰型ニューラルネットワークＲＮＮの模式図である。

【発明を実施するための形態】

【0020】

以下、本実施形態について、図を適宜参照しながら詳細に説明する。以下の説明で用いる図面は、本発明の特徴をわかりやすくするために便宜上特徴となる部分を拡大して示している場合があり、各構成要素の寸法比率などは実際とは異なっていることがある。以下の説明において例示される材料、寸法等は一例であって、本発明はそれらに限定されるものではなく、その要旨を変更しない範囲で適宜変更して実施することが可能である。

【0021】

本実施形態にかかるＡＩモジュールは、ニューラルネットワークの機能を有する。ニューラルネットワークは、脳機能にみられる特性を模倣した数理モデルである。図１は、ニューラルネットワークの一例の模式図である。ニューラルネットワークＮＮは、脳機能を模倣しており、複数のニューロンＮと複数のシナプスＳを含む。図１に示すニューラルネットワークＮＮは、各階層のそれぞれのニューロンＮが、隣の階層のそれぞれのニューロンＮとシナプスＳで結合された全結合型のニューラルネットワークである。

【0022】

図１に示すニューラルネットワークＮＮは、入力層Ｌ_ｉｎと複数の隠れ層Ｌ_ｈと出力層Ｌ_ｏｕｔとを有する。図１では、隠れ層Ｌ_ｈが３層の場合を例示したが、隠れ層Ｌ_ｈの層数は特に問わない。入力層Ｌ_ｉｎに入力されたデータは、シナプスＳを介して、隠れ層Ｌ_ｈ１、隠れ層Ｌ_ｈ２、隠れ層Ｌ_ｈ３、出力層Ｌ_ｏｕｔの順に伝わる。シナプスＳの結合強度によってある階層のニューロンＮから次の階層のニューロンＮに伝わるデータは変化する。それぞれのシナプスＳの結合強度が変わると、出力層Ｌ_ｏｕｔから出力されるデータが変わる。脳におけるシナプスＳは、学習により結合強度が変わり、問題の正答性が向上する。ニューラルネットワークＮＮは、各階層を伝わるデータに重みを与えることで、シナプスＳを模倣している。

【0023】

図２は、本実施形態にかかるＡＩモジュール１００の模式図である。図２に示すＡＩモジュールは、２層のニューロ層ＬＮとウェイトメモリ領域Ａｗとを有する。以下、ニューロ層ＬＮのうちウェイトメモリ領域Ａｗから遠い側から順に、第１層Ｌ１、第２層Ｌ２と称する。第２層Ｌ２は、第１層Ｌ１に積層されている。以下、第１層Ｌ１に対して第２層Ｌ２が積層されている方向をｚ方向と称する。またｚ方向と直交する面のうちの一方向をｘ方向、ｘ方向と直交する方向をｙ方向と称する。

【0024】

それぞれのニューロ層ＬＮ、すなわち第１層Ｌ１及び第２層Ｌ２はそれぞれ、信号入力部Ｓ_ｉｎと積和演算部ＭＡと信号出力部Ｓ_ｏｕｔを有する。第１層Ｌ１の信号出力部Ｓ_ｏｕｔは、第２層の信号入力部Ｓ_ｉｎと層間配線Ｉｗ１で接続されている。また第２層Ｌ２の信号出力部Ｓ_ｏｕｔは、第１層の信号入力部Ｓ_ｉｎと層間配線Ｉｗ２で接続されている。

【0025】

第１層Ｌ１で出力された信号は第２層Ｌ２に入力され、第２層Ｌ２から出力された信号は第１層Ｌ１に入力される。ＡＩモジュール１００に入力された信号は、第１層Ｌ１と第２層Ｌ２との間をサイクルする。図１に示すニューラルネットワークＮＮと比較すると、まず第１層Ｌ１で入力層Ｌ_ｉｎから隠れ層Ｌ_ｈ１に至るニューロ演算が行われる。次いで、第１層Ｌ１から出力されたデータは第２層Ｌ２に至り、第２層Ｌ２で隠れ層Ｌ_ｈ１から隠れ層Ｌ_ｈ２に至るニューロ演算が行われる。次いで、第２層Ｌ２から出力されたデータは再度、第１層Ｌ１に至り、第１層Ｌ１で隠れ層Ｌ_ｈ２から隠れ層Ｌ_ｈ３に至るニューロ演算が行われる。最後に、第１層Ｌ１から出力されたデータは再度、第２層Ｌ２に至り、第２層Ｌ２で隠れ層Ｌ_ｈ３から出力層Ｌ_ｏｕｔに至るニューロ演算が行われる。

【0026】

図２に示すウェイトメモリ領域Ａｗは、第１ウェイトメモリ層Ｌｗ１と第２ウェイトメモリ層Ｌｗ２とを有する。第１ウェイトメモリ層Ｌｗ１及び第２ウェイトメモリ層Ｌｗ２は、第２層Ｌ２のｚ方向にある。例えば、第１ウェイトメモリ層Ｌｗ１は、第２層Ｌ２上に積層され、第２ウェイトメモリ層Ｌｗ２は、第１ウェイトメモリ層Ｌｗ１上に積層されている。図示省略しているが、第１ウェイトメモリ層Ｌｗ１は、例えば、第１層Ｌ１と接続され、第２ウェイトメモリ層Ｌｗ２は、例えば、第２層Ｌ２と接続されている。第１ウェイトメモリ層Ｌｗ１は、第１層Ｌ１の積和演算部ＭＡに重みデータを入力し、第２ウェイトメモリ層Ｌｗ２は、第２層Ｌ２の積和演算部ＭＡに重みデータを入力する。

【0027】

次いで、ＡＩモジュールの各層について具体的に説明する。図３は、第１層Ｌ１をｚ方向から平面視した図である。図３に示すように、第１層Ｌ１は、信号入力部Ｓ_ｉｎと積和演算部ＭＡと信号出力部Ｓ_ｏｕｔを有する。第１層Ｌ１の信号入力部Ｓ_ｉｎは、例えば、積和演算部ＭＡの－ｘ方向にある。第１層Ｌ１の信号出力部Ｓ_ｏｕｔは、例えば、積和演算部ＭＡの－ｙ方向にある。信号入力部Ｓ_ｉｎと信号出力部Ｓ_ｏｕｔは、例えば、積和演算部ＭＡを基準に９０°ずれた位置にある。

【0028】

信号入力部Ｓ_ｉｎは、例えば、複数のニューロン素子１１と複数のアクソンドライバ１２と複数のデマルチプレクサ１３とを有する。それぞれのニューロン素子１１には、アクソンドライバ１２とデマルチプレクサ１３とが一つずつ接続されている。ニューロン素子１１は、図１に示すニューロンＮに対応する。ニューロン素子１１は、例えば、信号を入出力する増幅器である。アクソンドライバ１２は、それぞれのニューロン素子１１から積和演算部ＭＡに至る信号を制御する。デマルチプレクサ１３は、１つの信号を２つ以上の信号として出力する機構である。信号入力部Ｓ_ｉｎは、デマルチプレクサ１３を有さなくてもよい。

【0029】

信号出力部Ｓ_ｏｕｔは、例えば、複数のニューロン素子２１と複数のデンドライトドライバ２２と複数のマルチプレクサ２３とを有する。それぞれのニューロン素子２１には、デンドライトドライバ２２とマルチプレクサ２３とが一つずつ接続されている。ニューロン素子２１は、図１に示すニューロンＮに対応する。ニューロン素子２１は、例えば、信号を入出力する増幅器である。デンドライトドライバ２２は、積和演算部ＭＡからそれぞれのニューロン素子２１に至る信号を制御する。マルチプレクサ２３は、２つ以上の信号を１つの信号として出力する機構である。信号出力部Ｓ_ｏｕｔは、マルチプレクサ２３を有さなくてもよい。

【0030】

積和演算部ＭＡは、積和演算を行う。積和演算部ＭＡは、複数のアクソン線ａｌと複数のシナプス回路ｓｃと複数のデンドライト線ｄｌとを有する。アクソン線ａｌは、信号入力部Ｓ_ｉｎのニューロン素子１１とそれぞれ接続されている。図３に示すアクソン線ａｌは、例えば、ｘ方向に延びる。デンドライト線ｄｌは、アクソン線ａｌと交差する方向に延びる。デンドライト線ｄｌは、例えば、ｙ方向に延びる。デンドライト線ｄｌは、後述する信号出力部Ｓ_ｏｕｔのニューロン素子２１とそれぞれ接続されている。複数のシナプス回路ｓｃは、アクソン線ａｌとデンドライト線ｄｌとがそれぞれ交差する箇所にある。複数のシナプス回路ｓｃは、行列状に配列している。複数のシナプス回路ｓｃは、図１に示すシナプスＳに対応する。

【0031】

図４は、第２層Ｌ２をｚ方向から平面視した図である。図４に示すように、第２層Ｌ２は、信号入力部Ｓ_ｉｎと積和演算部ＭＡと信号出力部Ｓ_ｏｕｔを有する。信号入力部Ｓ_ｉｎ、積和演算部ＭＡ、信号出力部Ｓ_ｏｕｔのそれぞれの構成は、第１層Ｌ１と同様である。第２層Ｌ２は、信号入力部Ｓ_ｉｎ及び信号出力部Ｓ_ｏｕｔの積和演算部ＭＡに対する位置関係が第１層Ｌ１と逆になっている。第２層Ｌ２の信号入力部Ｓ_ｉｎは、例えば、積和演算部ＭＡの－ｙ方向にある。第２層Ｌ２の信号出力部Ｓ_ｏｕｔは、例えば、積和演算部ＭＡの－ｘ方向にある。そのため、アクソン線ａｌはｙ方向に延び、デンドライト線ｄｌはｘ方向に延びる。

【0032】

第２層Ｌ２の信号入力部Ｓ_ｉｎは、例えば、第１層Ｌ１の信号出力部Ｓ_ｏｕｔとｚ方向に重なる。図２に示すように、第１層Ｌ１の信号出力部Ｓ_ｏｕｔと第２層Ｌ２の信号入力部Ｓ_ｉｎとは、ｚ方向に延びる層間配線Ｉｗ１で接続されている。また第２層Ｌ２の信号出力部Ｓ_ｏｕｔは、第１層Ｌ１の信号入力部Ｓ_ｉｎとｚ方向に重なる。図２に示すように、第２層Ｌ２の信号出力部Ｓ_ｏｕｔと第１層Ｌ１の信号入力部Ｓ_ｉｎとは、ｚ方向に延びる層間配線Ｉｗ２で接続されている。

【0033】

図５は、第１ウェイトメモリ層Ｌｗ１をｚ方向から平面視した図である。図５に示すように、第１ウェイトメモリ層Ｌｗ１は、重み入力部Ｗ_ｉｎと重み設定部Ｗ_ｓと重み出力部Ｗ_ｏｕｔとを備える。第１ウェイトメモリ層Ｌｗ１において、重み入力部Ｗ_ｉｎは、例えば、重み設定部Ｗ_ｓの－ｙ方向にある。第１ウェイトメモリ層Ｌｗ１において、重み出力部Ｗ_ｏｕｔは、例えば、重み設定部Ｗ_ｓの－ｘ方向にある。重み入力部Ｗ_ｉｎと重み出力部Ｗ_ｏｕｔとは、例えば、重み設定部Ｗ_ｓを基準に９０°ずれた位置にある。

【0034】

図６は、第２ウェイトメモリ層Ｌｗ２をｚ方向から平面視した図である。図６に示すように、第２ウェイトメモリ層Ｌｗ２は、重み入力部Ｗ_ｉｎと重み設定部Ｗ_ｓと重み出力部Ｗ_ｏｕｔとを備える。第２ウェイトメモリ層Ｌｗ２において、重み入力部Ｗ_ｉｎは、例えば、重み設定部Ｗ_ｓの－ｘ方向にある。第２ウェイトメモリ層Ｌｗ２において、重み出力部Ｗ_ｏｕｔは、例えば、重み設定部Ｗ_ｓの－ｙ方向にある。重み設定部Ｗｓに対する重み入力部Ｗ_ｉｎと重み出力部Ｗ_ｏｕｔとの位置関係は、第１ウェイトメモリ層Ｌｗ１と逆転している。

【0035】

重み入力部Ｗ_ｉｎは、複数のアナログデジタルコンバータ３１と複数のデマルチプレクサ３２とを有する。アナログデジタルコンバータ３１は、アナログ信号をデジタル信号に変換する。デマルチプレクサ３２は、１つの信号を２つ以上の信号として出力する機構である。

【0036】

第１ウェイトメモリ層Ｌｗ１の重み入力部Ｗ_ｉｎは、例えば、第１層Ｌ１の信号出力部Ｓ_ｏｕｔとｚ方向に重なる。第２ウェイトメモリ層Ｌｗ２の重み入力部Ｗ_ｉｎは、例えば、第２層Ｌ２の信号出力部Ｓ_ｏｕｔとｚ方向に重なる。それぞれの重み入力部Ｗ_ｉｎには、アナログ信号の重みデータが入力される。アナログ信号の重みデータは、例えば、それぞれのニューロ層ＬＮにおける学習の結果として、それぞれの重み入力部Ｗ_ｉｎに入力される。

【0037】

重み設定部Ｗ_ｓは、第１層Ｌ１、第２層Ｌ２のニューロ演算時にシナプス回路ｓｃに与える重みを設定する。第１ウェイトメモリ層Ｌｗ１の重み設定部Ｗ_ｓは、第１層Ｌ１のシナプス回路ｓｃに与える重みを設定する。第２ウェイトメモリ層Ｌｗ２の重み設定部Ｗ_ｓは、第２層Ｌ２のシナプス回路ｓｃに与える重みを設定する。重み設定部Ｗ_ｓは、スイッチング素子を含む複数のメモリセルｍｃと複数のワード線ｗｌと複数の第１ビット線ｂｌ１と複数の第２ビット線ｂｌ２とを備える。

【0038】

複数のメモリセルｍｃは、行列状に配列している。それぞれのメモリセルｍｃは、ワード線ｗｌ、第１ビット線ｂｌ１、第２ビット線ｂｌ２が１本ずつ接続されている。

【0039】

ワード線ｗｌは、それぞれ重み入力部Ｗ_ｉｎから一方向に延びる。第１ウェイトメモリ層Ｌｗ１におけるワード線ｗｌはｙ方向に延び、第２ウェイトメモリ層Ｌｗ２におけるワード線ｗｌはｘ方向に延びる。それぞれのワード線ｗｌは、同じ列又は行に属するメモリセルｍｃにそれぞれ接続されている。第１ビット線ｂｌ１は、それぞれ重み入力部Ｗ_ｉｎから一方向に延びる。第１ウェイトメモリ層Ｌｗ１における第１ビット線ｂｌ１はｙ方向に延び、第２ウェイトメモリ層Ｌｗ２における第１ビット線ｂｌ１はｘ方向に延びる。それぞれの第１ビット線ｂｌ１は、同じ列又は行に属するメモリセルｍｃにそれぞれ接続されている。第２ビット線ｂｌ２は、それぞれ重み出力部Ｗ_ｏｕｔから一方向に延びる。第１ウェイトメモリ層Ｌｗ１における第２ビット線ｂｌ２はｘ方向に延び、第２ウェイトメモリ層Ｌｗ２における第２ビット線ｂｌ２はｙ方向に延びる。それぞれの第２ビット線ｂｌ２は、同じ行又は列に属するメモリセルｍｃにそれぞれ接続されている。ワード線ｗｌと第１ビット線ｂｌ１で重みデータが書き込まれる。書き込まれた重みデータは、第２ビット線ｂｌ２を介して、重みデータが入力された方向に対して９０°傾いた方向に出力される。

【0040】

重み出力部Ｗ_ｏｕｔは、複数のデジタルアナログコンバータ４１と複数のドライバ４２とマルチプレクサ４３とを有する。デジタルアナログコンバータ４１は、デジタル信号をアナログ信号に変換する。ドライバ４２は、それぞれのニューロ層ＬＮへの重みデータの出力を制御する。マルチプレクサ４３は、２つ以上の信号を１つの信号として出力する機構である。

【0041】

第１ウェイトメモリ層Ｌｗ１の重み出力部Ｗ_ｏｕｔは、例えば、第１層Ｌ１の信号入力部Ｓ_ｉｎ及び第２層Ｌ２の信号出力部Ｓ_ｏｕｔとｚ方向に重なる。第１ウェイトメモリ層Ｌｗ１の重み出力部Ｗ_ｏｕｔは、例えば、第１層Ｌ１の信号入力部Ｓ_ｉｎと接続される。第１ウェイトメモリ層Ｌｗ１の重み出力部Ｗ_ｏｕｔから第１層Ｌ１の各シナプス回路ｓｃに重みデータが出力される。第２ウェイトメモリ層Ｌｗ２の重み出力部Ｗ_ｏｕｔは、例えば、第１層Ｌ１の信号出力部Ｓ_ｏｕｔ及び第２層Ｌ２の信号入力部Ｓ_ｉｎとｚ方向に重なる。第２ウェイトメモリ層Ｌｗ２の重み出力部Ｗ_ｏｕｔは、例えば、第２層Ｌ２の信号入力部Ｓ_ｉｎと接続される。第２ウェイトメモリ層Ｌｗ２の重み出力部Ｗ_ｏｕｔから第２層Ｌ２の各シナプス回路ｓｃに重みデータが出力される。

【0042】

第１ウェイトメモリ層Ｌｗ１の重み出力部Ｗ_ｏｕｔから第１層Ｌ１に入力された重みデータは、それぞれのアクソン線ａｌと並行に配置された重みデータ書き込み線ｗｗｌ（図１０～図１８参照）を介して、第１層Ｌ１において行列状に配列した複数のシナプス回路ｓｃのうち同じ列に属するシナプス回路ｓｃに同時に書き込まれる。第２ウェイトメモリ層Ｌｗ２の重み出力部Ｗ_ｏｕｔから第２層Ｌ２に入力された重みデータは、それぞれのアクソン線ａｌと並行に配置された重みデータ書き込み線ｗｗｌ（図１０～図１８参照）を介して、第２層Ｌ２において行列状に配列した複数のシナプス回路ｓｃのうち同じ行に属するシナプス回路ｓｃに同時に書き込まれる。

【0043】

次いで、本実施形態にかかるＡＩモジュールの動作について説明する。まず、図２に示す第１層Ｌ１の信号入力部Ｓ_ｉｎのそれぞれのニューロン素子１１にデータが入力される。この時点において第１層Ｌ１の信号入力部Ｓ_ｉｎのそれぞれのニューロン素子１１は、図１における入力層Ｌ_ｉｎのそれぞれのニューロンＮに対応する。それぞれのニューロン素子１１に入力されたデータは、積和演算部ＭＡに入力される。積和演算部ＭＡにデータが入力されるタイミングは、アクソンドライバ１２によって制御される。

【0044】

積和演算部ＭＡでは積和演算が行われる。積和演算部ＭＡは、例えば、ｕ_ｊ＝Σｗ_ｊｉｘ_ｉ＋ｂで表記される演算を行う。ｗ_ｊｉは、それぞれのシナプス回路ｓｃに与えられる重みであり、ｘは入力値であり、ｂはバイアスである。

【0045】

図７は、本実施形態にかかるシナプス回路の一例である。シナプス回路ｓｃは、重みトランジスタＴｒ１、重みキャパシタＣ１、バイアストランジスタＴｒ２、バイアスキャパシタＣ２、制御トランジスタＴｒ３を有する。

【0046】

重みトランジスタＴｒ１は、入力信号ｘ_ｉが入力されるソースｓｏと、重みｗ_ｊｉが印加されるゲートｇａと、信号ｗ_ｊｉｘ_ｉを出力するドレインｄｒと、を有する。重みキャパシタＣ１は、ウェイトメモリ層Ｌｗの重み出力部Ｗ_ｏｕｔから印加された重みｗ_ｊｉの情報を電荷として蓄積する。重みｗ_ｊｉの情報は、第１ウェイトメモリ層Ｌｗ１から印加される。重みキャパシタＣ１は、重みトランジスタＴｒ１のゲートｇａに重みｗ_ｊｉを印加する。入力信号ｘ_ｉは、重みトランジスタＴｒ１のソースｓｏに入力される。重みトランジスタＴｒ１を通過する際に、入力信号ｘ_ｉに重みｗ_ｊｉの情報が掛け合わされる。ドレインｄｒからは入力信号ｘｉに重みｗ_ｊｉが掛け合わされた信号ｗ_ｊｉｘ_ｉが出力される。

【0047】

バイアストランジスタＴｒ２は、バイアスｂ_ｉを制御する。信号ｗ_ｊｉｘ_ｉにバイアスｂ_ｉが印加されると、信号ｗ_ｊｉｘ_ｉにバイアスｂ_ｉが加算された情報が、バイアスキャパシタＣ２に蓄積される。バイアスキャパシタＣ２に十分な電荷が印加されると、制御トランジスタＴｒ３が動作する。制御トランジスタＴｒ３が動作することで、信号ｕ_ｉ＝ｗ_ｊｉｘ_ｉ＋ｂ_ｉが出力される。信号ｕ_ｉは、電荷として出力される。

【0048】

信号ｕ_ｉは、デンドライト線ｄｌを介して、信号出力部Ｓ_ｏｕｔに至る。同じデンドライト線ｄｌに接続されるシナプス回路ｓｃからの信号は、デンドライト線ｄｌに集まり、加算される。信号出力部Ｓ_ｏｕｔには、演算結果としてｕ_ｊ＝Σｗ_ｊｉｘ_ｉ＋ｂの値が入力される。演算結果として得られた値は、活性化関数と呼ばれる演算（ｚ_ｊ＝ｆ（ｕ_ｊ））が施され、出力信号ｚ_ｊとして出力される。

【0049】

第１層Ｌ１の信号出力部Ｓ_ｏｕｔに出力された出力信号ｚ_ｊは、第２層Ｌ２の信号入力部Ｓ_ｉｎに入力される。第２層Ｌ２の積和演算部ＭＡにおいても、第１層Ｌ１と同様の処理が行われる。第２層Ｌ２の積和演算を行う際は、第２ウェイトメモリ層Ｌｗ２によって第２層Ｌ２の各シナプス回路ｓｃに重みが設定される。第２層Ｌ２の各シナプス回路ｓｃに印加される重みは、第１層Ｌ１の各シナプス回路ｓｃに印加される重みと異なる。第２層Ｌ２の積和演算部ＭＡにおける積和演算結果は、第２層Ｌ２の信号出力部Ｓ_ｏｕｔに出力信号が出力される。

【0050】

次いで、第２層Ｌ２の信号出力部Ｓ_ｏｕｔに出力された出力信号は、第１層Ｌ１の信号入力部Ｓ_ｉｎに、再度入力される。第１層Ｌ１では、上記と同様の処理が行われる。２回目の積和演算を行う際は、第１ウェイトメモリ層Ｌｗ１によって第１層Ｌ１の各シナプス回路ｓｃの重みが新たに設定される。すなわち、ＡＩモジュール１００は、第１層Ｌ１と第２層Ｌ２とで、交互にニューロ演算を行う。最後に、第１層Ｌ１又は第２層Ｌ２の信号出力部Ｓ_ｏｕｔからデータが取り出される。データが取り出された信号出力部Ｓ_ｏｕｔのニューロン素子は、図１に示す出力層Ｌ_ｏｕｔのニューロンＮに対応する。またデータが取り出されるまでの第１層Ｌ１及び第２層Ｌ２における演算処理は、図１に示す隠れ層Ｌ_ｈにおけるニューロ演算に対応する。

【0051】

図７では、電荷をベースとしたシナプス回路ｓｃを例示したが、シナプス回路はこの例に限られない。

【0052】

図８は、本実施形態にかかるシナプス回路の別の例である。図８に示すシナプス回路ｓｃ１は、重みトランジスタＴｒ１と重みキャパシタＣ１とを備える。図８に示すシナプス回路ｓｃ１は、積演算結果として信号ｕ_ｉを電流で出力する。同じデンドライト線ｄｌに接続されてシナプス回路ｓｃ１からの信号ｕ_ｉは、電流量として加算される。

【0053】

図９は、本実施形態にかかるシナプス回路の別の例である。図９に示すシナプス回路ｓｃ２は、重みトランジスタＴｒ１と重みキャパシタＣ１と電圧変換キャパシタＣ３と制御トランジスタＴｒ４を備える。図９に示すシナプス回路ｓｃ２は、積演算結果として信号ｕ_ｉを電圧で出力する。同じデンドライト線ｄｌに接続されてシナプス回路ｓｃ２からの信号ｕ_ｉは、電圧として加算される。

【0054】

次いで、シナプス回路を図８に示す電流加算型のシナプス回路ｓｃ１を用いた場合を例に、ＡＩモジュール１００の回路の動作を、図１０～図１８を用いて説明する。図１０～図１８は、ＡＩモジュール１００の回路の動作を模式的に示した図である。図１０、図１３～図１８に示す第１層Ｌ１及び第２層Ｌ２は、簡単のため一つのシナプス回路ｓｃ１のみを図示しているが、シナプス回路ｓｃは行列状に配列している。

【0055】

ＡＩモジュール１００を動作させる際は、まず第１層Ｌ１及び第２層Ｌ２のそれぞれの端子を接地し、データをリフレッシュする。次いで、図１０に示すように、ウェイトメモリ領域Ａｗから第１層Ｌ１に重みのデータを書き込む。重みのデータは、例えば、第１ウェイトメモリ層Ｌｗ１の重み設定部Ｗｓからデジタルアナログコンバータ４１を介して、第１層Ｌ１の重み端子ｗｔに入力される。第１層Ｌ１のシナプス回路ｓｃ１のスイッチング素子ｓｗ１が接続されると、重みデータ書き込み線ｗｗｌを介して、第１層Ｌ１の重みキャパシタＣ１に重みのデータが電荷として蓄積される。スイッチング素子ｓｗ１を切断した後も、重みキャパシタＣ１に重みのデータが保存される。

【0056】

重みのデータは、行列状に配列した複数のシナプス回路ｓｃ１のうち同じ列に属するシナプス回路ｓｃ１に同時に書き込んでもよい。図１１及び図１２は、第１層Ｌ１のそれぞれのシナプス回路ｓｃ１に重みのデータを書き込む手順を模式的に示した図である。上述のように、第１層Ｌ１においてシナプス回路ｓｃ１は、行列状に配列している。

【0057】

まず図１１に示すように、第１列Ｃｏｌ１に属するシナプス回路ｓｃ１のスイッチング素子ｓｗ１を接続することで、第１列Ｃｏｌ１に属するシナプス回路ｓｃ１の重みキャパシタＣ１のそれぞれに同時に重みのデータが蓄積される。次いで、図１２に示すように、第１列Ｃｏｌ１に属するシナプス回路ｓｃ１のスイッチング素子ｓｗ１を切断し、第２列Ｃｏｌ２に属するシナプス回路ｓｃ１のスイッチング素子ｓｗ１を接続することで、第２列Ｃｏｌ２に属するシナプス回路ｓｃ１の重みキャパシタＣ１のそれぞれに同時に重みのデータが蓄積される。この手順を第３列Ｃｏｌ３以降も順に行うことで、全てのシナプス回路ｓｃ１に効率的に重みのデータが書き込まれる。

【0058】

次いで、図１３に示すように、外部からデータが第１層Ｌ１のニューロン素子１１のそれぞれに入力される。第１層Ｌ１では、ニューロン素子１１と重みトランジスタＴｒ１との間のスイッチング素子ｓｗ２，ｓｗ３，ｓｗ４が接続される。重みトランジスタＴｒ１では、入力されたデータと重みのデータが掛け合わされる。２つのデータを積演算した結果は、第１層Ｌ１の和演算部Ｓｕｍに送られる。和演算部Ｓｕｍには、同じデンドライト線ｄｌに接続されたシナプス回路ｓｃ１からの積演算結果が集まり、和演算が行われる。すなわち、第１層Ｌ１において積和演算された結果が、和演算部Ｓｕｍに蓄積される。

【0059】

また図１４は、第１層Ｌ１の別の例の回路模式図である。図１４に示すように、積和演算部ＭＡは、和演算部Ｓｕｍとニューロン素子２１との間に、活性化関数回路ａｆを有してもよい。活性化関数回路ａｆは、和演算の結果（ｕ_ｊ＝Σｗ_ｊｉｘ_ｉ＋ｂ）に活性化関数と呼ばれる演算（ｚ_ｊ＝ｆ（ｕ_ｊ））を施す。活性化関数は、任意に設定可能である。

【0060】

次いで、図１５に示すように、第１層Ｌ１の和演算部Ｓｕｍのスイッチング素子ｓｗ５を接続する。第１層Ｌ１のニューロン素子２１から出力されたデータは、第２層Ｌ２のニューロン素子１１に入力される。また図１５に示すように、ウェイトメモリ領域Ａｗから第２層Ｌ２に重みのデータを書き込む。重みのデータは、例えば、第２ウェイトメモリ層Ｌｗ２の重み設定部Ｗｓからデジタルアナログコンバータ４１を介して、第２層Ｌ２の重み端子ｗｔに入力される。第２層Ｌ２のシナプス回路ｓｃ１のスイッチング素子ｓｗ１が接続されると、重みデータ書き込み線ｗｗｌを介して、第２層Ｌ２の重みキャパシタＣ１に重みのデータが蓄積される。スイッチング素子ｓｗ１を切断した後も、重みキャパシタＣ１に重みのデータが保存される。重みのデータは、行列状に配列した複数のシナプス回路ｓｃ１のうち同じ行に属するシナプス回路ｓｃ１に同時に書き込んでもよい。同じ行に属するシナプス回路ｓｃに同時にデータを書き込む方法は、図１１及び図１２に示す方法と同様である。

【0061】

次いで、図１６に示すように、第２層Ｌ２において、スイッチング素子ｓｗ１を切断し、ニューロン素子１１と重みトランジスタＴｒ１との間のスイッチング素子ｓｗ２，ｓｗ３，ｓｗ４が接続される。重みトランジスタＴｒ１では、入力されたデータと重みのデータが掛け合わされる。２つのデータを積演算した結果は、和演算部Ｓｕｍに送られる。和演算部Ｓｕｍには、同じデンドライト線ｄｌに接続されたシナプス回路ｓｃ１からの積演算結果が集まり、和演算が行われる。すなわち、第２層Ｌ２において積和演算された結果が、和演算部Ｓｕｍに蓄積される。

【0062】

次いで、図１７に示すように、第２層Ｌ２の和演算部Ｓｕｍのスイッチング素子ｓｗ５を接続する。第２層Ｌ２のニューロン素子２１から出力されたデータは、第１層Ｌ１のニューロン素子１１に入力される。また図１７に示すように、ウェイトメモリ領域Ａｗから第１層Ｌ１に重みのデータを書き込む。第１層Ｌ１のシナプス回路ｓｃ１のスイッチング素子ｓｗ１が接続されると、第１層Ｌ１の重みキャパシタＣ１に新たな重みのデータが蓄積される。

【0063】

次いで、図１８に示すように、第１層Ｌ１において、スイッチング素子ｓｗ１を切断し、ニューロン素子１１と重みトランジスタＴｒ１との間のスイッチング素子ｓｗ２，ｓｗ３，ｓｗ４が接続される。重みトランジスタＴｒ１では、入力されたデータと重みのデータが掛け合わされる。和演算部Ｓｕｍには、同じデンドライト線ｄｌに接続されたシナプス回路ｓｃ１からの積演算結果が集まり、和演算が行われる。第１層Ｌ１のスイッチング素子ｓｗ５が接続され、第１層Ｌ１のニューロン素子２１から出力されたデータは、再度、第２層Ｌ２のニューロン素子１１に入力される。また第１層Ｌ１のニューロン素子２１から出力されたデータの一部は、アナログデジタルコンバータ３１を介して重み設定部Ｗｓにフィードバックされる。ＡＩモジュール１００は、第１層Ｌ１と第２層Ｌ２の動作を繰り返して、ニューロ演算を行う。

【0064】

本実施形態にかかるＡＩモジュール１００は、複数のニューロ層ＬＮの間でデータをサイクリックに演算する。ニューラルネットワークＮＮは、階層数が増えるほど複雑な処理を行うことができる。しかしながら、実際のデバイスにおいてニューロ層ＬＮの層数が増えると、デバイスが大型化する。またそれぞれのニューロ層ＬＮが演算を行い、発熱するため、デバイスが高温になる。デバイスが高温になると、動作が不安定になり、消費電力も増大する。

【0065】

今後、インターネットに接続された個別のエッジサーバにも、学習機能が求められることが予想される。例えば、各個人にカスタマイズされた情報を学習するデバイスに、大型で大規模な冷却システムが必要なＡＩモジュールは適用しにくい。本実施形態にかかるＡＩモジュール１００は、ニューラルネットワークＮＮの階層が増えても、ニューロ層ＬＮの層数を増やす必要がない。したがって、本実施形態にかかるＡＩモジュール１００は、小型で、低消費電力で駆動できる。本実施形態にかかるＡＩモジュール１００は、個別のエッジサーバにも適用可能である。

【0066】

ここまで本発明の実施形態について図面を参照して詳述したが、実施形態における各構成及びそれらの組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、及びその他の変更が可能である。

【0067】

図１９は、第１変形例にかかるＡＩモジュール１０１の模式図である。図１９に示すＡＩモジュール１０１は、ニューロ層ＬＮの数がｎ層である点が図２に示すＡＩモジュール１００と異なる。図２と同様の構成については、同様の符号を付し、説明を省く。

【0068】

図１９に示すＡＩモジュール１０１は、ｎ層のニューロ層ＬＮとウェイトメモリ領域Ａｗとを有する。以下、ニューロ層ＬＮのうちウェイトメモリ領域Ａｗから遠い側から順に、第１層Ｌ１、・・・、第ｉ層Ｌｉ、第ｉ＋１層Ｌｉ＋１、・・・、第ｎ層Ｌｎと称する。ｎは２以上の整数であり、ｉはｎ未満の整数である。

【0069】

それぞれのニューロ層ＬＮはそれぞれ、信号入力部Ｓ_ｉｎと積和演算部ＭＡと信号出力部Ｓ_ｏｕｔを有する。ｚ方向から見て、第ｉ層Ｌｉの信号出力部Ｓ_ｏｕｔは、第ｉ＋１層Ｌｉ＋１の信号入力部Ｓ_ｉｎと重なる位置にある。第ｉ層Ｌｉの信号出力部Ｓ_ｏｕｔは、第ｉ＋１層の信号入力部Ｓ_ｉｎと層間配線Ｉｗ１で接続されている。また第ｎ層Ｌｎの信号出力部Ｓ_ｏｕｔは、第１層Ｌ１の信号入力部Ｓ_ｉｎと層間配線Ｉｗ２で接続されている。ニューロ演算は、第１層Ｌ１から第ｎ層Ｌｎに向って順に行われ、第ｎ層Ｌｎの演算結果は、第１層Ｌ１に戻される。

【0070】

またウェイトメモリ領域Ａｗは、第１ウェイトメモリ層Ｌｗ１と第２ウェイトメモリ層Ｌｗ２からなる。第１ウェイトメモリ層Ｌｗ１は、例えば、ｎ層のニューロ層のうち積層順の奇数番目の奇数層のそれぞれと接続されている。第２ウェイトメモリ層Ｌｗ２は、例えば、ｎ層のニューロ層のうち積層順の偶数番目の偶数層のそれぞれと接続されている。図１９では、第１ウェイトメモリ層Ｌｗ１及び第２ウェイトメモリ層Ｌｗ２がそれぞれ１層の場合を図示したが、第１ウェイトメモリ層Ｌｗ１及び第２ウェイトメモリ層Ｌｗ２はそれぞれ複数層であってもよい。第１ウェイトメモリ層Ｌｗ１が複数の場合、奇数層のニューロ層は、いずれかの第１ウェイトメモリ層Ｌｗ１と接続される。第２ウェイトメモリ層Ｌｗ２が複数の場合、偶数層のニューロ層は、いずれかの第２ウェイトメモリ層Ｌｗ２と接続される。

【0071】

第１変形例にかかるＡＩモジュール１０１は、複数のニューロ層ＬＮの間でデータをサイクリックに演算する。したがって、第１変形例にかかるＡＩモジュール１０１も、上述のＡＩモジュール１００と同様の効果を奏する。

【0072】

図２０は、第２変形例にかかるＡＩモジュール１０２の模式図である。第２変形例にかかるＡＩモジュールは、ニューロ層とウェイトメモリ層とが交互に積層されている点が、図２に示すＡＩモジュール１００と異なる。

【0073】

第２変形例にかかるＡＩモジュール１０２も、複数のニューロ層ＬＮの間でデータをサイクリックに演算する。したがって、第２変形例にかかるＡＩモジュール１０２も、上述のＡＩモジュール１００と同様の効果を奏する。

【0074】

図２１は、第３変形例にかかるＡＩモジュール１０３の模式図である。第３変形例にかかるＡＩモジュールは、ウェイトメモリ領域Ａｗを一つの構造体としている点が、図２に示すＡＩモジュール１００と異なる。

【0075】

ここまでウェイトメモリ領域Ａｗが、複数のニューロ層ＬＮとｚ方向から見て重なる場合を示してきたが、ウェイトメモリ領域Ａｗは、ｘｙ面内においてニューロ層ＬＮと異なる位置にあってもよい。またウェイトメモリ領域Ａｗは、それぞれのニューロ層ＬＮと同等の大きさである必要はなく、ウェイトメモリ領域Ａｗをそれぞれのニューロ層ＬＮに対して大きくしてもよい。例えば、第１ウェイトメモリ層Ｌｗ１の構成と第２ウェイトメモリ層Ｌｗ２の構成とを同一平面上に形成してもよい。第１ウェイトメモリ層Ｌｗ１と第１層Ｌ１及び第２ウェイトメモリ層Ｌｗ２と第２層Ｌ２は、それぞれ配線によって接続される。

【0076】

第３変形例にかかるＡＩモジュール１０３も、複数のニューロ層ＬＮの間でデータをサイクリックに演算する。したがって、第３変形例にかかるＡＩモジュール１０３も、上述のＡＩモジュール１００と同様の効果を奏する。

【0077】

図２２は、第４変形例にかかるＡＩモジュールの第１層Ｌ１Ａの平面図である。図２２に示すＡＩモジュールは、それぞれのニューロ層の構成が、第１実施形態にかかるＡＩモジュール１００と異なる。図２２では、ニューロ層の一例として第１層Ｌ１Ａのみを示す。図３と同様の構成については、同様の符号を付し、説明を省く。

【0078】

第１層Ｌ１Ａの信号入力部Ｓ_ｉｎは、複数のニューロン素子１１Ａ，１１Ｂ，１１Ｃと複数のアクソンドライバ１２と複数のデマルチプレクサ１３とを有する。それぞれのアクソンドライバ１２には、ニューロン素子１１Ａ、ニューロン素子１１Ｂ、ニューロン素子１１Ｃがそれぞれ接続されている。それぞれのアクソンドライバ１２に複数のニューロン素子１１Ａ，１１Ｂ，１１Ｃが直列に接続されている点が、図３と異なる。

【0079】

第１層Ｌ１Ａの信号出力部Ｓ_ｏｕｔは、複数のニューロン素子２１Ａ，２１Ｂ，２１Ｃと複数のデンドライトドライバ２２と複数のマルチプレクサ２３とを有する。それぞれのデンドライトドライバ２２には、ニューロン素子２１Ａ、ニューロン素子２１Ｂ、ニューロン素子２１Ｃがそれぞれ接続されている。それぞれのデンドライトドライバ２２に複数のニューロン素子２１Ａ，２１Ｂ，２１Ｃが並列に接続されている点が、図３と異なる。

【0080】

第４変形例にかかるＡＩモジュールは以下のように動作させる。まず複数のニューロン素子１１Ａと複数のニューロン素子２１Ａとの間で積和演算を行う。次いで、複数のニューロン素子１１Ｂと複数のニューロン素子２１Ｂとの間で積和演算を行う。最後に、複数のニューロン素子１１Ｃと複数のニューロン素子２１Ｃとの間で積和演算を行う。第２変形例にかかるＡＩモジュールは、時系列を利用して、各階層のニューロンＮをブロックごとに区分して複数回ニューロ演算を行う。例えば、一つのブロックに１０個のニューロンが割り当てられていた場合、ｎ回のニューロ演算は、１０×ｎ個同士のニューロン間におけるニューロ演算と同等の処理となる。すなわち、第４変形例にかかるＡＩモジュールは、各階層のニューロ演算をブロックごとに複数回分けて行うことで、各階層の実効的なニューロン数を増やすことができる。ニューラルネットワークＮＮは、各階層におけるニューロン数が増えるほど複雑な処理を行うことができる。

【0081】

またここまで、ＡＩモジュール１００を全結合型のニューラルネットワークＮＮに適用する例を説明したが、ＡＩモジュール１００は畳み込みニューラルネットワーク、再帰型ニューラルネットワークにも適用可能である。

【0082】

畳み込みニューラルネットワークＣＮＮは、画像認識の分野で優れた性能を発揮しているネットワークである。図２３は、畳み込みニューラルネットワークＣＮＮのイメージ図である。画像Ｐの各ピクセルの情報は、グルーピングして演算され、第１層Ｌ１のニューロンＮに至る。また第１層Ｌ１のそれぞれのニューロンＮからの情報は、グルーピングして演算され、第２層Ｌ２のニューロンＮに至る。全結合型のニューラルネットワークＮＮの場合、各層のニューロンＮ同士は、シナプスＳによって網羅的に結線される。これに対し、畳み込みニューラルネットワークＣＮＮは、ニューロンＮ同士の結合を制限し、重みを複数のシナプスＳで共有する。

【0083】

本実施形態にかかるＡＩモジュール１００を畳み込みニューラルネットワークＣＮＮに適用する場合、各層の積和演算部ＭＡを複数のグループｇｒにグルーピングする。図２４は、ＡＩモジュール１００を畳み込みニューラルネットワークＣＮＮに適用する場合の第１層Ｌ１Ｂの平面図である。積和演算部ＭＡは、複数のグループｇｒにグルーピングされ、それぞれのグループｇｒには同じ重みが共有される。積和演算部ＭＡを複数のグループｇｒにグルーピングすることで、各層で情報をフィルタリングすることができる。

【0084】

再帰型ニューラルネットワークＲＮＮは、ニューラルネットワークを拡張して時系列のデータを扱えるようにしたものである。時系列のデータとは、時間の経過とともに値が変化するデータであり、株価等はその一例である。図２５は、再帰型ニューラルネットワークＲＮＮの模式図である。図２５は、簡単のため、隠れ層Ｌｈを１層としている。再帰型ニューラルネットワークＲＮＮは、隠れ層Ｌｈが帰還路Ｒｒを有する点が、全結合型のニューラルネットワークと異なる。帰還路Ｒｒは、時刻ｔにおける隠れ層Ｌｈからの出力を時刻ｔ＋１における隠れ層Ｌｈに入力する。時刻ｔ＋１の隠れ層Ｌｈは、時刻ｔにおける隠れ層Ｌｈの出力を踏まえたニューロ演算を行うことができる。

【0085】

本実施形態にかかるＡＩモジュールは、階層間におけるニューロ演算の結果を、ウェイトメモリ層Ｌｗが記録する。したがって、時刻ｔにおける隠れ層Ｌｈの演算結果は、ウェイトメモリ層Ｌｗに記録されている。時刻ｔ＋１における隠れ層Ｌｈの演算を行う際に、ウェイトメモリ層Ｌｗに記録された時刻ｔにおける隠れ層Ｌｈの演算結果を参照することで、再帰型ニューラルネットワークＲＮＮとして機能できる。

【符号の説明】

【0086】

１１，１１Ａ，１１Ｂ，１１Ｃ，２１，２１Ａ，２１Ｂ，２１Ｃ ニューロン素子
１００，１０１ Ａｉモジュール
ａｆ 活性化関数回路
ａｌ アクソン線
ｂｌ１ 第１ビット線
ｂｌ２ 第２ビット線
ｄｌ デンドライト線
Ｉｗ１，Ｉｗ２ 層間配線
Ｌ１，Ｌ１Ａ 第１層
Ｌ２ 第２層
Ｌｉ 第ｉ層
Ｌｉ＋１ 第ｉ＋１層
Ｌｎ 第ｎ層
Ａｗ ウェイトメモリ領域
Ｌｗ１ 第１ウェイトメモリ層
Ｌｗ２ 第２ウェイトメモリ層
ＭＡ 積和演算部
Ｎ ニューロン
ｓｃ，ｓｃ１，ｓｃ２ シナプス回路
Ｓ_ｉｎ 信号入力部
Ｓ_ｏｕｔ 信号出力部
Ｓｕｍ 和演算部
ｓｗ スイッチング素子
Ｗ_ｉｎ 重み入力部
Ｗ_ｏｕｔ 重み出力部
Ｗｓ 重み設定部
ｗｗｌ 重みデータ書き込み線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】