知財求人 - 知財ポータルサイト「IP Force」
特許7028377情報処理装置、隠れノードの設定方法及び情報処理装置の製造方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-02-21
(45)【発行日】2022-03-02
(54)【発明の名称】情報処理装置、隠れノードの設定方法及び情報処理装置の製造方法
(51)【国際特許分類】
G06N 3/04 20060101AFI20220222BHJP
G06N 3/063 20060101ALI20220222BHJP
【ＦＩ】
G06N3/04 154
G06N3/063
【請求項の数】
23
(21)【出願番号】P 2021553286
(86)(22)【出願日】2021-03-25
(86)【国際出願番号】 JP2021012533
【審査請求日】2021-09-08
【早期審査対象出願】
(73)【特許権者】
【識別番号】000003067
【氏名又は名称】ＴＤＫ株式会社
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100163496
【弁理士】
【氏名又は名称】荒 則彦
(74)【代理人】
【識別番号】100169694
【弁理士】
【氏名又は名称】荻野 彰広
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(72)【発明者】
【氏名】寺▲崎▼ 幸夫
(72)【発明者】
【氏名】中田 一紀
【審査官】金木 陽一
(56)【参考文献】
【文献】特開２０１５－１９５０１１（ＪＰ，Ａ）
【文献】特開２０１８－１３２８３０（ＪＰ，Ａ）
【文献】島田研太（外１名），「ベクトル単位での重み共有化と符号化によるカプセルネットワーク軽量化の試み」，人工知能学会インタラクティブ情報アクセスと可視化マイニング研究会第２４回研究会研究発表予稿集，日本，人工知能学会，2020年03月14日，Pages 20-24，[online], [retrieved on 2020.03.18], Retrieved from the Internet: <URL: https://must.c.u-tokyo.ac.jp/sigam/sigam24/sigam2404.pdf>.
【文献】中嶋浩平（外２名），「ダイナミクスによる情報処理 - レザバー計算の最近の発展」，日本物理学会誌，Vol.74, No.5，日本，2019年05月05日，Pages 306-313，[online], [retrieved on 2021.04.22], Retrieved from the Internet: <URL: https://www.jstage.jst.go.jp/article/butsuri/74/5/74_306/_article/-char/ja/>，ISSN: 2423-8872, <DOI: 10.11316/butsuri.74.5_306>
【文献】IWADE, Hisashi, et al.，"Use of recurrent infomax to improve the memory capability of input-driven recurrent neural networks，arXiv:1803.05383v1，version v1，[online], arXiv (Cornell University)，2018年02月14日，Pages 1-8，[retrieved on 2021.04.22], Retrieved from the Internet: <URL: https://arxiv.org/abs/1803.05383v1>.
【文献】JIN, Yingyezhe, et al.，"SSO-LSM: A Sparse and Self-Organizing Architecture for Liquid State Machine based Neural Processors，Proceedings of the 2016 IEEE/ACM International Symposium on Nanoscale Architectures (NANOARCH)，2016年07月20日，Pages 55-60，ISBN 978-1-4503-4330-5, <DOI: 10.1145/2950067.2950100>.
【文献】KAWAI, Yuji, et al.，"Echo in a Small-World Reservoir: Time-Series Prediction using an Economical Recurrent Neural Networ，Proceedings of the 2017 Joint IEEE International Conference on Development and Learning and Epigenet，2017年09月21日，Pages 126-131，ISBN: 978-1-5386-3715-9, <DOI: 10.1109/DEVLRN.2017.8329797>.
【文献】LI, Dingyuan, et al.，"Structure Optimization for Echo State Network Based on Contribution"，TSINGHUA SCIENCE AND TECHNOLOGY，2019年02月，Vol.24, No.1，Pages 97-105，ISSN: 1007-0214, <DOI: 10.26599/TST.2018.9010049>.
【文献】SCARDAPANE, Simone, et al.，"Distributed Reservoir Computing with Sparse Readouts"，IEEE Computational intelligence magazine，2016年10月12日，Vol.11, No.4，Pages 59-68 and 70，ISSN: 1556-603X, <DOI: 10.1109/MCI.2016.2601759>.
【文献】XUE, F., et al.，Reservoir Computing with Both Neuronal Intrinsic Plasticity and Multi-Clustered Structure，Cognitive Computation [online]，2017年05月04日，Vol. 9，pp. 400-410，Retrieved from the Internet: <URL: https://link.springer.com/article/10.1007/s12559-017-9467-3> [Retrieved on 2021-10-19]，DOI: 10.1007/s12559-017-9467-3
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０４
Ｇ０６Ｎ ３／０６３
(57)【特許請求の範囲】
【請求項1】
レザバー層と、リードアウト層と、前記レザバー層と前記リードアウト層とを接続する接続部と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、
前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、
前記レザバー層から前記リードアウト層へ送られる信号の数は、前記複数のノードの数より少なく、
前記接続部は、前記複数のノードのうちのいずれかと前記リードアウト層とを接続する複数の端子を備え、
前記複数の端子の数は、前記複数のノードの数より少なく、
前記接続部は、スイッチを備え、
前記スイッチは、前記複数のノードと前記複数の端子との電気的な接続を切り替える、情報処理装置。
【請求項2】
レザバー層と、リードアウト層と、前記レザバー層と前記リードアウト層とを接続する接続部と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、
前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、
前記レザバー層から前記リードアウト層へ送られる信号の数は、前記複数のノードの数より少なく、
前記接続部は、前記複数のノードのうちのいずれかと前記リードアウト層とを接続する複数の端子を備え、
前記複数の端子の数は、前記複数のノードの数より少なく、
前記接続部は、前記レザバー層に積層され、
前記接続部は、複数の配線層を備える、情報処理装置。
【請求項3】
レザバー層と、リードアウト層と、前記レザバー層と前記リードアウト層とを接続する接続部と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、
前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、
前記レザバー層から前記リードアウト層へ送られる信号の数は、前記複数のノードの数より少なく、
前記接続部は、前記複数のノードのうちのいずれかと前記リードアウト層とを接続する複数の端子を備え、
前記複数の端子の数は、前記複数のノードの数より少なく、
前記接続部は、前記レザバー層に積層され、
前記接続部は、積層方向から見て、前記レザバー層の一部を覆う、情報処理装置。
【請求項4】
レザバー層と、リードアウト層と、前記レザバー層と前記リードアウト層とを接続する接続部と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、
前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、
前記レザバー層から前記リードアウト層へ送られる信号の数は、前記複数のノードの数より少なく、
前記接続部は、前記複数のノードのうちのいずれかと前記リードアウト層とを接続する複数の端子を備え、
前記複数の端子の数は、前記複数のノードの数より少なく、
前記レザバー層は、前記複数のノードのうちのいずれかに接続された第１パッドを備え、
前記接続部は、前記複数の端子のいずれかに接続された第２パッドを備え、
前記接続部は、前記第１パッド及び前記第２パッドを介して、前記レザバー層に貼合されている、情報処理装置。
【請求項5】
レザバー層と、リードアウト層と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、
前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、
前記レザバー層から前記リードアウト層へ送られる信号の数は、前記複数のノードの数より少なく、
前記複数のノードは、前記リードアウト層に接続されていない隠れノードを含み、
前記隠れノードは、基準情報処理装置に含まれる複数のノードのそれぞれが、他のノードと結合する結合重みの統計量に基づいて決定されており、
前記基準情報処理装置は、前記レザバー層と同じ構成の基準レザバー層と、前記リードアウト層と同じ構成の基準リードアウト層と、を備え、
前記基準レザバー層は、前記基準レザバー層に入力された入力信号の情報を含む特徴空間を生成し、
前記基準リードアウト層は、前記基準レザバー層のそれぞれのノードから送られる信号に結合重みを印加する演算を行う、情報処理装置。
【請求項6】
前記レザバー層と前記リードアウト層とを接続する接続部をさらに備え、前記接続部は、前記複数のノードのうちのいずれかと前記リードアウト層とを接続する複数の端子を備え、
前記複数の端子の数は、前記複数のノードの数より少ない、請求項５に記載の情報処理装置。
【請求項7】
前記接続部は、複数の配線を備え、前記複数の配線のそれぞれは、前記複数のノードのうちのいずれかと前記複数の端子のいずれかとを接続する、請求項１～４、６のいずれか一項に記載の情報処理装置。
【請求項8】
前記接続部は、スイッチを備え、前記スイッチは、前記複数のノードと前記複数の端子との電気的な接続を切り替える、請求項２～４、６のいずれか一項に記載の情報処理装置。
【請求項9】
前記接続部は、前記レザバー層に積層され、前記接続部は、複数の配線層を備える、請求項１、３、４、６のいずれか一項に記載の情報処理装置。
【請求項10】
前記接続部は、前記レザバー層に積層され、前記接続部は、積層方向から見て、前記レザバー層の一部を覆う、請求項１、２、４、６のいずれか一項に記載の情報処理装置。
【請求項11】
前記レザバー層は、前記複数のノードのうちのいずれかに接続された第１パッドを備え、前記接続部は、前記複数の端子のいずれかに接続された第２パッドを備え、
前記接続部は、前記第１パッド及び前記第２パッドを介して、前記レザバー層に貼合されている、請求項１～３、６のいずれか一項に記載の情報処理装置。
【請求項12】
前記複数のノードは、前記リードアウト層に接続されていない隠れノードを含む、請求項１～１１のいずれか一項に記載の情報処理装置。
【請求項13】
前記隠れノードは、基準情報処理装置を用いた演算において、前記基準情報処理装置に含まれる複数のノードの変動量を統計的手法で解析した結果に基づいて決定されており、前記基準情報処理装置は、前記レザバー層と同じ構成の基準レザバー層と、前記リードアウト層と同じ構成の基準リードアウト層と、を備え、
前記基準レザバー層は、前記基準レザバー層に入力された入力信号の情報を含む特徴空間を生成し、
前記基準リードアウト層は、前記基準レザバー層のそれぞれのノードから送られる信号に結合重みを印加する演算を行い、請求項１２に記載の情報処理装置。
【請求項14】
前記隠れノードは、基準情報処理装置に含まれる複数のノードのそれぞれが、他のノードと結合する結合重みの統計量に基づいて決定されており、前記基準情報処理装置は、前記レザバー層と同じ構成の基準レザバー層と、前記リードアウト層と同じ構成の基準リードアウト層と、を備え、
前記基準レザバー層は、前記基準レザバー層に入力された入力信号の情報を含む特徴空間を生成し、
前記基準リードアウト層は、前記基準レザバー層のそれぞれのノードから送られる信号に結合重みを印加する演算を行う、請求項１２に記載の情報処理装置。
【請求項15】
前記隠れノードは、基準情報処理装置に含まれる複数のノードのそれぞれが基準リードアウト層と結合する結合重みの絶対値によって決定されており、前記基準情報処理装置は、前記レザバー層と同じ構成の基準レザバー層と、前記リードアウト層と同じ構成の基準リードアウト層と、を備え、
前記基準レザバー層は、前記基準レザバー層に入力された入力信号の情報を含む特徴空間を生成し、
前記基準リードアウト層は、前記基準レザバー層のそれぞれのノードから送られる信号に結合重みを印加する演算を行う、請求項１２に記載の情報処理装置。
【請求項16】
前記基準レザバー層の複数のノードと基準リードアウト層との間の結合重みは、ノルム正則化を含む学習によって決定されている、請求項１５に記載の情報処理装置。
【請求項17】
レザバー層と、リードアウト層と、前記レザバー層と前記リードアウト層とを接続する接続部と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、
前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、
前記入力信号が入力される入力端子の数は、前記複数のノードの数より少なく、
前記接続部は、前記複数のノードのうちのいずれかと前記リードアウト層とを接続する複数の端子を備え、
前記複数の端子の数は、前記複数のノードの数より少なく、
前記接続部は、スイッチを備え、
前記スイッチは、前記複数のノードと前記複数の端子との電気的な接続を切り替える、情報処理装置。
【請求項18】
レザバー層と、リードアウト層と、前記レザバー層と前記リードアウト層とを接続する接続部と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、
前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、
前記入力信号が入力される入力端子の数は、前記複数のノードの数より少なく、
前記接続部は、前記複数のノードのうちのいずれかと前記リードアウト層とを接続する複数の端子を備え、
前記複数の端子の数は、前記複数のノードの数より少なく、
前記接続部は、前記レザバー層に積層され、
前記接続部は、複数の配線層を備える、情報処理装置。
【請求項19】
レザバー層と、リードアウト層と、前記レザバー層と前記リードアウト層とを接続する接続部と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、
前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、
前記入力信号が入力される入力端子の数は、前記複数のノードの数より少なく、
前記接続部は、前記複数のノードのうちのいずれかと前記リードアウト層とを接続する複数の端子を備え、
前記複数の端子の数は、前記複数のノードの数より少なく、
前記接続部は、前記レザバー層に積層され、
前記接続部は、積層方向から見て、前記レザバー層の一部を覆う、情報処理装置。
【請求項20】
レザバー層と、リードアウト層と、前記レザバー層と前記リードアウト層とを接続する接続部と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、
前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、
前記入力信号が入力される入力端子の数は、前記複数のノードの数より少なく、
前記接続部は、前記複数のノードのうちのいずれかと前記リードアウト層とを接続する複数の端子を備え、
前記複数の端子の数は、前記複数のノードの数より少なく、
前記レザバー層は、前記複数のノードのうちのいずれかに接続された第１パッドを備え、
前記接続部は、前記複数の端子のいずれかに接続された第２パッドを備え、
前記接続部は、前記第１パッド及び前記第２パッドを介して、前記レザバー層に貼合されている、情報処理装置。
【請求項21】
レザバー層と、リードアウト層と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、
前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、
前記入力信号が入力される入力端子の数は、前記複数のノードの数より少なく、
前記複数のノードは、前記リードアウト層に接続されていない隠れノードを含み、
前記隠れノードは、基準情報処理装置に含まれる複数のノードのそれぞれが、他のノードと結合する結合重みの統計量に基づいて決定されており、
前記基準情報処理装置は、前記レザバー層と同じ構成の基準レザバー層と、前記リードアウト層と同じ構成の基準リードアウト層と、を備え、
前記基準レザバー層は、前記基準レザバー層に入力された入力信号の情報を含む特徴空間を生成し、
前記基準リードアウト層は、前記基準レザバー層のそれぞれのノードから送られる信号に結合重みを印加する演算を行う、情報処理装置。
【請求項22】
事前検討を行う第１工程と、隠れノードを決定する第２工程と、を有し、前記第１工程は、基準レザバー層と、基準リードアウト層と、を備える基準情報処理装置を用いて行われ、
前記基準情報処理装置は、前記基準レザバー層において入力信号の情報を含む特徴空間を生成し、前記基準レザバー層のそれぞれのノードから前記基準リードアウト層に送られる信号に結合重みを印加し、演算結果と理想値との相互情報量を大きくする演算を行い、
前記演算結果は、前記基準レザバー層から前記基準リードアウト層へ送られた信号のそれぞれに結合重みが乗算された後に和算されたものを活性化関数に代入したものであり、
前記第２工程は、前記第１工程における演算後における前記基準レザバー層におけるそれぞれのノード間の結合重み、又は、前記基準レザバー層におけるそれぞれのノードと前記基準リードアウト層と間の結合重みに基づいて、前記基準レザバー層に含まれる複数のノードのうち何れを前記隠れノードとすることができるかを決定でき、
前記隠れノードは、入力信号の情報を含む特徴空間を生成する複数のノードを含むレザバー層と、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行うリードアウト層と、を含む情報処理装置において、前記複数のノードのうち前記リードアウト層に接続されないノードである、隠れノードの設定方法。
【請求項23】
レザバー層と、前記レザバー層に接続できるリードアウト層とを設計する工程と、前記レザバー層と同構成の基準レザバー層を用いて、請求項２２に係る隠れノードの設定方法を行い、前記レザバー層における隠れノードを設定する工程と、
前記レザバー層に含まれる複数のノードのうち前記隠れノード以外のノードを前記リードアウト層と接続する工程と、を有する、情報処理装置の製造方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、隠れノードの設定方法及び情報処理装置の製造方法に関する。
【背景技術】
【0002】
ニューロモーフィックデバイスは、ニューラルネットワークにより人間の脳を模倣した素子である。ニューロモーフィックデバイスは、人間の脳におけるニューロンとシナプスとの関係を人工的に模倣している。
【0003】
ニューロモーフィックデバイスは、例えば、階層状に配置されたノード（脳におけるニューロン）と、これらの間を繋ぐ伝達手段（脳におけるシナプス）と、を有する。ニューロモーフィックデバイスは、伝達手段（シナプス）が学習することで、問題の正答率を高める。学習は将来使えそうな知識を情報から見つけることであり、ニューロモーフィックデバイスでは入力されたデータに重み付けをする。
【0004】
ニューラルネットワークの一つとして、リカレントニューラルネットワークが知られている。リカレントニューラルネットワークは、再帰的結合を内部に含むことで、時系列のデータを扱うことができる。時系列のデータは、時間の経過とともに値が変化するデータであり、株価等はその一例である。リカレントニューラルネットワークは、内部に非線形な活性化部を持つことも可能であり、その場合、活性化部での処理は数学的には非線形多次元空間への射影とみなすことができる。これによって時系列信号が持つ複雑な信号変化の特徴を抽出することができる。再帰的な構造は、後段の階層のニューロンでの処理結果を前段の階層のニューロンに戻すことで実現でき、これによって時系列のデータを処理することができる。
【0005】
レザバーコンピューティングは、再帰的結合と非線形活性化関数を含むリカレントニューラルネットワークの一種である。レザバーコンピューティングは、リキッドステートマシンの実装手法として発展したニューラルネットワークである。
【0006】
レザバーコンピューティングは、大きく分けると、レザバー層とリードアウト層から構成される。ここでいう「層」とは概念的な層であり、物理構造物として層が形成されている必要はない。レザバー層は多数の非線形ノードとノード間の再帰的結合を含むグラフ構造をなす。リードアウト層は多くの場合、単層からなるパーセプトロンで構成される。レザバーコンピューティングは、人間の脳のニューロン結合をレザバー層が模倣し、干渉状態の遷移として状態を表現する。
【0007】
レザバーコンピューティングの特徴として、レザバー層は学習対象でなく、リードアウト層のみで学習することがあげられる。レザバーコンピューティングは、学習に必要な計算機資源が少ないことでハードウェア資源に制約がある、ＩｏＴ（Internet of Things）やエッジでの時系列信号を取り扱うシステムとして注目されている。
【0008】
近年、このレザバーコンピューティングを物理的なデバイスに落とし込む研究がされている。非特許文献１には、物理的なデバイス研究例として、スピン波を利用したリザボア素子が記載されている。
【先行技術文献】
【非特許文献】
【0009】
【文献】Ryosho Nakane, Gouhei Tanaka, and Akira Hirose, IEEE Access Vol.6 2018 pp.4462-4469.
【発明の概要】
【発明が解決しようとする課題】
【0010】
レザバーコンピューティングの表現力は、レザバー層に含まれるノードの数が多いほど高まると言われている。一方で、レザバー層に含まれるノードのそれぞれからリードアウト層に信号が送られると、信号の通信負荷、計算負荷が高まる。また物理素子の場合、信号通信のための電気的な接続を担う端子、配線の数が膨大になってしまう。
【0011】
本発明は上記事情に鑑みてなされたものであり、実用化に適した情報処理装置、隠れノードの設定方法及び情報処理装置の製造方法を提供する。
【課題を解決するための手段】
【0012】
（１）第１の態様にかかる情報処理装置は、レザバー層と、リードアウト層と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、前記レザバー層から前記リードアウト層へ送られる信号の数は、前記複数のノードの数より少ない。
【0013】
（２）上記態様にかかる情報処理装置は、前記レザバー層と前記リードアウト層とを接続する接続部をさらに備えてもよい。前記接続部は、前記複数のノードのうちのいずれかと前記リードアウト層とを接続する複数の端子を備え、前記複数の端子の数は、前記複数のノードの数より少ない。
【0014】
（３）上記態様にかかる情報処理装置において、前記接続部は、複数の配線を備えてもよい。前記複数の配線のそれぞれは、前記複数のノードのうちのいずれかと前記複数の端子のいずれかとを接続する。
【0015】
（４）上記態様にかかる情報処理装置において、前記接続部は、スイッチを備えてもよい。前記スイッチは、前記複数のノードと前記複数の端子との電気的な接続を切り替える。
【0016】
（５）上記態様にかかる情報処理装置において、前記接続部は、前記レザバー層に積層されていてもよい。前記接続部は、複数の配線層を備える。
【0017】
（６）上記態様にかかる情報処理装置において、前記接続部は、前記レザバー層に積層され、前記接続部は、積層方向から見て、前記レザバー層の一部を覆ってもよい。
【0018】
（７）上記態様にかかる情報処理装置において、前記レザバー層は、前記複数のノードのうちのいずれかに接続された第１パッドを備え、前記接続部は、前記複数の端子のいずれかに接続された第２パッドを備え、前記接続部は、前記第１パッド及び前記第２パッドを介して、前記レザバー層に貼合されていてもよい。
【0019】
（８）上記態様にかかる情報処理装置において、前記複数のノードは、前記リードアウト層に接続されていない隠れノードを含んでもよい。
【0020】
（９）上記態様にかかる情報処理装置において、前記隠れノードは、基準情報処理装置を用いた演算において、前記基準情報処理装置に含まれる複数のノードの変動量を統計的手法で解析した結果に基づいて決定されていてもよい。前記基準情報処理装置は、前記レザバー層と同じ構成の基準レザバー層と、前記リードアウト層と同じ構成の基準リードアウト層と、を備え、前記基準レザバー層は、前記基準レザバー層に入力された入力信号の情報を含む特徴空間を生成し、前記基準リードアウト層は、前記基準レザバー層のそれぞれのノードから送られる信号に結合重みを印加する演算を行う。
【0021】
（１０）上記態様にかかる情報処理装置において、前記隠れノードは、基準情報処理装置に含まれる複数のノードのそれぞれが、他のノードと結合する結合重みの統計量に基づいて決定されていてもよい。
【0022】
（１１）上記態様にかかる情報処理装置において、前記隠れノードは、基準情報処理装置に含まれる複数のノードのそれぞれが基準リードアウト層と結合する結合重みの絶対値によって決定されていてもよい。
【0023】
（１２）上記態様にかかる情報処理装置において、前記基準レザバー層の複数のノードと基準リードアウト層との間の結合重みは、ノルム最小化法を含む学習によって決定されていてもよい。
【0024】
（１３）第２の態様にかかる情報処理装置は、レザバー層と、リードアウト層と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、前記入力信号が入力される入力端子の数は、前記複数のノードの数より少ない。
【0025】
（１４）第３の態様にかかる隠れノードの設定方法は、事前検討を行う第１工程と、隠れノードを決定する第２工程と、を有し、前記第１工程は、基準レザバー層と、基準リードアウト層と、を備える基準情報処理装置を用いて行われ、前記基準情報処理装置は、前記基準レザバー層において入力信号の情報を含む特徴空間を生成し、前記基準レザバー層のそれぞれのノードから前記基準リードアウト層に送られる信号に結合重みを印加し、入力値と理想値との相互情報量を大きくする演算を行い、前記第２工程は、前記第１工程における演算後における前記基準レザバー層におけるそれぞれのノード間の結合重み、又は、前記基準レザバー層におけるそれぞれのノードと前記基準リードアウト層との結合重みに基づいて、前記基準レザバー層に含まれる複数のノードのうち何れを前記隠れノードとすることができるかを決定する。
【0026】
（１５）第４の態様にかかる情報処理装置の製造方法は、レザバー層と、前記レザバー層に接続できるリードアウト層とを設計する工程と、前記レザバー層と同構成の基準レザバー層を用いて、上記態様にかかる隠れノードの設定方法を行い、前記レザバー層における隠れノードを設定する工程と、前記レザバー層に含まれる複数のノードのうち前記隠れノード以外のノードを前記リードアウト層と接続する工程と、を有する。
【発明の効果】
【0027】
上記態様にかかる情報処理装置、隠れノードの設定方法及び情報処理装置の製造方法は、実用化に適している。
【図面の簡単な説明】
【0028】
【図1】第１実施形態にかかる情報処理装置の概念図である。
【図2】第１実施形態にかかる情報処理装置の一部の断面図である。
【図3】第１実施形態にかかる基準情報処理装置の概念図である。
【図4】基準情報処理装置におけるそれぞれのノードとリードアウト層との間の結合重みの分布を示す。
【図5】第１実施形態にかかる情報処理装置におけるそれぞれのノードとリードアウト層との間の結合重みの分布を示す。
【図6】時系列信号の予測タスクにおいて、全てのノードとリードアウト層とを接続した場合の推論結果と、一部のノードとリードアウト層とを接続した場合の推論結果と、の出力値の差分を示す。
【図7】基準情報処理装置におけるそれぞれのノードとリードアウト層との間の結合重みの別の例の分布を示す。
【図8】第１実施形態にかかる情報処理装置におけるそれぞれのノードとリードアウト層との間の結合重みの別の例の分布を示す。
【図9】時系列信号の予測タスクにおいて、全てのノードとリードアウト層とを接続した場合の推論結果と、一部のノードとリードアウト層とを接続した場合の推論結果と、の出力値の差分を示す。
【図10】第１変形例にかかる情報処理装置の一部の断面図である。
【図11】第２変形例にかかる情報処理装置の一部の断面図である。
【図12】第３変形例にかかる情報処理装置の一部の断面図である。
【図13】第４変形例にかかる情報処理装置の一部の断面図である。
【図14】第５変形例にかかる情報処理装置の一部の断面図である。
【発明を実施するための形態】
【0029】
以下、本実施形態について、図を適宜参照しながら詳細に説明する。以下の説明で用いる図面は、特徴をわかりやすくするために便宜上特徴となる部分を拡大して示している場合があり、各構成要素の寸法比率などは実際とは異なっていることがある。以下の説明において例示される材料、寸法等は一例であって、本発明はそれらに限定されるものではなく、本発明の効果を奏する範囲で適宜変更して実施することが可能である。
【0030】
図１は、第１実施形態にかかる情報処理装置１００の概念図である。情報処理装置１００は、例えば、レザバー層１０とリードアウト層２０と接続部３０とを備える。本明細書において、「層」は物理構造体としての「層」を表す場合と概念としての「層」を表す場合がある。例えば、図１、後述する図３の概念図では、「層」は概念的な層を意味し、後述する図２、図１０～図１４では、「層」は構造物としての層を意味する。
【0031】
レザバー層１０は、複数のノード１１を備える。ノード１１の数は、特に問わない。ノード１１の数が多いほど、レザバー層１０の表現力は高まる。例えば、ノード１１の数をｉ個とする。ｉは任意の自然数である。
【0032】
ノード１１のそれぞれは、例えば、物理的なデバイスに置き換えられる。物理デバイスは、例えば、入力された信号を振動、電磁場、磁場、スピン波等に変換できるデバイスである。ノード１１は、例えば、ＭＥＭＳマイクロフォンである。ＭＥＭＳマイクロフォンは、振動膜の振動を電気信号に変換することができる。ノード１１は、例えば、スピントルクオシレータ（ＳＴＯ）でもよい。スピントルクオシレータは、電気信号を高周波信号に変換することができる。
【0033】
それぞれのノード１１は、周囲のノード１１と相互作用している。それぞれのノード１１の間には、例えば、結合重みｖｘが規定されている。規定される結合重みｖｘの数は、ノード１１間の接続の組み合わせの数だけある。ｘは、例えば、任意の自然数である。ノード１１の間の結合重みｖｘのそれぞれは、原則、規定されており、学習により変動するものではない。ノード１１の間の結合重みｖｘのそれぞれは、任意であり、互いに一致していても、異なっていてもよい。複数のノード１１の間の結合重みｖｘの一部は、学習により変動してもよい。
【0034】
レザバー層１０には、信号Ｓｉｎが入力される。信号Ｓｉｎは、例えば、外部に設けられたセンサから入力される。信号Ｓｉｎは、レザバー層１０内で複数のノード１１間を伝搬しながら、相互作用する。信号Ｓｉｎが相互作用するとは、あるノード１１に伝搬した信号が他のノード１１を伝搬する信号に影響を及ぼすことをいう。例えば、信号Ｓｉｎは、ノード１１間を伝搬する際に結合重みｖｘが印加され、変化していく。レザバー層１０は、入力された信号Ｓｉｎを多次元の非線形空間に射影する。
【0035】
信号Ｓｉｎが複数のノード１１間を伝搬することで、複数のノード１１は、レザバー層１０に入力された信号Ｓｉｎの情報を含む特徴空間を生成する。レザバー層１０内おいて、入力された信号Ｓｉｎは、別の信号に置き換わり、入力された信号Ｓｉｎに含まれる情報の少なくとも一部は形を変えて保有される。例えば、入力された信号Ｓｉｎは、レザバー層１０内において非線形に変化する。当該変換の一例として、直交座標系（ｘ，ｙ，ｚ）から球面座標系（ｒ，θ，φ）への置き換えが挙げられる。入力された信号Ｓｉｎがレザバー層１０内で相互作用することで、レザバー層１０の系の状態は、時間の経過とともに変化する。
【0036】
複数のノード１１のうちの一部は、接続部３０を介してリードアウト層２０に接続されている。例えば、ｉ個のノード１１のうちｊ個（ｊはｉより小さい任意の自然数）のノード１１がリードアウト層２０と接続されている。残りのｉ－ｊ個のノード１１は、レザバー層１０内における信号の相互作用には寄与するが、リードアウト層２０には接続されていない。以下、リードアウト層２０に接続されていないノード１１を隠れノードと称する。
【0037】
接続部３０は、例えば、レザバー層１０とリードアウト層２０との間にある。図２は、第１実施形態に係るレザバー層１０及び接続部３０の断面図である。以下、各層の積層方向をｚ方向、ｚ方向と直交する一方向をｘ方向、ｚ方向及びｘ方向と直交する方向をｙ方向と称する。
【0038】
レザバー層１０は、複数のノード１１と絶縁層１２と複数の端子１３とを備える。端子１３のそれぞれは、ノード１１のそれぞれに接続されている。端子１３は、外部のセンサに接続されており、センサからの信号Ｓｉｎが入力される。別の実施形態として、ノード１１自体が外部の環境によって状態が変化するセンサとして機能してもよい。例えば、圧電素子をアレイ状に配したデバイスは、それ自体が触覚センサと機能すると同時に、相互作用する。すなわち、ノード１１がセンサとしての機能とレザバーコンピューティングにおけるノードとしての機能とを両立する。
【0039】
接続部３０は、レザバー層１０とリードアウト層２０とを接続する。接続部３０は、例えば、レザバー層１０上に積層されている。接続部３０は、例えば、ｚ方向から見てレザバー層１０を覆う。接続部３０は、例えば、複数の配線３１と絶縁層３２と複数の端子３４とを有する。リードアウト層２０は、複数の端子３４のそれぞれと接続されている。
【0040】
複数の配線３１は、絶縁層３２内に形成されている。配線３１は、導電性を有し、例えば、Ａｌ、Ａｇ、Ｃｕ等である。絶縁層３２は、層間絶縁層であり、例えば、酸化シリコン（ＳｉＯｘ）、窒化シリコン（ＳｉＮｘ）、炭化シリコン（ＳｉＣ）、窒化クロム、炭窒化シリコン（ＳｉＣＮ）、酸窒化シリコン（ＳｉＯＮ）、酸化アルミニウム（Ａｌ２Ｏ３）、酸化ジルコニウム（ＺｒＯｘ）等である。
【0041】
配線３１のそれぞれは、ノード１１のうちのいずれかと端子３４のいずれかとを接続する。配線３１の第１端は、ノード１１のいずれかに接続されている。配線３１の第２端は、端子３４のいずれかに接続されている。
【0042】
端子３４の数は、例えば、ｊ個である。端子３４のそれぞれは、リードアウト層２０に接続されている。端子３４の数は、リードアウト層２０へ送られる信号の数と一致する。端子３４の数（ｊ個）は、ノード１１の数（ｉ個）より少ない。ノード１１のうち端子３４と接続されていないノード１１が隠れノード１１Ａである。
【0043】
リードアウト層２０には、レザバー層１０から信号が送られる。レザバー層１０からリードアウト層２０へ送られる信号の数（ｊ個）は、レザバー層１０におけるノード１１の数（ｉ個）より少ない。
【0044】
リードアウト層２０は、例えば、積和演算回路と、活性化関数回路と、比較回路と、出力回路と、を有する。
【0045】
積和演算回路は、レザバー層１０からリードアウト層２０へ送られるそれぞれの信号に結合重みｗｊを乗算し、乗算した結果を和算する。端子３４のそれぞれとリードアウト層２０との間には結合重みｗｊが規定されている。結合重みｗｊは、学習により変動する。
【0046】
活性化関数回路は、積和演算結果を活性化関数ｆ（ｘ）に代入して演算する。活性化関数は、用いなくてもよい。
【0047】
比較回路は、演算結果を教師データｔと比較する。比較回路は、例えば、演算結果と教師データｔとの相互情報量の差を比較する。相互情報量は、２つの確率変数の相互依存の尺度を表す量である。比較回路は、相互情報量が大きくなる（最大化する）ように、データＤｆを積和演算回路にフィードバックする。端子３４のそれぞれとリードアウト層２０との間の結合重みｗｊは、フィードバックされたデータＤｆに基づいて変化する。端子３４のそれぞれとリードアウト層２０との間の結合重みｗｊは、演算結果と教師データｔとの相互情報量が大きくなる（最大化する）ように、調整される。なお、あらかじめ上述の計算を実施し、その結果得られた重みをリードアウト層とレザバー層との間の結合重みに反映させておき、情報処理装置１００を推論専用で使用する場合においては、比較器はなくてもよい。
【0048】
出力回路は、演算結果を外部に信号Ｓｏｕｔとして出力する。なお、図１では出力回路は１つの出力信号線で表示されているが、この場合に限られない。例えば、一般的な機械学習の応用である多クラス分類問題等に対応することも可能である。その場合は、出力回路は、各クラスに対応する複数の出力信号線を有する。
【0049】
次いで、情報処理装置１００の製造方法について説明する。まず、レザバー層１０と、リードアウト層２０とを設計する。レザバー層１０及びリードアウト層２０は、それぞれ公知のものを用いることができる。ノード１１を構成する物理デバイスは特に問わない。レザバー層１０及びリードアウト層２０は、情報処理装置１００に与えられるタスクに応じて設計できる。
【0050】
次いで、レザバー層１０とリードアウト層２０との接続仕方を決定し、接続部３０を形成する。具体的には、レザバー層１０のうちのいずれのノード１１をリードアウト層２０に接続するかを決定する。換言すると、ノード１１のうち何れを隠れノード１１Ａとするかを決定する。レザバー層１０とリードアウト層２０との接続は、情報処理装置１００に与えられるタスクによって異なる。情報処理装置１００に与えられるタスクを決めた上で、無数にあるレザバー層１０とリードアウト層２０との接続状態のうちから一つの状態を決定する。
【0051】
隠れノード１１Ａの設定方法は、事前検討を行う第１工程と、隠れノードを決定する第２工程とを有する。第１工程は、基準情報処理装置１１０を用いて行う。図３は、第１実施形態にかかる基準情報処理装置１１０の概念図である。
【0052】
基準情報処理装置１１０は、基準レザバー層５０と基準リードアウト層６０と接続部７０とを備える。基準情報処理装置１１０は、接続部７０が基準レザバー層５０のノード５１の全てに接続され、その情報の全てを基準リードアウト層６０に伝えている点が、上述の情報処理装置１００と異なる。
【0053】
基準レザバー層５０は、複数のノード５１を有する。ノード５１のそれぞれは、ノード１１のそれぞれと同様の構成である。
【0054】
ノード５１の数はノード１１の数と同じである。ノード５１は、例えば、ｉ個ある。ｉ個のノード５１は、接続部７０を介して、いずれも基準リードアウト層６０に接続されている。基準レザバー層５０から基準リードアウト層６０へ送られる信号の数（ｉ個）は、基準レザバー層５０におけるノード５１の数（ｉ個）と一致する。
【0055】
基準リードアウト層６０は、リードアウト層２０と同じ構成である。
【0056】
第１工程では、基準情報処理装置１１０を用いた演算を行う。基準情報処理装置１１０は、入力値と理想値との相互情報量が大きくなる（最大化する）ように演算を行い、基準レザバー層５０におけるそれぞれのノード５１と基準リードアウト層６０との間の結合重みｗｉを決定する。
【0057】
第１工程の演算は、シミュレーションで行ってもよいし、実際に物理デバイスを作製して行ってもよい。
【0058】
まず基準レザバー層５０に信号Ｓｉｎを入力する。入力された信号Ｓｉｎは、基準レザバー層５０内を伝搬し、基準レザバー層５０は、入力された信号Ｓｉｎの情報を含む特徴空間を生成する。そして基準レザバー層５０のそれぞれのノード５１から接続部７０を介して基準リードアウト層６０に信号が送られる。
【0059】
基準レザバー層５０から基準リードアウト層６０へ送られた信号のそれぞれは、積和演算回路で、結合重みｗｉが乗算された後に和算される。そして積和演算結果は、活性化関数ｆ（ｘ）に代入される。
【0060】
そして、基準リードアウト層６０の比較回路は、演算結果を教師データｔと比較する。比較回路は、演算結果と教師データとの相互情報量が大きくなる（最大化する）ように、データＤｆを積和演算回路にフィードバックする。そして、結合重みｗｉが設定される。
【0061】
結合重みｗｉは、ノルム正則化を含む学習によって決定されることが好ましい。例えば、ノルム最小化法又はGroup Lasso等の正則化技法を用いることができる。正則化項を導入した学習アルゴリズムは、重みの分布をスパースにする効果があり、特にGroup Lassoを用いた学習は、グループ内の重みが共通にゼロになるような効果が知られている。その結果、隠れノードを設定する際において、隠れノードと隠れノード以外のノードとの境界となる明確な基準を提示しやすくなる。
【0062】
次いで、第１工程の後に、第２工程を行う。第２工程では、基準情報処理装置１１０の演算において出力される信号Ｓｏｕｔに大きな影響を及ぼすノード５１と出力される信号Ｓｏｕｔに与える影響が小さいノード５１とを分類する。
【0063】
第１の方法では、基準情報処理装置１１０を用いた演算において、複数のノード５１の変動量を統計的手法で解析した結果に基づいて、ノード５１を分類する。
【0064】
統計的手法とは、例えば、フーリエ解析、主成分分析の寄与率、非線形性能分析、スペクトル半径等である。例えば、入力された信号Ｓｉｎを非線形に変換する性能の高いノード５１は、基準情報処理装置１１０の演算において出力される信号Ｓｏｕｔに与える影響が大きいノード５１であるとして分類され、その他のノード５１は出力される信号Ｓｏｕｔに与える影響が小さいノード５１であるとして分類される。また例えば、入力信号に対する各ノード５１の状態の周波数特性から、リードアウト層に接続するノードを決定してもよい。
【0065】
第２の方法では、基準情報処理装置１１０に含まれる複数のノード５１のそれぞれが、他のノード５１と結合する結合重みｖｘの統計量に基づいて、ノード５１を分類する。
【0066】
結合重みｖｘの統計量は、例えば、基準とするノード５１と基準とするノード５１に結合された他のノード５１との間の結合重みｖｘの総和、基準とするノード５１と基準とするノード５１を中心に所定の半径内に含まれるノード５１との間の結合重みｖｘの総和等である。また例えば、レザバー層内の全ノードのスペクトル半径が０．５以上１．０以下になるように調整することで、ノード５１を分類してもよい。
【0067】
例えば、結合重みｖｘの統計量が所定値以上のノード５１を出力される信号Ｓｏｕｔに与える影響が大きいノード５１として分類し、所定値以下のノード５１を出力される信号Ｓｏｕｔに与える影響が小さいノード５１として分類する。
【0068】
第３の方法では、基準情報処理装置１１０に含まれる複数のノード５１のそれぞれが、基準リードアウト層６０と結合する結合重みｗｉの絶対値に基づいて、ノード５１を分類する。
【0069】
例えば、結合重みｗｉの絶対値が所定値以上のノード５１を出力される信号Ｓｏｕｔに与える影響が大きいノード５１として分類し、所定値以下のノード５１を出力される信号Ｓｏｕｔに与える影響が小さいノード５１として分類する。
【0070】
分類の閾値は、例えば、特定値を事前に設定しておいてもよい。また、全体のノード５１のうち所定の割合のノード５１を削減するように設定した場合に、所定の割合に至った時点における統計量又は絶対値を分類の閾値としてもよい。
【0071】
第２工程で分類されたノード５１のうち出力される信号Ｓｏｕｔに与える影響が小さいノード５１は、隠れノードとすることができるノードとみなすことができる。
【0072】
次いで、上記の結果を踏まえて、レザバー層１０とリードアウト層２０とを接続する。レザバー層１０において隠れノードとすることができるとされたノード５１と同じ位置関係にあるノード１１をリードアウト層２０に接続せず、それ以外のノード１１をリードアウト層２０に接続する。リードアウト層２０に接続されなかったノード１１が隠れノード１１Ａとなる。
【0073】
上記の手順でレザバー層１０とリードアウト層２０とが接続されることで、情報処理装置１００が作製される。
【0074】
第１実施形態に係る情報処理装置１００は、レザバー層１０のノード１１の全てがリードアウト層２０に接続されておらず、リードアウト層２０へ伝搬する信号数が少ない。したがって、情報処理装置１００は、演算負荷を低減できる。
【0075】
またリードアウト層２０へ伝搬する信号数が少ないと、物理デバイスに落とし込んだ際の端子３４の数を減らすことができる。端子３４の数を現実的な数にすることで、レザバー層コンピューティングの物理デバイスへの適用が容易になる。
【0076】
また情報処理装置１００は、リードアウト層２０にレザバー層１０内に生成された特徴空間のうちの部分空間の情報のみが伝搬しているにも関わらず、レザバー層１０のノード１１の全てがリードアウト層２０と接続された場合と出力される信号Ｓｏｕｔとの誤差が小さい。
【0077】
例えば、ノードを５００個持つレザバー層を作成し、リードアウト層との結合重みを学習した。
【0078】
図４は、それぞれのノードとリードアウト層との間の結合重みｗｉの分布を示す。横軸は、それぞれのノードとリードアウト層との間の結合重みｗｉであり、縦軸は所定の結合重みｗｉが設定された配線の数である。図４は、全てのノードとリードアウト層とを接続した場合の結合重みｗｉの分布である。図４は、基準情報処理装置１１０を用いた演算結果にも対応する。
【0079】
図５は、それぞれのノードとリードアウト層との間の結合重みｗｊの分布を示す。横軸は、それぞれのノードとリードアウト層との間の結合重みｗｊであり、縦軸は所定の結合重みｗｊが設定された配線の数である。図５は、５００個のノードのうちの１６８個（約３３％）のノードを接続しなかった場合の結合重みｗｊの分布である。基準情報処理装置１１０を用いた演算を事前検討とし、結合重みｗｊが小さいものから順に３３％のノードをリードアウト層と接続しなかった。
【0080】
図６は、時系列信号の予測タスクにおいて、全てのノードとリードアウト層とを接続した場合の推論結果と、一部のノードとリードアウト層とを接続した場合の推論結果と、の出力値の差分を示す。図６は、ノードとリードアウト層との間の結合重みｗｉの分布を図４とした場合の演算結果と、ノードとリードアウト層との間の結合重みｗｊの分布を図５とした場合の演算結果と、の差分信号である。図６に示すように、二つの演算結果の誤差はおおよそ５％以下であった。すなわち、情報処理装置１００は、実デバイスとしても十分利用可能な性能を有すると言える。
【0081】
また同様の処理を別の例で行った。別の例では、結合重みｗｉを決定する際の演算において、ノルム最小化による正則化を行った。ノルム最小化は、Ｌ２ノルムが最小化するようにした。その他の条件は、上記の演算と同様にした。
【0082】
図７は、それぞれのノードとリードアウト層との間の結合重みｗｉの分布を示す。横軸は、それぞれのノードとリードアウト層との間の結合重みｗｉであり、縦軸は所定の結合重みｗｉが設定された配線の数である。図７は、全てのノードとリードアウト層とを接続した場合の結合重みｗｉの分布である。図７は、基準情報処理装置１１０を用いた演算結果にも対応する。結合重みｗｉを設定する学習演算に、ノルム最小化による正則化を用いたため、結合重みｗｉの分布がスパース化し、ゼロとなる配線の数が、図４の場合より多くなった。
【0083】
図８は、それぞれのノードとリードアウト層との間の結合重みｗｊの分布を示す。横軸は、それぞれのノードとリードアウト層との間の結合重みｗｊであり、縦軸は所定の結合重みｗｊが設定された配線の数である。図８は、５００個のノードのうちの１３６個（約２７％）のノードを接続しなかった場合の結合重みｗｊの分布である。基準情報処理装置１１０を用いた演算を事前検討とし、結合重みｗｊが小さいものから順に２７％のノードをリードアウト層と接続しなかった。
【0084】
図９は、時系列信号の予測タスクにおいて、全てのノードとリードアウト層とを接続した場合の推論結果と、一部のノードとリードアウト層とを接続した場合の推論結果と、の出力値の差分を示す。図９は、ノードとリードアウト層との間の結合重みｗｉの分布を図７とした場合の演算結果と、ノードとリードアウト層との間の結合重みｗｊの分布を図８とした場合の演算結果と、の差分信号である。図９に示すように、二つの演算結果の誤差はおおよそ１％以下であった。すなわち、情報処理装置１００は、実デバイスとしても十分利用可能な性能を有すると言える。
【0085】
以上、本発明の実施形態について図面を参照して詳述したが、各実施形態における各構成及びそれらの組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、及びその他の変更が可能である。
【0086】
例えば、図１０に示す情報処理装置のように、接続部３０は、ｚ方向から見て、レザバー層１０の全てを覆わずに、一部を覆う構成でもよい。隠れノード１１Ａは、リードアウト層２０と接続する必要がないため、隠れノード１１Ａ上に接続部３０はなくてもよい。
【0087】
また例えば、図１１に示す情報処理装置のように、接続部３０は、複数の配線層３０Ａ、３０Ｂ、３０Ｃを有してもよい。配線層３０Ａは、複数の配線３１Ａと絶縁層３２Ａとを有する。配線層３０Ｂは、複数の配線３１Ｂと絶縁層３２Ｂとを有する。配線層３０Ｃは、複数の配線３１Ｃと絶縁層３２Ｃとを有する。接続部３０が複数の配線層３０Ａ、３０Ｂ、３０Ｃからなることで、より複雑な配線の接続やプロセス制約を満たした配線を実現できる。
【0088】
また例えば、図１２に示す情報処理装置のように、接続部３０は、スイッチを有してもよい。スイッチは、例えば、トランジスタ３５である。トランジスタ３５の間には、素子分離領域３６（STI：Shallow Trench Isolation）がある。それぞれのトランジスタ３５のソースは、ノード１１のそれぞれに接続されている。それぞれのトランジスタ３５のドレインは、それぞれの端子３４に接続されている。
【0089】
図１２に示す情報処理装置において、端子３４の数は、ノード１１の数と同じでもよいし、ノード１１より少なくてもよい。ノード１１のそれぞれには、端子１３から信号Ｓｉｎが入力される。ＯＦＦとなったトランジスタ３５に接続されるノード１１が隠れノードとなる。図１２に示す情報処理装置は、トランジスタ３５のＯＮ、ＯＦＦを切り替えることで、タスクに合わせて隠れノードを切り替えることができる。各トランジスタの接続情報は、別に作製される不揮発メモリ（図示せず）に格納することも可能である。
【0090】
また例えば、図１３に示す情報処理装置のように、接続部３０は、レザバー層１０に貼り合わされていてもよい。レザバー層１０は、ノード１１のうちのいずれかに接続された第１パッド１４を備える。接続部３０は、端子３４と電気的に接続された第２パッド３７を備える。第１パッド１４と第２パッド３７とが合うように、接続部３０とレザバー層１０とが貼り合わされている。レザバー層１０と接続部３０とは、異なる基板４０、４１上に形成され、それぞれ作製後に貼り合わされている。
【0091】
また例えば、図１４に示す情報処理装置のように、接続部３０が信号Ｓｉｎの入力側にあってもよい。接続部３０の端子３８から入力された信号Ｓｉｎは、ノード１１のいずれかに送られる。端子３８のそれぞれは、例えば、外部のセンサに接続されている。接続部３０は、センサからの信号の一部をレザバー層１０へ伝える。
【0092】
端子３８は、ノード１１の数より少ない。ノード１１に対して端子３８の数が少ないことで、レザバー層コンピューティングの物理デバイスへの適用が容易になる。
【0093】
また図１４に示す情報処理装置は、センサで検知した情報のうちの一部のみをレザバー層１０における特徴空間の生成に利用した場合でも、実デバイスとしても十分利用可能な性能を示す。
【0094】
リードアウト層の出力回路は、同じ構成の別の情報処理装置のリードアウト層に接続することで、オートエンコーダとすることも可能である。その場合、情報処理装置は、次元圧縮器や認証器としても利用可能である。
【符号の説明】
【0095】
１０…レザバー層、１１，５１…ノード、１１Ａ…隠れノード、１２，３２，３２Ａ，３２Ｂ，３２Ｃ…絶縁層、１３，３４，３８…端子、１４…第１パッド、２０…リードアウト層、３０，７０…接続部、３０Ａ，３０Ｂ，３０Ｃ…配線層、３１，３１Ａ，３１Ｂ，３１Ｃ…配線、３５…トランジスタ、３６…素子分離領域、３７…第２パッド、４０，４１…基板、５０…基準レザバー層、６０…基準リードアウト層、１００…情報処理装置、１１０…基準情報処理装置
【要約】
この情報処理装置は、レザバー層と、リードアウト層と、を備え、レザバー層は、前記レザバー層に入力された入力信号の情報を含む特徴空間を生成する複数のノードを備え、前記リードアウト層は、前記レザバー層から送られる信号のそれぞれに結合重みを印加する演算を行い、前記レザバー層から前記リードアウト層へ送られる信号の数は、前記複数のノードの数より少ない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】