特許 6571692 メムリスティブニューラルネットワーク及びその形成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6571692

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】メムリスティブニューラルネットワーク及びその形成方法

(51)【国際特許分類】

   G06G 7/60 20060101AFI20190826BHJP

   G06N 3/063 20060101ALI20190826BHJP

【ＦＩ】

   G06G7/60

   G06N3/063

【請求項の数】20

【全頁数】9

(21)【出願番号】特願2016-573557(P2016-573557)

(86)(22)【出願日】2015年6月5日

(65)【公表番号】特表2017-527000(P2017-527000A)

(43)【公表日】2017年9月14日

(86)【国際出願番号】US2015034414

(87)【国際公開番号】WO2015195365

(87)【国際公開日】20151223

【審査請求日】2018年5月8日

(31)【優先権主張番号】62/014,201

(32)【優先日】2014年6月19日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507371168

【氏名又は名称】ユニバーシティ オブ フロリダ リサーチ ファンデーション インコーポレーティッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(72)【発明者】

【氏名】ニノ、 ファン クラウディオ

(72)【発明者】

【氏名】ケンダル、 ジャック ディー．

【審査官】 豊田 真弓

(56)【参考文献】

【文献】 米国特許出願公開第２０１１／００９６５８９（ＵＳ，Ａ１）

【文献】 特表２０１３−５３４６７６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／００８１９５８（ＵＳ，Ａ１）

【文献】 特開平０７−２８２１６８（ＪＰ，Ａ）

【文献】 特開平０９−１８５５９６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／０１５３４２６（ＵＳ，Ａ１）

【文献】 Nicole Casal Moore, College of Engineering，image processing 1,000 times faster is goal of new $5M contact，U-M Press Release，米国，UNIVERSITY of MICHIGAN，２０１３年 ８月１４日，ＵＲＬ，http://www.eecs.umich.edu/eecs/about/articles/2013/Lu-image-processing-1000-times-faster.html

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｇ ７／６０

Ｇ０６Ｎ ３／０６３

(57)【特許請求の範囲】

【請求項1】

メムリスティブニューラルネットワークであって、
第１ニューラルノードと、
第２ニューラルノードと、
前記第１ニューラルノードを前記第２ニューラルノードに連結するメムリスティブファイバーであって、導電性コアとメムリスティブシェルとを含み、前記導電性コアは前記第１ニューラルノードを前記第２ニューラルノードに結合して前記第１ニューラルノードと前記第２ニューラルノードとの間に通信経路を形成し、前記メムリスティブシェルは前記第１ニューラルノードを前記第２ニューラルノードに結合して前記第１ニューラルノードと前記第２ニューラルノードとの間にメモリスタシナプスを形成しているメムリスティブファイバーと
を含む、メムリスティブニューラルネットワーク。

【請求項2】

前記第１ニューラルノードと前記第２ニューラルノードはニューラルノードアレイ内の複数のニューラルノードに含まれている、請求項１に記載のメムリスティブニューラルネットワーク。

【請求項3】

前記ニューラルノードの各々は、それぞれの漏れ積分発火（ＬＩＦ）相補型金属酸化膜半導体（ＣＭＯＳ）神経回路を含む、請求項２のメムリスティブニューラルネットワーク。

【請求項4】

前記メムリスティブファイバーはメムリスティブファイバーネットワーク内の複数のメムリスティブファイバーに含まれており、前記メムリスティブファイバーネットワーク内の複数のメムリスティブファイバーの少なくとも一部が、前記ニューラルノードアレイ内の複数のニューラルノードの少なくとも一部にランダムに結合されている、請求項２のメムリスティブニューラルネットワーク。

【請求項5】

前記メムリスティブファイバーネットワークは少なくとも１つのリカレント結合を含む、請求項４に記載のメムリスティブニューラルネットワーク。

【請求項6】

前記メムリスティブファイバーネットワークは前記複数のニューラルノードの少なくとも１つのための少なくとも１つの抑制性出力を含む、請求項４に記載のメムリスティブニューラルネットワーク。

【請求項7】

前記メムリスティブファイバーネットワークは複数のメムリスティブファイバー層を含む、請求項４に記載のメムリスティブニューラルネットワーク。

【請求項8】

前記メムリスティブファイバーネットワークは前記複数のメムリスティブファイバー層の複数のものの間での少なくとも１つの信号の伝達を容易にする少なくとも１つの結合を含む、請求項７に記載のメムリスティブニューラルネットワーク。

【請求項9】

前記メムリスティブファイバーは、
前記第１ニューラルノードに結合する第１の電極と、
前記第２ニューラルノードに結合する第２の電極と
を含む、請求項１に記載のメムリスティブニューラルネットワーク。

【請求項10】

少なくとも前記第１ニューラルノード、前記第２ニューラルノード、及び前記メムリスティブファイバーによって液体状態マシン（ＬＳＭ）がモデル化される、請求項１に記載のメムリスティブニューラルネットワーク。

【請求項11】

前記メムリスティブファイバーは前記第１ニューラルノードと前記第２ニューラルノードとの間の結合を容易にするように電気紡糸されている、請求項１に記載のメムリスティブニューラルネットワーク。

【請求項12】

前記メムリスティブシェルはＴｉＯ₂を含み、前記導電性コアにはＴｉＯ_2-Xがドープされている、請求項１１のメムリスティブニューラルネットワーク。

【請求項13】

前記導電性コアはＴｉＯ_2-Xを含む、請求項１に記載のメムリスティブニューラルネットワーク。

【請求項14】

前記第１ニューラルノードは少なくとも１つの入力信号の受信に応答して少なくとも１つの信号を出力する、請求項１に記載のメムリスティブニューラルネットワーク。

【請求項15】

前記メムリスティブファイバーは複数のメムリスティブファイバーの１つであり、前記複数のメムリスティブファイバーの個々のものが前記第１ニューラルノードと前記第２ニューラルノードとの間の無作為に選ばれた結合を形成する、請求項１のメムリスティブニューラルネットワーク。

【請求項16】

第１ニューラルノードを設けることと、
第２ニューラルノードを設けることと、
少なくともメムリスティブファイバーを使用して前記第１ニューラルノードを前記第２ニューラルノードに結合することと
を含み、前記メムリスティブファイバーは導電性コアとメムリスティブシェルとを含み、前記導電性コアは前記第１ニューラルノードを前記第２ニューラルノードに結合して前記第１ニューラルノードと前記第２ニューラルノードとの間に通信経路を形成し、前記メムリスティブシェルは前記第１ニューラルノードを前記第２ニューラルノードに結合して前記第１ニューラルノードと前記第２ニューラルノードとの間にメモリスタシナプスを形成している、方法。

【請求項17】

前記第１ニューラルノードと前記第２ニューラルノードはニューラルノードアレイ内の複数のニューラルノードに含まれている、請求項１６に記載の方法。

【請求項18】

前記第１ニューラルノードと前記第２ニューラルノードはそれぞれの漏れ積分発火（ＬＩＦ）相補型金属酸化膜半導体（ＣＭＯＳ）神経回路を含む、請求項１６に記載の方法。

【請求項19】

前記導電性コアはＴｉＯ_2-Xを含む、請求項１８に記載の方法。

【請求項20】

複数のメムリスティブファイバーを複数のニューラルノードにランダムに結合させることを更に含む、請求項１６に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

関連出願の相互参照
本出願は、２０１４年６月１９日に出願された「メムリスティブニューラルネットワーク」と題する米国仮出願第６２／０１４２０１号の非仮出願であり且つその優先権を主張するものであり、上記仮出願の全体が参照により本明細書に含まれるものとする。
バックグラウンド
メモリスタは、それまでに素子を流れた電流の量に応じてその抵抗を変える二端子素子である。メモリスタは、クロスバーニューラルネットワーク構造において使用することができる。クロスバーニューラルネットワークでは、複数のメモリスタが、各交差部においてメモリスタシナプスによって垂直クロスバー配列で結合されている。しかしながら、クロスバーニューラルネットワーク構造は、寄生リークパスを妨げるために複雑なデザインの使用を必要とする場合がある。また、クロスバーニューラルネットワークには余分のシナプスが存在しない。さらに、クロスバーニューラルネットワークにおけるリカレント結合は複雑な回路レイアウトを必要とし、設置面積の観点から、クロスバーのデザインは大きさがニューロンの数に二次的に対応する。

【発明の概要】

【課題を解決するための手段】

【0002】

本開示は、メムリスティブファイバーを使用するニューラルネットワーク（神経回路網）に向けられている。一般に、ニューラルネットワークは、それらの間に重み付けされた結合を有する擬似ニューロン群を含むことができる。本開示の様々な実施形態によるニューラルネットワークは、メムリスティブファイバーの無作為の結合を用いて相互接続されている一連のニューラルノードを含むことができる。このようなニューラルノードは、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）漏れ積分発火（ＬＩＦ）神経回路又は他の任意の適切なタイプの神経回路を含むことができる。各ニューラルノードは、ニューラルノードが受信した１つ以上の入力信号に応答する１つ以上の信号を出力することができる。例えば、１つ以上の入力電流信号が閾値に達すると、ニューラルノードが１つ以上の出力経路へ電圧スパイクを出力することができる。

【0003】

上述のように、ニューラルネットワークはまた、メムリスティブナノファイバーを含むことができる。メムリスティブナノファイバーは、ニューラルネットワークにおいて人工シナプスを形成するのに使用されることができる。各メムリスティブナノファイバーは、１つ以上のニューラルノードを１つ以上の他のニューラルノードに結合させることができる。このようにして、１つ以上の出力信号を、特定のニューラルノードから１つ以上の他のニューラルノードに送ることができる。特定のメムリスティブナノファイバーが結合される特定のニューラルノードは、無作為に選ばれることができる。この点において、メムリスティブナノファイバーが結合される特定のニューラルノードは、メムリスティブファイバーがその１つ以上のニューラルノードに結合される前に予め決められていない。結合が無作為に選ばれる結果として、得られるネットワークはスパースでランダムな結合性を示し、スパースでランダムな結合性はニューラルネットワークの性能及び効率を高めることが示されている。したがって、ニューラルネットワークは、例えば、液体状態マシン（ＬＳＭ）を作るのに使用されることができる。ＬＳＭに関する更なる説明は、ヴォルフガング・マースらの「安定状態無しでの実時間計算：摂動に基づくニューラルコンピュテーションのための新しい枠組み（第１４巻、１１号）（２００２年１１月１１日）に提供されており、その全体が参照により本明細書に含まれるものとする。

【0004】

メムリスティブニューラルネットワークの各メムリスティブナノファイバーは、導電性コアと、メムリスティブシェルと、１つ以上の電極とを含むことができる。導電性コアと、メムリスティブシェルと、１つ以上の電極とを有するメムリスティブナノファイバーは、電気紡糸（エレクトロスピニング）又は他の任意の適切な方法を用いて形成されることができる。メムリスティブナノファイバーの電極は、メムリスティブナノファイバーとニューラルノードの入力端子又は出力端子との間の導電性接続ポイントとして機能することができる。一部の実施形態におけるメムリスティブナノファイバーの導電性コアは、ＴｉＯ_２−Ｘ（酸素欠損酸化チタン）及び／又は他の任意の適切な材料を含むことができる。メムリスティブシェルは、少なくとも部分的に導電性コアを取り囲み、それによって２つ以上のニューラルノード間のシナプスを形成することができる。この点において、メムリスティブシェルは、メムリスティブナノファイバーに、メムリスティブナノファイバーを通って移動してきた過去の信号に応じて強度が増減する結合を形成させることができる。メムリスティブシェルは、ＴｉＯ_２及び／又はメムリスティブ特性を有する他の任意の適切な材料を含むことができる。

【0005】

前述のように、一部の実施形態では、メムリスティブニューラルネットワークにおけるメムリスティブナノファイバーは、ニューラルノード間の無作為の結合を形成することができる。したがって、２つのニューロンが結合される可能性は、ニューラルノード間の距離が増加するにつれて減少する。また、結合が行われるときにニューラルノード間に特定の結合タイプが形成されやすいように、パターン化された電場を使用することができる。更に、ニューラルネットワークは、複数層のメムリスティブナノファイバーが生成されるように、パターン化された電場又は他の適切な方法を用いて形成されることができる。このようなニューラルネットワークは、様々な層の間の信号の伝達を容易にする結合を含むことができる。特定の一実施形態では、層及び層の間の通信経路は、脳の新皮質をモデルとしている。

【0006】

本開示の様々な実施形態によるメムリスティブニューラルネットワークは、様々な種類の利点をもたらすことができる。例えば、このようなメムリスティブニューラルネットワークは、スパイクタイミング依存可塑性（ＳＴＤＰ）を可能にすることができる。また、メムリスティブニューラルネットワークは、ランダムな空間依存する結合を含むことができる。また、メムリスティブニューラルネットワークは、抑制性出力及び／又はリカレント結合を含むことができる。このように、本開示の様々な実施形態によるメムリスティブニューラルネットワークは、生物学的ニューラルネットワークに類似した特性を有することができる。

【図面の簡単な説明】

【0007】

【図1】本開示の様々な実施形態によるコアシェル型メムリスティブナノファイバーの図である。

【図2】本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワークの例の図である。

【図3】本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワークの例の図である。

【図4】本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワークの回路レイアウトのシミュレーションの例の図である。

【図5】本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワークを作成する方法の例を示すフローチャートである。

【発明を実施するための形態】

【0008】

図１を参照すると、本開示の様々な実施形態によるコアシェル型メムリスティブナノファイバー１００の例が示されている。メムリスティブニューラルネットワークの各メムリスティブナノファイバー１００は、１つ以上の電極１０３と、導電性コア１０６と、メムリスティブシェル１０９とを含むことができる。メムリスティブナノファイバー１００の電極１０３は、メムリスティブナノファイバー１００とニューラルノードの入力端子又は出力端子との間の導電性接続ポイントとして機能することができる。一部の実施形態におけるメムリスティブナノファイバー１００の導電性コア１０６は、メムリスティブ特性を有するＴｉＯ_２−Ｘ（酸素欠損（部分還元）酸化チタン）及び／又は他の任意の適切な材料を含むことができる。メムリスティブシェル１０９は、少なくとも部分的に導電性コア１０６を取り囲み、それによって２つ以上のニューラルノード間のシナプスを形成することができる。この点において、メムリスティブシェル１０９は、メムリスティブナノファイバー１００に、メムリスティブナノファイバー１００を通って移動してきた過去の信号に応じて強度が増減する結合を形成させることができる。メムリスティブシェル１０９は、ＴｉＯ_２（酸化チタン）及び／又はポリアニリンのような他の任意の適切な材料を含むことができる。

【0009】

図２を参照すると、本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワーク２００の例が示されている。メムリスティブナノファイバー１００（図１）は、ナノファイバーベースのメムリスティブニューラルネットワーク２００におけるＣＭＯＳベースのニューロンアレイ２０３Ａ〜２０３Ｅ間のメムリスティブ結合２０６Ａ〜２０６Ｊとして使用されることができる。メムリスティブナノファイバー１００は、ＣＭＯＳベースのニューロンアレイ２０３Ａ〜２０３Ｅの入力端子２１２Ａ〜２１２Ｅと出力端子２０９Ａ〜２０９Ｅとの間に無作為のメムリスティブ結合２０６Ａ〜２０６Ｊを形成することができる。

【0010】

図３を参照すると、本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワーク２００の例の図が示されている。ナノファイバーベースのメムリスティブニューラルネットワーク２００は、導電性コア１０６（ここでは導電性コア１０６Ａ〜１０６Ｄと称する）と、メムリスティブシェル１０９（ここではメムリスティブシェル１０９Ａ〜１０９Ｄと称する）とを含む、メムリスティブナノファイバー１００（ここではメムリスティブナノファイバー１００Ａ〜１００Ｄと称する）の例を示す。メムリスティブナノファイバー１００Ａ〜１００Ｄは、シリコン基板３３０に配置されたＣＭＯＳニューロン３２７Ａ及び３２７Ｂの間のメムリスティブ結合２０６Ａ〜２０６Ｊとして使用することができる。各メムリスティブシェル１０９Ａ〜１０９Ｄは、各導電性コア１０６Ａ〜１０６Ｄを部分的に取り囲み、それによって２つ以上のニューラルノード間のシナプス３１８Ａ〜３１８Ｄを形成している。入力電極３２１Ａ及び３２１Ｂと出力電極３２４Ａ及び３２４Ｂは、メムリスティブナノファイバー１００Ａ〜１００Ｄとニューラルノードの入力端子２１２Ａ〜２１２Ｅ又は出力端子２０９Ａ〜２０９Ｅとの間の導電性接続ポイントとして機能することができる。

【0011】

図４を参照すると、本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラル結合の回路４０６の例のシミュレーション４０３が示されている。回路４０６は、メムリスティブシェル１０９Ａ〜１０９Ｄと、電圧源Ｖ１ ４２１と、電圧源Ｖ２ ４０９と、抵抗器Ｒ３ ４１２と、抵抗器Ｒ４ ４１５と、抵抗器Ｒ１ ４１８とを含む、ナノファイバーベースのメムリスティブニューラル結合を示している。シミュレーション４０３は、ナノファイバーベースのメムリスティブニューラル結合を通る駆動電流によりナノファイバーの対向するメモリスタによる効果が互いに相殺させられないことを示している。

【0012】

図５を参照すると、本開示の様々な実施形態によるナノファイバーベースのメムリスティブニューラルネットワーク２００（図２）を形成する方法の一例を示すフローチャートが示されている。ボックス５０３で始まり、前駆体を用いて化学量論的ナノファイバーを合成する。化学量論的ナノファイバーは、例えば、ＴｉＯ_２（酸化チタン）及び／又は他の任意の適切な材料を含むことができる。前駆体は、例えば、チタンイソプロポキシド、チタンブトキシド、又は他の適切な前駆体であることができる。

【0013】

次に、ボックス５０６において、コアシェル型メムリスティブナノファイバー１００（図１）を形成する。コアシェル型メムリスティブナノファイバー１００（図１）は、化学量論的なＴｉＯ_２外側シェル１０９をドープされた導電性ＴｉＯ_２−Ｘコア１０６と共に電気紡糸することにより形成されることができる。次に、ボックス５０９において、コアシェル型メムリスティブナノファイバー１００（図１）に電極１０３を堆積させることができる。

【0014】

次に、ボックス５１２において、メムリスティブ特性を確認し、ナノファイバーネットワークレスポンスに基づく計算モデルを形成するためにスパイクタイミング依存可塑性を実現する。次に、ボックス５１５において、ＣＭＯＳニューロン３２７Ａ〜３２７Ｂを用いたメムリスティブナノファイバーニューラルネットワーク２００の実物試作品を形成する。その後、プロセスは終了する。

【0015】

本明細書で使用される択一的な言い回し、例えば、「Ｘ、Ｙ、又はＺの少なくとも１つ」などのフレーズは、特に記載のない限り、品目、用語などがＸ、Ｙ、又はＺのいずれか、或いはそれらの任意の組み合わせ（例えば、Ｘ、Ｙ、及び／又はＺ）であり得ること示すように一般的に用いられる文脈で理解される。したがって、このような択一的な言い回しは、特定の実施形態に少なくとも１つのＸ、少なくとも１つのＹ、又は少なくとも１つのＺが存在する必要があることを意味するものではない。

【0016】

本開示の上記実施形態は、単に本開示の原理の明確な理解のために記載された実施の例である。本開示の主旨及び原理から実質的に逸脱することなく、上述した実施形態に多くの変更及び修正がなされ得る。このような全ての修正及び変更は、本開示の範囲内に含まれることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】