(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023163775
(43)【公開日】2023-11-10
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06N 3/063 20230101AFI20231102BHJP
G06N 3/044 20230101ALI20231102BHJP
【FI】
G06N3/063
G06N3/04 145
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022074903
(22)【出願日】2022-04-28
(71)【出願人】
【識別番号】593171592
【氏名又は名称】学校法人玉川学園
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】塚田 稔
(57)【要約】
【課題】情報処理における時空間文脈の認識における利便性を向上させること。
【解決手段】120の結合荷重WSを有するフィードフォワード回路121と、1以上4の再帰結合荷重WKを有するフィードバック再帰回路122とから構成される1層のニューラルネットワーク12であって、時空間文脈の記憶の学習を実行する際には、フィードフォワード回路121の120以上の回路の結合荷重WSに対しては時空間学習則を適用した学習を実行し、フィードバック再帰回路122の4の回路の再帰結合荷重に対しては、ヘブ学習則を適用した学習を実行する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
1以上の結合荷重を有するフィードフォワード回路と、1以上の再帰結合荷重を有するフィードバック回路とから構成される1層のニューラルネットワークであって、
時空間文脈の記憶の学習を実行する際には、
前記フィードフォワード回路の前記1以上の結合荷重に対しては時空間学習則を適用した学習を実行し、
前記フィードバック回路の前記1以上の再帰結合荷重に対してはヘブの学習則を適用した学習を実行する、
前記1層のニューラルネットワークを備える、
情報処理装置。
【請求項2】
前記時空間文脈の記憶の学習を実行する際には、
前記時空間学習則を適用した学習が実行される前記フィードフォワード回路と、前記ヘブの学習則を適用した学習が実行される前記フィードバック回路との協調比率のバランスの導入が採用される。
請求項1に記載の情報処理装置。
【請求項3】
前記時空間文脈の記憶の学習を実行する際には、
前記時空間学習則の速度係数と、前記ヘブの学習則の速度係数のバランスの導入が採用される、
請求項1に記載の情報処理装置。
【請求項4】
1以上の結合荷重を有するフィードフォワード回路と、1以上の再帰結合荷重を有するフィードバック回路とから構成される1層のニューラルネットワークを備える情報処理装置が実行する情報処理方法であって、
時空間文脈の記憶の学習を実行する際には、
前記フィードフォワード回路の前記1以上の結合荷重に対しては時空間学習則を適用した学習を実行し、
前記フィードバック回路の前記1以上の再帰結合荷重に対してはヘブの学習則を適用した学習を実行する、
情報処理方法。
【請求項5】
1以上の結合荷重を有するフィードフォワード回路と、1以上の再帰結合荷重を有するフィードバック回路とから構成される1層のニューラルネットワークを備えるコンピュータに、
時空間文脈の記憶の学習を実行する処理として、
前記フィードフォワード回路の前記1以上の結合荷重に対しては時空間学習則を適用した学習を実行し、
前記フィードバック回路の前記1以上の再帰結合荷重に対してはヘブの学習則を適用した学習を実行する、
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来、多層ニューラルネットワークを用いて、画像認識を行うモデルを生成(学習)させる技術が存在する(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の特許文献1等の先行技術やディープラーニングを用いたAI技術では、ヘブ学習による特徴抽出と統計最適化の機械学習をもちいた多層ニューラルネットワークが用いられたアプローチにより時空間文脈の記憶(認識)が行われていた。しかしながら、このような従来の時空間文脈の認識においては、エネルギーコストや類似の時空間文脈の分離(精度)等の十分なニーズが満たされておらず、利便性の向上が求められていた。
【0005】
本発明は、このような状況に鑑みてなされたものであり、情報処理における時空間文脈の認識における利便性を向上させることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
1以上の結合荷重を有するフィードフォワード回路と、1以上の再帰結合荷重を有するフィードバック回路とから構成される1層のニューラルネットワークであって、
時空間文脈の記憶の学習を実行する際には、
前記フィードフォワード回路の前記1以上の結合荷重に対しては時空間学習則を適用した学習を実行し、
前記フィードバック回路の前記1以上の再帰結合荷重に対してはヘブの学習則を適用した学習を実行する、
前記1層のニューラルネットワークを備える。
【0007】
本発明の一態様の情報処理方法及びプログラムは、本発明の一態様の情報処理装置に対応する方法及びプログラムである。
【発明の効果】
【0008】
本発明によれば、情報処理における時空間文脈の認識における利便性を向上させることができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の情報処理装置の一実施形態の構成例の概要を示す図である。
【
図2】
図1の情報処理装置における入力データと出力データの一例を示す図である。
【
図3】
図1に示すフィードフォワード回路とフィードバック回路の特性の概要を示す図である。
【
図4】
図1の構成のうちフィードフォワード回路に注目した構成を示す図である。
【
図5】
図4のフィードフォワード回路における時空間学習則の特性を示すニューロンの模式図である。
【
図6】
図1の構成のうちフィードバック再帰回路に注目した構成を示す図である。
【
図7】
図8のフィードバック再帰回路におけるヘブ学習則の特性を説明する図である。
【
図8】
図9のヘブ学習則及び時空間学習則の共存する生理実験について説明する図である。
【
図9】
図10の生理実験における、シナプス荷重の長期増強の変化を示す図である。
【
図10】
図1の1層構造のフィードフォワード回路及びフィードバック再帰回路を用いたコンピュータシミュレーションとその結果の一例を示す図である。
【
図11】
図12のコンピュータシミュレーションにおける、学習速度パラメータと学習結果の関係性の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面を用いて説明する。
図1は、本発明の情報処理装置の一実施形態の構成例の概要を示す図である。
情報処理装置1は、入力部11と、本発明の一態様が適用されるニューラルネットワーク12(以下、「本ニューラルネットワーク12」と呼ぶ)と、出力部13とを備えている。
【0011】
詳細については後述するが、本ニューラルネットワーク12は、1以上の結合荷重Kを有するフィードフォワード回路121と、1以上の再帰結合荷重WSを有するフィードバック再帰回路122とから構成される1層のニューラルネットワークである。
本ニューラルネットワーク12を用いることで、後述する時空間文脈について、効率的な記憶を行うことができる。
【0012】
入力部12は、入力データIDを本ニューラルネットワーク12に入力する。
出力部13は、入力データIDが入力された際の本ニューラルネットワーク12からの出力データODを出力する。
【0013】
ここで、入力データIDは、以下のようなデータである。
まず、所定タイミング(瞬時)において、複数ビットからなる1単位のデータDA(以下、「単位データDA」と呼ぶ)が同時に、入力部12から本ニューラルネットワーク12に入力される。
なお、以下、12ビットのデータを1行として、10行からなる10×12の行列のデータが、単位データDAとして採用されているものとする。
【0014】
そして、夫々内容が異なる複数の単位データAが、時間的に順次入力部12から本ニューラルネットワーク12に入力される。
ここで、K個の相異なる単位データAが1組とされて、K個の単位データAの夫々が所定の順番に配置されて、その配置の順番に1つずつ単位データAが所定時間間隔毎に、入力部12から本ニューラルネットワーク12に入力される。
なお以下、K個の相異なる単位データAが、時間的に入力される順番に配置されたパターンを、「時間パターン」と呼ぶ。なお、以下説明の便宜上K=5とする。
【0015】
時間パターンは、Lパターン用意される。
即ち、Lの時間パターンの夫々が、入力部12から本ニューラルネットワーク12に順次入力される。
ここで、
図1に示すように、時間方向を左右方向として、時間的に最初に入力される時間パターンを一番上に配置して、その後本ニューラルネットワーク12に入力される順に上から下方向に時間パターンを配置して、時間的に最後に入力される時間パターンを一番下に配置すると、K個の単位データA(時間パターン)を1行として、L行からなるK×Lの行列のデータが生成される。このL×Kの行列のデータが、入力データIDである。
時刻(時間的な順番)を固定して、上下方向のL個の単位データAの配置に着目すると、各時刻(時間的な順番)毎に、上下方向のL個の単位データAのパターンが異なることがわかる。なお、以下、このような上下方向を仮に「空間方向」と呼び、この空間方向のL個の単位データAのパターンを、「空間パターン」と呼ぶ。なお、以下説明の便宜上L=24とする。
【0016】
このようにして、入力データID(L×Kの単位データDA)は、L個の時間パターンから構成されると共に、K個の空間パターンから構成されると把握される。このような入力データID(L×Kの単位データDA)のパターンは、複数種類(行列の各要素たる単位データAを異ならせたパターン)用意できることがわかる。そこで、入力データID(L×Kの単位データDA)のパターンを「時空間パターン」と呼ぶ。
【0017】
以上まとめると、
図2に示すように、本ニューラルネットワーク12は、入力データIDに基づいて、出力データODを出力するものである。
以下、
図2を用いて、上述の入力データIDと、出力データODの例について説明する。
図2は、
図1の情報処理装置における入力データと出力データの一例を示す図である。
【0018】
ここで、入力データIDは、以下のようなデータである。
入力データIDは、L×Kの単位データDAにより構成されており、L個の時間パターンと、K個の空間パターンを有している。
単位データDA(
図2の例においては、データA3)は、120ビットからなるデータである。この120ビットのデータは、所定タイミングにおいて、同時に、入力部11から本ニューラルネットワーク12に入力される。
【0019】
そして、夫々内容が異なる複数の単位データAが、時間的に順次入力部12から本ニューラルネットワーク12に入力される。ここで、夫々の単位データは、相互にハミング距離Hを有している。ハミング距離Hとは、2つの文字列(ここでは120ビットのビット列)のうちことなる文字数をいう。
本ニューラルネットワーク12は、例えば、120ビットのうちハミング距離H=8ビットといった、微小な差異の5つの単位データDAからなる入力データIDの時系列文脈を認識することができる。
【0020】
このようにして、入力データID(L×Kの単位データDA)は、L個の時間パターンから構成されると共に、K個の空間パターンから構成されると把握される。このような入力データID(L×Kの単位データDA)のパターンは、複数種類(行列の各要素たる単位データAを異ならせたパターン)用意できることがわかる。そこで、入力データID(L×Kの単位データDA)のパターンを「時空間パターン」と呼ぶ。
このように、時間パターン、夫々内容(意味)が異なるK=5の単位データAが入力される順番で配置されたパターンを意味している。ヒトの脳(本実施形態では、本ニューラルネットワーク12)にとっては、この時間パターンがいわゆる文脈として把握されることになる。
L個の時間パターンと、K個の空間パターンから構成される入力データは、入力データIDは、時空間パターンを有していることから、入力データIDの構成を時空間文脈パターンと適宜呼ぶ。
【0021】
1つの時間パターン(5個の単位データDA)が入力部11から本ニューラルネットワーク12に入力されると、120ビットを単位とするデータDP(以下、単位データDP)が出力される。
即ち、L=24の時間パターンが
図2の配置順に順次入力されると、
図2に示すようなL=24の単位データDPが空間方向に配置され、これが出力データODとなる。このように出力データODは、入力データIDの時空間パターンに対応して、空間パターンが形成される。
【0022】
ここで、本ニューラルネットワーク12が有するフィードフォワード回路121と、フィードバック再帰回路122について簡単に説明する。
【0023】
フィードフォワード回路121は、時空間学習則を適用する回路である。
詳しくは後述するが、時空間学習則は、以下の式(1)に示される性質を有している。
【0024】
【0025】
フィードバック再帰回路122は、ヘブ学習則を適用する回路である。
詳しくは後述するが、ヘブ学習則は、以下の式(2)に示される性質を有している。
【0026】
【0027】
そして、フィードフォワード回路121と、フィードバック再帰回路122は、以下の式(3)で示すように、協調比率αで結合されている。
【数3】
・・・(3)
【0028】
これにより、入力データIDの時空間文脈パターンは、その時空間文脈パターンにより出力データODの空間パターンの違いとして出力される。換言すれば、本ニューラルネットワーク12は、入力データIDの時空間文脈パターンに応じて、異なる出力データODを出力することができる、時空間文脈パターンを認識するニューラルネットワークなのである。
【0029】
瞬時(所定時刻)に着目すると、単位データAを構成する120ビットの夫々は、同時に入力部11から本ニューラルネットワーク12に入力される。即ち、ヒトの脳に模すると、入力部11は120個の入力細胞から構成されている部位に相当すると把握することができる。
そして、本ニューラルネットワーク12内の結合荷重WS及び再帰結合荷重WKの夫々は、ヒトの脳に模すると、フィードフォワードのシナプス荷重及びフィードバックのシナプス荷重の夫々に相当すると把握することができる。
また、出力部13は、ヒトの脳に模すると、120個の出力細胞から構成されている部位に相当すると把握することができる。
【0030】
次に、次に、1以上の結合荷重WSを有するフィードフォワード回路121及び1以上の再帰結合荷重WKを有するフィードバック再帰回路122について、
図3乃至
図9を用いて説明する。
【0031】
まず、フィードフォワード回路121及びフィードバック再帰回路122の夫々の特性について簡単に説明する。
図3は、
図1に示すフィードフォワード回路とフィードバック回路の特性の概要を示す図である。
【0032】
フィードフォワード回路121は、
図3(A)に示すパターン分離機能(能力)に優れている。
即ち、
図3(A)に示すように、インプット(input)のAパターンとA’パターンは、重複している領域が存在する。これは、インプット時におけるAパターンとA’パターンの夫々に対応するビット列が所定程度だけ類似していることを示している。
これに対し、
図3(A)のアウトプット(output)のAパターンとA’パターンは、重複しておらず離れている。これは、アウトプット時におけるAパターンとA’パターンの夫々に対応するビット列が類似していないことを示している。
このように、フィードフォワード回路121では、時空間学習則が適用され、所定程度だけ類似するパターンを入力しても、類似していない出力がなされるのである。
【0033】
フィードバック再帰回路122は、
図3(B)に示すパターン補完機能(能力)に優れている。
即ち、
図3(B)に示すように、インプット(input)のAパターンとA’パターンは、重複している領域が存在する。これは、インプット時におけるAパターンとA’パターンの夫々に対応するビット列が所定程度だけ類似していることを示している。
これに対し、
図3(B)のアウトプット(output)のAパターンとA’パターンは、インプットの所定程度と比較して更に重複している。これは、アウトプット時におけるAパターンとA’パターンの夫々に対応するビット列が極めて類似していることを示している。
このように、フィードバック再帰回路122では、ヘブ学習則が適用され、所定程度だけ類似するパターンを入力しても、極めて類似した出力がなされるのである。
【0034】
本ニューラルネットワーク12は、パターン分離機能に優れたフィードフォワード回路121と、パターン補完機能に優れたフィードバック再帰回路122とを1層で結合することで、優れた時空間文脈パターンの認識を実現することができるのである。
以下、パターン分離機能に優れたフィードフォワード回路121と、パターン補完機能に優れたフィードバック再帰回路122との性質についてより詳細に説明する。
以下、
図4乃至7を用いて、フィードフォワード回路121の特性を、時空間学習則の生理実験結果を用いてより詳細に説明する。
【0035】
図4は、
図1の構成のうちフィードフォワード回路に注目した構成を示す図である。
図1を用いて説明したように、
図4においても、入力データIDのある単位データIDは、フィードフォワード回路121に対して同時に入力される。
同時に入力される単位データDAは、フィードフォワード結合されたフィードフォワード回路121において、上述の式(1)に示したΔW
S
ijの時空間学習則を適用される。詳しくは後述するが、パラメータΔW
S
ijとは、シナプスW
ijの結合荷重WSの変化量である。なお、以下、ニューラルネットワーク12内の回路やその回路同士の接続について、人間の脳に対応付けて、シナプスの用語を用いて適宜呼ぶ。
【0036】
フィードフォワード回路121、即ち、時空間学習則の特性について説明する。
図5は、
図4のフィードフォワード回路における時空間学習則の特性を示すニューロンの模式図である。
【0037】
時空間学習則は、入力細胞(シナプス)間の同期率(I
ij(t))に依存して、シナプス荷重変化(可塑性)を誘起する。
具体的には、
図5に示すように、i番目の入力x
iから、時刻t……t
-mに示す所定タイミングで信号がシナプスW
ijの重みの信号が入力される。このとき、例えば、
図5に示すように、例えばx
kからシナプスW
kjの重みの信号も入力される。
このように入力された信号に対して、上述の式(1)に示す時空間学習がなされる。
なお、式(1)において、h(x)は以下に示す式(4)の通りである。
【0038】
【0039】
その結果、
図5に示すように、複数のシナプスからの同期が発生した同期率に応じて3タイプの荷重変化を生じる。同期率が高い場合(xがθ
1以上)は正の荷重変化、同期率が低い場合は負の荷重変化、同期率が中間の場合(xがθ
2以下)は負の荷重変化、同期率が中間の場合両者(xがθ
1より小さくθ
2より大きい)は無変化である。
【0040】
このように、時空間学習則は、入力細胞間の発火の同期性に基づいてシナプス加重変化を誘起し、時空間文脈のパターン分離能力に優れている。また、時空間学習則は、後述するフィードバック再帰回路122とは異なり、出力細胞の発火に直接関係しない、という性質を有する。
即ち、フィードフォワード回路121において、入力時空間パターン間の違いを感受し、
図3(A)に示すパターン分離機能(能力)が発揮されるのである。
【0041】
次に、フィードフォワード回路121に適用される時空間学習則についての生理実験結果について説明する。
【0042】
なお、本実験の詳細については、Tsukada M, Aihara T, KobayashiY, Shimazaki H : Spatial analysis of spike-timing dependent LTP and LTD in the CA1 area of hippocampal slices using optional imaging. Hippocampus, 15,104-109, 2005.に記載の図を参照して説明する。
海馬CA1回路を用いた実験(海馬スライス実験)における入力細胞間の同期発火によるシナプス荷重の長期増強と非同期による長期抑圧の生理実験結果を示している。
具体的には、同論文には、海馬CA1回路のスライス図と、Stim.A及びStim.Bの位置関係が図示されている。
【0043】
同論文に示されたStim.A及びStim.Bにおける刺激タイミングの例が図示されている。
Stim.Aにおいて、2s(秒)毎に、刺激する。
また、Stim.Bにおいて、Stim.Aから時間差τだけオフセットし(ずらし)、2s(秒)毎に、刺激する。
即ち、τ=0の刺激は「同期」の刺激であって、τ=0でない刺激は「非同期」の刺激である。
【0044】
同期の刺激を与えた場合、LTP/LTDは200%程度となり、長期増強(LTP)していることがわかった。
非同期の刺激を与えた場合、τ=+50ms、+10ms、-10ms、-50msのとき、LTP/LTDは100%程度となり、長期増強(LTP)も長期抑制(LTD)もおきていないことがわかった。
また、非同期の刺激を与えた場合、τ=+20ms、-20msのとき、LTP/LTDは70%程度となり、長期抑制(LTD)していることがわかった。
【0045】
このように、海馬CA1回路を用いた実験(海馬スライス実験)により、同期刺激によるシナプス荷重変化(可塑性)の長期増強(LTP)が存在することが分かっている。
【0046】
以上、フィードフォワード回路121の特性を、時空間学習則の生理実験結果を用いてより詳細に説明した。
以下、
図8及び9を用いて、フィードバック再帰回路122の特性を、ヘブ学習則及び時空間学習則の共存する生理実験結果を用いてより詳細に説明する。
【0047】
図8は、
図1の構成のうちフィードバック再帰回路に注目した構成を示す図である。
フィードバック再帰回路122は、次の2つのタイプの回路を含む。タイプ1は出力細胞側から入力細胞側に再帰的結合荷重WSをもつ。タイプ2は出力細胞の発火が直接樹状突起の入力側に逆伝搬し結合荷重WSを持つ。
いずれも、出力細胞から入力側にフィードバックし出力発火のタイミングに依存した荷重変化ΔW
ij
Hを起こす点においてヘブ学習則が適用される。。
【0048】
なお、
図1を用いて説明したように、
図8においても、入力データIDのある単位データDAは、同時に入力される。また、
図1を用いて説明したように、フィードフォワード回路と共同して働きそのバランスは強調比率αである。フィードフォワード回路の荷重SKとフィードバックの荷重HKの比がα:1-αの割合で加算される。
【0049】
フィードバック再帰回路122、即ち、ヘブ学習則の特性について説明する。
図9は、
図8のフィードバック再帰回路におけるヘブ学習則の特性を説明する図である。
図9(A)には、
図8のフィードバック再帰回路122におけるヘブ学習則の特性を示すニューロンの模式図が示されている。
図9(B)には、
図8のフィードバック再帰回路122におけるヘブ学習則の特性、即ち、スパイクタイミングの長期増強及び長期抑制の例が示されている。
【0050】
フィードバック再帰回路122の中には出力細胞の発火によるスパイクタイミング依存性の長期増強及び長期抑圧(spike-timing-dependent LTP and LTD,STD・LTP/LTD)の現象も含まれる。
具体的には、
図8(B)に示す、スパイクタイミングの長期増強及び長期抑制が行われる。
【0051】
このように、ヘブ学習則は、出力細胞(後段の細胞)の発火に依存してその時の入力情報を自己組織化する。なお、出力細胞が発火しなければ何も起こらない、即ち、長期増強も長期抑圧もされない。この回路網の記憶情報処理は、類似なものを一つのパターンに代表して表現する能力とパターン補完機能を持つことが知られている。即ち、ヘブ学習則に従う回路網は、一部の欠けた情報が入力されても元の全体の情報を想起してくれる。なお、ヘブ学習則に従う回路網がパターン補完機能を持つことの詳細については、Amari, S.: Learning patterns and pattern sequences by self-organizing nets of threshold elements Institute of Electrical and Electronics Engineers Transactions C-21 (1972) 1197-1206.、及び、Hopfield, J. J.: Neural networks and physical systems with emergent collective computational properties. Proceedings of National Academy of Science (USA) 79 (1982) 2554-2558.を参照されたい。
【0052】
このように、ヘブ学習則は、入力細胞(前段の細胞)と出力細胞(後段の細胞)間の発火のスパイクタイミングに基づいてシナプス加重変化を誘起し、のパターン補完能力に優れている。また、時空間学習則は、このヘブ学習則とは異なり、出力細胞の発火に直接関係なく、類似なパターンを分離する能力がある。
即ち、ヘブ学習則を用いたフィードバック再帰回路122において、
図3(B)に示す共通パターンへの収束機能とパターン補完機能(能力)が発揮されるのである。
【0053】
次に、
図10を用いて、フィードバック再帰回路122に適用されるヘブ学習則及び時空間学習則の共存する生理実験結果について説明する。
図10は、
図9のヘブ学習則及び時空間学習則の共存する生理実験について説明する図である。
図11は、
図10の生理実験における、シナプス荷重の長期増強の変化を示す図である。
【0054】
図10及び
図11は、時空間学習則の入力刺激の同期性に基づくシナプス荷重の長期増強と、ヘブ学習則の出力細胞の発火による長期増強とが共存している生理実験結果を示している。
具体的には、
図10に示すように、ニューロンの軸索(axon)上の200um離れた2点に、刺激A及び刺激Bを同期して与える。
このとき、出力細胞の発火における逆伝搬スパイクのブロックの有無を異ならせた2つの実験において、シナプス荷重の長期増強の変化について測定する生理実験を行った。
【0055】
図11に示すグラフは、縦軸がシナプス荷重の長期増強(%)、横軸が経過時間(分)で示す平面に、測定結果の平均値(Mean)及び標準誤差(S.E.M.、Standard Error of the Mean)を各マーカで示したものである。
図11に示す黒塗りのマーカは、出力細胞の発火における逆伝搬のブロックを行った測定の結果である。
図11に示す白抜きのマーカは、出力細胞の発火における逆伝搬のブロックを行わなかった測定の結果である。
【0056】
図11に示すように、出力細胞の発火における逆伝搬のブロックを行った測定の結果によれば、刺激の後、シナプス荷重の長期増強は120%程度となっている。
即ち、
図10の出力細胞の発火における逆伝搬のブロックを行った測定の結果、入力刺激の同期性に基づくシナプス荷重の長期増強が起きていることがわかる。
【0057】
また、
図11に示すように、出力細胞の発火における逆伝搬のブロックを行わなかった測定の結果によれば、刺激の後、シナプス荷重の長期増強は150%程度となっている。このシナプス荷重の長期増強は、上述の
図10の出力細胞の発火における逆伝搬のブロックを行った測定の結果より大きい。
これは、
図10の出力細胞の発火における逆伝搬のブロックを行わなかった測定の結果、入力刺激の同期性に基づくシナプス荷重の長期増強に加え、出力細胞の発火による長期増強が起きていることを示している。
即ち、
図10の出力細胞の発火における逆伝搬のブロックを行った測定の結果、入力刺激の同期性に基づくシナプス荷重の長期増強と、ヘブ学習則の出力細胞の発火による長期増強とが共存していることがわかる。
より具体的には、海馬CA1回路網(海馬スライス実験)において、フィードフォワード回路121における時空間学習則とフィードバック再帰回路122におけるヘブ学習則(スパイクタイミング長期増強)が共存していることがわかる。
本実験の詳細については、Tsukada M, Yamazaki, Y., Kojima,H. : Interaction between the spatiotemporal learning rule (STLR) and Hebb type (HEBB) in single pyramidal cells in the hippocampal CA1 area. Cogn. Neurodyn., 1, 157-167, 2007.に記載されている。
このように、生理実験により、フィードフォワード回路121とフィードバック再帰回路122とが実際の海馬CA1回路網において共存していることがわかる。
【0058】
以上、
図8及び9を用いて、フィードバック再帰回路122の特性を、ヘブ学習則及び時空間学習則の共存する生理実験結果を用いてより詳細に説明した。
このように、生理実験により、実際の1つの細胞において、時空間学習則と、ヘブ学習則の性質が共存している。そこで、発明者は、フィードフォワード回路121及びフィードバック再帰回路122を1層構造で協調(結合)させ、それぞれの荷重を協調度αのバランスで加算し、それによって時空間文脈パターンを記憶(認識)させることを想到した。
【0059】
発明者は、フィードフォワード回路121及びフィードバック再帰回路122を1層構造で協調させることで、時空間文脈パターンを記憶(認識)させることができるかの検証のため、コンピュータシミュレーションを行った。
図12は、
図1の1層構造のフィードフォワード回路及びフィードバック再帰回路を用いたコンピュータシミュレーションとその結果の一例を示す図である。
図12の左側に示すように、コンピュータシミュレーションの入力ベクトルとして、
図1及び
図2を用いて説明した単位データDAの120ビットを、12×10画素の1画像とし、各単位データDAの間の違い(ハミング距離)は、10ビットを用意した。
図12の中央に示すように、時空間文脈パターンは、複数(ここでは5個)の単位データDAの配列を異ならせた24系列を用意した。
そして、単位データDAの120ビットを同時に入力する120個のニューロン数の、フィードフォワード回路121及びフィードバック再帰回路122に入力させ、発火系列を検証した。
【0060】
120個の細胞の発火系列を
図12の右側のグラフに示す。
図12の右側のグラフの縦軸は、120個のニューロンの夫々の通し番号(#neuron)である。
図12の右側のグラフの横軸は、120の時空間文脈パターンを複数回繰り返し入力した回数(Time step)である。
図12の右側のグラフに示すように、ある1系列の時空間文脈パターンを複数回繰り返し入力することにより、Time(step)が20乃至30の領域(枠線で囲った領域)に示すように、発火パターン(あるTime(step)における120個のニューロンの夫々の発火の有無)が安定していることがわかる。
このような、安定の程度(安定性)は、以下の式(5)による収束判定で評価することができる。
【0061】
【0062】
図12の右側のグラフに示すTime(step)が20乃至30の領域(枠線で囲った領域)における安定性(収束性)は0.5%以下とした。
このように、フィードフォワード回路121及びフィードバック再帰回路122を1層構造で協調させた回路(
図1のニューラルネットワーク12)は、極めて安定して時空間文脈パターンを記憶(認識)することができることが検証された。
以下、
図12のコンピュータシミュレーションの結果の要点について説明する。
【0063】
まず、第1に、時空間学習則を用いたフィードフォワード回路121とヘブ則を用いたフィードバック再帰回路122の協調比率αの導入が第一に重要である。αは、0.6以上かつ0.95以下の領域とすることが時空間文脈記憶を作るために好適である。更に言えば、協調比率αは、0.75以上かつ0.95以下の領域とすると、更に好適である。
即ち、フィードフォワード回路121とヘブ則を用いたフィードバック再帰回路122の結合回路網たるニューラルネットワーク12において、時空間学習則を用いたフィードフォワード回路121の比重を、ヘブ則を用いたフィードバック再帰回路122より強めると、好適である。
以下、協調比率αの次に重要な学習速度パラメータのバランスについて説明する。
【0064】
第2に、学習速度パラメータにより、無構造記憶と構造依存性記憶(フラクタル的構造)の領域が存在する。
即ち、フィードフォワード回路121における時空間学習則の学習速度ηSと、フィードバック再帰回路122におけるヘブ則の学習速度ηHのバランスにより、無構造記憶と構造依存性記憶(フラクタル的構造)の2種類の性質が発生する。
参考例として、以下の式(5)の変域において、第1の領域RAとして、無構造記憶の性質が発生する。
【0065】
【0066】
また、参考例として以下の式(7)の変域において、第2の領域RBとして、構造依存性記憶(フラクタル的構造)の性質が発生する。
【0067】
【0068】
図13は、参考例として
図12のコンピュータシミュレーションにおける、学習速度パラメータと学習結果の関係性の一例を示す図である。
図13の各グラフは、縦軸が時空間学習則の訓練速度係数η
S(
図13においてはη
STLR)、横軸がヘブ則の訓練速度係数η
H(
図13においてはη
HEB)で示されている。
図13の各グラフは、フィードフォワード回路121における時空間学習則の訓練速度係数η
Sと、フィードバック再帰回路122におけるヘブ則の訓練速度係数η
Hの変域を異ならせた場合における学習結果を示している。
なお、
図13の関係性を得るにあたり、協調比率αは0.9とされている。
【0069】
図13の左列上側のグラフには、ヘブ則によるパターン補完の程度が示されている。
図13の左列上側のパターン補完の程度の例は、各訓練速度係数η
S及びη
Hに依存して、変化している。
図13の左列下側のグラフは、
図13の左列上側のグラフについて閾値(Threshold)θ
errorが0.5%未満であるか否かにより、2つの領域に区別されたものである。
【0070】
図13の右列上側のグラフには、時空間学習則によるパターン分離の程度が示されている。
図13の右列上側のパターン分離の程度の例は、各訓練速度係数η
S及びη
Hに依存して、変化している。
図13の右列下側のグラフは、
図13の右列上側のグラフについて閾値(Threshold)θ
varietyが80%未満であるか否かにより、2つの領域に区別されたものである。
【0071】
図13の中央下側のグラフは、ヘブ学習則の共通パターンへの収束性とパターン補完機能及び時空間学習則のパターン分離機能の夫々における、2領域の夫々について、掛け合わせたものである。
掛け合わせた結果は、領域RAと領域RBの2領域に区分される。
ここで、領域RAは、上述の式(5)の変域であって、無構造記憶の性質が発生する。
また、領域RBは、上述の式(6)の変域であって、構造依存性記憶(フラクタル的構造)の性質が発生する。
【0072】
このように、
図13に示す、
図12のコンピュータシミュレーションの結果から、各学習速度パラメータ・バランスにより、無構造記憶及び構造依存性記憶(フラクタル的構造)といった性質の異なる学習がなされることがわかる。
【0073】
ここで、以下、時空間学習則とヘブ則の情報処理の特徴の理論的根拠について説明する。
まず、神経細胞iの内部状態、入力ベクトル、荷重変化ベクトルについて、式(8)のように表現するものとしてヘブ学習則について説明する。
【0074】
【0075】
ヘブ学習則の神経細胞iの内部状態の時間遷移は次の式(9)で与えられる。
【0076】
【0077】
ここで、次に示す式(10)の夫々のパラメータは、時刻th及びth+1の夫々における正規化された入力ベクトルである。
【0078】
【0079】
また、次に示す式(11)の夫々のパラメータは、時刻th及びth+1の夫々における正規化された神経細胞iの内部状態である。
【0080】
【0081】
また、次に示す式(12)のパラメータは、シナプス荷重変化ベクトルの大きさである。
【0082】
【0083】
この結果から、ヘブ則の出力は入力の時空間文脈の共通要素に収束する特徴を持つ。この性質はフィードバック再帰回路122に組み込まれてパターン補完の特徴に寄与している。
【0084】
つぎに、神経細胞iの内部状態を式(7)のように表現するものとして時空間学習則について説明する。
神経細胞iの内部状態の時間遷移は次の式(13)で与えられる。
【0085】
【0086】
ここで、次に示す式(14)のパラメータは、時空間学習則によるシナプスWijの可塑性を支配するシナプス入力細胞間の同期度の強さである。
【0087】
【0088】
また、次に示す式(15)の夫々のパラメータは、同期度の強さを区別する閾値である。
【0089】
【0090】
また、式(14)の夫々のパラメータは、以下の式(16)に示す関係にある。
【0091】
【0092】
この結果は、式(14)の夫々のパラメータ、すなわち、時空間学習則の入力細胞の発火の同期度の閾値によって出力細胞の内部状態を制御できることを示している。
ここで、時刻tkにおける出力細胞iの荷重変化の総和を以下に示す式(17)と表示するものとする。
【0093】
【0094】
このとき、以下に示す式(18)の条件を考える。
【0095】
【0096】
この条件では訓練ベクトル(入力ベクトル)を学習すると同時にその逆ベクトルも強く学習することによって、時空間文脈の共通要素に対する感受性を低下させ異なる要素に対する感受性が増加する。このことは、時空間学習則が文脈パターンの分離能力を一層高める原因となっている。
【0097】
このように、本実施形態では、本ニューラルネットワーク12のフィードフォワード回路121のシナプス荷重Kに対してパターン分離能力の高い時空間学習則を適用し、フィードバック再帰回路122の再帰結合荷重WSに対してはパターン補完能力の高いヘブ学習則を適用した。これにより、フィードフォワード回路121及びフィードバック再帰回路122からなる1層の記憶及び学習をする本ニューラルネットワーク12よる時空間文脈の記憶が実現された。
【0098】
以下、上述した、時空間文脈の記憶(認識)の実現方法とその根拠についてまとめる。
【0099】
第1に、フィードフォワード回路121には時空間文脈パターンの分離機能の高い時空間学習則を適用した。その機能は、
図6及び
図7を用いて説明した生理実験結果、
図12及び
図13を用いて説明した1層ニューラルネットワークによるコンピュータシミュレーション結果、並びに、その理論モデル結果の三位一体の研究によって証明された。
【0100】
第2に、フィードバック再帰回路122の再帰結合荷重WSには共通パターンへの収束性とパターン補完機能の高いヘブ学習則が適用されている。その機能は、生理実験(Amari, S.: Learning patterns and pattern sequences by selforganizing nets of threshold elements. IEEE Trance. Computers, C-21(11), 1197-1206, 1972. Nakano, K. : Associatron-A model of associative memory. IEEE Trans., SMC-2, 380-388, 1972.、及び、Hopfield, J. J. : Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, 79, 2554-2558, 1982.)、理論の文献(Nakazawa K,McHugh TJ.Wilson MA, Tonegawa S:NMDA receptor, place cells and hippocampal spatial memory. Nature Reviews Neuroscience 5:361-372.,2004 )、及び、上述の時空間学習則とヘブ則の情報処理の特徴の理論的根拠によって明らかである。
【0101】
第3に、フィードフォワード回路121及びフィードバック再帰回路122からなる1層の本ニューラルネットワーク12の時空間文脈の記憶の実現では、
図11及び
図12を用いて説明した生理実験によって、時空間学習則とヘブ学習則とが共存することを示した(Tsukada M, Yamazaki, Y., Kojima,H. : Interaction between the spatiotemporal learning rule (STLR) and Hebb type (HEBB) in single pyramidal cells in the hippocampal CA1 area. Cogn. Neurodyn., 1, 157-167, 2007.)。
【0102】
更に、
図12及び
図13を用いて説明したように、コンピュータシミュレーションによって次の事項を明らかにした。
まず、時空間学習則を用いたフィードフォワード回路121とヘブ則を用いたフィードバック再帰回路122の協調比率αのバランスが重要である。
【0103】
次に、学習速度パラメータ(時空間学習則の訓練速度係数ηS及びヘブ学習則の訓練速度係数ηH)のバランス条件が重要である。
【0104】
さらに、上述の時空間学習則とヘブ則の情報処理の特徴の理論的根拠に示したとおり、時空間学習則の入力細胞の発火の同期度の閾値(θ1,θ2)によって出力細胞の内部状態を制御できることがわかる。
特に、上述の式(17)の条件では、時空間文脈の共通要素に対する感受性を低下させ異なる要素に対する感受性を増加させる。即ち、系列の文脈の異なるパターンに感度が高いことを示している。
【0105】
一方、ヘブ学習則の出力は入力の時空間文脈の共通要素に収束する。このことは、フィードバック再帰回路122のヘブ学習則がパターン補完の特徴を持つ原因になっているためである。
【0106】
このように、本ニューラルネットワーク12は、フィードフォワード回路121及びフィードバック再帰回路122の1層で、時空間文脈パターンの記憶(認識)を実現することができるのである。
ここで、従来技術と比較しつつ、本ニューラルネットワーク12が有する特徴について説明する。
【0107】
従来のディープラーニングを用いたAI技術ではヘブ学習による特徴抽出と統計最適化の機械学習をもちいた多層ニューラルネットワークによって部時空間文脈記憶を実現していた。
このため、次の欠点があった。
【0108】
第1に、ニューラルネットワークを多重に結合するため、学習・記憶回路では長時間の計算時間と莫大なエネルギー消費が必要であった。これは、応用の対象毎に必要となり、各方面への応用、特に、例えば自動運転中の再学習に応用する際には、エネルギー問題が顕著となる欠点があった。
【0109】
第2に、従来のAI技術における画像処理は、ヘブ学習がパターン補完機能に強いことから、ヘブ学習による多重層を用いた画像の特徴抽出に基づいていた。しかしながら、このようなパターン補完機能に強いヘブ学習だけでは、類似な時空間文脈を分離ができにくい欠点があった。
【0110】
第3に、ディープラーニングモデルは問題解決の入出力の理論的因果律や、構造と機能の関係が明確とならない。そのため、機能と構造を結び付けたコントロールができないという欠点があった。
【0111】
第4に、従来のAIの応用例として、例えば、病気の診断応用では専門家の既存のデータを教師データ等とすることで、専門家の再現されたモデル、最適処理のモデルを作ることが可能である。しかしながら、上述の構造と機能と情報表現の因果関係を結びつけることができない欠点があるため、仮に最適処理に利用できたとしても、本質的な病因解明や治療に役立たないという欠点があった。
【0112】
これらの従来のAI技術の欠点に対して、本ニューラルネットワーク12は以下に示す優位性を有している。
【0113】
第1に、上述したように、本ニューラルネットワーク12は、時空間学習則を用いたフィードフォワード回路121とヘブ学習則を用いたフィードバック再帰回路122を結合した1層の構造を有している。これにより、上述の現在のAI技術(ディープラーニング等)の多重層情報処理の欠点を解決することができる。
【0114】
即ち、本ニューラルネットワーク12は、1層構造のため、エネルギー問題の欠点が解消する。
具体的には、従来のAI技術(ディープラーニング等による学習)では記憶するために数百万回の学習を繰り返して実施するため多大なエネルギー消費を余儀なくされる。本ニューラルネットワーク12は、パターン分離とパターン補完を結合した1層ニューラルネットワークで記憶するためエネルギー消費の観点から極めて経済的である。
【0115】
また、本ニューラルネットワーク12は、パターン分離とパターン補完の2つの機能を個別に有し、その協調比率αを有する。これにより、本ニューラルネットワーク12は、構造と機能とが密接に関係している。
より具体的には、本ニューラルネットワーク12は、脳の神経回路網の構造と機能、さらには情報表現の関係が密接に結びついている。これにより、構造-機能-情報表現を結び付けたシステムコントロールが可能となる。
【0116】
また、本ニューラルネットワーク12は、脳の本質的な理解に活用することができる。
より具体的には、現在のAI技術による応用(例えば脳の病気の診断)はある程度の精度を持ち実用化されている。しかしながら、そのAIモデルは、脳の解剖学的構造や機能さらには情報表現とは無関係である。そのため、脳疾患の病因解明や治療には役立たない。
しかしながら、本ニューラルネットワーク12は、実際の脳の生理学的神経回路網の構造と機能に基づいているため、脳疾患の原因究明と治療に役立つといえる。
【0117】
また、本ニューラルネットワーク12を用いたAI技術は人間の脳と類似な構造と機能を持つため、人間とマシンのコミュニケーションやコントロールが可能であり、人間に優しいロボットの開発に役立たばかりでなくロボットの暴走を防ぐことができるといえる。
【0118】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものとみなす。
【0119】
また、
図1に示すシステム構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0120】
また、
図1に示すブロック図は、例示に過ぎず、特に限定されない。即ち、上述した処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックやデータベースを用いるのかは、特に
図1の例に限定されない。
【0121】
また、機能ブロック及びデータベースの存在場所も、
図1に限定されず、任意でよい。
図1の例では、全ての処理は、
図1の情報処理装置1により行われる構成となっているが、これに限定されない。例えば
図1の情報処理装置1側に配置された機能ブロックや図示せぬデータベースの少なくとも一部を、図示せぬ他の情報処理装置が備える構成としてもよい。
【0122】
また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
即ち、ニューラルネットワーク12は、フィードフォワード回路121と、フィードバック再帰回路122とで構成されているものとしたが、これらの回路は、ハードウェア的にもソフトウェア的にも実現され得る。
具体的には例えば、各回路は、電気素子により構成されていてもよい。また例えば、各回路は、演算するプログラムでよい。
即ち、各回路は、GPU(Graphics Processing Unit)や、FPGA(Field-Programmable Gate Array)、更には、専用に設計されたASIC(Application Specific Integrated Circuit)等、所定の形態の素子において機能するものであってもよく、これらの組合せにおいて機能するものであってもよい。
【0123】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0124】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
【0125】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0126】
以上をまとめると、本発明が適用される情報処理装置は、次のような構成を有していれば足り、各種各様な実施の形態を取ることができる。
【0127】
即ち、本発明が適用される情報処理装置(例えば
図1の情報処理装置)は、
1以上(例えば
図1においては120)の結合荷重(例えば
図1の結合荷重WS)を有するフィードフォワード回路(例えば
図1のフィードフォワード回路121)と、1以上(例えば
図1においては4)の再帰結合荷重(例えば
図1の再帰結合荷重WK)を有するフィードバック回路(例えば
図1のフィードバック再帰回路122)とから構成される1層のニューラルネットワーク(例えば
図1のニューラルネットワーク12)であって、
時空間文脈の記憶の学習を実行する際には、
前記フィードフォワード回路の前記1以上の結合荷重に対しては時空間学習則を適用した学習(例えば明細書における式(1)の学習)を実行し、
前記フィードバック回路の前記1以上の再帰結合荷重に対してはヘブの学習則(例えば明細書における式(2)の学習)を適用した学習を実行する、
前記1層のニューラルネットワークを備える。
これにより、情報処理における時空間文脈の認識における利便性を向上させることができる。
【0128】
前記時空間文脈の記憶の学習を実行する際には、
前記時空間学習則を適用した学習が実行される前記フィードフォワード回路と、前記ヘブの学習則を適用した学習が実行される前記フィードバック回路との結合バランス(協調比率)αが最重要である。
【0129】
次に前記時空間文脈の記憶の学習を実行する際には、
前記時空間学習則の速度係数ηSと、前記ヘブの学習則の速度係数ηHのバランスが重要である。
次の式(18)の範囲内の値が採用される、こともできる。
【0130】
【符号の説明】
【0131】
1・・・情報処理装置、11・・・入力部、12・・・ニューラルネットワーク、13・・・出力部、121・・・フィードフォワード回路、122・・・フィードバック再帰回路