知財求人 - 知財ポータルサイト「IP Force」
特許7589818演算装置、ニューラルネットワークシステム、ニューロンモデル装置、演算方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】演算装置、ニューラルネットワークシステム、ニューロンモデル装置、演算方法およびプログラム
(51)【国際特許分類】
G06N 3/049 20230101AFI20241119BHJP
【ＦＩ】
G06N3/049
【請求項の数】
10
(21)【出願番号】P 2023539531
(86)(22)【出願日】2021-08-06
(86)【国際出願番号】 JP2021029277
(87)【国際公開番号】W WO2023013018
(87)【国際公開日】2023-02-09
【審査請求日】2024-02-01
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】酒見 悠介
(72)【発明者】
【氏名】細見 岳生
【審査官】佐藤 直樹
(56)【参考文献】
【文献】国際公開第２０１３／１１１２００（ＷＯ，Ａ１）
【文献】宮田和彦 ほか，走査型ニユーラルネットワークによる不特定話者音声認識，日本音響学会平成５年度春季研究発表会講演論文集，－１－，社団法人日本音響学会，1999年09月13日，p.119-120
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０４９
(57)【特許請求の範囲】
【請求項1】
スパイクを受信する入力時間区間と、発火してスパイクを送信する出力時間区間とが区分されていて、前記出力時間区間内で発火して、前記入力時間区間内の発火が制限されたニューロンモデルを備える演算装置。
【請求項2】
前記ニューロンモデルが前記出力時間区間内において発火する発火時刻は、前記入力時間区間の最後の時刻における前記ニューロンモデルの膜電位の関数である、請求項１に記載の演算装置。
【請求項3】
前記ニューロンモデルは、前記入力時間区間の最後の時刻における前記ニューロンモデルの膜電位が予め定められた範囲外である場合の発火を制限する、請求項２に記載の演算装置。
【請求項4】
前記ニューロンモデルは、前記出力時間区間内における前記ニューロンモデルの膜電位が前記ニューロンモデルにそれぞれ固有の傾きによって増加するように形成されている、
請求項１に記載の演算装置。
【請求項5】
前記ニューロンモデルは、前記出力時間区間の後縁で前記ニューロンモデルの膜電位が所定の条件を満たす場合に強制発火するか、又は同場合に発火しないように形成されている、
請求項４に記載の演算装置。
【請求項6】
前記ニューロンモデルは、前記出力時間区間内において前記ニューロンモデルの膜電位が所定の条件を満たす場合に矩形波状の前記スパイクの送信を開始して、前記出力時間区間を終える時刻で前記スパイクの送信を中断する、
請求項４に記載の演算装置。
【請求項7】
ニューラルネットワーク本体と、学習手段とを備え、発火させることに関連付けて、信号を受信する入力時間区間と、信号を送信することが許可された出力時間区間とが区分されていて、
前記ニューラルネットワーク本体を構成する複数の層のうち、一部の層が発火させることに関連付けて、信号を受信することおよび送信することが許可された入出力時間が設定されており、
前記ニューラルネットワーク本体は、
入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させる指標値計算手段と、
前記指標値に基づいて、前記入力時間区間終了後の出力時間区間内に信号を出力する信号出力手段と、
を備えるニューロンモデル
を備え、
前記学習手段は、前記信号に対する重み係数の学習を行う、
ニューラルネットワークシステム。
【請求項8】
強制発火させることに関連付けて、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間とが区分されていて、前記入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させる指標値計算部と、
前記信号出力の指標値に基づいて発火させることによって前記出力時間区間内にスパイクを送信する信号出力部と
を備えるニューロンモデル装置。
【請求項9】
強制発火させることに関連付けて区分されている、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間とを識別することと、前記入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させることと、
前記信号出力の指標値に基づいて発火させることによって前記出力時間区間内にスパイクを送信することと
を、ニューラルネットワークが実装された装置が実行する演算方法。
【請求項10】
プログラムを実行する装置に、強制発火させることに関連付けて区分されている、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間とを識別することと、
前記入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させることと、
前記信号出力の指標値に基づいて発火させることによって前記出力時間区間内にスパイクを送信することと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、演算装置、ニューラルネットワークシステム、ニューロンモデル装置、演算方法およびプログラムに関する。
【背景技術】
【0002】
ニューラルネットワークの１つに、スパイキングニューラルネットワーク（Spiking Neural Network；ＳＮＮ）がある。例えば、特許文献１には、スパイキングニューラルネットワークをニューロモーフィックコンピューティング（Neuromorphic Computing）デバイス上に実装するニューロモーフィイックコンピューティングシステムが記載されている。
スパイキングニューラルネットワークでは、ニューロンモデルが膜電位と呼ばれる内部状態を有し、膜電位の時間発展に基づいてスパイクと呼ばれる信号を出力する。
スパイキングニューラルネットワークでは、ニューロンモデルが膜電位と呼ばれる内部状態を有し、膜電位の時間発展に基づいてスパイクと呼ばれる信号を出力する。
【先行技術文献】
【特許文献】
【0003】
【文献】日本国特開２０１８－１３６９１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
スパイキングニューラルネットワークがデータ処理を効率的に行えることが好ましい。
【0005】
本発明の目的の一例は、上述の課題を解決することのできる演算装置、ニューラルネットワークシステム、ニューロンモデル装置、演算方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第１の態様によれば、演算装置は、スパイクを受信する入力時間区間と、発火してスパイクを送信する出力時間区間とが区分されていて、前記出力時間区間内で発火して、前記入力時間区間内の発火が制限されたニューロンモデルを備える。
【0007】
本発明の第２の態様によれば、ニューラルネットワークシステムは、ニューラルネットワーク本体と、学習手段とを備え、強制発火させることに関連付けて、信号を受信する入力時間区間と、信号を送信することが許可された出力時間区間とが区分されていて、前記ニューラルネットワーク本体は、入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させる指標値計算手段と、前記指標値に基づいて、前記入力時間区間終了後の出力時間区間内に信号を出力する信号出力手段と、を備えるニューロンモデルを備え、前記学習手段は、前記信号に対する重み係数の学習を行う。
【0008】
本発明の第３の態様によれば、ニューロンモデル装置は、強制発火させることに関連付けて、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間とが区分されていて、前記入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させる指標値計算部と、前記信号出力の指標値に基づいて発火させることによって前記出力時間区間にスパイクを送信する信号出力部とを備える。
【0009】
本発明の第４の態様によれば、演算方法は、強制発火させることに関連付けて区分されている、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間とを識別することと、前記入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させることと、前記信号出力の指標値に基づいて発火させることによって前記出力時間区間にスパイクを送信することとを含む。
【0010】
本発明の第４の態様によれば、プログラムは、プログラムを実行する装置に、強制発火させることに関連付けて区分されている、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間とを識別することと、前記入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させることと、前記信号出力の指標値に基づいて発火させることによって前記出力時間区間にスパイクを送信することとを実行させるためのプログラムである。
【発明の効果】
【0011】
本発明によれば、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
【図面の簡単な説明】
【0012】
【図1】第１の実施形態に係るニューラルネットワーク装置の構成の例を示す図である。
【図2】実施形態に係るニューラルネットワーク装置が備えるスパイキングニューラルネットワークの構成の例を示す図である。
【図3】実施形態に係るスパイク信号の出力タイミングが制限されていないスパイキングニューロンモデルにおける膜電位の時間変化の例を示す図である。
【図4】実施形態に係るスパイキングニューロンモデルのスパイク信号の出力タイミングが制限されていない場合の、スパイキングニューラルネットワークにおけるスパイキングニューロンモデルのスパイク信号の出力タイミングの例を示す図である。
【図5A】実施形態に係るニューラルネットワーク装置におけるニューロンモデル間のスパイク信号の受け渡しのタイミングの例を示す図である。
【図5B】実施形態に係るニューラルネットワーク装置におけるニューロンモデル間のスパイク信号の受け渡しのタイミングの例を示す図である。
【図6】実施形態に係る時間区間の設定例を示す図である。
【図7】実施形態に係るクリップ関数の第１例を示す図である。
【図8】実施形態に係るクリップ関数の第２例を示す図である。
【図9】実施形態での学習時におけるシステム構成の例を示す図である。
【図10】実施形態に係るニューラルネットワークシステム１における信号の入出力の例を示す図である。
【図11】実施形態での運用時のニューラルネットワーク装置における信号の入出力の例を示す図である。
【図12】実施形態での学習時における閾値到達時刻の例を示す図である。
【図13】実施形態での学習時における発火時刻の例を示す図である。
【図14】実施形態でのテスト時における閾値到達時刻の例を示す図である。
【図15】実施形態でのテスト時における発火時刻の例を示す図である。
【図16】実施形態に係るニューラルネットワーク装置の構成例を示す図である。
【図17】実施形態に係るニューロンモデル装置の構成例を示す図である。
【図18】実施形態に係るニューラルネットワークシステムの構成例を示す図である。
【図19】実施形態に係る演算方法における処理手順の例を示すフローチャートである。
【図20】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【図21】第２の実施形態に係るニューラルネットワーク装置の構成の例を示す図である。
【図22】第２の実施形態に係る識別処理の結果を説明するための図である。
【図23】第２の実施形態に係る第１畳み込み層と、第１プーリング層のそれぞれの出力結果を説明するための図である。
【図24】第２の実施形態に係る第２畳み込み層と、第２プーリング層のそれぞれの出力結果を説明するための図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
（第１の実施形態）
図１は、実施形態に係るニューラルネットワーク装置の構成の例を示す図である。図１に示す構成で、ニューラルネットワーク装置１０（演算装置）は、ニューロンモデル１００を備える。ニューロンモデル１００は、指標値計算部１１０と、比較部１２０と、信号出力部１３０とを備える。
（第１の実施形態）
図１は、実施形態に係るニューラルネットワーク装置の構成の例を示す図である。図１に示す構成で、ニューラルネットワーク装置１０（演算装置）は、ニューロンモデル１００を備える。ニューロンモデル１００は、指標値計算部１１０と、比較部１２０と、信号出力部１３０とを備える。
【0014】
ニューラルネットワーク装置１０は、スパイキングニューラルネットワークを用いてデータ処理を行う。ニューラルネットワーク装置１０は、演算装置の例に該当する。
ここでいうニューラルネットワーク装置は、ニューラルネットワークが実装された装置である。スパイキングニューラルネットワークが、専用のハードウェアを用いてニューラルネットワーク装置１０に実装されていてもよい。例えば、スパイキングニューラルネットワークが、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）を用いてニューラルネットワーク装置１０に実装されていてもよい。あるいは、スパイキングニューラルネットワークが、コンピュータ等を用いてソフトウェア的に、ニューラルネットワーク装置１０に実装されていてもよい。
ここでいうニューラルネットワーク装置は、ニューラルネットワークが実装された装置である。スパイキングニューラルネットワークが、専用のハードウェアを用いてニューラルネットワーク装置１０に実装されていてもよい。例えば、スパイキングニューラルネットワークが、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）を用いてニューラルネットワーク装置１０に実装されていてもよい。あるいは、スパイキングニューラルネットワークが、コンピュータ等を用いてソフトウェア的に、ニューラルネットワーク装置１０に実装されていてもよい。
【0015】
ＡＳＩＣを備える装置、ＦＰＧＡを備える装置、および、コンピュータの何れも、プログラミング可能な装置の例に該当する。ＡＳＩＣおよびＦＰＧＡでは、ハードウェア記述言語を用いてハードウェアを記述し、記述したハードウェアをＡＳＩＣまたはＦＰＧＡ上に実現することが、プログラミングの例に該当する。ニューラルネットワーク装置１０がコンピュータを用いて構成されている場合、スパイキングニューラルネットワークの機能をプログラミングによって記述し、得られたプログラムをコンピュータに実行させるようにしてもよい。
【0016】
ここでいうスパイキングニューラルネットワークは、ニューロンモデルが、ニューロンモデル自らへの信号の入力状況に応じて時間変化する、膜電位（Membrane Potential）と呼ばれる状態量に基づくタイミングで信号を出力する、ニューラルネットワークである。膜電位を、信号出力の指標値、または単に指標値とも称する。
ここでいう時間変化は、時間に応じて変化することである。
ここでいう時間変化は、時間に応じて変化することである。
【0017】
スパイキングニューラルネットワークにおけるニューロンモデルを、スパイキングニューロンモデルとも称する。スパイキングニューロンモデルが出力する信号を、スパイク信号またはスパイクとも称する。スパイキングニューラルネットワークでは、スパイク信号として二値信号を用いることができ、スパイク信号の伝達タイミング、または、スパイク信号の個数などによってスパイキングニューロンモデル間の情報伝達を行うことができる。
ニューロンモデル１００の場合、指標値計算部１１０がニューロンモデル１００へのスパイク信号の入力状況に基づいて膜電位を計算する。信号出力部１３０は、膜電位の時間変化に応じたタイミングでスパイク信号を出力する。
ニューロンモデル１００の場合、指標値計算部１１０がニューロンモデル１００へのスパイク信号の入力状況に基づいて膜電位を計算する。信号出力部１３０は、膜電位の時間変化に応じたタイミングでスパイク信号を出力する。
【0018】
ニューラルネットワーク装置１０におけるスパイク信号として、パルス信号を用いるようにしてもよいし、ステップ信号を用いるようにしてもよいが、これらに限定されない。
以下では、ニューラルネットワーク装置１０によるスパイキングニューラルネットワークにおけるニューロンモデル１００間の情報伝達方式として、スパイク信号の伝達タイミングで情報を伝達する時間方式を用いる場合を例に説明する。ただし、ニューラルネットワーク装置１０によるスパイキングニューラルネットワークにおけるニューロンモデル１００間の情報伝達方式は、特定の方式に限定されない。
以下では、ニューラルネットワーク装置１０によるスパイキングニューラルネットワークにおけるニューロンモデル１００間の情報伝達方式として、スパイク信号の伝達タイミングで情報を伝達する時間方式を用いる場合を例に説明する。ただし、ニューラルネットワーク装置１０によるスパイキングニューラルネットワークにおけるニューロンモデル１００間の情報伝達方式は、特定の方式に限定されない。
【0019】
ニューラルネットワーク装置１０が行う処理は、スパイキングニューラルネットワークを用いて実行可能ないろいろな処理とすることができる。例えば、ニューラルネットワーク装置１０が、画像認識、生体認証または数値予測を行うようにしてもよいが、これらに限定されない。
【0020】
ニューラルネットワーク装置１０が、１つの装置として構成されていてもよいし、複数の装置を組み合わせて構成されていてもよい。例えば、個々のニューロンモデル１００が装置として構成され、これら個々のニューロンモデル１００を構成する装置を信号伝達経路で接続してスパイキングニューラルネットワークが構成されていてもよい。
【0021】
図２は、ニューラルネットワーク装置１０が備えるスパイキングニューラルネットワークの構成の例を示す図である。ニューラルネットワーク装置１０が備えるスパイキングニューラルネットワークを、ニューラルネットワーク１１とも表記する。また、ニューラルネットワーク１１をニューラルネットワーク本体とも称する。
【0022】
図２の例で、ニューラルネットワーク１１は、順伝播型４層スパイキングニューラルネットワークとして構成されている。具体的には、ニューラルネットワーク１１は、入力層２１と、２つの中間層２２－１および２２－２と、出力層２３とを含む。２つの中間層２２－１および２２－２を総称して、中間層２２とも表記する。中間層を隠れ層とも称する。入力層２１と、中間層２２と、出力層２３とを総称して層２０とも表記する。
【0023】
入力層２１は、入力ノード３１を含む。中間層２２は、中間ノード３２を含む。出力層２３は、出力ノード３３を含む。入力ノード３１と、中間ノード３２と、出力ノード３３とを総称して、ノード３０とも表記する。
【0024】
入力ノード３１は、例えば、ニューラルネットワーク１１への入力データをスパイク信号に変換する。あるいは、ニューラルネットワーク１１への入力データがスパイク信号で示されている場合、入力ノード３１としてニューロンモデル１００が用いられていてもよい。
【0025】
中間ノード３２および出力ノード３３として、何れもニューロンモデル１００が用いられていてもよい。また、出力ノード３３では、後述するスパイク信号出力タイミングに対する制約条件が中間ノードの場合よりも緩和されているなど、中間ノード３２と出力ノード３３とでニューロンモデル１００の動作が異なっていてもよい。
【0026】
ニューラルネットワーク１１の４つの層２０は、信号伝達における上流側から、入力層２１、中間層２２－１、中間層２２－２、出力層２３の順で配置されている。隣接する２つの層２０間で、ノード３０が伝達経路４０で接続されている。伝達経路４０は、上流側の層２０のノード３０から下流側の層２０のノード３０へスパイク信号を伝達する。
【0027】
ただし、ニューラルネットワーク１１が順伝搬型スパイキングニューラルネットワークとして構成される場合の層数は、４層に限定されず２層以上であればよい。また、各層が備えるニューロンモデル１００の個数は特定の個数に限定されず、各層が１つ以上のニューロンモデル１００を備えていればよい。各層が同じ個数のニューロンモデル１００を備えていてもよいし、層によって異なる個数のニューロンモデル１００を備えていてもよい。
【0028】
また、ニューラルネットワーク１１が、全結合型に構成されていてもよいが、これに限定されない。図２の例で、隣り合う層における前段側の層２０の全てのニューロンモデル１００と後段側の層２０の全てのニューロンモデル１００とが伝達経路４０で結合されていてもよいが、隣り合う層におけるニューロンモデル１００同士で、伝達経路４０で結合されていないものがあってもよい。
【0029】
以下では、スパイク信号の伝達における遅延時間を無視できるものとし、スパイク信号出力側のニューロンモデル１００のスパイク信号出力時刻と、スパイク信号入力側のニューロンモデル１００へのスパイク信号入力時刻とが同じであるものとして説明する。スパイク信号の伝達における遅延時間を無視できない場合は、スパイク信号出力時刻に遅延時間を加えた時刻を、スパイク信号入力時刻として用いるようにしてもよい。
【0030】
スパイキングニューロンモデルは、時間変化する膜電位が閾値に達したタイミングでスパイク信号を出力する。スパイク信号の出力タイミングが制限されていない一般的なスパイキングニューラルネットワークでは、処理対象のデータが複数ある場合に、スパイキングニューラルネットワークが入力データの入力を受けて演算結果を出力するまで、次の入力データのスパイキングニューラルネットワークへの入力を待つ必要がある。
【0031】
図３は、スパイク信号の出力タイミングが制限されていないスパイキングニューロンモデルにおける膜電位の時間変化の例を示す図である。図３のグラフの横軸は時刻を示す。縦軸は膜電位を示す。
図３は、第ｌ層のｉ番目のノードのスパイキングニューロンモデルの膜電位の例を示している。第ｌ層のｉ番目のノードのスパイキングニューロンモデルの時刻ｔにおける膜電位を、ｖｉ （ｌ）（ｔ）と表記する。図３の説明で、第ｌ層のｉ番目のノードのスパイキングニューロンモデルを対象モデルとも称する。時刻ｔは、第１層の処理に割り当てられた時間区間の開始時刻を起点にした経過時間を示す。
図３は、第ｌ層のｉ番目のノードのスパイキングニューロンモデルの膜電位の例を示している。第ｌ層のｉ番目のノードのスパイキングニューロンモデルの時刻ｔにおける膜電位を、ｖｉ （ｌ）（ｔ）と表記する。図３の説明で、第ｌ層のｉ番目のノードのスパイキングニューロンモデルを対象モデルとも称する。時刻ｔは、第１層の処理に割り当てられた時間区間の開始時刻を起点にした経過時間を示す。
【0032】
図３の例で、対象モデルは３つのスパイキングニューロンモデルからのスパイク信号の入力を受けている。
時刻ｔ２ ＊（ｌ－１）は、第ｌ－１層の２番目のスパイキングニューロンモデルからのスパイク信号の入力時刻を示す。時刻ｔ１ ＊（ｌ－１）は、第ｌ－１層の１番目のスパイキングニューロンモデルからのスパイク信号の入力時刻を示す。時刻ｔ３ ＊（ｌ－１）は、第ｌ－１層の３番目のスパイキングニューロンモデルからのスパイク信号の入力時刻を示す。
また、対象モデルは、時刻ｔｉ ＊（ｌ）にスパイク信号を出力している。スパイキングニューロンモデルがスパイク信号を出力することを発火と称する。スパイキングニューロンモデルが発火した時刻を発火時刻と称する。
時刻ｔ２ ＊（ｌ－１）は、第ｌ－１層の２番目のスパイキングニューロンモデルからのスパイク信号の入力時刻を示す。時刻ｔ１ ＊（ｌ－１）は、第ｌ－１層の１番目のスパイキングニューロンモデルからのスパイク信号の入力時刻を示す。時刻ｔ３ ＊（ｌ－１）は、第ｌ－１層の３番目のスパイキングニューロンモデルからのスパイク信号の入力時刻を示す。
また、対象モデルは、時刻ｔｉ ＊（ｌ）にスパイク信号を出力している。スパイキングニューロンモデルがスパイク信号を出力することを発火と称する。スパイキングニューロンモデルが発火した時刻を発火時刻と称する。
【0033】
図３の例では、膜電位の初期値を０としている。膜電位の初期値は、静止膜電位に相当する。
対象モデルの発火前は、スパイク信号の入力後、対象モデルの膜電位ｖｉ （ｌ）（ｔ）が、スパイク信号の伝達経路毎に設定されている重みに応じた変化率（変化速度）で変化し続ける。また、スパイク信号の入力毎の膜電位の変化率は線形的に加算される。図３の例における膜電位ｖｉ （ｌ）（ｔ）の微分方程式は、式（１）のように表される。
対象モデルの発火前は、スパイク信号の入力後、対象モデルの膜電位ｖｉ （ｌ）（ｔ）が、スパイク信号の伝達経路毎に設定されている重みに応じた変化率（変化速度）で変化し続ける。また、スパイク信号の入力毎の膜電位の変化率は線形的に加算される。図３の例における膜電位ｖｉ （ｌ）（ｔ）の微分方程式は、式（１）のように表される。
【0034】
【数1】
【0035】
式（１）において、ｗｉｊ
（ｌ）は、第ｌ－１層のｊ番目のスパイキングニューロンモデルから対象モデルへのスパイク信号の伝達経路に設定されている重みを示す。重みｗｉｊ
（ｌ）は学習の対象となる。重みｗｉｊ
（ｌ）は正と負の両方の値をとり得る。
【0036】
θはステップ関数であり、式（２）のように示される。そのため、膜電位ｖｉ
（ｌ）（ｔ）の変化率は、スパイク信号の入力状況と重みｗｉｊ
（ｌ）の値とによって様々な値を示しながら変化して、その過程の中で正と負の両方の値をとることがある。
【0037】
例えば、時刻ｔｉ
＊（ｌ）に、対象モデルの膜電位ｖｉ
（ｌ）（ｔ）が閾値Ｖｔｈに達し、対象モデルが発火している。発火によって対象モデルの膜電位ｖｉ
（ｌ）（ｔ）が０になり、その後は対象モデルがスパイク信号の入力を受けても膜電位は変化していない。
【0038】
図４は、スパイキングニューロンモデルのスパイク信号の出力タイミングが制限されていない場合の、スパイキングニューラルネットワークにおけるスパイキングニューロンモデルのスパイク信号の出力タイミングの例を示す図である。
【0039】
図４の横軸は、時刻を、スパイキングニューラルネットワークへのデータ入力開始時からの経過時間で示す。縦軸は、入力層、第１層、第２層および出力層のそれぞれにおけるノード番号を示す。層毎のノード番号は、層内におけるスパイキングニューロンモデルを識別する識別番号として用いられる。
【0040】
図４の例で、入力層のスパイキングニューロンモデルは、スパイキングニューラルネットワークへのデータ入力開始時から５ミリ秒程度の時間内に発火している。これに対し、第１層のスパイキングニューロンモデルの発火タイミングは、スパイキングニューラルネットワークへのデータ入力開始からの経過時間で、約１０ミリ秒から約１２０ミリ秒までの範囲に散らばっている。第２層のスパイキングニューロンモデルの発火タイミングは、スパイキングニューラルネットワークへのデータ入力開始からの経過時間で、約２０ミリ秒から約７０ミリ秒までの範囲に散らばっている。
【0041】
一般に、スパイキングニューラルネットワークの発火タイミング、および、第１層および第２層のスパイキングニューロンモデルの発火のうちどれが出力層のスパイキングニューロンモデルの発火に影響しているかを、スパイキングニューラルネットワークの処理実行時にリアルタイムで知ることは困難である。
【0042】
このため、スパイキングニューラルネットワークの方式にもよるが、少なくとも出力層で最初にスパイキングニューロンモデルが発火するまでの時間Ｔ１１の間、次の入力データをスパイキングニューラルネットワークに入力せずに待つ必要がある。スパイキングニューラルネットワークが順に処理する対象の入力データ間で、スパイキングニューラルネットワーク内で干渉が生じないように厳密に設定するには、出力層で最後のスパイキングニューロンモデルが発火するまで、次の入力データをスパイキングニューラルネットワークに入力せずに待つ必要がある。
これに対し、順に処理する対象の入力データが複数ある場合、１つの入力データに対する答を得られる前に、次の入力データをスパイキングニューラルネットワークに入力できれば、最初の入力データをスパイキングニューラルネットワークに入力してから最後の入力データに対する答を得られるまでの時間を比較的短くすることができ、この点で、スパイキングニューラルネットワークのスループットを高めることができる。
これに対し、順に処理する対象の入力データが複数ある場合、１つの入力データに対する答を得られる前に、次の入力データをスパイキングニューラルネットワークに入力できれば、最初の入力データをスパイキングニューラルネットワークに入力してから最後の入力データに対する答を得られるまでの時間を比較的短くすることができ、この点で、スパイキングニューラルネットワークのスループットを高めることができる。
【0043】
そこで、ニューラルネットワーク装置１０では、ニューロンモデル１００のデータ処理時間を設定し、ニューロンモデル１００がデータ処理時間内にデータ処理を完了するようにする。これにより、データ処理時間経過後は、ニューロンモデル１００に次のデータを入力することができる。
【0044】
図５Ａと図５Ｂは、ニューラルネットワーク装置１０におけるニューロンモデル１００間のスパイク信号の受け渡しのタイミングの例を示す図である。図５Ａは、ニューラルネットワーク１１の第１層から第３層の各々について、スパイク信号を受け渡す関係にある１つずつのニューロンモデル１００の膜電位の時間変化、および、その膜電位に基づく発火タイミングの例を示している。図５Ａのグラフの横軸は、時刻を、第１層に最初の入力データが入力されてからの経過時間で示す。縦軸は、第１層から第３層までの各々のニューロンモデル１００の膜電位を示す。
【0045】
図５Ａの例で、ニューロンモデル１００に設定されるデータ処理時間は、入力時間区間と出力時間区間との組み合わせで構成されている。入力時間区間は、ニューロンモデル１００がスパイク信号の入力を受け付ける時間区間である。出力時間区間は、ニューロンモデル１００がスパイク信号を出力する時間区間である。
ニューラルネットワーク装置１０は、同じ層に含まれる全てのニューロンモデル１００に同じデータ処理時間が設定されるように、層毎にニューロンモデル１００間で同期をとって、同じ入力時間区間および同じ出力時間区間を設定する。Ｔは、各時間区間の時間幅である。
ニューラルネットワーク装置１０は、同じ層に含まれる全てのニューロンモデル１００に同じデータ処理時間が設定されるように、層毎にニューロンモデル１００間で同期をとって、同じ入力時間区間および同じ出力時間区間を設定する。Ｔは、各時間区間の時間幅である。
【0046】
また、ニューラルネットワーク装置１０は、ある層のニューロンモデル１００における出力時間区間と、その次の層のニューロンモデル１００における入力時間区間とが重なるように、層間でも同期をとる。
特に、入力時間区間の時間長と出力時間区間の時間長とを同じ長さに設定し、ある層のニューロンモデル１００における出力時間区間と、その次の層のニューロンモデル１００における入力時間区間とが完全に重なるように、入力時間区間および出力時間区間を設定する。
特に、入力時間区間の時間長と出力時間区間の時間長とを同じ長さに設定し、ある層のニューロンモデル１００における出力時間区間と、その次の層のニューロンモデル１００における入力時間区間とが完全に重なるように、入力時間区間および出力時間区間を設定する。
【0047】
この場合の、「ある層のニューロンモデル１００」は、第１ニューロンモデルの例に該当する。「その次の層のニューロンモデル１００」は、第２ニューロンモデルの例に該当する。第１ニューロンモデルの出力時間区間と、第１ニューロンモデルからのスパイク信号の入力を受ける第２ニューロンモデルの入力時間区間とが重なるように出力時間区間および入力時間区間が設定されている。
【0048】
ニューロンモデル１００にスパイク信号が入力される時間が入力時間区間に限られることで、指標値計算部１１０は、入力時間区間におけるスパイク信号の入力状況に基づいて膜電位を時間変化させるように、膜電位を計算する。指標値計算部１１０は、指標値計算手段の例に該当する。
以下では、式（１）および式（２）を参照してスパイキングニューラルネットワークについて説明したのと同様、第ｌ層のｉ番目のノードのニューロンモデル１００を対象モデルと称し、対象モデルの膜電位をｖｉ （ｌ）（ｔ）と表記する。
本実施形態の指標値計算部１１０は、前述の式（１）に代えて、次の式（１Ａ）を用いる。式（１Ａ）を用いることで、入力時間区間と出力時間区間で膜電位をｖｉ （ｌ）（ｔ）の変化率を変えることができる。
以下では、式（１）および式（２）を参照してスパイキングニューラルネットワークについて説明したのと同様、第ｌ層のｉ番目のノードのニューロンモデル１００を対象モデルと称し、対象モデルの膜電位をｖｉ （ｌ）（ｔ）と表記する。
本実施形態の指標値計算部１１０は、前述の式（１）に代えて、次の式（１Ａ）を用いる。式（１Ａ）を用いることで、入力時間区間と出力時間区間で膜電位をｖｉ （ｌ）（ｔ）の変化率を変えることができる。
【数2】
【0049】
ｗｉｊ
（ｌ）は、第ｌ－１層のｊ番目のスパイキングニューロンモデルから対象モデルへのスパイク信号の伝達経路に設定されている重みを示す。ｗｉ
（ｌ）は第ｌ層のｉ番目のニューロンが持つ固有の重みである。時刻ｔがｌＴになるまでの膜電位ｖｉ
（ｌ）（ｔ）の変化率は、重み係数ｗｉｊ
（ｌ）を用いた関数になる。これにより入力時間区間の膜電位ｖｉ
（ｌ）（ｔ）の変化率は、重み係数ｗｉｊ
（ｌ）を用いた関数によって計算される。また、時刻ｔがｌＴ以降の出力時間区間の膜電位ｖｉ
（ｌ）（ｔ）の変化率は、重み係数ｗｉ
（ｌ）を用いた関数になる。例えば、その関数は、重み係数ｗｉ
（ｌ）を傾きにした一次関数であってもよい。重みｗｉ
（ｌ）は正の値をとり得る。これにより出力時間区間の膜電位ｖｉ
（ｌ）（ｔ）の変化率は、重み係数ｗｉ
（ｌ）を用いて計算される。重みｗｉｊ
（ｌ）とｗｉ
（ｌ）とは学習の対象にするとよい。また、第ｌ－１層のｊ番目のスパイキングニューロンモデルから対象モデルへのスパイク信号の伝達経路に設定されている重みをｗｉｊ
（ｌ）と表記する。
【0050】
対象モデルのニューロンモデル１００に関する説明は、後述する出力層のニューロンモデル１００のスパイク信号の出力タイミングが緩和され得る点を除いて、ニューラルネットワーク装置１０が備える全てのニューロンモデル１００に当てはまる。すなわち第ｌ層は、ニューロンモデル１００をノードとして含む何れの層であってもよい。第ｌ層の何れのニューロンモデル１００がｉ番目のニューロンモデル１００であってもよい。
【0051】
このように式（１Ａ）を用いることで、ニューロンモデル１００の膜電位ｖｉ
（ｌ）（ｔ）は、出力時間区間において出力時間区間に固有の傾きｗｉ
（ｌ）で変化する。これに代えて同様の機能を、出力時間区間において膜電位を固定して、かつ閾値Ｖｔｈに代えて発火閾値を変化させることでも実現が可能である。具体的には、各ニューロンモデルにおいて、発火閾値を各ニューロンモデルに夫々定まる固有の値とし、出力時間区間においてその発火閾値を傾き－ｗｉ
（ｌ）で変化させればよい。以下の説明では、出力時間区間において発火閾値が閾値Ｖｔｈに固定され膜電位ｖｉ
（ｌ）（ｔ）が変化する場合を例示するが、同様の議論は、出力時間区間において膜電位が固定され発火閾値が変化する場合に対して適用可能である。
【0052】
以下、膜電位ｖｉ
（ｌ）（ｔ）について入力時間区間と出力時間区間とに分けて説明する。
指標値計算部１１０は、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達するまで、あるいは、入力時間区間の終了に対応するデータ処理時間が経過するまでの何れか早い方の事象が発生するまで、微分方程式が式（１Ａ）の入力時間区間の式を用いて膜電位ｖｉ （ｌ）（ｔ）を計算する。入力時間区間の膜電位ｖｉ （ｌ）（ｔ）は、式（３Ａ）のように表される。出力時間区間の膜電位ｖｉ （ｌ）（ｔ）は、式（３Ｂ）のように表される。
指標値計算部１１０は、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達するまで、あるいは、入力時間区間の終了に対応するデータ処理時間が経過するまでの何れか早い方の事象が発生するまで、微分方程式が式（１Ａ）の入力時間区間の式を用いて膜電位ｖｉ （ｌ）（ｔ）を計算する。入力時間区間の膜電位ｖｉ （ｌ）（ｔ）は、式（３Ａ）のように表される。出力時間区間の膜電位ｖｉ （ｌ）（ｔ）は、式（３Ｂ）のように表される。
【数3】
【0053】
指標値計算部１１０が、上記の式（３Ａ）と式（３Ｂ）とに基づいて、それぞれの区間の膜電位ｖｉ
（ｌ）（ｔ）を計算するようにしてもよい。
指標値計算部１１０は、入力時間区間においては、式（１Ａ）と式（３Ａ）に示されるように対象モデルへのスパイク信号の入力状況に応じた変化速度で膜電位ｖｉ （ｌ）（ｔ）を変化させる。
一方、出力時間区間では、式（１Ａ）に示されるように対象モデルへのスパイク信号を受け付けない。このため、入力時間区間内で膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達しなかった場合、指標値計算部１１０は、出力時間区間では、入力時間区間の終了時における膜電位ｖｉ （ｌ）（ｌＴ）と経過時間とに基づいて、この電位から単調に増加するように膜電位ｖｉ （ｌ）（ｔ）を変化させる。式（３Ｂ）に示される式は、その一例である。出力時間区間における膜電位ｖｉ （ｌ）（ｔ）の変化率を、予め定められた所定値に維持するとよい。
指標値計算部１１０は、入力時間区間においては、式（１Ａ）と式（３Ａ）に示されるように対象モデルへのスパイク信号の入力状況に応じた変化速度で膜電位ｖｉ （ｌ）（ｔ）を変化させる。
一方、出力時間区間では、式（１Ａ）に示されるように対象モデルへのスパイク信号を受け付けない。このため、入力時間区間内で膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達しなかった場合、指標値計算部１１０は、出力時間区間では、入力時間区間の終了時における膜電位ｖｉ （ｌ）（ｌＴ）と経過時間とに基づいて、この電位から単調に増加するように膜電位ｖｉ （ｌ）（ｔ）を変化させる。式（３Ｂ）に示される式は、その一例である。出力時間区間における膜電位ｖｉ （ｌ）（ｔ）の変化率を、予め定められた所定値に維持するとよい。
【0054】
まず、入力時間区間の膜電位ｖｉ
（ｌ）（ｔ）について、より詳しく説明する。
入力時間区間内で膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達する時刻をｔｉ （ｌ，ｖｔｈ）と表記して式（３Ａ）の時刻ｔに代入すると、式（４）を得られる。この式（４）は、入力時間区間に適用される。
入力時間区間内で膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達する時刻をｔｉ （ｌ，ｖｔｈ）と表記して式（３Ａ）の時刻ｔに代入すると、式（４）を得られる。この式（４）は、入力時間区間に適用される。
【0055】
【数4】
【0056】
Γｉ
（ｌ）は、ｔｊ
＊（ｌ－１）＜ｔｉ
（ｌ，ｖｔｈ）となるインデックスｊの集合を表す。
ニューラルネットワーク装置１０では、発火時刻が出力時間区間内に制限されるため、発火時刻ｔｉ ＊（ｌ）が、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達する時刻よりも後の時刻になる場合があることから、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達する時刻をｔｉ （ｌ，ｖｔｈ）と表記している。膜電位が閾値に達する時刻を、閾値到達時刻とも称する。
式（４）より、閾値到達時刻ｔｉ （ｌ，ｖｔｈ）は、式（５Ａ）のように表される。
次に、出力時間区間の膜電位ｖｉ （ｌ）（ｔ）について、より詳しく説明する。
指標値計算部１１０は、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達するまで、あるいは、出力時間区間の終了に対応するデータ処理時間が経過するまでの何れか早い方の事象が発生するまで、微分方程式が式（１Ａ）のように表される膜電位ｖｉ （ｌ）（ｔ）を計算する。膜電位ｖｉ （ｌ）（ｔ）は、前述の式（３Ｂ）のように表される。この式（３Ｂ）の一次式を整理することで、閾値到達時刻ｔｉ （ｌ，ｖｔｈ）は、式（５Ｂ）のように表される。
ニューラルネットワーク装置１０では、発火時刻が出力時間区間内に制限されるため、発火時刻ｔｉ ＊（ｌ）が、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達する時刻よりも後の時刻になる場合があることから、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達する時刻をｔｉ （ｌ，ｖｔｈ）と表記している。膜電位が閾値に達する時刻を、閾値到達時刻とも称する。
式（４）より、閾値到達時刻ｔｉ （ｌ，ｖｔｈ）は、式（５Ａ）のように表される。
次に、出力時間区間の膜電位ｖｉ （ｌ）（ｔ）について、より詳しく説明する。
指標値計算部１１０は、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達するまで、あるいは、出力時間区間の終了に対応するデータ処理時間が経過するまでの何れか早い方の事象が発生するまで、微分方程式が式（１Ａ）のように表される膜電位ｖｉ （ｌ）（ｔ）を計算する。膜電位ｖｉ （ｌ）（ｔ）は、前述の式（３Ｂ）のように表される。この式（３Ｂ）の一次式を整理することで、閾値到達時刻ｔｉ （ｌ，ｖｔｈ）は、式（５Ｂ）のように表される。
【0057】
【数5】
【0058】
比較部１２０は、膜電位ｖｉ
（ｌ）（ｔ）と閾値Ｖｔｈとを比較し、膜電位ｖｉ
（ｌ）（ｔ）が閾値Ｖｔｈに達したか否かを判定する。
信号出力部１３０は、膜電位ｖｉ （ｌ）（ｔ）に基づいて、出力時間区間内にスパイク信号を出力する。具体的には、入力時間区間内で膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達した場合、信号出力部１３０は、出力時間区間の開始時にスパイク信号を出力する。出力時間区間内で膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達した場合、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達したときに、信号出力部１３０は、スパイク信号を出力する。出力時間区間内で膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達しなかった場合、信号出力部１３０は、出力時間区間の終了時にスパイク信号を出力する。
なお、図５Ａの例で出力層については、スパイク信号を受け渡す相手がないため、入力時間区間に相当する時間区間でもスパイクの出力が可能になっている。この場合の入力時間区間に相当する時間区間を入出力時間区間とも称する。
信号出力部１３０は、膜電位ｖｉ （ｌ）（ｔ）に基づいて、出力時間区間内にスパイク信号を出力する。具体的には、入力時間区間内で膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達した場合、信号出力部１３０は、出力時間区間の開始時にスパイク信号を出力する。出力時間区間内で膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達した場合、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達したときに、信号出力部１３０は、スパイク信号を出力する。出力時間区間内で膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達しなかった場合、信号出力部１３０は、出力時間区間の終了時にスパイク信号を出力する。
なお、図５Ａの例で出力層については、スパイク信号を受け渡す相手がないため、入力時間区間に相当する時間区間でもスパイクの出力が可能になっている。この場合の入力時間区間に相当する時間区間を入出力時間区間とも称する。
【0059】
以下、図５Ｂを参照して、ニューロンモデル１００の膜電位ｖｉ
（ｌ）（ｔ）の変化を幾つかの事例に場合分けして、説明する。
図５Ｂは、ニューラルネットワーク１１の第ｌ層から第ｌ＋１層に受け渡すスパイク信号の例を示している。図５Ｂのグラフの横軸は、時刻を、第ｌ層に最初の入力データが入力されてからの経過時間で示す。縦軸は、図５Ｂの上段側から、第ｌ層のニューロンモデル１００の膜電位とその出力スパイクと、第ｌ＋１層のニューロンモデル１００の膜電位ｖｉ （ｌ）（ｔ）を示す。この図５Ｂの中で、区間Ａが入力時間区間を示し、区間Ｂが出力時間区間を示す。
図５Ｂ中のＣＡＳＥ０に示すように、入力時間区間内に膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達した場合、出力時間区間の開始時まで指標値計算部１１０が、膜電位ｖｉ （ｌ）（ｔ）を閾値Ｖｔｈと等しい値と算出するようにしてもよい。これにより、出力時間区間の開始時に、比較部１２０が、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達していると判定する。信号出力部１３０は、比較部１２０の判定結果に基づいて、出力時間区間の開始時にスパイク信号を出力する。
図５Ｂは、ニューラルネットワーク１１の第ｌ層から第ｌ＋１層に受け渡すスパイク信号の例を示している。図５Ｂのグラフの横軸は、時刻を、第ｌ層に最初の入力データが入力されてからの経過時間で示す。縦軸は、図５Ｂの上段側から、第ｌ層のニューロンモデル１００の膜電位とその出力スパイクと、第ｌ＋１層のニューロンモデル１００の膜電位ｖｉ （ｌ）（ｔ）を示す。この図５Ｂの中で、区間Ａが入力時間区間を示し、区間Ｂが出力時間区間を示す。
図５Ｂ中のＣＡＳＥ０に示すように、入力時間区間内に膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達した場合、出力時間区間の開始時まで指標値計算部１１０が、膜電位ｖｉ （ｌ）（ｔ）を閾値Ｖｔｈと等しい値と算出するようにしてもよい。これにより、出力時間区間の開始時に、比較部１２０が、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達していると判定する。信号出力部１３０は、比較部１２０の判定結果に基づいて、出力時間区間の開始時にスパイク信号を出力する。
【0060】
また、この場合、上記に代えてＣＡＳＥ０として図５Ｂ中に示すように、出力時間区間の開始時に比較部１２０が、膜電位ｖｉ
（ｌ）（ｔ）が閾値Ｖｔｈに達していると判定した後、次の入力時間区間の開始時になるまで、指標値計算部１１０が、膜電位ｖｉ
（ｌ）（ｔ）を０と算出するようにしてもよい。これにより、指標値計算部１１０が、次の入力時間区間における次のデータに対する処理を、膜電位ｖｉ
（ｌ）（ｔ）が０にリセットされた状態から開始するようにしてもよい。
【0061】
なお、入力時間区間内に膜電位ｖｉ
（ｌ）（ｔ）が閾値Ｖｔｈに達していなかった場合には、下記するように、スパイク信号を出力するまでの膜電位ｖｉ
（ｌ）（ｔ）の制御を幾つかのケースに場合分けできる。指標値計算部１１０は、出力時間区間の中でスパイク信号を出力するように制御する。
例えば、図５Ｂ中のＣＡＳＥ１に示すように、出力時間区間内に膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達した場合、比較部１２０が、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達していると判定する。信号出力部１３０は、比較部１２０の判定結果に基づいてスパイク信号を出力する。これにより、信号出力部１３０は、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達したタイミングでスパイク信号を出力する。
例えば、図５Ｂ中のＣＡＳＥ１に示すように、出力時間区間内に膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達した場合、比較部１２０が、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達していると判定する。信号出力部１３０は、比較部１２０の判定結果に基づいてスパイク信号を出力する。これにより、信号出力部１３０は、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達したタイミングでスパイク信号を出力する。
【0062】
この場合も、比較部１２０が、膜電位ｖｉ
（ｌ）（ｔ）が閾値Ｖｔｈに達していると判定した後、次の入力時間区間の開始時まで、指標値計算部１１０が、膜電位ｖｉ
（ｌ）（ｔ）を０と算出するようにしてもよい。これにより、指標値計算部１１０が、次の入力時間区間における次のデータに対する処理を、膜電位ｖｉ
（ｌ）（ｔ）が０にリセットされた状態から開始するようにしてもよい。
【0063】
図５Ｂ中のＣＡＳＥ２に示すように、出力時間区間の終了時までに膜電位ｖｉ
（ｌ）（ｔ）が閾値Ｖｔｈに達しない場合、指標値計算部１１０または比較部１２０が、出力時間区間の終了時に、信号出力部１３０にスパイク信号を出力させるようにしてもよい。この場合のスパイク信号の出力を、強制発火とも称する。
例えば、出力時間区間の終了時までに膜電位ｖｉ （ｌ）（ｔ）が一度も閾値Ｖｔｈに達していない場合、比較部１２０が、膜電位が閾値に達したとするダミーの判定結果を出力するようにしてもよい。そして、信号出力部１３０が、比較部１２０の判定結果に基づいて、出力時間区間の終了時にスパイク信号を出力するようにしてもよい。
例えば、出力時間区間の終了時までに膜電位ｖｉ （ｌ）（ｔ）が一度も閾値Ｖｔｈに達していない場合、比較部１２０が、膜電位が閾値に達したとするダミーの判定結果を出力するようにしてもよい。そして、信号出力部１３０が、比較部１２０の判定結果に基づいて、出力時間区間の終了時にスパイク信号を出力するようにしてもよい。
【0064】
出力時間区間の終了時までに膜電位ｖｉ
（ｌ）（ｔ）が閾値Ｖｔｈに達しない場合、指標値計算部１１０が、次の入力時間区間の開始時に膜電位ｖｉ
（ｌ）（ｔ）を０として算出するようにしてもよい。これにより、指標値計算部１１０が、次の入力時間区間における次のデータに対する処理を、膜電位ｖｉ
（ｌ）（ｔ）が０にリセットされた状態から開始するようにしてもよい。
【0065】
図６は、時間区間の設定例を示す図である。図６の横軸は、時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。層間のデータの入出力は、スパイク信号の入出力で行われる。
図６の例では、横軸に示される時間が、時間Ｔ毎の時間区間に区切られている。また、図６は、入力層、第１層、第２層、出力層のそれぞれについて、時間区間の種類を示している。具体的には、入力時間区間を「入力」との記載で示し、出力時間区間を「出力」との記載で示している。また、入出力時間区間については、「入力」および「出力」の両方の記載で示している。
また、図６は、ニューラルネットワーク１１が、第１データ、第２データ、および、第３データの３つのデータを処理する場合の例を示している。層毎に、その層で各データを処理する時間区間を示している。
図６の例では、横軸に示される時間が、時間Ｔ毎の時間区間に区切られている。また、図６は、入力層、第１層、第２層、出力層のそれぞれについて、時間区間の種類を示している。具体的には、入力時間区間を「入力」との記載で示し、出力時間区間を「出力」との記載で示している。また、入出力時間区間については、「入力」および「出力」の両方の記載で示している。
また、図６は、ニューラルネットワーク１１が、第１データ、第２データ、および、第３データの３つのデータを処理する場合の例を示している。層毎に、その層で各データを処理する時間区間を示している。
【0066】
図６の例で、第１層、第２層および第３層の何れのニューロンモデル１００も、１つの入力時間区間と、その入力時間区間に続く１つの出力時間区間とデータ処理時間内に、データの処理を完了するように動作する。具体的には、各ニューロンモデル１００は、出力時間区間の終了までに膜電位ｖｉ
（ｌ）（ｔ）が閾値Ｖｔｈに達しない場合、スパイク信号を出力して処理を終了する。
これにより、ニューロンモデル１００は、次のデータ処理時間で次のデータを処理することができる。ニューラルネットワーク１１全体では、いわばパイプライン処理のように、入力されたデータの処理の完了を待たずに次のデータの処理を開始することができる。
これにより、ニューロンモデル１００は、次のデータ処理時間で次のデータを処理することができる。ニューラルネットワーク１１全体では、いわばパイプライン処理のように、入力されたデータの処理の完了を待たずに次のデータの処理を開始することができる。
【0067】
また、図６の例で、ニューラルネットワーク装置１０は、スパイク信号を出力する側の層の出力時間区間と、そのスパイク信号の入力を受ける側の層の入力時間区間とが一致するように、層間の同期、および、各層内のニューロンモデル１００の同期をとる。すなわち、ニューラルネットワーク装置１０は、スパイク信号を出力する側の層の出力時間区間と、そのスパイク信号の入力を受ける側の層の入力時間区間と完全に重なるように、層間の同期、および、各層内のニューロンモデル１００の同期をとる。
【0068】
ニューラルネットワーク装置１０が、同期処理部を備え、同期処理部が時間区間の切り替わりのタイミングを各ニューロンモデル１００に通知するようにしてもよい。あるいは、ニューロンモデル１００の各々が、全てのニューロンモデル１００に共通のクロック信号に基づいて、時間区間の切り替わりのタイミングを検出するようにしてもよい。
【0069】
図６の例で、第ｌ層のｉ番目のニューロンモデル１００が、第１データの処理でのスパイク信号を出力時間区間にて出力する処理は、式（６）のように表すことができる。
【0070】
【数6】
【0071】
式ｃｌｉｐは、式（７）のように表される。
【0072】
【数7】
【0073】
式（７）に示される関数ｃｌｉｐをクリップ関数と称する。
図７は、クリップ関数の第１例を示す図である。図７は、図６の例で第１層のニューロンモデル１００が第１データを処理する際のクリップ関数の例を示している。
図７のグラフの横軸は、膜電位ｖｉ （１）（ｔ）が閾値Ｖｔｈに達する時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、ニューロンモデル１００がスパイク信号を出力する時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。図７の横軸および縦軸の何れも、図６の横軸と対応付けられる。
図７は、クリップ関数の第１例を示す図である。図７は、図６の例で第１層のニューロンモデル１００が第１データを処理する際のクリップ関数の例を示している。
図７のグラフの横軸は、膜電位ｖｉ （１）（ｔ）が閾値Ｖｔｈに達する時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、ニューロンモデル１００がスパイク信号を出力する時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。図７の横軸および縦軸の何れも、図６の横軸と対応付けられる。
【0074】
図７に示されるように、閾値到達時刻ｔｉ
（ｌ，ｖｔｈ）が時刻Ｔよりも早い場合、ニューロンモデル１００は、時刻Ｔにスパイク信号を出力する。時刻Ｔは、出力時間区間の開始時刻である。
閾値到達時刻ｔｉ （ｌ，ｖｔｈ）が時刻Ｔから２Ｔまでの区間内にある場合、ニューロンモデル１００は、閾値到達時刻ｔｉ （ｌ，ｖｔｈ）にスパイク信号を出力する。時刻２Ｔは、出力時間区間の終了時刻である。なお、膜電位ｖｉ （１）（ｔ）が閾値Ｖｔｈに達してからニューロンモデル１００がスパイク信号を出力するまでの遅延時間は無視できるものとする。
閾値到達時刻ｔｉ （ｌ，ｖｔｈ）が時刻２Ｔよりも遅い場合、すなわち、時刻２Ｔまでに膜電位ｖｉ （１）（ｔ）が閾値Ｖｔｈに達しなかった場合、ニューロンモデル１００は、時刻２Ｔにスパイク信号を出力する。
閾値到達時刻ｔｉ （ｌ，ｖｔｈ）が時刻Ｔから２Ｔまでの区間内にある場合、ニューロンモデル１００は、閾値到達時刻ｔｉ （ｌ，ｖｔｈ）にスパイク信号を出力する。時刻２Ｔは、出力時間区間の終了時刻である。なお、膜電位ｖｉ （１）（ｔ）が閾値Ｖｔｈに達してからニューロンモデル１００がスパイク信号を出力するまでの遅延時間は無視できるものとする。
閾値到達時刻ｔｉ （ｌ，ｖｔｈ）が時刻２Ｔよりも遅い場合、すなわち、時刻２Ｔまでに膜電位ｖｉ （１）（ｔ）が閾値Ｖｔｈに達しなかった場合、ニューロンモデル１００は、時刻２Ｔにスパイク信号を出力する。
【0075】
図６の例で、第ｌ層のｉ番目のニューロンモデル１００が、第ｄデータの処理でのスパイク信号を出願時間区間にて出力する処理は、式（８）のように表すことができる。
【0076】
【数8】
【0077】
図８は、クリップ関数の第２例を示す図である。図８では、図７の例をより一般化している。具体的には図８は、図６の例で第ｌ層のニューロンモデル１００が第ｄデータを処理する際のクリップ関数の例を示している。
図８のグラフの横軸は、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達する時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、ニューロンモデル１００がスパイク信号を出力する時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。図８の横軸および縦軸の何れも、図６の横軸と対応付けられる。
図８のグラフの横軸は、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達する時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、ニューロンモデル１００がスパイク信号を出力する時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。図８の横軸および縦軸の何れも、図６の横軸と対応付けられる。
【0078】
図８に示されるように、閾値到達時刻ｔｉ
（ｌ，ｖｔｈ）が時刻（２ｄ＋ｌ－２）Ｔよりも早い場合、ニューロンモデル１００は、時刻Ｔにスパイク信号を出力する。時刻（２ｄ＋ｌ－２）Ｔは、出力時間区間の開始時刻である。
閾値到達時刻ｔｉ （ｌ，ｖｔｈ）が時刻（２ｄ＋ｌ－２）Ｔから（２ｄ＋ｌ－１）Ｔまでの区間内にある場合、ニューロンモデル１００は、閾値到達時刻ｔｉ （ｌ，ｖｔｈ）にスパイク信号を出力する。時刻（２ｄ＋ｌ－１）Ｔは、出力時間区間の終了時刻である。なお、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達してからニューロンモデル１００がスパイク信号を出力するまでの遅延時間は無視できるものとする。
閾値到達時刻ｔｉ （ｌ，ｖｔｈ）が時刻（２ｄ＋ｌ－１）Ｔよりも遅い場合、すなわち、時刻（２ｄ＋ｌ－１）Ｔまでに膜電位ｖｉ （１）（ｔ）が閾値Ｖｔｈに達しなかった場合、ニューロンモデル１００は、時刻（２ｄ＋ｌ－１）Ｔにスパイク信号を出力する。
閾値到達時刻ｔｉ （ｌ，ｖｔｈ）が時刻（２ｄ＋ｌ－２）Ｔから（２ｄ＋ｌ－１）Ｔまでの区間内にある場合、ニューロンモデル１００は、閾値到達時刻ｔｉ （ｌ，ｖｔｈ）にスパイク信号を出力する。時刻（２ｄ＋ｌ－１）Ｔは、出力時間区間の終了時刻である。なお、膜電位ｖｉ （ｌ）（ｔ）が閾値Ｖｔｈに達してからニューロンモデル１００がスパイク信号を出力するまでの遅延時間は無視できるものとする。
閾値到達時刻ｔｉ （ｌ，ｖｔｈ）が時刻（２ｄ＋ｌ－１）Ｔよりも遅い場合、すなわち、時刻（２ｄ＋ｌ－１）Ｔまでに膜電位ｖｉ （１）（ｔ）が閾値Ｖｔｈに達しなかった場合、ニューロンモデル１００は、時刻（２ｄ＋ｌ－１）Ｔにスパイク信号を出力する。
【0079】
ニューロンモデル１００におけるクリップ関数を、人工ニューラルネットワーク（Artificial Neural Network；ＡＮＮ）における活性化関数に相当するものと捉えることができる。したがって、ニューラルネットワーク１１では、スパイキングニューラルネットワークに活性化関数の概念が導入されていると捉えることができる。この点で、ニューラルネットワーク装置１０が高い認識性能を示すことが期待される。
また、ニューロンモデル１００におけるクリップ関数が学習の対象となっていてもよい。
また、ニューロンモデル１００におけるクリップ関数が学習の対象となっていてもよい。
【0080】
図９は、学習時におけるシステム構成の例を示す図である。図９に示す構成で、ニューラルネットワークシステム１は、ニューラルネットワーク装置１０と、学習装置５０とを備える。ニューラルネットワーク装置１０と学習装置５０とが１つの装置として一体的に構成されていてもよい。あるいは、ニューラルネットワーク装置１０と学習装置５０とが別々の装置として構成されていてもよい。
上述したように、ニューラルネットワーク装置１０が構成するニューラルネットワーク１１を、ニューラルネットワーク本体とも称する。
上述したように、ニューラルネットワーク装置１０が構成するニューラルネットワーク１１を、ニューラルネットワーク本体とも称する。
【0081】
図１０は、ニューラルネットワークシステム１における信号の入出力の例を示す図である。
図１０の例で、入力データと、その入力データに対する正解を示す教師ラベルとがニューラルネットワークシステム１に入力される。ニューラルネットワーク装置１０が入力データの入力を受け、学習装置５０が、教師ラベルの入力を受けるようにしてもよい。入力データと教師ラベルとの組み合わせは、教師有り学習における訓練データの例に該当する。
また、ニューラルネットワーク装置１０は、クロック信号を取得する。ニューラルネットワーク装置１０がクロック回路を備えるようにしてもよい。あるいは、ニューラルネットワーク装置１０が、ニューラルネットワーク装置１０の外部からのクロック信号の入力を受けるようにしてもよい。
図１０の例で、入力データと、その入力データに対する正解を示す教師ラベルとがニューラルネットワークシステム１に入力される。ニューラルネットワーク装置１０が入力データの入力を受け、学習装置５０が、教師ラベルの入力を受けるようにしてもよい。入力データと教師ラベルとの組み合わせは、教師有り学習における訓練データの例に該当する。
また、ニューラルネットワーク装置１０は、クロック信号を取得する。ニューラルネットワーク装置１０がクロック回路を備えるようにしてもよい。あるいは、ニューラルネットワーク装置１０が、ニューラルネットワーク装置１０の外部からのクロック信号の入力を受けるようにしてもよい。
【0082】
ニューラルネットワーク装置１０は、入力データの入力を受けて、その入力データに基づく推定値を出力する。推定値を算出する際、ニューラルネットワーク装置１０は、クロック信号を用いて層間の時間区間の同期、および、同一層内のニューロンモデル１００間の時間区間の同期をとる。
【0083】
学習装置５０は、ニューラルネットワーク装置１０の学習を行う。ここでいう学習は、機械学習によって学習モデルのパラメータ値を調整することである。学習装置５０は、ニューロンモデル１００に入力されるスパイク信号に対する重み係数の学習を行う。式（４）の重みＷｉｊ
（ｌ）が、学習装置５０が学習によって値を調整する重み係数の例に該当する。
【0084】
学習装置５０が、ニューラルネットワーク装置１０が出力する推定値と、教師ラベルが示す正解値との誤差に対する評価を示す評価関数を用いて、推定値と正解値との誤差の大きさが小さくなるように、重み係数の学習を行うようにしてもよい。
学習装置５０は、学習手段の例に該当する。学習装置５０は、例えば、コンピュータを用いて構成される。
学習装置５０は、学習手段の例に該当する。学習装置５０は、例えば、コンピュータを用いて構成される。
【0085】
学習装置５０が行う学習の手法として、例えば誤差逆伝播法（Backpropagation）などの既存の学習手法を、入力時間区間および出力時間区間が設定されていることに応じてアレンジした手法を用いることができる。
例えば、学習装置５０が誤差逆伝播法をアレンジした手法を用いて学習を行う場合、重みＷｉｊ （ｌ）を、式（９Ａ）で示される変化量ΔＷｉｊ （ｌ）だけ変化させるように、重みＷｉｊ （ｌ）を更新するようにしてもよい。また、同様に重みＷｉ（ｌ）を、式（９Ｂ）で示される変化量ΔＷｉ（ｌ）だけ変化させるように、重みＷｉ（ｌ）を更新するようにしてもよい。
例えば、学習装置５０が誤差逆伝播法をアレンジした手法を用いて学習を行う場合、重みＷｉｊ （ｌ）を、式（９Ａ）で示される変化量ΔＷｉｊ （ｌ）だけ変化させるように、重みＷｉｊ （ｌ）を更新するようにしてもよい。また、同様に重みＷｉ（ｌ）を、式（９Ｂ）で示される変化量ΔＷｉ（ｌ）だけ変化させるように、重みＷｉ（ｌ）を更新するようにしてもよい。
【0086】
【数9】
【0087】
ηは、学習率を示す定数である。式（９Ａ）と式（９Ｂ）の学習率は同じ値であってもよいし、互いに異なる値であってもよい。
Ｃは、式（１０）のように表される。
Ｃは、式（１０）のように表される。
【0088】
【数10】
【0089】
Ｃは、ニューラルネットワーク装置１０が出力する推定値と、教師ラベルが示す正解値との誤差に対する評価を示す評価関数の例に該当する。Ｃは、誤差が小さいほど小さい値を出力する損失関数として設定されている。
Ｍは、出力層（最終層）を示すインデックス値を表す。Ｎ（Ｍ）は、出力層に含まれるニューロンモデル１００の個数を表す。
Ｍは、出力層（最終層）を示すインデックス値を表す。Ｎ（Ｍ）は、出力層に含まれるニューロンモデル１００の個数を表す。
【0090】
κｉは、教師ラベルを表す。ここでは、ニューラルネットワーク装置１０が、クラスの個数がＮ（Ｍ）個のクラス分類を行うものとし、教師ラベルがワンホットベクトル（One-hot Vector）で示されるものとする。インデックスｉの値が正解クラスを示す場合にκｉ＝１であり、それ以外の場合はκｉ＝０であるものとする。
【0091】
ｔ（ｒｅｆ）は、参照スパイク（Reference Spike）を表す。
「γ／２（ｔｉ （Ｍ）－ｔ（ｒｅｆ））２」は、学習困難性を回避するために設けられた項である。この項をテンポラル罰則項（Temporal Penalty Term）とも称する。γは、テンポラル罰則項の影響度合いを調整するための定数であり、γ＞０である。γをテンポラル罰則係数とも称する。
Ｓｉは、ソフトマックス関数であり、式（１１）のように表される。
「γ／２（ｔｉ （Ｍ）－ｔ（ｒｅｆ））２」は、学習困難性を回避するために設けられた項である。この項をテンポラル罰則項（Temporal Penalty Term）とも称する。γは、テンポラル罰則項の影響度合いを調整するための定数であり、γ＞０である。γをテンポラル罰則係数とも称する。
Ｓｉは、ソフトマックス関数であり、式（１１）のように表される。
【0092】
【数11】
【0093】
σｓｏｆｔは、ソフトマックス関数Ｓｉの値の大きさを調整するためのスケール因子（Scale Factor）として設けられた定数であり、σｓｏｆｔ＞０である。
ここでは、出力層のｉ番目のスパイク発火時刻ｔｉ （Ｍ）が０≦ｔｉ （Ｍ）≦１で示されるものとする。例えば、出力層のスパイク発火時刻が、クラス毎に、入力データが示す分類対象がそのクラスに分類される確率を示すようにしてもよい。κｉ＝１となるｉについて、ｔｉ （Ｍ）の値が１に近いほど「－Σｉ＝１ Ｎ（Ｍ）（κｉｌｎ（Ｓｉ（ｔ（Ｍ））））」の項の値が小さくなり、学習装置５０は、損失（評価関数Ｃの値）を小さく計算する。
ただし、ニューラルネットワーク装置１０が行う処理は、クラス分類に限定されない。
ここでは、出力層のｉ番目のスパイク発火時刻ｔｉ （Ｍ）が０≦ｔｉ （Ｍ）≦１で示されるものとする。例えば、出力層のスパイク発火時刻が、クラス毎に、入力データが示す分類対象がそのクラスに分類される確率を示すようにしてもよい。κｉ＝１となるｉについて、ｔｉ （Ｍ）の値が１に近いほど「－Σｉ＝１ Ｎ（Ｍ）（κｉｌｎ（Ｓｉ（ｔ（Ｍ））））」の項の値が小さくなり、学習装置５０は、損失（評価関数Ｃの値）を小さく計算する。
ただし、ニューラルネットワーク装置１０が行う処理は、クラス分類に限定されない。
【0094】
重みＷｉj
（ｌ）とＷｉ
（ｌ）とに加えて、あるいは代えて、上述したように、ニューロンモデル１００におけるクリップ関数が学習の対象となっていてもよい。例えば、式（７）の「ａ」および「ｂ」を学習パラメータとして扱い、学習にて「ａ」の値および「ｂ」の値を調整するようにしてもよい。さらに例えば、学習装置５０が、入力時間区間および出力時間区間の時間幅を学習によって決定し、得られた時間幅に応じて「ａ」の値および「ｂ」の値を設定するようにしてもよい。図６では、時間Ｔが、入力時間区間および出力時間区間の時間幅の例に該当する。
【0095】
図１１は、運用時のニューラルネットワーク装置１０における信号の入出力の例を示す図である。
図１０に示される運用時と同様、学習時も、ニューラルネットワーク装置１０は、入力データの入力を受け、また、クロック信号を取得する。ニューラルネットワーク装置１０がクロック回路を備えるようにしてもよい。あるいは、ニューラルネットワーク装置１０が、ニューラルネットワーク装置１０の外部からのクロック信号の入力を受けるようにしてもよい。
ニューラルネットワーク装置１０は、入力データの入力を受けて、その入力データに基づく推定値を出力する。推定値を算出する際、ニューラルネットワーク装置１０は、クロック信号を用いて層間の時間区間の同期、および、同一層内のニューロンモデル１００間の時間区間の同期をとる。
図１０に示される運用時と同様、学習時も、ニューラルネットワーク装置１０は、入力データの入力を受け、また、クロック信号を取得する。ニューラルネットワーク装置１０がクロック回路を備えるようにしてもよい。あるいは、ニューラルネットワーク装置１０が、ニューラルネットワーク装置１０の外部からのクロック信号の入力を受けるようにしてもよい。
ニューラルネットワーク装置１０は、入力データの入力を受けて、その入力データに基づく推定値を出力する。推定値を算出する際、ニューラルネットワーク装置１０は、クロック信号を用いて層間の時間区間の同期、および、同一層内のニューロンモデル１００間の時間区間の同期をとる。
【0096】
次に、ニューラルネットワーク装置１０を用いた実験の結果について説明する。
手書き数字画像のデータセットであるＭＮＩＳＴを用いて、手書き数字画像の認識の学習およびテストを行った。
ニューラルネットワーク１１の構成は、入力層、第１層、第２層、および、出力層の４層を有する全結合の順伝播型とした。入力層のニューロンモデル１００の個数は７８４個とし、第１層および第２層のニューロンモデル１００の個数はそれぞれ２００個とし、出力層のニューロンモデル１００の個数は１０個とした。
手書き数字画像のデータセットであるＭＮＩＳＴを用いて、手書き数字画像の認識の学習およびテストを行った。
ニューラルネットワーク１１の構成は、入力層、第１層、第２層、および、出力層の４層を有する全結合の順伝播型とした。入力層のニューロンモデル１００の個数は７８４個とし、第１層および第２層のニューロンモデル１００の個数はそれぞれ２００個とし、出力層のニューロンモデル１００の個数は１０個とした。
【0097】
入力時間区間および出力時間区間の時間幅は、何れも０．０５ミリ秒とした。
ニューラルネットワーク１１による推定結果の表示方式として、出力層のニューロンモデル１００のうちどのニューロンモデル１００が最初にスパイク信号を出力するかによって推定結果を示す時間方式を採用した。
実験の結果、テスト時の認識率で９７．４％の認識率を得られた。
ニューラルネットワーク１１による推定結果の表示方式として、出力層のニューロンモデル１００のうちどのニューロンモデル１００が最初にスパイク信号を出力するかによって推定結果を示す時間方式を採用した。
実験の結果、テスト時の認識率で９７．４％の認識率を得られた。
【0098】
図１２は、学習時における閾値到達時刻の例を示す図である。図１２は、仮に、指標値計算部１１０が膜電位を算出する時間を制限しない場合の、閾値到達時刻の例を示す。
図１２の横軸は、時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、入力層、第１層、第２層および出力層のそれぞれにおけるノード番号を示す。
図１２の横軸は、時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、入力層、第１層、第２層および出力層のそれぞれにおけるノード番号を示す。
【0099】
図１２の例では、第１層のニューロンモデル１００のうち、第１層の出力時間区間の終了時である０．０１０ミリ秒よりも後に膜電位が閾値に達しているニューロンモデル１００がある。例えば、０．０２５ミリ秒の付近で膜電位が閾値に達しているニューロンモデル１００がある。
仮に、このニューロンモデル１００の膜電位が閾値に達するのを待ち受けることにすると、０．０２５ミリ秒の付近まで、第１層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することはできない。
仮に、このニューロンモデル１００の膜電位が閾値に達するのを待ち受けることにすると、０．０２５ミリ秒の付近まで、第１層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することはできない。
【0100】
第２層についても、第２層のニューロンモデル１００のうち、第１層の出力時間区間の終了時である０．０１５ミリ秒よりも後に膜電位が閾値に達しているニューロンモデル１００がある。例えば、０．０１９ミリ秒頃に膜電位が閾値に達しているニューロンモデル１００がある。
仮に、このニューロンモデル１００の膜電位が閾値に達するのを待ち受けることにすると、０．０１９ミリ秒頃まで、第２層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することはできない。
仮に、このニューロンモデル１００の膜電位が閾値に達するのを待ち受けることにすると、０．０１９ミリ秒頃まで、第２層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することはできない。
【0101】
あるいは、仮に、ニューラルネットワーク１１が推定結果を出力するまで第１層のニューロンモデル１００の各々および第２層のニューロンモデル１００の各々における膜電位の計算を継続することにすると、出力層のニューロンモデル１００の膜電位が最初に閾値に達している０．０１３ミリ秒頃まで、第１層、第２層および出力層の何れのニューロンモデル１００にも、次の入力データの処理のためのスパイク信号を入力することはできない。
【0102】
図１３は、学習時における発火時刻の例を示す図である。
図１３の横軸は、時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、入力層、第１層、第２層および出力層のそれぞれにおけるノード番号を示す。
図１３の例では、第１層の出力時間区間である０．００５秒から０．０１０秒までの間に、第１層の全てのニューロンモデル１００がスパイク信号を出力している。これにより、０．０１０秒以降は、第１層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することができる。
図１３の横軸は、時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、入力層、第１層、第２層および出力層のそれぞれにおけるノード番号を示す。
図１３の例では、第１層の出力時間区間である０．００５秒から０．０１０秒までの間に、第１層の全てのニューロンモデル１００がスパイク信号を出力している。これにより、０．０１０秒以降は、第１層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することができる。
【0103】
また、第１層のニューロンモデル１００の発火時刻が０．００５秒以降に限定されていることで、第２層の入力時間区間の開始時刻も、０．００５秒とすることができる。仮に、図１３の例で処理対象となっているデータよりも前のデータがある場合、第２層のニューロンモデル１００は、０．００５秒まで、前のデータに対する処理を行うことができる。
【0104】
また、第２層の出力時間区間である０．０１０秒から０．０１５秒までの間に、第２層の全てのニューロンモデル１００がスパイク信号を出力している。これにより、０．０１５秒以降は、第２層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することができる。
【0105】
また、第２層のニューロンモデル１００の発火時刻が０．０１０秒以降に限定されていることで、出力層の入出力時間区間の開始時刻も、０．０１０秒とすることができる。仮に、図１３の例で処理対象となっているデータよりも前のデータがある場合、出力層のニューロンモデル１００は、０．０１０秒まで、前のデータに対する処理を行うことができる。
【0106】
なお、実験では出力層のニューロンモデル１００がスパイク信号を出力するタイミングは限定していない。このため、出力層のニューロンモデル１００のうち、出力層の出力時間区間の終了時である０．０２０ミリ秒よりも後に、スパイクを出力しているニューロンモデル１００がある。出力層のニューロンモデル１００についても出力時間区間内に発火するようにすることで、出力時間区間の終了時である０．０２０ミリ秒以降は、出力層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することができる。
【0107】
図１４は、テスト時における閾値到達時刻の例を示す図である。図１４は、仮に、指標値計算部１１０が膜電位を算出する時間を制限しない場合の、閾値到達時刻の例を示す。
図１４の横軸は、時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、入力層、第１層、第２層および出力層のそれぞれにおけるノード番号を示す。
図１４の横軸は、時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、入力層、第１層、第２層および出力層のそれぞれにおけるノード番号を示す。
【0108】
図１４の例では、第１層のニューロンモデル１００のうち、第１層の出力時間区間の終了時である０．０１０ミリ秒よりも後に膜電位が閾値に達しているニューロンモデル１００がある。例えば、０．０２５ミリ秒の付近で膜電位が閾値に達しているニューロンモデル１００がある。
仮に、このニューロンモデル１００の膜電位が閾値に達するのを待ち受けることにすると、０．０２５ミリ秒の付近まで、第１層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することはできない。
仮に、このニューロンモデル１００の膜電位が閾値に達するのを待ち受けることにすると、０．０２５ミリ秒の付近まで、第１層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することはできない。
【0109】
第２層についても、第２層のニューロンモデル１００のうち、第１層の出力時間区間の終了時である０．０１５ミリ秒よりも後に膜電位が閾値に達しているニューロンモデル１００がある。例えば、０．０２２ミリ秒頃に膜電位が閾値に達しているニューロンモデル１００がある。
仮に、このニューロンモデル１００の膜電位が閾値に達するのを待ち受けることにすると、０．０２２ミリ秒頃まで、第２層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することはできない。
仮に、このニューロンモデル１００の膜電位が閾値に達するのを待ち受けることにすると、０．０２２ミリ秒頃まで、第２層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することはできない。
【0110】
あるいは、仮に、ニューラルネットワーク１１が推定結果を出力するまで第１層のニューロンモデル１００の各々および第２層のニューロンモデル１００の各々における膜電位の計算を継続することにすると、出力層のニューロンモデル１００の膜電位が最初に閾値に達している０．０１３ミリ秒頃まで、第１層、第２層および出力層の何れのニューロンモデル１００にも、次の入力データの処理のためのスパイク信号を入力することはできない。
【0111】
図１５は、テスト時における発火時刻の例を示す図である。
図１５の横軸は、時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、入力層、第１層、第２層および出力層のそれぞれにおけるノード番号を示す。
図１５の例では、第１層の出力時間区間である０．００５秒から０．０１０秒までの間に、第１層の全てのニューロンモデル１００がスパイク信号を出力している。これにより、０．０１０秒以降は、第１層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することができる。
図１５の横軸は、時刻を、ニューラルネットワーク１１へのデータ入力開始時からの経過時間で示す。縦軸は、入力層、第１層、第２層および出力層のそれぞれにおけるノード番号を示す。
図１５の例では、第１層の出力時間区間である０．００５秒から０．０１０秒までの間に、第１層の全てのニューロンモデル１００がスパイク信号を出力している。これにより、０．０１０秒以降は、第１層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することができる。
【0112】
また、第１層のニューロンモデル１００の発火時刻が０．００５秒以降に限定されていることで、第２層の入力時間区間の開始時刻も、０．００５秒とすることができる。仮に、図１５の例で処理対象となっているデータよりも前のデータがある場合、第２層のニューロンモデル１００は、０．００５秒まで、前のデータに対する処理を行うことができる。
【0113】
また、第２層の出力時間区間である０．０１０秒から０．０１５秒までの間に、第２層の全てのニューロンモデル１００がスパイク信号を出力している。これにより、０．０１５秒以降は、第２層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することができる。
【0114】
また、第２層のニューロンモデル１００の発火時刻が０．０１０秒以降に限定されていることで、出力層の入出力時間区間の開始時刻も、０．０１０秒とすることができる。仮に、図１５の例で処理対象となっているデータよりも前のデータがある場合、出力層のニューロンモデル１００は、０．０１０秒まで、前のデータに対する処理を行うことができる。
【0115】
出力層のニューロンモデル１００についても出力時間区間内に発火するようにすることで、出力時間区間の終了時である０．０２０ミリ秒以降は、出力層のニューロンモデル１００に次の入力データの処理のためのスパイク信号を入力することができる。
【0116】
実施形態によれば、ニューラルネットワーク装置１０は、スパイクを受信する入力時間区間と、発火してスパイクを送信する出力時間区間とが区分されている。ニューラルネットワーク装置１０は、出力時間区間内で発火して、入力時間区間内の発火が制限されたニューロンモデル１００を備える。これにより、入力時間区間と出力時間区間とをそれぞれの利用形態で利用することが可能になり、スパイキングニューラルネットワークがデータ処理を効率的に行うことが可能になる。
例えば、ニューロンモデル１００を、ある時間区間内に発火させることでスパイクを送信することで、出力時間区間の後縁が明確になり、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間との区分が容易になる。これにより、比較的有意な情報を出力するニューロンモデル１００からの情報を漏らさずに用いるように調整することが容易になる。比較的有意な情報を出力するニューロンモデル１００が出力時間区間内に発火するように構成することで、スパイキングニューラルネットワークがデータ処理を効率的に行うことが可能になる。
また、比較的有意ではない情報を出力するニューロンモデル１００の発火を省略するように構成してもよい。例えば、ニューロンモデル１００は、出力時間区間の後縁でニューロンモデル１００の膜電位が所定の条件を満たす場合に強制発火するか、又は同場合に発火しないように形成されているとよい。これによって、出力時間区間が経過した後に、そのニューロンモデル１００が発火することがなくなる。これによって、スパイキングニューラルネットワークがデータ処理をさらに効率的に行うことが可能になる。
例えば、ニューロンモデル１００を、ある時間区間内に発火させることでスパイクを送信することで、出力時間区間の後縁が明確になり、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間との区分が容易になる。これにより、比較的有意な情報を出力するニューロンモデル１００からの情報を漏らさずに用いるように調整することが容易になる。比較的有意な情報を出力するニューロンモデル１００が出力時間区間内に発火するように構成することで、スパイキングニューラルネットワークがデータ処理を効率的に行うことが可能になる。
また、比較的有意ではない情報を出力するニューロンモデル１００の発火を省略するように構成してもよい。例えば、ニューロンモデル１００は、出力時間区間の後縁でニューロンモデル１００の膜電位が所定の条件を満たす場合に強制発火するか、又は同場合に発火しないように形成されているとよい。これによって、出力時間区間が経過した後に、そのニューロンモデル１００が発火することがなくなる。これによって、スパイキングニューラルネットワークがデータ処理をさらに効率的に行うことが可能になる。
【0117】
なお、ニューロンモデル１００が出力時間区間内において発火する発火時刻は、入力時間区間の最後の時刻におけるニューロンモデル１００の膜電位の関数として規定されるとよい。ニューロンモデル１００は、入力時間区間の最後の時刻におけるニューロンモデル１００の膜電位が予め定められた範囲外である場合の発火を制限するように形成されるとよい。ニューロンモデル１００は、出力時間区間内におけるニューロンモデル１００の膜電位がニューロンモデル１００に固有の傾きによって増加するように形成されているとよい。ニューロンモデル１００は、出力時間区間内においてニューロンモデル１００の膜電位が所定の条件を満たす場合に、所定のパルス波形のスパイクを発生させる。例えば、ニューロンモデル１００は、出力時間区間内においてニューロンモデル１００の膜電位が所定の条件を満たす場合に矩形波状のスパイクの送信を開始して、出力時間区間を終える時刻で前記スパイクの送信を中断させることができる。
【0118】
なお、ニューラルネットワーク１１の種類は、特定の種類に限定されない。例えば、ニューラルネットワーク１１が、スパイキングニューラルネットワークによる畳み込みニューラルネットワーク（Convolutional neural network；ＣＮＮ）として構成されていてもよい。
【0119】
【0120】
図２１は、ニューラルネットワーク装置１０Ａの構成の例を示す図である。ニューラルネットワーク装置１０Ａは、ニューラルネットワーク１１Ａを含む。ニューラルネットワーク１１Ａは、ＣＮＮとして構成されている。例えば、ニューラルネットワーク１１Ａは、入力側から順に、入力層２１と、中間層２２と、出力層２３と、特徴抽出層２４と、を備える。
【0121】
特徴抽出層２４は、入力層２１と中間層２２との間に配置されている。特徴抽出層２４は、入力層２１の出力を用いた演算処理により、入力される画像データから所望の特徴を抽出するように構成される。特徴抽出層２４は、演算結果を後段の中間層２２に供給する。
【0122】
例えば、特徴抽出層２４は、畳み込み層（Conv）とプーリング層（Pooling）とを組みにして、処理に適した任意の組数の畳み込み層とプーリング層とが積層するように構成されている。この図２１に示す特徴抽出層２４は、第１畳み込み層（Conv）２４１と、第１プーリング層（Pooling)２５１と、第２畳み込み層（Conv）２４２と、第２プーリング層（Pooling)２５２とを含む。特徴抽出層２４は、２組の畳み込み層とプーリング層とを備えた一例である。各層は、画像空間の局所的な特徴に応じて活性化するニューロンモデル１００によって構成されている。
【0123】
中間層２２は、例えば、第１全結合層２２１（Dense）と、第２全結合層２２２（Dense）と、を備える。なお、出力層２３を省略してもよい。
【0124】
以下、このように構成されたニューラルネットワーク装置１０Ａを用いた実験の結果の一例を示す。この実験の入力データとして、ＭＮＩＳＴのデータの一部を用いる。ここで示すデータは、手書きの８の字をモデル化したものである。
【0125】
図２２は、識別処理の結果を説明するための図である。図２３は、第１畳み込み層２４１と、第１プーリング層２５１のそれぞれの出力結果を説明するための図である。図２４は、第２畳み込み層２４２と、第２プーリング層２５２のそれぞれの出力結果を説明するための図である。図２３と図２４に示す画像の各画素の値は、各層のスパイクが確認された時刻を変換したものである。
【0126】
図２２の上段から順に、入力層２１（input）と、第１畳み込み層２４１（Conv）と、第１プーリング層２５１（Pooling）と、第２畳み込み層２４２（Conv）と、第２プーリング層２５２（Pooling）と、第１全結合層２２１（Dense）と、第２全結合層２２２（Dense）のそれぞれにおいて、膜電位ｖｉ
（ｌ）（ｔ）が閾値Ｖｔｈになったタイミングをプロットして示している。
【0127】
例えば、識別対象の２次元画像のサイズは、２８画素ｘ２８画素である。
第１畳み込み層２４１は、サイズ５ｘ５の畳み込みフィルタを形成し、これを６チャネル有する。第１プーリング層２５１は、第１畳み込み層２４１の処理結果に対して、サイズ２ｘ２を単位にした最大値プーリングを実施する。第２畳み込み層２４２は、サイズ５ｘ５の畳み込みフィルタを形成し、これを１６チャネル有する。第２プーリング層２５２は、第２畳み込み層２４２の処理結果に対して、サイズ２ｘ２を単位にした最大値プーリングを実施する。第１全結合層２２１のニューロンモデル１００の個数は、２００個であり、第２全結合層２２２のニューロンモデル１００の個数は、１０個である。
第１畳み込み層２４１は、サイズ５ｘ５の畳み込みフィルタを形成し、これを６チャネル有する。第１プーリング層２５１は、第１畳み込み層２４１の処理結果に対して、サイズ２ｘ２を単位にした最大値プーリングを実施する。第２畳み込み層２４２は、サイズ５ｘ５の畳み込みフィルタを形成し、これを１６チャネル有する。第２プーリング層２５２は、第２畳み込み層２４２の処理結果に対して、サイズ２ｘ２を単位にした最大値プーリングを実施する。第１全結合層２２１のニューロンモデル１００の個数は、２００個であり、第２全結合層２２２のニューロンモデル１００の個数は、１０個である。
【0128】
図２２に、各層のニューロンモデル１００の発火の発生状況を、その発火時刻に丸印を付けて示す。各層において、ニューロンモデル１００がそれぞれ発火するタイミングが、その出力時間区間内に適当に分布している状況が確認され、第２全結合層２２２の演算結果として、指標値８に対応するニューロンモデル１００が最も早く発火していることが確認できた。
【0129】
図２３と図２４の（ａ）から（ｆ）にその結果を示す。その結果においても、８の文字の軌跡に沿う斜め右上がりの方向に、比較的強く活性化されたことを示す結果が確認できる。この実験の結果、テスト時の認識率で９９．１％の認識率を得られた。
このように、第２の実施形態の場合も、第１の実施形態と同様の効果を奏する。
このように、第２の実施形態の場合も、第１の実施形態と同様の効果を奏する。
【0130】
（各実施形態に共通する変形例）
上述したように、ニューラルネットワーク１１が順伝播型のスパイキングニューラルネットワークとして構成される場合、ニューラルネットワーク１１の層数は２層以上であればよく、特定の層数に限定されない。また、各層が備えるニューロンモデル１００の個数は特定の個数に限定されず、各層が１つ以上のニューロンモデル１００を備えていればよい。各層が同じ個数のニューロンモデル１００を備えていてもよいし、層によって異なる個数のニューロンモデル１００を備えていてもよい。また、ニューラルネットワーク１１が全結合型になっていてもよいし、全結合型でなくてもよい。
上述したように、ニューラルネットワーク１１が順伝播型のスパイキングニューラルネットワークとして構成される場合、ニューラルネットワーク１１の層数は２層以上であればよく、特定の層数に限定されない。また、各層が備えるニューロンモデル１００の個数は特定の個数に限定されず、各層が１つ以上のニューロンモデル１００を備えていればよい。各層が同じ個数のニューロンモデル１００を備えていてもよいし、層によって異なる個数のニューロンモデル１００を備えていてもよい。また、ニューラルネットワーク１１が全結合型になっていてもよいし、全結合型でなくてもよい。
【0131】
また、ニューロンモデル１００の発火後の膜電位は、上述した電位０から変化しないものに限定されない。例えば、発火から所定時間経過後は、スパイク信号の入力に応じて膜電位が変化するようにしてもよい。ニューロンモデル１００の各々の発火回数も、入力データ毎に１回に限定されない。
【0132】
スパイキングニューロンモデルとしてのニューロンモデル１００の構成も、特定の構成に限定されない。例えば、ニューロンモデル１００が、スパイク信号の入力を受けてから次のスパイク信号の入力を受けるまでの変化速度が一定でなくてもよい。
ニューラルネットワーク１１の学習方法は、教師有り学習に限定されない。学習装置５０が、ニューラルネットワーク１１の学習を教師無し学習で行うようにしてもよい。
ニューラルネットワーク１１の学習方法は、教師有り学習に限定されない。学習装置５０が、ニューラルネットワーク１１の学習を教師無し学習で行うようにしてもよい。
【0133】
以上のように、指標値計算部１１０は、入力時間区間における信号の入力状況に基づいて膜電位を時間変化させる。信号出力部１３０は、膜電位に基づいて、入力時間区間終了後の出力時間区間内に信号を出力する。
このように、ニューロンモデル１００がスパイク信号の入力を受け付ける入力時間区間、および、ニューロンモデル１００がスパイク信号を出力する出力時間区間を設定することで、指標値計算部１１０が膜電位を計算するべき時間を、入力時間区間の開始時から出力時間区間の終了時までの時間に限定することができる。他の時間では、ニューロンモデル１００は、他のデータに対する処理を行うことができる。
ニューラルネットワーク装置１０によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
このように、ニューロンモデル１００がスパイク信号の入力を受け付ける入力時間区間、および、ニューロンモデル１００がスパイク信号を出力する出力時間区間を設定することで、指標値計算部１１０が膜電位を計算するべき時間を、入力時間区間の開始時から出力時間区間の終了時までの時間に限定することができる。他の時間では、ニューロンモデル１００は、他のデータに対する処理を行うことができる。
ニューラルネットワーク装置１０によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
【0134】
また、指標値計算部１１０は、入力時間区間において信号の入力状況に応じた変化速度で膜電位を変化させる。入力時間区間内で膜電位が閾値に達しなかった場合、指標値計算部１１０は、出力時間区間において、入力時間区間の終了時における変化速度で膜電位を変化させる。
入力時間区間内で膜電位が閾値に達した場合、信号出力部１３０は、出力時間区間の開始時にスパイク信号を出力する。出力時間区間内で膜電位が閾値に達した場合、信号出力部１３０は、膜電位が閾値に達したときにスパイク信号を出力する。出力時間区間内で膜電位が閾値に達しなかった場合、信号出力部１３０は、出力時間区間の終了時にスパイク信号を出力する。
入力時間区間内で膜電位が閾値に達した場合、信号出力部１３０は、出力時間区間の開始時にスパイク信号を出力する。出力時間区間内で膜電位が閾値に達した場合、信号出力部１３０は、膜電位が閾値に達したときにスパイク信号を出力する。出力時間区間内で膜電位が閾値に達しなかった場合、信号出力部１３０は、出力時間区間の終了時にスパイク信号を出力する。
【0135】
これにより、ニューロンモデル１００がスパイク信号を出力する時間を、出力時間区間に限定することができる。ニューロンモデル１００は、出力時間区間の終了後は、他のデータに対する処理を行うことができる。
ニューラルネットワーク装置１０によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
ニューラルネットワーク装置１０によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
【0136】
また、第１のニューロンモデル１００の出力時間区間と、第１のニューロンモデル１００からのスパイク信号の入力を受ける第２のニューロンモデルの入力時間区間とが重なるように出力時間区間および入力時間区間が設定されている。
これにより、第１のニューロンモデル１００から第２のニューロンモデル１００へ、スパイク信号によって効率的にデータを伝達することができ、第１のニューロンモデル１００および第２のニューロンモデル１００は、パイプライン処理のように処理を行うことができる。
ニューラルネットワーク装置１０によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
これにより、第１のニューロンモデル１００から第２のニューロンモデル１００へ、スパイク信号によって効率的にデータを伝達することができ、第１のニューロンモデル１００および第２のニューロンモデル１００は、パイプライン処理のように処理を行うことができる。
ニューラルネットワーク装置１０によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
【0137】
また、指標値計算部１１０は、入力時間区間における信号の入力状況に基づいて膜電位を時間変化させる。信号出力部１３０は、膜電位に基づいて、入力時間区間終了後の出力時間区間内にスパイク信号を出力する。学習装置５０は、スパイク信号に対する重み係数の学習を行う。
これにより、学習によって重み係数を調整することができ、ニューラルネットワーク装置１０による推定精度を向上させることができる。
これにより、学習によって重み係数を調整することができ、ニューラルネットワーク装置１０による推定精度を向上させることができる。
【0138】
図１６は、実施形態に係るニューラルネットワーク装置の構成例を示す図である。図１１に示す構成で、ニューラルネットワーク装置６１０は、ニューロンモデル６１１を備える。ニューロンモデル６１１は、指標値計算部６１２と、信号出力部６１３とを備える。
かかる構成で、ニューロンモデル６１１は、ある時間区間内に発火させることでスパイクを送信可能に形成されている。ニューラルネットワーク装置６１０では、ニューロンモデル６１１を発火させることに関連付けて、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間とが区分されている。
例えば、指標値計算部６１２は、入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させる。信号出力部６１３は、指標値に基づいて発火させることによって、入力時間区間終了後の出力時間区間内に信号を出力する。
指標値計算部６１２は、指標値計算手段の例に該当する。信号出力部６１３は、信号出力手段の例に該当する。
かかる構成で、ニューロンモデル６１１は、ある時間区間内に発火させることでスパイクを送信可能に形成されている。ニューラルネットワーク装置６１０では、ニューロンモデル６１１を発火させることに関連付けて、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間とが区分されている。
例えば、指標値計算部６１２は、入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させる。信号出力部６１３は、指標値に基づいて発火させることによって、入力時間区間終了後の出力時間区間内に信号を出力する。
指標値計算部６１２は、指標値計算手段の例に該当する。信号出力部６１３は、信号出力手段の例に該当する。
【0139】
このように、ニューロンモデル６１１が信号の入力を受け付ける入力時間区間、および、ニューロンモデル６１１がスパイク信号を出力する出力時間区間を設定して、出力時間区間内に発火させることで、指標値計算部６１２が指標値を計算するべき時間を、入力時間区間の開始時から出力時間区間の終了時までの時間に限定することができる。他の時間では、ニューロンモデル６１１は、他のデータに対する処理を行うことができる。
ニューラルネットワーク装置６１０によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
なお、信号の入力と信号の出力が干渉しない層であれば、入力時間区間と、出力時間区間とが重なるように規定してもよい。例えば、前述の出力層２３は、信号の入力と信号の出力が干渉しない層の一例である。このような出力層２３に適用されるニューロンモデル６１１は、発火させることに関連付けて、信号を受信および送信が許可された入出力時間区間が設定されていてもよい。信号を受信および送信が許可された入出力時間区間は、信号の出力が制限される入力時間区間に代えて設定されてもよい。
ニューラルネットワーク装置６１０によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
なお、信号の入力と信号の出力が干渉しない層であれば、入力時間区間と、出力時間区間とが重なるように規定してもよい。例えば、前述の出力層２３は、信号の入力と信号の出力が干渉しない層の一例である。このような出力層２３に適用されるニューロンモデル６１１は、発火させることに関連付けて、信号を受信および送信が許可された入出力時間区間が設定されていてもよい。信号を受信および送信が許可された入出力時間区間は、信号の出力が制限される入力時間区間に代えて設定されてもよい。
【0140】
図１７は、実施形態に係るニューロンモデル装置の構成例を示す図である。図１７に示す構成で、ニューロンモデル装置６２０は、指標値計算部６２１と、信号出力部６２２とを備える。
かかる構成で、ニューロンモデル装置６２０は、発火させることに関連付けて、信号を受信する入力時間区間と、信号を送信することが許可された出力時間区間とが区分されている。指標値計算部６２１は、入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させる。信号出力部６２２は、指標値に基づいて発火させることによって、入力時間区間終了後の出力時間区間内に信号を出力する。
指標値計算部６２１は、指標値計算手段の例に該当する。信号出力部６２２は、信号出力手段の例に該当する。
かかる構成で、ニューロンモデル装置６２０は、発火させることに関連付けて、信号を受信する入力時間区間と、信号を送信することが許可された出力時間区間とが区分されている。指標値計算部６２１は、入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させる。信号出力部６２２は、指標値に基づいて発火させることによって、入力時間区間終了後の出力時間区間内に信号を出力する。
指標値計算部６２１は、指標値計算手段の例に該当する。信号出力部６２２は、信号出力手段の例に該当する。
【0141】
このように、ニューロンモデル装置６２０が信号の入力を受け付ける入力時間区間、および、ニューロンモデル装置６２０がスパイク信号を出力する出力時間区間を設定することで、指標値計算部６２１が指標値を計算するべき時間を、入力時間区間の開始時から出力時間区間の終了時までの時間に限定することができる。他の時間では、ニューロンモデル装置６２０は、他のデータに対する処理を行うことができる。
ニューロンモデル装置６２０によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
ニューロンモデル装置６２０によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
【0142】
図１８は、実施形態に係るニューラルネットワークシステムの構成例を示す図である。
図１８に示す構成で、ニューラルネットワークシステム６３０は、ニューラルネットワーク本体６３１と、学習部６３５とを備える。ニューラルネットワーク本体６３１は、ニューロンモデル６３２を備える。ニューロンモデル６３２は、指標値計算部６３３と、信号出力部６３４とを備える。
図１８に示す構成で、ニューラルネットワークシステム６３０は、ニューラルネットワーク本体６３１と、学習部６３５とを備える。ニューラルネットワーク本体６３１は、ニューロンモデル６３２を備える。ニューロンモデル６３２は、指標値計算部６３３と、信号出力部６３４とを備える。
【0143】
かかる構成で、ニューラルネットワークシステム６３０は、ニューロンモデル６３２を発火させることに関連付けて、信号を受信する入力時間区間と、信号を送信することが許可された出力時間区間とが区分されている。指標値計算部６３３は、入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させる。信号出力部６３４は、指標値に基づいて、入力時間区間終了後の出力時間区間内に信号を出力する。学習部６３５は、ニューロンモデル６３２に入力される信号に対する重み係数の学習を行う。
【0144】
指標値計算部６３３は、指標値計算手段の例に該当する。信号出力部６３４は、信号出力手段の例に該当する。学習部６３５は、学習手段の例に該当する。
数の学習を行う。
ニューラルネットワークシステム６３０では、これにより、学習によって重み係数を調整することができ、ニューラルネットワーク本体６３１による推定精度を向上させることができる。
数の学習を行う。
ニューラルネットワークシステム６３０では、これにより、学習によって重み係数を調整することができ、ニューラルネットワーク本体６３１による推定精度を向上させることができる。
【0145】
図１９は、実施形態に係る演算方法における処理手順の例を示すフローチャートである。図１９に示す演算方法は、時間区間の区分を識別すること（ステップＳ６１０）と、指標値を算出すること（ステップＳ６１１）と、信号を出力すること（ステップＳ６１２）とを含む。
【0146】
時間区間の区分を識別すること（ステップＳ６１０）では、スパイクを受信する入力時間区間と、スパイクを送信することが許可された出力時間区間とを識別する。例えば、時間区間の区分を識別することに、識別結果に応じてフラグを設定することを含めてもよい。指標値を算出すること（ステップＳ６１１）では、識別の結果が入力時間区間を示す場合に、信号の入力を許容して、入力時間区間における信号の入力状況に基づいて信号出力の指標値を変化させる。信号を出力すること（ステップＳ６１２）は、例えば識別の結果によって入力時間区間から出力時間区間への遷移が検出されて、この検出に応じて実施される。信号を出力すること（ステップＳ６１２）では、識別の結果（フラグの値）によって、指標値に基づいて発火させることによって、入力時間区間終了後の出力時間区間内に信号を出力する。
【0147】
図１９に示す演算方法では、信号の入力を受け付ける入力時間区間、および、信号を出力する出力時間区間を設定して、出力時間区間内に発火させることで、指標値を計算するべき時間を、入力時間区間の開始時から出力時間区間の終了時までの時間に限定することができる。他の時間では、他のデータに対する処理を行うことができる。
図１９に示す演算方法によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
図１９に示す演算方法によれば、この点で、スパイキングニューラルネットワークがデータ処理を効率的に行うことができる。
【0148】
図２０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図２０に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０と、不揮発性記録媒体７５０とを備える。
図２０に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０と、不揮発性記録媒体７５０とを備える。
【0149】
上記のニューラルネットワーク装置１０、学習装置５０、ニューラルネットワーク装置６１０、ニューロンモデル装置６２０、および、ニューラルネットワークシステム６３０のうち何れか１つ以上またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。
【0150】
ニューラルネットワーク装置１０がコンピュータ７００に実装される場合、ニューラルネットワーク装置１０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0151】
また、ＣＰＵ７１０は、プログラムに従って、ニューラルネットワーク装置１０の処理のための記憶領域を主記憶装置７２０に確保する。ニューラルネットワーク装置１０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。ニューラルネットワーク装置１０とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
【0152】
学習装置５０がコンピュータ７００に実装される場合、学習装置５０の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0153】
また、ＣＰＵ７１０は、プログラムに従って、学習装置５０の処理のための記憶領域を主記憶装置７２０に確保する。学習装置５０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。学習装置５０とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
【0154】
ニューラルネットワーク装置６１０がコンピュータ７００に実装される場合、ニューラルネットワーク装置６１０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0155】
また、ＣＰＵ７１０は、プログラムに従って、ニューラルネットワーク装置６１０の処理のための記憶領域を主記憶装置７２０に確保する。ニューラルネットワーク装置６１０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。ニューラルネットワーク装置６１０とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
【0156】
ニューロンモデル装置６２０がコンピュータ７００に実装される場合、ニューロンモデル装置６２０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0157】
また、ＣＰＵ７１０は、プログラムに従って、ニューロンモデル装置６２０の処理のための記憶領域を主記憶装置７２０に確保する。ニューロンモデル装置６２０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。ニューロンモデル装置６２０とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
【0158】
ニューラルネットワークシステム６３０がコンピュータ７００に実装される場合、ニューラルネットワークシステム６３０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0159】
また、ＣＰＵ７１０は、プログラムに従って、ニューラルネットワークシステム６３０の処理のための記憶領域を主記憶装置７２０に確保する。ニューラルネットワークシステム６３０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。ニューラルネットワークシステム６３０とユーザとのインタラクションは、インタフェース７４０が表示装置および入力デバイスを備え、ＣＰＵ７１０の制御に従って各種画像の表示を行い、ユーザ操作を受け付けることで実行される。
【0160】
なお、ニューラルネットワーク装置１０、学習装置５０、ニューラルネットワーク装置６１０、ニューロンモデル装置６２０、および、ニューラルネットワークシステム６３０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0161】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0162】
１、６３０ ニューラルネットワークシステム
１０、１０Ａ、６１０ ニューラルネットワーク装置
１１、１１Ａ ニューラルネットワーク
２１ 入力層
２２ 中間層
２３ 出力層
２４ 特徴抽出層
５０ 学習装置
１００、６１１、６３２ ニューロンモデル
１１０、６１２、６２１、６３３ 指標値計算部
１２０ 比較部
１３０、６１３、６２２、６３４ 信号出力部
６２０ ニューロンモデル装置
６３１ ニューラルネットワーク本体
６３５ 学習部
１０、１０Ａ、６１０ ニューラルネットワーク装置
１１、１１Ａ ニューラルネットワーク
２１ 入力層
２２ 中間層
２３ 出力層
２４ 特徴抽出層
５０ 学習装置
１００、６１１、６３２ ニューロンモデル
１１０、６１２、６２１、６３３ 指標値計算部
１２０ 比較部
１３０、６１３、６２２、６３４ 信号出力部
６２０ ニューロンモデル装置
６３１ ニューラルネットワーク本体
６３５ 学習部
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
