知財求人 - 知財ポータルサイト「IP Force」
特許7540509ニューラルネットワーク装置、生成装置、情報処理方法、生成方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-19
(45)【発行日】2024-08-27
(54)【発明の名称】ニューラルネットワーク装置、生成装置、情報処理方法、生成方法およびプログラム
(51)【国際特許分類】
G06N 3/049 20230101AFI20240820BHJP
【ＦＩ】
G06N3/049
【請求項の数】
10
(21)【出願番号】P 2022568020
(86)(22)【出願日】2020-12-11
(86)【国際出願番号】 JP2020046331
(87)【国際公開番号】W WO2022123781
(87)【国際公開日】2022-06-16
【審査請求日】2023-06-01
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】酒見 悠介
【審査官】佐藤 実
(56)【参考文献】
【文献】特開２０１０－１４６５１４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０４
(57)【特許請求の範囲】
【請求項1】
信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する、漏れ電流無しの時間方式スパイキングニューロンモデル手段と、前記時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、前記時間方式スパイキングニューロンモデル手段が計算対象の人工ニューロンモデルにおける入力信号に対する重み付け合計およびバイアスの付加に相当する計算を行うように、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みが設定されたときの、前記出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として設定された時間だけ遅延させた信号を出力する遅延手段と、
を備えるニューラルネットワーク装置。
【請求項2】
前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを、その時間方式スパイキングニューロンモデル手段における全ての重みの合計で除算した値が、計算対象の人口ニューロンモデルにおける重みの値と等しくなるように、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みが設定される、請求項１に記載のニューラルネットワーク装置。
【請求項3】
前記遅延手段の前記出力信号の出力時刻、または、前記基準時刻の何れか早い時刻に信号を出力する時間方式ランプ関数手段をさらに備える請求項２に記載のニューラルネットワーク装置。
【請求項4】
前記時間方式スパイキングニューロンモデル手段への入力信号に依存しない時刻に、前記時間方式スパイキングニューロンモデル手段に信号を出力する設定スパイク供給手段をさらに備える請求項１から３の何れか一項に記載のニューラルネットワーク装置。
【請求項5】
前記時間方式スパイキングニューロンモデル手段、および、前記遅延手段のうち少なくとも何れかは、ＡＳＩＣ(Application Specific Integrated Circuit)またはＦＰＧＡ(Field-Programmable Gate Array)を用いて構成される、請求項１に記載のニューラルネットワーク装置。
【請求項6】
信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する、漏れ電流無しの時間方式スパイキングニューロンモデル手段と、前記時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ遅延させた信号を出力する遅延手段と、を備えるニューラルネットワークを生成するベースネットワーク生成手段と、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを、その時間方式スパイキングニューロンモデル手段における全ての重みの合計で除算した値が、計算対象の人口ニューロンモデルにおける重みの値と等しくなるように、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを設定する、重み設定手段と、
前記遅延手段における前記設定された時間を、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みの前記設定のもとで、前記出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として定められた時間に設定する遅延設定手段と、
を備える生成装置。
【請求項7】
ニューラルネットワーク装置が、
漏れ電流無しの時間方式スパイキングニューロンモデルの、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると第一信号を出力することと、
前記第一信号が基準時刻に対する相対時刻で示すスパイク時刻を、前記時間方式スパイキングニューロンモデルが計算対象の人工ニューロンモデルにおける入力信号に対する重み付け合計およびバイアスの付加に相当する計算を行うように、前記時間方式スパイキングニューロンモデルへの入力信号に対する重みが設定されたときの、出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として設定された時間だけ遅延させた第二信号を出力することと、
を含む情報処理方法。
【請求項8】
信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する、漏れ電流無しの時間方式スパイキングニューロンモデル手段と、前記時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた信号を出力する遅延手段と、を備えるニューラルネットワークを生成することと、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを、その時間方式スパイキングニューロンモデル手段における全ての重みの合計で除算した値が、計算対象の人口ニューロンモデルにおける重みの値と等しくなるように、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを設定することと、
前記遅延手段における前記設定された時間を、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みの前記設定のもとで、前記出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として定められた時間に設定することと、
を含むニューラルネットワーク生成方法。
【請求項9】
コンピュータに、漏れ電流無しの時間方式スパイキングニューロンモデルの、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると第一信号を出力することと、
前記第一信号が基準時刻に対する相対時刻で示すスパイク時刻を、前記時間方式スパイキングニューロンモデルが計算対象の人工ニューロンモデルにおける入力信号に対する重み付け合計およびバイアスの付加に相当する計算を行うように、前記時間方式スパイキングニューロンモデルへの入力信号に対する重みが設定されたときの、出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として設定された時間だけ遅延させた第二信号を出力することと、
を実行させるためのプログラム。
【請求項10】
コンピュータに、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する、漏れ電流無しの時間方式スパイキングニューロンモデル手段と、前記時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた信号を出力する遅延手段と、を備えるニューラルネットワークを生成することと、
前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを、その時間方式スパイキングニューロンモデル手段における全ての重みの合計で除算した値が、計算対象の人口ニューロンモデルにおける重みの値と等しくなるように、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを設定することと、
前記遅延手段における前記設定された時間を、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みの前記設定のもとで、前記出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として定められた時間に設定することと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワーク装置、生成装置、情報処理方法、生成方法およびプログラムに関する。
【背景技術】
【0002】
ニューラルネットワークの１つにスパイキングニューラルネットワークがある（例えば、特許文献１参照）。スパイキングニューラルネットワークでは、ニューロンモデルが膜電位と呼ばれる内部状態を有し、膜電位の時間発展に基づいてスパイクと呼ばれる信号を出力する。
例えばニューラルネットワークをハードウェア的に実装する場合、スパイキングニューラルネットワークのほうが、内部状態を有せず時間要素を含まない計算を行うニューロンモデルを用いたニューラルネットワーク（人工ニューラルネットワークと称する）よりも、計算時の消費電力が小さいことが期待される。
例えばニューラルネットワークをハードウェア的に実装する場合、スパイキングニューラルネットワークのほうが、内部状態を有せず時間要素を含まない計算を行うニューロンモデルを用いたニューラルネットワーク（人工ニューラルネットワークと称する）よりも、計算時の消費電力が小さいことが期待される。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１３－５４６０６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
人工ニューラルネットワークと同等のスパイキングニューラルネットワークを生成できれば、人工ニューラルネットワークを用いて高精度な学習を行った後、それと同等のスパイキングニューラルネットワークを生成する、といった運用が可能になる。これにより、高精度な処理と消費電力の低減との両立を図ることができる。
人工ニューラルネットワークと同等のスパイキングニューラルネットワークを生成する際、スパイキングニューラルネットワークの構成がなるべく簡単であることが好ましい。
人工ニューラルネットワークと同等のスパイキングニューラルネットワークを生成する際、スパイキングニューラルネットワークの構成がなるべく簡単であることが好ましい。
【0005】
本発明の目的の１つは、上述の課題を解決することのできるニューラルネットワーク装置、生成装置、情報処理方法、生成方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第１の態様によれば、ニューラルネットワーク装置は、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する、漏れ電流無しの時間方式スパイキングニューロンモデル手段と、前記時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、前記時間方式スパイキングニューロンモデル手段が計算対象の人工ニューロンモデルにおける入力信号に対する重み付け合計およびバイアスの付加に相当する計算を行うように、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みが設定されたときの、前記出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として設定された時間だけ遅延させた信号を出力する遅延手段と、を備える。
【0007】
本発明の第２の態様によれば、生成装置は、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する、漏れ電流無しの時間方式スパイキングニューロンモデル手段と、前記時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ遅延させた信号を出力する遅延手段と、を備えるニューラルネットワークを生成するベースネットワーク生成手段と、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを、その時間方式スパイキングニューロンモデル手段における全ての重みの合計で除算した値が、計算対象の人口ニューロンモデルにおける重みの値と等しくなるように、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを設定する、重み設定手段と、前記遅延手段における前記設定された時間を、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みの前記設定のもとで、前記出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として定められた時間に設定する遅延設定手段と、を備える。
【0008】
本発明の第３の態様によれば、情報処理方法は、ニューラルネットワーク装置が、漏れ電流無しの時間方式スパイキングニューロンモデルの、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると第一信号を出力することと、前記第一信号が基準時刻に対する相対時刻で示すスパイク時刻を、前記時間方式スパイキングニューロンモデルが計算対象の人工ニューロンモデルにおける入力信号に対する重み付け合計およびバイアスの付加に相当する計算を行うように、前記時間方式スパイキングニューロンモデルへの入力信号に対する重みが設定されたときの、出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として設定された時間だけ遅延させた第二信号を出力することと、を含む。
【0009】
本発明の第４の態様によれば、ニューラルネットワーク生成方法は、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する、漏れ電流無しの時間方式スパイキングニューロンモデル手段と、前記時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた信号を出力する遅延手段と、を備えるニューラルネットワークを生成することと、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを、その時間方式スパイキングニューロンモデル手段における全ての重みの合計で除算した値が、計算対象の人口ニューロンモデルにおける重みの値と等しくなるように、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを設定することと、前記遅延手段における前記設定された時間を、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みの前記設定のもとで、前記出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として定められた時間に設定することと、を含む。
【0010】
本発明の第５の態様によれば、プログラムは、コンピュータに、漏れ電流無しの時間方式スパイキングニューロンモデルの、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると第一信号を出力することと、前記第一信号が基準時刻に対する相対時刻で示すスパイク時刻を、前記時間方式スパイキングニューロンモデルが計算対象の人工ニューロンモデルにおける入力信号に対する重み付け合計およびバイアスの付加に相当する計算を行うように、前記時間方式スパイキングニューロンモデルへの入力信号に対する重みが設定されたときの、出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として設定された時間だけ遅延させた第二信号を出力することと、を実行させるためのプログラムである。
【0011】
本発明の第６の態様によれば、プログラムは、コンピュータに、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する、漏れ電流無しの時間方式スパイキングニューロンモデル手段と、前記時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた信号を出力する遅延手段と、を備えるニューラルネットワークを生成することと、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを、その時間方式スパイキングニューロンモデル手段における全ての重みの合計で除算した値が、計算対象の人口ニューロンモデルにおける重みの値と等しくなるように、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みを設定することと、前記遅延手段における前記設定された時間を、前記時間方式スパイキングニューロンモデル手段への入力信号に対する重みの前記設定のもとで、前記出力信号の遅延時間が負の時間にならないように同一の層内の時間方式スパイキングニューロンモデル手段に共通の遅延量として定められた時間に設定することと、を実行させるためのプログラムである。
【発明の効果】
【0012】
上記したニューラルネットワーク装置、生成装置、情報処理方法、生成方法およびプログラムによれば、人工ニューラルネットワークと同等のスパイキングニューラルネットワークの構成を、比較的簡単な構成とすることができる。
【図面の簡単な説明】
【0013】
【図1】実施形態に係るニューラルネットワーク生成装置の構成例を示す概略ブロック図である。
【図2】順伝搬型ニューラルネットワークの階層構造の例を示す図である。
【図3】順伝搬型ニューラルネットワークの構成例を示す図である。
【図4】ランプ関数を示す図である。
【図5】人工ニューロンモデルの構成例を示す概略ブロック図である。
【図6】スパイキングニューロンの膜電位の時間発展の例を示す図である。
【図7】時間方式におけるスパイクの例を示す図である。
【図8】実施形態に係る人工ニューラルネットワークとスパイキングニューラルネットワークとの対応関係の例を示す図である。
【図9】実施形態に係るｔ－ＲｅＬＵ層の構成例を示す図である。
【図10】実施形態に係るｔ－ＲｅＬＵ層におけるスパイクの入出力時刻の例を示す図である。
【図11】実施形態に係る時間調整型スパイキングニューロンモデルの構成例を示す概略ブロック図である。
【図12】実施形態に係る時間方式スパイキングニューロンモデルの構成例を示す図である。
【図13】実施形態に係るシナプス回路の構成例を示す概略構成図である。
【図14】実施形態に係るニューラルネットワーク生成装置が人工ニューラルネットワークをスパイキングニューラルネットワークに変換する処理手順の例を示すフローチャートである。
【図15】実施形態に係るニューロンモデル生成装置の構成例を示す概略ブロック図である。
【図16】実施形態に係るニューロンモデル生成装置が人工ニューロンモデルを時間調整型スパイキングニューロンモデルに変換する処理手順の例を示すフローチャートである。
【図17】実施形態に係るスパイキングニューラルネットワークにおけるスパイクの出力時刻の例を示す図である。
【図18】実施形態に係る人工ニューラルネットワークとスパイキングニューラルネットワークとにおけるスパイクの出力時刻の例を示す図である。
【図19】実施形態に係る遅延時間を反映させた場合の隠れ層のニューロンモデルの膜電位の時間発展の例を示す図である。
【図20】実施形態に係る遅延時間を反映させない場合の隠れ層のニューロンモデルの膜電位の時間発展の例を示す図である。
【図21】実施形態に係る遅延時間を反映させた場合の出力層のニューロンモデルの膜電位の時間発展の例を示す図である。
【図22】実施形態に係る遅延時間を反映させない場合の出力層のニューロンモデルの膜電位の時間発展の例を示す図である。
【図23】実施形態に係るニューラルネットワーク装置の構成例を示す図である。
【図24】実施形態に係る生成装置の構成例を示す図である。
【図25】実施形態に係る情報処理方法における処理手順の例を示す図である。
【図26】実施形態に係る生成方法における処理手順の例を示す図である。
【図27】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係るニューラルネットワーク生成装置の構成例を示す概略ブロック図である。図１に示す構成で、ニューラルネットワーク生成装置１０は、ベースネットワーク生成部１１と、重み設定部１２と、遅延設定部１３とを備える。
ニューラルネットワーク生成装置を単に生成装置とも称する。
図１は、実施形態に係るニューラルネットワーク生成装置の構成例を示す概略ブロック図である。図１に示す構成で、ニューラルネットワーク生成装置１０は、ベースネットワーク生成部１１と、重み設定部１２と、遅延設定部１３とを備える。
ニューラルネットワーク生成装置を単に生成装置とも称する。
【0015】
ニューラルネットワーク生成装置１０は、非記憶型ニューラルネットワーク（Non-memory type Neural Network）１１０の構成情報を取得して、その非記憶型ニューラルネットワークと同等のスパイキングニューラルネットワーク（Spiking Neural Network；ＳＮＮ）１２０を生成する。ニューラルネットワーク生成装置１０が、スパイキングニューラルネットワーク１２０としてスパイキングニューラルネットワーク装置を生成するようにしてもよい。
【0016】
ここでいう、２つのニューラルネットワークが同等であるとは、それら２つのニューラルネットワークが、同じ情報の入力に対して同じ情報を出力すると見做すことができることである。ここでいう「見做す」は、情報の表現形式が異なっていてもよいことを意味する。
【0017】
また、ニューラルネットワークの形式の違いによる誤差、および、情報の表現形式の違いによる誤差は許容されるものとする。例えば、２つのニューラルネットワークが同等であるとは、それら２つのニューラルネットワークが、同じ内容の情報の入力に対して、理論的には同じ内容の情報を出力することであってもよい。
【0018】
ここで、入力値の重み付け合計を算出し、算出された合計値またはその合計値にバイアス値を加えた値を活性化関数に入力し、得られる関数値を出力するニューロンモデルを、非記憶型ニューロンモデル（Non-memory type Neuron Model）と称する。非記憶型ニューロンモデルを用いて構成されたニューラルネットワークを、非記憶型ニューラルネットワークと称する。
非記憶型ニューラルネットワークを人工ニューラルネットワーク（Artificial Neural Network；ＡＮＮ）とも称する。非記憶型ニューロンモデルを人工ニューロンモデル（Artificial Neuron Model）とも称する。
非記憶型ニューラルネットワークを人工ニューラルネットワーク（Artificial Neural Network；ＡＮＮ）とも称する。非記憶型ニューロンモデルを人工ニューロンモデル（Artificial Neuron Model）とも称する。
【0019】
ここでいうスパイキングニューラルネットワークは、スパイキングニューロンモデル（Spiking Neuron Model）を用いて構成されたニューラルネットワークである。ここでいうスパイキングニューロンモデルは、時間発展する内部状態に基づいて、スパイクと呼ばれる二値信号を出力するニューロンモデルの総称である。ここでいう二値信号は、オン／オフによる信号であってもよい。スパイキングニューロンモデルにおける内部状態は、膜電位（Membrane Potential）と称される。
【0020】
ニューラルネットワーク生成装置１０が生成するスパイキングニューラルネットワーク１２０は、後述するように人工ニューラルネットワーク１１０と同等のニューラルネットワークとするための構造を有している。人工ニューラルネットワーク１１０と同等のニューラルネットワークとするための構造を有するスパイキングニューラルネットワーク１２０を、時間調整型スパイキングニューラルネットワーク（Time Adjustment Type Spiking Neural Network）とも称する。時間調整型スパイキングニューラルネットワークに用いられるニューロンモデルを時間調整型スパイキングニューロンモデル（Time Adjustment Type Spiking Neuron Model）とも称する。
【0021】
ここでいうニューラルネットワーク装置は、ニューラルネットワークが実装された装置である。ニューラルネットワークが、専用のハードウェアを用いて実装されていてもよいし、コンピュータ等を用いてソフトウェア的に実装されていてもよい。人工ニューラルネットワークが実装された装置を、人工ニューラルネットワーク装置とも称する。スパイキングニューラルネットワークが実装された装置を、スパイキングニューラルネットワーク装置とも称する。
【0022】
（順伝搬型ニューラルネットワークについて）
ニューラルネットワーク生成装置１０は、順伝搬型（Feedforward）ニューラルネットワークを扱う。すなわち、ニューラルネットワーク生成装置１０は、順伝搬型の人工ニューラルネットワーク１１０の構成情報を取得して、その人工ニューラルネットワーク１１０と同等の、順伝搬型のスパイキングニューラルネットワーク１２０を生成する。
ニューラルネットワーク生成装置１０は、順伝搬型（Feedforward）ニューラルネットワークを扱う。すなわち、ニューラルネットワーク生成装置１０は、順伝搬型の人工ニューラルネットワーク１１０の構成情報を取得して、その人工ニューラルネットワーク１１０と同等の、順伝搬型のスパイキングニューラルネットワーク１２０を生成する。
【0023】
順伝搬型とは、ネットワークの形態の一つであり、層から層への結合における情報伝達が一方向のネットワークのことである。順伝搬型ニューラルネットワークの各層は１つ以上のニューロンモデルで構成されており、同じ層内のニューロンモデル間の結合は存在しない。
【0024】
図２は、順伝搬型ニューラルネットワークの階層構造の例を示す図である。図２に例示されるように順伝搬型ニューラルネットワーク２００は階層構造に構成され、データの入力を受けて演算結果を出力する。ニューラルネットワークが出力する演算結果を予測値または予測とも称する。
【0025】
順伝搬型ニューラルネットワークの第１層は入力層と呼ばれ、最後の層は出力層と呼ばれる。入力層と出力層との間にある層は、隠れ層と呼ばれる。隠れ層の個数は０個以上であればよい。したがって、順伝搬型ニューラルネットワークが隠れ層を備えていなくてもよい。
図２の例では、順伝搬型ニューラルネットワーク２００が、入力層２１１と、隠れ層２１２と、出力層２１３とを備える。入力層２１１と、隠れ層２１２と、出力層２１３とを総称して層２１０と表記する。
図２の例では、順伝搬型ニューラルネットワーク２００が、入力層２１１と、隠れ層２１２と、出力層２１３とを備える。入力層２１１と、隠れ層２１２と、出力層２１３とを総称して層２１０と表記する。
【0026】
図３は、順伝搬型ニューラルネットワーク２００の構成例を示す図である。図３は、順伝搬型ニューラルネットワーク２００が、入力層２１１と、２つの隠れ層２１２と、出力層２１３との４つの層２１０を備える場合の例を示している。２つの隠れ層２１２を区別する場合、上位層を隠れ層２１２－１と表記し、下位層を隠れ層２１２－２と表記する。ここでいう層の上位は、入力層２１１に近い側である。層の下位は、出力層２１３に近い側である。
【0027】
図３は、これら４つの層２１０が、それぞれ３つのノード２２０を有する場合の例を示している。但し、順伝搬型ニューラルネットワーク２００が備えるノード２２０の個数は、特定の個数に限定されず、層２１０のそれぞれが１つ以上のノード２２０を備えていればよい。何れの層２１０も同じ個数のノード２２０を備えていてもよいし、層２１０によって異なる個数のノード２２０を備えていてもよい。
【0028】
図３に例示されるように、隣接する２つの層２１０のノードがエッジ２３０で接続される。エッジ２３０は、上位層のノードから下位層のノードへ信号を伝達する。
隣接する２つの層２１０間で、上位層のノード２２０と下位層のノード２２０との全ての組み合わがエッジ２３０で接続されていてもよい。あるいは、エッジ２３０で接続されていない組み合わせがあってもよい。
隣接する２つの層２１０間で、上位層のノード２２０と下位層のノード２２０との全ての組み合わがエッジ２３０で接続されていてもよい。あるいは、エッジ２３０で接続されていない組み合わせがあってもよい。
【0029】
ノード２２０のうち、入力層２１１のノード２２０は、入力信号を次の層２１０のノード２２０へ分配する。入力層２１１のノード２２０を入力ノード２２１とも称する。
一方、隠れ層２１２のノード２２０および出力層２１３のノード２２０には、何れもニューロンモデルが用いられる。隠れ層２１２のノード２２０と、出力層２１３のノード２２０とを総称して、ニューロンモデルノード２２２とも表記する。隠れ層２１２と出力層２１３とを総称して、ニューロンモデル層２１４とも表記する。
一方、隠れ層２１２のノード２２０および出力層２１３のノード２２０には、何れもニューロンモデルが用いられる。隠れ層２１２のノード２２０と、出力層２１３のノード２２０とを総称して、ニューロンモデルノード２２２とも表記する。隠れ層２１２と出力層２１３とを総称して、ニューロンモデル層２１４とも表記する。
【0030】
人工ニューラルネットワーク１１０では、ニューロンモデルノード２２２として人工ニューロンモデルが用いられる。スパイキングニューラルネットワーク１２０では、ニューロンモデルノード２２２としてスパイキングニューロンモデルが用いられる。
【0031】
以下、入力ノード２２１とニューロンモデルノード２２２とを区別する必要がない場合は、ノード２２０をニューロンモデルとして扱う。特に、下位層のノード２２０を構成するニューロンモデルが上位層のノード２２０から信号を取得する場合、上位層のノード２２０が入力ノード２２１であってもニューロンモデルノード２２２であっても信号を出力する点で共通しており、説明上区別する必要は無い。この場合、上位層のノード２２０をニューロンモデルとして扱って説明する。
【0032】
（人工ニューラルネットワークについて）
上述したように、人工ニューラルネットワーク１１０は、人工ニューロンモデルを用いて構成されたニューラルネットワークである。人工ニューロンモデルは、入力値の重み付け合計を算出し、算出された合計値またはその合計値にバイアス値を加えた値を活性化関数に入力し、得られる関数値を出力するニューロンモデルである。
人工ニューロンモデルの出力値は、式（１）のように示される。
上述したように、人工ニューラルネットワーク１１０は、人工ニューロンモデルを用いて構成されたニューラルネットワークである。人工ニューロンモデルは、入力値の重み付け合計を算出し、算出された合計値またはその合計値にバイアス値を加えた値を活性化関数に入力し、得られる関数値を出力するニューロンモデルである。
人工ニューロンモデルの出力値は、式（１）のように示される。
【0033】
【数1】
【0034】
x（ｌ）
ｉは、第ｌ層のｉ番目の人工ニューロンモデルの出力を表す。ｗ（ｌ）
ｉｊは、第ｌ－１層のｊ番目の人工ニューロンモデルから第ｌ層のｉ番目の人工ニューロンモデルへの結合の強さを示す係数であり、重みと呼ばれる。第ｌ－１層のｊ番目の人工ニューロンモデルと第ｌ層のｉ番目の人工ニューロンモデルとがエッジ２３０で接続されていない場合は、そのことをｗ（ｌ）
ｉｊ＝０とすることで表す。
「Σｊｗ（ｌ） ｉｊx（ｌ－１） ｊ」は、上記の入力値の重み付け合計を表す。ｂ（ｌ） ｉはバイアス項と呼ばれ、上記のバイアス値を示す。ｆは活性化関数を表す。
「Σｊｗ（ｌ） ｉｊx（ｌ－１） ｊ」は、上記の入力値の重み付け合計を表す。ｂ（ｌ） ｉはバイアス項と呼ばれ、上記のバイアス値を示す。ｆは活性化関数を表す。
【0035】
学習フェーズでは、重みｗ（ｌ）
ｉｊの値、および、バイアス項ｂ（ｌ）
ｉの値が、学習による更新の対象となる。
式（１）に示される変換のうち活性化関数を除いた部分の変換は、アフィン変換（Affine Transformation）として把握することができ、式（２）のように示される。
式（１）に示される変換のうち活性化関数を除いた部分の変換は、アフィン変換（Affine Transformation）として把握することができ、式（２）のように示される。
【0036】
【数2】
【0037】
ｘ（ｌ－１）は、第ｌ－１層の人工ニューロンモデルの出力のベクトル（x（ｌ－１）
１，・・・，x（ｌ－１）
Ｎ（ｌ－１））を表す。Ｎ（ｌ－１）は、第ｌ－１層の人工ニューロンモデルの個数を示す。
「Ａｆｆｉｎｅ」は、アフィン関数（アフィン変換を示す関数）である。
以下では、活性化関数ｆとしてランプ関数（Ramp Function）を用いる場合を例に説明する。ランプ関数は、正規化線形関数（Rectified Linear Function）とも称される。
「Ａｆｆｉｎｅ」は、アフィン関数（アフィン変換を示す関数）である。
以下では、活性化関数ｆとしてランプ関数（Ramp Function）を用いる場合を例に説明する。ランプ関数は、正規化線形関数（Rectified Linear Function）とも称される。
【0038】
図４は、ランプ関数を示す図である。図４のグラフの横軸はランプ関数への入力、すなわちランプ関数の引数値を示す。縦軸は、ランプ関数の出力、すなわちランプ関数の関数値を示す。図４に示されるように、ランプ関数をＲｅＬＵで表す。また、図４では、ランプ関数への入力をｘで表している。
図４に示されように、入力ｘがｘ≧０の場合は、ＲｅＬＵ（ｘ）＝ｘである。一方、入力ｘがｘ＜０の場合は、ＲｅＬＵ（ｘ）＝０である。ランプ関数ＲｅＬＵは、式（３）のように示される。
図４に示されように、入力ｘがｘ≧０の場合は、ＲｅＬＵ（ｘ）＝ｘである。一方、入力ｘがｘ＜０の場合は、ＲｅＬＵ（ｘ）＝０である。ランプ関数ＲｅＬＵは、式（３）のように示される。
【0039】
【数3】
【0040】
「ｍａｘ」は、引数のうち最大値を出力する関数である。
ただし、人工ニューロンモデルにおける活性化関数はランプ関数に限定されない。人工ニューロンモデルにおける活性化関数として、後述するような時間方式での表現が可能な、いろいろな関数を用いることができる。
ただし、人工ニューロンモデルにおける活性化関数はランプ関数に限定されない。人工ニューロンモデルにおける活性化関数として、後述するような時間方式での表現が可能な、いろいろな関数を用いることができる。
【0041】
図５は、人工ニューロンモデルの構成例を示す概略ブロック図である。図５に示す構成で、人工ニューロンモデル１１１は、アフィン変換部１１２と、活性化関数部１１３とを備える。
アフィン変換部１１２は、人工ニューロンモデル１１１への入力の重み付け合計、および、得られた合計値へのバイアス値の加算を行う。例えば、アフィン変換部１１２は、上記の式（２）に基づいてＡｆｆｉｎｅ（x（ｌ－１））を算出する。
アフィン変換部１１２は、人工ニューロンモデル１１１への入力の重み付け合計、および、得られた合計値へのバイアス値の加算を行う。例えば、アフィン変換部１１２は、上記の式（２）に基づいてＡｆｆｉｎｅ（x（ｌ－１））を算出する。
【0042】
活性化関数部１１３は、人工ニューロンモデル１１１における活性化関数の計算を行う。例えば、活性化関数部１１３は、アフィン変換部１１２が算出するＡｆｆｉｎｅ（x（ｌ－１））をランプ関数ＲｅＬＵに入力した関数値ＲｅＬＵ（Ａｆｆｉｎｅ（x（ｌ－１））を算出する。
【0043】
（スパイキングニューラルネットワークについて）
上述したように、スパイキングニューラルネットワークは、スパイキングニューロンモデルを用いて構成されたニューラルネットワークである。スパイキングニューロンモデルは、時間発展する内部状態に基づいて、スパイクと呼ばれる二値信号を出力する。
上述したように、スパイキングニューラルネットワークは、スパイキングニューロンモデルを用いて構成されたニューラルネットワークである。スパイキングニューロンモデルは、時間発展する内部状態に基づいて、スパイクと呼ばれる二値信号を出力する。
【0044】
これにより、スパイキングニューロンモデルは、生物学的神経細胞の細胞体部による信号の統合およびスパイクの生成（発火）を模擬する。
例えば、スパイキングニューロンモデルの１つである漏れ積分発火ニューロンモデルでは、膜電位が式（１）のような微分方程式に従って時間発展する。
例えば、スパイキングニューロンモデルの１つである漏れ積分発火ニューロンモデルでは、膜電位が式（１）のような微分方程式に従って時間発展する。
【0045】
【数4】
【0046】
ｖ（ｎ）
ｉは、第ｎ層のｉ番目のスパイキングニューロンモデルにおける膜電位を示す。αｌｅａｋは、漏れ積分発火モデルにおける漏れの大きさを示す定数の係数である。Ｉ（ｎ）
ｉは、第ｎ層のｉ番目のスパイキングニューロンモデルにおけるシナプス後電流を示す。ｗ’（ｎ）
ｉｊは、第ｎ－１層のｊ番目のスパイキングニューロンモデルから第ｎ層のｉ番目のスパイキングニューロンモデルへの結合の強さを示す係数であり、重みと呼ばれる。
ｔは時刻を示す。ｔ（ｎ－１） ｊは第ｎ－１層のｊ番目のニューロンの発火タイミング（発火時刻）を示す。ｒ（・）は前段の層から伝達されたスパイクがシナプス後電流へ与える影響を示す関数である。
ｔは時刻を示す。ｔ（ｎ－１） ｊは第ｎ－１層のｊ番目のニューロンの発火タイミング（発火時刻）を示す。ｒ（・）は前段の層から伝達されたスパイクがシナプス後電流へ与える影響を示す関数である。
【0047】
膜電位が閾値Ｖｔｈに達すると、そのスパイキングニューロンモデルはスパイクを出力する。閾値Ｖｔｈは、活動電位を模擬する閾値である。上述したように、スパイクは、スパイキングニューロンモデルが出力する二値信号である。スパイキングニューロンモデルがスパイクを出力することを発火とも称する。スパイキングニューロンモデルの種類にもよるが、発火後は、膜電位がリセット値Ｖｒｅｓｅｔへと戻るようにしてもよい。
スパイキングニューロンモデルが出力したスパイクは、そのスパイキングニューロンモデルと結合している下位層のスパイキングニューロンモデルへと伝達される。
スパイキングニューロンモデルが出力したスパイクは、そのスパイキングニューロンモデルと結合している下位層のスパイキングニューロンモデルへと伝達される。
【0048】
図６は、スパイキングニューロンの膜電位の時間発展の例を示す図である。図６のグラフの横軸は時刻を示し、縦軸は膜電位を示す。図６は、第ｎ層のｉ番目のスパイキングニューロンの膜電位の時間発展の例を示しており、膜電位は、ｖ（ｎ）
ｉと表されている。
【0049】
上記のように、Ｖｔｈは、膜電位の閾値を示す。Ｖｒｅｓｅｔは、膜電位のリセット値を示す。ｔ（ｎ－１）
１は第ｎ－１層の１番目のニューロンの発火タイミングを示す。ｔ（ｎ－１）
２は第ｎ－１層の２番目のニューロンの発火タイミングを示す。ｔ（ｎ－１）
３は第ｎ－１層の３番目のニューロンの発火タイミングを示す。
【0050】
時刻ｔ（ｎ－１）
１における１番目の発火および時刻ｔ（ｎ－１）
３における３番目の発火では、何れも膜電位ｖ（ｎ）
ｉは閾値Ｖｔｈに達していない。一方、時刻ｔ（ｎ－１）
２における２番目の発火では、膜電位ｖ（ｎ）
ｉが閾値Ｖｔｈに達し、その後すぐに、リセット値であるＶｒｅｓｅｔに低下している。
【0051】
スパイキングニューラルネットワークはＣＭＯＳ（Complementary MOS）などでハードウェア化したときに、深層学習モデルよりも消費電力を下げられると期待されている。その理由の一つは、人の脳は３０ワット（Ｗ）相当の低消費電力な計算媒体であり、スパイキングニューラルネットワークはそのような低消費電力の脳の活動を模倣することができるためである。
例えば、スパイキングニューラルネットワークでは二値信号を用いる点で、人工ニューラルネットワークでアナログ信号を用いる場合よりも、信号による消費電力を低減することができる。
例えば、スパイキングニューラルネットワークでは二値信号を用いる点で、人工ニューラルネットワークでアナログ信号を用いる場合よりも、信号による消費電力を低減することができる。
【0052】
（スパイキングニューラルネットワークにおける情報伝達方式について）
ニューラルネットワーク生成装置１０は、スパイキングニューラルネットワーク１２０における情報伝達方式として時間方式を用いる。時間方式では、発火タイミングで情報を伝達する。
ニューラルネットワーク生成装置１０は、スパイキングニューラルネットワーク１２０における情報伝達方式として時間方式を用いる。時間方式では、発火タイミングで情報を伝達する。
【0053】
図７は、時間方式におけるスパイクの例を示す図である。図７の横軸は時刻を示す。具体的には、横軸は、基準時刻となる時刻「０」に対する相対時刻を示す。縦軸は、信号値を示す。
図７では、時刻「１」に発火する場合の例と、時刻「３」に発火する場合の例と、時刻「５」に発火する場合の例の、３つの例が示されている。時間方式では、スパイキングニューロンモデルは、発火時刻によって定量的な情報を示すことができる。例えば、時刻「３」に発火したスパイクが数値「３」を示すなど、スパイクが、発火時刻の数値を示すものとしてもよい。すなわち、スパイキングニューロンモデルが、基準時刻と発火時刻との時間の長さで数値を示すようにしてもよい。
発火時刻は整数の時刻に限定されず、スパイキングニューロンモデルが、発火時刻によって実数値を示すようにしてもよい。
図７では、時刻「１」に発火する場合の例と、時刻「３」に発火する場合の例と、時刻「５」に発火する場合の例の、３つの例が示されている。時間方式では、スパイキングニューロンモデルは、発火時刻によって定量的な情報を示すことができる。例えば、時刻「３」に発火したスパイクが数値「３」を示すなど、スパイクが、発火時刻の数値を示すものとしてもよい。すなわち、スパイキングニューロンモデルが、基準時刻と発火時刻との時間の長さで数値を示すようにしてもよい。
発火時刻は整数の時刻に限定されず、スパイキングニューロンモデルが、発火時刻によって実数値を示すようにしてもよい。
【0054】
図７では、スパイクとしてステップ信号を用いる場合を例に示しているが、これに限定されない。発火時刻を示すことのできるいろいろな形状のスパイクを用いることができる。例えば、立ち上がりから一定時間後に立ち下がるパルス信号をスパイクとして用いるようにしてもよい。この場合、信号がオフになることで、ステップ信号の場合よりもさらに、信号による消費電力を低減できると期待される。
【0055】
また、時間方式では、スパイキングニューロンモデルの各々が高々１回のみ発火するものとしてもよい。これにより、スパイクの個数で数値を示す頻度方式の場合よりも、信号による消費電力を低減できる。
時間方式のスパイキングニューラルネットワークを時間方式スパイキングニューラルネットワークとも称する。時間方式のスパイキングニューロンを時間方式スパイキングニューロンとも称する。
時間方式のスパイキングニューラルネットワークを時間方式スパイキングニューラルネットワークとも称する。時間方式のスパイキングニューロンを時間方式スパイキングニューロンとも称する。
【0056】
（スパイキングニューラルネットワークの学習について）
上記のように、スパイキングニューラルネットワーク１２０によれば、人工ニューラルネットワーク１１０を用いる場合よりも消費電力を低減できると期待される。一方、人工ニューラルネットワーク１１０のほうが、スパイキングニューラルネットワーク１２０よりも、高精度な学習を容易に行えると考えられる。
上記のように、スパイキングニューラルネットワーク１２０によれば、人工ニューラルネットワーク１１０を用いる場合よりも消費電力を低減できると期待される。一方、人工ニューラルネットワーク１１０のほうが、スパイキングニューラルネットワーク１２０よりも、高精度な学習を容易に行えると考えられる。
【0057】
そこで、ニューラルネットワーク生成装置１０が、学習済みの人工ニューラルネットワーク１１０と同等なスパイキングニューラルネットワーク１２０を生成するようにしてもよい。例えば、ニューラルネットワーク生成装置１０が、学習済みの人工ニューラルネットワーク１１０と同等なスパイキングニューラルネットワーク１２０を、スパイキングニューラルネットワーク装置として生成するようにしてもよい。これにより、高精度な計算の実行と消費電力の低減との両立を図ることができる。
【0058】
（人工ニューラルネットワークと同等のスパイキングニューラルネットワークについて）
図８は、人工ニューラルネットワーク１１０とスパイキングニューラルネットワーク１２０との対応関係の例を示す図である。人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０を生成するために、ニューラルネットワークの１つの層を、さらに複数の層に細分化する。
図８は、順伝搬型ニューラルネットワーク２００におけるニューロンモデル層２１４の１層分の構成例を示している。上述したように、ニューロンモデル層２１４は、隠れ層２１２または出力層２１３である。
図８は、人工ニューラルネットワーク１１０とスパイキングニューラルネットワーク１２０との対応関係の例を示す図である。人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０を生成するために、ニューラルネットワークの１つの層を、さらに複数の層に細分化する。
図８は、順伝搬型ニューラルネットワーク２００におけるニューロンモデル層２１４の１層分の構成例を示している。上述したように、ニューロンモデル層２１４は、隠れ層２１２または出力層２１３である。
【0059】
以下では、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０を生成することを、人工ニューラルネットワーク１１０をスパイキングニューラルネットワーク１２０に変換する、とも称する。人工ニューラルネットワーク１１０の部分に対応する、スパイキングニューラルネットワーク１２０の部分を生成することも、（その部分を）変換するとも称する。
【0060】
また、以下では、人工ニューラルネットワーク１１０における１つのニューロンモデル層２１４を対象層と称し、ニューラルネットワーク生成装置１０が、対象層をスパイキングニューラルネットワーク１２０のニューロンモデル層２１４に変換する場合について説明する。ニューラルネットワーク生成装置１０は、人工ニューラルネットワーク１１０に含まれる全てのニューロンモデル層２１４のそれぞれを、スパイキングニューラルネットワーク１２０のニューロンモデル層２１４に変換する。
【0061】
人工ニューラルネットワーク１１０の場合、１つのニューロンモデル層２１４をさらにアフィン変換層２３１とＲｅＬＵ層２３２との組み合わせとして把握することができる。
１つのニューロンモデル層２１４に含まれる全ての人工ニューロンモデル１１１のアフィン変換部１１２を纏めて層として捉えたものが、アフィン変換層２３１の例に該当する。
１つのニューロンモデル層２１４に含まれる全ての人工ニューロンモデル１１１の活性化関数部１１３を纏めて層として捉えたものが、ＲｅＬＵ層２３２の例に該当する。
１つのニューロンモデル層２１４に含まれる全ての人工ニューロンモデル１１１のアフィン変換部１１２を纏めて層として捉えたものが、アフィン変換層２３１の例に該当する。
１つのニューロンモデル層２１４に含まれる全ての人工ニューロンモデル１１１の活性化関数部１１３を纏めて層として捉えたものが、ＲｅＬＵ層２３２の例に該当する。
【0062】
ニューラルネットワーク生成装置１０は、アフィン変換層２３１に対して、設定スパイク生成器２４１と、時間方式スパイキングニューロン層２４２と、遅延層２４３とを設ける。また、ニューラルネットワーク生成装置１０は、ＲｅＬＵ層２３２に対して、ｔ－ＲｅＬＵ層２４４を設ける。
時間方式スパイキングニューロン層２４２は、時間方式スパイキングニューロンモデルを含む。ニューラルネットワーク生成装置１０は、対象層に含まれる人工ニューロンモデル１１１の個数と同じ個数の時間方式スパイキングニューロンモデルを含む時間方式スパイキングニューロン層２４２を生成する。
時間方式スパイキングニューロン層２４２は、時間方式スパイキングニューロンモデルを含む。ニューラルネットワーク生成装置１０は、対象層に含まれる人工ニューロンモデル１１１の個数と同じ個数の時間方式スパイキングニューロンモデルを含む時間方式スパイキングニューロン層２４２を生成する。
【0063】
以下では、式を見易くするために、対象層である第ｌ層のニューロンモデルの個数が１つであり、第ｌ－１層のニューロンモデルの個数がＮ個である場合を想定する。そして、第何層かを示すｌの表記、および、第ｌ層の何番目のニューロンモデルかを示すｉの表記を省略する。また、第ｌ－１層の何番目のニューロンモデルかを、上記のｊに代えてｉで示す。
【0064】
人工ニューラルネットワーク１１０の対象層の人工ニューロンモデルの個数が２個以上である場合、ニューラルネットワーク生成装置１０が、以下で説明する処理を対象層の人工ニューロンモデルごとに行うようにすればよい。また、人工ニューラルネットワーク１１０のニューロンモデル層２１４の個数が２個以上である場合、ニューラルネットワーク生成装置１０が、ニューロンモデル層２１４のそれぞれを対象層として、以下で説明する処理を行うようにすればよい。
【0065】
ニューラルネットワーク生成装置１０が、漏れの大きさ（αｌｅａｋ）が０の時間方式スパイキングニューロンモデルを時間方式スパイキングニューロン層２４２に用いるものとし、式（４）を式（５）のように変形する。
【0066】
【数5】
【0067】
ｔは時刻を示す。ｖは膜電位を示す。ｗ＾ｉは、上位層の第ｉ番目のスパイキングニューロンからの結合の重みを表す。
式（５）では、式（４）の関数ｒとしてステップ関数θを用いている。ステップ関数θは、式（６）のように示される。
式（５）では、式（４）の関数ｒとしてステップ関数θを用いている。ステップ関数θは、式（６）のように示される。
【0068】
【数6】
【0069】
図８に示すように、時間方式スパイキングニューロン層２４２の時間方式スパイキングニューロンモデルの各々は、上位層からのスパイクに加えてさらに、設定スパイク生成器２４１からの設定スパイクの入力を受ける。
式（５）では、上位層からのスパイクがｉ＝１、・・・、Ｎで示され、設定スパイクがｉ＝０で示されている。具体的にはｔ１、・・・、ｔＮは、上位層からのスパイクの入力時刻を示す。ｔ０は、設定スパイクの入力時刻を示す。
設定スパイク生成器２４１は、スパイキングニューラルネットワーク１２０への入力データの値に依存しない設定時刻（時刻ｔ０）に設定スパイクを出力する。設定時刻は、学習等によって更新可能であってもよい。
式（５）では、上位層からのスパイクがｉ＝１、・・・、Ｎで示され、設定スパイクがｉ＝０で示されている。具体的にはｔ１、・・・、ｔＮは、上位層からのスパイクの入力時刻を示す。ｔ０は、設定スパイクの入力時刻を示す。
設定スパイク生成器２４１は、スパイキングニューラルネットワーク１２０への入力データの値に依存しない設定時刻（時刻ｔ０）に設定スパイクを出力する。設定時刻は、学習等によって更新可能であってもよい。
【0070】
式（５）を積分して式（７）を得られる。
【数7】
【0071】
この時間方式スパイキングニューロンモデルの発火時刻は、式（７）でｖ（ｔ）＝Ｖｔｈとおいて式（８）のように示される。
【0072】
【数8】
【0073】
なお、発火時刻までにすべての入力スパイクが入力済みであるとする。
遅延層２４３は、時間方式スパイキングニューロンの出力スパイクを遅延させる。遅延層２４３での遅延時間をτとすると、遅延層２４３のスパイク出力時刻は式（９）のように示される。
遅延層２４３は、時間方式スパイキングニューロンの出力スパイクを遅延させる。遅延層２４３での遅延時間をτとすると、遅延層２４３のスパイク出力時刻は式（９）のように示される。
【0074】
【数9】
【0075】
遅延時間τは任意に設定できるものとする。
また、人工ニューラルネットワーク１１０のアフィン変換層２３１について、式（２）のアフィン関数「Ａｆｆｉｎｅ」への入力をｘ＝（ｘ１，ｘ２，・・・，ｘｎ）と表記すると、出力は式（１０）のように示される。
また、人工ニューラルネットワーク１１０のアフィン変換層２３１について、式（２）のアフィン関数「Ａｆｆｉｎｅ」への入力をｘ＝（ｘ１，ｘ２，・・・，ｘｎ）と表記すると、出力は式（１０）のように示される。
【0076】
【数10】
【0077】
式（１０）は、式（２）で第何層の何番目のスパイキングニューロンかを示すｌおよびｉの表記を省略し、式（２）のｊをｉと表記した式に相当する。
人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０として、人工ニューラルネットワーク１１０のアフィン変換層２３１の出力値を、スパイキングニューラルネットワーク１２０の遅延層２４３のスパイク出力時刻で示すことを考える。
具体的には、スパイキングニューロンモデルへのスパイク入力時刻が－ｘ＝（－ｘ１，－ｘ２，・・・，－ｘｎ）であるときに、スパイク出力時刻が－Σｉ＝１ Ｎｗｉｘｉ－ｂとなるようにする。式（９）で、ｔｉ＝－ｘｉ（ｉ＝１，２，…，Ｎ）、および、ｔ＝－Σｉ＝１ Ｎｗｉｘｉ－ｂとして、式（１１）を得られる。
人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０として、人工ニューラルネットワーク１１０のアフィン変換層２３１の出力値を、スパイキングニューラルネットワーク１２０の遅延層２４３のスパイク出力時刻で示すことを考える。
具体的には、スパイキングニューロンモデルへのスパイク入力時刻が－ｘ＝（－ｘ１，－ｘ２，・・・，－ｘｎ）であるときに、スパイク出力時刻が－Σｉ＝１ Ｎｗｉｘｉ－ｂとなるようにする。式（９）で、ｔｉ＝－ｘｉ（ｉ＝１，２，…，Ｎ）、および、ｔ＝－Σｉ＝１ Ｎｗｉｘｉ－ｂとして、式（１１）を得られる。
【0078】
【数11】
【0079】
ｘｉの値によらず式（１１）が成り立てばよい。そのためのＷｉの条件は、式（１２）のように表される。
【0080】
【数12】
【0081】
ｂの条件は、式（１３）のように表される。
【数13】
【0082】
式（１２）および式（１３）が満たされれば、ｘｉの値によらず式（１１）が成り立つ。
式（１３）の遅延時間τは、任意の値をとることができる。遅延時間τの値を調整することで、式（１３）を満たすことは容易である。
また、式（１２）を変形すると、式（１４）のようになる。
式（１３）の遅延時間τは、任意の値をとることができる。遅延時間τの値を調整することで、式（１３）を満たすことは容易である。
また、式（１２）を変形すると、式（１４）のようになる。
【0083】
【数14】
【0084】
ｉ＝１、２、・・・Ｎについて式（１４）を纏めると、式（１５）のように表せる。
【0085】
【数15】
【0086】
ここで、行列Ａを式（１６）のように定める。
【0087】
【数16】
【0088】
時間方式スパイキングニューロン層２４２における重みｗ＾１、ｗ＾２、・・・、ｗ＾Ｎは、式（１７）のように計算することができる。
【0089】
【数17】
【0090】
行列Ａ－１は、行列Ａの逆行列である。
式（１７）で計算される重みｗ＾ｉの値を式（１８）に入力して遅延時間τを計算できる。
式（１７）で計算される重みｗ＾ｉの値を式（１８）に入力して遅延時間τを計算できる。
【0091】
【数18】
【0092】
式（１８）に示されるように、遅延時間τは負の値になり得る。各層におけるスパイキングニューラルネットワークの情報は各ニューロンの時刻差にある。すなわち、ある層のニューロンがすべて同じ時刻遅延したとしても、ネットワーク全体の出力がその分だけ遅延するだけであり、遅延時刻の大きさにかかわらず同じ情報を表現できる。このことから、遅延時刻として、ある層に共通の量を任意に加えることができる。すなわち、式（１８）で算出された遅延時刻τが負の場合は、その遅延時刻τが正になるように、対象の層に共通の遅延量を適宜くわえればよい。
【0093】
上述したように、人工ニューラルネットワーク１１０の対象層の人工ニューロンモデルの個数が２個以上である場合、ニューラルネットワーク生成装置１０が、対象層の人工ニューロンモデルごとに処理を行うようにすればよい。また、人工ニューラルネットワーク１１０のニューロンモデル層２１４の個数が２個以上である場合、ニューラルネットワーク生成装置１０が、ニューロンモデル層２１４のそれぞれを対象層として、処理を行うようにすればよい。
対象層を第ｌ層と表し、対象層における何番目のニューロンモデルかをｉで表し、対象層の上位層における何番目のニューロンモデルかをｊで表すと、式（１７）は式（１９）のように示される。
対象層を第ｌ層と表し、対象層における何番目のニューロンモデルかをｉで表し、対象層の上位層における何番目のニューロンモデルかをｊで表すと、式（１７）は式（１９）のように示される。
【0094】
【数19】
【0095】
ｗ＾（ｌ）
ｉｊは、第ｌ－１層のｊ番目のスパイキングニューロンモデルから第ｌ層のｉ番目のスパイキングニューロンモデルへの結合の重みを示す。ただし、ｗ＾（ｌ）
ｉ０は、設定スパイクに対する重みを示す。
行列（Ａ（ｌ） ｉ）－１は、式（１６）の左辺で重みｗｊ（ｊ＝１、２、・・・、Ｎ）をｗ（ｌ） ｉｊと表記した行列Ａ（ｌ） ｉの逆行列である。
式（１８）は式（２０）のように示される。
行列（Ａ（ｌ） ｉ）－１は、式（１６）の左辺で重みｗｊ（ｊ＝１、２、・・・、Ｎ）をｗ（ｌ） ｉｊと表記した行列Ａ（ｌ） ｉの逆行列である。
式（１８）は式（２０）のように示される。
【0096】
【数20】
【0097】
τｉ
（ｌ）は、第ｌ層の時間方式スパイキングニューロン層２４２のｉ番目の時間方式スパイキングニューロンモデルの出力スパイクに対する、遅延層２４３による遅延時間を示す。
ｔ（ｌ－１） ０は、設定スパイク生成器２４１から、第ｌ層の時間方式スパイキングニューロン層２４２のｉ番目の時間方式スパイキングニューロンモデルへの、スパイク入力時刻を示す。
Ｖｔｈ （ｌ） （ｉ）は、第ｌ層の時間方式スパイキングニューロン層２４２のｉ番目の時間方式スパイキングニューロンモデルにおける膜電位の閾値を示す。上述したように、この閾値は活動電位を模擬する。
ｔ（ｌ－１） ０は、設定スパイク生成器２４１から、第ｌ層の時間方式スパイキングニューロン層２４２のｉ番目の時間方式スパイキングニューロンモデルへの、スパイク入力時刻を示す。
Ｖｔｈ （ｌ） （ｉ）は、第ｌ層の時間方式スパイキングニューロン層２４２のｉ番目の時間方式スパイキングニューロンモデルにおける膜電位の閾値を示す。上述したように、この閾値は活動電位を模擬する。
【0098】
図９は、ｔ－ＲｅＬＵ層２４４の構成例を示す図である。
図９では、時間方式スパイキングニューロン層２４２に含まれる時間方式スパイキングニューロンの個数をＭで表している。
遅延層２４３からｔ－ＲｅＬＵ層２４４に、Ｍ個のスパイクがそれぞれ時刻ｔ１、ｔ２、・・・、ｔＭで入力されている。さらに、時刻ｔＲｅＬＵに設定スパイクが入力されている。ｔ－ＲｅＬＵ層２４４における設定スパイクは、時間方式スパイキングニューロン層２４２における設定スパイクとは別のスパイクである。ｔ－ＲｅＬＵ層２４４における設定スパイクを、ｔ－ＲｅＬＵスパイクとも称する。
ｔ－ＲｅＬＵ層のスパイク出力時刻は、ｔ’１、ｔ’２、・・・、ｔ’Ｍとなる。
図９では、時間方式スパイキングニューロン層２４２に含まれる時間方式スパイキングニューロンの個数をＭで表している。
遅延層２４３からｔ－ＲｅＬＵ層２４４に、Ｍ個のスパイクがそれぞれ時刻ｔ１、ｔ２、・・・、ｔＭで入力されている。さらに、時刻ｔＲｅＬＵに設定スパイクが入力されている。ｔ－ＲｅＬＵ層２４４における設定スパイクは、時間方式スパイキングニューロン層２４２における設定スパイクとは別のスパイクである。ｔ－ＲｅＬＵ層２４４における設定スパイクを、ｔ－ＲｅＬＵスパイクとも称する。
ｔ－ＲｅＬＵ層のスパイク出力時刻は、ｔ’１、ｔ’２、・・・、ｔ’Ｍとなる。
【0099】
図９では、ｔ－ＲｅＬＵ層への入力スパイクの各々と、設定スパイクとのＯＲをとっている。これにより、ｔ－ＲｅＬＵ層へのスパイク入力時刻ｔｉと、設定スパイクの時刻ｔＲｅＬＵとの何れか早い時刻に、ｔ－ＲｅＬＵ層がスパイクを出力する。
スパイク出力時刻ｔ’ｉ（ｉ＝１、２、・・・Ｍ）は、式（２１）のように示される。
スパイク出力時刻ｔ’ｉ（ｉ＝１、２、・・・Ｍ）は、式（２１）のように示される。
【0100】
【数21】
【0101】
図９および式（２１）に示されるように、ｔ－ＲｅＬＵ層２４４は、時刻ｔｉまたは時刻ｔＲｅＬＵの何れか早い方の時刻ｔ’ｉにスパイクを出力する。
図１０は、ｔ－ＲｅＬＵ層２４４におけるスパイクの入出力時刻の例を示す図である。図１０のグラフの横軸は時刻を示し、縦軸は、上位層のノードの識別番号ｉを示す。上位層のノードの識別番号は、スパイクの識別番号としても用いられる。
図１０は、ｔ－ＲｅＬＵ層２４４への入力スパイクの個数が３個の場合を示している。
図１０は、ｔ－ＲｅＬＵ層２４４におけるスパイクの入出力時刻の例を示す図である。図１０のグラフの横軸は時刻を示し、縦軸は、上位層のノードの識別番号ｉを示す。上位層のノードの識別番号は、スパイクの識別番号としても用いられる。
図１０は、ｔ－ＲｅＬＵ層２４４への入力スパイクの個数が３個の場合を示している。
【0102】
図１０の上側のグラフは、ｔ－ＲｅＬＵ層２４４へのスパイクの入力時刻ｔ１、ｔ２、ｔ３を示す。図１０の下側のグラフは、ｔ－ＲｅＬＵ層２４４からのスパイクの出力時刻ｔ’１、ｔ’２、ｔ’３を示す。
上述したように、ｔ－ＲｅＬＵ層２４４は、時刻ｔｉまたは時刻ｔＲｅＬＵの何れか早い方の時刻ｔ’ｉにスパイクを出力する。図１０の例で、時刻ｔ１およびｔ２は、何れも時刻ｔＲｅＬＵよりも早いため、ｔ’１＝ｔ１、ｔ’２＝ｔ２となっている。
上述したように、ｔ－ＲｅＬＵ層２４４は、時刻ｔｉまたは時刻ｔＲｅＬＵの何れか早い方の時刻ｔ’ｉにスパイクを出力する。図１０の例で、時刻ｔ１およびｔ２は、何れも時刻ｔＲｅＬＵよりも早いため、ｔ’１＝ｔ１、ｔ’２＝ｔ２となっている。
【0103】
一方、時刻ｔ３は、時刻ｔＲｅＬＵよりも遅いため、ｔ’３＝ｔＲｅＬＵとなっている。
ここでｔＲｅＬＵ＝０とおく。すなわち、ＲｅＬＵスパイクが、基準時刻ｔ＝０にｔ－ＲｅＬＵ層２４４に入力されるようにする。これにより、式（２１）の右辺は、入出力の符号が逆であることを除いてランプ関数（式（３）参照）と同じ関数となる。この点で、ｔ－ＲｅＬＵ層２４４は、スパイクの出力時刻に対してランプ関数を適用する、といえる。
ここでｔＲｅＬＵ＝０とおく。すなわち、ＲｅＬＵスパイクが、基準時刻ｔ＝０にｔ－ＲｅＬＵ層２４４に入力されるようにする。これにより、式（２１）の右辺は、入出力の符号が逆であることを除いてランプ関数（式（３）参照）と同じ関数となる。この点で、ｔ－ＲｅＬＵ層２４４は、スパイクの出力時刻に対してランプ関数を適用する、といえる。
【0104】
ニューラルネットワーク生成装置１０が、人工ニューラルネットワーク１１０をスパイキングニューラルネットワーク１２０に変換する際、人工ニューロンモデルごとに、スパイキングニューラルネットワーク１２０のニューロンモデルを設けるようにしてもよい。上述したように、この場合のニューロンモデルを、時間調整型スパイキングニューロンモデルとも称する。
【0105】
図１１は、時間調整型スパイキングニューロンモデルの構成例を示す概略ブロック図である。図１１に示す構成で、時間調整型スパイキングニューロンモデル１３１は、時間方式スパイキングニューロンモデル１３２と、第一設定スパイク供給部１３５と、遅延部１３６と、ｔ－ＲｅＬＵ部１３７と、第二設定スパイク供給部１３８とを備える。時間方式スパイキングニューロンモデル１３２は、膜電位計算部１３３と、スパイク生成部１３４とを備える。
【0106】
時間方式スパイキングニューロンモデル１３２は、上述した、時間方式スパイキングニューロン層２４２における時間方式スパイキングニューロンモデルの例に該当する。
膜電位計算部１３３は、時間方式スパイキングニューロンモデル１３２における膜電位を、式（５）に基づいて計算する。
スパイク生成部１３４は、膜電位計算部１３３が算出する膜電位と閾値とを比較する。膜電位が閾値以上であると判定した場合、スパイク生成部１３４は、スパイクを出力する。
膜電位計算部１３３は、時間方式スパイキングニューロンモデル１３２における膜電位を、式（５）に基づいて計算する。
スパイク生成部１３４は、膜電位計算部１３３が算出する膜電位と閾値とを比較する。膜電位が閾値以上であると判定した場合、スパイク生成部１３４は、スパイクを出力する。
【0107】
図１２は、時間方式スパイキングニューロンモデル１３２の構成例を示す図である。図１２に示す構成で、時間方式スパイキングニューロンモデル１３２は、Ｎ個のシナプス回路１４１－１から１４１－Ｎまでと、コンデンサ１４２と、閾値電源１４３と、比較器１４４とを備える。
シナプス回路１４１－１から１４１－Ｎまでを総称してシナプス回路１４１とも表記する。
シナプス回路１４１－１から１４１－Ｎまでを総称してシナプス回路１４１とも表記する。
【0108】
シナプス回路１４１は、上位層の時間調整型スパイキングニューロンモデル１３１からのスパイクに応じて、コンデンサ１４２への電流のオンオフ（Ｏｎ／Ｏｆｆ）を切り替える。また、シナプス回路１４１は、コンデンサ１４２への電流に対する重み付けを行う。
【0109】
図１３は、シナプス回路１４１の構成例を示す概略構成図である。図１３に示す構成で、シナプス回路１４１は、スイッチング素子１５１と、可変抵抗１５２とを備える。また、シナプス回路１４１は、電源１６０に接続される。
図１３の例で、電源１６０と、可変抵抗１５２と、スイッチング素子１５１とが直列に接続されている。
電源１６０は、シナプス回路１４１の出力電流のための電流を供給する。
図１３の例で、電源１６０と、可変抵抗１５２と、スイッチング素子１５１とが直列に接続されている。
電源１６０は、シナプス回路１４１の出力電流のための電流を供給する。
【0110】
スイッチング素子１５１は、シナプス回路１４１の出力電流のオンオフを、入力信号に応じて切り替える。ここでいう入力信号は、上位層の時間調整型スパイキングニューロンモデル１３１からのスパイクである。
図１３では、シナプス回路１４１－ｊ（ｊは、０≦ｊ≦Ｎの整数）への入力信号を電圧Ｖｉｎ（ｊ）で示している。また、シナプス回路１４１－ｊからの出力電流をＩｊで表している。
図１３では、シナプス回路１４１－ｊ（ｊは、０≦ｊ≦Ｎの整数）への入力信号を電圧Ｖｉｎ（ｊ）で示している。また、シナプス回路１４１－ｊからの出力電流をＩｊで表している。
【0111】
スパイクとしてステップ信号を用いるようにしてもよい。そして、スイッチング素子１５１が、スパイクが入力されているときに電流をオンにし、スパイクが入力されていないときに電流をオフにするようにしてもよい。電流オンは、電流を流すこと（通電させること）であってもよい。電流オフは、電流を流さない（通電させない）ことであってもよい。
【0112】
可変抵抗１５２は、スイッチング素子１５１が電流をオンにするときの電流の流量を調整する。例えば、電源１６０の電位が一定であり、オームの法則に従って可変抵抗１５２の抵抗値に反比例する電流がシナプス回路１４１から出力されるようにしてもよい。
【0113】
コンデンサ１４２は、シナプス回路１４１の出力電流の蓄電によって電位を生じさせる。図１２では、コンデンサの電位をＶｍで表している。この電位Ｖｍは膜電位を表す。
閾値電源１４３は、膜電位（電位Ｖｍ）との比較対象となる閾値電位を供給する。
閾値電源１４３は、膜電位（電位Ｖｍ）との比較対象となる閾値電位を供給する。
【0114】
比較器１４４は、膜電位が閾値電位に達すると出力信号を変化させる。具体的には、比較器１４４は、膜電位が閾値電位以上になると比較器１４４自らの出力電圧を変化させることでスパイクを出力する。図１２では、比較器１４４の出力信号を電圧Ｖｏｕｔで示している。
【0115】
シナプス回路１４１と、コンデンサ１４２との組み合わせは、膜電位計算部１３３の例に該当する。閾値電源１４３と比較器１４４との組み合わせは、スパイク生成部１３４の例に該当する。
ただし、時間方式スパイキングニューロンモデル１３２の実装方法は、特定の方法に限定されない。例えば、ニューラルネットワーク生成装置１０が、時間方式スパイキングニューロンモデル１３２をコンピュータ上でソフトウェア的に実装するようにしてもよい。
ただし、時間方式スパイキングニューロンモデル１３２の実装方法は、特定の方法に限定されない。例えば、ニューラルネットワーク生成装置１０が、時間方式スパイキングニューロンモデル１３２をコンピュータ上でソフトウェア的に実装するようにしてもよい。
【0116】
遅延部１３６は、時間方式スパイキングニューロンモデル１３２の出力スパイクを、設定された遅延時間だけ遅延させる。これにより、遅延部１３６は、遅延層２４３におけるスパイクの遅延を実行する。
【0117】
ｔ－ＲｅＬＵ部１３７は、遅延部１３６が出力するスパイクに対し、式（２１）でｔＲｅＬＵ＝０とした場合の処理を行う。具体的には、時刻ｔ＝０となる基準時刻までに遅延部１３６からのスパイクの入力を受けた場合、ｔ－ＲｅＬＵ部１３７は、スパイクの入力を受けたタイミングでそのままスパイクを出力する。一方、時刻ｔ＝０までに遅延部１３６からのスパイクの入力が無かった場合、ｔ－ＲｅＬＵ部１３７は、時刻ｔ＝０に第二設定スパイク供給部１３８から入力されるスパイクを、入力を受けたタイミングでそのまま出力する。
これにより、ｔ－ＲｅＬＵ部１３７は、ｔ－ＲｅＬＵ層２４４における、スパイクの出力時刻に対するランプ関数の適用を実行する。
これにより、ｔ－ＲｅＬＵ部１３７は、ｔ－ＲｅＬＵ層２４４における、スパイクの出力時刻に対するランプ関数の適用を実行する。
【0118】
第二設定スパイク供給部１３８は、時刻ｔ＝０にスパイクを出力する。上述したように、時刻ｔ＝０までに遅延部１３６からのスパイクの入力が無かった場合、ｔ－ＲｅＬＵ部１３７は、第二設定スパイク供給部１３８が出力するランプ関数をそのまま出力することで、時刻ｔ＝０にスパイクを出力する。
【0119】
ここで、スパイキングニューラルネットワーク１２０の１つの層に含まれる全てのスパイキングニューロンモデルにおける基準時刻を同じタイミングに揃えることで、下位層に入力されるスパイクの基準時刻を揃えることができる。そこで、スパイキングニューラルネットワーク１２０が、１つの層に１つずつ第二設定スパイク供給部１３８を備えるようにしてもよい。
【0120】
スパイキングニューラルネットワーク１２０が時間調整型スパイキングニューロンモデル１３１を用いて構成される場合について考える。
この場合、第一設定スパイク供給部１３５が、設定スパイク生成器２４１の例に該当する。
この場合、第一設定スパイク供給部１３５が、設定スパイク生成器２４１の例に該当する。
【0121】
また、１つのニューロンモデル層２１４に含まれる全ての時間調整型スパイキングニューロンモデル１３１の時間方式スパイキングニューロンモデル１３２を纏めて層として捉えたものが、時間方式スパイキングニューロン層２４２の例に該当する。
【0122】
また、１つのニューロンモデル層２１４に含まれる全ての時間調整型スパイキングニューロンモデル１３１の遅延部１３６を纏めて層として捉えたものが、遅延層２４３の例に該当する。
また、１つのニューロンモデル層２１４に含まれる全ての時間調整型スパイキングニューロンモデル１３１のｔ－ＲｅＬＵ部１３７を纏めて層として捉えたものが、ｔ－ＲｅＬＵ層２４４の例に該当する。
また、１つのニューロンモデル層２１４に含まれる全ての時間調整型スパイキングニューロンモデル１３１のｔ－ＲｅＬＵ部１３７を纏めて層として捉えたものが、ｔ－ＲｅＬＵ層２４４の例に該当する。
【0123】
ベースネットワーク生成部１１は、時間方式スパイキングニューロン層２４２における重み、および、遅延層２４３における遅延時間を設定可能な状態のスパイキングニューラルネットワーク１２０を生成する。この状態のスパイキングニューラルネットワーク１２０をベースネットワークとも称する。
【0124】
重み設定部１２は、ベースネットワーク生成部１１が生成したスパイキングニューラルネットワーク１２０の時間方式スパイキングニューロン層２４２における重みを設定する。例えば、重み設定部１２は、式（１９）に基づいて重みｗ＾（ｌ）
ｉｊを算出し、算出した重みｗ＾（ｌ）
ｉｊを時間方式スパイキングニューロン層２４２に設定する。
【0125】
遅延設定部１３は、ベースネットワーク生成部１１が生成したスパイキングニューラルネットワーク１２０の遅延層２４３における遅延時間を設定する。例えば、遅延設定部１３は、式（２０）に基づいて遅延時間τ（ｌ）
ｉを算出し、算出した遅延時間τ（ｌ）
ｉを遅延層２４３に設定する。
【0126】
図１４は、ニューラルネットワーク生成装置１０が人工ニューラルネットワーク１１０をスパイキングニューラルネットワーク１２０に変換する処理手順の例を示すフローチャートである。
図１４の処理で、ベースネットワーク生成部１１は、時間方式スパイキングニューロン層２４２における重み、および、遅延層２４３における遅延時間を設定可能な状態のスパイキングニューラルネットワーク１２０を生成する（ステップＳ１１）。
図１４の処理で、ベースネットワーク生成部１１は、時間方式スパイキングニューロン層２４２における重み、および、遅延層２４３における遅延時間を設定可能な状態のスパイキングニューラルネットワーク１２０を生成する（ステップＳ１１）。
【0127】
次に、重み設定部１２は、ベースネットワーク生成部１１が生成したスパイキングニューラルネットワーク１２０の時間方式スパイキングニューロン層２４２における重みを設定する（ステップＳ１２）。
そして、遅延設定部１３は、ベースネットワーク生成部１１が生成したスパイキングニューラルネットワーク１２０の遅延層２４３における遅延時間を設定する（ステップＳ１３）。
ステップＳ１３の後、ニューラルネットワーク生成装置１０は、図１４の処理を終了する。
そして、遅延設定部１３は、ベースネットワーク生成部１１が生成したスパイキングニューラルネットワーク１２０の遅延層２４３における遅延時間を設定する（ステップＳ１３）。
ステップＳ１３の後、ニューラルネットワーク生成装置１０は、図１４の処理を終了する。
【0128】
ニューロンモデル単位で人工ニューロンモデル１１１から時間調整型スパイキングニューロンモデル１３１への変換を行うようにしてもよい。
図１５は、実施形態に係るニューロンモデル生成装置の構成例を示す概略ブロック図である。図１５に示す構成で、ニューロンモデル生成装置２０は、ベースモデル生成部２１と、重み設定部２２と、遅延設定部２３とを備える。
図１５は、実施形態に係るニューロンモデル生成装置の構成例を示す概略ブロック図である。図１５に示す構成で、ニューロンモデル生成装置２０は、ベースモデル生成部２１と、重み設定部２２と、遅延設定部２３とを備える。
【0129】
ニューロンモデル生成装置２０は、人工ニューロンモデル１１１の構成情報を取得して、その人工ニューロンモデル１１１と同等の時間調整型スパイキングニューロンモデル１３１を生成する。ニューロンモデル生成装置２０が、時間調整型スパイキングニューロンモデル１３１として、時間調整型スパイキングニューロンモデル装置を生成するようにしてもよい。
【0130】
ベースモデル生成部２１は、時間方式スパイキングニューロンモデル１３２における重み、および、遅延部１３６における遅延時間を設定可能な状態の時間調整型スパイキングニューロンモデル１３１を生成する。この状態の時間調整型スパイキングニューロンモデル１３１をベースモデルとも称する。
【0131】
重み設定部２２は、ベースモデル生成部２１が生成した時間調整型スパイキングニューロンモデル１３１の時間方式スパイキングニューロンモデル１３２における重みを設定する。例えば、重み設定部２２は、式（１９）に基づいて重みｗ＾（ｌ）
ｉｊを算出し、算出した重みｗ＾（ｌ）
ｉｊを時間方式スパイキングニューロンモデル１３２に設定する。
【0132】
遅延設定部２３は、ベースモデル生成部２１が生成した時間方式スパイキングニューロンモデル１３２の遅延部１３６における遅延時間を設定する。例えば、遅延設定部２３は、式（２０）に基づいて遅延時間τ（ｌ）
ｉを算出し、算出した遅延時間τ（ｌ）
ｉを遅延部１３６に設定する。
【0133】
図１６は、ニューロンモデル生成装置２０が人工ニューロンモデル１１１を時間調整型スパイキングニューロンモデル１３１に変換する処理手順の例を示すフローチャートである。
図１６の処理で、ベースモデル生成部２１は、時間方式スパイキングニューロンモデル１３２における重み、および、遅延部１３６における遅延時間を設定可能な状態の時間調整型スパイキングニューロンモデル１３１を生成する（ステップＳ２１）。
図１６の処理で、ベースモデル生成部２１は、時間方式スパイキングニューロンモデル１３２における重み、および、遅延部１３６における遅延時間を設定可能な状態の時間調整型スパイキングニューロンモデル１３１を生成する（ステップＳ２１）。
【0134】
次に、重み設定部２２は、ベースモデル生成部２１が生成した時間調整型スパイキングニューロンモデル１３１の時間方式スパイキングニューロンモデル１３２における重みを設定する（ステップＳ２２）。
そして、遅延設定部２３は、ベースモデル生成部２１が生成した時間方式スパイキングニューロンモデル１３２の遅延部１３６における遅延時間を設定する（ステップＳ２３）。
ステップＳ２３の後、ニューロンモデル生成装置２０は、図１６の処理を終了する。
そして、遅延設定部２３は、ベースモデル生成部２１が生成した時間方式スパイキングニューロンモデル１３２の遅延部１３６における遅延時間を設定する（ステップＳ２３）。
ステップＳ２３の後、ニューロンモデル生成装置２０は、図１６の処理を終了する。
【0135】
このように、ニューラルネットワーク生成装置１０は、人工ニューラルネットワーク１１０と同等の、時間方式のスパイキングニューラルネットワーク１２０を生成する。
ニューラルネットワーク生成装置１０によれば、時間方式のスパイキングニューラルネットワーク１２０を用いることで消費電力を低減させながら、人工ニューラルネットワーク１１０と同様の演算を行うことができる。
ニューラルネットワーク生成装置１０によれば、時間方式のスパイキングニューラルネットワーク１２０を用いることで消費電力を低減させながら、人工ニューラルネットワーク１１０と同様の演算を行うことができる。
【0136】
ニューラルネットワーク生成装置１０の全部または一部が、専用ハードウェアに実装されていてもよい。
ニューラルネットワーク生成装置１０の全部または一部がＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ(Field-Programmable Gate Array)に実装されていてもよい。
ニューラルネットワーク生成装置１０の全部または一部がＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ(Field-Programmable Gate Array)に実装されていてもよい。
【0137】
ニューラルネットワーク生成装置１０が生成するスパイキングニューラルネットワーク１２０の全部または一部が、専用ハードウェアに実装されていてもよい。
スパイキングニューラルネットワーク１２０の全部または一部がＡＳＩＣまたはＦＰＧＡに実装されていてもよい。
スパイキングニューラルネットワーク１２０の全部または一部がＡＳＩＣまたはＦＰＧＡに実装されていてもよい。
【0138】
時間方式スパイキングニューロン層２４２は、時間方式スパイキングニューロンモデル手段の例に該当し、時間方式スパイキングニューロンモデルを用いて構成される。
遅延層２４３は、遅延手段の例に該当し、時間方式スパイキングニューロン層２４２のスパイク出力時刻から設定された時間だけ変化させた時刻にスパイクを出力する。
遅延層２４３は、遅延手段の例に該当し、時間方式スパイキングニューロン層２４２のスパイク出力時刻から設定された時間だけ変化させた時刻にスパイクを出力する。
【0139】
ｔ－ＲｅＬＵ層２４４は、時間方式ランプ関数手段の例に該当し、遅延層２４３のスパイク出力時刻または基準時刻の何れか早い時刻に信号を出力する。
設定スパイク生成器２４１は、設定スパイク供給手段の例に該当し、時間方式スパイキングニューロン層２４２への入力信号に依存しない時刻に、時間方式スパイキングニューロン層２４２にスパイクを出力する。
設定スパイク生成器２４１は、設定スパイク供給手段の例に該当し、時間方式スパイキングニューロン層２４２への入力信号に依存しない時刻に、時間方式スパイキングニューロン層２４２にスパイクを出力する。
【0140】
時間方式スパイキングニューロンモデル１３２は、時間方式スパイキングニューロンモデル手段の例に該当し、時間方式スパイキングニューロンモデルを用いて構成される。
遅延部１３６は、遅延手段の例に該当し、時間方式スパイキングニューロンモデル１３２のスパイク出力時刻から設定された時間だけ変化させた時刻にスパイクを出力する。
遅延部１３６は、遅延手段の例に該当し、時間方式スパイキングニューロンモデル１３２のスパイク出力時刻から設定された時間だけ変化させた時刻にスパイクを出力する。
【0141】
ｔ－ＲｅＬＵ部１３７は、時間方式ランプ関数手段の例に該当し、遅延部１３６のスパイク出力時刻または基準時刻の何れか早い時刻に信号を出力する。
第一設定スパイク供給部１３５は、設定スパイク供給手段の例に該当し、時間方式スパイキングニューロンモデル１３２への入力信号に依存しない時刻に、時間方式スパイキングニューロンモデル１３２にスパイクを出力する。
第一設定スパイク供給部１３５は、設定スパイク供給手段の例に該当し、時間方式スパイキングニューロンモデル１３２への入力信号に依存しない時刻に、時間方式スパイキングニューロンモデル１３２にスパイクを出力する。
【0142】
ベースネットワーク生成部１１は、ベースネットワーク生成手段の例に該当し、時間方式スパイキングニューロン層２４２と、遅延層２４３とを備えるスパイキングニューラルネットワーク１２０を生成する。
重み設定部１２は、重み設定手段の例に該当し、時間方式スパイキングニューロン層２４２への入力スパイクの重みを、式（１７）または式（１９）に基づく重みｗ＾ｉまたはｗ＾（ｌ） ｉｊに設定する。
重み設定部１２は、重み設定手段の例に該当し、時間方式スパイキングニューロン層２４２への入力スパイクの重みを、式（１７）または式（１９）に基づく重みｗ＾ｉまたはｗ＾（ｌ） ｉｊに設定する。
【0143】
式（１７）または式（１９）は、時間方式スパイキングニューロン層２４２への入力スパイクの入力時刻ｔｉまたはｔ（ｌ－１）
ｊが、その入力スパイクが示す数値の符号を逆にした時刻－ｘｉまたは－ｘ（ｌ－１）
ｊである場合に、遅延層２４３の出力スパイクの出力時刻ｔまたはｔ（ｌ）
ｉが、その出力スパイクが示す数値の符号を逆にした時刻Σｉ＝１
Ｎｗｉｘｉ－ｂまたはΣｊ＝１
Ｎｗ（ｌ）
ｉｊｘ（ｌ－１）
ｊ－ｂ（ｌ）
ｉになるとした式の例に該当する。
【0144】
遅延設定部１３は、遅延設定手段の例に該当し、遅延層２４３における設定時間を、式（１８）または式（２０）に基づく遅延時間τまたはτ（ｌ）
ｉに設定する。
式（１８）または式（２０）は、時間方式スパイキングニューロン層２４２への入力スパイクの入力時刻ｔｉまたはｔ（ｌ－１） ｊが、その入力スパイクが示す数値の符号を逆にした時刻－ｘｉまたは－ｘ（ｌ－１） ｊである場合に、遅延層２４３の出力スパイクの出力時刻ｔまたはｔ（ｌ） ｉが、その出力スパイクが示す数値の符号を逆にした時刻Σｉ＝１ Ｎｗｉｘｉ－ｂまたはΣｊ＝１ Ｎｗ（ｌ） ｉｊｘ（ｌ－１） ｊ－ｂ（ｌ） ｉになるとした式の例に該当する。
式（１８）または式（２０）は、時間方式スパイキングニューロン層２４２への入力スパイクの入力時刻ｔｉまたはｔ（ｌ－１） ｊが、その入力スパイクが示す数値の符号を逆にした時刻－ｘｉまたは－ｘ（ｌ－１） ｊである場合に、遅延層２４３の出力スパイクの出力時刻ｔまたはｔ（ｌ） ｉが、その出力スパイクが示す数値の符号を逆にした時刻Σｉ＝１ Ｎｗｉｘｉ－ｂまたはΣｊ＝１ Ｎｗ（ｌ） ｉｊｘ（ｌ－１） ｊ－ｂ（ｌ） ｉになるとした式の例に該当する。
【0145】
ベースモデル生成部２１は、ベースモデル生成手段の例に該当し、時間方式スパイキングニューロンモデル１３２と、遅延部１３６とを備える時間調整型スパイキングニューロンモデル１３１を生成する。
重み設定部２２は、重み設定手段の例に該当し、時間方式スパイキングニューロンモデル１３２への入力スパイクの重みを、式（１７）または式（１９）に基づく重みｗ＾ｉまたはｗ＾（ｌ） ｉｊに設定する。
遅延設定部２３は、遅延設定手段の例に該当し、遅延部１３６における設定時間を、式（１８）または式（２０）に基づく遅延時間τまたはτ（ｌ） ｉに設定する。
重み設定部２２は、重み設定手段の例に該当し、時間方式スパイキングニューロンモデル１３２への入力スパイクの重みを、式（１７）または式（１９）に基づく重みｗ＾ｉまたはｗ＾（ｌ） ｉｊに設定する。
遅延設定部２３は、遅延設定手段の例に該当し、遅延部１３６における設定時間を、式（１８）または式（２０）に基づく遅延時間τまたはτ（ｌ） ｉに設定する。
【0146】
次に、人工ニューラルネットワーク１１０からスパイキングニューラルネットワーク１２０への変換の例について説明する。変換対象の人工ニューラルネットワーク１１０の構成は、４－３－３の構成とする。すなわち、入力データの次元が４次元（入力データの個数が４つ）、隠れ層のニューロンモデルの個数が３つ、出力層のニューロンモデルの個数が３つである。
【0147】
この人工ニューラルネットワーク１１０に対して、深層学習の一般的な手法で、アヤメのデータセットを学習させた。学習には、１５０個の４次元ベクトルと、４次元ベクトルに一対一対応で紐付けられるラベルデータとで構成される、あやめ分類のデータセットを用いた。
そして、学習後の人工ニューラルネットワーク１１０をスパイキングニューラルネットワーク１２０に変換した。
そして、学習後の人工ニューラルネットワーク１１０をスパイキングニューラルネットワーク１２０に変換した。
【0148】
図１７は、スパイキングニューラルネットワーク１２０におけるスパイクの出力時刻の例を示す図である。図１７は、スパイキングニューラルネットワーク１２０への同一の入力データに対する処理における、入力層、隠れ層、出力層それぞれのスパイクの出力時刻を示している。図１７の各グラフの横軸は時刻を示す。縦軸は、スパイクの識別番号ｉを示す。上述したように、上位層のノードの識別番号がスパイクの識別番号としても用いられる。
【0149】
図１８は、人工ニューラルネットワーク１１０とスパイキングニューラルネットワーク１２０とにおけるスパイクの出力時刻の例を示す図である。図１８は、図１７の例における入力データに対する処理における、隠れ層、出力層それぞれの出力値を、人工ニューラルネットワーク１１０、スパイキングニューラルネットワーク１２０それぞれについて示している。図１８の「＃１」、「＃２」、「＃３」は、それぞれスパイクの識別番号１、２、３を示す。
【0150】
図１８の例で、人工ニューラルネットワーク１１０の隠れ層におけるニューロンモデルの出力値は、１番目のニューロンモデルから順に３．７９４、０、１．７７２となっている。これに対し、スパイキングニューラルネットワーク１２０の隠れ層におけるニューロンモデルのスパイク出力時刻は、１番目のニューロンモデルから順に－３．７９４、０、－１．７７２となっている。
【0151】
また、人工ニューラルネットワーク１１０の出力層におけるニューロンモデルの出力値は、１番目のニューロンモデルから順に１２．２６３、５．６０５、１８．２３９となっている。これに対し、スパイキングニューラルネットワーク１２０の隠れ層におけるニューロンモデルのスパイク出力時刻は、１番目のニューロンモデルから順に－１２．２６３、－５．６０５、－１８．２３９となっている。
【0152】
このように、中間層および出力層の各ノードについて、人工ニューラルネットワーク１１０の出力値の符号を逆にした値が、スパイキングニューラルネットワーク１２０の出力値となっている。
この点で、スパイキングニューラルネットワーク１２０におけるニューロンモデルの出力値は、人工ニューラルネットワーク１１０におけるニューロンモデルの出力値と同等であることが示されている。
この点で、スパイキングニューラルネットワーク１２０におけるニューロンモデルの出力値は、人工ニューラルネットワーク１１０におけるニューロンモデルの出力値と同等であることが示されている。
【0153】
図１９は、遅延時間を反映させた場合の隠れ層のニューロンモデルの膜電位の時間発展の例を示す図である。図１９は、図１７の例における入力データに対する処理における、膜電位の時間発展の例を示す。
図１９のグラフの横軸は時刻を示す。縦軸は、膜電位を示す。膜電位の値１．０が発火の閾値に設定されている。また、図１９に示される時刻には、式（１８）または式（２０）に示される遅延時間τまたはτ（ｌ） ｉが反映されている。
図１９のグラフの横軸は時刻を示す。縦軸は、膜電位を示す。膜電位の値１．０が発火の閾値に設定されている。また、図１９に示される時刻には、式（１８）または式（２０）に示される遅延時間τまたはτ（ｌ） ｉが反映されている。
【0154】
線Ｌ１１１は、１番目のニューロンモデルにおける膜電位の時間発展の例を示す。１番目のニューロンモデルにおける膜電位は、図１８に示される時刻－３．７９９４において閾値に達している。
線Ｌ１１２は、２番目のニューロンモデルにおける膜電位の時間発展の例を示す。２番目のニューロンモデルにおける膜電位は、図１８に示される時刻０よりも後の時刻において閾値に達している。
線Ｌ１１２は、２番目のニューロンモデルにおける膜電位の時間発展の例を示す。２番目のニューロンモデルにおける膜電位は、図１８に示される時刻０よりも後の時刻において閾値に達している。
【0155】
線Ｌ１１３は、３番目のニューロンモデルにおける膜電位の時間発展の例を示す。３番目のニューロンモデルにおける膜電位は、図１８に示される時刻－１．７７２において閾値に達している。
このように、図１９による場合の発火時刻は、人工ニューロンモデルの出力値の符号を逆にしたものになっている。
このように、図１９による場合の発火時刻は、人工ニューロンモデルの出力値の符号を逆にしたものになっている。
【0156】
図２０は、遅延時間を反映させない場合の隠れ層のニューロンモデルの膜電位の時間発展の例を示す図である。図２０は、図１７の例における入力データに対する処理における、膜電位の時間発展の例を示す。
図２０のグラフの横軸は時刻を示す。縦軸は、膜電位を示す。膜電位の値１．０が発火の閾値に設定されている。また、図２０に示される時刻には、式（１８）または式（２０）に示される遅延時間τまたはτ（ｌ） ｉは、反映されていない。
図２０のグラフの横軸は時刻を示す。縦軸は、膜電位を示す。膜電位の値１．０が発火の閾値に設定されている。また、図２０に示される時刻には、式（１８）または式（２０）に示される遅延時間τまたはτ（ｌ） ｉは、反映されていない。
【0157】
線Ｌ１２１は、１番目のニューロンモデルにおける膜電位の時間発展の例を示す。線Ｌ１２２は、２番目のニューロンモデルにおける膜電位の時間発展の例を示す。線Ｌ１２３は、３番目のニューロンモデルにおける膜電位の時間発展の例を示す。
【0158】
図２０による場合の発火時刻は、図１９による場合の発火時刻とは異なる。したがって、図２０における発火時刻は、人工ニューロンモデルの出力値の符号を逆にしたものとはなっていない。
このように、図１９と図２０とを比較すると、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０を生成するために、遅延層２４３または遅延部１３６を設けることが有効であることが示されている。
このように、図１９と図２０とを比較すると、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０を生成するために、遅延層２４３または遅延部１３６を設けることが有効であることが示されている。
【0159】
図２１は、遅延時間を反映させた場合の出力層のニューロンモデルの膜電位の時間発展の例を示す図である。図２１は、図１７の例における入力データに対する処理における、膜電位の時間発展の例を示す。
図２１のグラフの横軸は時刻を示す。縦軸は、膜電位を示す。膜電位の値１．０が発火の閾値に設定されている。また、図２１に示される時刻には、式（１８）または式（２０）に示される遅延時間τまたはτ（ｌ） ｉが反映されている。
図２１のグラフの横軸は時刻を示す。縦軸は、膜電位を示す。膜電位の値１．０が発火の閾値に設定されている。また、図２１に示される時刻には、式（１８）または式（２０）に示される遅延時間τまたはτ（ｌ） ｉが反映されている。
【0160】
線Ｌ２１１は、１番目のニューロンモデルにおける膜電位の時間発展の例を示す。１番目のニューロンモデルにおける膜電位は、図１８に示される時刻－１２．２６３において閾値に達している。
線Ｌ２１２は、２番目のニューロンモデルにおける膜電位の時間発展の例を示す。２番目のニューロンモデルにおける膜電位は、図１８に示される時刻－５．６０５において閾値に達している。
線Ｌ２１２は、２番目のニューロンモデルにおける膜電位の時間発展の例を示す。２番目のニューロンモデルにおける膜電位は、図１８に示される時刻－５．６０５において閾値に達している。
【0161】
線Ｌ２１３は、３番目のニューロンモデルにおける膜電位の時間発展の例を示す。３番目のニューロンモデルにおける膜電位は、図１８に示される時刻１８．２３９において閾値に達している。
このように、図２１による場合の発火時刻は、人工ニューロンモデルの出力値の符号を逆にしたものになっている。
このように、図２１による場合の発火時刻は、人工ニューロンモデルの出力値の符号を逆にしたものになっている。
【0162】
図２２は、遅延時間を反映させない場合の出力層のニューロンモデルの膜電位の時間発展の例を示す図である。図２２は、図１７の例における入力データに対する処理における、膜電位の時間発展の例を示す。
図２２のグラフの横軸は時刻を示す。縦軸は、膜電位を示す。膜電位の値１．０が発火の閾値に設定されている。また、図２２に示される時刻には、式（１８）または式（２０）に示される遅延時間τまたはτ（ｌ） ｉは、反映されていない。
図２２のグラフの横軸は時刻を示す。縦軸は、膜電位を示す。膜電位の値１．０が発火の閾値に設定されている。また、図２２に示される時刻には、式（１８）または式（２０）に示される遅延時間τまたはτ（ｌ） ｉは、反映されていない。
【0163】
線Ｌ２２１は、１番目のニューロンモデルにおける膜電位の時間発展の例を示す。線Ｌ２２２は、２番目のニューロンモデルにおける膜電位の時間発展の例を示す。線Ｌ２２３は、３番目のニューロンモデルにおける膜電位の時間発展の例を示す。
【0164】
図２２による場合の発火時刻は、図２１による場合の発火時刻とは異なる。したがって、図２２における発火時刻は、人工ニューロンモデルの出力値の符号を逆にしたものとはなっていない。
このように、図２１と図２２とを比較すると、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０を生成するために、遅延層２４３または遅延部１３６を設けることが有効であることが示されている。
このように、図２１と図２２とを比較すると、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０を生成するために、遅延層２４３または遅延部１３６を設けることが有効であることが示されている。
【0165】
以上のように、時間方式スパイキングニューロン層２４２は、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する。遅延層２４３は、時間方式スパイキングニューロン層２４２の出力信号が基準時刻に対する相対時刻で示すスパイキング時刻を、設定された時間だけ変化させた信号を出力する。
【0166】
スパイキングニューラルネットワーク１２０によれば、人工ニューラルネットワーク１１０と同等の処理をスパイキングニューラルネットワークの方式で行うことができる。例えば、人工ニューラルネットワーク１１０を用いて高精度な学習を行った後、それと同等のスパイキングニューラルネットワーク１２０をハードウェア的に実装することで、高精度な処理と消費電力の低減との両立を図ることができる。
【0167】
特に、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０が、人工ニューラルネットワーク１１０が備える人工ニューロンモデル１１１の個数と同じ個数の時間調整型スパイキングニューロンモデル１３１を用いて構成される。この点で、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０の構成を、比較的簡単な構成とすることができる。
【0168】
スパイキングニューラルネットワーク１２０の構成が簡単な構成であることで、スパイキングニューラルネットワーク１２０の消費電力の軽減およびスパイキングニューラルネットワーク１２０のコンパクト化を図ることができる。
【0169】
また、時間方式スパイキングニューロン層２４２への入力スパイクの重みが、時間方式スパイキングニューロン層２４２へのスパイク入力時刻がその入力スパイクが示す数値の符号を逆にした時刻である場合に遅延層２４３のスパイク出力時刻がその出力スパイクが示す数値の符号を逆にした時刻になるとした式に基づく重みに設定される。
【0170】
これにより、スパイキングニューラルネットワーク１２０では、正の数値を負の時刻で表すことができる。したがって、スパイキングニューラルネットワーク１２０では、例えばランプ関数等により数値の下限値を設定すると、待ち時間の最大値を限定することができ、入力信号の待ち時間による遅延を低減させることができる。
【0171】
また、ｔ－ＲｅＬＵ層２４４は、遅延層２４３のスパイク出力時刻または基準時刻の何れか早い時刻に信号を出力する。
これにより、スパイキングニューラルネットワーク１２０では、人工ニューラルネットワーク１１０における活性化関数としてのランプ関数を模擬することができ、かつ、上記のように入力信号の待ち時間による遅延を低減させることができる。
これにより、スパイキングニューラルネットワーク１２０では、人工ニューラルネットワーク１１０における活性化関数としてのランプ関数を模擬することができ、かつ、上記のように入力信号の待ち時間による遅延を低減させることができる。
【0172】
また、設定スパイク生成器２４１は、時間方式スパイキングニューロン層２４２への入力スパイクに依存しない時刻に、時間方式スパイキングニューロン層２４２に信号を出力する。
これにより、時間方式スパイキングニューロン層２４２における重みおよび遅延層２４３における遅延時間を式（１７）から式（２０）までのような比較的簡単な式で表すことができる。
この点で、スパイキングニューラルネットワーク１２０によれば、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワークを比較的簡単に得られる。
これにより、時間方式スパイキングニューロン層２４２における重みおよび遅延層２４３における遅延時間を式（１７）から式（２０）までのような比較的簡単な式で表すことができる。
この点で、スパイキングニューラルネットワーク１２０によれば、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワークを比較的簡単に得られる。
【0173】
また、時間方式スパイキングニューロンモデル１３２は、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する。遅延部１３６は、時間方式スパイキングニューロンモデル１３２の出力信号が基準時刻に対する相対時刻で示すスパイキング時刻を、設定された時間だけ変化させた信号を出力する。
【0174】
これにより、人工ニューロンモデル１１１と同等の処理を時間調整型スパイキングニューロンモデル１３１で行うことができる。人工ニューロンモデル１１１を用いて人工ニューラルネットワーク１１０を構成することができる。時間調整型スパイキングニューロンモデル１３１を用いてスパイキングニューラルネットワーク１２０を構成することができる。
例えば、人工ニューラルネットワーク１１０を用いて高精度な学習を行った後、それと同等のスパイキングニューラルネットワーク１２０をハードウェア的に実装することで、高精度な処理と消費電力の低減との両立を図ることができる。
例えば、人工ニューラルネットワーク１１０を用いて高精度な学習を行った後、それと同等のスパイキングニューラルネットワーク１２０をハードウェア的に実装することで、高精度な処理と消費電力の低減との両立を図ることができる。
【0175】
特に、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０が、人工ニューラルネットワーク１１０が備える人工ニューロンモデル１１１の個数と同じ個数の時間調整型スパイキングニューロンモデル１３１を用いて構成される。この点で、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０の構成を、比較的簡単な構成とすることができる。
【0176】
スパイキングニューラルネットワーク１２０の構成が簡単な構成であることで、スパイキングニューラルネットワーク１２０の消費電力を軽減させ、また、スパイキングニューラルネットワーク１２０のコンパクト化を図ることができると期待される。
【0177】
また、時間方式スパイキングニューロンモデル１３２への入力スパイクの重みが、時間方式スパイキングニューロンモデル１３２へのスパイク入力時刻がその入力スパイクが示す数値の符号を逆にした時刻である場合に遅延部１３６のスパイク出力時刻がその出力スパイクが示す数値の符号を逆にした時刻になるとした式に基づく重みに設定される。
【0178】
これにより、時間調整型スパイキングニューロンモデル１３１では、正の数値を負の時刻で表すことができる。したがって、時間調整型スパイキングニューロンモデル１３１では、例えばランプ関数等により数値の下限値を設定すると、待ち時間の最大値を限定することができ、入力信号の待ち時間による遅延を低減させることができる。
【0179】
また、ｔ－ＲｅＬＵ部１３７は、遅延部１３６のスパイク出力時刻または基準時刻の何れか早い時刻に信号を出力する。
これにより、時間調整型スパイキングニューロンモデル１３１では、人工ニューロンモデル１１１における活性化関数としてのランプ関数を模擬することができ、かつ、上記のように入力信号の待ち時間による遅延を低減させることができる。
これにより、時間調整型スパイキングニューロンモデル１３１では、人工ニューロンモデル１１１における活性化関数としてのランプ関数を模擬することができ、かつ、上記のように入力信号の待ち時間による遅延を低減させることができる。
【0180】
また、第一設定スパイク供給部１３５は、時間方式スパイキングニューロンモデル１３２への入力スパイクに依存しない時刻に、時間方式スパイキングニューロンモデル１３２に信号を出力する。
これにより、時間方式スパイキングニューロンモデル１３２における重みおよび遅延部１３６における遅延時間を式（１７）から式（２０）までのような比較的簡単な式で表すことができる。
この点で、時間調整型スパイキングニューロンモデル１３１によれば、人工ニューロンモデル１１１と同等のスパイキングニューロンモデルを比較的簡単に得られる。
これにより、時間方式スパイキングニューロンモデル１３２における重みおよび遅延部１３６における遅延時間を式（１７）から式（２０）までのような比較的簡単な式で表すことができる。
この点で、時間調整型スパイキングニューロンモデル１３１によれば、人工ニューロンモデル１１１と同等のスパイキングニューロンモデルを比較的簡単に得られる。
【0181】
また、ベースネットワーク生成部１１は、時間方式スパイキングニューロン層２４２と、遅延層２４３とを備えるスパイキングニューラルネットワーク１２０を生成する。重み設定部１２は、時間方式スパイキングニューロン層２４２への入力信号の重みを、式（１７）または式（１９）に基づく時間に設定する。遅延設定部１３は、遅延層２４３における遅延時間を、式（１８）または式（２０）に基づく時間に設定する。
【0182】
ニューラルネットワーク生成装置１０によれば、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０を得られる。例えば、人工ニューラルネットワーク１１０を用いて高精度な学習を行った後、それと同等のスパイキングニューラルネットワーク１２０をハードウェア的に実装することで、高精度な処理と消費電力の低減との両立を図ることができる。
【0183】
特に、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０が、人工ニューラルネットワーク１１０が備える人工ニューロンモデル１１１の個数と同じ個数の時間調整型スパイキングニューロンモデル１３１を用いて構成される。この点で、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０の構成を、比較的簡単な構成とすることができる。
【0184】
スパイキングニューラルネットワーク１２０の構成が簡単な構成であることで、スパイキングニューラルネットワーク１２０の消費電力の軽減、および、スパイキングニューラルネットワーク１２０のコンパクト化を図ることができる。
【0185】
また、ベースモデル生成部２１は、時間方式スパイキングニューロンモデル１３２と、遅延部１３６とを備える時間調整型スパイキングニューロンモデル１３１を生成する。重み設定部２２は、時間方式スパイキングニューロンモデル１３２への入力信号の重みを、式（１７）または式（１９）に基づく時間に設定する。遅延設定部２３は、遅延部１３６における遅延時間を、式（１８）または式（２０）に基づく時間に設定する。
【0186】
ニューロンモデル生成装置２０によれば、人工ニューロンモデル１１１と同等の時間調整型スパイキングニューロンモデル１３１を得られる。人工ニューロンモデル１１１を用いて人工ニューラルネットワーク１１０を構成することができる。時間調整型スパイキングニューロンモデル１３１を用いてスパイキングニューラルネットワーク１２０を構成することができる。
例えば、人工ニューラルネットワーク１１０を用いて高精度な学習を行った後、それと同等のスパイキングニューラルネットワーク１２０をハードウェア的に実装することで、高精度な処理と消費電力の低減との両立を図ることができる。
例えば、人工ニューラルネットワーク１１０を用いて高精度な学習を行った後、それと同等のスパイキングニューラルネットワーク１２０をハードウェア的に実装することで、高精度な処理と消費電力の低減との両立を図ることができる。
【0187】
特に、ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０が、人工ニューラルネットワーク１１０が備える人工ニューロンモデル１１１の個数と同じ個数の時間調整型スパイキングニューロンモデル１３１を用いて構成される。この点で、人工ニューラルネットワーク１１０と同等のスパイキングニューラルネットワーク１２０の構成を、比較的簡単な構成とすることができる。
【0188】
スパイキングニューラルネットワーク１２０の構成が簡単な構成であることで、スパイキングニューラルネットワーク１２０の消費電力を軽減させ、また、スパイキングニューラルネットワーク１２０のコンパクト化を図ることができると期待される。
【0189】
図２３は、実施形態に係るニューラルネットワーク装置の構成例を示す図である。図２３に示す構成で、ニューラルネットワーク装置６１０は、時間方式スパイキングニューロンモデル６１１と、遅延部６１２とを備える。
かかる構成で、時間方式スパイキングニューロンモデル６１１は、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する。遅延部６１２は、時間方式スパイキングニューロンモデル６１１の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた信号を出力する。
かかる構成で、時間方式スパイキングニューロンモデル６１１は、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する。遅延部６１２は、時間方式スパイキングニューロンモデル６１１の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた信号を出力する。
【0190】
ニューラルネットワーク装置６１０によれば、人工ニューラルネットワークと同等の処理をスパイキングニューラルネットワークの方式で行うことができる。例えば、人工ニューラルネットワークを用いて高精度な学習を行った後、それと同等のニューラルネットワーク装置６１０にてスパイキングニューラルネットワークをハードウェア的に実装することで、高精度な処理と消費電力の低減との両立を図ることができる。
【0191】
特に、ニューラルネットワークと同等のニューラルネットワーク装置６１０が、人工ニューラルネットワークが備える人工ニューロンモデルの個数と同じ個数のニューロンモデルを用いて構成される。この点で、人工ニューラルネットワークと同等のスパイキングニューラルネットワークの構成を、比較的簡単な構成とすることができる。
ニューラルネットワーク装置６１０の構成が簡単な構成であることで、ニューラルネットワーク装置６１０の消費電力の軽減およびニューラルネットワーク装置６１０のコンパクト化を図ることができる。
ニューラルネットワーク装置６１０の構成が簡単な構成であることで、ニューラルネットワーク装置６１０の消費電力の軽減およびニューラルネットワーク装置６１０のコンパクト化を図ることができる。
【0192】
図２４は、実施形態に係る生成装置の構成例を示す図である。図２４に示す構成で、生成装置６２０は、ベースネットワーク生成部６２１と、重み設定部６２２と、遅延設定部６２３とを備える。
かかる構成で、ベースネットワーク生成部６２１は、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する時間方式スパイキングニューロンモデルと、時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた信号を出力する遅延部と、を備えるニューラルネットワークを生成する。
かかる構成で、ベースネットワーク生成部６２１は、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する時間方式スパイキングニューロンモデルと、時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた信号を出力する遅延部と、を備えるニューラルネットワークを生成する。
【0193】
重み設定部６２２は、時間方式スパイキングニューロンモデルへの入力信号の重みを、入力信号の入力時刻がその入力信号が示す数値の符号を逆にした時刻である場合に遅延部の出力信号の出力時刻がその出力信号が示す数値の符号を逆にした時刻になるとした式に基づく重みに設定する。
遅延設定部６２３は、遅延部における設定時間を、時間方式スパイキングニューロンモデル手段への入力信号の入力時刻がその入力信号が示す数値の符号を逆にした時刻である場合に遅延部の出力信号の出力時刻がその出力信号が示す数値の符号を逆にした時刻になるとした式に基づく時間に設定する。
遅延設定部６２３は、遅延部における設定時間を、時間方式スパイキングニューロンモデル手段への入力信号の入力時刻がその入力信号が示す数値の符号を逆にした時刻である場合に遅延部の出力信号の出力時刻がその出力信号が示す数値の符号を逆にした時刻になるとした式に基づく時間に設定する。
【0194】
生成装置６２０によれば、人工ニューラルネットワークと同等でスパイキングニューラルネットワークの方式のニューラルネットワーク装置を得られる。例えば、人工ニューラルネットワークを用いて高精度な学習を行った後、それと同等のニューラルネットワーク装置をハードウェア的に実装することで、高精度な処理と消費電力の低減との両立を図ることができる。
【0195】
特に、人工ニューラルネットワークと同等のニューラルネットワーク装置が、人工ニューラルネットワークが備える人工ニューロンモデルの個数と同じ個数のスパイキングニューロンモデルを用いて構成される。この点で、人工ニューラルネットワークと同等のスパイキングニューラルネットワークの構成を、比較的簡単な構成とすることができる。
ニューラルネットワーク装置の構成が簡単な構成であることで、ニューラルネットワーク装置の消費電力を軽減させ、また、スパイキングニューラルネットワーク１２０のコンパクト化を図ることができると期待される。
ニューラルネットワーク装置の構成が簡単な構成であることで、ニューラルネットワーク装置の消費電力を軽減させ、また、スパイキングニューラルネットワーク１２０のコンパクト化を図ることができると期待される。
【0196】
図２５は、実施形態に係る情報処理方法における処理手順の例を示す図である。図２５に示す方法は、第一信号を出力すること（ステップＳ６１１）と、第二信号を出力すること（ステップＳ６１２）とを含む。
第一信号を出力すること（ステップＳ６１１）では、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると第一信号を出力する。第二信号を出力すること（ステップＳ６１２）では、第一信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた第二信号を出力する。
第一信号を出力すること（ステップＳ６１１）では、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると第一信号を出力する。第二信号を出力すること（ステップＳ６１２）では、第一信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた第二信号を出力する。
【0197】
図２５に示す方法によれば、人工ニューラルネットワークと同等の処理をスパイキングニューラルネットワークの方式で行うことができる。例えば、人工ニューラルネットワークを用いて高精度な学習を行った後、それと同等のスパイキングニューラルネットワークをハードウェア的に実装して図２５の処理を行うことで、高精度な処理と消費電力の低減との両立を図ることができる。
【0198】
図２６は、実施形態に係る生成方法における処理手順の例を示す図である。図２６に示す方法は、ニューラルネットワークを生成すること（ステップＳ６２１）と、重みを設定すること（ステップＳ６２２）と、遅延を設定すること（ステップＳ６２３）とを含む。
【0199】
ニューラルネットワークを生成すること（ステップＳ６２１）では、信号入力時刻に応じて時間発展する内部状態量が閾値以上になると信号を出力する時間方式スパイキングニューロンモデル手段と、前記時間方式スパイキングニューロンモデル手段の出力信号が基準時刻に対する相対時刻で示すスパイク時刻を、設定された時間だけ変化させた信号を出力する遅延手段と、を備えるニューラルネットワークを生成する。
【0200】
重みを設定すること（ステップＳ６２２）では、前記時間方式スパイキングニューロンモデル手段への入力信号の重みが、前記入力信号の入力時刻がその入力信号が示す数値の符号を逆にした時刻である場合に前記遅延手段の出力信号の出力時刻がその出力信号が示す数値の符号を逆にした時刻になるとした式に基づく重みに設定する。
【0201】
遅延を設定すること（ステップＳ６２３）では、遅延手段における前記設定された時間を、前記時間方式スパイキングニューロンモデル手段への入力信号の入力時刻がその入力信号が示す数値の符号を逆にした時刻である場合に前記遅延手段の出力信号の出力時刻がその出力信号が示す数値の符号を逆にした時刻になるとした式に基づく時間に設定する。
【0202】
図２６に記載の方法によれば、人工ニューラルネットワークと同等のスパイキングニューラルネットワークを得られる。例えば、人工ニューラルネットワークを用いて高精度な学習を行った後、それと同等のスパイキングニューラルネットワークをハードウェア的に実装することで、高精度な処理と消費電力の低減との両立を図ることができる。
【0203】
特に、人工ニューラルネットワークと同等のスパイキングニューラルネットワークが、人工ニューラルネットワークが備える人工ニューロンモデルの個数と同じ個数のスパイキングニューロンモデルを用いて構成される。この点で、人工ニューラルネットワークと同等のスパイキングニューラルネットワークの構成を、比較的簡単な構成とすることができる。
【0204】
スパイキングニューラルネットワークの構成が簡単な構成であることで、スパイキングニューラルネットワークの消費電力の軽減、および、スパイキングニューラルネットワークのコンパクト化を図ることができる。
【0205】
図２７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図２７に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
図２７に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
【0206】
ニューラルネットワーク生成装置１０、スパイキングニューラルネットワーク１２０、時間調整型スパイキングニューロンモデル１３１、ニューロンモデル生成装置２０、ニューラルネットワーク装置６１０、および、生成装置６２０のうち何れか１つ以上またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。
【0207】
ニューラルネットワーク生成装置１０がコンピュータ７００に実装される場合、ベースネットワーク生成部１１、重み設定部１２、および、遅延設定部１３の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0208】
また、ＣＰＵ７１０は、プログラムに従って、ニューラルネットワーク生成装置１０が行う処理のための記憶領域を主記憶装置７２０に確保する。
ニューラルネットワーク生成装置１０と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
ニューラルネットワーク生成装置１０と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
【0209】
ニューラルネットワーク生成装置１０とユーザとのインタラクションは、例えば、インタフェース７４０が表示画面を有してＣＰＵ７１０の制御に従って各種画像を表示し、また、インタフェース７４０がキーボード等の入力デバイスを有してユーザ操作を受け付けることで実行される。
【0210】
スパイキングニューラルネットワーク１２０がコンピュータ７００に実装される場合、設定スパイク生成器２４１、時間方式スパイキングニューロン層２４２、遅延層２４３、および、ｔ－ＲｅＬＵ層２４４の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0211】
また、ＣＰＵ７１０は、プログラムに従って、スパイキングニューラルネットワーク１２０が行う処理のための記憶領域を主記憶装置７２０に確保する。
スパイキングニューラルネットワーク１２０と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
スパイキングニューラルネットワーク１２０と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
【0212】
スパイキングニューラルネットワーク１２０とユーザとのインタラクションは、例えば、インタフェース７４０が表示画面を有してＣＰＵ７１０の制御に従って各種画像を表示し、また、インタフェース７４０がキーボード等の入力デバイスを有してユーザ操作を受け付けることで実行される。
【0213】
時間調整型スパイキングニューロンモデル１３１がコンピュータ７００に実装される場合、時間方式スパイキングニューロンモデル１３２、第一設定スパイク供給部１３５、遅延部１３６、ｔ－ＲｅＬＵ部１３７、および、第二設定スパイク供給部１３８およびそれらの各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0214】
また、ＣＰＵ７１０は、プログラムに従って、時間調整型スパイキングニューロンモデル１３１が行う処理のための記憶領域を主記憶装置７２０に確保する。
時間調整型スパイキングニューロンモデル１３１と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
時間調整型スパイキングニューロンモデル１３１と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
【0215】
時間調整型スパイキングニューロンモデル１３１とユーザとのインタラクションは、例えば、インタフェース７４０が表示画面を有してＣＰＵ７１０の制御に従って各種画像を表示し、また、インタフェース７４０がキーボード等の入力デバイスを有してユーザ操作を受け付けることで実行される。
【0216】
ニューロンモデル生成装置２０がコンピュータ７００に実装される場合、ベースモデル生成部２１、重み設定部２２、および、遅延設定部２３の各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0217】
また、ＣＰＵ７１０は、プログラムに従って、ニューロンモデル生成装置２０が行う処理のための記憶領域を主記憶装置７２０に確保する。
ニューロンモデル生成装置２０と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
ニューロンモデル生成装置２０と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
【0218】
ニューロンモデル生成装置２０とユーザとのインタラクションは、例えば、インタフェース７４０が表示画面を有してＣＰＵ７１０の制御に従って各種画像を表示し、また、インタフェース７４０がキーボード等の入力デバイスを有してユーザ操作を受け付けることで実行される。
【0219】
ニューラルネットワーク装置６１０がコンピュータ７００に実装される場合、時間方式スパイキングニューロンモデル６１１、および、遅延部６１２の各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0220】
また、ＣＰＵ７１０は、プログラムに従って、ニューラルネットワーク装置６１０が行う処理のための記憶領域を主記憶装置７２０に確保する。
ニューラルネットワーク装置６１０と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
ニューラルネットワーク装置６１０と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
【0221】
ニューラルネットワーク装置６１０とユーザとのインタラクションは、例えば、インタフェース７４０が表示画面を有してＣＰＵ７１０の制御に従って各種画像を表示し、また、インタフェース７４０がキーボード等の入力デバイスを有してユーザ操作を受け付けることで実行される。
【0222】
生成装置６２０がコンピュータ７００に実装される場合、ベースネットワーク生成部６２１、重み設定部６２２、および、遅延設定部６２３の各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0223】
また、ＣＰＵ７１０は、プログラムに従って、生成装置６２０が行う処理のための記憶領域を主記憶装置７２０に確保する。
生成装置６２０と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
生成装置６２０と他の装置との通信は、例えば、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
【0224】
生成装置６２０とユーザとのインタラクションは、例えば、インタフェース７４０が表示画面を有してＣＰＵ７１０の制御に従って各種画像を表示し、また、インタフェース７４０がキーボード等の入力デバイスを有してユーザ操作を受け付けることで実行される。
【0225】
なお、ニューラルネットワーク生成装置１０、スパイキングニューラルネットワーク１２０、時間調整型スパイキングニューロンモデル１３１、ニューロンモデル生成装置２０、ニューラルネットワーク装置６１０、および、生成装置６２０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0226】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【0227】
本発明の実施形態は、ニューラルネットワーク装置、生成装置、情報処理方法、生成方法および記録媒体に適用してもよい。
【符号の説明】
【0228】
１０ ニューラルネットワーク生成装置
１１、６２１ ベースネットワーク生成部
１２、２２、６２２ 重み設定部
１３、２３、６２３ 遅延設定部
２０ ニューロンモデル生成装置
２１ ベースモデル生成部
１１０ 人工ニューラルネットワーク
１２０ スパイキングニューラルネットワーク
１２１ スパイキングニューロンモデル
１３１ 時間調整型スパイキングニューロンモデル
１３２、６１１ 時間方式スパイキングニューロンモデル
１３３ 膜電位計算部
１３４ スパイク生成部
１３５ 第一設定スパイク供給部
１３６、６１２ 遅延部
１３７ ｔ－ＲｅＬＵ部
１３８ 第二設定スパイク供給部
２４１ 設定スパイク生成器
２４２ 時間方式スパイキングニューロン層
２４３ 遅延層
２４４ ｔ－ＲｅＬＵ層
６１０ ニューラルネットワーク装置
６２０ 生成装置
１１、６２１ ベースネットワーク生成部
１２、２２、６２２ 重み設定部
１３、２３、６２３ 遅延設定部
２０ ニューロンモデル生成装置
２１ ベースモデル生成部
１１０ 人工ニューラルネットワーク
１２０ スパイキングニューラルネットワーク
１２１ スパイキングニューロンモデル
１３１ 時間調整型スパイキングニューロンモデル
１３２、６１１ 時間方式スパイキングニューロンモデル
１３３ 膜電位計算部
１３４ スパイク生成部
１３５ 第一設定スパイク供給部
１３６、６１２ 遅延部
１３７ ｔ－ＲｅＬＵ部
１３８ 第二設定スパイク供給部
２４１ 設定スパイク生成器
２４２ 時間方式スパイキングニューロン層
２４３ 遅延層
２４４ ｔ－ＲｅＬＵ層
６１０ ニューラルネットワーク装置
６２０ 生成装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】