特開 2024-165300 スパイキングニューラルネットワークの生成方法、画像認識装置、および計算機システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024165300

(43)【公開日】2024-11-28

(54)【発明の名称】スパイキングニューラルネットワークの生成方法、画像認識装置、および計算機システム

(51)【国際特許分類】

   G06N 3/049 20230101AFI20241121BHJP

   G06N 3/082 20230101ALI20241121BHJP

【ＦＩ】

G06N3/049

G06N3/082

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023081386

(22)【出願日】2023-05-17

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】藤本 和久

(72)【発明者】

【氏名】細木 浩二

(57)【要約】

【課題】ＤＮＮ（ディープニューラルネットワーク）から認識精度が高いＳＮＮ（スパイキングニューラルネットワーク）を生成する。
【解決手段】処理装置は、連結された複数の畳み込み層を含むＤＮＮを定義する第１定義情報と、最後の畳み込み層のニューロンの活性化率が満たすべき条件とを受け付け、少なくとも一つの畳み込み層の出力と、ＤＮＮへの入力とが合成されるように、ＤＮＮの構造を変更し、構造が変更されたＤＮＮを用いて、前記条件を満たすように学習処理を実行し、学習されたＤＮＮを変換してＳＮＮを定義する第２定義情報を生成する。
【選択図】 図４

【特許請求の範囲】

【請求項1】

処理装置および前記処理装置に接続されるメモリを有する計算機が実行するスパイキングニューラルネットワークの生成方法であって、
前記処理装置が、連結された複数の畳み込み層を含む、ディープニューラルネットワークを定義する第１定義情報を受け付け、前記メモリに格納する第１のステップと、
前記処理装置が、最後の前記畳み込み層のニューロンの活性化率が満たすべき条件を受け付け、前記メモリに格納する第２のステップと、
前記処理装置が、少なくとも一つの前記畳み込み層の出力と、前記ディープニューラルネットワークへの入力とが合成されるように、前記ディープニューラルネットワークの構造を変更する第３のステップと、
前記処理装置が、構造が変更された前記ディープニューラルネットワークを用いて、前記条件を満たすように学習処理を実行する第４のステップと、
前記処理装置が、学習された前記ディープニューラルネットワークを変換して、スパイキングニューラルネットワークを定義する第２定義情報を生成し、前記メモリに格納する第５のステップと、
を含むことを特徴とするスパイキングニューラルネットワークの生成方法。

【請求項2】

請求項１に記載のスパイキングニューラルネットワークの生成方法であって、
前記第１定義情報によって定義される前記ディープニューラルネットワークは、最後の前記畳み込み層の出力を処理する全結合層を少なくとも一つ含み、
前記第３のステップは、前記処理装置が、最後の前記畳み込み層以外の少なくとも一つの前記畳み込み層の出力と、前記ディープニューラルネットワークへの入力とが合成され、かつ、最後の前記畳み込み層の出力と、前記ディープニューラルネットワークへの入力とが合成されるように、前記ディープニューラルネットワークの構造を変更するステップを含むことを特徴とするスパイキングニューラルネットワークの生成方法。

【請求項3】

請求項１に記載のスパイキングニューラルネットワークの生成方法であって、
前記第１定義情報によって定義される前記ディープニューラルネットワークは、最後の前記畳み込み層の出力を処理する全結合層を少なくとも一つ含み、
前記第３のステップは、前記処理装置が、最後の前記畳み込み層以外の少なくとも一つの前記畳み込み層の出力と、前記ディープニューラルネットワークへの入力とが合成されるように、前記ディープニューラルネットワークの構造を変更するステップを含むことを特徴とするスパイキングニューラルネットワークの生成方法。

【請求項4】

画像を格納する記憶装置および画像認識処理を実行する脳型デバイスを備える画像認識装置であって、
前記脳型デバイスは、前記画像に対して、請求項１に記載の前記スパイキングニューラルネットワークを用いた前記画像認識処理を実行することを特徴とする画像認識装置。

【請求項5】

計算機システムであって、
画像を取得し、前記画像を用いた画像認識処理を実行するエッジ装置と、
前記エッジ装置の画像認識処理の結果を取得する管理計算機と、を備え、
前記エッジ装置は、前記画像に対して、請求項１に記載のスパイキングニューラルネットワークを用いた前記画像認識処理を実行することを特徴とする計算機システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、脳処理を模倣したスパイキングニューラルネットワークの生成方法に関する。

【背景技術】

【0002】

近年、画像認識および音声認識を始めとする様々なアプリケーションにおいて、ＡＩとりわけ深層学習の活用が進展し、映像監視およびチャットボット等において社会実装が進んでいる。深層学習の適用例として映像監視、例えば、駅、空港、通り等の公共の場での不審者および不明者等、特定の人物の発見および追跡、作業現場における作業者の特定の行動、例えば危険な行動の発見等の例がある。

【0003】

画像の学習／推論には、複雑な画像の認識精度を向上できるという点から、畳み込みニューラルネットワーク（ＣＮＮ）の一種であるＶＧＧｎｅｔ（例えば、非特許文献１を参照）およびＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）（例えば、非特許文献２を参照）が用いられる。画像に映っている識別対象物の種類が数十以上と多い場合に高い識別精度を得るため、これらのニューラルネットワークは畳み込み層を数十から１００層以上連結して構成される。これらのＣＮＮを用いて画像認識を行う場合、計算処理負荷が大きいためＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）サーバで処理を行う必要があり消費電力が大きいという課題がある。

【0004】

消費電力を削減するため、ＣＮＮを、脳処理を模倣するスパイキングニューラルネットワーク（ＳＮＮ）に変換し、消費電力の低い脳型デバイスで推論を行う手法が研究されている（例えば、非特許文献３を参照）。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】“Very deep convolutional networks for large-scale image recognition”, K. Simonyan and A. Zisserman, in ICLR, 2015.

【非特許文献2】”Deep Residual Learning for Image Recognition”, Kaiming He, et. Al., CVPR, 2016, Volume 1, pp 770-78

【非特許文献3】”Benchmarking Keyword Spotting Efficiency on Neuromorphic Hardware”, P. Blouw, et al., in NICE '19, March 2019.

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＣＮＮをＳＮＮに変換する方法は、画像認識などアプリケーションで実績のあるＣＮＮを活用できるという点でメリットがあり、主要なＳＮＮ構築方法である。アプリケーションで実績のある従来技術のＣＮＮは、ネットワークの畳み込み層の数が数十から１００層以上と多い。しかし、畳み込み層数の多いＣＮＮをＳＮＮに変換すると、ＳＮＮでの認識精度はＣＮＮの認識精度に対し大きく劣化するという課題がある。認識精度が劣化する理由は、ＣＮＮを構成する畳み込み層で入力が減衰するためである。多数の畳み込み層を重ねると各畳み込み層での入力の減衰によって、最終段では元の画像（入力）の情報が失われてしまうため、認識精度が劣化する。このように多層のＣＮＮを変換したＳＮＮでは認識精度が劣化するため、アプリケーションにおいて実績のある多層のＣＮＮをＳＮＮで活用できなかった。

【0007】

そこで、本発明の目的は、多層のＣＮＮをＳＮＮに変換する場合に、ＣＮＮの認識精度に対して認識精度が劣化しないＳＮＮを生成することである。

【課題を解決するための手段】

【0008】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、処理装置および前記処理装置に接続されるメモリを有する計算機が実行するスパイキングニューラルネットワークの生成方法であって、前記処理装置が、連結された複数の畳み込み層を含む、ディープニューラルネットワークを定義する第１定義情報を受け付け、前記メモリに格納する第１のステップと、前記処理装置が、最後の前記畳み込み層のニューロンの活性化率が満たすべき条件を受け付け、前記メモリに格納する第２のステップと、前記処理装置が、少なくとも一つの前記畳み込み層の出力と、前記ディープニューラルネットワークへの入力とが合成されるように、前記ディープニューラルネットワークの構造を変更する第３のステップと、前記処理装置が、構造が変更された前記ディープニューラルネットワークを用いて、前記条件を満たすように学習処理を実行する第４のステップと、前記処理装置が、学習された前記ディープニューラルネットワークを変換して、スパイキングニューラルネットワークを定義する第２定義情報を生成し、前記メモリに格納する第５のステップと、を含む。

【発明の効果】

【0009】

本発明によれば、認識精度の劣化を抑えたＳＮＮを生成できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】実施例１のＳＮＮの構造の特徴を示す図である。

【図2】実施例１のＳＮＮの構造の一例を示す図である。

【図3】実施例１のＳＮＮの構造の一例を示す図である。

【図4】実施例１のＳＮＮの生成方法の一例を説明するフローチャートである。

【図5】実施例１の脳型計算機の一例を示す図である。

【図6】実施例１のＳＮＮを実装した脳型計算機の活用の一例を示す図である。

【図7】実施例１のＳＮＮを実装した脳型計算機が実行する画像認識処理の一例を説明するフローチャートである。

【図8】実施例１の監視カメラシステムの一例を示す図である。

【図9】実施例１の監視カメラシステムの別例を示す図である。

【発明を実施するための形態】

【実施例0011】

以下、図面を参照して、本発明の一実施の形態を説明する。ただし、本発明は、実施の形態に限定されるものではない。

【0012】

実施例１では、認識対象を含む画像を用いた認識処理の精度が高いＳＮＮを生成する方法について説明する。より具体的には、本実施の形態では、監視カメラ等から得られる画像中の人物等の認識を行うシステムにおいて、当該システムに求められる認識精度を満足するシステムを実現する方法について説明する。

【0013】

まず、本実施例のスパイキングニューラルネットワーク（ＳＮＮ）の構造の特徴について説明する。図１は、実施例１のＳＮＮの構造の特徴を示す図である。図１では、ＳＮＮ１の一部を示しており、具体的には、畳み込み層への入力、畳み込み層からの出力、および畳み込み層の間の接続のしかたを示す。

【0014】

ＳＮＮ１は、画像認識を行うための脳処理を模倣したスパイキングニューラルネットワークである。ＳＮＮ１は、複数の畳み込み層１０が直列に連結された構造となっている。ＳＮＮ１への第１入力５０－１は、最初の畳み込み層１０－１に入力される。畳み込み層１０－１の第１出力６０－１は第１入力５０－１を分岐した第２入力５０－２と合成され、第３入力５０－３として畳み込み層１０－２に入力される。畳み込み層１０－２の第２出力６０－２は第２入力５０－２と合成され、第４入力５０－４として次段の畳み込み層５０（図示省略）に入力される。

【0015】

ＳＮＮ１は、学習済みのＤＮＮを変換することによって生成される。変換には、例えば、ＯＳＳ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｓｏｆｔｗａｒｅ）のＬＡＶＡ、およびＡｐｐｌｉｅｄ Ｂｒａｉｎ Ｒｅｓｅａｒｃｈ社のＮｅｎｇｏ等を用いることができる。

【0016】

なお、ＤＮＮは、ＳＮＮ１と同様に、複数の層が直列に連結された構造となっている。

【0017】

図２は、実施例１のＳＮＮの構造の一例を示す図である。

【0018】

ＳＮＮ２は、１０個の畳み込み層１０と、２個の全結合層２０とから構成される。複数の畳み込み層１０は直列に連結され、最後の畳み込み層１０－１０の次段に全結合層２０－１、２０－２が直列に連結される。

【0019】

ＳＮＮ２への第１入力５０－１は、最初の畳み込み層１０－１に入力される。畳み込み層１０－１の第１出力６０－１は第１入力５０－１を分岐した第２入力５０－２と合成され、第３入力５０－３として畳み込み層１０－２に入力される。畳み込み層１０－２の第２出力６０－２は第２入力５０－２と合成され、第４入力５０－４として次段の畳み込み層１０に入力される。最後の畳み込み層１０－１０の第１０出力６０－１０は第２入力５０－２と合成され、第１２入力５０－１２として全結合層２０－１に入力される。最終段の全結合層２０－２はＳＮＮ２の最終出力として出力７０を出力する。

【0020】

図３は、実施例１のＳＮＮの構造の一例を示す図である。

【0021】

ＳＮＮ３は、１０個の畳み込み層１１と、２個の全結合層２１とから構成される。複数の畳み込み層１１は直列に連結され、最後の畳み込み層１１－１０の次段に全結合層２１－１、２１－２が直列に連結される。

【0022】

ＳＮＮ３への第１入力５１－１は、最初の畳み込み層１１－１に入力される。畳み込み層１１－１の第１出力６１－１は第１入力５１－１を分岐した第２入力５１－２と合成され、第３入力５１－３として畳み込み層１１－２に入力される。畳み込み層１１－２の第２出力６１－２は第２入力５１－２と合成され、第４入力５１－４として次段の畳み込み層１１に入力される。９番目の畳み込み層１１－９の第９出力６１－９は第２入力５１－２と合成され、第１１入力５１－１１として最後の畳み込み層１１－１０に入力される。最後の畳み込み層１１－１０の第１０の出力６１－１０は、全結合層２１－１に入力される。最終段の全結合層２１－２はＳＮＮ３の最終出力として出力７１を出力する。

【0023】

ＳＮＮ２およびＳＮＮ３の違いは、最初の全結合層２０－１、２１－１への入力の違いである。認識対象の違いによってＳＮＮ２およびＳＮＮ３の認識精度は変わるため、認識対象に応じて高い認識精度が得られるＳＮＮを選ぶとよい。

【0024】

ＳＮＮ２では全ての畳み込み層１０の出力６０が第２入力５０－２と合成されているが、ＳＮＮ３では最後の畳み込み層１１－１０１つ手前の９番目の畳み込み層１１－９までの出力６１が第２入力５１－２と合成されている。何番目までの出力を第２入力と合成するかは、調整可能であり、認識精度が最も高くなる構成を選ぶとよい。

【0025】

次に、ＳＮＮの生成方法について説明する。図４は、実施例１のＳＮＮの生成方法の一例を説明するフローチャートである。図５は、実施例１の脳型計算機の一例を示す図である。

【0026】

構成を決定するために、画像認識を行うシステムの要件から、所定の認識精度を設定しておく。さらに、所定の認識精度の要件から、所定のニューロンの活性化率を設定しておく。これら２つの条件をもとに、ＳＮＮが生成される。

【0027】

以下で説明する処理は、図５に示すような脳型計算機５１０によって実行される。脳型計算機５１０は、処理装置５１１、主記憶装置５１２、補助記憶装置５１３、脳型デバイス５１４、およびチップセット５１５を備える。

【0028】

処理装置５１１は、例えば、ＣＰＵであり、脳型計算機５１０全体を制御する。脳型デバイス５１４は、ＳＮＮを実行するための専用のデバイスである。

【0029】

主記憶装置５１２は、例えば、揮発性の半導体メモリであり、補助記憶装置５１３からロードされたソフトウェア、および各種データを一時的に格納する。処理装置５１１が主記憶装置５１２に格納されたプログラムを実行することによって、脳型計算機５１０の機能が実現される。補助記憶装置５１３は、例えば、ハードディスクドライブおよびＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の大容量の不揮発性の記憶装置である。補助記憶装置５１３には、ソフトウェア、ソフトウェアが使用する各種データ、および脳型デバイス５１４の処理結果等が格納される。

【0030】

なお、主記憶装置５１２および補助記憶装置５１３をまとめて記憶装置と称してもよい。

【0031】

なお、図示していないが、脳型計算機５１０は、モニタおよびリモート端末等の端末が接続され、脳型計算機５１０に対する管理者の操作指示、および画像認識結果の表示等を行うことができる。

【0032】

なお、脳型計算機５１０の機能（例えば、処理部）は、ソフトウェアを用いて実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアおよびハードウェアを組み合わせて実現されてもよい。また、脳型計算機５１０の１つの機能は、複数の機能に分けられていてもよいし、複数の機能は、１つの機能にまとめられていてもよい。また、脳型計算機５１０の機能の一部は、別の機能として設けられてもよいし、他の機能に含められていてもよい。また、脳型計算機５１０の機能の一部は、脳型計算機５１０と通信可能な他のコンピュータにより実現されてもよい。

【0033】

脳型計算機５１０は、ＤＮＮの定義情報、画像認識システムの要件に基づいて決定される認識精度、認識精度に基づいて決定される最後の畳み込み層のニューロンの活性率、分岐した入力（第２入力）を合成する畳み込み層に関する情報等を受け付け、以下で説明する処理を開始する。

【0034】

処理装置５１１は、ＳＮＮの生成処理を開始すると、まず、ＤＮＮを設定する（ステップＳ４０１）。

【0035】

ここでは、連結する畳み込み層の数、連結する全結合層の数が設定される。また、図２および図３で説明したように、最終の畳み込み層から全結合層への出力、指定された畳み込み層の出力と第２入力との合成が設定される。これらの設定は、認識対象の画像の種類などの画像群の特徴に基づいて決定される。

【0036】

次に、処理装置５１１は、学習用パラメータを設定する（ステップＳ４０２）。

【0037】

例えば、バッチサイズ、エポック数、ならびに、畳み込み層を構成するニューロンへの入力に掛け合わされる重みの行列であるフィルタのサイズおよびフィルタの数が、学習用パラメータとして設定される。また、ニューロンの活性化率に関わるパラメータも学習用パラメータとして設定される。

【0038】

次に、処理装置５１１は、設定した学習用パラメータのもとで、学習用の教師画像を用いてＤＮＮを学習する（ステップＳ４０３）。本発明はＤＮＮの学習方法に限定されない。

【0039】

処理装置５１１は、学習が完了したか否かを判定する（ステップＳ４０４）。

【0040】

具体的には、処理装置５１１は、ＤＮＮの認識精度が第１閾値以上であるか否かを判定する。ＤＮＮの認識精度が第１閾値以上である場合、処理装置５１１は、学習が完了したと判定する。

【0041】

学習が完了していない場合、処理装置５１１は、最終の畳み込み層のニューロンの活性化率が第２閾値以上であるか否かを判定する（ステップＳ４０５）。

【0042】

活性化率が第２閾値より低い場合、処理装置５１１は、ステップＳ４０２に戻り、学習パラメータを変更して、同様の処理を実行する。活性化率が第２閾値以上である場合、処理装置５１１は、ステップＳ４０１に戻り、ＤＮＮの構成を変更して、同様の処理を実行する。ＤＮＮの設定及び学習パラメータの設定は、ユーザが再度行ってもよいし、脳型計算機５１０が最初に設定された情報に基づいて自動で行ってもよい。

【0043】

ステップＳ４０４において、学習が完了したと判定された場合、処理装置５１１は、ソフトウェアツールを用いて学習済みのＤＮＮをＳＮＮに変換し（ステップＳ４０６）、その後、処理を終了する。

【0044】

推論を行う場合、処理装置５１１は、ソフトウェアツールを用いて、ＳＮＮを脳型デバイス５１４に実装し、脳型デバイス５１４を用いて推論を行う。

【0045】

以上の手順によれば、システム要件から定められた認識精度を満たすＳＮＮを生成することが可能となる。

【0046】

図６は、実施例１のＳＮＮを実装した脳型計算機５１０の活用の一例を示す図である。

【0047】

図６には、脳型計算機５１０及び複数のカメラ５２０から構成される画像認識装置５００を示している。脳型計算機５１０は、チップセット５１５を介してカメラ５２０と接続する。カメラ５２０は、設置された場所の映像を取得し、所定のフォーマットの映像データを脳型計算機５１０に送信する。

【0048】

処理装置５１１は、主記憶装置５１２に格納されたソフトウェアを実行して、カメラ５２０から入力される映像データの中から所定のフレーム画像を抽出し、フレーム画像を脳型デバイス５１４に入力することによって推論処理を実行させ、その処理結果に基づいて画像に映る人物等の認識を行う。脳型デバイス５１４は、ＳＮＮを用いてフレーム画像を処理する。

【0049】

カメラ５２０から送信された映像データ、映像データから抽出されるフレーム画像、および脳型デバイス５１４による処理結果等は、主記憶装置５１２及び補助記憶装置５１３の少なくともいずれかに格納される。

【0050】

図７は、実施例１のＳＮＮを実装した脳型計算機５１０が実行する画像認識処理の一例を説明するフローチャートである。

【0051】

処理装置５１１は、カメラ５２０から映像を取得し、主記憶装置５１２に格納する（ステップＳ７０１）。

【0052】

処理装置５１１は、映像からフレーム画像を抽出し、フレーム画像ごとに、推論部位を抽出する（ステップＳ７０２）。例えば、人物等の認識対象を含む部位が抽出される。

【0053】

処理装置５１１は、抽出した推論部位を、脳型デバイス５１４に入力するために所定の画像サイズに変換することによって、推論用画像を生成し、主記憶装置５１２に格納する（ステップＳ７０３）。なお、推論用画像は確認のために補助記憶装置５１３に格納されてもよい。

【0054】

処理装置５１１は、主記憶装置５１２から推論用画像を読み出し、脳型デバイス５１４に入力することによって推論処理を実行させる（ステップＳ７０４）。脳型デバイス５１４は、図２に示す処理によって生成されたＳＮＮを用いて推論用画像に対する推論処理を実行する。脳型デバイス５１４は、推論処理の結果を主記憶装置５１２に格納する。

【0055】

処理装置５１１は、主記憶装置５１２から推論処理の結果を読み出し、脳型計算機５１０に接続されているモニタ（図示省略）に表示する（ステップＳ７０５）。

【0056】

処理装置５１１は、画像認識を終了するか否かを判定する（ステップＳ７０６）。例えば、管理者から画像認識処理の終了指示を受け付けたか否かを判定する。

【0057】

画像認識を継続する場合、処理装置５１１は、ステップＳ７０１に戻り、同様の処理を実行する。画像認識処理を終了する場合、処理装置５１１は画像認識処理を終了する。

【0058】

このように、ＳＮＮの処理は消費電力の低い脳型デバイスを用いることができるため、低消費電力の画像認識装置を実現できる。

【0059】

図８は、実施例１の監視カメラシステムの一例を示す図である。

【0060】

監視カメラシステム８００は、複数のカメラ５２０、カメラ５２０を管理する管理装置８１０、およびネットワーク８２０から構成されている。ネットワーク８２０は、１つ以上のネットワークスイッチ８３０から構成される。管理装置８１０は、ネットワーク８２０を介して、複数のカメラ５２０と接続する。管理装置８１０は、例えば、汎用コンピュータである。

【0061】

カメラ５２０全体を制御する処理装置には、ＳＮＮが実装された脳型デバイス５１４が接続される（図示省略）。なお、カメラ５２０に供給する電力に余裕がある場合、小型化された脳型計算機５１０がカメラ５２０に接続される形態でもよい。

【0062】

図８に示す監視カメラシステム８００では、管理装置８１０にＧＰＵを搭載して画像認識処理を実行する必要がなくなる。そのため、システムの消費電力を削減できる。

【0063】

図９は、実施例１の監視カメラシステムの別例を示す図である。

【0064】

図８に示す監視カメラシステム８００では、カメラ５２０またはカメラ５２０に接続する脳型計算機５１０に搭載可能な脳型デバイス５１４の数は、供給電力に依存し、１乃至２個に制限される。そのため、求められる認識精度を実現するＳＮＮを実装できない場合がある。これに対して、図９に示すようなシステム構成を採用することができる。

【0065】

監視カメラシステム９００では、脳型計算機５１０が、ネットワーク８２０を介して複数のカメラ５２０と接続する。

【0066】

脳型計算機５１０に搭載できる脳型デバイス５１４の数には制限がないため、求められる認識精度を実現する、必要最小限の規模のＳＮＮを実装することができる。

【0067】

図９に示す監視カメラシステム９００が実行する画像認識処理は、ＧＰＵ等を用いた画像認識処理より消費電力の低いため、システムの消費電力を削減できる。

【0068】

以上のように、実施例１によれば、認識精度が高いＳＮＮを生成することができる。また、所定の認識精度を満たすように所定の数の脳型デバイス５１４を用いてＳＮＮを実装できる。これによって、推論を行うシステムの消費電力を抑えることができるため、供給できる電力に制限がある環境に適用することができる。

【0069】

本発明は、例えば、駅、空港、通り等の公共の場における特定の人物の認識、作業現場における作業者の特定の行動の認識のような、人物等の画像認識を行うシステムに広く適用することができる。

【0070】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

【0071】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、およびそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0072】

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラムまたはスクリプト言語で実装できる。

【0073】

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段またはＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

【0074】

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

【符号の説明】

【0075】

１、２、３ スパイキングニューラルネットワーク
５１０ 脳型計算機
５１１ 処理装置
５１２ 主記憶装置
５１３ 補助記憶装置
５１４ 脳型デバイス
５１５ チップセット
５２０ カメラ
８００、９００ 監視カメラシステム
８１０ 管理装置
８２０ ネットワーク
８３０ ネットワークスイッチ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】