ホーム > 特許ランキング > メイビスデザイン株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-08-01
(45)【発行日】2023-08-09
(54)【発明の名称】相互接続制御回路
(51)【国際特許分類】
G06N 3/063 20230101AFI20230802BHJP
G06F 17/16 20060101ALI20230802BHJP
【ＦＩ】
G06N3/063
G06F17/16 B
【請求項の数】
5
(21)【出願番号】P 2023074432
(22)【出願日】2023-04-28
【審査請求日】2023-04-28
【早期審査対象出願】
(73)【特許権者】
【識別番号】514149141
【氏名又は名称】メイビスデザイン株式会社
(74)【代理人】
【識別番号】100141106
【弁理士】
【氏名又は名称】池田 清志
(72)【発明者】
【氏名】早稲田 龍司
(72)【発明者】
【氏名】外浦 晴季
【審査官】加藤 優一
(56)【参考文献】
【文献】特開２０００－３２２４００（ＪＰ，Ａ）
【文献】湯川 高志，バス結合型並列プロセッサに適したバックプロパゲーションの並列計算法，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，1991年09月25日，第J74-D-II巻, 第9号，第1318頁-第1320頁，ISSN:0915-1923
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００ －９９／００
Ｇ０６Ｆ １２／００ －１２／０６
Ｇ０６Ｆ １３／１６ －１３／１８
Ｇ０６Ｆ １８／００ －１８／４０
Ｇ０６Ｆ １７／００ －１７／１８
(57)【特許請求の範囲】
【請求項1】
後段層のニューロンから前段層のニューロンへ誤差情報を転送する相互接続制御回路であって、前記前段層のニューロン数分のメモリを有し、前記後段層のニューロンから入力される誤差情報を前記前段層のニューロン数分のメモリの読み込みアドレスを示す第１アドレスに対応させて記憶する第１保持回路と、
前記後段層のニューロン数分のメモリを有し、前記前段層のニューロンへ出力する誤差情報を前記後段層のニューロン数分のメモリの書き込みアドレスを示す第２アドレスに対応させて記憶する第２保持回路と、
所定の制御周期ごとに、前記第１アドレスをシフトすることにより前記第１保持回路のメモリそれぞれから前記誤差情報を読み込むと共に、前記第２アドレスをシフトすることにより、前記読み込んだ前記誤差情報を配置転換して前記第２保持回路のメモリそれぞれへ書き込む転送回路と、
を備えたことを特徴とする相互接続制御回路。
【請求項2】
前記第１保持回路のメモリは、それぞれ前記後段層のニューロン数分のデータを記憶可能に領域分割されており、前記第２保持回路のメモリは、それぞれ前記前段層のニューロン数分のデータを記憶可能に領域分割されており、
前記転送回路は、前記読み込んだ前記誤差情報を、前記第１保持回路の各メモリの同一位置の領域に記憶されたデータが、前記第２保持回路が有する同一のメモリに記憶するように配置転換する
ことを特徴とする請求項１記載の相互接続制御回路。
【請求項3】
前記転送回路による書き込みにより、前記第２保持回路の各メモリの同一位置の領域に記憶されたデータが揃ったときに、前記前段層により前記書き込まれた同一位置の領域に記憶されたデータが読み出されることを特徴とする請求項２記載の相互接続制御回路。
【請求項4】
前記転送回路による書き込みにより、前記第２保持回路の各メモリの同一位置の領域に記憶されたデータが揃い、かつ予め設定された閾値時間が経過したときに、前記前段層により前記書き込まれた同一位置の領域に記憶されたデータが読み出されることを特徴とする請求項２記載の相互接続制御回路。
【請求項5】
前記前段層と前記後段層との接続状態を接続情報として記憶する接続情報記憶部を、さらに備え、前記転送回路は、
所定の制御周期ごとに、前記接続情報に基づいて前記第１アドレスをシフトすることにより前記第１保持回路のメモリそれぞれから前記誤差情報を読み込むと共に、前記接続情報に基づいて前記第２アドレスをシフトすることにより、前記読み込んだ前記誤差情報を配置転換して前記第２保持回路のメモリそれぞれへ書き込む
ことを特徴とする請求項１記載の相互接続制御回路。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、パラメータをメモリに格納してニューラルネットワークを構築する相互接続制御回路に関する。
【背景技術】
【0002】
一般的に、機械学習は、経験からの学習により自動で改善するコンピューターアルゴリズムで、人工知能（ＡＩ）の一種であるとみなされている。「学習データ」と呼ばれるデータを使って学習することで、プログラムで指定することが難しいパラメータを自動的に学習し、学習結果を使って目的とするタスクを行うことができる。
【0003】
機械学習に必要な学習データは膨大であり、収集に大きな労力が必要となる。そこでクラウド型ＡＩを用いた学習が主流となっている。クラウド型ＡＩは、エッジ端末で収集したデータを一旦クラウドに送信し、クラウド内でＡＩ処理を行い、再度エッジ端末にデータを配信する。
【0004】
エッジＡＩを実現する手法として、ニューラルネットワークによる機械学習アルゴリズムが用いられる。ニューラルネットワークは、神経ネットワーク構造と機能を模倣するという観点で生まれたアルゴリズムであり、数理モデル化した神経細胞（ニューロン）をネットワーク構造に結合したものである。
【0005】
一般的な相互接続ニューラルネットワークをハードウェアで実現する際、１つのニューロンにつきパラメータが複数あり、ニューロン数が増えてくると回路規模に占めるパラメータ格納領域が膨大化するという課題があった。
【0006】
そのため、ニューラルネットワークをハードウェアで実装するとき、大規模なニューラルネットワークを構築するには規模が大きく不向きで合った。
【0007】
そこで、パラメータをメモリに格納してニューラルネットワークを構築することが考えられる。この場合、メモリから後段層のニューロンの誤差情報を読み出す必要があるので、後段層のニューロン数だけ誤差情報を読み出す必要があり、後段のニューロンが５つある場合は５サイクル必要になる。
【0008】
特許文献１には、ニューロンの誤差情報を読み出すサイクルを高速化する技術としてＳＷＡＰ回路を用いてデータの並び替えを行うことで、読み出し処理の高速化を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0009】
【文献】特表２０１８－５３４６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献１に記載の技術では、例えば、特許文献１のＦｉｇ１０Ｃに示されているように、置換回路１００１は、レジスタ１００２、１００４、１００６及び１００８を備えており、レジスタ１００２は、キャッシュラインのバイトｂ０、ｂ４、ｂ８及びｂ１２を受信するように連結された入力線を備え、レジスタ１００４は、キャッシュラインのバイトｂ１、ｂ５、ｂ９及びｂ１３を受信するように連結された入力線を備え、レジスタ１００６は、キャッシュラインのバイトｂ２、ｂ６、ｂ１０及びｂ１４を受信するように連結された入力線を備え、レジスタ１００８は、キャッシュラインのバイトｂ３、ｂ７、ｂ１１及びｂ１５を受信するように連結された入力線を備える。
【0011】
特許文献１に記載の技術では、４ｘ４の行列を転置しているが、このとき、書き込みに４サイクル、読み出しに４サイクルの計８サイクル必要になる。
【0012】
このように、行列のサイズに応じて、レジスタ・ＲＡＭの数を増やす必要があり、それに付随する信号線も増えていくため、回路規模が行列のサイズに比例して大きくなるので、製造コストが増大するという問題があった。また、レジスタ・ＲＡＭへ配置を変えたいデータを全て書き込んだのち、読み出すという流れであるため、必要サイクル数が多いので、行列の大きさに比例して、処理時間が長くなるという問題があった。また、行列のサイズに応じて、レジスタ・ＲＡＭの数を増やす必要があり、回路構成を変更する必要があるため、汎用性に欠けるという問題があった。
【0013】
本発明は、上記問題点に鑑みてなされたものであり、小規模かつ汎用性のある装置構成であって処理の高速化を可能にする相互接続制御回路を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記目的を解決するため、本発明に係る相互接続制御回路の第１の特徴は、
後段層のニューロンから前段層のニューロンへ誤差情報を転送する相互接続制御回路であって、
前記前段層のニューロン数分のメモリを有し、前記後段層のニューロンから入力される誤差情報を前記前段層のニューロン数分のメモリの読み込みアドレスを示す第１アドレスに対応させて記憶する第１保持回路と、
前記後段層のニューロン数分のメモリを有し、前記前段層のニューロンへ出力する誤差情報を前記後段層のニューロン数分のメモリの書き込みアドレスを示す第２アドレスに対応させて記憶する第２保持回路と、
所定の制御周期ごとに、前記第１アドレスをシフトすることにより前記第１保持回路のメモリそれぞれから前記誤差情報を読み込むと共に、前記第２アドレスをシフトすることにより、前記読み込んだ前記誤差情報を配置転換して前記第２保持回路のメモリそれぞれへ書き込む転送回路と、を備えたことにある。
後段層のニューロンから前段層のニューロンへ誤差情報を転送する相互接続制御回路であって、
前記前段層のニューロン数分のメモリを有し、前記後段層のニューロンから入力される誤差情報を前記前段層のニューロン数分のメモリの読み込みアドレスを示す第１アドレスに対応させて記憶する第１保持回路と、
前記後段層のニューロン数分のメモリを有し、前記前段層のニューロンへ出力する誤差情報を前記後段層のニューロン数分のメモリの書き込みアドレスを示す第２アドレスに対応させて記憶する第２保持回路と、
所定の制御周期ごとに、前記第１アドレスをシフトすることにより前記第１保持回路のメモリそれぞれから前記誤差情報を読み込むと共に、前記第２アドレスをシフトすることにより、前記読み込んだ前記誤差情報を配置転換して前記第２保持回路のメモリそれぞれへ書き込む転送回路と、を備えたことにある。
【0015】
本発明に係る相互接続制御回路の第２の特徴は、
前記第１保持回路のメモリは、それぞれ前記後段層のニューロン数分のデータを記憶可能に領域分割されており、
前記第２保持回路のメモリは、それぞれ前記前段層のニューロン数分のデータを記憶可能に領域分割されており、
前記転送回路は、前記読み込んだ前記誤差情報を、前記第１保持回路の各メモリの同一位置の領域に記憶されたデータが、前記第２保持回路が有する同一のメモリに記憶するように配置転換することを特徴とすることにある。
前記第１保持回路のメモリは、それぞれ前記後段層のニューロン数分のデータを記憶可能に領域分割されており、
前記第２保持回路のメモリは、それぞれ前記前段層のニューロン数分のデータを記憶可能に領域分割されており、
前記転送回路は、前記読み込んだ前記誤差情報を、前記第１保持回路の各メモリの同一位置の領域に記憶されたデータが、前記第２保持回路が有する同一のメモリに記憶するように配置転換することを特徴とすることにある。
【0016】
本発明に係る相互接続制御回路の第３の特徴は、
前記転送回路による書き込みにより、前記第２保持回路の各メモリの同一位置の領域に記憶されたデータが揃ったときに、前記前段層により前記書き込まれた同一位置の領域に記憶されたデータが読み出されることにある。
前記転送回路による書き込みにより、前記第２保持回路の各メモリの同一位置の領域に記憶されたデータが揃ったときに、前記前段層により前記書き込まれた同一位置の領域に記憶されたデータが読み出されることにある。
【0017】
本発明に係る相互接続制御回路の第４の特徴は、
前記転送回路による書き込みにより、前記第２保持回路の各メモリの同一位置の領域に記憶されたデータが揃い、かつ予め設定された閾値時間が経過したときに、前記前段層により前記書き込まれた同一位置の領域に記憶されたデータが読み出されることにある。
前記転送回路による書き込みにより、前記第２保持回路の各メモリの同一位置の領域に記憶されたデータが揃い、かつ予め設定された閾値時間が経過したときに、前記前段層により前記書き込まれた同一位置の領域に記憶されたデータが読み出されることにある。
【0018】
本発明に係る相互接続制御回路の第５の特徴は、
前記前段層と前記後段層との接続状態を接続情報として記憶する接続情報記憶部を、さらに備え、
前記転送回路は、
所定の制御周期ごとに、前記接続情報に基づいて前記第１アドレスをシフトすることにより前記第１保持回路のメモリそれぞれから前記誤差情報を読み込むと共に、前記接続情報に基づいて前記第２アドレスをシフトすることにより、前記読み込んだ前記誤差情報を配置転換して前記第２保持回路のメモリそれぞれへ書き込むことにある。
前記前段層と前記後段層との接続状態を接続情報として記憶する接続情報記憶部を、さらに備え、
前記転送回路は、
所定の制御周期ごとに、前記接続情報に基づいて前記第１アドレスをシフトすることにより前記第１保持回路のメモリそれぞれから前記誤差情報を読み込むと共に、前記接続情報に基づいて前記第２アドレスをシフトすることにより、前記読み込んだ前記誤差情報を配置転換して前記第２保持回路のメモリそれぞれへ書き込むことにある。
【発明の効果】
【0019】
本発明に係る相互接続制御回路によれば、小規模かつ汎用性のある装置構成であって処理の高速化を実現することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施例１に係る相互接続制御回路の構成図である。
【図2】本発明の実施例１に係る相互接続制御回路における誤差情報の配置転換を模式的に説明した説明図である。
【図3】本発明の実施例１に係る相互接続制御回路の誤差情報の配置転換におけるデータの流れを模式的に説明した説明図である。
【図4】本発明の実施例１に係る相互接続制御回路の第１保持回路の動作を示したタイミングチャートである。
【図5】本発明の実施例１に係る相互接続制御回路の第２保持回路の動作を示したタイミングチャートである。
【図6】本発明の実施例１に係る相互接続制御回路の構成図である。
【図7】（ａ）は、比較のため、図５と同様の本発明の実施例１に係る相互接続制御回路の第２保持回路の動作を示したタイミングチャートであり、（ｂ）は、本発明の実施例２に係る相互接続制御回路の第２保持回路の動作を示したタイミングチャートである。
【図8】本発明の実施例３に係る相互接続制御回路の構成図である。
【図9】（ａ）は、本発明の実施例１に係る相互接続制御回路の誤差情報の配置転換におけるデータの流れを模式的に説明した説明図であり、（ｂ）は、本発明の実施例３に係る相互接続制御回路の誤差情報の配置転換におけるデータの流れを模式的に説明した説明図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施の形態について、図面を参照して説明する。各図面を通じて同一若しくは同等の部位や構成要素には、同一若しくは同等の符号を付している。ただし、図面は模式的なものであり、現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。
【0022】
また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置等を例示するものであって、この発明の技術的思想は、各構成部品の配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【0023】
＜実施例１＞
図１は、本発明の実施例１に係る相互接続制御回路の構成図である。
図１に示すように、本発明の実施例１に係る相互接続制御回路１は、パラメータをメモリに格納してニューラルネットワークを構築するスパイキングニューラルネットワークを用いたアーキテクチャである。相互接続制御回路１は、制御部３と、出力層４と、ＳＷＡＰ回路５と、中間層６と、入力層７とを備えており、制御部３と、出力層４と、中間層６と、入力層７とは、バスインターフェイス２を介してバスに接続されている。
図１は、本発明の実施例１に係る相互接続制御回路の構成図である。
図１に示すように、本発明の実施例１に係る相互接続制御回路１は、パラメータをメモリに格納してニューラルネットワークを構築するスパイキングニューラルネットワークを用いたアーキテクチャである。相互接続制御回路１は、制御部３と、出力層４と、ＳＷＡＰ回路５と、中間層６と、入力層７とを備えており、制御部３と、出力層４と、中間層６と、入力層７とは、バスインターフェイス２を介してバスに接続されている。
【0024】
情報が入力される入力層７と、情報が発信される出力層４と、その中間にある中間層６とは、人間の脳内にある神経細胞を数理モデルで表現した複数のニューロンを有しており、隣接する層のニューロンとそれぞれ接続されている。
【0025】
相互接続制御回路１は、各ニューロンのパラメータをメモリに保存することで１つのニューロン回路を再利用する。これを実現するためには、後段層のニューロンの誤差情報を読み出し、前段層へ書き込む必要がある。そして、学習において出力層４から中間層６へ誤差情報を逆伝搬する際、中間層６のパイプライン処理時に必要なデータを同時に読み出せるようデータの並び替えが必要になる。
【0026】
そこで、相互接続制御回路１は、適切に後段層のニューロンの誤差情報を読み出し、データの並び替えを行い適切に前段層へ書き込むため、ＳＷＡＰ回路５を有している。ここでは、前段層を中間層６とし、後段層を出力層４として説明するが、これに限らず、前段層および後段層を中間層６としても適用可能であるし、前段層を入力層７とし後段層を中間層６としても適用可能である。
【0027】
ＳＷＡＰ回路５は、第１保持回路５１と、第１シフトレジスタ５２と、第１カウンタ５３と、第２保持回路５４と、第２シフトレジスタ５５と、第２カウンタ５６とを備えている。このうち、第１シフトレジスタ５２と、第１カウンタ５３と、第２シフトレジスタ５５と、第２カウンタ５６とを転送回路５０という。
【0028】
第１保持回路５１は、前段層である中間層６のニューロン数分のメモリを有し、後段層である出力層４のニューロンから入力される誤差情報を中間層６のニューロン数分のメモリの読み込みアドレスを示す第１アドレスに対応させて記憶する。
【0029】
第１シフトレジスタ５２は、第１カウンタ５３によりカウントされた第１アドレスをシフトすることにより、第１保持回路５１のメモリから誤差情報のデータを読み出させる。
【0030】
第１カウンタ５３は、第１保持回路５１への読み出しアドレスである第１アドレスをカウントする。
【0031】
第２保持回路５４は、後段層である出力層４のニューロン数分のメモリを有し、前段層である中間層６のニューロンへ出力する誤差情報のデータを出力層４のニューロン数分のメモリの書き込みアドレスを示す第２アドレスに対応させて記憶する。
【0032】
第２シフトレジスタ５５は、第２カウンタ５６によりカウントされた第２アドレスをシフトすることにより、第２保持回路５４のメモリへ誤差情報を書き込むことができる。
【0033】
第２カウンタ５６は、第２保持回路５４への書き込みアドレスである第２アドレスをカウントする。
【0034】
転送回路５０は、第１シフトレジスタ５２と、第１カウンタ５３と、第２シフトレジスタ５５と、第２カウンタ５６とを有することにより、所定の制御周期ごとに、第１アドレスをシフトすることにより第１保持回路５１のメモリそれぞれから誤差情報を読み込むと共に、第２アドレスをシフトすることにより、読み込んだ誤差情報を配置転換して第２保持回路５４のメモリそれぞれへ書き込むことができる。
【0035】
図２は、本発明の実施例１に係る相互接続制御回路１における誤差情報の配置転換を模式的に説明した説明図である。図２では、前段層を中間層６とし、後段層を出力層４として、出力層４からの誤差情報を中間層６へ転送する例を例に挙げて説明する。ここで、中間層６が８つのニューロンを有しており、出力層４が５つのニューロンを有しているとする。
【0036】
中間層６が８つのニューロンを有しているので、図２に示すように、第１保持回路５１は、中間層６のニューロン数である８つのメモリ５１１～５１８を有している。メモリ５１１～５１８は、ＲＡＭ（Random Access Memory）であり、読み書き（アクセス）可能な記憶領域を有している。メモリ５１１は、それぞれ出力層４のニューロン数分（ここでは５）のデータを記憶可能なように領域５１１ａ～５１１ｅの５つに領域分割されている。メモリ５１２～５１８も、メモリ５１１と同様に、それぞれ出力層４のニューロン数分（ここでは５）のデータを記憶可能なように５つに領域分割されている。
【0037】
そして、第１保持回路５１は、出力層４のニューロンから入力される誤差情報を中間層６のニューロン数分（ここでは８）のメモリの読み込みアドレスを示す第１アドレスに対応させて記憶する。
【0038】
また、出力層４が５つのニューロンを有しているので、図２に示すように、第２保持回路５４は、出力層４のニューロン数である５つのメモリ５４１～５４５を有している。メモリ５４１～５４５は、ＲＡＭ（Random Access Memory）であり、読み書き（アクセス）可能な記憶領域を有している。メモリ５４１は、それぞれ中間層６のニューロン数分（ここでは８）のデータを記憶可能なように領域５４１ａ～５４１ｈの８つに領域分割されている。メモリ５４２～５１５も、メモリ５４１と同様に、それぞれ中間層６のニューロン数分（ここでは８）のデータを記憶可能なように８つに領域分割されている。
【0039】
そして、第２保持回路５４は、中間層６のニューロンへ出力する誤差情報を出力層４のニューロン数分のメモリの書き込みアドレスを示す第２アドレスに対応させて記憶する。
【0040】
図３は、本発明の実施例１に係る相互接続制御回路１の誤差情報の配置転換におけるデータの流れを模式的に説明した説明図である。図３における左から順に、制御周期であるｔ０時点～ｔ７時点におけるデータの書き込みおよび読み出しを説明している。図３における上段に第１保持回路５１の状態を示しており、下段に第２保持回路５４の状態を示しており、上下段で同一の時点を示している。
【0041】
ｔ０時点において、第１保持回路５１は、出力層４からの８データ分の誤差情報を、領域５１１ａ～５１８ａに記憶する。
【0042】
ｔ１時点において、第１保持回路５１は、出力層４からの８データ分の誤差情報を、領域５１１ｂ～５１８ｂ（図３では、５１２ｂ～５１７ｂの符号の図示を省略するが、領域５１２ｂ～５１７ｂは、領域５１１ｂと領域５１８ｂとの間に設けられている）に記憶する。また、転送回路５０は、第１保持回路５１の領域５１１ａに記憶されたデータを第１アドレスに基づいて読み込む。そして、転送回路５０は、読み込んだデータを第２アドレスに対応させて第２保持回路５４の領域５４１ａに記憶させる。
【0043】
ｔ２時点において、第１保持回路５１は、出力層４からの８データ分の誤差情報を、領域５１１ｃ～５１８ｃ（図３では、５１２ｃ～５１７ｃの符号の図示を省略するが、領域５１２ｃ～５１７ｃは、領域５１１ｃと領域５１８ｃとの間に設けられている）に記憶する。また、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１２ａに記憶されたデータと領域５１１ｂに記憶されたデータを第１アドレスに基づいて読み込む。そして、転送回路５０は、第２アドレスをシフトさせることで第１保持回路５１の領域５１２ａに記憶されたデータを第２保持回路５４の領域５４１ｂに記憶させると共に、第１保持回路５１の領域５１１ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ａに記憶させる。
【0044】
ｔ３時点において、第１保持回路５１は、出力層４からの８データ分の誤差情報を、領域５１１ｄ～５１８ｄ（図３では、５１２ｄ～５１７ｄの符号の図示を省略するが、領域５１２ｄ～５１７ｄは、領域５１１ｄと領域５１８ｄとの間に設けられている）に記憶する。また、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１３ａに記憶されたデータと、第１保持回路５１の領域５１２ｂに記憶されたデータと、第１保持回路５１の領域５１１ｃに記憶されたデータとを第１アドレスに基づいて読み込む。そして、転送回路５０は、第１保持回路５１の領域５１３ａに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４１ｃに記憶させ、第１保持回路５１の領域５１２ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ｂに記憶させ、第１保持回路５１の領域５１１ｃに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４３ａに記憶させる。
【0045】
ｔ４時点において、第１保持回路５１は、出力層４からの８データ分の誤差情報を、領域５１１ｅ～５１８ｅ（図３では、５１２ｅ～５１７ｅの符号の図示を省略するが、領域５１２ｅ～５１７ｅは、領域５１１ｅと領域５１８ｅとの間に設けられている）に記憶する。また、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１４ａに記憶されたデータと、第１保持回路５１の領域５１３ｂに記憶されたデータと、第１保持回路５１の領域５１２ｃに記憶されたデータと、第１保持回路５１の領域５１１ｄに記憶されたデータとを第１アドレスに基づいて読み込む。そして、転送回路５０は、第１保持回路５１の領域５１４ａに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４１ｄに記憶させ、第１保持回路５１の領域５１３ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ｃに記憶させ、第１保持回路５１の領域５１２ｃに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４３ｂに記憶させ、第１保持回路５１の領域５１１ｄに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４４ａに記憶させる。
【0046】
ｔ５時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１５ａに記憶されたデータと、第１保持回路５１の領域５１４ｂに記憶されたデータと、第１保持回路５１の領域５１３ｃに記憶されたデータと、第１保持回路５１の領域５１２ｄに記憶されたデータと、第１保持回路５１の領域５１１ｅに記憶されたデータとを第１アドレスに基づいて読み込む。そして、転送回路５０は、第１保持回路５１の領域５１５ａに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４１ｅに記憶させ、第１保持回路５１の領域５１４ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ｄに記憶させ、第１保持回路５１の領域５１３ｃに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４３ｃに記憶させ、第１保持回路５１の領域５１２ｄに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４４ｂに記憶させ、第１保持回路５１の領域５１１ｅに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４５ａに記憶させる。
【0047】
ｔ６時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１６ａに記憶されたデータと、第１保持回路５１の領域５１５ｂに記憶されたデータと、第１保持回路５１の領域５１４ｃに記憶されたデータと、第１保持回路５１の領域５１３ｄに記憶されたデータと、第１保持回路５１の領域５１２ｅに記憶されたデータとを第１アドレスに基づいて読み込む。そして、転送回路５０は、第１保持回路５１の領域５１６ａに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ｅに記憶させ、第１保持回路５１の領域５１５ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４３ｄに記憶させ、第１保持回路５１の領域５１４ｃに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４４ｃに記憶させ、第１保持回路５１の領域５１３ｄに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４５ｂに記憶させ、第１保持回路５１の領域５１２ｅに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４６ａに記憶させる。
【0048】
また、ｔ６時点において、第２保持回路５４の領域５４１ａ～５４５ａは同一番地（同一位置）の記憶領域であり、この領域５４１ａ～５４５ａのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ａ～５４５ａのデータが読み出され、前段の中間層６へ送られる。
【0049】
その後、ｔ７時点以降も同様に、所定の制御周期ごとに、第１アドレスをシフトすることにより第１保持回路５１のメモリそれぞれから誤差情報を読み込むと共に、第２アドレスをシフトすることにより、読み込んだ誤差情報を配置転換して第２保持回路５４のメモリそれぞれへ書き込む。
【0050】
図４は、本発明の実施例１に係る相互接続制御回路１の第１保持回路５１の動作を示したタイミングチャートである。
【0051】
図４に示すように、ｔｐ時点において、出力層４から第１保持回路５１への誤差情報の転送の開始フラグである「w_start」がオンとなっている。
【0052】
その後、ｔ０時点において、「we_WRAM」に示すように、第１保持回路５１は、出力層４からの８データ分の誤差情報の記憶を開始する。
【0053】
ｔ１時点において、「dpra＼WRAM[7:0](リードadress)」に示すように、転送回路５０は、第１保持回路５１の領域５１１ａに記憶されたデータを第１アドレスに基づいて読み込む。その後、順次、第１アドレスに基づいて読み込まれる。
【0054】
図５は、本発明の実施例１に係る相互接続制御回路１の第２保持回路５４の動作を示したタイミングチャートである。
【0055】
図５に示すように、ｔ１時点において、「we＼RRAM[0]&we_RRAM_word_sol」に示すように、転送回路５０は、読み込んだデータを第２アドレスに対応させて第２保持回路５４への記憶を開始している。
【0056】
ｔ５時点において、「r_start(L2LERN_start＼3p)」に示すように、読み出しフラグが立ち、ｔ６時点において、「we＼RRAM[0]&we_RRAM_word_sol」～「we＼RRAM[4]&we_RRAM_word_sol」のデータが揃うので、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定され、「r_RRAM」に示すように、データの読み出しが開始され、前段の中間層６へ送られる。
【0057】
このように、本発明の実施例１に係る相互接続制御回路１は、前段層のニューロン数分のメモリを有し、後段層のニューロンから入力される誤差情報を前段層のニューロン数分のメモリの読み込みアドレスを示す第１アドレスに対応させて記憶する第１保持回路５１と、後段層のニューロン数分のメモリを有し、前段層のニューロンへ出力する誤差情報を後段層のニューロン数分のメモリの書き込みアドレスを示す第２アドレスに対応させて記憶する第２保持回路５４と、所定の制御周期ごとに、第１アドレスをシフトすることにより第１保持回路のメモリそれぞれから誤差情報を読み込むと共に、第２アドレスをシフトすることにより、読み込んだ誤差情報を配置転換して第２保持回路のメモリそれぞれへ書き込む転送回路５０とを有する。
【0058】
これにより、従来技術のような１つのメモリ（ＲＡＭ）で行う誤差情報などのデータを転送する装置と異なり、第１保持回路５１のメモリから第２保持回路５４のメモリへ同時に読み出しと同時書き込みをおこなうため、データの読み出しおよび書き込みに要する時間を削減することで、処理時間の劣化を抑制することができる。
また、前段層のニューロン数と後段層のニューロン数とで定まるデータ転送する行列のサイズを変更してもメモリの構成を変更するだけで、他の回路を変更する必要がないため、回路構成はそのままに多様な行列の転置（データ転送）に用いることができるので、ハードウェア構成の依存度が低く、汎用性が高いという効果がある。
さらに、前段層のニューロン数と後段層のニューロン数とで定まるデータ転送する行列のサイズを変更してもメモリのサイズが大きくなるだけで他の回路は変わらないため、回路規模の増大を抑えることができる。
以上により、本発明の実施例１に係る相互接続制御回路１によれば、小規模かつ汎用性のある装置構成であって処理の高速化を実現することができる。
また、前段層のニューロン数と後段層のニューロン数とで定まるデータ転送する行列のサイズを変更してもメモリの構成を変更するだけで、他の回路を変更する必要がないため、回路構成はそのままに多様な行列の転置（データ転送）に用いることができるので、ハードウェア構成の依存度が低く、汎用性が高いという効果がある。
さらに、前段層のニューロン数と後段層のニューロン数とで定まるデータ転送する行列のサイズを変更してもメモリのサイズが大きくなるだけで他の回路は変わらないため、回路規模の増大を抑えることができる。
以上により、本発明の実施例１に係る相互接続制御回路１によれば、小規模かつ汎用性のある装置構成であって処理の高速化を実現することができる。
【0059】
＜実施例２＞
本発明の実施例１に係る相互接続制御回路１では、転送回路５０による書き込みにより、第２保持回路５４のメモリの同一位置の領域に記憶されたデータが揃ったときに、前段層により書き込まれた同一位置の領域に記憶されたデータが読み出されたがこれに限らない。
本発明の実施例１に係る相互接続制御回路１では、転送回路５０による書き込みにより、第２保持回路５４のメモリの同一位置の領域に記憶されたデータが揃ったときに、前段層により書き込まれた同一位置の領域に記憶されたデータが読み出されたがこれに限らない。
【0060】
本発明の実施例２では、転送回路５０による書き込みにより、第２保持回路５４のメモリの同一位置の領域に記憶されたデータが揃い、かつ予め設定された閾値時間が経過したときに、前段層により書き込まれた同一位置の領域に記憶されたデータが読み出される相互接続制御回路１を例に挙げて説明する。
【0061】
図６は、本発明の実施例２に係る相互接続制御回路の構成図である。
図６に示すように、本発明の実施例２に係る相互接続制御回路１は、制御部３と、出力層４と、ＳＷＡＰ回路５Ａと、中間層６と、入力層７とを備えており、制御部３と、出力層４と、中間層６と、入力層７とは、バスインターフェイス２を介してバスに接続されている。実施例２では、これらの構成のうち、ＳＷＡＰ回路５Ａのみが異なるので、ＳＷＡＰ回路５Ａについて説明する。
図６に示すように、本発明の実施例２に係る相互接続制御回路１は、制御部３と、出力層４と、ＳＷＡＰ回路５Ａと、中間層６と、入力層７とを備えており、制御部３と、出力層４と、中間層６と、入力層７とは、バスインターフェイス２を介してバスに接続されている。実施例２では、これらの構成のうち、ＳＷＡＰ回路５Ａのみが異なるので、ＳＷＡＰ回路５Ａについて説明する。
【0062】
ＳＷＡＰ回路５Ａは、第１保持回路５１と、第２保持回路５４と、転送回路５０Ａと、閾値記憶部５７とを備えている。このうち、第１保持回路５１と、第２保持回路５４とは実施例１の相互接続制御回路１のＳＷＡＰ回路５が備える構成と同一であるので、説明を省略する。
【0063】
閾値記憶部５７は、閾値を記憶している。この閾値は、前段層である中間層６へデータが送られるタイミングを調整するために設けられた値である。
【0064】
そして、転送回路５０による書き込みにより、第２保持回路５４の各メモリの同一位置の領域に記憶されたデータが揃い、かつ予め設定された閾値時間が経過したときに、前段層である中間層６により書き込まれた同一位置の領域に記憶されたデータが読み出される。すなわち、閾値を設定することにより、中間層６によりデータが読み出されるタイミングを遅くするなどタイミング調整を行うことができる。
【0065】
第１保持回路５１及び第２保持回路５４は、使用する半導体のプロセスにより高速に動くもの、面積は小さいが低速でしか動作しない等の特性が異なる場合がある。とにかくチップ面積を小さくしたい場合は、読み出されるタイミングを遅くすることにより、面積の小さい低速動作のメモリ（ＲＡＭ）を使用することでコスト削減できるというメリットがある。
【0066】
図７（ａ）は、比較のため、図５と同様の本発明の実施例１に係る相互接続制御回路１の第２保持回路５４の動作を示したタイミングチャートであり、図７（ｂ）は、本発明の実施例２に係る相互接続制御回路１の第２保持回路５４の動作を示したタイミングチャートである。
【0067】
図７（ａ）では、上述したように、ｔ５時点において、「r_start(L2LERN_start＼3p)」に示すように、読み出しフラグが立ち、ｔ６時点において、「we＼RRAM[0]&we_RRAM_word_sol」～「we＼RRAM[4]&we_RRAM_word_sol」のデータが揃うので、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定され、「r_RRAM」に示すように、データの読み出しが開始され、前段の中間層６へ送られる。
【0068】
一方、図７（ｂ）では、ｔ６時点において、「we＼RRAM[0]&we_RRAM_word_sol」～「we＼RRAM[4]&we_RRAM_word_sol」のデータが揃うが、設定された閾値時間が経過していない。
【0069】
その後、ｔ１５時点において、「r_start(L2LERN_start＼3p)」に示すように、読み出しフラグが立ち、ｔ１６時点において、設定された閾値時間が経過したと判定され、「r_RRAM」に示すように、データの読み出しが開始され、前段の中間層６へ送られる。
【0070】
このように、実施例２では、転送回路５０による書き込みにより、第２保持回路５４の各メモリの同一位置の領域に記憶されたデータが揃い、かつ予め設定された閾値時間が経過したときに、前段層である中間層６により書き込まれた同一位置の領域に記憶されたデータが読み出されるので、中間層６によりデータが読み出されるタイミングを遅くするなどタイミング調整を行うことができる。
【0071】
＜実施例３＞
本発明の実施例１に係る相互接続制御回路１では、入力層７と、出力層４と、中間層６とを有し、隣接する層のニューロンとそれぞれ接続された例を挙げて説明したが、これに限らない。
本発明の実施例１に係る相互接続制御回路１では、入力層７と、出力層４と、中間層６とを有し、隣接する層のニューロンとそれぞれ接続された例を挙げて説明したが、これに限らない。
【0072】
本発明の実施例３では、入力層７と、出力層４と、中間層６とを有し、隣接する層のニューロンが一部接続されていない相互接続制御回路１を例に挙げて説明する。
【0073】
図８は、本発明の実施例３に係る相互接続制御回路の構成図である。
図８に示すように、本発明の実施例３に係る相互接続制御回路１は、制御部３と、出力層４と、ＳＷＡＰ回路５Ｂと、中間層６と、入力層７とを備えている。図示しないが、実施例１と同様に、制御部３と、出力層４と、中間層６と、入力層７とは、バスインターフェイス２を介してバスに接続されている。実施例３では、これらの構成のうち、ＳＷＡＰ回路５Ｂのみが異なるので、ＳＷＡＰ回路５Ｂについて説明する。
図８に示すように、本発明の実施例３に係る相互接続制御回路１は、制御部３と、出力層４と、ＳＷＡＰ回路５Ｂと、中間層６と、入力層７とを備えている。図示しないが、実施例１と同様に、制御部３と、出力層４と、中間層６と、入力層７とは、バスインターフェイス２を介してバスに接続されている。実施例３では、これらの構成のうち、ＳＷＡＰ回路５Ｂのみが異なるので、ＳＷＡＰ回路５Ｂについて説明する。
【0074】
ＳＷＡＰ回路５Ｂは、第１保持回路５１と、第２保持回路５４と、転送回路５０Ｂと、接続情報記憶部５８ａ，５８ｂとを備えている。このうち、第１保持回路５１と、第２保持回路５４とは実施例１の相互接続制御回路１のＳＷＡＰ回路５が備える構成と同一であるので、説明を省略する。
【0075】
接続情報記憶部５８ａ，５８ｂは、前段層である中間層６と後段層である出力層４との接続状態を接続情報として記憶する。接続情報記憶部５８ａと接続情報記憶部５８ｂとに記憶された接続情報は同一の情報である。ここでは、接続情報記憶部５８ａと接続情報記憶部５８ｂとは異なる記憶部として存在しているが、同じ記憶部としてもよい。
【0076】
出力層４には、ニューロン４１,４２の２つのニューロンを有しており、中間層６には、ニューロン６１～６５の５つのニューロンを有している。
【0077】
ニューロン４１は、中間層６の５つ全てのニューロン６１～６５と接続されている。その一方、ニューロン４２は、中間層６の５つニューロン６１～６５のうち、ニューロン６２およびニューロン６４とのみ接続されている。このように、接続情報は、前段層である中間層６と後段層である出力層４とのニューロンごとの接続状態を示している。
【0078】
転送回路５０Ｂは、所定の制御周期ごとに、接続情報記憶部５８ａに記憶された接続情報に基づいて第１アドレスをシフトすることにより第１保持回路５１のメモリそれぞれから誤差情報を読み込む。具体的には、転送回路５０Ｂは、ニューロンが接続していない、すなわちシナプスがない場合には、アドレスをスキップするように第１アドレスをシフトすることにより第１保持回路５１のメモリそれぞれから誤差情報を読み込む。
【0079】
そして、転送回路５０Ｂは、接続情報記憶部５８ｂに記憶された接続情報に基づいて第２アドレスをシフトすることにより、読み込んだ誤差情報を配置転換して第２保持回路５４のメモリそれぞれへ書き込む。具体的には、転送回路５０Ｂは、ニューロンが接続していない、すなわちシナプスがない場合には、アドレスをスキップするように第２アドレスをシフトすることにより読み込んだ誤差情報を配置転換して第２保持回路５４のメモリそれぞれへ書き込む。
【0080】
図９（ａ）は、本発明の実施例１に係る相互接続制御回路１の誤差情報の配置転換におけるデータの流れを模式的に説明した説明図であり、図９（ｂ）は、本発明の実施例３に係る相互接続制御回路１の誤差情報の配置転換におけるデータの流れを模式的に説明した説明図である。図９（ａ）,（ｂ）における左から順に、制御周期であるｔ２０時点～ｔ２７時点におけるデータの書き込みおよび読み出しを説明している。図９（ａ）,（ｂ）それぞれにおいて、上段に第１保持回路５１の状態を示しており、下段に第２保持回路５４の状態を示しており、上下段で同一の時点を示している。ここでは、前段層を中間層６とし、後段層を出力層４として、出力層４からの誤差情報を中間層６へ転送する例を例に挙げて説明する。ここで、中間層６が５つのニューロンを有しており、出力層４が２つのニューロンを有しているとする。
【0081】
図９（ａ）に示すように、ｔ２０時点において、第１保持回路５１は、出力層４のニューロン４１からの５データ分の誤差情報を、領域５１１ａ～５１５ａに記憶する。
【0082】
ｔ２１時点において、第１保持回路５１は、出力層４のニューロン４２からの２データ分の誤差情報を、領域５１２ｂ，５１４ｂに記憶する。また、転送回路５０は、第１保持回路５１の領域５１１ａに記憶されたデータを第１アドレスに基づいて読み込む。そして、転送回路５０は、読み込んだデータを第２アドレスに対応させて第２保持回路５４の領域５４１ａに記憶させる。
【0083】
ｔ２２時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１２ａに記憶されたデータと領域５１１ｂに記憶されたデータを第１アドレスに基づいて読み込む。そして、転送回路５０は、第２アドレスをシフトさせることで第１保持回路５１の領域５１２ａに記憶されたデータを第２保持回路５４の領域５４１ｂに記憶させると共に、第１保持回路５１の領域５１１ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ａに記憶させる。
【0084】
ｔ２３時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１３ａに記憶されたデータと、第１保持回路５１の領域５１２ｂに記憶されたデータとを第１アドレスに基づいて読み込む。そして、転送回路５０は、第１保持回路５１の領域５１３ａに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４１ｃに記憶させ、第１保持回路５１の領域５１２ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ｂに記憶させる。
【0085】
また、ｔ２３時点において、第２保持回路５４の同一番地（同一位置）の記憶領域である領域５４１ａ～５４２ａのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ａ～５４２ａのデータが読み出され、前段の中間層６へ送られる。
【0086】
ｔ２４時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１４ａに記憶されたデータと、第１保持回路５１の領域５１３ｂに記憶されたデータとを第１アドレスに基づいて読み込む。そして、転送回路５０は、第１保持回路５１の領域５１４ａに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４１ｄに記憶させ、第１保持回路５１の領域５１３ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ｃに記憶させる。
【0087】
また、ｔ２４時点において、第２保持回路５４の同一番地（同一位置）の記憶領域である領域５４１ｂ～５４２ｂのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ｂ～５４２ｂのデータが読み出され、前段の中間層６へ送られる。
【0088】
ｔ２５時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１５ａに記憶されたデータと、第１保持回路５１の領域５１４ｂに記憶されたデータとを第１アドレスに基づいて読み込む。そして、転送回路５０は、第１保持回路５１の領域５１５ａに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４１ｅに記憶させ、第１保持回路５１の領域５１４ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ｄに記憶させる。
【0089】
また、ｔ２５時点において、第２保持回路５４の同一番地（同一位置）の記憶領域である領域５４１ｃ～５４２ｃのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ｃ～５４２ｃのデータが読み出され、前段の中間層６へ送られる。
【0090】
ｔ２６時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１５ｂに記憶されたデータを第１アドレスに基づいて読み込む。そして、転送回路５０は、第１保持回路５１の領域５１５ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ｅに記憶させる。
【0091】
また、ｔ２６時点において、第２保持回路５４の同一番地（同一位置）の記憶領域である領域５４１ｄ～５４２ｄのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ｄ～５４２ｄのデータが読み出され、前段の中間層６へ送られる。
【0092】
ｔ２７時点において、第２保持回路５４の同一番地（同一位置）の記憶領域である領域５４１ｅ～５４２ｅのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ｅ～５４２ｅのデータが読み出され、前段の中間層６へ送られる。
【0093】
図９（ｂ）に示すように、ｔ２０時点において、第１保持回路５１は、出力層４のニューロン４１からの５データ分の誤差情報を、領域５１１ａ～５１５ａに記憶する。
【0094】
ｔ２１時点において、第１保持回路５１は、出力層４のニューロン４２からの２データ分の誤差情報を、領域５１２ｂ，５１４ｂに記憶する。また、転送回路５０は、第１保持回路５１の領域５１１ａに記憶されたデータを第１アドレスに基づいて読み込む。そして、転送回路５０は、読み込んだデータを第２アドレスに対応させて第２保持回路５４の領域５４１ａに記憶させる。
【0095】
ｔ２２時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１２ａに記憶されたデータを第１アドレスに基づいて読み込む。領域５１１ｂにはデータが記憶されていないので、接続情報記憶部５８ａに記憶された接続情報に基づいて、さらに、第１アドレスをシフトさせることで、領域５１１ｂを読み込むことなく、領域５１２ｂに記憶されたデータを第１アドレスに基づいて読み込む。そして、転送回路５０は、第２アドレスをシフトさせることで第１保持回路５１の領域５１２ａに記憶されたデータを第２保持回路５４の領域５４１ｂに記憶させると共に、第１保持回路５１の領域５１２ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ｂに記憶させる。
【0096】
また、ｔ２２時点において、第２保持回路５４の同一番地（同一位置）の記憶領域である領域５４１ａ～５４２ａのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ａ～５４２ａのデータが読み出され、前段の中間層６へ送られる。
【0097】
ｔ２３時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１３ａに記憶されたデータを第１アドレスに基づいて読み込む。領域５１３ｂにはデータが記憶されていないので、接続情報記憶部５８ａに記憶された接続情報に基づいて、さらに、第１アドレスをシフトさせることで、領域５１３ｂを読み込むことなく、領域５１４ｂに記憶されたデータを第１アドレスに基づいて読み込む。そして、転送回路５０は、第２アドレスをシフトさせることで第１保持回路５１の領域５１３ａに記憶されたデータを第２保持回路５４の領域５４１ｃに記憶させると共に、第１保持回路５１の領域５１４ｂに記憶されたデータを、第２アドレスをシフトさせることで第２保持回路５４の領域５４２ｄに記憶させる。
【0098】
また、ｔ２３時点において、第２保持回路５４の同一番地（同一位置）の記憶領域である領域５４１ｂ～５４２ｂのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ｂ～５４２ｂのデータが読み出され、前段の中間層６へ送られる。
【0099】
ｔ２４時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１４ａに記憶されたデータを第１アドレスに基づいて読み込む。領域５１５ｂにはデータが記憶されておらず、領域５１１ｂ～領域５１５ｂのデータは読込済みとする。そして、転送回路５０は、第２アドレスをシフトさせることで第１保持回路５１の領域５１４ａに記憶されたデータを第２保持回路５４の領域５４１ｄに記憶させる。
【0100】
また、ｔ２４時点において、第２保持回路５４の同一番地（同一位置）の記憶領域である領域５４１ｃ～５４２ｃのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ｃ～５４２ｃのデータが読み出され、前段の中間層６へ送られる。
【0101】
ｔ２５時点において、転送回路５０は、第１アドレスをシフトさせることで、第１保持回路５１の領域５１５ａに記憶されたデータを第１アドレスに基づいて読み込む。そして、転送回路５０は、第２アドレスをシフトさせることで第１保持回路５１の領域５１５ａに記憶されたデータを第２保持回路５４の領域５４１ｅに記憶させる。
【0102】
また、ｔ２５時点において、第２保持回路５４の同一番地（同一位置）の記憶領域である領域５４１ｄ～５４２ｄのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ｄ～５４２ｄのデータが読み出され、前段の中間層６へ送られる。
【0103】
ｔ２６時点において、第２保持回路５４の同一番地（同一位置）の記憶領域である領域５４１ｅ～５４２ｅのデータが揃ったとき、第２保持回路５４のメモリの同一番地（同一位置）の領域に記憶されたデータが揃ったと判定し、領域５４１ｅ～５４２ｅのデータが読み出され、前段の中間層６へ送られる。
【0104】
以上のように、本発明の実施例１では、接続状態にかかわらず全ての領域についてデータ読み込みを実行しているので、図９（ａ）に示すように、全てのデータを中間層６へ送るために、ｔ２０時点からｔ２７時点の７サイクルの時間を要することとなる。
【0105】
一方、本発明の実施例３では、転送回路５０Ｂが、所定の制御周期ごとに、接続情報記憶部５８ａに記憶された接続情報に基づいて第１アドレスをシフトすることにより第１保持回路５１のメモリそれぞれから誤差情報を読み込み、接続情報記憶部５８ｂに記憶された接続情報に基づいて第２アドレスをシフトすることにより、読み込んだ誤差情報を配置転換して第２保持回路５４のメモリそれぞれへ書き込む。
【0106】
そのため、図９（ｂ）に示すように、接続していないニューロンのデータについては、アドレスをスキップするので、全てのデータを中間層６へ送るために、ｔ２０時点からｔ２６時点の６サイクルの時間で済み、データ転送の時間を短縮させることができる。
【符号の説明】
【0107】
１ 相互接続制御回路
２ バスインターフェイス
３ 制御部
４ 出力層
５，５Ａ，５Ｂ ＳＷＡＰ回路
６ 中間層
７ 入力層
５０，５０Ａ，５０Ｂ 転送回路
５１ 第１保持回路
５２ 第１シフトレジスタ
５３ 第１カウンタ
５４ 第２保持回路
５５ 第２シフトレジスタ
５６ 第２カウンタ
５７ 閾値記憶部
５８ａ，５８ｂ 接続情報記憶部
２ バスインターフェイス
３ 制御部
４ 出力層
５，５Ａ，５Ｂ ＳＷＡＰ回路
６ 中間層
７ 入力層
５０，５０Ａ，５０Ｂ 転送回路
５１ 第１保持回路
５２ 第１シフトレジスタ
５３ 第１カウンタ
５４ 第２保持回路
５５ 第２シフトレジスタ
５６ 第２カウンタ
５７ 閾値記憶部
５８ａ，５８ｂ 接続情報記憶部
【要約】
【課題】小規模かつ汎用性のある装置構成であって処理の高速化を可能にする。
【解決手段】後段層のニューロンから前段層のニューロンへ誤差情報を転送する相互接続制御回路１であって、前段層のニューロン数分のメモリを有し、後段層のニューロンから入力される誤差情報を前段層のニューロン数分のメモリの読み込みアドレスを示す第１アドレスに対応させて記憶する第１保持回路５１と、後段層のニューロン数分のメモリを有し、前段層のニューロンへ出力する誤差情報を後段層のニューロン数分のメモリの書き込みアドレスを示す第２アドレスに対応させて記憶する第２保持回路５４と、所定の制御周期ごとに、第１アドレスをシフトすることにより第１保持回路のメモリそれぞれから誤差情報を読み込むと共に、第２アドレスをシフトすることにより、読み込んだ誤差情報を配置転換して第２保持回路のメモリそれぞれへ書き込む転送回路５０とを有する。
【選択図】 図１
【解決手段】後段層のニューロンから前段層のニューロンへ誤差情報を転送する相互接続制御回路１であって、前段層のニューロン数分のメモリを有し、後段層のニューロンから入力される誤差情報を前段層のニューロン数分のメモリの読み込みアドレスを示す第１アドレスに対応させて記憶する第１保持回路５１と、後段層のニューロン数分のメモリを有し、前段層のニューロンへ出力する誤差情報を後段層のニューロン数分のメモリの書き込みアドレスを示す第２アドレスに対応させて記憶する第２保持回路５４と、所定の制御周期ごとに、第１アドレスをシフトすることにより第１保持回路のメモリそれぞれから誤差情報を読み込むと共に、第２アドレスをシフトすることにより、読み込んだ誤差情報を配置転換して第２保持回路のメモリそれぞれへ書き込む転送回路５０とを有する。
【選択図】 図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】