ホーム > 特許ランキング > 国立大学法人 熊本大学
特許7462140ニューラルネットワーク回路及びニューラルネットワーク演算方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-28
(45)【発行日】2024-04-05
(54)【発明の名称】ニューラルネットワーク回路及びニューラルネットワーク演算方法
(51)【国際特許分類】
G06N 3/063 20230101AFI20240329BHJP
G06N 3/0464 20230101ALI20240329BHJP
【ＦＩ】
G06N3/063
G06N3/0464
【請求項の数】
4
(21)【出願番号】P 2019196326
(22)【出願日】2019-10-29
(65)【公開番号】P2021071772
(43)【公開日】2021-05-06
【審査請求日】2022-10-25
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３１年度、国立研究開発法人新エネルギー・産業技術総合開発機構開発項目「高効率・高速処理を可能とするＡＩチップ・次世代コンピューティングの技術開発／革新的ＡＩエッジコンピューティング技術の開発／再帰再構成型ニューロモルフィックアクセラレータの研究開発」 委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504159235
【氏名又は名称】国立大学法人 熊本大学
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100189337
【弁理士】
【氏名又は名称】宮本 龍
(72)【発明者】
【氏名】尼崎 太樹
(72)【発明者】
【氏名】中原 康宏
(72)【発明者】
【氏名】千竈 純太郎
(72)【発明者】
【氏名】飯田 全広
【審査官】山本 俊介
(56)【参考文献】
【文献】米国特許出願公開第２０１８／００３２８５９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０１９７０６８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０１２９９３６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０１２１３７７（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
畳み込みニューラルネットワークであって全結合層と複数の畳み込み層とを有する畳み込みニューラルネットワークにおける畳み込み層又は全結合層の処理を実行するニューラルネットワーク回路であって、各層に入力されるデータであってテンソルで表されるデータの各要素の値であるアクチベーションデータを記憶する第１記憶部と、
前記畳み込み層又は前記全結合層で実行される処理のための重みデータを記憶する第２記憶部と、
所定のタイミングで前記第１記憶部から１つの前記アクチベーションデータを読み出し、読み出した前記アクチベーションデータと前記重みデータのうちの重みデータに関する所定の条件を満たす１つの前記重みデータとの積の項の値である項値を取得する複数の演算部と、
を備え、
前記演算部が読み出した前記アクチベーションデータは、前記演算部が前記項値を演算した後に予め対応付けられた他の前記演算部に出力され、
前記演算部は前記畳み込み層の処理と前記全結合層の処理とで共通に用いられる、
ニューラルネットワーク回路。
【請求項2】
前記畳み込み層の処理は畳み込み積分であって、前記畳み込み積分の実行時の前記重みデータは、前記畳み込み積分を実行するためのフィルタの各値であるフィルタ係数である、
請求項１に記載のニューラルネットワーク回路。
【請求項3】
前記全結合層の処理の実行時の前記重みデータは、前記全結合層の処理に用いられる重み係数である、請求項１に記載のニューラルネットワーク回路。
【請求項4】
畳み込みニューラルネットワークであって全結合層と複数の畳み込み層とを有する畳み込みニューラルネットワークにおける畳み込み層又は全結合層の処理を実行するニューラルネットワーク回路であって、各層に入力されるデータであってテンソルで表されるデータの各要素の値であるアクチベーションデータを記憶する第１記憶部と、前記畳み込み層又は前記全結合層で実行される処理のための重みデータを記憶する第２記憶部と、所定のタイミングで前記第１記憶部から１つの前記アクチベーションデータを読み出し、読み出した前記アクチベーションデータと前記重みデータのうちの重みデータに関する所定の条件を満たす１つの前記重みデータとの積の項の値である項値を取得する複数の演算部と、を備え、前記演算部が読み出した前記アクチベーションデータは、前記演算部が前記項値を演算した後に予め対応付けられた他の前記演算部に出力され、前記演算部は前記畳み込み層の処理と前記全結合層の処理とで共通に用いられるニューラルネットワーク回路が実行するニューラルネットワーク演算方法であって、前記演算部が、所定のタイミングで前記第１記憶部から１つの前記アクチベーションデータを読み出し、読み出した前記アクチベーションデータと前記重みデータのうちの重みデータに関する所定の条件を満たす１つの前記重みデータとの積の項の値である項値を取得する取得ステップと、
前記演算部が読み出した前記アクチベーションデータが、前記演算部が前記項値を演算した後に予め対応付けられた他の前記演算部に出力される出力ステップと、
を有するニューラルネットワーク演算方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はニューラルネットワーク回路及びニューラルネットワーク演算方法に関する。
【背景技術】
【0002】
近年、複数のコンピュータで集めたデータを１つのコンピュータに集約し処理するこれまでのクラウドコンピューティングではなく、ユーザに近いコンピュータ（以下「エッジコンピュータ」という。）で処理をさせるエッジコンピューティングに注目が集まっている。さらに、近年の畳み込みニューラルネットワークの技術の進歩に伴い、エッジコンピュータで畳み込みニューラルネットワークを行わせることが提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－１４２０４９号公報
【文献】特開２０１８－１６００８６号公報
【文献】特開２０１８－１１６４６９号公報
【文献】特開２０１７－２１４８３号公報
【文献】特開２０１９－５７０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、エッジコンピュータは畳み込みニューラルネットワークを実行するには十分な性能でない場合が多い。例えば、エッジコンピュータでは、畳み込みニューラルネットワークの実行に当たりメモリへのアクセスの回数が多くなり、演算速度が遅いという問題がある。
【0005】
上記事情に鑑み、本発明は、畳み込みニューラルネットワークにおける演算速度を向上させる技術を提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明の一態様は、畳み込みニューラルネットワークであって全結合層と複数の畳み込み層とを有する畳み込みニューラルネットワークにおける畳み込み層又は全結合層の処理を実行するニューラルネットワーク回路であって、各層に入力されるデータであってテンソルで表されるデータの各要素の値であるアクチベーションデータを記憶する第１記憶部と、前記畳み込み層又は前記全結合層で実行される処理のための重みデータを記憶する第２記憶部と、所定のタイミングで前記第１記憶部から１つの前記アクチベーションデータを読み出し、読み出した前記アクチベーションデータと前記重みデータのうちの重みデータに関する所定の条件を満たす１つの前記重みデータとの積の項の値である項値を取得する複数の演算部と、を備え、前記演算部が読み出した前記アクチベーションデータは、前記演算部が前記項値を演算した後に予め対応付けられた他の前記演算部に出力される、ニューラルネットワーク回路である。
【0007】
本発明の一態様は、上記のニューラルネットワーク回路であって、前記畳み込み層の処理は畳み込み積分であって、前記畳み込み積分の実行時の前記重みデータは、前記畳み込み積分を実行するためのフィルタの各値であるフィルタ係数である。
【0008】
本発明の一態様は、上記のニューラルネットワーク回路であって、前記全結合層の処理の実行時の前記重みデータは、前記全結合層の処理に用いられる重み係数である。
【0009】
本発明の一態様は、畳み込みニューラルネットワークであって全結合層と複数の畳み込み層とを有する畳み込みニューラルネットワークにおける畳み込み層又は全結合層の処理を実行するニューラルネットワーク回路であって、各層に入力されるデータであってテンソルで表されるデータの各要素の値であるアクチベーションデータを記憶する第１記憶部と、前記畳み込み層又は前記全結合層で実行される処理のための重みデータを記憶する第２記憶部と、所定のタイミングで前記第１記憶部から１つの前記アクチベーションデータを読み出し、読み出した前記アクチベーションデータと前記重みデータのうちの重みデータに関する所定の条件を満たす１つの前記重みデータとの積の項の値である項値を取得する複数の演算部と、を備え、前記演算部が読み出した前記アクチベーションデータは、前記演算部が前記項値を演算した後に予め対応付けられた他の前記演算部に出力されるニューラルネットワーク回路が実行するニューラルネットワーク演算方法であって、前記演算部が、所定のタイミングで前記第１記憶部から１つの前記アクチベーションデータを読み出し、読み出した前記アクチベーションデータと前記重みデータのうちの重みデータに関する所定の条件を満たす１つの前記重みデータとの積の項の値である項値を取得する取得ステップと、前記演算部が読み出した前記アクチベーションデータが、前記演算部が前記項値を演算した後に予め対応付けられた他の前記演算部に出力される出力ステップと、を有するニューラルネットワーク演算方法である。
【発明の効果】
【0010】
本発明により、畳み込みニューラルネットワークにおける演算速度を向上させることができる。
【図面の簡単な説明】
【0011】
【図1】実施形態のニューラルネットワーク回路１の機能構成図の一例を示す図。
【図2】実施形態の単位処理部１００における情報の流れの一例を説明する説明図。
【図3】実施形態の単位処理部１００間の情報の流れの一例を説明する説明図。
【図4】実施形態の単位処理部１００間のコンフィギュレーションデータの流れの一例を説明する説明図。
【図5】実施形態の積和演算部１０２における処理の流れの一例を説明する説明図。
【図6】実施形態のニューラルネットワーク回路１が実行する畳み込み処理を説明する第１の説明図。
【図7】実施形態のニューラルネットワーク回路１が実行する畳み込み演算を説明する第２の説明図。
【図8】実施形態の第１バッファ記憶部１１から各単位処理部１００へ出力される情報の流れを説明する図。
【図9】実施形態の第２バッファ記憶部１２から各単位処理部１００へ出力される情報の流れを説明する図。
【図10】実施形態の単位処理部１００から第１バッファ記憶部１１へ出力される情報の流れを説明する図。
【図11】実施形態の単位処理部１００から第２バッファ記憶部１２へ出力される情報の流れを説明する図。
【図12】実施形態の第１バッファ記憶部１１から主演算部１０へ出力される情報の出力先を説明する図。
【図13】実施形態の主演算部１０から第１バッファ記憶部１１へ出力される情報の出力元を説明する図。
【図14】実施形態における畳み込み処理の１番目の処理を説明する説明図。
【図15】実施形態における畳み込み処理の２番目の処理を説明する説明図。
【図16】実施形態における畳み込み処理の３番目の処理を説明する説明図。
【図17】実施形態における畳み込み処理の４番目の処理を説明する説明図。
【図18】実施形態における畳み込み処理の５番目の処理を説明する説明図。
【図19】実施形態における畳み込み処理の６番目の処理を説明する説明図。
【図20】実施形態における畳み込み処理の７番目の処理を説明する説明図。
【図21】実施形態における畳み込み処理の流れの一例を説明するフローチャート。
【図22】実施形態における全結合処理の概要を説明する説明図。
【図23】実施形態の全結合処理の実行時の単位処理部１００間のデータの流れの一例を説明する第１の説明図。
【図24】実施形態の全結合処理の実行時の単位処理部１００間のデータの流れの一例を説明する第２の説明図。
【図25】実施形態における全結合処理の１番目の処理の一例を説明する説明図。
【図26】実施形態における全結合処理の２番目の処理の一例を説明する第１の説明図。
【図27】実施形態における全結合処理の２番目の処理の一例を説明する第２の説明図。
【図28】実施形態における全結合処理の３番目の処理の一例を説明する説明図。
【図29】実施形態における全結合処理の４番目の処理の一例を説明する説明図。
【図30】実施形態における全結合処理の５番目の処理の一例を説明する説明図。
【図31】実施形態における全結合処理の６番目の処理の一例を説明する説明図。
【図32】実施形態における全結合処理の流れの一例を示すフローチャート。
【発明を実施するための形態】
【0012】
以下、実施形態のニューラルネットワーク回路及びニューラルネットワーク演算方法を、図面を参照して説明する。なお、以下の説明において接続とは電気的な接続を意味する。また、以下の説明においては、同一の回路とは、回路素子間の相対的な位置が同一であることを意味する。相対的な位置とは、基準となる回路素子から見た他の回路素子の位置を意味する。同一の回路とは、回路素子間の接続関係が同一であることは必ずしも意味しない。
【0013】
図１は、実施形態のニューラルネットワーク回路１の機能構成図の一例を示す図である。ニューラルネットワーク回路１は、自装置に接続された第１外部メモリ９１、第２外部メモリ９２及び制御用外部メモリ９３から全結合層を有する畳み込みニューラルネットワークによる処理の対象のデータを取得する。第１外部メモリ９１及び第２外部メモリ９２は、半導体記憶装置などの記憶装置を用いて構成される。第１外部メモリ９１及び第２外部メモリ９２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）である。制御用外部メモリ９３は、半導体記憶装置などの記憶装置を用いて構成される。制御用外部メモリ９３は、例えば、フラッシュメモリである。
【0014】
ニューラルネットワーク回路１は、取得したデータに基づいて畳み込みニューラルネットワークの各畳み込み層の畳み込み積分を実行する。また、ニューラルネットワーク回路１は、取得したデータに基づいて、全結合層を有する畳み込みニューラルネットワークの全結合層における処理を実行する。全結合層における処理は、具体的には積和演算である。
【0015】
ニューラルネットワーク回路１は、第１バッファ記憶部１１、第２バッファ記憶部１２、制御用バッファ記憶部１３、制御部１４及び主演算部１０を備える。
【0016】
第１バッファ記憶部１１は、半導体記憶装置などの記憶装置のうち一時的記録媒体を用いて構成される。第１バッファ記憶部１１は、第１外部メモリ９１、主演算部１０及び制御部１４に接続される。第１バッファ記憶部１１は、第１外部メモリ９１が出力したデータを一時的に記憶する。第１バッファ記憶部１１は、主演算部１０が出力したデータを一時的に記憶する。第１バッファ記憶部１１は、制御部１４によって制御されて動作する。第１バッファ記憶部１１は、記憶したデータを所定のタイミングで主演算部１０又は第１外部メモリ９１に出力する。
【0017】
第１バッファ記憶部１１は、例えば、アクチベーションデータを記憶する。アクチベーションデータは、畳み込みニューラルネットワークの各層に入力されるデータであってテンソルで表されるデータ（以下「層入力データ」という。）の各要素の値である。層入力データは、０階のテンソル（すなわちスカラー）で表されてもよいし、１階のテンソル（すなわちベクトル）で表されてもよいし、２階以上のテンソルで表されてもよい。層入力データは、例えばチャネル数がｖ１であって各チャネルのデータはｖ２行ｖ３列の行列で表される場合、３階のテンソルで表されるデータである。
【0018】
第１バッファ記憶部１１は、例えば、コンフィギュレーションデータを記憶する。コンフィギュレーションデータは、詳細を後述する主演算部１０が備える複数の単位処理部１００間の接続関係を示すデータである。単位処理部１００は、１つの他の単位処理部１００に接続されてもよいし、複数の他の単位処理部１００に接続されてもよい。
【0019】
第２バッファ記憶部１２は、半導体記憶装置などの記憶装置のうち一時的記録媒体を用いて構成される。第２バッファ記憶部１２は、第２外部メモリ９２、主演算部１０及び制御部１４に接続される。第２バッファ記憶部１２は、第２外部メモリ９２が出力したデータを一時的に記憶する。第２バッファ記憶部１２は、制御部１４によって制御されて動作する。
【0020】
第２バッファ記憶部１２は、記憶したデータを所定のタイミングで主演算部１０に出力する。第２バッファ記憶部１２は、例えば、畳み込みを実行するための各層の１又は複数のフィルタ（以下「畳み込みフィルタ」という。）の各要素の値（以下「フィルタ係数」という。）を記憶する。また、第２バッファ記憶部１２は、例えば、全結合層の処理における重み（以下「全結合係数」という。）を記憶する。
【0021】
制御用バッファ記憶部１３は、半導体記憶装置などの記憶装置のうち一時的記録媒体を用いて構成される。制御用バッファ記憶部１３は、制御用外部メモリ９３及び制御部１４に接続される。制御用バッファ記憶部１３は、制御用外部メモリ９３が出力したデータを一時的に記憶する。制御用バッファ記憶部１３は、記憶したデータを所定のタイミングで制御部１４に出力する。制御用バッファ記憶部１３は、例えば、マイクロコード等の制御命令を記憶する。
【0022】
制御部１４は、ニューラルネットワーク回路１が備える各機能部の動作を制御する。具体的には、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサとメモリとを備え、プログラムを実行する。制御部１４は、プログラムの実行によってニューラルネットワーク回路１が備える各機能部の動作を制御する。制御部１４は、例えば、第１バッファ記憶部１１と第２バッファ記憶部１２と主演算部１０の動作とを制御することで、後述する畳み込み処理の実行を制御する。制御部１４は、例えば、第１バッファ記憶部１１と第２バッファ記憶部１２と主演算部１０の動作とを制御することで、後述する全結合処理の実行を制御する。制御部１４は、例えば、コンフィギュレーションデータを第１バッファ記憶部１１から主演算部１０に入力させるタイミングを制御する。制御部１４は、例えば、第１バッファ記憶部１１から主演算部１０に入力させるコンフィギュレーションデータを入力させるタイミングに合わせて選択する機能を有する。制御部１４は、例えば、コンフィギュレーションデータに基づいて接続先を変更する後述する接続部１０１の動作を制御する。
【0023】
主演算部１０は、畳み込みニューラルネットワークの各畳み込み層の畳み込み積分を実行する。また、主演算部１０は、全結合層を有する畳み込みニューラルネットワークの全結合層における処理を実行する。
【0024】
主演算部１０は、格子状に複数個配置された単位処理部１００を備える。単位処理部１００は、接続部１０１と積和演算部１０２とを備える。接続部１０１は、積和演算部１０２を予め対応付けられた他の単位処理部１００と、第１バッファ記憶部１１と、第２バッファ記憶部１２とに接続するためのインタフェースである。接続部１０１の予め対応付けられた他の単位処理部１００は、コンフィギュレーションデータが示す他の単位処理部１００である。
【0025】
接続部１０１は、所定のタイミングで、コンフィギュレーションデータに基づいて接続先の単位処理部１００を変更する。より具体的には、接続部１０１は、所定のタイミングで、コンフィギュレーションデータが示す接続先に接続するように配線を変更する。配線の変更方法は、ＦＰＧＡ（field-programmable gate array）と同様である。ＦＰＧＡと同様の方法とは、具体的には、コンフィグレーションメモリに対して外部よりコンフィグレーションデータをダウンロードする方法である。所定のタイミングは、例えば、ニューラルネットワーク回路１の動作開始時である。所定のタイミングは、例えば、畳み込みニューラルネットワークの各畳み込み層の処理が終了した後であって全結合層による処理が開始される前のタイミングであってもよい。
【0026】
積和演算部１０２は、積和演算を実行する。積和演算部１０２は、積和演算の実行結果に基づいて活性を取得する。積和演算部１０２は、取得した活性を予め定められた所定の活性化関数に入力し活性化関数による演算の結果（以下「活性結果」という。）を取得する。活性化関数は、ステップ関数であってもよいし、シグモイド関数であってもよいし、ＲｅＬＵ関数であってもよいし、恒等関数であってもよいし、ソフトマックス関数であってもよい。活性結果は、例えば、次段の層にアクチベーションデータとして入力される。
【0027】
各単位処理部１００は単位処理部１００ごとの専用の導線によって接続部１０１を介して第１バッファ記憶部１１に接続される。また、各単位処理部１００は単位処理部１００ごとの専用の導線によって接続部１０１を介して第２バッファ記憶部１２に接続される。専用とは、第１バッファ記憶部１１又は第２バッファ記憶部１２と他の単位処理部１００との間の情報の送受信には使用されないことを意味する。
【0028】
図２は、実施形態の単位処理部１００における情報の流れの一例を説明する説明図である。接続部１０１は、入力制御回路１１１、重み制御回路１１２及び出力制御回路１１３を備える。積和演算部１０２は、積和演算回路２０１及び活性化回路２０２を備える。
【0029】
入力制御回路１１１は、第１バッファ記憶部１１からコンフィギュレーションデータを取得する。入力制御回路１１１は、取得したコンフィギュレーションデータに基づき、取得したコンフィギュレーションデータが示す接続先に接続される。入力制御回路１１１は、第１バッファ記憶部１１が出力したアクチベーションデータを取得する。入力制御回路１１１は、接続先の単位処理部１００が出力したアクチベーションデータを取得する。
【0030】
入力制御回路１１１は、接続先の単位処理部１００にアクチベーションデータを出力する。入力制御回路１１１は、接続先の単位処理部１００にコンフィギュレーションデータを出力する。接続先の単位処理部１００は、コンフィギュレーションデータに基づき接続されたコンフィギュレーションデータが示す接続先である。入力制御回路１１１は、レジスタ１１４を備える。レジスタ１１４は、取得したコンフィギュレーションデータ及びアクチベーションデータを記憶する。
【0031】
重み制御回路１１２は、第２バッファ記憶部１２からフィルタ係数及び全結合係数を取得する。重み制御回路１１２は、レジスタ１１５を備える。レジスタ１１５は、取得したフィルタ係数及び全結合係数を記憶する。
【0032】
出力制御回路１１３は、積和演算部１０２に接続される。出力制御回路１１３は、積和演算部１０２の演算結果である活性結果を取得する。出力制御回路１１３は、第１バッファ記憶部１１へ活性結果を出力する。出力制御回路１１３は、レジスタ１１６を備える。レジスタ１１６は、取得した活性結果を記憶する。出力制御回路１１３は、活性結果を入力制御回路１１１に入力するための導線（以下「フィードバック導線１１８」という。）を備える。フィードバック導線１１８は、単位処理部１００が外部メモリを介さずに活性結果を自身にフィードバックする場合に使用される。より詳しくは、単位処理部１００が外部メモリを介さずに活性結果を自身にフィードバックする場合に、制御部１４の制御によって、出力制御回路１が出力した活性結果がフィードバック導線１１８を介して入力制御回路１１１に入力される。
【0033】
積和演算回路２０１は、入力制御回路１１１、重み制御回路１１２及び活性化回路２０２に接続される回路である。積和演算回路２０１は、入力制御回路１１１を介して、第１バッファ記憶部１１又は接続先の他の単位処理部１００からアクチベーションデータを取得する。積和演算回路２０１は、重み制御回路１１２を介して第２バッファ記憶部１２からフィルタ係数又は全結合係数を取得する。積和演算回路２０１は取得したアクチベーションデータと、フィルタ係数又は全結合係数とに基づいて積和演算を実行し活性を取得する。積和演算回路２０１は、レジスタ１１７を備える。レジスタ１１７は、積和演算の演算途中の結果である中間値を記憶する。レジスタ１１７は、活性を記憶してもよい。積和演算回路２０１は取得した活性を活性化回路２０２に出力する。
【0034】
活性化回路２０２は、積和演算回路２０１の出力（すなわち活性）を取得する。活性化回路２０２は、取得した活性を予め定められた所定の活性化関数に入力する。活性化回路２０２は、活性化関数による演算の結果である活性結果を取得する。活性化回路２０２は、取得した活性結果を出力制御回路１１３に出力する。
【0035】
図３は、実施形態の単位処理部１００間の情報の流れの一例を説明する説明図である。
図３は、単位処理部１００間の情報の流れを説明するための具体例として、単位処理部１００－１、１００－２、１００－３、１００－４及び１００－５の５つの単位処理部１００の間の情報の流れを示す。単位処理部１００－１は、単位処理部１００－２、１００－３、１００－４及び１００－５の４つの他の単位処理部１００に接続される。単位処理部１００－１は、接続先の他の単位処理部１００のひとつである単位処理部１００－２に情報を出力する。情報は、例えば、アクチベーションデータである。単位処理部１００－１は、接続先の他の単位処理部１００のひとつである単位処理部１００－２から情報を取得する。
図３は、単位処理部１００間の情報の流れを説明するための具体例として、単位処理部１００－１、１００－２、１００－３、１００－４及び１００－５の５つの単位処理部１００の間の情報の流れを示す。単位処理部１００－１は、単位処理部１００－２、１００－３、１００－４及び１００－５の４つの他の単位処理部１００に接続される。単位処理部１００－１は、接続先の他の単位処理部１００のひとつである単位処理部１００－２に情報を出力する。情報は、例えば、アクチベーションデータである。単位処理部１００－１は、接続先の他の単位処理部１００のひとつである単位処理部１００－２から情報を取得する。
【0036】
単位処理部１００－１は、接続先の他の単位処理部１００のひとつである単位処理部１００－３に情報を出力する。単位処理部１００－１は、接続先の他の単位処理部１００のひとつである単位処理部１００－３から情報を取得する。単位処理部１００－１は、接続先の他の単位処理部１００のひとつである単位処理部１００－４に情報を出力する。単位処理部１００－１は、接続先の他の単位処理部１００のひとつである単位処理部１００－４から情報を取得する。単位処理部１００－１は、接続先の他の単位処理部１００のひとつである単位処理部１００－５に情報を出力する。単位処理部１００－１は、接続先の他の単位処理部１００のひとつである単位処理部１００－５から情報を取得する。
【0037】
図４は、実施形態の単位処理部１００間のコンフィギュレーションデータの流れの一例を説明する説明図である。
単位処理部１００に入力されたコンフィギュレーションデータはレジスタ１１４に記憶される。レジスタ１１４に記憶されたコンフィギュレーションデータに基づいて単位処理部１００は、コンフィギュレーションデータが示す他の単位処理部１００に接続される。コンフィギュレーションデータは、接続先の他の単位処理部１００に出力される。
単位処理部１００に入力されたコンフィギュレーションデータはレジスタ１１４に記憶される。レジスタ１１４に記憶されたコンフィギュレーションデータに基づいて単位処理部１００は、コンフィギュレーションデータが示す他の単位処理部１００に接続される。コンフィギュレーションデータは、接続先の他の単位処理部１００に出力される。
【0038】
図５は、実施形態の積和演算部１０２における処理の流れの一例を説明する説明図である。
積和演算部１０２では、積和演算が実行される。図５においてｘはアクチベーションデータを表し、ｗはフィルタ係数又は全結合係数を表す。積和演算の中間値は、レジスタ１１７に記憶される。積和演算の結果である活性（図５におけるｕ）は活性化関数に入力される。図５においてｚは、活性ｕに対応する活性結果を表す。以下、説明の簡単のため、活性化関数は値が１の恒等関数であって活性結果ｚと活性ｕとが同一である場合を例にニューラルネットワーク回路１を説明する。
積和演算部１０２では、積和演算が実行される。図５においてｘはアクチベーションデータを表し、ｗはフィルタ係数又は全結合係数を表す。積和演算の中間値は、レジスタ１１７に記憶される。積和演算の結果である活性（図５におけるｕ）は活性化関数に入力される。図５においてｚは、活性ｕに対応する活性結果を表す。以下、説明の簡単のため、活性化関数は値が１の恒等関数であって活性結果ｚと活性ｕとが同一である場合を例にニューラルネットワーク回路１を説明する。
【0039】
【0040】
図６は、実施形態のニューラルネットワーク回路１が実行する畳み込み処理を説明する第１の説明図である。
図６では、説明の簡単のため、Ｉ行Ｊ列の２階のテンソルで表される層入力データＤ１０１の各要素のうちｉ行ｊ列の要素の値ｘ（ｉ、ｊ）から（ｉ＋２）行（ｊ＋２）列の要素の値ｘ（ｉ＋２、ｊ＋２）までの９つの要素を用いて畳み込み処理を説明する。Ｉは１以上の整数であり、Ｊは１以上の整数である。ｉは０以上（Ｉ－１）以下の整数であり、ｊは０以上（Ｊ－１）以下の整数である。層入力データＤ１０１のチャネル数は１である。以下、アクチベーションデータｘ（Ａ、Ｂ）のＡを、アクチベーションデータｘの２指標表示の第１指標という。以下、アクチベーションデータｘ（Ａ、Ｂ）のＢを、アクチベーションデータｘの２指標表示の第２指標という。なお、アクチベーションデータｘの２指標表示とは、アクチベーションデータｘが２つの指標によって他のアクチベーションデータｘと区別される値であることを意味する。なお、以下、説明の中で、上述したＡ、Ｂ以外にもＣ、Ｄ、Ｅの記号が使われるが、Ｃ、Ｄ、ＥもまたＡ、Ｂと同様に１つのものを他のものと区別するための指標を示す記号である。
図６では、説明の簡単のため、Ｉ行Ｊ列の２階のテンソルで表される層入力データＤ１０１の各要素のうちｉ行ｊ列の要素の値ｘ（ｉ、ｊ）から（ｉ＋２）行（ｊ＋２）列の要素の値ｘ（ｉ＋２、ｊ＋２）までの９つの要素を用いて畳み込み処理を説明する。Ｉは１以上の整数であり、Ｊは１以上の整数である。ｉは０以上（Ｉ－１）以下の整数であり、ｊは０以上（Ｊ－１）以下の整数である。層入力データＤ１０１のチャネル数は１である。以下、アクチベーションデータｘ（Ａ、Ｂ）のＡを、アクチベーションデータｘの２指標表示の第１指標という。以下、アクチベーションデータｘ（Ａ、Ｂ）のＢを、アクチベーションデータｘの２指標表示の第２指標という。なお、アクチベーションデータｘの２指標表示とは、アクチベーションデータｘが２つの指標によって他のアクチベーションデータｘと区別される値であることを意味する。なお、以下、説明の中で、上述したＡ、Ｂ以外にもＣ、Ｄ、Ｅの記号が使われるが、Ｃ、Ｄ、ＥもまたＡ、Ｂと同様に１つのものを他のものと区別するための指標を示す記号である。
【0041】
上述したように、畳み込みフィルタは、各層において必ずしも１つではなく複数存在してもよい。図６では、複数存在する畳み込みフィルタのうちの１つとして畳み込みフィルタＦ１０１を畳み込みフィルタの具体例として示す。畳み込みフィルタＦ１０１は、２行２列であり４つのフィルタ係数を有する畳み込みフィルタである。具体的には、畳み込みフィルタＦ１０１はｗ（０、０）、ｗ（０、１）、ｗ（１、０）及びｗ（１、１）の４つのフィルタ係数を有する。以下、説明の簡単のため、畳み込みフィルタが２階のテンソルで表される場合であって、特に正方行列で表される場合を例にニューラルネットワーク回路１を説明する。フィルタ係数ｗ（Ａ、Ｂ）は、フィルタ係数ｗが畳み込みフィルタにおけるＡ行Ｂ列目の要素の値であることを示す。以下、フィルタ係数ｗ（Ａ、Ｂ）のＡを、フィルタ係数ｗの２指標表示の第１指標という。以下、フィルタ係数ｗ（Ａ、Ｂ）のＢを、フィルタ係数ｗの２指標表示の第２指標という。
【0042】
図６（ａ）は、層入力データＤ１０１と畳み込みフィルタＦ１０１との畳み込み積分の実行によって、２行２列の特徴マップが取得されることを示す。特徴マップの各要素の値が活性である。具体的には、図６（ａ）は、層入力データＤ１０１と畳み込みフィルタＦ１０１との畳み込み積分の結果、活性ｕ（ｉ、ｊ）、活性ｕ（ｉ、ｊ＋１）、活性ｕ（ｉ＋１、ｊ）、活性ｕ（ｉ＋１、ｊ＋１）を有する特徴マップが算出されることを示す。以下、活性ｕ（Ａ、Ｂ）のＡを活性ｕの２指標表示の第１指標という。以下、活性ｕ（Ａ、Ｂ）のＢを活性ｕの２指標表示の第２指標という。なお、活性ｕの２指標表示とは、活性ｕが２つの指標によって他の活性ｕと区別される値であることを意味する。
【0043】
活性ｕ（ｉ、ｊ）は具体的には、以下の式（１）で表される。
【0044】
【数1】
【0045】
式（１）におけるＰとＱとの定義を説明する。畳み込みフィルタがＰ行Ｑ列のテンソルである場合、ｐは、０以上Ｐ未満の整数である。なお、畳み込みフィルタがＰ行Ｑ列のテンソルである場合、ｑは、０以上Ｑ未満の整数である。例えば、畳み込みフィルタが２行２列のテンソルである場合、それぞれ０又は１の値である。
【0046】
第ｎの畳み込み層（以下「第ｎ畳み込み層」という。）における処理によって取得された特徴マップは、次段（すなわち、第（ｎ＋１）の畳み込み層）の層入力データとして次段の畳み込み層に入力される。ｎは畳み込みニューラルネットワークの各層を区別するための番号であって畳み込みニューラルネットワークにおいて処理が実行されるタイミングが早い層であるほど値が小さな番号である。ｎは０以上（Ｎ－１）以下の整数であって、Ｎは２以上の整数である。以下、ｎを層番号という。例えば、第ｎ畳み込み層の次に処理が実行される層は第（ｎ＋１）畳み込み層である。次段の層が全結合層である場合には、特徴マップは、全結合層の層入力データとして全結合層に入力される。
【0047】
図６（ｂ）は、特徴マップの１つの要素の値である活性ｕ（ｉ、ｊ）を算出する処理の流れの一例を、活性ｕ（ｉ、ｊ）を算出する積和演算の各項の計算において用いられる層入力データＤ１０１の要素を示しながら説明する。畳み込みフィルタＦ１０１は２行２列のテンソルであるため、活性ｕ（ｉ、ｊ）は第１項から第４項までの４つの項の和で表される。図６（ｂ）では、まず第１項が計算され、次に第２項が計算され、次に第３項が計算され、最後に第４項が計算される場合を例に活性ｕ（ｉ、ｊ）を算出する処理を説明する。
【0048】
図６（ｂ）は、第１項の計算には、層入力データＤ１０１のアクチベーションデータのうちアクチベーションデータｘ（ｉ、ｊ）、アクチベーションデータｘ（ｉ、ｊ＋１）、アクチベーションデータｘ（ｉ＋１、ｊ）及びアクチベーションデータｘ（ｉ＋１、ｊ＋１）の４つが用いられることを示す。図６（ｂ）は、第２項の計算には、層入力データＤ１０１のアクチベーションデータのうちアクチベーションデータｘ（ｉ、ｊ＋１）、アクチベーションデータｘ（ｉ、ｊ＋２）、アクチベーションデータｘ（ｉ＋１、ｊ＋１）及びアクチベーションデータｘ（ｉ＋１、ｊ＋２）の４つが用いられることを示す。図６（ｂ）は、第３項の計算には、層入力データＤ１０１のアクチベーションデータのうちアクチベーションデータｘ（ｉ＋１、ｊ）、アクチベーションデータｘ（ｉ＋１、ｊ＋１）、アクチベーションデータｘ（ｉ＋２、ｊ）及びアクチベーションデータｘ（ｉ＋２、ｊ＋１）の４つが用いられることを示す。図６（ｂ）は、第４項の計算には、層入力データＤ１０１のアクチベーションデータのうちアクチベーションデータｘ（ｉ＋１、ｊ＋１）、アクチベーションデータｘ（ｉ＋１、ｊ＋２）、アクチベーションデータｘ（ｉ＋２、ｊ＋１）及びアクチベーションデータｘ（ｉ＋２、ｊ＋２）の４つが用いられることを示す。
【0049】
なお、図６（ｂ）は説明の簡単のため、第１項、第２項、第３項、第４項の順に計算されることを示すが、計算は必ずしも第１項、第２項、第３項、第４項の順に実行される必要は無い。計算は、例えば、第１項、第３項、第２項、第４項の順に実行されてもよい。
【0050】
図７は、実施形態のニューラルネットワーク回路１が実行する畳み込み演算を説明する第２の説明図である。
図７は、第ｎ畳み込み層への層入力データがチャネル数３であり各チャネルのデータが４行４列の行列で表されるデータである場合を例に畳み込み演算を説明する。図７において第ｎ畳み込み層への層入力データは、チャネル数が３であり各チャネルのデータが４行４列の行列で表されるデータであるため、３階のテンソルで表されるデータである。以下、層入力データのチャネル数（以下「入力チャネル数」という。）を、ＮｕｍＣＨｉｎの記号で表す。以下、特徴マップのチャネル数（以下「出力チャネル数」という。）を、ＮｕｍＣＨｏｕｔの記号で表す。出力チャネル数ＮｕｍＣＨｏｕｔは、畳み込みフィルタの数に等しい。
図７は、第ｎ畳み込み層への層入力データがチャネル数３であり各チャネルのデータが４行４列の行列で表されるデータである場合を例に畳み込み演算を説明する。図７において第ｎ畳み込み層への層入力データは、チャネル数が３であり各チャネルのデータが４行４列の行列で表されるデータであるため、３階のテンソルで表されるデータである。以下、層入力データのチャネル数（以下「入力チャネル数」という。）を、ＮｕｍＣＨｉｎの記号で表す。以下、特徴マップのチャネル数（以下「出力チャネル数」という。）を、ＮｕｍＣＨｏｕｔの記号で表す。出力チャネル数ＮｕｍＣＨｏｕｔは、畳み込みフィルタの数に等しい。
【0051】
図７は、２つの畳み込みフィルタがそれぞれ層入力データのチャネルごとに適用されることを示す。
【0052】
図７は、層入力データに対してフィルタ１及びフィルタ２の２つの３行３列の畳み込みフィルタが適用された場合に、特徴マップは、出力チャネル数ＮｕｍＣＨｏｕｔが２であって各チャネルのデータが２行２列の行列で表されるデータであることを示す。
【0053】
ニューラルネットワーク回路１では、複数の畳み込みフィルタがそれぞれ層入力データのチャネルごとに適用されるため、ニューラルネットワーク回路１で算出される活性ｕは以下の式（２）で表される。
【0054】
【数2】
【0055】
式（２）におけるＣＨｏｕｔ及びＣＨｉｎと、ｘ、ｕ及びｗの各指標とについて説明する。
【0056】
式（２）に示すＣｈｏｕｔは、特徴マップの各チャネルをそれぞれ区別するための値である。例えば、Ｃｈｏｕｔ＝Ｖは（Ｖは非負の整数）、特徴マップが備える複数のチャネルのうち第Ｖ番目のチャネルを表す。以下、ＣＨｏｕｔを出力チャネル番号という。
【0057】
式（２）に示すＣｈｉｎは、層入力データの各チャネルをそれぞれ区別するための値である。例えば、Ｃｈｉｎ＝Ｖは、層入力データが備える複数のチャネルのうち第Ｖ番目のチャネルを表す（Ｖは非負の整数）。以下、ＣＨｉｎ（すなわちＶ）を入力チャネル番号という。
【0058】
式（２）におけるアクチベーションデータｘは４つの指標によって他のアクチベーションデータｘと区別されている。具体的には、アクチベーションデータｘはｘ（Ａ、Ｂ、Ｃ、Ｄ）と表されることで他のアクチベーションデータと区別されている。アクチベーションデータｘ（Ａ、Ｂ、Ｃ、Ｄ）は、アクチベーションデータｘが、層番号Ａの層に入力される層入力データの要素の値であって、入力チャネル番号ＢのデータのうちＣ行Ｄ列の要素の値であることを示す。すなわち、アクチベーションデータｘの４指標表示の第１指標Ａは、アクチベーションデータｘを有する層入力データの入力先の層番号ｎを表す。アクチベーションデータｘの４指標表示の第２指標Ｂは、入力チャネル番号Ｃｈｉｎを表す。また、アクチベーションデータｘの４指標表示の第３指標Ｃ及び第４指標Ｄは、アクチベーションデータｘが２階のテンソルのＣ行Ｄ列に位置する要素の値であることを示す。なお、前述したアクチベーションデータｘ（Ａ、Ｂ）は、入力チャネル数と出力チャネル数とが１の場合におけるアクチベーションデータｘ（Ａ、Ｂ、Ｃ、Ｄ）を表す。なお、アクチベーションデータｘの４指標表示とは、アクチベーションデータｘが４つの指標によって他のアクチベーションデータｘと区別される値であることを意味する。
【0059】
活性ｕ（Ａ、Ｂ、Ｃ、Ｄ）は、活性ｕが、層番号Ａの層における演算の結果であって、特徴マップにおける出力チャネル番号ＢのデータのうちのＣ行Ｄ列の要素の値であることを示す。すなわち、活性ｕの４指標表示の第１指標Ａは、活性ｕを出力する演算が実行された層の層番号ｎを表す。活性ｕの４指標表示の第２指標Ｂは、出力チャネル番号Ｃｈｏｕｔを表す。また、活性ｕの４指標表示の第３指標Ｃ及び第４指標Ｄは、活性ｕが２階のテンソルのＣ行Ｄ列に位置する要素の値として、第１バッファ記憶部１１に記憶される値であることを示す。なお、前述した活性ｕ（Ａ、Ｂ）は、入力チャネル数と出力チャネル数とが１の場合における活性ｕ（Ａ、Ｂ、Ｃ、Ｄ）を表す。なお、活性ｕの２指標表示とは、活性ｕが４つの指標によって他の活性ｕと区別される値であることを意味する。
【0060】
ｗ（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）は、フィルタ係数を表す。フィルタ係数ｗの５指標表示の第１指標Ａは、畳み込み積分の演算が実行される層番号ｎを表す。フィルタ係数ｗの５指標表示の第２指標Ｂは、畳み込み積分の実行時にフィルタ係数ｗに掛け算されるアクチベーションデータｘが属する入力チャネル番号Ｃｈｉｎを表す。フィルタ係数ｗの５指標表示の第３指標Ｃは、畳み込み積分の実行結果である特徴マップにおける出力チャネル番号ＣＨｏｕｔを表す。フィルタ係数ｗの５指標表示の第４指標Ｄ及び第５指標Ｅは、フィルタ係数ｗが畳み込みフィルタを表す２階のテンソルのＤ行Ｅ列に位置する要素の値であることを示す。なお、フィルタ係数ｗの５指標表示とは、フィルタ係数ｗが５つの指標によって他のフィルタ係数ｗと区別される値であることを意味する。
【0061】
ｂ（ｎ、ＣＨｏｕｔ）は、バイアスである。バイアスｂ（ｎ、ＣＨｏｕｔ）は、層番号ｕの層における演算に用いられるバイアスであって、出力チャネル番号ＣＨｏｕｔの活性ｕを算出する演算に用いられるバイアスであることを示す。なお、バイアスｂは０であってもよく、畳み込み処理においては、０である。そこで、以下、説明の簡単のため、バイアスｂが０である場合を例にニューラルネットワーク回路１における畳み込み処理を説明する。
【0062】
図８は、実施形態の第１バッファ記憶部１１から各単位処理部１００へ出力される情報の流れを説明する図である。
【0063】
図８は、単位処理部１００＿０＿０から単位処理部１００＿（Ｒ＿１）＿（Ｓ＿１）までの（Ｒ×Ｓ）個（ＲはＣＨｉｎ以上の整数。ＳはＪ以上の整数）の単位処理部１００を示す。Ｒは、入力チャネル数ＮｕｍＣＨｉｎの数に同一であることが望ましい。Ｓは、層入力データの列の数Ｊに同一であることが望ましい。以下、説明の簡単のため、単位処理部１００＿（ｒ＿１）＿（ｓ＿１）をＰＢ（ｒ－１、ｓ－１）という。なお、ｒは０以上（Ｒ－１）以下の整数であり、ｓは０以上（Ｓ－１）以下の整数である。以下、ＰＢ（Ａ、Ｂ）のＡをＰＢの第１指標という。ＰＢ（Ａ、Ｂ）のＢをＰＢの第２指標という。ＰＢの第１指標は、格子状に配置された単位処理部１００が属する列を示す。ＰＢの第２指標は、格子状に配置された単位処理部１００が属する行を示す。ＰＢの第２指標が同じでありＰＢの第１指標の差が１である２つの単位処理部１００は、互いに隣接する。ＰＢの第１指標が同じでありＰＢの第２指標の差が１である２つの単位処理部１００は、互いに隣接する。
【0064】
第１バッファ記憶部１１は、各単位処理部１００に情報を直接送信可能である。直接送信可能とは、単位処理部１００を介して他の単位処理部１００に情報を送信する必要はない、ことを意味する。
【0065】
図９は、実施形態の第２バッファ記憶部１２から各単位処理部１００へ出力される情報の流れを説明する図である。
第２バッファ記憶部１２は、各単位処理部１００に情報を直接送信可能である。
第２バッファ記憶部１２は、各単位処理部１００に情報を直接送信可能である。
【0066】
図１０は、実施形態の単位処理部１００から第１バッファ記憶部１１へ出力される情報の流れを説明する図である。
第１バッファ記憶部１１は、各単位処理部１００から情報を直接受信可能である。直接受信可能とは、単位処理部１００を介して他の単位処理部１００が送信した情報を受信する必要はない、ことを意味する。
第１バッファ記憶部１１は、各単位処理部１００から情報を直接受信可能である。直接受信可能とは、単位処理部１００を介して他の単位処理部１００が送信した情報を受信する必要はない、ことを意味する。
【0067】
図１１は、実施形態の単位処理部１００から第２バッファ記憶部１２へ出力される情報の流れを説明する図である。
単位処理部１００は、予め定められた他の単位処理部１００に情報を送信可能である。予め定められた他の単位処理部１００とは、コンフィギュレーションデータが示す接続先の単位処理部１００である。
単位処理部１００は、予め定められた他の単位処理部１００に情報を送信可能である。予め定められた他の単位処理部１００とは、コンフィギュレーションデータが示す接続先の単位処理部１００である。
【0068】
図１１は、ＰＢ（０、０）からＰＢ（１、０）への情報の送信が可能であることを示す。図１１は、ＰＢ（１、０）からＰＢ（２、０）への情報の送信が可能であることを示す。図１１は、ＰＢ（Ｓ－１、０）からＰＢ（０、０）への情報の送信が可能であることを示す。このように、ＰＢの第１指標が（Ｓ－１）である単位処理部１００以外の各単位処理部１００は、畳み込み演算において、ＰＢの第２指標が同一であり第１指標が１だけ増加する単位処理部１００に情報を送信可能である。ＰＢの第１指標が（Ｓ－１）である単位処理部１００は、ＰＢの第２指標が同一でありＰＢの第１指標が０である単位処理部１００に情報を送信可能である。
【0069】
図１２は、実施形態の第１バッファ記憶部１１から主演算部１０へ出力される情報の出力先を説明する図である。以下、説明の簡単のため、層入力データは入力チャネル数ＮｕｍＣｈｉｎが６４のデータであって各チャネルが有するデータが６４行６４列の２階のテンソルで表されるデータである場合を例にニューラルネットワーク回路１を説明する。ただし、以下の説明は、入力チャネル数が６４でなくてもよい。また、各チャネルが有するデータも２階のテンソルで表されるデータであれば６４行６４列でなくてもよい。また、各チャネルが有するデータは、２階のテンソルで表されるデータであれば正方行列でなくてもよい。
【0070】
図１２は、層入力データは入力チャネル番号が０から６３までの６４チャネルのデータであることを示す。また、図１２は、第１バッファ記憶部１１に記憶された各チャネルのデータが、行数が０行目から６３行目までの６４であって列数が０列目から６３列目までの６４である６４行６４列のテンソルで表されるデータであることを示す。
【0071】
図１２は、層入力データの各チャネルの０行目のデータが主演算部１０へ出力されることを示す。主演算部１０の単位処理部１００には、単位処理部１００にひとつのアクチベーションデータが入力されることを示す。例えば、ＰＢ（０、０）には、入力チャネル番号が０のデータのうち０行０列目のアクチベーションデータｘ（０、０、０、０）が入力される。
【0072】
図１２は、主演算部１０には、以下の第１アクチベーションデータ入力規則及び第２アクチベーションデータ入力規則にしたがって、層入力データが入力されることを示す。第１アクチベーションデータ入力規則は、ＰＢの第１指標が同じ単位処理部１００には入力チャネル番号が同じアクチベーションデータｘが入力される、という規則である。第２アクチベーションデータ入力規則は、ＰＢの第２指標が同じ単位処理部１００には、第２指標が異なり第３指標が同じアクチベーションデータｘが入力される、という規則である。
【0073】
図１３は、実施形態の主演算部１０から第１バッファ記憶部１１へ出力される情報の出力元を説明する図である。
以下、説明の簡単のため、特徴マップは出力チャネル数ＮｕｍＣｈｏｕｔが６４であって、各チャネルが有するデータが６４行６４列の２階のテンソルで表されるデータである場合を例にニューラルネットワーク回路１を説明する。ただし、以下の説明は、出力チャネル数が６４でなくてもよい。また、各チャネルが有するデータも２階のテンソルで表されるデータであれば６４行６４列でなくてもよい。また、各チャネルが有するデータは、２階のテンソルで表されるデータであれば正方行列でなくてもよい。
以下、説明の簡単のため、特徴マップは出力チャネル数ＮｕｍＣｈｏｕｔが６４であって、各チャネルが有するデータが６４行６４列の２階のテンソルで表されるデータである場合を例にニューラルネットワーク回路１を説明する。ただし、以下の説明は、出力チャネル数が６４でなくてもよい。また、各チャネルが有するデータも２階のテンソルで表されるデータであれば６４行６４列でなくてもよい。また、各チャネルが有するデータは、２階のテンソルで表されるデータであれば正方行列でなくてもよい。
【0074】
図１３は、主演算部１０の各単位処理部１００の演算の結果である活性ｕ（すなわち活性結果ｚ）が、特徴マップにおける各チャネルの０行目の各要素の値として第１バッファ記憶部１１に記憶されることを示す。例えば、ＰＢ（０、０）による演算の結果であるｕ（０、０、０、０）は、特徴マップにおける出力チャネル番号が０の０行０列目の要素の値として、第１バッファ記憶部１１に記憶されることを示す。
【0075】
図１３は、ＰＢの第１指標が同じ単位処理部１００が算出した活性ｕは、特徴マップの各要素のうち出力チャネル番号が同じ要素の値として第１バッファ記憶部１１に記憶されることを示す。図１３は、ＰＢの第２指標が同じ単位処理部１００が算出した活性ｕは、特徴マップの各要素のうち出力チャネル番号Ｃｈｏｕｔが異なり入力チャネル番号Ｃｈｉｎが同じである要素の値として第１バッファ記憶部１１に記憶されることを示す。
【0076】
図１４～図２０を用いて、畳み込み処理の流れの一例を説明する。畳み込み処理では、まず、層入力データの各チャネルのデータの１行目のデータが主演算部１０に入力される。次に、畳み込みフィルタのフィルタ係数のうちの予め定められた１つのフィルタ係数（以下「初期フィルタ係数」という。）について後述する畳み込み処理の２番目～６番目までの処理が実行される。次に、フィルタ係数に対して予め定められた所定の順番にしたがい、畳み込みフィルタの他のフィルタ係数について、フィルタ係数ごとに２番目から６番目までの処理が実行される。以下、層入力データの各チャネルのデータの２行目のデータが主演算部１０に入力され、各フィルタ係数について２番目～６番目の処理が実行される。以下同様にして、以下、層入力データの各チャネルのデータの最後の行（例えば６４行目）まで同様の処理が実行される。
【0077】
以下、畳み込みフィルタがｗ１１、ｗ１２、ｗ２１、ｗ２２の４のフィルタ係数を有する場合を例に畳み込み処理の流れの一例を説明する。また、以下、初期フィルタ係数がｗ１１である場合を例に畳み込み処理の流れの一例を説明する。以下、説明の簡単のため図１４～図１８では、層入力データの各チャネルのデータの１行目のデータが主演算部１０に入力された場合であってフィルタ係数がｗ１１である場合を例に畳み込み処理の流れの一例を説明する。そして図１９では、２番目～６番目の処理が実行されるフィルタ係数がｗ１１からｗ１２に変更される際の、主演算部１０中のデータの変化を説明する。図２０は、層入力データの各チャネルのデータの他の行のデータについて畳み込み処理を実行する場合に、主演算部１０に入力されるデータを説明する。
【0078】
図１４は、実施形態における畳み込み処理の１番目の処理を説明する説明図である。図１４は、畳み込み処理の１番目の処理では、第１アクチベーションデータ入力規則及び第２アクチベーションデータ入力規則にしたがって主演算部１０に層入力データが入力されることを示す。
【0079】
図１５は、実施形態における畳み込み処理の２番目の処理を説明する説明図である。２番目の処理は１番目の処理の次に実行される。
【0080】
図１５において、ｗＡＢは、５指標表示の第４指標がＡで５指標表示の第５指標がＢのフィルタ係数ｗを表す。例えば、ｗ１２は、５指標表示の第４指標が１で５指標表示の第５指標が２のフィルタ係数ｗを表す。畳み込み処理の２番目の処理においては、５指標表示の第４指標及び第５指標が１のフィルタ係数ｗが主演算部１０に入力される。
【0081】
図１５は、畳み込み処理の２番目の処理では、第２バッファ記憶部１２が記憶する畳み込みフィルタのフィルタ係数がフィルタ入力規則にしたがって主演算部１０に入力されることを示す。フィルタ入力規則は、以下の規則条件１を満たす単位処理部１００に規則条件２を満たすフィルタ係数ｗが入力されるという規則である。規則条件１は、フィルタ係数ｗの５指標表示の第１指標が表す層番号と同じ層番号を４指標表示の第１指標が表す単位処理部１００であるという条件を含む。規則条件１は、フィルタ係数ｗの５指標表示の第２指標が表す入力チャネル番号と同じ入力チャネル番号を４指標表示の第２指標が表すアクチベーションデータｘが入力されている単位処理部１００である、という条件を含む。規則条件２は、規則条件１を満たす単位処理部１００に入力されているアクチベーションデータｘの４指標表示の第１指標が表す層番号と同じ層番号を５指標表示の第１指標が表すフィルタ係数ｗである、という条件を含む。規則条件２は、条件１を満たす単位処理部１００に入力されているアクチベーションデータｘの４指標表示の第２指標が表す入力チャネル番号と同じ入力チャネル番号を５指標表示の第２指標が表すフィルタ係数ｗである、という条件を含む。
【0082】
畳み込み処理の２番目の処理では、各単位処理部１００に入力されたフィルタ係数ｗ１１と、畳み込み処理の１番目の処理で各単位処理部１００に入力されたアクチベーションデータｘとの積を算出する処理が各単位処理部１００において実行される。
【0083】
図１６は、実施形態における畳み込み処理の３番目の処理を説明する説明図である。３番目の処理は２番目の処理の次に実行される。
畳み込み処理の３番目の処理においては、各単位処理部１００が接続先の単位処理部１００に、直前の処理で用いたアクチベーションデータｘを出力する。例えば、図１６は、ＰＢ（６３、０）が畳み込み処理の２番目の処理で用いたアクチベーションデータｘ（０、６３、０、０）をＰＢ（０、０）に出力することを示す。すなわち、ＰＢ（０、０）には、アクチベーションデータｘ（０、６３、０、０）が入力される。
畳み込み処理の３番目の処理においては、各単位処理部１００が接続先の単位処理部１００に、直前の処理で用いたアクチベーションデータｘを出力する。例えば、図１６は、ＰＢ（６３、０）が畳み込み処理の２番目の処理で用いたアクチベーションデータｘ（０、６３、０、０）をＰＢ（０、０）に出力することを示す。すなわち、ＰＢ（０、０）には、アクチベーションデータｘ（０、６３、０、０）が入力される。
【0084】
図１７は、実施形態における畳み込み処理の４番目の処理を説明する説明図である。４番目の処理は３番目の処理の次に実行される。畳み込み処理の４番目の処理においては、フィルタ入力規則にしたがって主演算部１０にフィルタ係数ｗが入力される。
【0085】
図１８は、実施形態における畳み込み処理の５番目の処理を説明する説明図である。５番目の処理は４番目の処理の次に実行される。
畳み込み処理の５番目の処理においては、各単位処理部１００が接続先の単位処理部１００に、直前の処理で用いたアクチベーションデータｘを出力する。例えば、図１８は、ＰＢ（６３、０）が畳み込み処理の４番目の処理で用いたアクチベーションデータｘ（０、６２、０、０）をＰＢ（０、０）に出力することを示す。すなわち、ＰＢ（０、０）には、アクチベーションデータｘ（０、６２、０、０）が入力される。
畳み込み処理の５番目の処理においては、各単位処理部１００が接続先の単位処理部１００に、直前の処理で用いたアクチベーションデータｘを出力する。例えば、図１８は、ＰＢ（６３、０）が畳み込み処理の４番目の処理で用いたアクチベーションデータｘ（０、６２、０、０）をＰＢ（０、０）に出力することを示す。すなわち、ＰＢ（０、０）には、アクチベーションデータｘ（０、６２、０、０）が入力される。
【0086】
図１９は、実施形態における畳み込み処理の６番目の処理を説明する説明図である。６番目の処理は５番目の処理の次に実行される。
畳み込み処理の６番目の処理においては、各ＰＢは、ＰＢの第２指標がひとつ大きな値であり第１指標が同じ接続先のＰＢからアクチベーションデータｘが入力される。図１４と図１９とを比較すると、図１９で各ＰＢが記憶するアクチベーションデータｘが図１４で各ＰＢが記憶するアクチベーションデータｘに比べて、４指標表示の第４指標の値が１だけ異なっている。
畳み込み処理の６番目の処理においては、各ＰＢは、ＰＢの第２指標がひとつ大きな値であり第１指標が同じ接続先のＰＢからアクチベーションデータｘが入力される。図１４と図１９とを比較すると、図１９で各ＰＢが記憶するアクチベーションデータｘが図１４で各ＰＢが記憶するアクチベーションデータｘに比べて、４指標表示の第４指標の値が１だけ異なっている。
【0087】
畳み込み処理の６番目の処理の実行後、次のフィルタ係数について２番目～６番目の処理が実行される。次のフィルタ係数とは、例えばｗ１１のフィルタ係数について２番目～６番目の処理が実行された次であればｗ１２のフィルタ係数である。このようにして、層入力データの各チャネルの１行目のデータに対し畳み込みフィルタが備える全てのフィルタ係数について２番目～６番目の処理が実行される。次に、図２０に示す処理が実行される。
【0088】
図２０は、実施形態における畳み込み処理の７番目の処理を説明する説明図である。
図２０は、層入力データの各チャネルの２行目のデータが主演算部１０に入力されることを示す。７番目の処理の実行後、畳み込みフィルタが備える全てのフィルタ係数について２番目～６番目の処理が実行される。次に、層入力データの各チャネルの次の行のデータが主演算部１０に入力される。次の行とは、例えば、直前の行が２行目であれば３行目である。次の行とは、例えば、直前の行がｉ行目であれば（ｉ＋１）行目である。
図２０は、層入力データの各チャネルの２行目のデータが主演算部１０に入力されることを示す。７番目の処理の実行後、畳み込みフィルタが備える全てのフィルタ係数について２番目～６番目の処理が実行される。次に、層入力データの各チャネルの次の行のデータが主演算部１０に入力される。次の行とは、例えば、直前の行が２行目であれば３行目である。次の行とは、例えば、直前の行がｉ行目であれば（ｉ＋１）行目である。
【0089】
図２１は、実施形態における畳み込み処理の流れの一例を説明するフローチャートである。図２１において、副畳み込み処理とは、畳み込み処理の２番目から６番目の処理を全てのフィルタ係数について実行する処理である。
【0090】
畳み込み処理が開始される（ステップＳ１０１）。主演算部１０に層入力データの各チャネルの１行目のアクチベーションデータｘが第１バッファ記憶部１１から入力される（ステップＳ１０２）。副畳み込み処理の実行が開始される（ステップＳ１０３）。副畳み込み処理において、まず、畳み込み処理の２番目の処理が実行される（ステップＳ１０４）。次に、畳み込み処理の３番目の処理が実行される（ステップＳ１０５）。次に、畳み込み処理の４番目の処理が実行される（ステップＳ１０６）。次に、畳み込み処理の５番目の処理が実行される（ステップＳ１０７）。次に、畳み込み処理の６番目の処理が実行される（ステップＳ１０８）。全てのフィルタ係数についてステップＳ１０４～ステップＳ１０８の処理が実行されると、ステップＳ１０２で入力されたアクチベーションデータｘに対する副畳み込み処理が終了する（ステップＳ１０９）。層入力データの全ての行のアクチベーションデータｘに対して副畳み込み処理が実行されたか否かが判定される（ステップＳ１１０）。ステップＳ１１０の判定は例えば制御部１４によって判定される。副畳み込み処理が実行されていない行が有る場合（ステップＳ１１０：ＹＥＳ）、主演算部１０に、層入力データの各チャネルの未だ副畳み込み処理が実行されていない行のアクチベーションデータｘが第１バッファ記憶部１１から入力される（ステップＳ１１１）。未だ副畳み込み処理が実行されていない行が複数ある場合、予め定められた処理の順番でアクチベーションデータｘが入力される。予め定められた所定の順番は、例えば、行の番号が小さい順番である。次に、ステップＳ１０３の処理に戻り、ステップＳ１０９までの処理が実行され、ステップＳ１１０の判定が行われる。一方、副畳み込み処理が実行されていない行が無い場合（ステップＳ１１０：ＮＯ）、畳み込み処理が終了する（ステップＳ１１２）。
【0091】
このように構成された実施形態のニューラルネットワーク回路１は、畳み込み層の処理において、第１バッファ記憶部１１及び第２バッファ記憶部１２から主演算部１０に入力されたデータが、単位処理部１００から他の単位処理部１００に出力される。このため、主演算部１０が第１バッファ記憶部１１及び第２バッファ記憶部１２からデータを読み出す機会が少ない。このことは、ニューラルネットワーク回路１が、第１外部メモリ９１及び第２外部メモリ９２からデータを読み出す機会が少ないことを意味する。そのため、このように構成されたニューラルネットワーク回路１は、畳み込み層の処理において、畳み込みニューラルネットワークにおける演算速度を向上させることができる。また、第１外部メモリ９１及び第２外部メモリ９２からデータを読み出す機会が少ないため、ニューラルネットワーク回路１は、消費電力の少ない回路である。
【0092】
＜全結合層における処理＞
主演算部１０が実行する全結合層における処理（以下「全結合処理」という。）について図２２～図３２を用いて説明する。全結合層における処理の説明においては、記号ｗは、フィルタ係数ではなく全結合係数を表す。
主演算部１０が実行する全結合層における処理（以下「全結合処理」という。）について図２２～図３２を用いて説明する。全結合層における処理の説明においては、記号ｗは、フィルタ係数ではなく全結合係数を表す。
【0093】
図２２は、実施形態における全結合処理の概要を説明する説明図である。
図２２におけるｘ０、ｘ１、ｘ２及びｘ３はアクチベーションデータを表す。図２２におけるｗ００、ｗ０１、ｗ０２及びｗ０３は全結合係数を表す。図２２におけるｕ０、ｕ１、ｕ２及びｕ３は、活性を表す。
図２２におけるｘ０、ｘ１、ｘ２及びｘ３はアクチベーションデータを表す。図２２におけるｗ００、ｗ０１、ｗ０２及びｗ０３は全結合係数を表す。図２２におけるｕ０、ｕ１、ｕ２及びｕ３は、活性を表す。
【0094】
全結合処理では、ｘ０、ｘ１、ｘ２及びｘ３のそれぞれについて予め定められた全結合係数が乗算される。図２２において、全結合係数ｗＡＢは、活性ｕＡを算出する演算においてアクチベーションデータｘＢに対して乗算される値であることを示す。すなわち、全結合係数ｗは２つの指標によって他の全結合係数と区別される値であって、全結合係数ｗＡＢの第１指標Ａは活性ｕＡの算出に用いられる値であることを表す。また、全結合係数ｗＡＢの第２指標Ｂは乗算先のアクチベーションデータｘＢを表す。全結合処理では、乗算後の値の和を１つの活性として出力する。例えば、図２２の例では、ｘ０とｗ００との積と、ｘ１とｗ０１との積と、ｘ２とｗ０２との積と、ｘ３とｗ０３との積との和が活性ｕ０として出力される。他の活性ｕについても同様であり、図２２の例で算出される活性ｕを数式で表せば、以下の式（３）～式（５）で表される。
【0095】
【数3】
【0096】
【数4】
【0097】
【数5】
【0098】
このように、全結合処理においては、複数の活性ｕＡが算出される。そこで、全結合処理の実行のため、制御用バッファ記憶部１３は、予め、各活性ｕＡについて全結合層の処理において活性ｕＡを算出するために用いられる単位処理部１００を示す情報（以下「全結合対応情報」という。）が記憶されている。
【0099】
図２３は、実施形態の全結合処理の実行時の単位処理部１００間のデータの流れの一例を説明する第１の説明図である。
図２３は、単位処理部１００には、コンフィギュレーションデータによって接続先として示された他の単位処理部１００からデータが入力されることを示す。図２３の例では、例えば、ＰＢ（１、１）には、ＰＢ（０、１）、ＰＢ（１、０）、ＰＢ（１、２）及びＰＢ（２、１）からデータが入力される。
図２３は、単位処理部１００には、コンフィギュレーションデータによって接続先として示された他の単位処理部１００からデータが入力されることを示す。図２３の例では、例えば、ＰＢ（１、１）には、ＰＢ（０、１）、ＰＢ（１、０）、ＰＢ（１、２）及びＰＢ（２、１）からデータが入力される。
【0100】
図２４は、実施形態の全結合処理の実行時の単位処理部１００間のデータの流れの一例を説明する第２の説明図である。
図２４は、単位処理部１００には、コンフィギュレーションデータによって接続先として示された他の単位処理部１００にデータが出力されることを示す。図２４の例では、例えば、ＰＢ（１、１）から、ＰＢ（０、１）、ＰＢ（１、０）、ＰＢ（１、２）及びＰＢ（２、１）にデータが出力される。
図２４は、単位処理部１００には、コンフィギュレーションデータによって接続先として示された他の単位処理部１００にデータが出力されることを示す。図２４の例では、例えば、ＰＢ（１、１）から、ＰＢ（０、１）、ＰＢ（１、０）、ＰＢ（１、２）及びＰＢ（２、１）にデータが出力される。
【0101】
図２５～図３１を用いて、全結合処理の流れの一例を説明する。全結合処理は、後述する１番目の処理から６番目までの処理を含む。全結合処理では、後述する１番目から６番目までの処理の実行後、４番目の処理から６番目の処理が所定の終了条件を満たすまで繰り返される。所定の終了条件は、例えば、全結合係数の全てが活性ｕの算出に用いられた、という条件である。
【0102】
図２５は、実施形態における全結合処理の１番目の処理の一例を説明する説明図である。全結合処理の１番目の処理では、予め対応付けられた単位処理部１００に第１バッファ記憶部１１からアクチベーションデータｘが入力される。全結合処理におけるアクチベーションデータは、例えば、畳み込み処理によって算出された活性である。
【0103】
図２５の例は、ＰＢ（０、０）にアクチベーションデータｘ０が入力されていることを示す。図２５の例は、ＰＢ（０、１）にアクチベーションデータｘ１が入力されていることを示す。図２５の例は、ＰＢ（１、０）にアクチベーションデータｘ２が入力されていることを示す。図２５の例は、ＰＢ（１、１）にアクチベーションデータｘ３が入力されていることを示す。すなわち、図２５の例は、式（５）の計算におけるアクチベーションデータｘ０、ｘ１、ｘ２、ｘ３が主演算部１０に読み出されていることを示す。すなわち、図２５の例では、以下の式（７）における点線で囲まれた値が単位処理部１００に読み出されていることを示す。
【0104】
【数6】
【0105】
図２６及び図２７は、全結合処理の２番目の処理を説明する説明図である。
図２６は、実施形態における全結合処理の２番目の処理の一例を説明する第１の説明図である。２番目の処理は１番目の処理の次に実行される。全結合処理の２番目の処理では、全結合係数入力第１規則にしたがって第２バッファ記憶部１２が記憶する全結合係数が主演算部１０に入力される。全結合係数入力第１規則は、以下の規則条件３を満たす単位処理部１００に以下の規則条件４及び規則条件５を満たす全結合係数ｗが入力されるという規則である。規則条件３は、入力予定の全結合係数ｗＡＢの第２指標が示すアクチベーションデータｘＢが１番目の処理によって入力された単位処理部１００である、という条件である。規則条件４は、入力先の単位処理部１００には第２指標が示すアクチベーションデータｘＢが１番目の処理によって入力済みである、という条件である。規則条件５は、入力先の単位処理部１００は、第１指標が示す活性ｕＡを算出するための単位処理部１００であることが全結合対応情報によって示されている、という条件である。
図２６は、実施形態における全結合処理の２番目の処理の一例を説明する第１の説明図である。２番目の処理は１番目の処理の次に実行される。全結合処理の２番目の処理では、全結合係数入力第１規則にしたがって第２バッファ記憶部１２が記憶する全結合係数が主演算部１０に入力される。全結合係数入力第１規則は、以下の規則条件３を満たす単位処理部１００に以下の規則条件４及び規則条件５を満たす全結合係数ｗが入力されるという規則である。規則条件３は、入力予定の全結合係数ｗＡＢの第２指標が示すアクチベーションデータｘＢが１番目の処理によって入力された単位処理部１００である、という条件である。規則条件４は、入力先の単位処理部１００には第２指標が示すアクチベーションデータｘＢが１番目の処理によって入力済みである、という条件である。規則条件５は、入力先の単位処理部１００は、第１指標が示す活性ｕＡを算出するための単位処理部１００であることが全結合対応情報によって示されている、という条件である。
【0106】
図２６は、第２バッファ記憶部１２から全結合係数が主演算部１０に入力されることを示す。具体的には、図２６は、全結合係数ｗ００がＰＢ（０、０）に入力され、全結合係数ｗ２２がＰＢ（１、０）に入力されることを示す。すなわち、図２６の例では、以下の式（７）における点線で囲まれた値が対応する単位処理部１００に読み出されていることを示す。
【0107】
【数7】
【0108】
図２７は、実施形態における全結合処理の２番目の処理の一例を説明する第２の説明図である。
図２７は、第２バッファ記憶部１２から全結合係数が主演算部１０に入力されることを示す。具体的には、図２７は、全結合係数ｗ１１がＰＢ（０、１）に入力され、全結合係数ｗ３３がＰＢ（１、１）に入力されることを示す。すなわち、図２７の例では、以下の式（８）における点線で囲まれた値が対応する単位処理部１００に読み出されていることを示す。
図２７は、第２バッファ記憶部１２から全結合係数が主演算部１０に入力されることを示す。具体的には、図２７は、全結合係数ｗ１１がＰＢ（０、１）に入力され、全結合係数ｗ３３がＰＢ（１、１）に入力されることを示す。すなわち、図２７の例では、以下の式（８）における点線で囲まれた値が対応する単位処理部１００に読み出されていることを示す。
【0109】
【数8】
【0110】
図２８は、実施形態における全結合処理の３番目の処理の一例を説明する説明図である。３番目の処理は２番目の処理の次に実行される。
全結合処理の３番目の処理においては、全結合処理の１番目の処理と２番目の処理とで各単位処理部１００に入力された値の積が各単位処理部１００で計算される。すなわち、図２５～図２７の例では、以下の式（９）における点線で囲まれた項の値が算出される。算出された値（以下「全結合積結果」という。）は、各単位処理部１００が備えるレジスタ１１７に記憶される。
全結合処理の３番目の処理においては、全結合処理の１番目の処理と２番目の処理とで各単位処理部１００に入力された値の積が各単位処理部１００で計算される。すなわち、図２５～図２７の例では、以下の式（９）における点線で囲まれた項の値が算出される。算出された値（以下「全結合積結果」という。）は、各単位処理部１００が備えるレジスタ１１７に記憶される。
【0111】
【数9】
【0112】
図２９は、実施形態における全結合処理の４番目の処理の一例を説明する説明図である。４番目の処理は３番目の処理の次、又は、後述する６番目の処理の次に実行される。
全結合処理の４番目の処理では、各単位処理部１００が接続先の単位処理部１００に、直前の処理で用いたアクチベーションデータｘを出力する。例えば、図２９は、ＰＢ（１、０）が全結合処理の３番目の処理で用いたアクチベーションデータｘ２をＰＢ（０、０）に出力することを示す。すなわち、ＰＢ（０、０）には、アクチベーションデータｘ２が入力される。より具体的には、図２９の例では、全結合処理の４番目の処理により、以下の式（１０）における点線で囲まれた項の値が対応する単位処理部１００に入力される。
全結合処理の４番目の処理では、各単位処理部１００が接続先の単位処理部１００に、直前の処理で用いたアクチベーションデータｘを出力する。例えば、図２９は、ＰＢ（１、０）が全結合処理の３番目の処理で用いたアクチベーションデータｘ２をＰＢ（０、０）に出力することを示す。すなわち、ＰＢ（０、０）には、アクチベーションデータｘ２が入力される。より具体的には、図２９の例では、全結合処理の４番目の処理により、以下の式（１０）における点線で囲まれた項の値が対応する単位処理部１００に入力される。
【0113】
【数10】
【0114】
図３０は、実施形態における全結合処理の５番目の処理の一例を説明する説明図である。５番目の処理は４番目の処理の次に実行される。
全結合処理の５番目の処理においては、全結合係数入力第２規則にしたがって第２バッファ記憶部１２が記憶する全結合係数が主演算部１０に入力される。全結合係数入力第２規則は、以下の規則条件６を満たす単位処理部１００に以下の規則条件７及び規則条件８を満たす全結合係数ｗが入力されるという規則である。規則条件６は、全結合処理の直前の処理（すなわち全結合処理の４番目の処理）において全結合係数ｗＡＢの第２指標が示すアクチベーションデータｘＢが入力された単位処理部１００である、という条件を含む。規則条件７は、規則条件３を満たす単位処理部１００に入力されているアクチベーションデータｘＢを第２指標が示す全結合係数である、という条件を含む。規則条件８は、第１指標が示す活性ｕＡが、全結合処理の２番目の処理において規則条件３を満たす単位処理部１００に入力された全結合係数の第１指標が示す活性ｕＡである、という条件を含む。
全結合処理の５番目の処理においては、全結合係数入力第２規則にしたがって第２バッファ記憶部１２が記憶する全結合係数が主演算部１０に入力される。全結合係数入力第２規則は、以下の規則条件６を満たす単位処理部１００に以下の規則条件７及び規則条件８を満たす全結合係数ｗが入力されるという規則である。規則条件６は、全結合処理の直前の処理（すなわち全結合処理の４番目の処理）において全結合係数ｗＡＢの第２指標が示すアクチベーションデータｘＢが入力された単位処理部１００である、という条件を含む。規則条件７は、規則条件３を満たす単位処理部１００に入力されているアクチベーションデータｘＢを第２指標が示す全結合係数である、という条件を含む。規則条件８は、第１指標が示す活性ｕＡが、全結合処理の２番目の処理において規則条件３を満たす単位処理部１００に入力された全結合係数の第１指標が示す活性ｕＡである、という条件を含む。
【0115】
例えば、図３０の例では、ＰＢ（０、０）には全結合係数ｗ０２が入力される。例えば、図３０の例では、ＰＢ（０、１）には全結合係数ｗ１０が入力される。例えば、図３０の例では、ＰＢ（１、０）には全結合係数ｗ２３が入力される。例えば、図３０の例では、ＰＢ（１、１）には全結合係数ｗ３１が入力される。より具体的には、図３０の例では、全結合処理の５番目の処理により、以下の式（１１）における点線で囲まれた項の値が対応する単位処理部１００に入力される。
【0116】
【数11】
【0117】
図３１は、実施形態における全結合処理の６番目の処理の一例を説明する説明図である。６番目の処理は５番目の処理の次に実行される。
全結合処理の６番目の処理においては、全結合処理の４番目の処理で入力されたアクチベーションデータと全結合処理の５番目の処理で入力された全結合係数との積が計算される。算出された値は、全結合積結果としてレジスタ１１７に記憶される。例えば、図３１の例では、以下の式（１２）における点線で囲まれた項の値が算出される。
全結合処理の６番目の処理においては、全結合処理の４番目の処理で入力されたアクチベーションデータと全結合処理の５番目の処理で入力された全結合係数との積が計算される。算出された値は、全結合積結果としてレジスタ１１７に記憶される。例えば、図３１の例では、以下の式（１２）における点線で囲まれた項の値が算出される。
【0118】
【数12】
【0119】
図３２は、実施形態における全結合処理の流れの一例を示すフローチャートである。
全結合処理が開始される（ステップＳ２０１）。全結合処理の１番目の処理が実行される（ステップＳ２０２）。次に、全結合処理の２番目の処理が実行される（ステップＳ２０３）。次に、全結合処理の３番目の処理が実行される（ステップＳ２０４）。次に、全結合処理の４番目の処理が実行される（ステップＳ２０５）。次に、全結合処理の５番目の処理が実行される（ステップＳ２０６）。次に、全結合処理の６番目の処理が実行される（ステップＳ２０７）。全結合係数の全てが活性ｕの算出に用いられたか否かが判定される（ステップＳ２０８）。ステップＳ２０８の判定は例えば制御部１４によって判定される。活性ｕの算出に用いられていない全結合係数が有る場合（ステップＳ２０８：ＹＥＳ）、ステップＳ２０５の処理が実行される。一方、活性ｕの算出に用いられていない全結合係数が無い場合（ステップＳ２０８：ＮＯ）、各単位処理部１００は、ステップＳ２０１以降に各単位処理部１００がレジスタ１１７に記憶した全結合積結果の和を算出する（ステップＳ２０９）。算出された和が、活性ｕである。ステップＳ２０９の次に、全結合処理が終了する（ステップＳ２１０）。
全結合処理が開始される（ステップＳ２０１）。全結合処理の１番目の処理が実行される（ステップＳ２０２）。次に、全結合処理の２番目の処理が実行される（ステップＳ２０３）。次に、全結合処理の３番目の処理が実行される（ステップＳ２０４）。次に、全結合処理の４番目の処理が実行される（ステップＳ２０５）。次に、全結合処理の５番目の処理が実行される（ステップＳ２０６）。次に、全結合処理の６番目の処理が実行される（ステップＳ２０７）。全結合係数の全てが活性ｕの算出に用いられたか否かが判定される（ステップＳ２０８）。ステップＳ２０８の判定は例えば制御部１４によって判定される。活性ｕの算出に用いられていない全結合係数が有る場合（ステップＳ２０８：ＹＥＳ）、ステップＳ２０５の処理が実行される。一方、活性ｕの算出に用いられていない全結合係数が無い場合（ステップＳ２０８：ＮＯ）、各単位処理部１００は、ステップＳ２０１以降に各単位処理部１００がレジスタ１１７に記憶した全結合積結果の和を算出する（ステップＳ２０９）。算出された和が、活性ｕである。ステップＳ２０９の次に、全結合処理が終了する（ステップＳ２１０）。
【0120】
このように構成された実施形態のニューラルネットワーク回路１は、全結合層の処理において、第１バッファ記憶部１１及び第２バッファ記憶部１２から主演算部１０に入力されたデータが、単位処理部１００から他の単位処理部１００に出力される。このため、主演算部１０が第１バッファ記憶部１１及び第２バッファ記憶部１２からデータを読み出す機会が少ない。このことは、ニューラルネットワーク回路１が、第１外部メモリ９１及び第２外部メモリ９２からデータを読み出す機会が少ないことを意味する。そのため、このように構成されたニューラルネットワーク回路１は、全結合層の処理において、畳み込みニューラルネットワークにおける演算速度を向上させることができる。また、第１外部メモリ９１及び第２外部メモリ９２からデータを読み出す機会が少ないため、ニューラルネットワーク回路１は、消費電力の少ない回路である。
【0121】
また、このように構成された実施形態のニューラルネットワーク回路１は、制御部１４の制御によりコンフィギュレーションデータに基づいて単位処理部１００間の接続関係を変更することができる。そのため、ニューラルネットワーク回路１は同一の回路で、畳み込み層の処理と全結合層の処理とを実行することができる汎用性の高い回路である。
【0122】
（変形例）
なお、主演算部１０において単位処理部１００は、必ずしも格子状に２次元的に配置されている必要は無い。複数の単位処理部１００は、コンフィギュレーションデータが示す接続関係で他の単位処理部１００に接続可能な位置に配置されればどのように配置されてもよい。例えば、単位処理部１００は、３次元的に配置されていてもよい。例えば、各単位処理部１００は、立方格子の各頂点に位置してもよい。
なお、主演算部１０において単位処理部１００は、必ずしも格子状に２次元的に配置されている必要は無い。複数の単位処理部１００は、コンフィギュレーションデータが示す接続関係で他の単位処理部１００に接続可能な位置に配置されればどのように配置されてもよい。例えば、単位処理部１００は、３次元的に配置されていてもよい。例えば、各単位処理部１００は、立方格子の各頂点に位置してもよい。
【0123】
なお、第１バッファ記憶部１１は、第１記憶部の一例である。なお、第２バッファ記憶部１２は、第２記憶部の一例である。なお、単位処理部１００は演算部の一例である。なお、フィルタ係数及び全結合係数は重みデータの一例である。なお、アクチベーションデータとフィルタ係数との積と、アクチベーションデータと全結合係数との積とは、項値の一例である。なお、図１５及び図１７における各フィルタ係数と、図２６～図３１における各全結合係数とは、重みデータに関する所定の条件を満たす１つの前記重みデータの一例である。なお、規則条件１、規則条件２、規則条件４、規則条件５、規則条件７及び規則条件８は、重みデータに関する所定の条件の一例である。
【0124】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0125】
１…ニューラルネットワーク回路、 １０…主演算部、 １１…第１バッファ記憶部、 １２…第２バッファ記憶部、 １３…制御用バッファ記憶部、 １４…制御部、 １００…単位処理部、 １０１…接続部、 １０２…積和演算部、 １１１…入力制御回路、 １１２…重み制御回路、 １１３…出力制御回路、 １１４、１１５、１１６、１１７…レジスタ、 １１８…フィードバック導線、 ２０１…積和演算回路、 ２０２…活性化回路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】