特開 2023-133863 ニューラルネットワーク回路及び演算方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023133863

(43)【公開日】2023-09-27

(54)【発明の名称】ニューラルネットワーク回路及び演算方法

(51)【国際特許分類】

   G06N 3/063 20230101AFI20230920BHJP

   G06F 17/10 20060101ALI20230920BHJP

   G06F 7/523 20060101ALI20230920BHJP

【ＦＩ】

G06N3/063

G06F17/10 A

G06F7/523

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022039095

(22)【出願日】2022-03-14

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】甲地 弘幸

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056BB26

(57)【要約】

【課題】除算を行う回路を小型化する。
【解決手段】ニューラルネットワーク回路は、係数保持部と、乗数データ保持部と、入力データ保持部と、積和演算器と、制御部とを有する。係数保持部は、畳み込み演算に使用するフィルタの係数を保持する。乗数データ保持部は、平均プーリング演算に使用するプーリング窓の要素数の逆数を乗数データとして保持する。入力データ保持部は、畳み込み演算及び平均プーリング演算の入力データを保持する。積和演算器は、積和演算を行う。制御部は、入力データ保持部に保持された入力データ及び係数保持部に保持された係数を積和演算器に入力して積和演算器に畳み込み演算のための積和計算を行わせる制御と、入力データ保持部に保持された入力データ及び乗数データ保持部に保持された乗数データを積和演算器に入力して積和演算器に平均プーリング演算のための積和演算を行わせる制御とを行う。
【選択図】図２

【特許請求の範囲】

【請求項1】

畳み込み演算に使用するフィルタの係数を保持する係数保持部と、
平均プーリング演算に使用するプーリング窓の要素数の逆数を乗数データとして保持する乗数データ保持部と、
前記畳み込み演算及び前記平均プーリング演算の入力データを保持する入力データ保持部と、
積和演算を行う積和演算器と、
前記入力データ保持部に保持された入力データ及び前記係数保持部に保持された係数を前記積和演算器に入力して前記積和演算器に前記畳み込み演算のための積和計算を行わせる制御と、前記入力データ保持部に保持された入力データ及び前記乗数データ保持部に保持された乗数データを前記積和演算器に入力して前記積和演算器に前記平均プーリング演算のための積和演算を行わせる制御とを行う制御部と
を有するニューラルネットワーク回路。

【請求項2】

前記係数保持部及び前記乗数データ保持部の何れかを選択してデータを出力する選択部
を更に有し、
前記制御部は、前記積和演算器に行わせる演算に基づいて前記選択部を更に制御する
請求項１に記載のニューラルネットワーク回路。

【請求項3】

前記プーリング窓の要素数の逆数を算出して前記乗数データ保持部に保持させる逆数算出部を更に有する請求項１に記載のニューラルネットワーク回路。

【請求項4】

畳み込み演算及び平均プーリング演算の入力データを保持する入力データ保持部に保持される入力データ及び前記畳み込み演算に使用するフィルタの係数を保持する係数保持部に保持される係数を積和演算器に入力して前記積和演算器に前記畳み込み演算のための積和計算を行わせることと、
前記入力データ保持部に保持された入力データ及び平均プーリング演算に使用するプーリング窓の要素数の逆数を乗数データとして保持する乗数データ保持部に保持された乗数データを前記積和演算器に入力して前記積和演算器に前記平均プーリング演算のための積和演算を行わせることと
を有する演算方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ニューラルネットワーク回路及び演算方法に関する。

【背景技術】

【0002】

深層学習の一例であるディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）は、近年のＡＩ（Artificial Intelligence）を先導する技術となりつつある。このＤＮＮは、畳み込み層やプーリング層等により構成される。畳み込み層は、畳み込み演算を行う層である。この畳み込み演算は、入力データから局所的に特徴量を抽出する演算である。また、プーリング層は、主に畳み込み演算の結果等の入力データを縮小する演算を行う層である。この演算として入力データの平均値を算出することにより縮小を行う平均プーリング演算が使用されている。この平均プーリング演算は、平均値を算出する際に除算を行う必要がある。この除算を行う除算器は、回路規模が大きいため、ニューラルネットワーク回路のサイズが増加するという問題がある。

【0003】

そこで、シフト演算により除算を行うニューラルネットワーク回路が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１６８０９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の従来技術では、除数が２のべき乗の値に限定されるという問題がある。

【0006】

そこで、本開示では、任意の除数に対応するとともに回路規模の増大を防ぐ除算部を有するニューラルネットワーク回路及び演算方法を提案する。

【課題を解決するための手段】

【0007】

本開示のニューラルネットワーク回路は、係数保持部と、乗数データ保持部と、入力データ保持部と、積和演算器と、制御部とを有する。係数保持部は、畳み込み演算に使用するフィルタの係数を保持する。乗数データ保持部は、平均プーリング演算に使用するプーリング窓の要素数の逆数を乗数データとして保持する。入力データ保持部は、上記畳み込み演算及び上記平均プーリング演算の入力データを保持する。積和演算器は、積和演算を行う。制御部は、上記入力データ保持部に保持された入力データ及び上記係数保持部に保持された係数を上記積和演算器に入力して上記積和演算器に上記畳み込み演算のための積和計算を行わせる制御と、上記入力データ保持部に保持された入力データ及び上記乗数データ保持部に保持された乗数データを上記積和演算器に入力して上記積和演算器に上記平均プーリング演算のための積和演算を行わせる制御とを行う。

【図面の簡単な説明】

【0008】

【図1】本開示の実施形態に係るニューラルネットワーク回路の構成例を示す図である。

【図2】本開示の第１の実施形態に係る演算部の構成例を示す図である。

【図3A】本開示の実施形態に係る畳み込み演算の一例を示す図である。

【図3B】本開示の実施形態に係る畳み込み演算の一例を示す図である。

【図3C】本開示の実施形態に係る畳み込み演算の一例を示す図である。

【図4】本開示の実施形態に係る平均プーリング演算の一例を示す図である。

【図5】本開示の第１の実施形態に係る畳み込み演算の処理手順の一例を示す図である。

【図6】本開示の第１の実施形態に係る平均プーリング演算の処理手順の一例を示す図である。

【図7】本開示の第２の実施形態に係るニューラルネットワーク回路の構成例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態

【0010】

（１．第１の実施形態）
［ニューラルネットワーク回路の構成］
図１は、本開示の実施形態に係るニューラルネットワーク回路の構成例を示す図である。同図は、ニューラルネットワーク回路１０の構成例を表すブロック図である。このニューラルネットワーク回路１０は、畳み込み演算や平均プーリング演算等のＤＮＮに関する演算を行う回路である。ニューラルネットワーク回路１０は、メモリ装置から読み出したデータの演算を行い、演算結果をメモリ装置に書き込む処理を行う。ニューラルネットワーク回路１０が処理するデータには、例えば、画像データ等の２次元配列構造のデータを想定する。

【0011】

ニューラルネットワーク回路１０は、制御部１１と、ホストインターフェイス１２と、パラメータレジスタ１３と、読み出し制御部１４及び１５と、書き込み制御部１６と、バスインターフェイス１７と、領域分割部１８と、領域統合部１９とを備える。また、ニューラルネットワーク回路１０は、データ変換部２０及び３０と、バッファ選択部４０及び５０と、Ｘバッファ１１０と、Ｓバッファ１２０と、Ｗバッファ１３０と、Ｂバッファ１４０と、出力バッファ１５０と、演算制御部１６０とを更に備える。また、ニューラルネットワーク回路１０は、浮動小数点積和演算アレイ１７０と、量子化積和演算アレイ１８０と、固定小数点積和演算アレイ１９０とを更に備える。

【0012】

制御部１１は、ニューラルネットワーク回路１０の全体を制御するものである。この制御部１１は、後述するパラメータレジスタ１３に保持されたパラメータに基づいて制御を行う。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）やマイコン、及びステートマシン回路等により構成することができる。

【0013】

ホストインターフェイス１２は、ホストシステムとの間のやり取りを行うものである。バスインターフェイス１７は、バスを介したメモリ装置との間のやり取りを行うものである。

【0014】

パラメータレジスタ１３は、演算におけるパラメータを保持するものである。このパラメータレジスタ１３には、メモリ装置及びホストシステムからパラメータが入力される。

【0015】

読み出し制御部１４及び読み出し制御部１５は、メモリ装置からデータを読み出す制御を行うものである。読み出し制御部１４は、読み出したデータをパラメータレジスタ１３に対して出力する。読み出し制御部１５は、読み出したデータを領域分割部１８に対して出力する。

【0016】

領域分割部１８は、入力データを分割するものである。この領域分割部１８は、バスインターフェイス１７により規定される読み出し幅の入力データをＸバッファ１１０等に格納する際の最小幅に分割する。領域分割部１８は、例えば、入力データを８ビット毎に分割することができる。領域分割部１８は、分割したデータをデータ変換部２０に対して出力する。

【0017】

データ変換部２０は、データ形式を変換するものである。このデータ変換部２０は、入力データを後段の積和演算において適用される形式に変換するものである。

【0018】

バッファ選択部４０は、後述するＸバッファ１１０、Ｓバッファ１２０、Ｗバッファ１３０及びＢバッファ１４０を選択するものである。このバッファ選択部４０は、データ変換部２０からのデータを選択したＸバッファ１１０等に入力する。

【0019】

Ｘバッファ１１０は、畳み込み演算の対象となるデータを保持するものである。このＸバッファ１１０は、入力データのチャネル数に応じて複数配置される。

【0020】

Ｓバッファ１２０は、演算制御部１６０や選択部１６１の処理の効率化のためのデータを保持するものである。このＳバッファ１２０は、入力データのチャネル数に応じて複数配置される。

【0021】

Ｗバッファ１３０は、畳み込み演算におけるフィルタの係数を保持するものである。このＷバッファ１３０は、入力データのチャネル数に応じて複数配置される。

【0022】

Ｂバッファ１４０は、畳み込み演算におけるバイアス値を保持するものである。このＢバッファ１４０は、入力データのチャネル数に応じて複数配置される。

【0023】

Ｘバッファ１１０、Ｓバッファ１２０、Ｗバッファ１３０及びＢバッファ１４０は、半導体メモリにより構成することができる。

【0024】

演算制御部１６０は、積和演算の入出力を制御するものである。この演算制御部１６０は、選択部１６１を備える。選択部１６１は、Ｘバッファ１１０、Ｓバッファ１２０、Ｗバッファ１３０及びＢバッファ１４０を選択し、選択したＸバッファ１１０等からデータを読み出す。また、選択部１６１は、浮動小数点積和演算アレイ１７０、量子化積和演算アレイ１８０及び固定小数点積和演算アレイ１９０の何れかを選択し、Ｘバッファ１１０等からのデータを入力する。また、選択部１６１は、選択した浮動小数点積和演算アレイ１７０等から演算結果を取得して出力バッファ１５０に対して出力する。

【0025】

浮動小数点積和演算アレイ１７０は、浮動小数点数の積和演算を行う積和演算器１７１が複数配置されて構成されるものである。同図の浮動小数点積和演算アレイ１７０には、複数の積和演算器１７１が配置される。この積和演算器１７１には、例えば、１６ビットの半精度浮動小数点数による積和演算を行う積和演算器を適用することができる。

【0026】

量子化積和演算アレイ１８０は、量子化積和演算を行う積和演算器１７２が複数配置されて構成されるものである。

【0027】

固定小数点積和演算アレイ１９０は、固定小数点数の積和演算を行う積和演算器１７３が複数配置されて構成されるものである。

【0028】

出力バッファ１５０は、積和演算の結果を保持するものである。この出力バッファ１５０は、保持したデータをデータ変換部３０に対して出力する。出力バッファ１５０は、半導体メモリにより構成することができる。

【0029】

バッファ選択部５０は、出力バッファ１５０を選択するものである。このバッファ選択部５０は、選択した出力バッファ１５０からのデータをデータ変換部３０に対して出力する。

【0030】

データ変換部３０は、積和計算の演算結果を元のデータの形式に変換するものである。データ変換部３０は、変換したデータを領域統合部１９に対して出力する。

【0031】

領域統合部１９は、領域分割部１８により分割されたデータを統合するものである。この領域統合部１９は、統合したデータを書き込み制御部１６に対して出力する。

【0032】

書き込み制御部１６は、領域統合部１９から出力されたデータをメモリ装置に書き込むものである。この書き込み制御部１６は、バスインターフェイス１７を介してデータの書き込みを行う。

【0033】

［演算部の構成］
図２は、本開示の第１の実施形態に係る演算部の構成例を示す図である。同図は、ニューラルネットワーク回路１０における畳み込み演算及び平均プーリング演算を行う部分を表す演算部のブロック図である。同図の演算部は、入力データ保持部１００と、係数保持部１０１と、乗算データ保持部１０２と、選択部１６１と、積和演算器１７３と、出力バッファ１５０と、制御部１１とを備える。

【0034】

入力データ保持部１００は、畳み込み演算及び平均プーリング演算の入力データを保持するものである。この入力データ保持部１００は、図１において説明したＸバッファ１１０及びＢバッファ１４０に対応するものである。

【0035】

係数保持部１０１は、畳み込み演算に使用するフィルタの係数を保持するものである。この係数保持部１０１は、図１において説明したＷバッファ１３０に対応するものである。

【0036】

乗算データ保持部１０２は、乗算データを保持するものである。この乗算データは、平均プーリング演算に使用するプーリング窓の要素数の逆数に相当する。乗算データ保持部１０２は、図１のパラメータレジスタ１３に含まれる。

【0037】

選択部１６１は、係数保持部１０１及び乗算データ保持部１０２の何れかを選択してデータを出力するものである。この選択部１６１は、制御部１１の制御に基づいて選択を行う。

【0038】

積和演算器１７３は、積和演算を行うものである。同図の積和演算器１７３は、入力データ保持部１００からのデータと選択部１６１により選択された係数保持部１０１及び乗算データ保持部１０２の何れかのデータとについて積和演算を行う。積和演算器１７３の演算結果は、出力バッファ１５０に保持される。

【0039】

制御部１１は、同図の演算部において畳み込み演算及び平均プーリング演算の制御を行うものである。具体的には、制御部１１は、入力データ保持部１００からの入力データ及び係数保持部１０１に保持された係数を積和演算器１７３に入力して積和演算器１７３に畳み込み演算のための積和計算を行わせる制御を行う。また、制御部１１は、入力データ保持部１００に保持された入力データ及び乗算データ保持部１０２に保持された乗数データを積和演算器１７３に入力して積和演算器１７３に平均プーリング演算のための積和演算を行わせる制御を更に行う。制御部１１は、畳み込み演算の際に選択部１６１に係数保持部１０１を選択させる制御を行い、平均プーリング演算の際に選択部１６１に乗算データ保持部１０２を選択させる制御を行う。畳み込み演算及び平均プーリング演算の詳細について次に説明する。

【0040】

［畳み込み演算］
図３Ａ－３Ｃは、本開示の実施形態に係る畳み込み演算の一例を示す図である。同図は、図２の演算部における畳み込み演算を説明する図である。また、同図は、入力データ２００に対して畳み込み演算を行い、演算結果を出力データ２０１に格納する例を表したものである。入力データ２００は、例えば、２次元行列状に構成された画像データである。同図の入力データ２００の矩形は、画素毎の画像信号を表す。同図の入力データ２００の行方向の幅及び列方向の高さをそれぞれｘｗ及びｘｈにより表す。この入力データ２００は、Ｘバッファ１１０に保持されるデータである。

【0041】

出力データ２０１の矩形は、それぞれの演算結果を格納する領域を表す。同図の出力データ２０１の行方向の幅及び列方向の高さをそれぞれｏｗ及びｏｈにより表す。この出力データ２０１は、出力バッファ１５０に保持されるデータである。

【0042】

同図のハッチングを付した領域は、フィルタの係数２１０の領域を表すものである。同図の係数２１０の行方向（横方向）の幅及び列方向（縦方向）の高さをそれぞれｋｗ及びｋｈにより表す。この係数２１０の領域が重ねられる入力データ２００の領域について畳み込み演算が行われる。具体的には、入力データ２００及び係数２１０の要素同士の積の総和が出力データ２０１の対応する領域に格納される。同図は、ｋｗ及びｋｈがそれぞれ値３の場合の例を表したものである。

【0043】

図３Ａに表したように、入力データ２００の左上の領域において畳み込み演算を行う。演算結果は、出力データ２０１の左上の領域に格納される。出力データ２０１の隣接する領域の要素を計算する場合には、係数２１０の領域を横方向及び縦方向にずらして畳み込み演算を行う。

【0044】

図３Ｂは係数２１０の領域を横方向にずらす場合の例を表したものである。横方向のずらし幅をｓｗにより表す。同図は、ｓｗが値２の場合の例を表したものである。

【0045】

図３Ｃは係数２１０の領域を縦方向にずらす場合の例を表したものである。縦方向のずらし幅をｓｈにより表す。同図は、ｓｈが値２の場合の例を表したものである。

【0046】

なお、図３Ａ－３Ｃにおいては、チャネル方向の演算を省略している。畳み込み演算は、次式により表すことができる。

【0047】

【数1】

ここで、ｏは畳み込み演算の結果を表す。ｉ及びｊは、出力データ２０１の領域を示す変数である。ｉは行の位置を表し、ｊが列の位置を表す。ｘは入力データ２００を表す。ｓｈ及びｓｗは、上述のずらし幅である。ｗは、係数２１０を表す。ｋ及びｌは、係数２１０の領域を示す変数である。ｋが行の位置を表し、ｌが列の位置を表す。ｂは、バイアス値を表す。

【0048】

式（１）の演算は、図２の積和演算器１７３が実行する。また、ｘはＸバッファ１１０から出力され、ｓｗ及びｓｈはパラメータレジスタ１３から出力され、ｂはＢバッファ１４０から出力される。ｗは、係数保持部１０１に該当するＷバッファ１３０から出力される。また、ｏは、出力バッファ１５０に保持される。

【0049】

［平均プーリング演算］
図４は、本開示の実施形態に係る平均プーリング演算の一例を示す図である。同図は、図２の演算部における平均プーリング演算を説明する図である。同図は、入力データ２００に対して平均プーリング演算を行い、演算結果を出力データ２０１に格納する例を表したものである。

【0050】

同図のハッチングを付した領域は、プーリング窓２１１の領域を表すものである。このプーリング窓は、平均プーリング演算におけるプーリング（pooling）の対象となる領域である。同図のプーリング窓２１１の行方向の幅及び列方向の高さをそれぞれｋｗ及びｋｈにより表す。同図は、ｋｗ及びｋｈがそれぞれ値２の場合の例を表したものである。

【0051】

平均プーリング演算においても、横方向及び縦方向にプーリング窓２１１をずらしながら演算を行い、演算結果が出力データ２０１の対応する領域に格納される。平均プーリング演算は、次式により表すことができる。

【0052】

【数2】

式（２）に表したように、平均プーリング演算は、プーリング窓２１１に含まれるデータの平均を算出する演算である。同図は、４画素のデータの平均を算出する例を表したものである。

【0053】

ここで、式（１）においてｓｗ＝ｋｗ及びｓｈ＝ｋｈとし、バイアス値ｂを値０とし、係数２１０の全ての要素を１／（ｋｈ×ｋｗ）とすると、式（１）は、次のように表すことができる。

【0054】

【数3】

式（３）に表したように、式（１）の畳み込み演算は、式（２）の平均プーリング演算に帰着することとなる。上述の係数２１０の全ての要素を１／（ｋｈ×ｋｗ）にしてプーリング窓２１１の要素数の逆数を係数に設定し、畳み込み演算の式に代入することにより、平均プーリング演算を行うことができる。このため、畳み込み演算に使用する積和演算器１７３を平均プーリング演算に適用することができる。

【0055】

プーリング窓２１１の要素数の逆数は、図２の乗算データ保持部１０２に保持される。図２の選択部１６１により係数保持部１０１及び乗算データ保持部１０２の何れかを選択することにより、積和演算器１７３に畳み込み演算および平均プーリング演算を行わせることができる。

【0056】

［畳み込み演算処理］
図５は、本開示の第１の実施形態に係る畳み込み演算の処理手順の一例を示す図である。同図は、図２の演算部における畳み込み演算の処理手順の一例を表す流れ図である。まず、制御部１１が畳み込み演算の入力データを入力データ保持部１００に入力する（ステップＳ１０１）。次に、制御部１１が係数を係数保持部１０１に入力する（ステップＳ１０２）。次に、選択部１６１が係数保持部１０１を選択する（ステップＳ１０３）。次に、積和演算器１７３が積和演算を行う（ステップＳ１０４）。次に、積和演算器１７３が演算結果を出力バッファ１５０に出力する（ステップＳ１０５）。以上の処理により畳み込み演算を行うことができる。

【0057】

［平均プーリング演算処理］
図６は、本開示の第１の実施形態に係る平均プーリング演算の処理手順の一例を示す図である。同図は、図２の演算部における平均プーリング演算の処理手順の一例を表す流れ図である。まず、制御部１１が平均プーリング演算の入力データを入力データ保持部１００に入力する（ステップＳ１１１）。この際、制御部１１は、入力データ保持部１００のうちのバイアス値を保持するＢバッファ１４０に値０を入力する。次に、制御部１１が乗算データを乗算データ保持部１０２に入力する（ステップＳ１１２）。次に、選択部１６１が乗算データ保持部１０２を選択する（ステップＳ１１３）。次に、積和演算器１７３が積和演算を行う（ステップＳ１１４）。次に、積和演算器１７３が演算結果を出力バッファ１５０に出力する（ステップＳ１１５）。以上の処理により平均プーリング演算を行うことができる。

【0058】

図５及び６に記載したように、選択部１６１の選択を制御することにより、畳み込み演算及び平均プーリング演算を切り替えることができる。なお、乗算データ保持部１０２には任意の値を入力することができる。このため、積和演算器１７３を入力データ保持部１００に保持した値と乗算データ保持部１０２に保持した値との乗算器として使用することもできる。

【0059】

このように、本開示の第１の実施形態のニューラルネットワーク回路１０は、畳み込み演算に使用する積和演算器１７３を平均プーリング演算の除算器として使用する。これにより、回路規模の増大を防ぐことができる。

【0060】

（２．第２の実施形態）
上述の第１の実施形態のニューラルネットワーク回路１０は、平均プーリング演算に使用するプーリング窓の要素数の逆数である乗算データを乗算データ保持部１０２に保持していた。これに対し、本開示の第２の実施形態の撮像素子１は、乗算データを生成する点で、上述の第１の実施形態と異なる。

【0061】

［ニューラルネットワーク回路の構成］
図７は、本開示の第２の実施形態に係るニューラルネットワーク回路の構成例を示す図である。同図は、図２と同様に、ニューラルネットワーク回路１０の構成例を表すブロック図である。同図のニューラルネットワーク回路１０は、逆数算出部１０３を更に備える点で、図２のニューラルネットワーク回路１０と異なる。

【0062】

逆数算出部１０３は、入力されるプーリング窓の要素数の逆数を算出するものである。この逆数算出部１０３は、算出した逆数を乗算データ保持部１０２に出力し、保持させる。

【0063】

これ以外のニューラルネットワーク回路１０の構成は本開示の第１の実施形態におけるニューラルネットワーク回路１０の構成と同様であるため、説明を省略する。

【0064】

このように、本開示の第２の実施形態のニューラルネットワーク回路１０は、逆数算出部１０３を配置してプーリング窓の要素数の逆数を算出させることにより、平均プーリング演算の処理を簡略化することができる。

【0065】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0066】

なお、本技術は以下のような構成も取ることができる。
（１）
畳み込み演算に使用するフィルタの係数を保持する係数保持部と、
平均プーリング演算に使用するプーリング窓の要素数の逆数を乗数データとして保持する乗数データ保持部と、
前記畳み込み演算及び前記平均プーリング演算の入力データを保持する入力データ保持部と、
積和演算を行う積和演算器と、
前記入力データ保持部に保持された入力データ及び前記係数保持部に保持された係数を前記積和演算器に入力して前記積和演算器に前記畳み込み演算のための積和計算を行わせる制御と、前記入力データ保持部に保持された入力データ及び前記乗数データ保持部に保持された乗数データを前記積和演算器に入力して前記積和演算器に前記平均プーリング演算のための積和演算を行わせる制御とを行う制御部と
を有するニューラルネットワーク回路。
（２）
前記係数保持部及び前記乗数データ保持部の何れかを選択してデータを出力する選択部
を更に有し、
前記制御部は、前記積和演算器に行わせる演算に基づいて前記選択部を更に制御する
前記（１）に記載のニューラルネットワーク回路。
（３）
前記プーリング窓の要素数の逆数を算出して前記乗数データ保持部に保持させる逆数算出部を更に有する前記（１）又は（２）に記載のニューラルネットワーク回路。
（４）
畳み込み演算及び平均プーリング演算の入力データを保持する入力データ保持部に保持される入力データ及び前記畳み込み演算に使用するフィルタの係数を保持する係数保持部に保持される係数を積和演算器に入力して前記積和演算器に前記畳み込み演算のための積和計算を行わせることと、
前記入力データ保持部に保持された入力データ及び平均プーリング演算に使用するプーリング窓の要素数の逆数を乗数データとして保持する乗数データ保持部に保持された乗数データを前記積和演算器に入力して前記積和演算器に前記平均プーリング演算のための積和演算を行わせることと
を有する演算方法。

【符号の説明】

【0067】

１０ ニューラルネットワーク回路
１１ 制御部
４０ バッファ選択部
１００ 入力データ保持部
１０１ 係数保持部
１０２ 乗算データ保持部
１０３ 逆数算出部
１１０ Ｘバッファ
１３０ Ｗバッファ
１４０ Ｂバッファ
１５０ 出力バッファ
１６１ 選択部
１７３ 積和演算器

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】