特開 2022-183833 ニューラルネットワーク回路およびニューラルネットワーク演算方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022183833

(43)【公開日】2022-12-13

(54)【発明の名称】ニューラルネットワーク回路およびニューラルネットワーク演算方法

(51)【国際特許分類】

   G06F 17/10 20060101AFI20221206BHJP

【ＦＩ】

G06F17/10 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021091331

(22)【出願日】2021-05-31

(71)【出願人】

【識別番号】517048278

【氏名又は名称】ＬｅａｐＭｉｎｄ株式会社

(74)【代理人】

【識別番号】100213104

【弁理士】

【氏名又は名称】市川 茂

(72)【発明者】

【氏名】渡邊 賢治

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056BB26

(57)【要約】

【課題】ＩｏＴ機器などの組み込み機器に組み込み可能かつ高性能なニューラルネットワーク回路を提供する。
【解決手段】入力データに対して演算を行う複数のレイヤのための演算手段を備えるニューラルネットワーク装置であって、複数のレイヤは少なくとも第１のパラメータを用いて第１の演算を行う第１のレイヤと、第１の演算とは異なる第２の演算を行う第２のレイヤを含み、第２の演算は第１のパラメータ及び第１のパラメータとは異なる第２のパラメータに基づいて演算を行うことを特徴とする。
【選択図】図１０

【特許請求の範囲】

【請求項1】

入力データに対して演算を行う複数のレイヤのための演算手段を備えるニューラルネットワーク装置であって、
前記複数のレイヤは少なくとも第１のパラメータを用いて第１の演算を行う第１のレイヤと、前記第１の演算とは異なる第２の演算を行う第２のレイヤを含み、
前記第２の演算は前記第１のパラメータ及び前記第１のパラメータとは異なる第２のパラメータに基づいて演算を行うことを特徴とするニューラルネットワーク装置。

【請求項2】

前記第１のレイヤと前記第２のレイヤは前記複数のレイヤにおいて連続して演算を行うレイヤであることを特徴とする請求項１に記載のニューラルネットワーク装置

【請求項3】

前記第１の演算は畳み込み演算を含み、前記第２の演算は量子化演算を含むことを特徴とする請求項１または２に記載のニューラルネットワーク装置

【請求項4】

前記第１のパラメータは畳み込み演算に用いる重みを含み、前記第２のパラメータ量子化演算に用いる量子化パラメータを含むことを特徴とする請求項３に記載のニューラルネットワーク装置。

【請求項5】

前記畳み込み演算を行う入力データの各要素は２ビット以下で表され、前記重みに含まれる各要素は１ビットで表されることを特徴とする請求項４に記載のニューラルネットワーク装置。

【請求項6】

前記演算手段は畳み込み演算を行うための第１の回路を含み、
前記第１の回路は１つ以上の排他的論理和回路及びカウンタ回路を含むことを特徴とする請求項５に記載のニューラルネットワーク装置。

【請求項7】

前記演算手段は第１のレイヤにおける第１の演算と第２のレイヤにおける第２の演算とを並列に行うことを特徴とする請求項１乃至６のいずれか１項に記載のニューラルネットワーク装置。

【請求項8】

請求項１乃至７のいずれか１項に記載のニューラルネットワーク装置を含むエッジデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワーク回路およびニューラルネットワーク演算方法に関する。

【背景技術】

【0002】

近年、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）が画像認識等のモデルとして用いられている。畳み込みニューラルネットワークは、畳み込み層やプーリング層を有する多層構造であり、畳み込み演算等の多数の演算を必要とする。畳み込みニューラルネットワークによる演算を高速化する演算手法が様々考案されている（特許文献１）。
また、組み込み機器において、少ないリソースで畳み込み演算を高速処理する手法として、排他的論理和回路とビットシフトを用いる方法が考案されている（特許文献２）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－０７７８２９号公報

【特許文献2】特開２０２０－０６０９６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方で、ＩｏＴ機器などの組み込み機器においても畳み込みニューラルネットワークを利用した画像認識等を実現することが望まれている。組み込み機器においては、特許文献1等に記載された大規模な専用回路を組み込むことは難しい。また、ＣＰＵやメモリ等のハードウェアリソースが限られた組み込み機器においては、ハードウェアリソースをより効率的に用いて演算性能を高めることが求められる。

【0005】

上記事情を踏まえ、本発明は、ＩｏＴ機器などの組み込み機器に組み込み可能かつ高性能なニューラルネットワーク回路およびニューラルネットワーク演算方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第一の態様に係るニューラルネットワーク装置は、入力データに対して演算を行う複数のレイヤのための演算手段を備えるニューラルネットワーク装置であって、前記複数のレイヤは少なくとも第１のパラメータを用いて第１の演算を行う第１のレイヤと、前記第１の演算とは異なる第２の演算を行う第２のレイヤを含み、前記第２の演算は前記第１のパラメータ及び前記第１のパラメータとは異なる第２のパラメータに基づいて演算を行うことを特徴とする。

【発明の効果】

【0007】

本発明のニューラルネットワーク回路およびニューラルネットワーク演算方法は、ＩｏＴ機器などの組み込み機器に組み込み可能かつ高性能である。

【図面の簡単な説明】

【0008】

【図1】畳み込みニューラルネットワークを示す図である。

【図2】畳み込み層が行う畳み込み演算を説明する図である。

【図3】畳み込み演算のデータの展開を説明する図である。

【図4】第一実施形態に係るニューラルネットワーク回路の全体構成を示す図である。

【図5】同ニューラルネットワーク回路の動作例を示すタイミングチャートである。

【図6】同ニューラルネットワーク回路の他の動作例を示すタイミングチャートである。

【図7】同ニューラルネットワーク回路のＤＭＡＣの内部ブロック図である。

【図8】同ＤＭＡＣの制御回路のステート遷移図である。

【図9】同ニューラルネットワーク回路の畳み込み演算回路の内部ブロック図である。

【図10】同畳み込み演算回路の乗算器の内部ブロック図である。

【図11】同乗算器の積和演算ユニットの内部ブロック図である。

【図12】同畳み込み演算回路のアキュムレータ回路の内部ブロック図である。

【図13】同アキュムレータ回路のアキュムレータユニットの内部ブロック図である。

【図14】同ニューラルネットワーク回路の量子化演算回路の内部ブロック図である。

【図15】同量子化演算回路のベクトル演算回路と量子化回路の内部ブロック図である。

【図16】演算ユニットのブロック図である。

【図17】同量子化回路のベクトル量子化ユニットの内部ブロック図である。

【発明を実施するための形態】

【0009】

（第一実施形態）
本発明の第一実施形態について、図１から図１７を参照して説明する。
図１は、畳み込みニューラルネットワーク２００（以下、「ＣＮＮ２００」という）を示す図である。第一実施形態に係るニューラルネットワーク回路１００（以下、「ＮＮ回路１００」という）が行う演算は、推論時に使用する学習済みのＣＮＮ２００の少なくとも一部である。

【0010】

［ＣＮＮ２００］
ＣＮＮ２００は、畳み込み演算を行う畳み込み層２１０と、量子化演算を行う量子化演算層２２０と、出力層２３０と、を含む多層構造のネットワークである。ＣＮＮ２００の少なくとも一部において、畳み込み層２１０と量子化演算層２２０とが交互に連結されている。ＣＮＮ２００は、画像認識や動画認識に広く使われるモデルである。ＣＮＮ２００は、全結合層などの他の機能を有する層（レイヤ）をさらに有してもよい。

【0011】

図２は、畳み込み層２１０が行う畳み込み演算を説明する図である。
畳み込み層２１０は、入力データａに対して重みｗを用いた畳み込み演算を行う。畳み込み層２１０は、入力データａと重みｗとを入力とする積和演算を行う。

【0012】

畳み込み層２１０への入力データａ（アクティベーションデータ、特徴マップともいう）は、画像データ等の多次元データである。本実施形態において、入力データａは、要素（ｘ，ｙ，ｃ）からなる３次元テンソルである。ＣＮＮ２００の畳み込み層２１０は、低ビットの入力データａに対して畳み込み演算を行う。本実施形態において、入力データａの要素は、２ビットの符号なし整数（０，１，２，３）である。入力データａの要素は、例えば、４ビットや８ビット符号なし整数でもよい。

【0013】

ＣＮＮ２００に入力される入力データが、例えば３２ビットの浮動小数点型など、畳み込み層２１０への入力データａと形式が異なる場合、ＣＮＮ２００は畳み込み層２１０の前に型変換や量子化を行う入力層をさらに有してもよい。

【0014】

畳み込み層２１０の重みｗ（フィルタ、カーネルともいう）は、学習可能なパラメータである要素を有する多次元データである。本実施形態において、重みｗは、要素（ｉ，ｊ，ｃ，ｄ）からなる４次元テンソルである。重みｗは、要素（ｉ，ｊ，ｃ）からなる３次元テンソル（以降、「重みｗｏ」という）をｄ個有している。学習済みのＣＮＮ２００における重みｗは、学習済みのデータである。ＣＮＮ２００の畳み込み層２１０は、低ビットの重みｗを用いて畳み込み演算を行う。本実施形態において、重みｗの要素は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。

【0015】

畳み込み層２１０は、式１に示す畳み込み演算を行い、出力データｆを出力する。式１において、ｓはストライドを示す。図２において点線で示された領域は、入力データａに対して重みｗｏが適用される領域ａｏ（以降、「適用領域ａｏ」という）の一つを示している。適用領域ａｏの要素は、ａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）で表される。

【0016】

【数1】

【0017】

量子化演算層２２０は、畳み込み層２１０が出力する畳み込み演算の出力に対して量子化などを実施する。量子化演算層２２０は、プーリング層２２１と、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２と、活性化関数層２２３と、量子化層２２４と、を有する。

【0018】

プーリング層２２１は、畳み込み層２１０が出力する畳み込み演算の出力データｆに対して平均プーリング（式２）やＭＡＸプーリング（式３）などの演算を実施して、畳み込み層２１０の出力データｆを圧縮する。式２および式３において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、Ｔはプーリング領域の大きさを示す。式３において、ｍａｘはＴに含まれるｉとｊの組み合わせに対するｕの最大値を出力する関数である。

【0019】

【数2】

【0020】

【数3】

【0021】

Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２は、量子化演算層２２０やプーリング層２２１の出力データに対して、例えば式４に示すような演算によりデータ分布の正規化を行う。式４において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、αはスケールを示し、βはバイアスを示す。学習済みのＣＮＮ２００において、αおよびβは学習済みの定数ベクトルである。

【0022】

【数4】

【0023】

活性化関数層２２３は、量子化演算層２２０やプーリング層２２１やＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２の出力に対してＲｅＬＵ（式５）などの活性化関数の演算を行う。式５において、ｕは入力テンソルであり、ｖは出力テンソルである。式５において、ｍａｘは引数のうち最も大きい数値を出力する関数である。

【0024】

【数5】

【0025】

量子化層２２４は、量子化パラメータに基づいて、プーリング層２２１や活性化関数層２２３の出力に対して例えば式６に示すような量子化を行う。式６に示す量子化は、入力テンソルｕを２ビットにビット削減している。式６において、ｑ(ｃ)は量子化パラメータのベクトルである。学習済みのＣＮＮ２００において、ｑ(ｃ)は学習済みの定数ベクトルである。式６における不等式「≦」は「＜」であってもよい。

【0026】

【数6】

【0027】

出力層２３０は、恒等関数やソフトマックス関数等によりＣＮＮ２００の結果を出力する層である。出力層２３０の前段のレイヤは、畳み込み層２１０であってもよいし、量子化演算層２２０であってもよい。

【0028】

ＣＮＮ２００は、量子化された量子化層２２４の出力データが、畳み込み層２１０に入力されるため、量子化を行わない他の畳み込みニューラルネットワークと比較して、畳み込み層２１０の畳み込み演算の負荷が小さい。

【0029】

［畳み込み演算の分割］
ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを部分テンソルに分割して演算する。部分テンソルへの分割方法や分割数は特に限定されない。部分テンソルは、例えば、入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）をａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）に分割することにより形成される。なお、ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを分割せずに演算することもできる。

【0030】

畳み込み演算の入力データ分割において、式１における変数ｃは、式７に示すように、サイズＢｃのブロックで分割される。また、式１における変数ｄは、式８に示すように、サイズＢｄのブロックで分割される。式７において、ｃｏはオフセットであり、ｃｉは０から(Ｂｃ－１)までのインデックスである。式８において、ｄｏはオフセットであり、ｄｉは０から(Ｂｄ－１)までのインデックスである。なお、サイズＢｃとサイズＢｄは同じであってもよい。

【0031】

【数7】

【0032】

【数8】

【0033】

式１における入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）は、サイズＢｃにより分割され、分割された入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）で表される。以降の説明において、分割された入力データａを「分割入力データａ」ともいう。

【0034】

式１における重みｗ（ｉ，ｊ，ｃ，ｄ）は、サイズＢｃおよびＢｄにより分割され、分割された重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）で表される。以降の説明において、分割された重みｗを「分割重みｗ」ともいう。

【0035】

サイズＢｄにより分割された出力データｆ（ｘ，ｙ，ｄｏ）は、式９により求まる。分割された出力データｆ（ｘ，ｙ，ｄｏ）を組み合わせることで、最終的な出力データｆ（ｘ，ｙ，ｄ）を算出できる。

【0036】

【数9】

【0037】

［畳み込み演算のデータの展開］
ＮＮ回路１００は、畳み込み層２１０の畳み込み演算における入力データａおよび重みｗを展開して畳み込み演算を行う。

【0038】

図３は、畳み込み演算のデータの展開を説明する図である。
分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ）は、Ｂｃ個の要素を持つベクトルデータに展開される。分割入力データａの要素は、ｃｉでインデックスされる（０≦ｃｉ＜Ｂｃ）。以降の説明において、ｉ，ｊごとにベクトルデータに展開された分割入力データａを「入力ベクトルＡ」ともいう。入力ベクトルＡは、分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ×Ｂｃ）から分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ×Ｂｃ＋（Ｂｃ－１））までを要素とする。

【0039】

分割重みｗ（ｉ，ｊ，ｃｏ、ｄｏ）は、Ｂｃ×Ｂｄ個の要素を持つマトリクスデータに展開される。マトリクスデータに展開された分割重みｗの要素は、ｃｉとｄｉでインデックスされる（０≦ｄｉ＜Ｂｄ）。以降の説明において、ｉ，ｊごとにマトリクスデータに展開された分割重みｗを「重みマトリクスＷ」ともいう。重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ、ｄｏ×Ｂｄ）から分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ＋（Ｂｃ－１）、ｄｏ×Ｂｄ＋（Ｂｄ－１））までを要素とする。

【0040】

入力ベクトルＡと重みマトリクスＷとを乗算することで、ベクトルデータが算出される。ｉ，ｊ，ｃｏごとに算出されたベクトルデータを３次元テンソルに整形することで、出力データｆ（ｘ，ｙ，ｄｏ）を得ることができる。このようなデータの展開を行うことで、畳み込み層２１０の畳み込み演算を、ベクトルデータとマトリクスデータとの乗算により実施できる。

【0041】

［ＮＮ回路１００］
図４は、本実施形態に係るＮＮ回路１００の全体構成を示す図である。
ＮＮ回路１００は、第一メモリ１と、第二メモリ２と、ＤＭＡコントローラ３（以下、「ＤＭＡＣ３」ともいう）と、畳み込み演算回路４と、量子化演算回路５と、コントローラ６と、を備える。ＮＮ回路１００は、第一メモリ１および第二メモリ２を介して、畳み込み演算回路４と量子化演算回路５とがループ状に形成されていることを特徴とする。

【0042】

第一メモリ１は、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第一メモリ１には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第一メモリ１は、畳み込み演算回路４の入力ポートと接続されており、畳み込み演算回路４は第一メモリ１からデータを読み出すことができる。また、第一メモリ１は、量子化演算回路５の出力ポートと接続されており、量子化演算回路５は第一メモリ１にデータを書き込むことができる。外部ホストＣＰＵは、第一メモリ１に対するデータの書き込みや読み出しにより、ＮＮ回路１００に対するデータの入出力を行うことができる。

【0043】

第二メモリ２は、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第二メモリ２には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第二メモリ２は、量子化演算回路５の入力ポートと接続されており、量子化演算回路５は第二メモリ２からデータを読み出すことができる。また、第二メモリ２は、畳み込み演算回路４の出力ポートと接続されており、畳み込み演算回路４は第二メモリ２にデータを書き込むことができる。外部ホストＣＰＵは、第二メモリ２に対するデータの書き込みや読み出しにより、ＮＮ回路１００に対するデータの入出力を行うことができる。

【0044】

ＤＭＡＣ３は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリと第一メモリ１との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと第二メモリ２との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと畳み込み演算回路４との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと量子化演算回路５との間のデータ転送を行う。

【0045】

畳み込み演算回路４は、学習済みのＣＮＮ２００の畳み込み層２１０における畳み込み演算を行う回路である。畳み込み演算回路４は、第一メモリ１に格納された入力データａを読み出し、入力データａに対して畳み込み演算を実施する。畳み込み演算回路４は、畳み込み演算の出力データｆ（以降、「畳み込み演算出力データ」ともいう）を第二メモリ２に書き込む。

【0046】

量子化演算回路５は、学習済みのＣＮＮ２００の量子化演算層２２０における量子化演算の少なくとも一部を行う回路である。量子化演算回路５は、第二メモリ２に格納された畳み込み演算の出力データｆを読み出し、畳み込み演算の出力データｆに対して量子化演算（プーリング、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数、および量子化のうち少なくとも量子化を含む演算）を行う。量子化演算回路５は、量子化演算の出力データ（以降、「量子化演算出力データ」ともいう）を第一メモリ１に書き込む。

【0047】

コントローラ６は、外部バスＥＢに接続されており、外部のホストＣＰＵのスレーブとして動作する。コントローラ６は、パラメータレジスタや状態レジスタを含むレジスタ６１を有している。パラメータレジスタは、ＮＮ回路１００の動作を制御するレジスタである。状態レジスタはセマフォＳを含むＮＮ回路１００の状態を示すレジスタである。外部ホストＣＰＵは、コントローラ６を経由して、レジスタ６１にアクセスできる。

【0048】

コントローラ６は、内部バスＩＢを介して、第一メモリ１と、第二メモリ２と、ＤＭＡＣ３と、畳み込み演算回路４と、量子化演算回路５と、接続されている。外部ホストＣＰＵは、コントローラ６を経由して、各ブロックに対してアクセスできる。例えば、外部ホストＣＰＵは、コントローラ６を経由して、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５に対する命令を指示することができる。また、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５は、内部バスＩＢを介して、コントローラ６が有する状態レジスタ（セマフォＳを含む）を更新できる。状態レジスタ（セマフォＳを含む）は、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５と接続された専用配線を介して更新されるように構成されていてもよい。

【0049】

ＮＮ回路１００は、第一メモリ１や第二メモリ２等を有するため、ＤＲＡＭなどの外部メモリからのＤＭＡＣ３によるデータ転送において、重複するデータのデータ転送の回数を低減できる。これにより、メモリアクセスにより発生する消費電力を大幅に低減することができる。

【0050】

［ＮＮ回路１００の動作例１］
図５は、ＮＮ回路１００の動作例を示すタイミングチャートである。
ＤＭＡＣ３は、レイヤ１の入力データａを第一メモリ１に格納する。ＤＭＡＣ３は、畳み込み演算回路４が行う畳み込み演算の順序にあわせて、レイヤ１の入力データａを分割して第一メモリ１に転送してもよい。

【0051】

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ１の入力データａを読み出す。畳み込み演算回路４は、レイヤ１の入力データａに対して図１に示すレイヤ１の畳み込み演算を行う。レイヤ１の畳み込み演算の出力データｆは、第二メモリ２に格納される。

【0052】

量子化演算回路５は、第二メモリ２に格納されたレイヤ１の出力データｆを読み出す。量子化演算回路５は、レイヤ１の出力データｆに対してレイヤ２の量子化演算を行う。レイヤ２の量子化演算の出力データは、第一メモリ１に格納される。

【0053】

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２の量子化演算の出力データを入力データａとしてレイヤ３の畳み込み演算を行う。レイヤ３の畳み込み演算の出力データｆは、第二メモリ２に格納される。

【0054】

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍ－２（Ｍは自然数）の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２Ｍ－２の量子化演算の出力データを入力データａとしてレイヤ２Ｍ－１の畳み込み演算を行う。レイヤ２Ｍ－１の畳み込み演算の出力データｆは、第二メモリ２に格納される。

【0055】

量子化演算回路５は、第二メモリ２に格納されたレイヤ２Ｍ－１の出力データｆを読み出す。量子化演算回路５は、２Ｍ－１レイヤの出力データｆに対してレイヤ２Ｍの量子化演算を行う。レイヤ２Ｍの量子化演算の出力データは、第一メモリ１に格納される。

【0056】

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍの量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２Ｍの量子化演算の出力データを入力データａとしてレイヤ２Ｍ＋１の畳み込み演算を行う。レイヤ２Ｍ＋１の畳み込み演算の出力データｆは、第二メモリ２に格納される。

【0057】

畳み込み演算回路４と量子化演算回路５とが交互に演算を行い、図１に示すＣＮＮ２００の演算を進めていく。ＮＮ回路１００は、畳み込み演算回路４が時分割によりレイヤ２Ｍ－１の畳み込み演算とレイヤ２Ｍ＋１を実施する。また、ＮＮ回路１００は、量子化演算回路５が時分割によりレイヤ２Ｍ－２の畳み込み演算とレイヤ２Ｍを実施する。そのため、ＮＮ回路１００は、レイヤごとに別々の畳み込み演算回路４と量子化演算回路５を実装する場合と比較して、回路規模が著しく小さい。

【0058】

ＮＮ回路１００は、複数のレイヤの多層構造であるＣＮＮ２００の演算を、ループ状に形成された回路により演算する。ＮＮ回路１００は、ループ状の回路構成により、ハードウェア資源を効率的に利用できる。なお、ＮＮ回路１００は、ループ状に回路を形成するために、各レイヤで変化する畳み込み演算回路４や量子化演算回路５におけるパラメータは適宜更新される。

【0059】

ＣＮＮ２００の演算にＮＮ回路１００により実施できない演算が含まれる場合、ＮＮ回路１００は外部ホストＣＰＵなどの外部演算デバイスに中間データを転送する。外部演算デバイスが中間データに対して演算を行った後、外部演算デバイスによる演算結果は第一メモリ１や第二メモリ２に入力される。ＮＮ回路１００は、外部演算デバイスによる演算結果に対する演算を再開する。

【0060】

［ＮＮ回路１００の動作例２］
図６は、ＮＮ回路１００の他の動作例を示すタイミングチャートである。
ＮＮ回路１００は、入力データａを部分テンソルに分割して、時分割により部分テンソルに対する演算を行ってもよい。部分テンソルへの分割方法や分割数は特に限定されない。

【0061】

図６は、入力データａを二つの部分テンソルに分解した場合の動作例を示している。分解された部分テンソルを、「第一部分テンソルａ₁」、「第二部分テンソルａ₂」とする。例えば、レイヤ２Ｍ－１の畳み込み演算は、第一部分テンソルａ₁に対応する畳み込み演算（図６において、「レイヤ２Ｍ－１（ａ₁）」と表記）と、第二部分テンソルａ₂に対応する畳み込み演算（図６において、「レイヤ２Ｍ－１（ａ₂）」と表記）と、に分解される。

【0062】

第一部分テンソルａ₁に対応する畳み込み演算および量子化演算と、第二部分テンソルａ₂に対応する畳み込み演算および量子化演算とは、図６に示すように、独立して実施することができる。

【0063】

畳み込み演算回路４は、第一部分テンソルａ₁に対応するレイヤ２Ｍ－１の畳み込み演算（図６において、レイヤ２Ｍ－１（ａ₁）で示す演算）を行う。その後、畳み込み演算回路４は、第二部分テンソルａ_２に対応するレイヤ２Ｍ－１の畳み込み演算（図６において、レイヤ２Ｍ－１（ａ_２）で示す演算）を行う。また、量子化演算回路５は、第一部分テンソルａ₁に対応するレイヤ２Ｍの量子化演算（図６において、レイヤ２Ｍ（ａ₁）で示す演算）を行う。このように、ＮＮ回路１００は、第二部分テンソルａ_２に対応するレイヤ２Ｍ－１の畳み込み演算と、第一部分テンソルａ₁に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。

【0064】

次に、畳み込み演算回路４は、第一部分テンソルａ₁に対応するレイヤ２Ｍ＋１の畳み込み演算（図６において、レイヤ２Ｍ＋１（ａ₁）で示す演算）を行う。また、量子化演算回路５は、第二部分テンソルａ_２に対応するレイヤ２Ｍの量子化演算（図６において、レイヤ２Ｍ（ａ_２）で示す演算）を行う。このように、ＮＮ回路１００は、第一部分テンソルａ₁に対応するレイヤ２Ｍ＋１の畳み込み演算と、第二部分テンソルａ_２に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。

【0065】

入力データａを部分テンソルに分割することで、ＮＮ回路１００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。その結果、畳み込み演算回路４と量子化演算回路５が待機する時間が削減され、ＮＮ回路１００の演算処理効率が向上する。図６に示す動作例において分割数は２であったが、分割数が２より大きい場合も同様に、ＮＮ回路１００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。

【0066】

なお、部分テンソルに対する演算方法としては、同一レイヤにおける部分テンソルの演算を畳み込み演算回路４または量子化演算回路５で行った後に次のレイヤにおける部分テンソルの演算を行う例（方法１）を示したが、演算方法はこれに限られない。ＮＮ回路１００は、複数レイヤにおける一部の部分テンソルの演算をした後に残部の部分テンソルの演算をしてもよい（方法２）。また、ＮＮ回路１００は、方法１と方法２とを組み合わせて部分テンソルを演算してもよい。また、並列した動作としては、レイヤ２Ｍ－１の畳み込み演算とレイヤ２Ｍの量子化演算のように連続したレイヤに限られるものではなく、レイヤ２Ｍ－１の畳み込み演算とレイヤ２Ｍ＋２の量子化演算のように不連続なレイヤ間で行っても良い。また、複数のレイヤ２Ｍ－１の結果を加算などの演算を行って統合する場合などにおいては、レイヤ２Ｍ－１の畳み込み演算とレイヤ２Ｍの量子化演算の時間が大きく異なる。この場合には、両演算を並列して実施する期間が短くなるために、当該余った期間に異なる演算を並列に行うようにしても良い。

【0067】

次に、ＮＮ回路１００の各構成に関して詳しく説明する。

【0068】

［ＤＭＡＣ３］
図７は、ＤＭＡＣ３の内部ブロック図である。
ＤＭＡＣ３は、データ転送回路３１と、ステートコントローラ３２と、を有する。ＤＭＡＣ３は、データ転送回路３１に対する専用のステートコントローラ３２を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずにＤＭＡデータ転送を実施できる。

【0069】

データ転送回路３１は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリと第一メモリ１との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと第二メモリ２との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと畳み込み演算回路４との間のデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと量子化演算回路５との間のデータ転送を行う。データ転送回路３１のＤＭＡチャンネル数は限定されない。例えば、第一メモリ１と第二メモリ２のそれぞれに専用のＤＭＡチャンネルを有していてもよい。

【0070】

ステートコントローラ３２は、データ転送回路３１のステートを制御する。また、ステートコントローラ３２は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ３２は、命令キュー３３と制御回路３４とを有する。

【0071】

命令キュー３３は、ＤＭＡＣ３用の命令コマンドＣ３が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー３３には、内部バスＩＢ経由で１つ以上の命令コマンドＣ３が書き込まれる。

【0072】

制御回路３４は、命令コマンドＣ３をデコードし、命令コマンドＣ３に基づいて順次データ転送回路３１を制御するステートマシンである。制御回路３４は、論理回路により実装されていてもよいし、ソフトウェアによって制御されるＣＰＵによって実装されていてもよい。

【0073】

図８は、制御回路３４のステート遷移図である。
制御回路３４は、命令キュー３３に命令コマンドＣ３が入力されると（Ｎｏｔ ｅｍｐｔｙ）、アイドルステートＳ１からデコードステートＳ２に遷移する。

【0074】

制御回路３４は、デコードステートＳ２において、命令キュー３３から出力される命令コマンドＣ３をデコードする。また、制御回路３４は、コントローラ６のレジスタ６１に格納されたセマフォＳを読み出し、命令コマンドＣ３において指示されたデータ転送回路３１の動作を実行可能であるかを判定する。実行不能である場合（Ｎｏｔ ｒｅａｄｙ）、制御回路３４は実行可能となるまで待つ（Ｗａｉｔ）。実行可能である場合（ｒｅａｄｙ）、制御回路３４はデコードステートＳ２から実行ステートＳ３に遷移する。

【0075】

制御回路３４は、実行ステートＳ３において、データ転送回路３１を制御して、データ転送回路３１に命令コマンドＣ３において指示された動作を実施させる。制御回路３４は、データ転送回路３１の動作が終わると、命令キュー３３から実行を終えた命令コマンドＣ３を取り除くとともに、コントローラ６のレジスタ６１に格納されたセマフォＳを更新する。制御回路３４は、命令キュー３３に命令がある場合（Ｎｏｔ ｅｍｐｔｙ）、実行ステートＳ３からデコードステートＳ２に遷移する。制御回路３４は、命令キュー３３に命令がない場合（ｅｍｐｔｙ）、実行ステートＳ３からアイドルステートＳ１に遷移する。

【0076】

［畳み込み演算回路４］
図９は、畳み込み演算回路４の内部ブロック図である。
畳み込み演算回路４は、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３と、ステートコントローラ４４と、を有する。畳み込み演算回路４は、乗算器４２およびアキュムレータ回路４３に対する専用のステートコントローラ４４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに畳み込み演算を実施できる。

【0077】

重みメモリ４１は、畳み込み演算に用いる重みｗが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、畳み込み演算に必要な重みｗを重みメモリ４１に書き込む。

【0078】

図１０は、乗算器４２の内部ブロック図である。
乗算器４２は、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）の各要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と、分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）の各要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）と、を乗算する。乗算器４２は、パイプライン的に接続されたBｄ個の積和演算ユニット４８を有し、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）の要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）の要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）との乗算を並列して実施できる。

【0079】

本実施形態において、要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）は、例えば２ビットなどの低ビットに量子化されていることから分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）は、Ｂｃを８とした場合には１６ビットの大きさを持つデータとなる。これは第一メモリ１または第二メモリ２のバス幅と同程度であることから、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）の複数の要素を短いタイミングで効率的に読み出すことや書き込むことが可能となる。同様に、要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）も、例えば１ビットに量子化されていることから、分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）の複数の要素を短いタイミングで読み出すことや書き込むことが可能となる。

【0080】

なお、乗算器４２は、乗算に必要な要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）を、第一メモリ１および重みメモリ４１から読み出して乗算を実施する。乗算器４２は、Ｂｄ個の積和演算結果Ｏ（ｘ＋ｉ，ｙ＋ｊ，ｄｉ）を出力する。ここで、本実施形態において第一メモリ１には一度に３２×３２個の要素ａを格納可能とするが、これに限られるものではない。

【0081】

図１１は、積和演算ユニット４８の内部ブロック図である。
積和演算ユニット４８は、複数のＸＯＲ回路４７、複数のカウンタ回路４９、加算回路５０を含み、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）と、分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）とを乗算する。本実施形態において、一つの積和演算ユニット４８は、１ｘ１サイズの畳み込み演算を行う回路に相当する。

【0082】

積和演算ユニット４８は、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）に含まれる2ビットの各要素ａの上位ビットからなるデータａ［１］と下位ビットからなるデータａ［０］とを入力する入力部を備える。一例として、Ｂｃを８とした場合に、ａ［１］及びａ［０］は、それぞれ８つのバイナリ値からなる８ビットのデータとなる。さらに、積和演算ユニット４８は、分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）を入力する入力部を備える。なお、分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）は１ビットの各要素で構成されるため、一例としてＢｃを８とした場合に、８ビットの値となる。

【0083】

ＸＯＲ回路４７は入力されるデータａ［１］またはデータａ［０］と分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）とのＸＯＲ演算を行う。データａ［１］及びデータａ［０］に対するＸＯＲ演算結果は、それぞれＢｃ個のバイナリ値からなるデータとなる。

【0084】

ＸＯＲ回路４７におけるＸＯＲ演算の演算結果はそれぞれ、カウンタ回路４９に入力される。カウンタ回路４９は、それぞれのＸＯＲ演算の演算結果に含まれるバイナリ値として１の個数をカウントする（ｐｏｐｃｏｕｎｔ演算）。そして、加算回路５０は複数のカウンタの出力を加算して積和演算結果Ｏ（ｘ＋ｉ，ｙ＋ｊ，ｄｏ）を出力する。本実施形態において、積和演算ユニット４８が行う演算は式１０で表すことができる。

【0085】

【数10】

【0086】

図１２は、アキュムレータ回路４３の内部ブロック図である。
アキュムレータ回路４３は、乗算器４２の積和演算結果Ｏ（ｄｉ）を第二メモリ２にアキュムレートする。アキュムレータ回路４３は、Ｂｄ個のアキュムレータユニット４８を有し、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を並列して第二メモリ２にアキュムレートできる。

【0087】

図１３は、アキュムレータユニット４８の内部ブロック図である。
アキュムレータユニット４８は、加算器４８ａと、マスク部４８ｂとを有している。加算器４８ａは、積和演算結果Ｏの要素Ｏ（ｄｉ）と、第二メモリ２に格納された式１に示す畳み込み演算の途中経過である部分和と、を加算する。加算結果は、要素あたり１６ビットである。加算結果は、要素あたり１６ビットに限定されず、例えば要素あたり１５ビットや１７ビットであってもよい。

【0088】

加算器４８ａは、加算結果を第二メモリ２の同一アドレスに書き込む。マスク部４８ｂは、初期化信号ｃｌｅａｒがアサートされた場合に、第二メモリ２からの出力をマスクし、要素Ｏ（ｄｉ）に対する加算対象をゼロにする。初期化信号ｃｌｅａｒは、第二メモリ２に途中経過の部分和が格納されていない場合にアサートされる。

【0089】

乗算器４２およびアキュムレータ回路４３による畳み込み演算が完了すると、第二メモリに、出力データｆ（ｘ，ｙ，ｄｏ）が格納される。

【0090】

ステートコントローラ４４は、乗算器４２およびアキュムレータ回路４３のステートを制御する。また、ステートコントローラ４４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ４４は、命令キュー４５と制御回路４６とを有する。

【0091】

命令キュー４５は、畳み込み演算回路４用の命令コマンドＣ４が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー４５には、内部バスＩＢ経由で命令コマンドＣ４が書き込まれる。

【0092】

制御回路４６は、命令コマンドＣ４をデコードし、命令コマンドＣ４に基づいて乗算器４２およびアキュムレータ回路４３を制御するステートマシンである。制御回路４６は、ＤＭＡＣ３のステートコントローラ３２の制御回路３４と同様の構成である。

【0093】

なお、本実施形態において、一つの積和演算ユニット４８は、１ｘ１サイズの畳み込み演算を行う回路に相当する例を示したが、これに限定されない。例えば、適宜分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）を重みメモリ４１から読み出しして複数の１ｘ１サイズの畳み込み演算を行い、それぞれの結果をアキュムレータユニット４８でアキュムレートすることにより大きいサイズの重みｗを用いた畳み込み演算を実現することもできる。

【0094】

［量子化演算回路５］
図１４は、量子化演算回路５の内部ブロック図である。
量子化演算回路５は、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３と、ステートコントローラ５４と、を有する量子化演算回路５は、ベクトル演算回路５２および量子化回路５３に対する専用のステートコントローラ５４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに量子化演算を実施できる。

【0095】

量子化パラメータメモリ５１は、量子化演算に用いる量子化パラメータｑが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、量子化演算に必要な量子化パラメータｑを量子化パラメータメモリ５１に書き込む。

【0096】

図１５は、ベクトル演算回路５２と量子化回路５３の内部ブロック図である。
ベクトル演算回路５２は、第二メモリ２に格納された出力データｆ（ｘ，ｙ，ｄｏ）に対して演算を行う。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７を有し、出力データｆ（ｘ，ｙ，ｄｏ）に対して並列にＳＩＭＤ演算を行う。

【0097】

図１６は、演算ユニット５７のブロック図である。
演算ユニット５７は、例えば、ＡＬＵ５７ａと、第一セレクタ５７ｂと、第二セレクタ５７ｃと、レジスタ５７ｄと、シフタ５７ｅと、を有する。演算ユニット５７は、公知の汎用ＳＩＭＤ演算回路が有する他の演算器等をさらに有してもよい。

【0098】

ベクトル演算回路５２は、演算ユニット５７が有する演算器等を組み合わせることで、出力データｆ（ｘ，ｙ，ｄｏ）に対して、量子化演算層２２０におけるプーリング層２２１や、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２や、活性化関数層２２３の演算のうち少なくとも一つの演算を行う。

【0099】

演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより加算できる。演算ユニット５７は、ＡＬＵ５７ａによる加算結果をレジスタ５７ｄに格納できる。演算ユニット５７は、第一セレクタ５７ｂの選択によりレジスタ５７ｄに格納されたデータに代えて「０」をＡＬＵ５７ａに入力することで加算結果を初期化できる。例えばプーリング領域が２×２である場合、シフタ５７ｅはＡＬＵ５７ａの出力を２ｂｉｔ右シフトすることで加算結果の平均値を出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式２に示す平均プーリングの演算を実施できる。

【0100】

演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより比較できる。
演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて第二セレクタ５７ｃを制御して、レジスタ５７ｄに格納されたデータと要素ｆ（ｄｉ）の大きい方を選択できる。演算ユニット５７は、第一セレクタ５７ｂの選択により要素ｆ（ｄｉ）の取りうる値の最小値をＡＬＵ５７ａに入力することで比較対象を最小値に初期化できる。本実施形態において要素ｆ（ｄｉ）は１６ｂｉｔ符号付き整数であるので、要素ｆ（ｄｉ）の取りうる値の最小値は「０ｘ８０００」である。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式３のＭＡＸプーリングの演算を実施できる。なお、ＭＡＸプーリングの演算ではシフタ５７ｅは第二セレクタ５７ｃの出力をシフトしない。

【0101】

演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより減算できる。シフタ５７ｅはＡＬＵ５７ａの出力を左シフト（すなわち乗算）もしくは右シフト（すなわち除算）できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式４のＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を実施できる。

【0102】

演算ユニット５７は、第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）と第一セレクタ５７ｂにより選択された「０」とをＡＬＵ５７ａにより比較できる。演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて要素ｆ（ｄｉ）と予めレジスタ５７ｄに格納された定数値「０」のいずれかを選択して出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式５のＲｅＬＵ演算を実施できる。

【0103】

ベクトル演算回路５２は、平均プーリング、ＭＡＸプーリング、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数の演算およびこれらの演算の組み合わせを実施できる。ベクトル演算回路５２は、汎用ＳＩＭＤ演算を実施できるため、量子化演算層２２０における演算に必要な他の演算を実施してもよい。また、ベクトル演算回路５２は、量子化演算層２２０における演算以外の演算を実施してもよい。

【0104】

なお、量子化演算回路５は、ベクトル演算回路５２を有してなくてもよい。量子化演算回路５がベクトル演算回路５２を有していない場合、出力データｆ（ｘ，ｙ，ｄｏ）は量子化回路５３に入力される。

【0105】

量子化回路５３は、ベクトル演算回路５２の出力データに対して、量子化を行う。量子化回路５３は、図１５に示すように、Ｂｄ個の量子化ユニット５８を有し、ベクトル演算回路５２の出力データに対して並列に演算を行う。

【0106】

図１７は、量子化ユニット５８の内部ブロック図である。
量子化ユニット５８は、ベクトル演算回路５２の出力データの要素ｉｎ（ｄｉ）に対して量子化を行う。量子化ユニット５８は、比較器５８ａと、エンコーダ５８ｂと、を有する。量子化ユニット５８はベクトル演算回路５２の出力データ（１６ビット／要素）に対して、量子化演算層２２０における量子化層２２４の演算（式６）を行う。量子化ユニット５８は、量子化パラメータメモリ５１から必要な量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）を読み出し、比較器５８ａにより入力ｉｎ（ｄｉ）と量子化パラメータｑとの比較を行う。量子化ユニット５８は、比較器５８ａによる比較結果をエンコーダ５８ｂにより２ビット／要素に量子化する。式４におけるα(c)とβ(c)は、変数ｃごとに異なるパラメータであるため、α(c)とβ(c)を反映する量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）はｉｎ（ｄｉ）ごとに異なるパラメータである。

【0107】

本実施形態において、比較器５８ａは量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）に対してのオフセット演算機能を備える。具体的には、量子化パラメータｑに含まれるそれぞれの閾値に対してOff（ｄｉ）を加算する。Off（ｄｉ）は式１１で表すことができる。

【0108】

【数11】

【0109】

ここで、ｐｏｐｃｏｕｎｔ（ｗ）は畳み込み演算に用いた分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）に含まれるバイナリ値として１の個数をカウントしたものである。より詳細には比較器５８ａにおいて比較対象となるｉｎ（ｄｉ）に相当する第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）であって、当該出力データｆ（ｘ，ｙ，ｄｏ）を求める際の畳み込み演算に用いた分割重みｗに含まれるバイナリ値として１の個数をカウントしたものである。例えば、レイヤ２Ｍ―１の畳み込み演算で用いた分割重みｗを用い、レイヤ２Ｍの量子化演算の量子化パラメータｑに対してｐｏｐｃｏｕｎｔ（ｗ）に依存するOff（ｄｉ）を加算する。なお、ベクトル演算回路５２において、出力データｆ（ｘ，ｙ，ｄｏ）に対してプーリング処理、正規化処理、活性化処理などの処理を行なっている場合には、ｐｏｐｃｏｕｎｔ（ｗ）に対しても同様の処理を行うことが好ましい。一例として、ベクトル演算回路５２において、出力データｆ（ｘ，ｙ，ｄｏ）に対してビットシフト処理を行なっている場合には、同じ量のビットシフトをｐｏｐｃｏｕｎｔ（ｗ）に対しても行うことが好ましい。

【0110】

本実施形態において、入力データａの要素は、２ビットの符号なし整数（０，１，２，３）として、重みｗの要素は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」として例示する。この場合、式１に示した畳み込み演算は式１２で表すことができる。

【0111】

【数12】

【0112】

一例として出力データｆ（ｘ，ｙ，ｄｏ）を１６ビットの大きさを持つデータとすると、とりうる値は―３２７６８から３２７６７となる。このため、符号用ビットを設けるが必要がある。一方で、式１０と式１２を比較すると、式１０では負の値を取る第３項のｐｏｐｃｏｕｎｔ（ｗ）に依存する項が存在しない。そのため、符号ビットが不要となる。この結果、式１０の演算結果であるＯ（ｄｉ）は１６ビットの大きさを持つとすると、符号用ビットを設ける必要がないことから、とりうる値は０から６５５３５となる。言い換えれば、負の値を取る項を省略することにより、ｆ（ｘ，ｙ，ｄｏ）の取りうるレンジを拡大することができる。言い換えれば、畳み込み演算の対象範囲を拡大することができる。より詳細には、重みｗのｘｙ方向のサイズは畳み込み演算に用いるフィルタサイズで決定されるが、ｃ方向のサイズは加算結果がオーバーフローしない範囲で制限される。そのため、出力データｆ（ｘ，ｙ，ｄｏ）の取りうる最大値の増加はオーバーフローしない範囲が拡大することに相当し、演算効率をより高めることが可能となる。

【0113】

さらに、式１０において必要なｐｏｐｃｏｕｎｔ（ｗ）に依存する項については、上述したように量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）に対してのオフセット演算機能として相殺する。特にｐｏｐｃｏｕｎｔ（ｗ）は入力データａに依存しないため、学習結果としてレイヤごとに事前に決定することができる。なお、本実施形態においては、比較器５８ａが量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）に対してのオフセット演算機能を備える場合を示したが、演算ユニット５７の演算に含めるようにしても良い。また、量子化パラメータメモリ５１に記憶されている量子化パラメータｑに対して事前に演算を行なった結果を再度量子化パラメータメモリ５１に記憶させておくようにしても良い。言い換えれば、学習した結果に基づいて学習済モデルを生成する際に、量子化パラメータｑを対応する重みｗを用いて更新するようにしてもよい。

【0114】

量子化ユニット５８は、入力ｉｎ（ｄｉ）をオフセット演算処理を行なった後の３つの閾値ｔｈ０，ｔｈ１，ｔｈ２と比較することにより、入力ｉｎ（ｄｉ）を４領域（例えば、ｉｎ≦ｔｈ０，ｔｈ０＜ｉｎ≦ｔｈ１，ｔｈ１＜ｉｎ≦ｔｈ２，ｔｈ２＜ｉｎ）に分類し、分類結果を２ビットにエンコードして出力する。量子化ユニット５８は、量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）の設定により、量子化と併せてＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎや活性化関数の演算を行うこともできる。

【0115】

量子化ユニット５８は、閾値ｔｈ０を式４のβ(ｃ)、閾値の差（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を式４のα(ｃ)として設定して量子化を行うことで、式４に示すＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を量子化と併せて実施できる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を大きくすることでα(ｃ)を小さくできる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を小さくすることで、α(c)を大きくできる。

【0116】

量子化ユニット５８は、入力ｉｎ（ｄｉ）の量子化と併せて活性化関数のＲｅＬＵ演算を実施できる。例えば、量子化ユニット５８は、ｉｎ（ｄｉ）≦ｔｈ０およびｔｈ２＜ｉｎ（ｄｉ）となる領域では出力値を飽和させる。量子化ユニット５８は、出力が非線形とするように量子化パラメータｑを設定することで活性化関数の演算を量子化と併せて実施できる。

【0117】

ステートコントローラ５４は、ベクトル演算回路５２および量子化回路５３のステートを制御する。また、ステートコントローラ５４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ５４は、命令キュー５５と制御回路５６とを有する。

【0118】

命令キュー５５は、量子化演算回路５用の命令コマンドＣ５が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー５５には、内部バスＩＢ経由で命令コマンドＣ５が書き込まれる。

【0119】

制御回路５６は、命令コマンドＣ５をデコードし、命令コマンドＣ５に基づいてベクトル演算回路５２および量子化回路５３を制御するステートマシンである。制御回路５６は、ＤＭＡＣ３のステートコントローラ３２の制御回路３４と同様の構成である。

【0120】

量子化演算回路５は、Ｂｄ個の要素を持つ量子化演算出力データを第一メモリ１に書き込む。なお、ＢｄとＢｃの好適な関係を式１０に示す。式１０においてｎは整数である。

【0121】

この様に、量子化パラメータｑ及び重みｗを学習した結果として、例えばレイヤ２Ｍ－１の畳み込み演算における重みｗを用いて、レイヤ２Ｍなどの異なるレイヤの量子化パラメータｑを更新などの量子化演算に反映することで、全体の演算効率を高めることができる。またより一般的には複数のレイヤに含まれる一つのレイヤを第１のレイヤとし、これと異なるレイヤを第２のレイヤとした場合に、第１のレイヤの演算（第１の演算）で用いたパラメータ（第１のパラメータ）を、第２のレイヤの演算（第２の演算）に用いることで演算効率を高めることができる。

【0122】

以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
（変形例１）
なお、本実施形態では、畳み込み演算に用いた重みｗを用いて量子化演算に用いる量子化パラメータに反映させたが、演算を効率化させる方法としてはこれに限定されるものではない。例えば、畳み込み演算に用いた重みｗを演算ユニット５７の演算に反映させることも可能である。また、畳み込み演算は主に線形計算で成り立っているため、交換法則が成り立つことから、逆に量子化演算に用いる量子化パラメータの演算を簡略化するために畳み込み演算の重みｗに反映させることも可能である。

【0123】

（変形例２）
上記実施形態において、第一メモリ１と第二メモリ２は別のメモリであったが、第一メモリ１と第二メモリ２の態様はこれに限定されない。第一メモリ１と第二メモリ２は、例えば、同一メモリにおける第一メモリ領域と第二メモリ領域であってもよい。

【0124】

（変形例３）
例えば、上記実施形態に記載のＮＮ回路１００に入力されるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値およびこれらの組み合わせで構成することが可能である。なお、ＮＮ回路１００に入力されるデータは、ＮＮ回路１００が設けられるエッジデバイスに搭載され得る、光センサ、温度計、Global Positioning System（GPS）計測器、角速度計測器、風速計などの物理量測定器における測定結果に限られない。周辺機器から有線または無線通信経由で受信する基地局情報、車両・船舶等の情報、天候情報、混雑状況に関する情報などの周辺情報や金融情報や個人情報等の異なる情報を組み合わせてもよい。

【0125】

（変形例４）
ＮＮ回路１００が設けられるエッジデバイスは、バッテリー等で駆動する携帯電話などの通信機器、パーソナルコンピュータなどのスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器を想定するが、これに限られるものではない。Power on Ethernet（PoE）などでの供給可能なピーク電力制限、製品発熱の低減または長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。例えば、車両や船舶などに搭載される車載カメラや、公共施設や路上などに設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。

【0126】

（変形例５）
ＮＮ回路１００は、ＮＮ回路１００の一部または全部を一つ以上のプロセッサを用いて実現してもよい。例えば、ＮＮ回路１００は、入力層または出力層の一部または全部をプロセッサによるソフトウェア処理により実現してもよい。ソフトウェア処理により実現する入力層または出力層の一部は、例えば、データの正規化や変換である。これにより、様々な形式の入力形式または出力形式に対応できる。なお、プロセッサで実行するソフトウェアは、通信手段や外部メディアを用いて書き換え可能に構成してもよい。

【0127】

（変形例６）
ＮＮ回路１００は、ＣＮＮ２００における処理の一部をクラウド上のGraphics Processing Unit（GPU）等を組み合わせることで実現してもよい。ＮＮ回路１００は、ＮＮ回路１００が設けられるエッジデバイスで行った処理に加えて、クラウド上でさらに処理を行ったり、クラウド上での処理に加えてエッジデバイス上で処理を行ったりすることで、より複雑な処理を少ないリソースで実現できる。このような構成によれば、ＮＮ回路１００は、処理分散によりエッジデバイスとクラウドとの間の通信量を低減できる。

【0128】

（変形例７）
ＮＮ回路１００が行う演算は、学習済みのＣＮＮ２００の少なくとも一部であったが、ＮＮ回路１００が行う演算の対象はこれに限定されない。ＮＮ回路１００が行う演算は、例えば畳み込み演算と量子化演算のように、２種類の演算を繰り返す学習済みのニューラルネットワークの少なくとも一部であってもよい。

【0129】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【産業上の利用可能性】

【0130】

本発明は、ニューラルネットワークの演算に適用することができる。

【符号の説明】

【0131】

２００ 畳み込みニューラルネットワーク
１００ ニューラルネットワーク回路（ＮＮ回路）
１ 第一メモリ
２ 第二メモリ
３ ＤＭＡコントローラ（ＤＭＡＣ）
４ 畳み込み演算回路
４２ 乗算器
４３ アキュムレータ回路
５ 量子化演算回路
５２ ベクトル演算回路
５３ 量子化回路
６ コントローラ
６１ レジスタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】