特許 7001897 畳み込み演算回路、畳み込み演算方法、プログラム、および畳み込みニューラルネットワーク装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-04

(45)【発行日】2022-01-20

(54)【発明の名称】畳み込み演算回路、畳み込み演算方法、プログラム、および畳み込みニューラルネットワーク装置

(51)【国際特許分類】

   G06F 17/10 20060101AFI20220113BHJP

【ＦＩ】

G06F17/10 A

【請求項の数】 15

(21)【出願番号】P 2018192024

(22)【出願日】2018-10-10

(65)【公開番号】P2020060968

(43)【公開日】2020-04-16

【審査請求日】2020-08-31

(73)【特許権者】

【識別番号】517048278

【氏名又は名称】ＬｅａｐＭｉｎｄ株式会社

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(74)【代理人】

【識別番号】100153006

【弁理士】

【氏名又は名称】小池 勇三

(74)【代理人】

【識別番号】100064621

【弁理士】

【氏名又は名称】山川 政樹

(72)【発明者】

【氏名】山田 貴登

(72)【発明者】

【氏名】アントニオ トーマス ネバド ビルチェス

【審査官】三坂 敏夫

(56)【参考文献】

【文献】特開２０１８－０９２３７７（ＪＰ，Ａ）

【文献】特開平０２－０９２０２７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２８６３８０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １７／００－１７／１８

(57)【特許請求の範囲】

【請求項1】

Ｍ（Ｍは２以上の整数）ビット幅を有するＮ（Ｎは２以上の整数）個の入力データＸｎ（ｎ＝１，２，…，Ｎ）と、各ビット値が前記入力データＸｎに関する重みを示すＮビットの重み係数Ｗｎとを畳み込み演算し、得られた畳み込み演算結果Ｙを出力する畳み込み演算回路であって、
前記重み係数Ｗｎを用いた排他的論理和回路と、前記排他的論理和回路の演算結果Ｑｍおよび前記重み係数Ｗｎにおける有効ビット値を計数するビット計数回路と、前記ビット計数回路の計数結果に基づいてシフト演算を行うビットシフト回路と、
を備える
ことを特徴とする畳み込み演算回路。

【請求項2】

請求項１に記載の畳み込み演算回路において、
前記Ｎ個の入力データＸｎのビット桁ｍ（ｍ＝１，２，…，Ｍ）ごとに、前記Ｎ個の入力データＸｎのそれぞれから当該ｍ桁目のビット値を抽出して、Ｎビット幅を有するＭ個のビット列Ｂｍを生成するビット変換回路をさらに備え、前記排他的論理和回路は前記Ｍ個のビット列Ｂｍのそれぞれについて、当該ビット列Ｂｍと前記重み係数Ｗｎとの排他的論理和の演算結果Ｑｍを演算する
ことを特徴とする畳み込み演算回路。

【請求項3】

請求項１または２に記載の畳み込み演算回路において、
前記有効ビット値は予め設定された「０」または「１」からなる数であり、前記ビット計数回路は、前記演算結果Ｑｍに含まれる前記有効ビット値の数である第１のビット数ＰＱｍと、前記重み係数Ｗｎに含まれる前記有効ビット値の数である第２のビット数ＰＷとを計数し、前記第１のビット数ＰＱｍと前記第２のビット数ＰＷとの差分Ｓｍを計算する
ことを特徴とする畳み込み演算回路。

【請求項4】

請求項３に記載の畳み込み演算回路において、
前記ビットシフト回路は、前記排他的論理和回路の演算結果Ｑｍに対して計算された前記差分Ｓｍについて、当該差分Ｓｍを上位ビット側にシフトしたシフト値Ｄｍを計算する
ことを特徴とする畳み込み演算回路。

【請求項5】

請求項４に記載の畳み込み演算回路において、
前記差分Ｓｍに対して計算された複数の前記シフト値Ｄｍを合算し、得られた合算結果を前記畳み込み演算結果Ｙとして出力する合算回路をさらに備える
ことを特徴とする畳み込み演算回路。

【請求項6】

請求項３ないし５のいずれか１項に記載の畳み込み演算回路において、
前記ビット計数回路は、前記演算結果Ｑｍに含まれる、有効ビット値「０」の数を示す前記第１のビット数ＰＱｍを計数する第１のビットカウンタと、前記重み係数Ｗｎに含まれる、有効ビット値「０」の数を示す前記第２のビット数ＰＷを計数する第２のビットカウンタとを含む
ことを特徴とする畳み込み演算回路。

【請求項7】

請求項６に記載の畳み込み演算回路において、
前記ビット計数回路は、前記第１のビット数ＰＱｍから前記第２のビット数ＰＷを減算することにより前記差分Ｓｍを計算する減算回路をさらに含む
ことを特徴とする畳み込み演算回路。

【請求項8】

請求項３ないし５のいずれか１項に記載の畳み込み演算回路において、
前記排他的論理和回路は、前記重み係数Ｗｎを用いた否定排他的論理和ＱＩｍを演算し、前記ビット計数回路は、前記否定排他的論理和ＱＩｍに含まれる、有効ビット値「１」の数を示す第３のビット数ＰＱＩｍを計数する第３のビットカウンタと、前記重み係数Ｗｎをビット反転した反転重み係数ＷＩを出力するインバータと、前記反転重み係数ＷＩに含まれる、有効ビット値「１」の数を示す第４のビット数ＰＷＩを計数する第４のビットカウンタとを含む
ことを特徴とする畳み込み演算回路。

【請求項9】

請求項８に記載の畳み込み演算回路において、
前記ビット計数回路は、前記第３のビット数ＰＱＩｍから前記第４のビット数ＰＷＩを減算することにより前記差分Ｓｍを計算する減算回路をさらに含む
ことを特徴とする畳み込み演算回路。

【請求項10】

請求項１ないし９のいずれか１項に記載の畳み込み演算回路において、
前記重み係数Ｗｎを記憶する記憶回路をさらに備え、
前記排他的論理和回路は、前記記憶回路から読み出した前記重み係数Ｗｎに基づいてとの排他的論理和Ｑｍを演算し、
前記ビット計数回路は、当該排他的論理和Ｑｍに含まれる、予め設定された有効ビット値に関する第１のビット数ＰＱｍと、前記記憶回路から読み出した前記重み係数Ｗｎに含まれる前記有効ビット値に関する第２のビット数ＰＷとの差分Ｓｍを計数する
ことを特徴とする畳み込み演算回路。

【請求項11】

Ｍ（Ｍは２以上の整数）ビット幅を有するＮ（Ｎは２以上の整数）個の入力データＸｎ（ｎ＝１，２，…，Ｎ）と、各ビット値が前記入力データＸｎに関する重みを示すＮビットの重み係数Ｗｎとを畳み込み演算し、得られた畳み込み演算結果Ｙを出力する演算処理装置で用いられる畳み込み演算方法であって、前記重み係数Ｗｎを用いた排他的論理和演算ステップと、前記排他的論理和演算ステップの演算結果Ｑｍおよび前記重み係数Ｗｎにおける有効ビット値を計数するビット計数ステップと、前記ビット計数ステップの計数結果に基づいてシフト演算を行うビットシフトステップと、を備える
ことを特徴とする畳み込み演算方法。

【請求項12】

請求項１１に記載の畳み込み演算方法を実行するためのプログラム。

【請求項13】

入力データと重み係数とを畳み込み演算することにより、前記入力データの特徴量を抽出する演算処理部を備える畳み込みニューラルネットワーク装置であって、
前記演算処理部は、請求項１ないし１０のいずれか１項に記載の畳み込み演算回路を含む
ことを特徴とする畳み込みニューラルネットワーク装置。

【請求項14】

前記演算処理部は、FPGAまたはPLDが用いられる
ことを特徴とする請求項１３に記載の畳み込みニューラルネットワーク装置。

【請求項15】

前記演算処理部は、マイクロプロセッサが用いられる
ことを特徴とする請求項１３に記載の畳み込みニューラルネットワーク装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力データと重み係数とを畳み込み演算するための畳み込み演算技術に関する。

【背景技術】

【0002】

近年、画像を複数のカテゴリに分類するためのディープニューラルネットワークの手法として、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が注目を浴びている。ＣＮＮは、ディープニューラルネットワークの処理において、畳み込み演算を加えたものである（例えば、非特許文献１など参照）。

【0003】

図７は、従来の畳み込みニューラルネットワーク装置の構成例である。一般に、ＣＮＮ５０は、入力層５１、中間層５２、および出力層５３を有している。このうち、中間層５２では、入力層５１で取得した入力データから特徴量を抽出するため、入力データに対して予め学習などで得られた重みを適用する、いわゆる畳み込み演算処理が行われる。

【0004】

図８は、畳み込み演算処理を示す説明図である。畳み込み演算処理は、Ｎ（Ｎは２以上の整数）個の入力データＸ_n（ｎ＝１，２，…，Ｎ）と、当該入力データＸ_nと対応するの重み係数Ｗ_nとを積和演算することにより、畳み込み演算結果Ｙを得る処理である。この例において、重み係数Ｗ_nは「１」または「－１」の２値で表現されている。

【先行技術文献】

【非特許文献】

【0005】

【文献】神嶌敏弘ほか、「深層学習」、人工知能学会監修、近代科学社、2015年10月31日

【発明の概要】

【発明が解決しようとする課題】

【0006】

このような畳み込みニューラルネットワーク装置では、実際の演算処理装置において、中間層が多段接続された構成が用いられる。これは、画像データなどのデータ量の大きい入力データについて、その特徴量を効率よく抽出する必要があるからである。このため、これら中間層における畳み込み演算処理の処理量が増大する傾向がある。近年、このような畳み込み演算処理の処理量増大に伴う処理速度の低下を改善するため、畳み込み演算処理の回路化、すなわち畳み込み演算回路の研究開発が進みつつある。

【0007】

しかしながら、前述の図８に示した従来技術によれば、畳み込み演算処理に積和演算、すなわち乗算を含むため、これを回路で実現しようとすると乗算器が必要となり、ハードウェア量が増大するという問題点があった。このため、元々、リソースが限られている、ＦＰＧＡ（Field-Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）で、畳み込み演算回路を実現しようとすると、処理時間の増大に伴って処理速度が低下するという問題点があった。

【0008】

本発明はこのような課題を解決するためのものであり、少ないリソースで畳み込み演算を高速処理することができる畳み込み演算処理技術を提供することを目的としている。

【課題を解決するための手段】

【0009】

上述した課題を解決するために、本発明に係る畳み込み演算回路は、Ｍ（Ｍは２以上の整数）ビット幅を有するＮ（Ｎは２以上の整数）個の入力データＸｎ（ｎ＝１，２，…，Ｎ）と、各ビット値が前記入力データＸｎに関する重みを示すＮビット幅の重み係数Ｗとを畳み込み演算し、得られた畳み込み演算結果Ｙを出力する畳み込み演算回路であって、前記重み係数Wを用いた排他的論理和回路と、前記排他的論理和回路の演算結果Ｑｍおよび前記重み係数Wにおける有効ビット値を計数するビット計数回路と、前記ビット計数回路の計数結果に基づいてシフト演算を行うビットシフト回路と、を備える。

【0010】

また、前記Ｎ個の入力データＸｎのビット桁ｍ（ｍ＝１，２，…，Ｍ）ごとに、前記Ｎ個の入力データＸｎのそれぞれから当該ｍ桁目のビット値を抽出して、Ｎビット幅を有するＭ個のビット列Ｂｍを生成するビット変換回路をさらに備え、前記排他的論理和回路は前記Ｍ個のビット列Ｂｍのそれぞれについて、当該ビット列Ｂｍと前記重み係数Ｗとの排他的論理和の演算結果Ｑｍを演算してもよい。また、前記有効ビット値は予め設定された「０」または「１」からなる数であり、前記ビット計数回路は、前記演算結果Ｑｍに含まれる前記有効ビット値の数である第１のビット数ＰＱｍと、前記重み係数Ｗに含まれる前記有効ビット値の数である第２のビット数ＰＷとを計数し、前記第１のビット数ＰＱｍと前記第２のビット数ＰＷとの差分Ｓｍを計算してもよい。また、前記ビットシフト回路は、前記排他的論理和回路の演算結果Ｑｍに対して計算された前記差分Ｓｍについて、当該差分Ｓｍを上位ビット側にシフトしたシフト値Ｄｍを計算してもよい。また、前記差分Ｓｍに対して計算された複数の前記シフト値Ｄｍを合算し、得られた合算結果を前記畳み込み演算結果Ｙとして出力する合算回路をさらに備えてもよい。

【0011】

また、前記ビット計数回路は、前記演算結果Ｑｍに含まれる、有効ビット値「０」の数を示す前記第１のビット数ＰＱｍを計数する第１のビットカウンタと、前記重み係数Ｗに含まれる、有効ビット値「０」の数を示す前記第２のビット数ＰＷを計数する第２のビットカウンタとを含んでもよい。また、前記ビット計数回路は、前記第１のビット数ＰＱｍから前記第２のビット数ＰＷを減算することにより前記差分Ｓｍを計算する減算回路をさらに含んでもよい。また、前記排他的論理和回路は、前記重み係数Ｗを用いた否定排他的論理和ＱＩｍを演算し、前記ビット計数回路は、前記否定排他的論理和ＱＩｍに含まれる、有効ビット値「１」の数を示す第３のビット数ＰＱＩｍを計数する第３のビットカウンタと、前記重み係数Ｗをビット反転した反転重み係数ＷＩを出力するインバータと、前記反転重み係数ＷＩに含まれる、有効ビット値「１」の数を示す第４のビット数ＰＷＩを計数する第４のビットカウンタとを含んでもよい。また、前記ビット計数回路は、前記第３のビット数ＰＱＩｍから前記第４のビット数ＰＷＩを減算することにより前記差分Ｓｍを計算する減算回路をさらに含んでもよい。また、前記重み係数Ｗを記憶する記憶回路をさらに備え、前記排他的論理和回路は、前記記憶回路から読み出した前記重み係数Ｗに基づいてとの排他的論理和Ｑｍを演算し、前記ビット計数回路は、当該排他的論理和Ｑｍに含まれる、予め設定された有効ビット値に関する第１のビット数ＰＱｍと、前記記憶回路から読み出した前記重み係数Ｗに含まれる前記有効ビット値に関する第２のビット数ＰＷとの差分Ｓｍを計数してもよい。

【0012】

上述した課題を解決するために、本発明に係る畳み込み演算方法は、Ｍ（Ｍは２以上の整数）ビット幅を有するＮ（Ｎは２以上の整数）個の入力データＸｎ（ｎ＝１，２，…，Ｎ）と、各ビット値が前記入力データＸｎに関する重みを示すＮビット幅の重み係数Ｗとを畳み込み演算し、得られた畳み込み演算結果Ｙを出力する演算処理装置で用いられる畳み込み演算方法であって、前記重み係数Wを用いた排他的論理和演算ステップと、前記排他的論理和演算ステップの演算結果Ｑｍおよび前記重み係数Wにおける有効ビット値を計数するビット計数ステップと、前記ビット計数ステップの計数結果に基づいてシフト演算を行うビットシフトステップと、を備える。

【0013】

上述した課題を解決するために、本発明に係るプログラムは、上記の畳み込み演算方法を実行するためのプログラムである。

【0014】

上述した課題を解決するために、本発明に係る畳み込みニューラルネットワーク装置は、入力データと重み係数とを畳み込み演算することにより、前記入力データの特徴量を抽出する演算処理部を備える畳み込みニューラルネットワーク装置であって、前記演算処理部は、請求項１ないし１０のいずれか１項に記載の畳み込み演算回路を含む。また、前記演算処理部は、FPGAまたはPLDが用いられてもよい。また、前記演算処理部は、マイクロプロセッサが用いられてもよい。

【発明の効果】

【0015】

本発明によれば、乗算処理を必要とすることなく、ＸＯＲ（eXclusive OR）、減算、およびビットシフトの各ビット演算処理で畳み込み演算結果を得ることができる。したがって、回路構成の簡略化さらには処理の高速化を実現することが可能となる。このため、少ないリソースで畳み込み演算を高速処理することができ、リソースが限られているＦＰＧＡなどのＰＬＤを用いても容易に畳み込み演算回路を実現することができる。また、画像データなどのデータ量の大きい入力データであっても、その特徴量を効率よく抽出することができる。したがって、膨大なハードウェア量や消費電力を必要とすることなく演算処理できる畳み込みニューラルネットワーク装置を実現することが可能となる。

【図面の簡単な説明】

【0016】

【図1】第１の実施の形態にかかる畳み込み演算回路の構成を示すブロック図である。

【図2】第１の実施の形態にかかる畳み込み演算処理を示すフローチャートである。

【図3】第１の実施の形態にかかる畳み込み演算動作例を示す説明図である。

【図4】第２の実施の形態にかかる畳み込み演算回路を示すブロック図である。

【図5】第２の実施の形態にかかる畳み込み演算処理を示すフローチャートである。

【図6】第２の実施の形態にかかる畳み込み演算動作例を示す説明図である。

【図7】従来の畳み込みニューラルネットワーク装置の構成例である。

【図8】畳み込み演算処理を示す説明図である。

【発明を実施するための形態】

【0017】

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる畳み込み演算回路１０について説明する。図１は、第１の実施の形態にかかる畳み込み演算回路の構成を示すブロック図である。

【0018】

この畳み込み演算回路１０は、畳み込みニューラルネットワーク装置などの演算処理装置で用いられて、Ｍ（Ｍは１以上の整数）ビット幅を有するＮ（Ｎは２以上の整数）個の入力データＸ_n（ｎ＝１，２，…，Ｎ）と、各ビット値が前記入力データＸ_nに関する重みを示すＮビット幅の重み係数Ｗとを畳み込み演算し、得られた畳み込み演算結果Ｙを出力する。なお、本実施の形態において、重み係数Ｗは、従来の「１」または「－１」に代えて、「１」または「０」の２値で表現されているものとする。

【0019】

図１に示すように、本実施の形態にかかる畳み込み演算回路１０は、主な回路部として、ビット変換回路１１、記憶回路１２、排他的論理和回路１３、ビット計数回路１４、ビットシフト回路１５、および合算回路１６を備えている。

【0020】

ビット変換回路１１は、Ｎ個の入力データＸ_nのビット桁ｍ（ｍ＝１，２，…，Ｍ）ごとに、Ｎ個の入力データＸ_nのそれぞれから当該ｍ桁目のビット値を抽出して、Ｎビット幅を有するＭ個のビット列Ｂ_mを生成する回路である。
記憶回路１２は、半導体メモリからなり、予め入力された重み係数Ｗを記憶する。
排他的論理和回路１３は、一般的なＮビット幅のＸＯＲゲート回路からなり、ビット変換回路１１から出力されたＭ個のビット列Ｂ_mのそれぞれについて、当該ビット列Ｂ_mと重み係数Ｗとの排他的論理和Ｑ_mを演算して出力する回路である。

【0021】

ビット計数回路１４は、排他的論理和回路１３から出力されたＭ個の排他的論理和Ｑ_mのそれぞれについて、当該排他的論理和Ｑ_mに含まれる、予め設定された「０」または「１」からなる有効ビット値の数であるビット数（第１のビット数）ＰＱ_mと、重み係数Ｗに含まれる有効ビット値の数であるビット数（第２のビット数）ＰＷとを計数し、ビット数ＰＱ_mとビット数ＰＷとの差分Ｓ_mを計算する回路である。

【0022】

本実施の形態にかかる有効ビット値は、予め設定された「０」または「１」を示すビット値であり、ビット数ＰＱ_mは、排他的論理和Ｑ_mを構成する各ビットに含まれる「０」または「１」の数である。例えば、後述の図３に示す例のように、Ｑ₀＝「０１１１」である場合、有効ビット値「０」数は１つであるため、ＰＱ_m＝「１」となる。なお、有効ビット値に対して「０」または「１」のいずれの値を設定するかについては、排他的論理和回路１３における演算処理方法に依存する。具体的には、排他的論理和回路１３でＸＯＲ処理を行う場合、有効ビット値として「０」を設定し、ＸＮＯＲ処理を行う場合、有効ビット値として「１」を設定する。

【0023】

本実施の形態において、ビット計数回路１４は、主な回路部として、ビットカウンタ１４Ｑ，１４Ｗと、減算回路１４Ｓとを含んでいる。
ビットカウンタ１４Ｑは、一般的なビットカウンタからなり、排他的論理和回路１３から出力された排他的論理和Ｑ_mに含まれる、有効ビット値「０」の数であるビット数ＰＱ_mを計数する回路である。ビットカウンタ１４Ｑは、本発明の一構成例における第１のビットカウンタとして作用する。

【0024】

ビットカウンタ１４Ｗは、一般的なビットカウンタからなり、記憶回路１２から取得した重み係数Ｗに含まれる、有効ビット値「０」の数であるビット数ＰＷを計数する回路である。ビットカウンタ１４Ｗは、本発明の一構成例における第２のビットカウンタとして作用する。
減算回路１４Ｓは、一般的な減算器からなり、ビットカウンタ１４Ｑから出力されたビット数ＰＱ_mから、ビットカウンタ１４Ｗから出力されたビット数ＰＷを減算することにより差分Ｓ_mを計算して出力する回路である。

【0025】

ビットシフト回路１５は、一般的なシフトレジスタからなり、減算回路１４Ｓから出力されたＭ個の差分Ｓ_mのそれぞれについて、当該差分Ｓ_mをｍ－１桁分だけ上位ビット側にシフトしたシフト値Ｄ_mを計算し、得られた合算結果を畳み込み演算結果Ｙとして出力する回路である。
合算回路１６は、一般的な合算器からなり、ビットシフト回路１５から出力されたＭ個のシフト値Ｄ_mを合算して得られた畳み込み演算結果Ｙを出力する回路である。

【0026】

［第１の実施の形態の動作］
次に、図２を参照して、本実施の形態にかかる畳み込み演算回路１０の動作について説明する。図２は、第１の実施の形態にかかる畳み込み演算処理を示すフローチャートである。畳み込み演算処理の実行に際し、記憶回路１２には、重み係数Ｗが登録されているものとする。また、有効ビット値として「０」が予め設定されているものとする。

【0027】

まず、ビット変換回路１１は、Ｍビット幅を有するＮ個の入力データＸ_n（ｎ＝１，２，…，Ｎ）を取得し（ステップ１００）、Ｘ_nを構成する各ビットのビット桁ｍ（ｍ＝１，２，…，Ｍ）ごとに、これらＮ個のＸ_nのそれぞれから当該ｍ桁目のビット値を抽出して、Ｎビット幅を有するＭ個のビット列Ｂ_mに変換して出力する（ステップ１０１）。

【0028】

また、ビット計数回路１４は、記憶回路１２からＮビット幅の重み係数Ｗを取得し（ステップ１０２）、ビットカウンタ１４Ｗにより、重み係数Ｗに含まれる有効ビット値「０」の数であるビット数ＰＷを計数する（ステップ１０３）。
この後、畳み込み演算回路１０は、以下のステップ１１１～ステップ１１４に示すループ処理の実行を開始することにより、Ｍ個のビット列Ｂ_m（ｍ＝１，２，…，Ｍ）のそれぞれに関するシフト値Ｄ_mを計算する（ステップ１１０）。

【0029】

まず、排他的論理和回路１３は、ビット変換回路１１から出力されたビット列Ｂ_mと重み係数Ｗとの排他的論理和Ｑ_mを演算して出力する（ステップ１１１）。
次に、ビット計数回路１４は、ビットカウンタ１４Ｑにより、排他的論理和回路１３から出力された排他的論理和Ｑ_mに含まれる、有効ビット値「０」の数であるビット数ＰＱ_mを計数する（ステップ１１２）。

【0030】

この後、ビット計数回路１４は、減算回路１４Ｓにより、ビットカウンタ１４Ｑから出力されたビット数ＰＱ_mから、ビットカウンタ１４Ｗから出力されたビット数ＰＷを減算することにより差分Ｓ_mを計算して出力する（ステップ１１３）。
次に、ビットシフト回路１５は、減算回路１４Ｓから出力された差分Ｓ_mを、上位ビット側にｍ－１桁分だけシフトしたシフト値Ｄ_mを計算して出力する（ステップ１１４）。これにより、ｍ桁目の差分Ｓ_mに対してｍ桁目の重み２^m-1が与えられたシフト値Ｄ_mが得られる。

【0031】

このようにして、畳み込み演算回路１０は、各ビット列Ｂ_mと対応するＭ個のシフト値Ｄ_mが得られた時点でループ処理を終了する（ステップ１１５）。
この後、合算回路１６は、ビットシフト回路１５から出力されたＭ個のシフト値Ｄ_mを合算し、得られた合算結果を畳み込み演算結果Ｙとして出力し（ステップ１０４）、一連の畳み込み演算処理を終了する。

【0032】

［第１の実施の形態にかかる動作例］
次に、図３を参照して、本実施の形態にかかる畳み込み演算回路１０の動作例について説明する。図３は、第１の実施の形態にかかる畳み込み演算動作例を示す説明図である。
ここでは、理解を容易とするため、２ビット幅（Ｍ＝２）を有する４つ（Ｎ＝４）の入力データＸ_n「３，１，０，２」が入力されるものとし、これらＸ_nに対する４ビット分の重み係数Ｗが「１，０，１，１」である場合を例として説明する。なお、有効ビット値として「０」が予め設定されているものとする。

【0033】

まず、４つの入力データＸ_nは、ビット変換回路１１に入力されて、４ビット幅を有する２個のビット列に変換され、これらＸ_nに関する最下位ビット（ＬＳＢ）から１桁目（ｍ＝１）のビット列Ｂ₁＝「１１００」と、最下位ビットから２桁目（ｍ＝２）のビット列Ｂ₂＝「１００１」とが生成される。
これらＢ₁，Ｂ₂は、排他的論理和回路１３に入力されて、それぞれ重み係数Ｗ「１０１１」とのＸＯＲが演算され、排他的論理和Ｑ₁＝「０１１１」と排他的論理和Ｑ₂＝「００１０」とが出力される。

【0034】

次に、これらＱ₁，Ｑ₂は、ビット計数回路１４のビットカウンタ１４Ｗに入力されて、それぞれ有効ビット数「０」がカウントされ、Ｑ₁から得られたビット数ＰＱ₁＝「１」とＱ₂から得られたビット数ＰＱ₂＝「３」とが出力される。
また、Ｗ＝「１０１１」は、ビット計数回路１４のビットカウンタ１４Ｑに入力されて、有効ビット数「０」がカウントされ、ビット数ＰＷ＝「１」が出力される。

【0035】

続いて、これらＰＱ₁，ＰＱ₂は、ビット計数回路１４の減算回路１４Ｓに入力されて、それぞれＰＷとの差分Ｓ₁＝ＰＱ₁－ＰＷ＝「０（＝１－１）」と、差分Ｓ₂＝ＰＱ₂－ＰＷ＝「２（＝３－１）」とが計算されて出力される。

【0036】

次に、これらＳ₁，Ｓ₂は、ビットシフト回路１５に入力されて、それぞれｍ－１桁分だけ上位ビット側にシフトされて、シフト値Ｄ₁＝Ｓ₁×２⁰＝「０（＝０×１）」とシフト値Ｄ₂＝Ｓ₂×２¹「４（＝２×２）」とが計算されて出力される。
この後、これらＤ₁，Ｄ₂は、合算回路１６に入力されて合算され、畳み込み演算結果Ｙ＝Ｄ₁＋Ｄ₂＝「４（＝０＋４）」が出力される。

【0037】

一方、従来の畳み込み演算処理では、入力データＸ_n＝「３，１，０，２」と重み係数Ｗ＝「１，－１，１，１」とが、それぞれ乗算されて乗算値ＭＵ１＝「３（＝３×１）」、ＭＵ₂＝「－１（＝１×－１）」、ＭＵ₃＝「０（＝０×１）」、ＭＵ₄＝「２（＝２×１）」が計算される。なお、重み係数Ｗは｛１，－１｝で表現されているものとする。この後、これら乗算値ＭＵ_nの合計ＭＵ₁＋ＭＵ₂＋ＭＵ₃＋ＭＵ₄＝「４」が畳み込み演算結果ＹＣとして出力される。

【0038】

これにより、本実施の形態にかかる畳み込み演算処理で、従来の畳み込み演算処理と等しい畳み込み演算結果Ｙが得られていることがわかる。また、従来の畳み込み演算処理では、入力データＸ_nの個数Ｎ個分の乗算処理が必要であるが、本実施の形態にかかる畳み込み演算処理によれば、ＸＯＲ、減算、およびビットシフトの各ビット演算処理で実現でき、回路構成の簡略化さらには処理の高速化が実現されることがわかる。

【0039】

［第１の実施の形態の効果］
このように、本実施の形態は、ビット変換回路１１が、Ｎ個の入力データＸ_nから各ビット桁ｍのビット列Ｂ_mをそれぞれ生成し、排他的論理和回路１３が、得られたＭ個のビット列Ｂ_mについて、当該ビット列Ｂ_mと重み係数Ｗとの排他的論理和Ｑ_mをそれぞれ演算し、ビット計数回路１４が、得られたＭ個の排他的論理和Ｑ_mについて、当該排他的論理和Ｑ_mに含まれる、予め設定された有効ビット値の数であるビット数ＰＱ_mと、重み係数Ｗに含まれる有効ビット値の数であるビット数ＰＷとを計数して、両者の差分Ｓ_mを計算し、ビットシフト回路１５が、得られたＭ個の差分Ｓ_mについて、当該差分Ｓ_mを上位ビット側にｍ－１桁分だけシフトしたシフト値Ｄ_mを計算し、合算回路１６が、得られたＭ個のシフト値Ｄ_mを合算し、畳み込み演算結果Ｙとして出力するようにしたものである。

【0040】

これにより、乗算処理を必要とすることなく、ＸＯＲ、減算、およびビットシフトの各ビット演算処理で畳み込み演算結果を得ることができる。したがって、回路構成の簡略化さらには処理の高速化を実現することが可能となる。このため、少ないリソースで畳み込み演算を高速処理することができ、リソースが限られているＦＰＧＡなどのＰＬＤを用いても容易に畳み込み演算回路を実現することができる。また、画像データなどのデータ量の大きい入力データであっても、その特徴量を効率よく抽出することができる。したがって、膨大なハードウェア量や消費電力を必要とすることなく演算処理できる畳み込みニューラルネットワーク装置を実現することが可能となる。

【0041】

また、本実施の形態において、ビット計数回路１４を、排他的論理和Ｑ_mに含まれる、有効ビット値「０」の数であるビット数ＰＱ_mを計数するビットカウンタ１４Ｑと、重み係数Ｗに含まれる、有効ビット値「０」の数であるビット数ＰＷを計数するビットカウンタ１４Ｗと、ビット数ＰＱ_mからビット数ＰＷを減算することにより差分Ｓ_mを出力する減算回路１４Ｓとから構成してもよい。
これにより、少ないリソースで各入力データＸ_nに関する差分Ｓ_mを計算することができる。

【0042】

また、本実施の形態において、重み係数Ｗを記憶する記憶回路１２をさらに備え、排他的論理和回路１３は、ビット列Ｂ_mごとに、当該ビット列Ｂ_mと記憶回路から読み出した重み係数Ｗとの排他的論理和Ｑ_mを演算し、ビット計数回路１４は、当該排他的論理和Ｑ_mに含まれる、予め設定された有効ビット値の数であるビット数ＰＱ_mと、記憶回路から読み出した重み係数Ｗに含まれる有効ビット値の数であるビット数ＰＷとの差分Ｓ_mを計数するようにしてもよい。

【0043】

これにより、畳み込みニューラルネットワーク装置などの演算処理装置から指定された重み係数Ｗを排他的論理和回路１３とビット計数回路１４とで利用することができる。したがって、入力データＸ_nに応じて任意の重み係数Ｗを切り替えることができ、１つの畳み込み演算回路１０を演算処理システム内で必要となる各種の畳み込み演算処理で兼用することが可能となる。このため、演算処理システム全体のハードウェア量を効率よく削減できる。

【0044】

［第２の実施の形態］
次に、図４を参照して、本発明の第２の実施の形態にかかる畳み込み演算回路１０について説明する。図４は、第２の実施の形態にかかる畳み込み演算回路を示すブロック図である。
前述した第１の実施の形態では、排他的論理和回路１３でＢ_mとＷとの排他的論理和Ｑ_mを演算し、ビット計数回路１４で有効ビット「０」を計数する場合を例として説明したが、これらの回路を汎用のロジック回路で実現した場合、ある程度のリソースを必要とする。一般には、ＸＯＲ回路よりＸＮＯＲ（eXclusive NOR）回路を用いたほうが少ないリソースで実現できる。また、ビットカウンタとして汎用のＰＯＰカウンタ（Population Counter）で有効ビット「１」を計数したほうが少ないリソースで実現できる。

【0045】

本実施の形態は、このような汎用のリソースに着目し、排他的論理和回路１３として否定排他的論理和ＱＩ_mを演算するＸＮＯＲ回路で実現でき、ビット計数回路１４のビットカウンタ１４Ｑ，１４Ｗとして、ＰＯＰカウンタで実現できるようにしたものである。
すなわち、本実施の形態において、排他的論理和回路１３は、一般的なＮビット幅のＸＮＯＲゲート回路からなり、Ｍ個のビット列Ｂ_mのそれぞれについて、当該ビット列Ｂ_mと重み係数Ｗとの否定排他的論理和ＱＩ_mを演算する。

【0046】

また、ビット計数回路１４は、Ｍ個の否定排他的論理和ＱＩ_mのそれぞれについて、当該否定排他的論理和ＱＩ_mに含まれる、有効ビット値「１」の数であるビット数（第３のビット数）ＰＱＩ_mを計数するビットカウンタ（第３のビットカウンタ）１４Ｑと、重み係数Ｗをビット反転した反転重み係数ＷＩを出力するインバータ１４Ｉと、反転重み係数ＷＩに含まれる、有効ビット値「１」の数であるビット数（第４のビット数）ＰＷＩを計数するビットカウンタ（第４のビットカウンタ）１４Ｗと、ビット数ＰＱＩ_mからビット数ＰＷＩを減算することにより差分Ｓ_mを出力する減算回路１４Ｓとを備えている。
なお、本実施の形態にかかる上記以外の構成については、前述した第１の実施の形態と同様であり、ここでの詳細な説明は省略する。

【0047】

［第２の実施の形態の動作］
次に、図５を参照して、本実施の形態にかかる畳み込み演算回路１０の動作について説明する。図５は、第２の実施の形態にかかる畳み込み演算処理を示すフローチャートである。畳み込み演算処理の実行に際し、記憶回路１２には、重み係数Ｗが登録されているものとする。また、有効ビット値として「１」が予め設定されているものとする。

【0048】

まず、ビット変換回路１１は、Ｍビット幅を有するＮ個の入力データＸ_n（ｎ＝１，２，…，Ｎ）を取得し（ステップ２００）、Ｘ_nを構成する各ビットのビット桁ｍ（ｍ＝１，２，…，Ｍ）ごとに、これらＮ個のＸ_nのそれぞれから当該ｍ桁目のビット値を抽出して、Ｎビット幅を有するＭ個のビット列Ｂ_mに変換して出力する（ステップ２０１）。

【0049】

また、ビット計数回路１４は、記憶回路１２からＮビット幅の重み係数Ｗを取得し（ステップ２０２）、インバータ１４Ｉにより重み係数Ｗを反転した反転重み係数ＷＩを計算し（ステップ２０３）、ビットカウンタ１４Ｗにより、反転重み係数ＷＩに含まれる有効ビット値「１」の数であるビット数ＰＷＩを計数する（ステップ２０４）。このＰＷＩの値は、前述したＰＩの値と等しい。
この後、畳み込み演算回路１０は、以下のステップ２１１～ステップ２１４に示すループ処理の実行を開始実行することにより、Ｍ個のビット列Ｂ_m（ｍ＝１，２，…，Ｍ）のそれぞれに関するシフト値Ｄ_mを計算する（ステップ２１０）。

【0050】

まず、排他的論理和回路１３は、ビット変換回路１１から出力されたビット列Ｂ_mと重み係数Ｗとの排他的論理和Ｑ_mを演算して出力する（ステップ２１１）。
次に、ビット計数回路１４は、ビットカウンタ１４Ｑより、排他的論理和回路１３から出力された排他的論理和Ｑ_mに含まれる、有効ビット値「１」の数であるビット数ＰＱＩ_mを計数する（ステップ２１２）。このＰＱＩ_mの値は、前述したＰＱ_mの値と等しい。

【0051】

この後、ビット計数回路１４は、減算回路１４Ｓにより、ビットカウンタ１４Ｑから出力されたビット数ＰＱＩ_mから、ビットカウンタ１４Ｗから出力されたビット数ＰＷＩを減算することにより差分Ｓ_mを計算して出力する（ステップ２１３）。
次に、ビットシフト回路１５は、減算回路１４Ｓから出力された差分Ｓ_mを、上位ビット側にｍ－１桁分だけシフトしたシフト値Ｄ_mを計算して出力する（ステップ２１４）。これにより、ｍ桁目の差分Ｓ_mに対してｍ桁目の重み２^m-1が与えられたシフト値Ｄ_mが得られる。

【0052】

このようにして、畳み込み演算回路１０は、各ビット列Ｂ_mと対応するＭ個のシフト値Ｄ_mが得られた時点でループ処理を終了する（ステップ２１５）。
この後、合算回路１６は、ビットシフト回路１５から出力されたＭ個のシフト値Ｄ_mを合算し、得られた合算結果を畳み込み演算結果Ｙとして出力し（ステップ２０５）、一連の畳み込み演算処理を終了する。

【0053】

［第２の実施の形態にかかる動作例］
次に、図６を参照して、本実施の形態にかかる畳み込み演算回路１０の動作例について説明する。図６は、第２の実施の形態にかかる畳み込み演算動作例を示す説明図である。
ここでは、２ビット幅（Ｍ＝２）を有する４つ（Ｎ＝４）の入力データＸ_nが「３，１，０，２」が入力されるものとし、これらＸ_nに対する１ビット幅の重み係数Ｗが「１，０，１，１」である場合を例として説明する。なお、有効ビット値として「１」が予め設定されているものとする。

【0054】

まず、４つの入力データＸ_nは、ビット変換回路１１に入力されて、４ビット幅を有する２個のビット列に変換され、これらＸ_nに関する最下位ビット（ＬＳＢ）から１桁目（ｍ＝１）のビット列Ｂ₁＝「１１００」と、最下位ビットから２桁目（ｍ＝２）のビット列Ｂ₂＝「１００１」とが生成される。
これらＢ₁，Ｂ₂は、排他的論理和回路１３に入力されて、それぞれ重み係数Ｗ「１０１１」とのＸＮＯＲが演算され、否定排他的論理和ＱＩ₁＝「１０００」と否定排他的論理和ＱＩ₂＝「１１０１」とが出力される。

【0055】

次に、これらＱＩ₁，ＱＩ₂は、ビット計数回路１４のビットカウンタ１４Ｗに入力されて、それぞれ有効ビット数「１」がカウントされ、ＱＩ₁から得られたビット数ＰＱＩ₁＝「１」と、ＱＩ₂から得られたビット数ＰＱＩ₂＝「３」とが出力される。
また、Ｗ＝「１０１１」は、インバータ１４ＩでＷＩ＝「０１００」に反転された後、ビット計数回路１４のビットカウンタ１４Ｑに入力されて、有効ビット数「１」がカウントされ、ビット数ＰＷＩ＝「１」が出力される。

【0056】

続いて、これらＰＱＩ₁，ＰＱＩ₂は、ビット計数回路１４の減算回路１４Ｓに入力されて、それぞれＰＷＩとの差分Ｓ₁＝ＰＱＩ₁－ＰＷＩ＝「０（＝１－１）」と、差分Ｓ₂＝ＰＱＩ₂－ＰＷＩ＝「２（＝３－１）」とが計算されて出力される。

【0057】

次に、これらＳ₁，Ｓ₂は、ビットシフト回路１５に入力されて、それぞれｍ－１桁分だけ上位ビット側にシフトされて、シフト値Ｄ₁＝Ｓ₁×２⁰＝「０（＝０×１）」とシフト値Ｄ₂＝Ｓ₂×２¹「４（＝２×２）」とが計算されて出力される。
この後、これらＤ₁，Ｄ₂は、合算回路１６に入力されて合算され、畳み込み演算結果Ｙ＝Ｄ₁＋Ｄ₂＝「４（＝０＋４）」が出力される。

【0058】

これにより、本実施の形態にかかる畳み込み演算処理で、第１の実施の形態にかかる畳み込み演算処理と等しい畳み込み演算結果Ｙが得られていることがわかる。また、第１の実施の形態にかかる畳み込み演算処理では、ＸＯＲや有効ビット「０」を計数するビットカウンタが必要であるが、本実施の形態にかかる畳み込み演算処理によれば、より汎用的でリソースの小さいＸＮＯＲやＰＯＰカウンタで実現でき、回路構成の簡略化さらには処理の高速化が実現されることがわかる。

【0059】

［第２の実施の形態の効果］
このように、本実施の形態は、排他的論理和回路１３が、Ｍ個のビット列Ｂ_mについて、当該ビット列Ｂ_mと重み係数Ｗとの否定排他的論理和ＱＩ_mをそれぞれ演算し、ビット計数回路１４を、否定排他的論理和ＱＩ_mに含まれる、有効ビット値「１」の数であるビット数ＰＱＩ_mを計数するビットカウンタ１４Ｗと、重み係数Ｗをビット反転した反転重み係数ＷＩを出力するインバータ１４Ｉと、反転重み係数ＷＩに含まれる、有効ビット値「１」の数であるビット数ＰＷＩを計数するビットカウンタ１４Ｗと、ビット数ＰＱＩ_mからビット数ＰＷＩを減算することにより差分Ｓ_mを出力する減算回路１４Ｓとから構成したものである。

【0060】

これにより、第１の実施の形態にかかるＸＯＲやビットカウンタに代えて、より汎用的で回路規模の小さいリソースであるＸＮＯＲやＰＯＰカウンタで実現でき、回路構成の簡略化さらには処理の高速化を実現することが可能となる。このため、より少ないリソースで畳み込み演算を高速処理することができ、リソースが限られているＦＰＧＡなどのＰＬＤを用いても容易に畳み込み演算回路を実現することができる。また、画像データなどのデータ量の大きい入力データであっても、その特徴量を効率よく抽出することができる。したがって、膨大なハードウェア量や消費電力を必要とすることなく演算処理できる畳み込みニューラルネットワーク装置を実現することが可能となる。

【0061】

［実施の形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。また、各実施形態については、矛盾しない範囲で任意に組み合わせて実施することができる。

【0062】

また、各実施の形態では、畳み込み演算処理を複数の回路部で実現する場合を例として説明したが、これに限定されるものではない。例えば、ビット変換回路１１、排他的論理和回路１３、ビット計数回路１４、ビットシフト回路１５、および合算回路１６を、ＣＰＵ（Central Processing Unit），ＦＰＵ（Floating point number Processing Unit），ＧＰＵ（Graphics Processing Unit），ＤＳＰ（Digital Signal Processor）などのマイクロプロセッサとプログラムとが協働してなる演算処理部により、ビット変換部、排他的論理和部、ビット計数部、ビットシフト部、および合算部からなる各処理部で実現してもよい。

【0063】

この場合も、乗算処理を必要とすることなく、ＸＯＲ、減算、およびビットシフトの各ビット演算処理で畳み込み演算結果を得ることができ、処理構成の簡略化さらには処理の高速化を実現することが可能となる。このため、少ないリソースで畳み込み演算を高速処理することができ、リソースが限られているマイクロプロセッサを用いても容易に実現することができる。また、画像データなどのデータ量の大きい入力データであっても、その特徴量を効率よく抽出することができる。したがって、膨大なハードウェア量や消費電力を必要とすることなく演算処理できる畳み込みニューラルネットワーク装置を実現することができる。

【符号の説明】

【0064】

１０…畳み込み演算回路、１１…ビット変換回路、１２…記憶回路、１３…排他的論理和回路、１４…ビット計数回路、１４Ｑ，１４Ｗ…ビットカウンタ、１４Ｓ…減算回路、１４Ｉ…インバータ、１５…ビットシフト回路、１６…合算回路。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】