特開 2024-116876 ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びニューラルネットワーク処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024116876

(43)【公開日】2024-08-28

(54)【発明の名称】ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びニューラルネットワーク処理プログラム

(51)【国際特許分類】

   G06N 3/0464 20230101AFI20240821BHJP

【ＦＩ】

G06N3/0464

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023022710

(22)【出願日】2023-02-16

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】591230295

【氏名又は名称】ＮＴＴイノベーティブデバイス株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】大森 優也

(72)【発明者】

【氏名】中村 健

(72)【発明者】

【氏名】小林 大祐

(72)【発明者】

【氏名】堀下 祐輔

(72)【発明者】

【氏名】鵜澤 寛之

(72)【発明者】

【氏名】吉田 周平

(72)【発明者】

【氏名】八田 彩希

(72)【発明者】

【氏名】飯沼 宥光

(72)【発明者】

【氏名】吉沢 猛司

(72)【発明者】

【氏名】増田 圭彦

(57)【要約】

【課題】畳み込みニューラルネットワークにｗｉｎｏｇｒａｄ変換処理を適用する場合に、適用範囲を拡大しつつ、演算量の削減を実現する。
【解決手段】ニューラルネットワーク処理装置は、拡張率が２以上となる拡張畳み込み層である二次元畳み込み層に対して、拡張率の値に応じて、入力特徴マップから複数のサブ入力特徴マップを作成し、拡張率の値に応じて、入力カーネルから０となる部分を除いた縮小カーネルを作成し、複数のサブ入力特徴マップの各々と縮小カーネルに対して、ｗｉｎｏｇｒａｄ変換処理を行い、複数のサブ入力特徴マップの各々に対応する複数のサブ畳み込み結果を得て、複数のサブ畳み込み結果を合成して、二次元畳み込み層に対する畳み込み結果を得る。
【選択図】図２

【特許請求の範囲】

【請求項1】

畳み込みニューラルネットワークのｗｉｎｏｇｒａｄ変換処理で指定される拡張率が２以上となる拡張畳み込み層である二次元畳み込み層に対して、前記拡張率の値に応じて、入力特徴マップから複数のサブ入力特徴マップを作成するサブ入力特徴マップ作成部と、
前記拡張率の値に応じて、入力カーネルから０となる部分を除いた縮小カーネルを作成する縮小カーネル作成部と、
前記複数のサブ入力特徴マップの各々と前記縮小カーネルに対して、ｗｉｎｏｇｒａｄ変換処理を行い、前記複数のサブ入力特徴マップの各々に対応する複数のサブ畳み込み結果を得るｗｉｎｏｇｒａｄ変換処理部と、
前記複数のサブ畳み込み結果を合成して、前記二次元畳み込み層に対する畳み込み結果を得るサブ畳み込み結果合成部と、
を備えたニューラルネットワーク処理装置。

【請求項2】

前記ｗｉｎｏｇｒａｄ変換処理部は、前記拡張率が１となる拡張畳み込み層ではない二次元畳み込み層に対して、ｗｉｎｏｇｒａｄ変換処理を行い、入力特徴マップに対応する畳み込み結果を得る、
請求項１に記載のニューラルネットワーク処理装置。

【請求項3】

前記サブ入力特徴マップ作成部は、前記拡張率の値に応じて、前記入力特徴マップの各画素を分離する単位である複数の分離単位を決定し、前記複数の分離単位の各々について同じ位置の画素を選択し、選択した画素をまとめて前記サブ入力特徴マップを作成し、
前記縮小カーネル作成部は、前記拡張率の値に応じた位置に挿入されている０を除き、前記入力カーネルよりも小さいサイズの前記縮小カーネルを作成する、
請求項１に記載のニューラルネットワーク処理装置。

【請求項4】

前記ｗｉｎｏｇｒａｄ変換処理部は、
前記縮小カーネルに対する行列変換を行う第１行列変換部と、
前記複数のサブ入力特徴マップの各々に対する行列変換を行う第２行列変換部と、
前記第１行列変換部により行列変換された前記縮小カーネルと、前記第２行列変換部により行列変換された前記複数のサブ入力特徴マップの各々とのアダマール積を導出する乗算処理部と、
前記アダマール積に対する行列変換を行い、前記複数のサブ畳み込み結果を得る第３行列変換部と、
を含む、
請求項３に記載のニューラルネットワーク処理装置。

【請求項5】

ニューラルネットワーク処理装置が、
畳み込みニューラルネットワークのｗｉｎｏｇｒａｄ変換処理で指定される拡張率が２以上となる拡張畳み込み層である二次元畳み込み層に対して、前記拡張率の値に応じて、入力特徴マップから複数のサブ入力特徴マップを作成し、
前記拡張率の値に応じて、入力カーネルから０となる部分を除いた縮小カーネルを作成し、
前記複数のサブ入力特徴マップの各々と前記縮小カーネルに対して、ｗｉｎｏｇｒａｄ変換処理を行い、前記複数のサブ入力特徴マップの各々に対応する複数のサブ畳み込み結果を得て、
前記複数のサブ畳み込み結果を合成して、前記二次元畳み込み層に対する畳み込み結果を得る、
ニューラルネットワーク処理方法。

【請求項6】

畳み込みニューラルネットワークのｗｉｎｏｇｒａｄ変換処理で指定される拡張率が２以上となる拡張畳み込み層である二次元畳み込み層に対して、前記拡張率の値に応じて、入力特徴マップから複数のサブ入力特徴マップを作成し、
前記拡張率の値に応じて、入力カーネルから０となる部分を除いた縮小カーネルを作成し、
前記複数のサブ入力特徴マップの各々と前記縮小カーネルに対して、ｗｉｎｏｇｒａｄ変換処理を行い、前記複数のサブ入力特徴マップの各々に対応する複数のサブ畳み込み結果を得て、
前記複数のサブ畳み込み結果を合成して、前記二次元畳み込み層に対する畳み込み結果を得る処理を、
コンピュータに実行させるためのニューラルネットワーク処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びニューラルネットワーク処理プログラムに関する。

【背景技術】

【0002】

畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）においては、ネットワークモデルが複数の層で構成され、畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）では畳み込み処理を行う。畳み込み処理では、図１０に示すように、前層等の入力特徴マップ（入力ｆｍａｐともいう。）、及び重み係数であるカーネルを入力とする。入力特徴マップと入力カーネルとで畳み込み演算（積和演算）して得られた畳み込み演算結果にｂｉａｓ値を加算し、活性化関数処理を行う。これにより出力特徴マップを得る。

【0003】

ＣＮＮの推論処理をＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の専用ハードウェアで実装する場合、推論処理の中でも畳み込み演算が演算量の大部分を占める。畳み込み演算は積和演算の繰り返しであるため、演算回路としては乗算器と加算器で構成され、特に、乗算器の必要回路面積は加算器よりも大きいため、畳み込み演算部の乗算器がＣＮＮ推論ハードウェアの演算器の大部分を占める。このため、畳み込み演算の乗算器がハードウェアの面積又は電力を左右し、乗算器を有効に活用できるかどうかが面積又は電力当たりのスループット（推論処理性能）を左右する。

【0004】

畳み込み演算の乗算回数の削減手法として、ｗｉｎｏｇｒａｄ変換が知られている（例えば、非特許文献１参照）。ｗｉｎｏｇｒａｄ変換は、図１１に示すように、入力特徴マップ及び入力カーネルの各々に対して事前に行列変換を行い、変換後入力特徴マップと変換後入力カーネルとでアダマール積の乗算をとり、その後さらに事後の行列変換を行う。これにより畳み込み演算と同様の結果を得ることができる。その際に、アダマール積で必要な乗算回数は、本来の畳み込み演算で必要な乗算回数よりも減るため、全体として演算量を削減することができる。推論ハードウェアの場合は実装すべき乗算回路が少なくてすみ、回路面積又は電力当たりのスループットが向上する。

【0005】

図１１に示すｗｉｎｏｇｒａｄ変換の変換式は、下記の式（１）により表される。但し、Ｉは入力特徴マップ、Ｉ′は変換後入力特徴マップ、Ｋは入力カーネル、Ｋ′は変換後入力カーネル、Ｏ′はアダマール積結果、Ｏは畳み込み結果、Ａ、Ｂ、Ｃは変換行列を示す。また、Ｔは転置行列を示す。

【0006】

（１）

【0007】

例えば、入力特徴マップのサイズを４×４、入力カーネルのサイズを３×３、畳み込み結果のサイズを２×２とした場合について、図１２に示す。

【0008】

図１２に示すサイズ構成の場合、ｗｉｎｏｇｒａｄ変換に用いる変換行列Ａ、Ｂ、Ｃは、以下の式（２）のように決定される。

【0009】

（２）

【0010】

変換後入力特徴マップのサイズは４×４、変換後入力カーネルのサイズは３×３となる。これらのアダマール積は１６回の乗算が必要となる。アダマール積の乗算の後の変換行列Ａによって４×４のアダマール積結果Ｏ′が２×２の畳み込み結果Ｏとなる。

【0011】

通常の畳み込み演算の場合、（３×３）×（２×２）＝３６回の乗算が必要であるのに対して、ｗｉｎｏｇｒａｄ変換を利用することで１６回の乗算ですみ、４／９倍の乗算数となる。同様に、５×５の入力カーネルの場合、畳み込み結果のサイズを２×２とすると、９／２５倍の乗算数ですむ。

【先行技術文献】

【非特許文献】

【0012】

【非特許文献1】“Fast Algorithms for Convolutional Neural Networks", Andrew Lavin, Scott Gray.

【発明の概要】

【発明が解決しようとする課題】

【0013】

一方、変換行列Ａ、Ｂ、Ｃは、カーネルサイズ毎に異なるものとなる。ＣＮＮ推論処理をハードウェア実装する場合、あらゆるカーネルサイズ毎の変換行列Ａ、Ｂ、Ｃを用意するのは現実的ではなく、さらに、あらゆる変換行列Ａ、Ｂ、Ｃによる行列処理を行えるようなｗｉｎｏｇｒａｄ変換用回路を実装するのも現実的ではない。

【0014】

このため、特定のカーネルサイズ(例えば、３×３)の場合だけに対応したｗｉｎｏｇｒａｄ変換用回路を用意し、３×３の場合はｗｉｎｏｇｒａｄ変換用回路を利用して処理速度を向上させ、３×３以外の場合はｗｉｎｏｇｒａｄ変換用回路を利用せずに通常の畳み込み演算処理を行い処理速度は向上させない、という方式をとる場合が多い。この場合、ｗｉｎｏｇｒａｄ変換用回路を利用できる範囲が少なく、汎用性に乏しい。

【0015】

さらに、通常の畳み込み層以外でのｗｉｎｏｇｒａｄ変換は適用が難しく、適用しても十分な効果が出ない可能性がある。

【0016】

近年のＣＮＮ推論モデルでは、拡張畳み込み層（ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）という特殊な畳み込み層を含むことが多い。拡張畳み込み層は、カーネル内の飛び飛びの位置のみを有効にする。飛び飛びの間隔を拡張率（ｄｉｌａｔｉｏｎ ｒａｔｅ：ｄｒ）と呼び、３×３カーネルの場合の拡張率（ｄｒ）＝１、２、４は、図１３に示すようになる。拡張率（ｄｒ）＝１は通常畳み込みと同様となる。

【0017】

拡張畳み込み層により、畳み込み演算の積和回数を変えずに、広範囲の入力特徴マップから畳み込みを行うことができる。例えば、サイズが３×３で拡張率が２の入力カーネルは、５×５の入力カーネルで２５点中１６点の値が０であるものと等しいが、演算回数は３×３の通常畳み込みと同様であり、５×５の９／２５倍である。

【0018】

しかしながら、ｗｉｎｏｇｒａｄ変換では、飛び飛びのカーネルには対応できないため、飛び飛び以外の無効カーネルを０で埋めて通常の畳み込み層として扱うことでのみ対応が可能となる。例えば、３×３で拡張率が２のカーネルは、５×５としてみなすことでのみ、ｗｉｎｏｇｒａｄ変換の対応が可能となる。

【0019】

５×５のカーネルとみなして、ｗｉｎｏｇｒａｄ変換を行うことで、乗算数を通常の５×５の畳み込み層と比べて削減できるが、そもそも通常の５×５の畳み込み層が通常の３×３の畳み込み層よりも乗算数が大きいため、合わせると乗算数の削減効果がなくなってしまう。つまり、ｗｉｎｏｇｒａｄ変換での乗算数が９／２５倍に減っても、５×５とみなすことで２５／９倍となり、実質的に１倍となってしまう。

【0020】

このように、ｗｉｎｏｇｒａｄ変換用回路を適用可能な範囲が少なく、さらに、拡張畳み込み層のような特殊な畳み込み層では乗算数の削減効果がなくなり、ｗｉｎｏｇｒａｄ変換用回路による十分な処理速度の高速化が得られない。

【0021】

開示の技術は、上記の点に鑑みてなされたものであり、畳み込みニューラルネットワークにｗｉｎｏｇｒａｄ変換処理を適用する場合に、適用範囲を拡大しつつ、演算量の削減を実現することができるニューラルネットワーク処理装置、ニューラルネットワーク処理方法、及びニューラルネットワーク処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0022】

本開示の一態様に係るニューラルネットワーク処理装置は、畳み込みニューラルネットワークのｗｉｎｏｇｒａｄ変換処理で指定される拡張率が２以上となる拡張畳み込み層である二次元畳み込み層に対して、前記拡張率の値に応じて、入力特徴マップから複数のサブ入力特徴マップを作成するサブ入力特徴マップ作成部と、前記拡張率の値に応じて、入力カーネルから０となる部分を除いた縮小カーネルを作成する縮小カーネル作成部と、前記複数のサブ入力特徴マップの各々と前記縮小カーネルに対して、ｗｉｎｏｇｒａｄ変換処理を行い、前記複数のサブ入力特徴マップの各々に対応する複数のサブ畳み込み結果を得るｗｉｎｏｇｒａｄ変換処理部と、前記複数のサブ畳み込み結果を合成して、前記二次元畳み込み層に対する畳み込み結果を得るサブ畳み込み結果合成部と、を備える。

【0023】

本開示の一態様に係るニューラルネットワーク処理方法は、畳み込みニューラルネットワークのｗｉｎｏｇｒａｄ変換処理で指定される拡張率が２以上となる拡張畳み込み層である二次元畳み込み層に対して、前記拡張率の値に応じて、入力特徴マップから複数のサブ入力特徴マップを作成し、前記拡張率の値に応じて、入力カーネルから０となる部分を除いた縮小カーネルを作成し、前記複数のサブ入力特徴マップの各々と前記縮小カーネルに対して、ｗｉｎｏｇｒａｄ変換処理を行い、前記複数のサブ入力特徴マップの各々に対応する複数のサブ畳み込み結果を得て、前記複数のサブ畳み込み結果を合成して、前記二次元畳み込み層に対する畳み込み結果を得る。

【0024】

本開示の一態様に係るニューラルネットワーク処理プログラムは、畳み込みニューラルネットワークのｗｉｎｏｇｒａｄ変換処理で指定される拡張率が２以上となる拡張畳み込み層である二次元畳み込み層に対して、前記拡張率の値に応じて、入力特徴マップから複数のサブ入力特徴マップを作成し、前記拡張率の値に応じて、入力カーネルから０となる部分を除いた縮小カーネルを作成し、前記複数のサブ入力特徴マップの各々と前記縮小カーネルに対して、ｗｉｎｏｇｒａｄ変換処理を行い、前記複数のサブ入力特徴マップの各々に対応する複数のサブ畳み込み結果を得て、前記複数のサブ畳み込み結果を合成して、前記二次元畳み込み層に対する畳み込み結果を得る処理を、コンピュータに実行させる。

【発明の効果】

【0025】

開示の技術によれば、畳み込みニューラルネットワークにｗｉｎｏｇｒａｄ変換処理を適用する場合に、適用範囲を拡大しつつ、演算量の削減を実現することができる、という効果を有する。

【図面の簡単な説明】

【0026】

【図1】実施形態に係るニューラルネットワーク処理装置のハードウェア構成の一例を示すブロック図である。

【図2】実施形態に係るニューラルネットワーク処理装置の構成の一例を示すブロック図である。

【図3】実施形態に係る畳み込み処理の説明に供する図である。

【図4】入力特徴マップからサブ入力特徴マップを作成する処理の説明に供する図である。

【図5】サブ入力特徴マップ及び縮小カーネルからサブ畳み込み結果を得る処理の説明に供する図である。

【図6】実施形態に係るｗｉｎｏｇｒａｄ変換処理の説明に供する図である。

【図7】サブ畳み込み結果から二次元畳み込み層に対する畳み込み結果を得る処理の説明に供する図である。

【図8】実施形態に係るニューラルネットワーク処理装置による処理の流れの一例を示すフローチャートである。

【図9】実施形態に係る別のニューラルネットワーク処理装置の構成の一例を示すブロック図である。

【図10】従来技術を示す図である。

【図11】従来技術を示す図である。

【図12】従来技術を示す図である。

【図13】従来技術を示す図である。

【発明を実施するための形態】

【0027】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において、同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0028】

本実施形態に係るニューラルネットワーク処理装置は、同一のカーネルサイズの拡張畳み込み層であってもｗｉｎｏｇｒａｄ変換を可能とし、ｗｉｎｏｇｒａｄ変換の適用範囲を拡大しつつ、演算量の削減を実現する。

【0029】

図１は、本実施形態に係るニューラルネットワーク処理装置１０のハードウェア構成の一例を示すブロック図である。

【0030】

図１に示すように、ニューラルネットワーク処理装置１０は、ＣＮＮ用演算回路１００と、メモリ２００と、を備えている。メモリ２００は、カーネル等を格納する。ＣＮＮ用演算回路１００は、メモリ２００から転送されたカーネル等を利用して畳み込み処理や活性化関数処理等のＣＮＮ処理を行う。本実施形態に係るＣＮＮ用演算回路１００は、ＣＮＮ専用に設計されたハードウェアとして構成される。ＣＮＮ用演算回路１００は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、又は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路として構成される。

【0031】

次に、図２を参照して、ニューラルネットワーク処理装置１０の具体的な構成について説明する。

【0032】

図２は、本実施形態に係るニューラルネットワーク処理装置１０の構成の一例を示すブロック図である。

【0033】

図２に示すように、ニューラルネットワーク処理装置１０は、構成として、ＣＮＮ用演算回路１００を備えている。ＣＮＮ用演算回路１００は、ｗｉｎｏｇｒａｄ変換用の畳み込み演算を行うための回路を含んで構成される。具体的に、ＣＮＮ用演算回路１００は、縮小カーネル作成部１０１Ａ、サブ入力特徴マップ作成部１０１Ｂ、ｗｉｎｏｇｒａｄ変換処理部１０２、及びサブ畳み込み結果合成部１０６を備えている。ｗｉｎｏｇｒａｄ変換処理部１０２は、第１行列変換部１０３Ａ、第２行列変換部１０３Ｂ、乗算処理部１０４、及び第３行列変換部１０５を備えている。これらの各構成は、例えば、ＣＮＮ専用に設計されたＦＰＧＡ又はＡＳＩＣにより実現される。

【0034】

縮小カーネル作成部１０１Ａは、拡張率（ｄｉｌａｔｉｏｎ ｒａｔｅ）の値に応じて、入力カーネルから０となる部分を除いた縮小カーネルを作成する。具体的に、縮小カーネル作成部１０１Ａは、例えば、拡張率の値に応じた位置に挿入されている０を除き、入力カーネルよりも小さいサイズの縮小カーネルを作成する。一例として、拡張率が２である場合、入力カーネルのサイズが５×５から３×３に縮小される。ここで、拡張率とは、畳み込みニューラルネットワークのｗｉｎｏｇｒａｄ変換処理で指定される値であり、上述したように、入力カーネル内の飛び飛びの間隔、つまり、入力カーネル内の有効カーネルの間隔を表している。一例として、上述の図１３に示すように、拡張率が２の場合、縦横１つ飛びに有効カーネルが配置され、拡張率が４の場合、縦横２つ飛びに有効カーネルが配置される。拡張率は、現層に対して予め指定された値が用いられ、例えば、メモリ２００から取得される。また、入力カーネルは、前層等から取得される重み係数であるカーネルを表しており、例えば、メモリ２００から取得される。

【0035】

サブ入力特徴マップ作成部１０１Ｂは、拡張率が２以上となる拡張畳み込み層である二次元畳み込み層に対して、拡張率の値に応じて、入力特徴マップから複数のサブ入力特徴マップを作成する。具体的に、サブ入力特徴マップ作成部１０１Ｂは、例えば、拡張率の値に応じて、入力特徴マップの各画素を分離する単位である複数の分離単位を決定し、複数の分離単位の各々について同じ位置の画素を選択し、選択した画素をまとめてサブ入力特徴マップを作成する。例えば、拡張率の値が２の場合、入力カーネルは縦横に２画素毎に１画素が有効化されるが、入力特徴マップの場合、縦横２画素で合計４画素の単位で分離し、４画素中の同一位置の画素をまとめてサブ入力特徴マップを作成する。サブ入力特徴マップは、拡張率の値の２乗分作成されるため、ここでは４つ作成される。

【0036】

ｗｉｎｏｇｒａｄ変換処理部１０２は、複数のサブ入力特徴マップの各々と縮小カーネルに対して、ｗｉｎｏｇｒａｄ変換処理を行い、複数のサブ入力特徴マップの各々に対応する複数のサブ畳み込み結果を得る。また、ｗｉｎｏｇｒａｄ変換処理部１０２は、拡張率が１となる拡張畳み込み層ではない二次元畳み込み層に対して、ｗｉｎｏｇｒａｄ変換処理を行い、入力特徴マップに対応する畳み込み結果を得る。つまり、拡張率が１の場合、入力特徴マップから複数のサブ入力特徴マップへの分離を行わず、通常の畳み込み処理を行う。

【0037】

具体的に、ｗｉｎｏｇｒａｄ変換処理部１０２は、第１行列変換部１０３Ａ、第２行列変換部１０３Ｂ、乗算処理部１０４、及び第３行列変換部１０５を含む。

【0038】

第１行列変換部１０３Ａは、一例として、上述の式（２）に示す変換行列Ｂを用いて、縮小カーネルに対する行列変換を行う。第２行列変換部１０３Ｂは、一例として、上述の式（２）に示す変換行列Ｃを用いて、複数のサブ入力特徴マップの各々に対する行列変換を行う。乗算処理部１０４は、第１行列変換部１０３Ａにより行列変換された縮小カーネルと、第２行列変換部１０３Ｂにより行列変換された複数のサブ入力特徴マップの各々とのアダマール積を導出する。第３行列変換部１０５は、一例として、上述の式（２）に示す変換行列Ａを用いて、アダマール積に対する行列変換を行い、複数のサブ畳み込み結果を得る。なお、変換行列Ａ、Ｂ、Ｃは、カーネルサイズが一定であれば、拡張率が異なっていても同じ行列でよい。

【0039】

サブ畳み込み結果合成部１０６は、ｗｉｎｏｇｒａｄ変換処理部１０２によりｗｉｎｏｇｒａｄ変換処理して得られた複数のサブ畳み込み結果を合成して、二次元畳み込み層に対する畳み込み結果を得る。

【0040】

以下、入力特徴マップのサイズが８×８、拡張率が２、入力カーネルのサイズが５×５（縮小カーネルのサイズが３×３）、畳み込み結果が４×４の場合を例示して具体的に説明する。

【0041】

図３は、本実施形態に係る畳み込み処理の説明に供する図である。

【0042】

図３に示すように、入力特徴マップＭ１と入力カーネルＫ１との拡張畳み込みで、畳み込み結果Ｃ１を得る。畳み込み結果Ｃ１の各画素Ａ～Ｄを得るために必要な入力特徴マップＭ１の画素１～１６は、次の通りである。画素Ａは画素１，２，３，５，６，７，９，１０，１１が必要とされ、画素Ｂは画素２，３，４，６，７，８，１０，１１，１２が必要とされる。画素Ｃは画素５，６，７，９，１０，１１，１３，１４，１５が必要とされ、画素Ｄは画素６，７，８，１０，１１，１２，１４，１５，１６が必要とされる。

【0043】

図４は、入力特徴マップＭ１からサブ入力特徴マップＳＭ１～ＳＭ４を作成する処理の説明に供する図である。この処理は、サブ入力特徴マップ作成部１０１Ｂにより実行される。

【0044】

図４に示すように、入力特徴マップＭ１の２×２画素を１つの分離単位とする。入力特徴マップＭ１の各画素を複数の分離単位（ここでは１６個）に分離し、複数の分離単位の各々の画素に対して番号（ここでは１～１６）を割り当てる。そして、複数の分離単位の各々について同じ位置の画素を選択し、選択した画素をまとめてサブ入力特徴マップＳＭ１～ＳＭ４を作成する。サブ入力特徴マップＳＭ１～ＳＭ４の各々は、４×４のサイズとなる。つまり、入力特徴マップＭ１の分離単位（２×２画素）のうち、左上、右上、左下、右下の各位置について同じ位置の画素を選択し、選択した画素をまとめてサブ入力特徴マップＳＭ１～ＳＭ４を作成する。

【0045】

このようにサブ入力特徴マップＳＭ１～ＳＭ４を作成した場合、サブ入力特徴マップＳＭ１～ＳＭ４の各々と、入力カーネルＫ１とは同様の飛び飛びの位置となっているため、サブ入力特徴マップＳＭ１～ＳＭ４の各々と入力カーネルＫ１の畳み込み演算は、実質的には拡張（ｄｉｌａｔｅｄ）無しの通常の畳み込み処理と同様となる。この通常畳み込み処理により、サブ畳み込み結果を得ることができる。

【0046】

図５は、サブ入力特徴マップＳＭ１～ＳＭ４及び縮小カーネルＳＫ１からサブ畳み込み結果ＳＣ１～ＳＣ４を得る処理の説明に供する図である。この処理は、ｗｉｎｏｇｒａｄ変換処理部１０２により実行される。

【0047】

上述したように、５×５の入力カーネルＫ１の各カーネルについて９点が有効カーネル、１６点が無効カーネル（＝０）とした場合、図５に示すように、無効カーネルを飛ばして９点の有効カーネルのみをまとめて３×３の通常カーネル（＝縮小カーネルＳＫ１）とすればよい。つまり、４×４のサブ入力特徴マップＳＭ１～ＳＭ４の各々に対して、３×３の通常の縮小カーネルＳＫ１を適用し、通常の畳み込み処理を実行すれば、元々の拡張畳み込み（ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）処理と同様の結果が得られる。サブ畳み込み結果ＳＣ１～ＳＣ４の各画素Ａ～Ｄを得るために必要な入力特徴マップＭ１の画素１～１６は、次の通りである。画素Ａは画素１，２，３，５，６，７，９，１０，１１が必要とされ、画素Ｂは画素２，３，４，６，７，８，１０，１１，１２が必要とされる。画素Ｃは画素５，６，７，９，１０，１１，１３，１４，１５が必要とされ、画素Ｄは画素６，７，８，１０，１１，１２，１４，１５，１６が必要とされる。

【0048】

図６は、本実施形態に係るｗｉｎｏｇｒａｄ変換処理の説明に供する図である。

【0049】

図６に示すように、サブ入力特徴マップＳＭ１～ＳＭ４に畳み込みされる縮小カーネルＳＫ１は、５×５のカーネルではなく、３×３の通常カーネルであるため、ｗｉｎｏｇｒａｄ変換処理をそのまま適用することができる。つまり、上述したように、５×５のｗｉｎｏｇｒａｄ変換処理ではなく、３×３のｗｉｎｏｇｒａｄ変換処理を行うことで、演算量を削減することができる。本実施形態に係るｗｉｎｏｇｒａｄ変換処理は、３×３の通常畳み込みの処理と同様の手順をとる。図６に示すｗｉｎｏｇｒａｄ変換処理は、上述の式（１）及び式（２）を用いて実行され、サブ入力特徴マップＳＭ１～ＳＭ４及び縮小カーネルＳＫ１からサブ畳み込み結果ＳＣ１～ＳＣ４を得る。

【0050】

図７は、サブ畳み込み結果ＳＣ１～ＳＣ４から二次元畳み込み層に対する畳み込み結果Ｃ１を得る処理の説明に供する図である。この処理は、サブ畳み込み結果合成部１０６により実行される。

【0051】

図７に示すように、最終的に作成された複数のサブ畳み込み結果ＳＣ１～ＳＣ４に対して、サブ入力特徴マップＳＭ１～ＳＭ４を作成したときと逆の処理を行って畳み込み結果Ｃ１を得る。拡張率（ｄｉｌａｔｉｏｎ ｒａｔｅ）の値に応じてサブ畳み込み結果ＳＣ１～ＳＣ４の各画素を交互に入れ子にして、複数のサブ畳み込み結果ＳＣ１～ＳＣ４から１つの畳み込み結果Ｃ１を作成する。これらの処理から得られる畳み込み結果Ｃ１は、分離せずに本来の拡張畳み込み層（ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）として処理して作成された場合の畳み込み結果と同様となる。

【0052】

次に、図８を参照して、本実施形態に係るニューラルネットワーク処理装置１０の作用について説明する。

【0053】

図８は、本実施形態に係るニューラルネットワーク処理装置１０による処理の流れの一例を示すフローチャートである。ニューラルネットワーク処理装置１０による処理は、ニューラルネットワーク処理装置１０のＣＮＮ用演算回路１００により、実現される。

【0054】

図８のステップＳ１０１では、ＣＮＮ用演算回路１００が、一例として、上述の図３に示す入力特徴マップＭ１及び入力カーネルＫ１を取得する。

【0055】

ステップＳ１０２では、ＣＮＮ用演算回路１００が、現層について指定された拡張率の値が２以上であるか否かを判定する。拡張率の値が２以上であると判定した場合（肯定判定の場合）、ステップＳ１０３に移行し、拡張率の値が２未満、つまり、１であると判定した場合（否定判定の場合）、ステップＳ１０７に移行する。

【0056】

ステップＳ１０３では、ＣＮＮ用演算回路１００が、一例として、上述の図４に示すように、入力特徴マップＭ１から複数のサブ入力特徴マップＳＭ１～ＳＭ４を作成する。具体的には、拡張率の値に応じて、入力特徴マップＭ１の各画素を分離する単位である複数の分離単位を決定し、複数の分離単位の各々について同じ位置の画素を選択し、選択した画素をまとめてサブ入力特徴マップＳＭ１～ＳＭ４を作成する。

【0057】

ステップＳ１０４では、ＣＮＮ用演算回路１００が、一例として、上述の図５に示すように、拡張率の値に応じて、入力カーネルＫ１から縮小カーネルＳＫ１を作成する。なお、ステップＳ１０３とステップＳ１０４とは処理の順序を入れ替えてもよい。

【0058】

ステップＳ１０５では、ＣＮＮ用演算回路１００が、一例として、上述の図６に示すように、ステップＳ１０３で作成したサブ入力特徴マップＳＭ１～ＳＭ４の各々とステップＳ１０４で作成した縮小カーネルＳＫ１に対して、ｗｉｎｏｇｒａｄ変換処理を行い、複数のサブ畳み込み結果ＳＣ１～ＳＣ４を得る。

【0059】

ステップＳ１０６では、ＣＮＮ用演算回路１００が、一例として、上述の図７に示すように、ステップＳ１０５で得られた複数のサブ畳み込み結果ＳＣ１～ＳＣ４を合成して、１つの畳み込み結果Ｃ１を得る。これにより、本ニューラルネットワーク処理装置１０による一連の処理を終了する。

【0060】

一方、ステップＳ１０７では、ＣＮＮ用演算回路１００が、入力特徴マップＭ１と入力カーネルＫ１に対して、ｗｉｎｏｇｒａｄ変換処理を行い、１つの畳み込み結果を得る。つまり、拡張率が１の場合、入力カーネルＫ１は３×３の通常のカーネルとなるため、入力特徴マップＭ１から複数のサブ入力特徴マップへの分離を行わず、通常の畳み込み処理を行う。これにより、本ニューラルネットワーク処理装置１０による一連の処理を終了する。

【0061】

なお、拡張率が２以外、つまり、３以上の場合であっても、拡張率の値に合わせて入力特徴マップの各画素を飛び飛びに選択してサブ入力特徴マップを作成すれば、それぞれのサブ入力特徴マップに対してｗｉｎｏｇｒａｄ変換処理を利用することができる。また、例えば、３×３の通常畳み込み層用のｗｉｎｏｇｒａｄ変換用回路を装置内に用意しておけば、あらゆる拡張率の３×３のカーネルに対して、上記手法によりｗｉｎｏｇｒａｄ変換処理を利用することができ、ｗｉｎｏｇｒａｄ変換の適用範囲を拡大しつつ、ｗｉｎｏｇｒａｄ変換適用による演算量の削減を実現することができる。

【0062】

図９は、本実施形態に係る別のニューラルネットワーク処理装置１０Ａの構成の一例を示すブロック図である。

【0063】

図９に示すニューラルネットワーク処理装置１０Ａでは、複数種類のカーネルサイズのｗｉｎｏｇｒａｄ変換処理に対応した回路とされる。この場合、サブ入力特徴マップ作成部１０１Ｂは、カーネルサイズによらず拡張率の値に応じて入力特徴マップを複数のサブ入力特徴マップに分離する。サブ畳み込み結果合成部１０６は、複数のサブ入力特徴マップ及び縮小カーネルから得られる複数のサブ畳み込み結果を合成して１つの畳み込み結果を得る。変換行列Ａ、Ｂ、Ｃはカーネルサイズに応じたものを複数セット用意しておき、入力される現層のカーネルサイズに対応する変換行列を選択して、第１行列変換部１０３Ａ、第２行列変換部１０３Ｂ、及び第３行列変換部１０５の各々に与える。

【0064】

このように本実施形態によれば、拡張畳み込み層により見かけのカーネルサイズが大きくなってしまう部分を、サブ入力特徴マップの作成により実際のカーネルサイズとして扱うことができる。このため、ｗｉｎｏｇｒａｄ変換による演算量の削減の効果を、拡張畳み込み層ではない通常の畳み込み層と同様に得ることができる。

【0065】

例えば、３×３で拡張率が２の場合でも、５×５としてｗｉｎｏｇｒａｄ変換を行うのではなく、３×３としてｗｉｎｏｇｒａｄ変換を行うことが可能であり、演算量を４／９倍に削減することができる。

【0066】

さらに、本来のｗｉｎｏｇｒａｄ変換用回路は、固定カーネルサイズの通常畳み込み処理でしか利用できない。例えば、３×３用ｗｉｎｏｇｒａｄ変換用回路をＡＩ推論ハードウェア内に用意した場合、３×３の通常の畳み込み層の時にしか回路が利用できず、それ以外の層ではｗｉｎｏｇｒａｄ変換による高速化が行われない。

【0067】

これに対して、本実施形態によれば、カーネルサイズが一致さえしていれば、拡張率の値がどのような値の拡張畳み込み層であってもｗｉｎｏｇｒａｄ変換用回路を利用して高速化が可能となり、汎用性が向上する。

【0068】

上記の通り、通常畳み込み層用のｗｉｎｏｇｒａｄ変換用回路を用いて同一のカーネルサイズの拡張畳み込み層であってもｗｉｎｏｇｒａｄ変換可能とすることで、ｗｉｎｏｇｒａｄ変換の適用範囲を拡大しつつ、ｗｉｎｏｇｒａｄ変換適用による演算量の削減を実現することができる。

【0069】

上記実施形態でＣＮＮ用演算回路１００が実行したニューラルネットワーク処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサがニューラルネット処理プログラムを実行することで実現してもよい。例えば、ニューラルネットワーク処理プログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）又はストレージに予め記憶（「インストール」ともいう）されている態様としてもよい。ニューラルネットワーク処理プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、ニューラルネットワーク処理プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0070】

また、ニューラルネットワーク処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0071】

本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【0072】

以上の実施形態に関し、更に以下の付記を開示する。

【0073】

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
畳み込みニューラルネットワークのｗｉｎｏｇｒａｄ変換処理で指定される拡張率が２以上となる拡張畳み込み層である二次元畳み込み層に対して、前記拡張率の値に応じて、入力特徴マップから複数のサブ入力特徴マップを作成し、
前記拡張率の値に応じて、入力カーネルから０となる部分を除いた縮小カーネルを作成し、
前記複数のサブ入力特徴マップの各々と前記縮小カーネルに対して、ｗｉｎｏｇｒａｄ変換処理を行い、前記複数のサブ入力特徴マップの各々に対応する複数のサブ畳み込み結果を得て、
前記複数のサブ畳み込み結果を合成して、前記二次元畳み込み層に対する畳み込み結果を得るように構成されているニューラルネットワーク処理装置。

【0074】

（付記項２）
ニューラルネットワーク処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記ニューラルネットワーク処理は、
畳み込みニューラルネットワークのｗｉｎｏｇｒａｄ変換処理で指定される拡張率が２以上となる拡張畳み込み層である二次元畳み込み層に対して、前記拡張率の値に応じて、入力特徴マップから複数のサブ入力特徴マップを作成し、
前記拡張率の値に応じて、入力カーネルから０となる部分を除いた縮小カーネルを作成し、
前記複数のサブ入力特徴マップの各々と前記縮小カーネルに対して、ｗｉｎｏｇｒａｄ変換処理を行い、前記複数のサブ入力特徴マップの各々に対応する複数のサブ畳み込み結果を得て、
前記複数のサブ畳み込み結果を合成して、前記二次元畳み込み層に対する畳み込み結果を得る
非一時的記憶媒体。

【符号の説明】

【0075】

１０、１０Ａ ニューラルネットワーク処理装置
１００ ＣＮＮ用演算回路
１０１Ａ 縮小カーネル作成部
１０１Ｂ サブ入力特徴マップ作成部
１０２ ｗｉｎｏｇｒａｄ変換処理部
１０３Ａ 第１行列変換部
１０３Ｂ 第２行列変換部
１０４ 乗算処理部
１０５ 第３行列変換部
１０６ サブ畳み込み結果合成部
２００ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】