ホーム > 特許ランキング > ＬｅａｐＭｉｎｄ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2023-154880ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023154880
(43)【公開日】2023-10-20
(54)【発明の名称】ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラム
(51)【国際特許分類】
G06N 3/02 20060101AFI20231013BHJP
G06N 3/04 20230101ALI20231013BHJP
【ＦＩ】
G06N3/02
G06N3/04
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022064506
(22)【出願日】2022-04-08
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】517048278
【氏名又は名称】ＬｅａｐＭｉｎｄ株式会社
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100207789
【弁理士】
【氏名又は名称】石田 良平
(72)【発明者】
【氏名】飯塚 健太郎
(57)【要約】
【課題】ＩｏＴ機器などの組み込み機器に組み込み可能であり、高効率かつ高速に動作させることができるニューラルネットワークに係る演算を行う回路やモデルを生成する。
【解決手段】ニューラルネットワーク生成方法は、ニューラルネットワーク機能モデルから畳み込み演算と量子化演算とを別々に実行するニューラルネットワーク実行モデルを生成する方法であって、 入力データに対して前記畳み込み演算と前記量子化演算とを連続して実行する単一の第一演算子を用いて前記ニューラルネットワーク機能モデルを生成する機能モデル生成工程を備える。
【選択図】図８
【解決手段】ニューラルネットワーク生成方法は、ニューラルネットワーク機能モデルから畳み込み演算と量子化演算とを別々に実行するニューラルネットワーク実行モデルを生成する方法であって、 入力データに対して前記畳み込み演算と前記量子化演算とを連続して実行する単一の第一演算子を用いて前記ニューラルネットワーク機能モデルを生成する機能モデル生成工程を備える。
【選択図】図８
【特許請求の範囲】
【請求項1】
ニューラルネットワーク機能モデルから畳み込み演算と量子化演算とを別々に実行するニューラルネットワーク実行モデルを生成する方法であって、
入力データに対して前記畳み込み演算と前記量子化演算とを連続して実行する単一の第一演算子を用いて前記ニューラルネットワーク機能モデルを生成する機能モデル生成工程を備える、
ニューラルネットワーク生成方法。
入力データに対して前記畳み込み演算と前記量子化演算とを連続して実行する単一の第一演算子を用いて前記ニューラルネットワーク機能モデルを生成する機能モデル生成工程を備える、
ニューラルネットワーク生成方法。
【請求項2】
前記第一演算子は、前記入力データに対して前記畳み込み演算と前記量子化演算とに加えて正規化演算を連続して実行する、
請求項１に記載のニューラルネットワーク生成方法。
請求項１に記載のニューラルネットワーク生成方法。
【請求項3】
前記ニューラルネットワーク実行モデルを動作させるソフトウェアを生成するソフトウェア生成工程をさらに備え、
前記ソフトウェアは、前記ニューラルネットワーク機能モデルにおける前記第一演算子に含まれる前記畳み込み演算と前記量子化演算とを別々に前記ニューラルネットワーク実行モデルに実行させる、
請求項１に記載のニューラルネットワーク生成方法。
前記ソフトウェアは、前記ニューラルネットワーク機能モデルにおける前記第一演算子に含まれる前記畳み込み演算と前記量子化演算とを別々に前記ニューラルネットワーク実行モデルに実行させる、
請求項１に記載のニューラルネットワーク生成方法。
【請求項4】
機能モデル生成工程は、入力データに対して前記畳み込み演算実行する単一の第二演算子を用いて前記ニューラルネットワーク機能モデルを生成し、
前記第二演算子は、前記第二演算子に含まれる前記畳み込み演算の少なくとも一部を量子化できる、
請求項１から請求項３のいずれか一項に記載のニューラルネットワーク生成方法。
前記第二演算子は、前記第二演算子に含まれる前記畳み込み演算の少なくとも一部を量子化できる、
請求項１から請求項３のいずれか一項に記載のニューラルネットワーク生成方法。
【請求項5】
前記ニューラルネットワーク機能モデルに基づいて、前記ニューラルネットワーク実行モデルを生成する実行モデル生成工程と、
前記ニューラルネットワーク実行モデルの学習パラメータを学習する学習工程と、
前記学習工程の学習結果が許容されないとき、前記ニューラルネットワーク機能モデルを再生成するニューラルネットワーク機能モデル再生成工程と、
をさらに備える、
請求項１に記載のニューラルネットワーク生成方法。
前記ニューラルネットワーク実行モデルの学習パラメータを学習する学習工程と、
前記学習工程の学習結果が許容されないとき、前記ニューラルネットワーク機能モデルを再生成するニューラルネットワーク機能モデル再生成工程と、
をさらに備える、
請求項１に記載のニューラルネットワーク生成方法。
【請求項6】
ニューラルネットワーク機能モデルから畳み込み演算と量子化演算とを別々に実行するニューラルネットワーク実行モデルをコンピュータに生成させるプログラムであって、
入力データに対して前記畳み込み演算と前記量子化演算とを連続して実行する単一の第一演算子を用いて前記ニューラルネットワーク機能モデルを前記コンピュータに生成させる機能モデル生成工程を備える、
ニューラルネットワーク生成プログラム。
入力データに対して前記畳み込み演算と前記量子化演算とを連続して実行する単一の第一演算子を用いて前記ニューラルネットワーク機能モデルを前記コンピュータに生成させる機能モデル生成工程を備える、
ニューラルネットワーク生成プログラム。
【請求項7】
前記第一演算子は、前記入力データに対して前記畳み込み演算と前記量子化演算とに加えて正規化演算を連続して実行する、
請求項６に記載のニューラルネットワーク生成プログラム。
請求項６に記載のニューラルネットワーク生成プログラム。
【請求項8】
前記ニューラルネットワーク実行モデルを動作させるソフトウェアを前記コンピュータに生成させるソフトウェア生成工程をさらに備え、
前記ソフトウェアは、前記ニューラルネットワーク機能モデルにおける前記第一演算子に含まれる前記畳み込み演算と前記量子化演算とを別々に前記ニューラルネットワーク実行モデルに実行させる、
請求項６に記載のニューラルネットワーク生成プログラム。
前記ソフトウェアは、前記ニューラルネットワーク機能モデルにおける前記第一演算子に含まれる前記畳み込み演算と前記量子化演算とを別々に前記ニューラルネットワーク実行モデルに実行させる、
請求項６に記載のニューラルネットワーク生成プログラム。
【請求項9】
機能モデル生成工程は、入力データに対して前記畳み込み演算を実行する単一の第二演算子を用いて前記ニューラルネットワーク機能モデルを前記コンピュータに生成させ、
前記第二演算子は、前記第二演算子に含まれる前記畳み込み演算の少なくとも一部を量子化できる、
請求項６から請求項８のいずれか一項に記載のニューラルネットワーク生成プログラム。
前記第二演算子は、前記第二演算子に含まれる前記畳み込み演算の少なくとも一部を量子化できる、
請求項６から請求項８のいずれか一項に記載のニューラルネットワーク生成プログラム。
【請求項10】
前記ニューラルネットワーク機能モデルに基づいて、前記ニューラルネットワーク実行モデルを前記コンピュータに生成させる実行モデル生成工程と、
前記ニューラルネットワーク実行モデルの学習パラメータを前記コンピュータに学習させる学習工程と、
前記学習工程の学習結果が許容されないとき、前記ニューラルネットワーク機能モデルを前記コンピュータに再生成させるニューラルネットワーク機能モデル再生成工程と、
をさらに備える、
請求項６に記載のニューラルネットワーク生成プログラム。
前記ニューラルネットワーク実行モデルの学習パラメータを前記コンピュータに学習させる学習工程と、
前記学習工程の学習結果が許容されないとき、前記ニューラルネットワーク機能モデルを前記コンピュータに再生成させるニューラルネットワーク機能モデル再生成工程と、
をさらに備える、
請求項６に記載のニューラルネットワーク生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラムに関する。
【背景技術】
【0002】
近年、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）が画像認識等のモデルとして用いられている。畳み込みニューラルネットワークは、畳み込み層やプーリング層を有する多層構造であり、畳み込み演算等の多数の演算を必要とする。畳み込みニューラルネットワークによる演算を高速化する演算手法が様々考案されている（特許文献１など）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】日本国特開２０１８－０７７８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、ＩｏＴ機器などの組み込み機器においても畳み込みニューラルネットワークを利用した画像認識等が使用されている。組み込み機器において畳み込みニューラルネットワークを効率的に動作させるため、組み込み機器のハードウェア構成に合わせたニューラルネットワークに係る演算を行う回路やモデルを生成することが望まれている。
【0005】
上記事情を踏まえ、本発明は、ＩｏＴ機器などの組み込み機器に組み込み可能であり、高効率かつ高速に動作させることができるニューラルネットワークに係る演算を行う回路やモデルを生成するニューラルネットワーク生成方法およびニューラルネットワーク生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第一の態様に係るニューラルネットワーク生成方法は、ニューラルネットワーク機能モデルから畳み込み演算と量子化演算とを別々に実行するニューラルネットワーク実行モデルを生成する方法であって、 入力データに対して前記畳み込み演算と前記量子化演算とを連続して実行する単一の第一演算子を用いて前記ニューラルネットワーク機能モデルを生成する機能モデル生成工程を備える。
本発明の第一の態様に係るニューラルネットワーク生成方法は、ニューラルネットワーク機能モデルから畳み込み演算と量子化演算とを別々に実行するニューラルネットワーク実行モデルを生成する方法であって、 入力データに対して前記畳み込み演算と前記量子化演算とを連続して実行する単一の第一演算子を用いて前記ニューラルネットワーク機能モデルを生成する機能モデル生成工程を備える。
【0007】
本発明の第二の態様に係るニューラルネットワーク生成プログラムは、ニューラルネットワーク機能モデルから畳み込み演算と量子化演算とを別々に実行するニューラルネットワーク実行モデルをコンピュータに生成させるプログラムであって、入力データに対して前記畳み込み演算と前記量子化演算とを連続して実行する単一の第一演算子を用いて前記ニューラルネットワーク機能モデルを前記コンピュータに生成させる。
【発明の効果】
【0008】
本発明のニューラルネットワーク生成方法およびニューラルネットワーク生成プログラムは、ＩｏＴ機器などの組み込み機器に組み込み可能であり、高性能に動作させることができるニューラルネットワークを生成できる。
【図面の簡単な説明】
【0009】
【図1】第一実施形態に係るニューラルネットワーク生成装置を示す図である。
【図2】同ニューラルネットワーク生成装置の演算部の入出力を示す図である。
【図3】畳み込みニューラルネットワークの一例を示す図である。
【図4】同畳み込みニューラルネットワークの畳み込み層が行う畳み込み演算を説明する図である。
【図5】ニューラルネットワーク実行モデルの一例を示す図である。
【図6】同ニューラルネットワーク実行モデルの動作例を示すタイミングチャートである。
【図7】同ニューラルネットワーク生成装置の制御フローチャートである。
【図8】ＮＮ機能モデルを設定するＧＵＩ画像例を示す図である。
【図9】生成される畳み込み演算回路の内部ブロック図である。
【図10】同畳み込み演算回路の乗算器の内部ブロック図である。
【図11】同乗算器の積和演算ユニットの内部ブロック図である。
【図12】同畳み込み演算回路のアキュムレータ回路の内部ブロック図である。
【図13】同アキュムレータ回路のアキュムレータユニットの内部ブロック図である。
【図14】同畳み込み演算回路の制御回路のステート遷移図である。
【図15】生成される量子化演算回路の内部ブロック図である。
【図16】同量子化演算回路のベクトル演算回路と量子化回路の内部ブロック図である。
【図17】同ベクトル演算回路の演算ユニットのブロック図である。
【図18】同量子化回路の量子化ユニットの内部ブロック図である。
【図19】生成されるＤＭＡＣの内部ブロック図である。
【図20】同畳み込み演算のデータ分割やデータ展開を説明する図である。
【図21】ニューラルネットワークハードウェアへの他の割り当て例を示すタイミングチャートである。
【発明を実施するための形態】
【0010】
【0011】
［ニューラルネットワーク生成装置３００］
ニューラルネットワーク生成装置３００は、ＩｏＴ機器などの組み込み機器に組み込み可能な学習済みのニューラルネットワーク実行モデル１００を生成する装置である。ニューラルネットワーク実行モデル１００は、ニューラルネットワーク機能モデルである畳み込みニューラルネットワーク２００（以下、「ＣＮＮ２００」または「ＮＮ機能モデル２００」という）を組み込み機器において演算させるために生成されたソフトウェアやハードウェアモデルである。ＮＮ機能モデル２００は、ニューラルネットワーク実行モデル１００に対応する機能モデルであり、ニューラルネットワーク実行モデル１００と同等の機能を備える機能モデルである。
ニューラルネットワーク生成装置３００は、ＩｏＴ機器などの組み込み機器に組み込み可能な学習済みのニューラルネットワーク実行モデル１００を生成する装置である。ニューラルネットワーク実行モデル１００は、ニューラルネットワーク機能モデルである畳み込みニューラルネットワーク２００（以下、「ＣＮＮ２００」または「ＮＮ機能モデル２００」という）を組み込み機器において演算させるために生成されたソフトウェアやハードウェアモデルである。ＮＮ機能モデル２００は、ニューラルネットワーク実行モデル１００に対応する機能モデルであり、ニューラルネットワーク実行モデル１００と同等の機能を備える機能モデルである。
【0012】
ニューラルネットワーク生成装置３００は、ＣＰＵ（Central Processing Unit）等のプロセッサとメモリ等のハードウェアを備えたプログラム実行可能な装置（コンピュータ）である。ニューラルネットワーク生成装置３００の機能は、ニューラルネットワーク生成装置３００においてニューラルネットワーク生成プログラムおよびソフトウェア生成プログラムを実行することにより実現される。ニューラルネットワーク生成装置３００は、記憶部３１０と、演算部３２０と、データ入力部３３０と、データ出力部３４０と、表示部３５０と、操作入力部３６０と、を備える。
【0013】
記憶部３１０は、ハードウェア情報ＨＷと、ネットワーク情報ＮＷと、学習データセットＤＳと、ニューラルネットワーク実行モデル１００（以下、「ＮＮ実行モデル１００」という）と、学習済みパラメータＰＭと、を記憶する。ハードウェア情報ＨＷ、学習データセットＤＳおよびネットワーク情報ＮＷは、ニューラルネットワーク生成装置３００に入力される入力データである。ＮＮ実行モデル１００および学習済みパラメータＰＭは、ニューラルネットワーク生成装置３００が出力する出力データである。なお、「学習済みのＮＮ実行モデル１００」は、ＮＮ実行モデル１００および学習済みパラメータＰＭを含む。
【0014】
ハードウェア情報ＨＷは、ＮＮ実行モデル１００を動作させる組み込み機器（以降、「動作対象ハードウェア」という）の情報である。ハードウェア情報ＨＷは、例えば、動作対象ハードウェアのデバイス種別、デバイス制約、メモリ構成、バス構成、動作周波数、消費電力、製造プロセス種別などである。デバイス種別は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などの種別である。デバイス制約は、動作対象デバイスに含まれる演算器数の上限や回路規模の上限などである。メモリ構成は、メモリ種別やメモリ個数やメモリ容量や入出力データ幅である。バス構成は、バス種類、バス幅、バス通信規格、同一バス上の接続デバイスなどである。また、ＮＮ実行モデル１００に複数のバリエーションが存在する場合、ハードウェア情報ＨＷには使用するＮＮ実行モデル１００のバリエーションに関する情報が含まれる。
【0015】
ネットワーク情報ＮＷは、ＣＮＮ２００（ＮＮ機能モデル２００）に関する情報である。ネットワーク情報ＮＷは、例えば、ＣＮＮ２００（ＮＮ機能モデル２００）の機能を定義する情報を含む。ネットワーク情報ＮＷは、例えば、ＣＮＮ２００のネットワーク構成、入力データ情報、出力データ情報、量子化情報などである。入力データ情報は、画像や音声などの入力データ種別と、入力データサイズなどである。
【0016】
学習データセットＤＳは、学習に用いる学習データＤ１と、推論テストに用いるテストデータＤ２と、を有する。
【0017】
図２は、演算部３２０の入出力を示す図である。
演算部３２０は、実行モデル生成部３２１と、学習部３２２と、推論部３２３と、ハードウェア生成部３２４と、ソフトウェア生成部３２５と、機能モデル生成部３２６と、を有する。演算部３２０に入力されるネットワーク情報ＮＷやＮＮ実行モデル１００は、ニューラルネットワーク生成装置３００以外の装置で生成されたものであってもよい。
演算部３２０は、実行モデル生成部３２１と、学習部３２２と、推論部３２３と、ハードウェア生成部３２４と、ソフトウェア生成部３２５と、機能モデル生成部３２６と、を有する。演算部３２０に入力されるネットワーク情報ＮＷやＮＮ実行モデル１００は、ニューラルネットワーク生成装置３００以外の装置で生成されたものであってもよい。
【0018】
実行モデル生成部３２１は、ハードウェア情報ＨＷおよびネットワーク情報ＮＷに基づいてＮＮ実行モデル１００を生成する。ＮＮ実行モデル１００は、ＣＮＮ２００を動作対象ハードウェアにおいて演算させるために生成されたソフトウェアやハードウェアモデルである。ソフトウェアは、ハードウェアモデルを制御するソフトウェアを含む。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。
【0019】
学習部３２２は、ＮＮ実行モデル１００および学習データＤ１を用いて、学習済みパラメータＰＭを生成する。推論部３２３は、ＮＮ実行モデル１００およびテストデータＤ２を用いて推論テストを実施する。
【0020】
ハードウェア生成部３２４は、ハードウェア情報ＨＷおよびＮＮ実行モデル１００に基づいてニューラルネットワークハードウェアモデル４００を生成する。ニューラルネットワークハードウェアモデル４００は、動作対象ハードウェアに実装可能なハードウェアモデルである。ニューラルネットワークハードウェアモデル４００は、ハードウェア情報ＨＷに基づいて、動作対象ハードウェアに最適化されている。ニューラルネットワークハードウェアモデル４００は、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。ニューラルネットワークハードウェアモデル４００は、ＮＮ実行モデル１００をハードウェアに実装するために必要なパラメータリストやコンフィグレーションファイルであってもよい。パラメータリストやコンフィグレーションファイルは別途生成されたＮＮ実行モデル１００と組み合わせて使用される。
【0021】
以降の説明において、ニューラルネットワークハードウェアモデル４００を動作対象ハードウェアに実装したものを、「ニューラルネットワークハードウェア６００」という。
【0022】
ソフトウェア生成部３２５は、ネットワーク情報ＮＷおよびＮＮ実行モデル１００に基づいて、ニューラルネットワークハードウェア６００を動作させるソフトウェア５００を生成する。ソフトウェア５００は、学習済みパラメータＰＭを必要に応じてニューラルネットワークハードウェア６００へ転送するソフトウェアを含む。
【0023】
機能モデル生成部３２６は、使用者から入力に基づいてＣＮＮ２００（ＮＮ機能モデル２００）を生成して（コンフィグレーション）、ＣＮＮ２００（ＮＮ機能モデル２００）に関する情報であるネットワーク情報ＮＷを出力する。
【0024】
データ入力部３３０には、学習済みのＮＮ実行モデル１００を生成するために必要なハードウェア情報ＨＷやネットワーク情報ＮＷ等が入力される。ハードウェア情報ＨＷやネットワーク情報ＮＷ等は、例えば所定のデータフォーマットで記載されたデータとして入力される。入力されたハードウェア情報ＨＷやネットワーク情報ＮＷ等は、記憶部３１０に記憶される。ハードウェア情報ＨＷやネットワーク情報ＮＷ等は、操作入力部３６０から使用者により入力または変更されてもよい。
【0025】
データ出力部３４０には、生成された学習済みのＮＮ実行モデル１００が出力される。例えば、生成されたＮＮ実行モデル１００と、学習済みパラメータＰＭとがデータ出力部３４０に出力される。
【0026】
表示部３５０は、ＬＣＤディスプレイ等の公知のモニタを有する。表示部３５０は、演算部３２０が生成したＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画像やコマンド等を受け付けるためのコンソール画面などを表示できる。また、演算部３２０が使用者からの情報入力を必要とする場合、表示部３５０は操作入力部３６０から情報を入力することを使用者に促すメッセージや情報入力に必要なＧＵＩ画像を表示できる。
【0027】
操作入力部３６０は、使用者が演算部３２０等に対しての指示を入力する装置である。操作入力部３６０は、タッチパネル、キーボード、マウス等の公知の入力デバイスである。操作入力部３６０の入力は、演算部３２０に送信される。
【0028】
演算部３２０の機能の全部または一部は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）のような１つ以上のプロセッサがプログラムメモリに記憶されたプログラムを実行することにより実現される。ただし、演算部３２０の機能の全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）等のハードウェア（例えば回路部；circuity）により実現されてもよい。また、演算部３２０の機能の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。
【0029】
演算部３２０の機能の全部または一部は、クラウドサーバ等の外部機器に設けられたＣＰＵやＧＰＵやハードウェア等の外部アクセラレータを用いて実現されてもよい。演算部３２０は、例えばクラウドサーバ上の演算性能が高いＧＰＵや専用ハードウェアを併用することで、演算部３２０の演算速度を向上させることができる。
【0030】
記憶部３１０は、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）、またＲＡＭ（Random Access Memory）等により実現される。記憶部３１０の全部または一部はクラウドサーバ等の外部機器に設けられ、通信回線により演算部３２０等と接続させてもよい。
【0031】
なお、ニューラルネットワーク生成装置３００は、複数の装置（コンピュータ）で構成され、演算部３２０の機能ブロックが複数の装置に分散していてもよい。例えば、ニューラルネットワーク生成装置３００は、機能モデル生成部３２６を有する第一装置（コンピュータ）と、実行モデル生成部３２１を有する第二装置（コンピュータ）と、学習部３２２および推論部３２３を有する第三装置（コンピュータ）と、ハードウェア生成部３２４およびソフトウェア生成部３２５を有する第四装置（コンピュータ）と、に分離していてもよい。
【0032】
［畳み込みニューラルネットワーク（ＣＮＮ）２００］
次に、ＣＮＮ２００について説明する。図３は、ＣＮＮ２００の一例を示す図である。ＣＮＮ２００のネットワーク情報ＮＷは、以下で説明するＣＮＮ２００の構成に関する情報である。ＣＮＮ２００は、低ビットの重みｗや量子化された入力データａを用いており、組み込み機器に組み込みやすい。
次に、ＣＮＮ２００について説明する。図３は、ＣＮＮ２００の一例を示す図である。ＣＮＮ２００のネットワーク情報ＮＷは、以下で説明するＣＮＮ２００の構成に関する情報である。ＣＮＮ２００は、低ビットの重みｗや量子化された入力データａを用いており、組み込み機器に組み込みやすい。
【0033】
ＣＮＮ２００は、畳み込み演算を行う畳み込み層２１０と、量子化演算を行う量子化演算層２２０と、出力層２３０と、を含む多層構造のネットワークである。ＣＮＮ２００の少なくとも一部において、畳み込み層２１０と量子化演算層２２０とが交互に連結されている。ＣＮＮ２００は、画像認識や動画認識に広く使われるモデルである。ＣＮＮ２００は、全結合層などの他の機能を有する層（レイヤ）をさらに有してもよい。
【0034】
図４は、畳み込み層２１０が行う畳み込み演算を説明する図である。
畳み込み層２１０は、入力データａに対して重みｗを用いた畳み込み演算を行う。畳み込み層２１０は、入力データａと重みｗとを入力とする積和演算を行う。
畳み込み層２１０は、入力データａに対して重みｗを用いた畳み込み演算を行う。畳み込み層２１０は、入力データａと重みｗとを入力とする積和演算を行う。
【0035】
畳み込み層２１０への入力データａ（アクティベーションデータ、特徴マップともいう）は、画像データ等の多次元データである。本実施形態において、入力データａは、要素（ｘ，ｙ，ｃ）からなる３次元テンソルである。ＣＮＮ２００の畳み込み層２１０は、低ビットの入力データａに対して畳み込み演算を行う。本実施形態において、入力データａの要素は、２ビットの符号なし整数（０，１，２，３）である。入力データａの要素は、例えば、４ビットや８ビット符号なし整数でもよい。
【0036】
ＣＮＮ２００に入力される入力データが、例えば３２ビットの浮動小数点型など、畳み込み層２１０への入力データａと形式が異なる場合、ＣＮＮ２００は畳み込み層２１０の前に型変換や量子化を行う入力層をさらに有してもよい。
【0037】
畳み込み層２１０の重みｗ（フィルタ、カーネルともいう）は、学習可能なパラメータである要素を有する多次元データである。本実施形態において、重みｗは、要素（ｉ，ｊ，ｃ，ｄ）からなる４次元テンソルである。重みｗは、要素（ｉ，ｊ，ｃ）からなる３次元テンソル（以降、「重みｗｏ」という）をｄ個有している。学習済みのＣＮＮ２００における重みｗは、学習済みのデータである。ＣＮＮ２００の畳み込み層２１０は、低ビットの重みｗを用いて畳み込み演算を行う。本実施形態において、重みｗの要素は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
【0038】
畳み込み層２１０は、式１に示す畳み込み演算を行い、出力データｆを出力する。式１において、ｓはストライドを示す。図４において点線で示された領域は、入力データａに対して重みｗｏが適用される領域ａｏ（以降、「適用領域ａｏ」という）の一つを示している。適用領域ａｏの要素は、（ｘ＋ｉ，ｙ＋ｊ，ｃ）で表される。
【0039】
【数1】
【0040】
量子化演算層２２０は、畳み込み層２１０が出力する畳み込み演算の出力に対して量子化などを実施する。量子化演算層２２０は、プーリング層２２１と、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２と、活性化関数層２２３と、量子化層２２４と、を有する。
【0041】
プーリング層２２１は、畳み込み層２１０が出力する畳み込み演算の出力データｆに対して平均プーリング（式２）やＭＡＸプーリング（式３）などの演算を実施して、畳み込み層２１０の出力データｆを圧縮する。式２および式３において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、Ｔはプーリング領域の大きさを示す。式３において、ｍａｘはＴに含まれるｉとｊの組み合わせに対するｕの最大値を出力する関数である。
【0042】
【数2】
【0043】
【数3】
【0044】
Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２は、量子化演算層２２０やプーリング層２２１の出力データに対して、例えば式４に示すような演算によりデータ分布の正規化を行う。式４において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、αはスケールを示し、βはバイアスを示す。学習済みのＣＮＮ２００において、αおよびβは学習済みの定数ベクトルである。
【0045】
【数4】
【0046】
活性化関数層２２３は、量子化演算層２２０やプーリング層２２１やＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２の出力に対してＲｅＬＵ（式５）などの活性化関数の演算を行う。式５において、ｕは入力テンソルであり、ｖは出力テンソルである。式５において、ｍａｘは引数のうち最も大きい数値を出力する関数である。
【0047】
【数5】
【0048】
量子化層２２４は、量子化パラメータに基づいて、プーリング層２２１や活性化関数層２２３の出力に対して例えば式６に示すような量子化を行う。式６に示す量子化は、入力テンソルｕを２ビットにビット削減している。式６において、ｑ(ｃ)は量子化パラメータのベクトルである。学習済みのＣＮＮ２００において、ｑ(ｃ)は学習済みの定数ベクトルである。式６における不等号「≦」は「＜」であってもよい。
【0049】
【数6】
【0050】
出力層２３０は、恒等関数やソフトマックス関数等によりＣＮＮ２００の結果を出力する層である。出力層２３０の前段のレイヤは、畳み込み層２１０であってもよいし、量子化演算層２２０であってもよい。
【0051】
ＣＮＮ２００は、量子化された量子化層２２４の出力データが、畳み込み層２１０に入力されるため、量子化を行わない他の畳み込みニューラルネットワークと比較して、畳み込み層２１０の畳み込み演算の負荷が小さい。
【0052】
［ニューラルネットワーク実行モデル１００（ＮＮ実行モデル）１００］
次に、ＮＮ実行モデル１００について説明する。図５は、ＮＮ実行モデル１００の一例を示す図である。ＮＮ実行モデル１００は、ＣＮＮ２００（ＮＮ機能モデル２００）を動作対象ハードウェアにおいて演算させるために生成されたソフトウェアやハードウェアモデルである。ソフトウェアは、ハードウェアモデルを制御するソフトウェアを含み、例えばハードウェアモデルを制御する命令セットを使用したソフトウェアである。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。
次に、ＮＮ実行モデル１００について説明する。図５は、ＮＮ実行モデル１００の一例を示す図である。ＮＮ実行モデル１００は、ＣＮＮ２００（ＮＮ機能モデル２００）を動作対象ハードウェアにおいて演算させるために生成されたソフトウェアやハードウェアモデルである。ソフトウェアは、ハードウェアモデルを制御するソフトウェアを含み、例えばハードウェアモデルを制御する命令セットを使用したソフトウェアである。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。
【0053】
ＮＮ実行モデル１００は、第一メモリ１と、第二メモリ２と、ＤＭＡコントローラ３（以下、「ＤＭＡＣ３」ともいう）と、畳み込み演算回路４と、量子化演算回路５と、コントローラ６と、を備える。ＮＮ実行モデル１００は、第一メモリ１および第二メモリ２を介して、畳み込み演算回路４と量子化演算回路５とがループ状に形成されていることを特徴とする。
【0054】
第一メモリ１は、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第一メモリ１には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第一メモリ１は、畳み込み演算回路４の入力ポートと接続されており、畳み込み演算回路４は第一メモリ１からデータを読み出すことができる。また、第一メモリ１は、量子化演算回路５の出力ポートと接続されており、量子化演算回路５は第一メモリ１にデータを書き込むことができる。外部ホストＣＰＵは、第一メモリ１に対するデータの書き込みや読み出しにより、ＮＮ実行モデル１００に対するデータの入出力を行うことができる。
【0055】
第二メモリ２は、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第二メモリ２には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第二メモリ２は、量子化演算回路５の入力ポートと接続されており、量子化演算回路５は第二メモリ２からデータを読み出すことができる。また、第二メモリ２は、畳み込み演算回路４の出力ポートと接続されており、畳み込み演算回路４は第二メモリ２にデータを書き込むことができる。外部ホストＣＰＵは、第二メモリ２に対するデータの書き込みや読み出しにより、ＮＮ実行モデル１００に対するデータの入出力を行うことができる。
【0056】
ＤＭＡＣ３は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリと第一メモリ１との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと第二メモリ２との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと畳み込み演算回路４との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと量子化演算回路５との間のデータ転送を行う。
【0057】
畳み込み演算回路４は、学習済みのＣＮＮ２００の畳み込み層２１０における畳み込み演算を行う回路である。畳み込み演算回路４は、第一メモリ１に格納された入力データａを読み出し、入力データａに対して畳み込み演算を実施する。畳み込み演算回路４は、畳み込み演算の出力データｆ（以降、「畳み込み演算出力データ」ともいう）を第二メモリ２に書き込む。
【0058】
量子化演算回路５は、学習済みのＣＮＮ２００の量子化演算層２２０における量子化演算の少なくとも一部を行う回路である。量子化演算回路５は、第二メモリ２に格納された畳み込み演算の出力データｆを読み出し、畳み込み演算の出力データｆに対して量子化演算（プーリング、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数、および量子化のうち少なくとも量子化を含む演算）を行う。量子化演算回路５は、量子化演算の出力データ（以降、「量子化演算出力データ」ともいう）оｕｔを第一メモリ１に書き込む。
【0059】
コントローラ６は、外部バスＥＢに接続されており、外部のホストＣＰＵのスレーブとして動作する。コントローラ６は、パラメータレジスタや状態レジスタを含むレジスタ６１を有している。パラメータレジスタは、ＮＮ実行モデル１００の動作を制御するレジスタである。状態レジスタはセマフォＳを含むＮＮ実行モデル１００の状態を示すレジスタである。外部ホストＣＰＵは、コントローラ６を経由して、レジスタ６１にアクセスできる。
【0060】
コントローラ６は、内部バスＩＢを介して、第一メモリ１と、第二メモリ２と、ＤＭＡＣ３と、畳み込み演算回路４と、量子化演算回路５と、接続されている。外部ホストＣＰＵは、コントローラ６を経由して、各ブロックに対してアクセスできる。例えば、外部ホストＣＰＵは、コントローラ６を経由して、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５に対する命令を指示することができる。また、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５は、内部バスＩＢを介して、コントローラ６が有する状態レジスタ（セマフォＳを含む）を更新できる。状態レジスタ（セマフォＳを含む）は、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５と接続された専用配線を介して更新されるように構成されていてもよい。
【0061】
ＮＮ実行モデル１００は、第一メモリ１や第二メモリ２等を有するため、ＤＲＡＭなどの外部メモリからのＤＭＡＣ３によるデータ転送において、重複するデータのデータ転送の回数を低減できる。これにより、メモリアクセスにより発生する消費電力を大幅に低減することができる。
【0062】
図６は、ＮＮ実行モデル１００の動作例を示すタイミングチャートである。ＮＮ実行モデル１００は、複数のレイヤの多層構造であるＣＮＮ２００の演算を、ループ状に形成された回路により演算する。ＮＮ実行モデル１００は、ループ状の回路構成により、ハードウェア資源を効率的に利用できる。以下、図６に示すニューラルネットワークハードウェア６００の動作例を説明する。
【0063】
ＤＭＡＣ３は、レイヤ１（図３参照）の入力データａを第一メモリ１に格納する。ＤＭＡＣ３は、畳み込み演算回路４が行う畳み込み演算の順序にあわせて、レイヤ１の入力データａを分割して第一メモリ１に転送してもよい。
【0064】
畳み込み演算回路４は、第一メモリ１に格納されたレイヤ１（図３参照）の入力データａを読み出す。畳み込み演算回路４は、レイヤ１の入力データａに対してレイヤ１の畳み込み演算を行う。レイヤ１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
【0065】
量子化演算回路５は、第二メモリ２に格納されたレイヤ１の出力データｆを読み出す。量子化演算回路５は、レイヤ１の出力データｆに対してレイヤ２の量子化演算を行う。レイヤ２の量子化演算の出力データоｕｔは、第一メモリ１に格納される。
【0066】
畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２の量子化演算の出力データоｕｔを入力データａとしてレイヤ３の畳み込み演算を行う。レイヤ３の畳み込み演算の出力データｆは、第二メモリ２に格納される。
【0067】
畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍ－２（Ｍは自然数）の量子化演算の出力データоｕｔを読み出す。畳み込み演算回路４は、レイヤ２Ｍ－２の量子化演算の出力データоｕｔを入力データａとしてレイヤ２Ｍ－１の畳み込み演算を行う。レイヤ２Ｍ－１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
【0068】
量子化演算回路５は、第二メモリ２に格納されたレイヤ２Ｍ－１の出力データｆを読み出す。量子化演算回路５は、２Ｍ－１レイヤの出力データｆに対してレイヤ２Ｍの量子化演算を行う。レイヤ２Ｍの量子化演算の出力データоｕｔは、第一メモリ１に格納される。
【0069】
畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍの量子化演算の出力データоｕｔを読み出す。畳み込み演算回路４は、レイヤ２Ｍの量子化演算の出力データоｕｔを入力データａとしてレイヤ２Ｍ＋１の畳み込み演算を行う。レイヤ２Ｍ＋１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
【0070】
畳み込み演算回路４と量子化演算回路５とが交互に演算を行い、図３に示すＣＮＮ２００の演算を進めていく。ＮＮ実行モデル１００は、畳み込み演算回路４が時分割によりレイヤ２Ｍ－１とレイヤ２Ｍ＋１の畳み込み演算を実施する。また、ＮＮ実行モデル１００は、量子化演算回路５が時分割によりレイヤ２Ｍ－２とレイヤ２Ｍの量子化演算を実施する。そのため、ＮＮ実行モデル１００は、レイヤごとに別々の畳み込み演算回路４と量子化演算回路５を実装する場合と比較して、回路規模が著しく小さい。
【0071】
［ニューラルネットワーク生成装置３００の動作］
次に、ニューラルネットワーク生成装置３００の動作（ニューラルネットワーク制御方法）を、図７に示すニューラルネットワーク生成装置３００の制御フローチャートに沿って説明する。ニューラルネットワーク生成装置３００は初期化処理を実施した後、ステップＳ１０を実行する。
次に、ニューラルネットワーク生成装置３００の動作（ニューラルネットワーク制御方法）を、図７に示すニューラルネットワーク生成装置３００の制御フローチャートに沿って説明する。ニューラルネットワーク生成装置３００は初期化処理を実施した後、ステップＳ１０を実行する。
【0072】
＜ニューラルネットワーク機能モデル生成工程（Ｓ１０）＞
ステップＳ１０において、ニューラルネットワーク生成装置３００の機能モデル生成部３２６は、ＣＮＮ２００（ＮＮ機能モデル２００）を生成し、ＣＮＮ２００（ＮＮ機能モデル２００）に関する情報であるネットワーク情報ＮＷを出力する（ニューラルネットワーク機能モデル生成工程）。例えば、機能モデル生成部３２６は、表示部３５０にＣＮＮ２００（ＮＮ機能モデル２００）の設定するＧＵＩ画像を表示させ、使用者に操作入力部３６０から必要な情報を入力させることでＣＮＮ２００（ＮＮ機能モデル２００）を生成する。
ステップＳ１０において、ニューラルネットワーク生成装置３００の機能モデル生成部３２６は、ＣＮＮ２００（ＮＮ機能モデル２００）を生成し、ＣＮＮ２００（ＮＮ機能モデル２００）に関する情報であるネットワーク情報ＮＷを出力する（ニューラルネットワーク機能モデル生成工程）。例えば、機能モデル生成部３２６は、表示部３５０にＣＮＮ２００（ＮＮ機能モデル２００）の設定するＧＵＩ画像を表示させ、使用者に操作入力部３６０から必要な情報を入力させることでＣＮＮ２００（ＮＮ機能モデル２００）を生成する。
【0073】
機能モデル生成部３２６は、公知のニューラルネットワークの機能モデルを生成に利用可能なライブラリやプラットホーム（例えばTensorFlowやPyTorch）を含んでもよい。
【0074】
図８は、ＮＮ機能モデル２００を設定するＧＵＩ画像例を示す図である。
機能モデル生成部３２６は、操作入力部３６０から使用者の入力に基づいて、ＣＮＮ２００（ＮＮ機能モデル２００）におけるネットワークの構造や層（レイヤ）ごとの仕様を設定する。例えば、使用者は、ＧＵＩ画像として表示される視覚的に図式化された層（レイヤ）の接続を繋ぎ変えることで、ＮＮ機能モデル２００のネットワークの構造を変更する。また、使用者は、ＧＵＩ画像として表示される視覚的に図式化された層（レイヤ）層（レイヤ）ごとの仕様（入力データ情報、出力データ情報、量子化情報など）を変更する。
機能モデル生成部３２６は、操作入力部３６０から使用者の入力に基づいて、ＣＮＮ２００（ＮＮ機能モデル２００）におけるネットワークの構造や層（レイヤ）ごとの仕様を設定する。例えば、使用者は、ＧＵＩ画像として表示される視覚的に図式化された層（レイヤ）の接続を繋ぎ変えることで、ＮＮ機能モデル２００のネットワークの構造を変更する。また、使用者は、ＧＵＩ画像として表示される視覚的に図式化された層（レイヤ）層（レイヤ）ごとの仕様（入力データ情報、出力データ情報、量子化情報など）を変更する。
【0075】
機能モデル生成部３２６が設定するＮＮ機能モデル２００の層（レイヤ）は、図３に示す畳み込み層２１０と量子化演算層２２０と出力層２３０に限定されない。機能モデル生成部３２６は、ニューラルネットワークの複数の機能を単一の層（レイヤ）としてまとめた「機能レイヤ」をＮＮ機能モデル２００の一部として設定できる。また、機能モデル生成部３２６は、ＮＮ実行モデル１００の性能を評価する機能を含む「検証レイヤ」をＮＮ機能モデル２００の一部として設定できる。
【0076】
第一演算子（第一関数）ＯＰ１は、「機能レイヤ」の一つであり、畳み込み演算と量子化演算とを連続して実行する単一の演算子（関数）である。第一演算子ＯＰ１は、量子化された入力データａに対して重みｗを用いた畳み込み演算を実行し、畳み込み演算されたデータに対して量子化演算を実行し、量子化演算されたデータを出力する。ＮＮ機能モデル２００において使用頻度が高い演算の組合せを「機能レイヤ」として用意することにより、使用者がＮＮ機能モデル２００を設定する際の作用負荷を低減できる。ここで、第一演算子ＯＰ１は、入力/出力チャンネル数、フィルタサイズ、ストライドなどの変更可能な演算パラメータをさらに入力とする演算子であってもよい。さらに、第一演算子ＯＰ１は、量子化演算の量子化パラメータを入力とする演算子であってもよい。量子化パラメータは、出力データ用量子化パラメータと重み用量子化パラメータとを含んでもよい。具体的には、出力データ用量子化パラメータ（関数/閾値）は、活性化演算において読み込まれて、量子化演算に使用される。重み用量子化パラメータ（関数/閾値）は、畳み込み演算において読み込まれて使用される。なお、第一演算子ＯＰ１の入力の一つである重みｗは入力時点で量子化されていてもよい。
【0077】
第一演算子（第一関数）ＯＰ１は、畳み込み演算と量子化演算とに加えて、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎを連続して実行する単一の演算子（関数）であってもよい。
【0078】
第二演算子（第二関数）ＯＰ２は、「検証レイヤ」の一つであり、畳み込み演算を実行する単一の演算子（関数）である。第二演算子ＯＰ２は、入力データに対して重みｗを用いた畳み込み演算を実行し、畳み込み演算の出力データを出力する。第二演算子ＯＰ２は、畳み込み演算の少なくとも一部を量子化できる。畳み込み演算の量子化が無効化された第二演算子（第二関数）ＯＰ２は、入力された入力データに対して重みｗを用いた畳み込み演算を実行し、畳み込み演算の出力データをそのまま出力する。畳み込み演算は、高精度な演算（例えば浮動小数点演算）により実施される。一方、畳み込み演算の量子化が有効化された第二演算子（第二関数）ＯＰ２は、入力データ、重みｗ、出力データの少なくとも一部が量子化される。例えば、ニューラルネットワーク実行モデル１００の畳み込み演算回路４に入力されるデータに合わせて、入力データは２ビットに量子化され、重みｗは１ビットに量子化される。また、ニューラルネットワーク実行モデル１００の量子化演算回路５から出力される量子化演算データにあわせて、出力データは２ビットに量子化される。すなわち、ＯＰ２において畳み込み演算の量子化の有無を切り替えることで、畳み込み演算を高精度で行ったＮＮ機能モデル２００と、畳み込み演算をニューラルネットワーク実行モデル１００の精度で行ったＮＮ機能モデル２００とを容易に比較できる。一例として、ＮＮ機能モデル２００の出力層２３０または出力層２３０に近いレイヤにおいて第二演算子（第二関数）ＯＰ２を用いることが好ましい。これにより、出力層２３０のレイヤにおいて畳み込み演算の少なくとも一部を量子化した際の効果を容易に把握することができる。
【0079】
なお、ＣＮＮ２００（ＮＮ機能モデル２００）の機能の定義は、図８に例示するような視覚的に図式化されたもので記述されていなくてもよい。ＣＮＮ２００（ＮＮ機能モデル２００）の機能の定義は、例えば、プログラム言語やＸＭＬ等により記述されていてもよい。
【0080】
なお、ＮＮ機能モデル２００を設定するＧＵＩ画像には、使用者がＮＮ機能モデル２００を設定する際の作業負荷を低減する設計サポート情報が合わせて表示されていてもよい。例えば、表示される設計サポート情報は、設定しているＮＮ機能モデル２００がニューラルネットワーク実行モデル１００を生成可能な機能モデルであるかを示す情報である。具体的には、設計サポート情報は、ＮＮ機能モデル２００に使用される量子化関数がニューラルネットワーク実行モデル１００においてアクセラレーション可能な関数であるかを示す情報、各レイヤの入力データおよび重みが適切なフォーマットとなっているかを示す情報、各種パラメータ（重み、量子化パラメータなど）のサイズ（容量）が所定量以下となっているかを示す情報、入力データのチャンネル数が所定数以下となっているかを示す情報などである。
【0081】
また、表示される設計サポート情報は、設定しているＮＮ機能モデル２００がソフトウェア５００を生成可能な機能モデルであるかを示す情報であってもよい。具体的には、設計サポート情報は、ＮＮ機能モデル２００に使用される量子化関数がニューラルネットワーク実行モデル１００において実行可能な命令コマンドＣ５に変換可能な関数であるかを示す情報などである。
【0082】
＜ハードウェア情報取得工程（Ｓ１１）＞
ステップＳ１１において、ニューラルネットワーク生成装置３００は、動作対象ハードウェアのハードウェア情報ＨＷを取得する（ハードウェア情報取得工程）。ニューラルネットワーク生成装置３００は、例えば、データ入力部３３０に入力されたハードウェア情報ＨＷを取得する。ニューラルネットワーク生成装置３００は、表示部３５０にハードウェア情報ＨＷの入力に必要なＧＵＩ画像を表示させ、使用者にハードウェア情報ＨＷを操作入力部３６０から入力させることでハードウェア情報ＨＷを取得してもよい。
ステップＳ１１において、ニューラルネットワーク生成装置３００は、動作対象ハードウェアのハードウェア情報ＨＷを取得する（ハードウェア情報取得工程）。ニューラルネットワーク生成装置３００は、例えば、データ入力部３３０に入力されたハードウェア情報ＨＷを取得する。ニューラルネットワーク生成装置３００は、表示部３５０にハードウェア情報ＨＷの入力に必要なＧＵＩ画像を表示させ、使用者にハードウェア情報ＨＷを操作入力部３６０から入力させることでハードウェア情報ＨＷを取得してもよい。
【0083】
ハードウェア情報ＨＷは、具体的には、第一メモリ１および第二メモリ２として割り当てるメモリのメモリ種別やメモリ容量や入出力データ幅を有する。
【0084】
取得されたハードウェア情報ＨＷは、記憶部３１０に記憶される。次に、ニューラルネットワーク生成装置３００は、ステップＳ１２を実行する。
【0085】
＜ネットワーク情報取得工程（Ｓ１２）＞
ステップＳ１２において、ニューラルネットワーク生成装置３００は、ニューラルネットワーク生成工程（Ｓ１０）で生成されたＣＮＮ２００のネットワーク情報ＮＷを取得する（ネットワーク情報取得工程）。
ステップＳ１２において、ニューラルネットワーク生成装置３００は、ニューラルネットワーク生成工程（Ｓ１０）で生成されたＣＮＮ２００のネットワーク情報ＮＷを取得する（ネットワーク情報取得工程）。
【0086】
取得されたネットワーク情報ＮＷは、記憶部３１０に記憶される。次に、ニューラルネットワーク生成装置３００は、ステップＳ１３を実行する。
【0087】
＜ニューラルネットワーク実行モデル生成工程（Ｓ１３）＞
ステップＳ１３において、ニューラルネットワーク生成装置３００の実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００を生成する（ニューラルネットワーク実行モデル生成工程）。
ステップＳ１３において、ニューラルネットワーク生成装置３００の実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００を生成する（ニューラルネットワーク実行モデル生成工程）。
【0088】
ニューラルネットワーク実行モデル生成工程（ＮＮ実行モデル生成工程）は、例えば、畳み込み演算回路生成工程（Ｓ１３－１）と、量子化演算回路生成工程（Ｓ１３－２）と、ＤＭＡＣ生成工程（Ｓ１３－３）と、を有する。
【0089】
＜畳み込み演算回路生成工程（Ｓ１３－１）＞
実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００の畳み込み演算回路４を生成する（畳み込み演算回路生成工程）。実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された重みｗや入力データａのビット幅などの情報から、畳み込み演算回路４のハードウェアモデルを生成する。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。以下、生成される畳み込み演算回路４のハードウェアモデルの一例を説明する。
実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００の畳み込み演算回路４を生成する（畳み込み演算回路生成工程）。実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された重みｗや入力データａのビット幅などの情報から、畳み込み演算回路４のハードウェアモデルを生成する。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。以下、生成される畳み込み演算回路４のハードウェアモデルの一例を説明する。
【0090】
図９は、生成される畳み込み演算回路４の内部ブロック図である。
畳み込み演算回路４は、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３と、ステートコントローラ４４と、を有する。畳み込み演算回路４は、乗算器４２およびアキュムレータ回路４３に対する専用のステートコントローラ４４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに畳み込み演算を実施できる。
畳み込み演算回路４は、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３と、ステートコントローラ４４と、を有する。畳み込み演算回路４は、乗算器４２およびアキュムレータ回路４３に対する専用のステートコントローラ４４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに畳み込み演算を実施できる。
【0091】
重みメモリ４１は、畳み込み演算に用いる重みｗが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、畳み込み演算に必要な重みｗを重みメモリ４１に書き込む。
【0092】
図１０は、乗算器４２の内部ブロック図である。
乗算器４２は、入力ベクトルａの各要素と重みマトリクスｗの各要素とを乗算する。入力ベクトルａの各要素は、入力データａが分割されたデータであり、Ｂｃ個の要素を持つベクトルデータである（例えば、後述する「入力ベクトルＡ」）。また、重みマトリクスｗの各要素は、重みｗが分割されたデータであり、Ｂｃ×Ｂｄ個の要素を持つマトリクスデータである（例えば、後述する「重みマトリクスＷ」）。乗算器４２は、Ｂｃ×Ｂｄ個の積和演算ユニット４７を有し、入力ベクトルＡと重みマトリクスＷとを乗算を並列して実施できる。
乗算器４２は、入力ベクトルａの各要素と重みマトリクスｗの各要素とを乗算する。入力ベクトルａの各要素は、入力データａが分割されたデータであり、Ｂｃ個の要素を持つベクトルデータである（例えば、後述する「入力ベクトルＡ」）。また、重みマトリクスｗの各要素は、重みｗが分割されたデータであり、Ｂｃ×Ｂｄ個の要素を持つマトリクスデータである（例えば、後述する「重みマトリクスＷ」）。乗算器４２は、Ｂｃ×Ｂｄ個の積和演算ユニット４７を有し、入力ベクトルＡと重みマトリクスＷとを乗算を並列して実施できる。
【0093】
乗算器４２は、乗算に必要な入力ベクトルＡと重みマトリクスＷを、第一メモリ１および重みメモリ４１から読み出して乗算を実施する。乗算器４２は、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を出力する。
【0094】
図１１は、積和演算ユニット４７の内部ブロック図である。
積和演算ユニット４７は、入力ベクトルＡの要素Ａ（ｃｉ）と、重みマトリクスＷの要素Ｗ（ｃｉ，ｄｉ）との乗算を実施する。また、積和演算ユニット４７は、乗算結果と他の積和演算ユニット４７の乗算結果Ｓ（ｃｉ，ｄｉ）と加算する。積和演算ユニット４７は、加算結果Ｓ（ｃｉ＋１，ｄｉ）を出力する。ｃｉは０から(Ｂｃ－１)までのインデックスである。ｄｉは０から(Ｂｄ－１)までのインデックスである。要素Ａ（ｃｉ）は、２ビットの符号なし整数（０，１，２，３）である。要素Ｗ（ｃｉ，ｄｉ）は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
積和演算ユニット４７は、入力ベクトルＡの要素Ａ（ｃｉ）と、重みマトリクスＷの要素Ｗ（ｃｉ，ｄｉ）との乗算を実施する。また、積和演算ユニット４７は、乗算結果と他の積和演算ユニット４７の乗算結果Ｓ（ｃｉ，ｄｉ）と加算する。積和演算ユニット４７は、加算結果Ｓ（ｃｉ＋１，ｄｉ）を出力する。ｃｉは０から(Ｂｃ－１)までのインデックスである。ｄｉは０から(Ｂｄ－１)までのインデックスである。要素Ａ（ｃｉ）は、２ビットの符号なし整数（０，１，２，３）である。要素Ｗ（ｃｉ，ｄｉ）は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
【0095】
積和演算ユニット４７は、反転器（インバータ）４７ａと、セレクタ４７ｂと、加算器４７ｃと、を有する。積和演算ユニット４７は、乗算器を用いず、反転器４７ａおよびセレクタ４７ｂのみを用いて乗算を行う。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「０」の場合、要素Ａ（ｃｉ）の入力を選択する。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「１」の場合、要素Ａ（ｃｉ）を反転器により反転させた補数を選択する。要素Ｗ（ｃｉ，ｄｉ）は、加算器４７ｃのＣａｒｒｙ－ｉｎにも入力される。加算器４７ｃは、要素Ｗ（ｃｉ，ｄｉ）が「０」のとき、Ｓ（ｃｉ，ｄｉ）に要素Ａ（ｃｉ）を加算した値を出力する。加算器４７ｃは、Ｗ（ｃｉ，ｄｉ）が「１」のとき、Ｓ（ｃｉ，ｄｉ）から要素Ａ（ｃｉ）を減算した値を出力する。
【0096】
図１２は、アキュムレータ回路４３の内部ブロック図である。
アキュムレータ回路４３は、乗算器４２の積和演算結果Ｏ（ｄｉ）を第二メモリ２にアキュムレートする。アキュムレータ回路４３は、Ｂｄ個のアキュムレータユニット４８を有し、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を並列して第二メモリ２にアキュムレートできる。
アキュムレータ回路４３は、乗算器４２の積和演算結果Ｏ（ｄｉ）を第二メモリ２にアキュムレートする。アキュムレータ回路４３は、Ｂｄ個のアキュムレータユニット４８を有し、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を並列して第二メモリ２にアキュムレートできる。
【0097】
図１３は、アキュムレータユニット４８の内部ブロック図である。
アキュムレータユニット４８は、加算器４８ａと、マスク部４８ｂとを有している。加算器４８ａは、積和演算結果Ｏの要素Ｏ（ｄｉ）と、第二メモリ２に格納された式１に示す畳み込み演算の途中経過である部分和と、を加算する。加算結果は、要素あたり１６ビットである。加算結果は、要素あたり１６ビットに限定されず、例えば要素あたり１５ビットや１７ビットであってもよい。
アキュムレータユニット４８は、加算器４８ａと、マスク部４８ｂとを有している。加算器４８ａは、積和演算結果Ｏの要素Ｏ（ｄｉ）と、第二メモリ２に格納された式１に示す畳み込み演算の途中経過である部分和と、を加算する。加算結果は、要素あたり１６ビットである。加算結果は、要素あたり１６ビットに限定されず、例えば要素あたり１５ビットや１７ビットであってもよい。
【0098】
加算器４８ａは、加算結果を第二メモリ２の同一アドレスに書き込む。マスク部４８ｂは、初期化信号ｃｌｅａｒがアサートされた場合に、第二メモリ２からの出力をマスクし、要素Ｏ（ｄｉ）に対する加算対象をゼロにする。初期化信号ｃｌｅａｒは、第二メモリ２に途中経過の部分和が格納されていない場合にアサートされる。
【0099】
乗算器４２およびアキュムレータ回路４３による畳み込み演算が完了すると、第二メモリに、Ｂｄ個の要素を持つ出力データｆ（ｘ，ｙ，ｄｏ）が格納される。
【0100】
ステートコントローラ４４は、乗算器４２およびアキュムレータ回路４３のステートを制御する。また、ステートコントローラ４４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ４４は、命令キュー４５と制御回路４６とを有する。
【0101】
命令キュー４５は、畳み込み演算回路４用の命令コマンドＣ４が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー４５には、内部バスＩＢ経由で命令コマンドＣ４が書き込まれる。
【0102】
制御回路４６は、命令コマンドＣ４をデコードし、命令コマンドＣ４に基づいて乗算器４２およびアキュムレータ回路４３を制御するステートマシンである。制御回路４６は、論理回路により実装されていてもよいし、ソフトウェアによって制御されるＣＰＵによって実装されていてもよい。
【0103】
図１４は、制御回路４６のステート遷移図である。
制御回路４６は、命令キュー４５に命令コマンドＣ４が入力されると（Ｎｏｔ ｅｍｐｔｙ）、アイドルステートＳ１からデコードステートＳ２に遷移する。
制御回路４６は、命令キュー４５に命令コマンドＣ４が入力されると（Ｎｏｔ ｅｍｐｔｙ）、アイドルステートＳ１からデコードステートＳ２に遷移する。
【0104】
制御回路４６は、デコードステートＳ２において、命令キュー４５から出力される命令コマンドＣ３をデコードする。また、制御回路４６は、コントローラ６のレジスタ６１に格納されたセマフォＳを読み出し、命令コマンドＣ４において指示された乗算器４２やアキュムレータ回路４３の動作を実行可能であるかを判定する。実行不能である場合（Ｎｏｔ ｒｅａｄｙ）、制御回路４６は実行可能となるまで待つ（Ｗａｉｔ）。実行可能である場合（ｒｅａｄｙ）、制御回路４６はデコードステートＳ２から実行ステートＳ３に遷移する。
【0105】
制御回路４６は、実行ステートＳ３において、乗算器４２やアキュムレータ回路４３を制御して、乗算器４２やアキュムレータ回路４３に命令コマンドＣ４において指示された動作を実施させる。制御回路４６は、乗算器４２やアキュムレータ回路４３の動作が終わると、命令キュー４５から実行を終えた命令コマンドＣ４を取り除くとともに、コントローラ６のレジスタ６１に格納されたセマフォＳを更新する。制御回路４６は、命令キュー４５に命令がある場合（Ｎｏｔ ｅｍｐｔｙ）、実行ステートＳ３からデコードステートＳ２に遷移する。制御回路４６は、命令キュー４５に命令がない場合（ｅｍｐｔｙ）、実行ステートＳ３からアイドルステートＳ１に遷移する。
【0106】
実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された重みｗや入力データａのビット幅などの情報から、畳み込み演算回路４における演算器の仕様やサイズ（ＢｃやＢｄ）を決定する。ハードウェア情報ＨＷの中に生成するＮＮ実行モデル１００（ニューラルネットワークハードウェアモデル４００、ニューラルネットワークハードウェア６００）のハードウェア規模が含まれる場合、実行モデル生成部３２１は、指定された規模にあわせて畳み込み演算回路４における演算器の仕様やサイズ（ＢｃやＢｄ）を調整する。
【0107】
＜量子化演算回路生成工程（Ｓ１３－２）＞
実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００の量子化演算回路５を生成する（量子化演算回路生成工程）。実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された量子化情報から、量子化演算回路５のハードウェアモデルを生成する。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。以下、生成される量子化演算回路５のハードウェアモデルの一例を説明する。
実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００の量子化演算回路５を生成する（量子化演算回路生成工程）。実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された量子化情報から、量子化演算回路５のハードウェアモデルを生成する。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。以下、生成される量子化演算回路５のハードウェアモデルの一例を説明する。
【0108】
図１５は、生成される量子化演算回路５の内部ブロック図である。
量子化演算回路５は、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３と、ステートコントローラ５４と、を有する量子化演算回路５は、ベクトル演算回路５２および量子化回路５３に対する専用のステートコントローラ５４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに量子化演算を実施できる。
量子化演算回路５は、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３と、ステートコントローラ５４と、を有する量子化演算回路５は、ベクトル演算回路５２および量子化回路５３に対する専用のステートコントローラ５４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに量子化演算を実施できる。
【0109】
量子化パラメータメモリ５１は、量子化演算に用いる量子化パラメータｑが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、量子化演算に必要な量子化パラメータｑを量子化パラメータメモリ５１に書き込む。
【0110】
図１６は、ベクトル演算回路５２と量子化回路５３の内部ブロック図である。
ベクトル演算回路５２は、第二メモリ２に格納された出力データｆ（ｘ，ｙ，ｄｏ）に対して演算を行う。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７を有し、出力データｆ（ｘ，ｙ，ｄｏ）に対して並列にＳＩＭＤ演算を行う。
ベクトル演算回路５２は、第二メモリ２に格納された出力データｆ（ｘ，ｙ，ｄｏ）に対して演算を行う。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７を有し、出力データｆ（ｘ，ｙ，ｄｏ）に対して並列にＳＩＭＤ演算を行う。
【0111】
図１７は、演算ユニット５７のブロック図である。
演算ユニット５７は、例えば、ＡＬＵ５７ａと、第一セレクタ５７ｂと、第二セレクタ５７ｃと、レジスタ５７ｄと、シフタ５７ｅと、を有する。演算ユニット５７は、公知の汎用ＳＩＭＤ演算回路が有する他の演算器等をさらに有してもよい。
演算ユニット５７は、例えば、ＡＬＵ５７ａと、第一セレクタ５７ｂと、第二セレクタ５７ｃと、レジスタ５７ｄと、シフタ５７ｅと、を有する。演算ユニット５７は、公知の汎用ＳＩＭＤ演算回路が有する他の演算器等をさらに有してもよい。
【0112】
ベクトル演算回路５２は、演算ユニット５７が有する演算器等を組み合わせることで、出力データｆ（ｘ，ｙ，ｄｏ）に対して、量子化演算層２２０におけるプーリング層２２１や、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２や、活性化関数層２２３の演算のうち少なくとも一つの演算を行う。
【0113】
演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより加算できる。演算ユニット５７は、ＡＬＵ５７ａによる加算結果をレジスタ５７ｄに格納できる。演算ユニット５７は、第一セレクタ５７ｂの選択によりレジスタ５７ｄに格納されたデータに代えて「０」をＡＬＵ５７ａに入力することで加算結果を初期化できる。例えばプーリング領域が２×２である場合、シフタ５７ｅはＡＬＵ５７ａの出力を２ｂｉｔ右シフトすることで加算結果の平均値を出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式２に示す平均プーリングの演算を実施できる。
【0114】
演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより比較できる。
演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて第二セレクタ５７ｃを制御して、レジスタ５７ｄに格納されたデータと要素ｆ（ｄｉ）の大きい方を選択できる。演算ユニット５７は、第一セレクタ５７ｂの選択により要素ｆ（ｄｉ）の取りうる値の最小値をＡＬＵ５７ａに入力することで比較対象を最小値に初期化できる。本実施形態において要素ｆ（ｄｉ）は１６ｂｉｔ符号付き整数であるので、要素ｆ（ｄｉ）の取りうる値の最小値は「０ｘ８０００」である。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式３のＭＡＸプーリングの演算を実施できる。なお、ＭＡＸプーリングの演算ではシフタ５７ｅは第二セレクタ５７ｃの出力をシフトしない。
演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて第二セレクタ５７ｃを制御して、レジスタ５７ｄに格納されたデータと要素ｆ（ｄｉ）の大きい方を選択できる。演算ユニット５７は、第一セレクタ５７ｂの選択により要素ｆ（ｄｉ）の取りうる値の最小値をＡＬＵ５７ａに入力することで比較対象を最小値に初期化できる。本実施形態において要素ｆ（ｄｉ）は１６ｂｉｔ符号付き整数であるので、要素ｆ（ｄｉ）の取りうる値の最小値は「０ｘ８０００」である。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式３のＭＡＸプーリングの演算を実施できる。なお、ＭＡＸプーリングの演算ではシフタ５７ｅは第二セレクタ５７ｃの出力をシフトしない。
【0115】
演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより減算できる。シフタ５７ｅはＡＬＵ５７ａの出力を左シフト（すなわち乗算）もしくは右シフト（すなわち除算）できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式４のＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を実施できる。
【0116】
演算ユニット５７は、第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）と第一セレクタ５７ｂにより選択された「０」とをＡＬＵ５７ａにより比較できる。演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて要素ｆ（ｄｉ）と予めレジスタ５７ｄに格納された定数値「０」のいずれかを選択して出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式５のＲｅＬＵ演算を実施できる。
【0117】
ベクトル演算回路５２は、平均プーリング、ＭＡＸプーリング、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数の演算およびこれらの演算の組み合わせを実施できる。ベクトル演算回路５２は、汎用ＳＩＭＤ演算を実施できるため、量子化演算層２２０における演算に必要な他の演算を実施してもよい。また、ベクトル演算回路５２は、量子化演算層２２０における演算以外の演算を実施してもよい。
【0118】
なお、量子化演算回路５は、ベクトル演算回路５２を有してなくてもよい。量子化演算回路５がベクトル演算回路５２を有していない場合、出力データｆ（ｘ，ｙ，ｄｏ）は量子化回路５３に入力される。
【0119】
量子化回路５３は、ベクトル演算回路５２の出力データに対して、量子化を行う。量子化回路５３は、図１６に示すように、Ｂｄ個の量子化ユニット５８を有し、ベクトル演算回路５２の出力データに対して並列に演算を行う。
【0120】
図１８は、量子化ユニット５８の内部ブロック図である。
量子化ユニット５８は、ベクトル演算回路５２の出力データの要素ｉｎ（ｄｉ）に対して量子化を行う。量子化ユニット５８は、比較器５８ａと、エンコーダ５８ｂと、を有する。量子化ユニット５８はベクトル演算回路５２の出力データ（１６ビット／要素）に対して、量子化演算層２２０における量子化層２２４の演算（式６）を行う。量子化ユニット５８は、量子化パラメータメモリ５１から必要な量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）を読み出し、比較器５８ａにより入力ｉｎ（ｄｉ）と量子化パラメータｑとの比較を行う。量子化ユニット５８は、比較器５８ａによる比較結果をエンコーダ５８ｂにより２ビット／要素に量子化する。式４におけるα(c)とβ(c)は、変数ｃごとに異なるパラメータであるため、α(c)とβ(c)を反映する量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）はｉｎ（ｄｉ）ごとに異なるパラメータである。
量子化ユニット５８は、ベクトル演算回路５２の出力データの要素ｉｎ（ｄｉ）に対して量子化を行う。量子化ユニット５８は、比較器５８ａと、エンコーダ５８ｂと、を有する。量子化ユニット５８はベクトル演算回路５２の出力データ（１６ビット／要素）に対して、量子化演算層２２０における量子化層２２４の演算（式６）を行う。量子化ユニット５８は、量子化パラメータメモリ５１から必要な量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）を読み出し、比較器５８ａにより入力ｉｎ（ｄｉ）と量子化パラメータｑとの比較を行う。量子化ユニット５８は、比較器５８ａによる比較結果をエンコーダ５８ｂにより２ビット／要素に量子化する。式４におけるα(c)とβ(c)は、変数ｃごとに異なるパラメータであるため、α(c)とβ(c)を反映する量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）はｉｎ（ｄｉ）ごとに異なるパラメータである。
【0121】
量子化ユニット５８は、入力ｉｎ（ｄｉ）を３つの閾値ｔｈ０，ｔｈ１，ｔｈ２と比較することにより、入力ｉｎ（ｄｉ）を４領域（例えば、ｉｎ≦ｔｈ０，ｔｈ０＜ｉｎ≦ｔｈ１，ｔｈ１＜ｉｎ≦ｔｈ２，ｔｈ２＜ｉｎ）に分類し、分類結果を２ビットにエンコードして出力する。量子化ユニット５８は、量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）の設定により、量子化と併せてＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎや活性化関数の演算を行うこともできる。
【0122】
量子化ユニット５８は、閾値ｔｈ０を式４のβ(ｃ)、閾値の差（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を式４のα(ｃ)として設定して量子化を行うことで、式４に示すＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を量子化と併せて実施できる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を大きくすることでα(ｃ)を小さくできる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を小さくすることで、α(c)を大きくできる。
【0123】
量子化ユニット５８は、入力ｉｎ（ｄｉ）の量子化と併せて活性化関数のＲｅＬＵ演算を実施できる。例えば、量子化ユニット５８は、ｉｎ（ｄｉ）≦ｔｈ０およびｔｈ２＜ｉｎ（ｄｉ）となる領域では出力値を飽和させる。量子化ユニット５８は、出力が非線形となるように量子化パラメータｑを設定することで活性化関数の演算を量子化と併せて実施できる。
【0124】
ステートコントローラ５４は、ベクトル演算回路５２および量子化回路５３のステートを制御する。また、ステートコントローラ５４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ５４は、命令キュー５５と制御回路５６とを有する。
【0125】
命令キュー５５は、量子化演算回路５用の命令コマンドＣ５が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー５５には、内部バスＩＢ経由で命令コマンドＣ５が書き込まれる。
【0126】
制御回路５６は、命令コマンドＣ５をデコードし、命令コマンドＣ５に基づいてベクトル演算回路５２および量子化回路５３を制御するステートマシンである。制御回路５６は、畳み込み演算回路４のステートコントローラ４４の制御回路４６と同様の構成である。
【0127】
量子化演算回路５は、Ｂｄ個の要素を持つ量子化演算出力データを第一メモリ１に書き込む。なお、ＢｄとＢｃの好適な関係を式７に示す。式７においてｎは整数である。
【0128】
【数7】
【0129】
実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された量子化情報から、量子化演算回路５における、プーリングの演算の有無および種類（平均プーリング、ＭＡＸプーリングなど）、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算の有無および方式、活性化関数の演算の有無および方式（ＲｅＬＵ演算など）、量子化の方式（ビット数など）、およびその他の演算の有無を決定する。ハードウェア情報ＨＷの中に生成するＮＮ実行モデル１００（ニューラルネットワークハードウェアモデル４００、ニューラルネットワークハードウェア６００）のハードウェア規模が含まれる場合、実行モデル生成部３２１は、指定された規模にあわせて量子化演算回路５における演算器の構成を調整する。
【0130】
＜ＤＭＡＣ生成工程（Ｓ１３－３）＞
実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００のＤＭＡＣ３を生成する（ＤＭＡＣ生成工程）。実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された情報から、ＤＭＡＣ３のハードウェアモデルを生成する。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。以下、生成されるＤＭＡＣ３のハードウェアモデルの一例を説明する。
実行モデル生成部３２１は、ハードウェア情報ＨＷとネットワーク情報ＮＷとに基づいてＮＮ実行モデル１００のＤＭＡＣ３を生成する（ＤＭＡＣ生成工程）。実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された情報から、ＤＭＡＣ３のハードウェアモデルを生成する。ハードウェアモデルは、ビヘイビアレベルであってもよく、ＲＴＬ（Register Transfer Level）であってもよく、ゲートや回路モジュール間の接続を表すネットリストであってもよく、それらの組み合わせであってもよい。以下、生成されるＤＭＡＣ３のハードウェアモデルの一例を説明する。
【0131】
図１９は、生成されるＤＭＡＣ３の内部ブロック図である。
ＤＭＡＣ３は、データ転送回路３１と、ステートコントローラ３２と、を有する。ＤＭＡＣ３は、データ転送回路３１に対する専用のステートコントローラ３２を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずにＤＭＡデータ転送を実施できる。
ＤＭＡＣ３は、データ転送回路３１と、ステートコントローラ３２と、を有する。ＤＭＡＣ３は、データ転送回路３１に対する専用のステートコントローラ３２を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずにＤＭＡデータ転送を実施できる。
【0132】
データ転送回路３１は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリと第一メモリ１との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと第二メモリ２との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと畳み込み演算回路４との間のデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと量子化演算回路５との間のデータ転送を行う。データ転送回路３１のＤＭＡチャンネル数は限定されない。例えば、第一メモリ１と第二メモリ２のそれぞれに専用のＤＭＡチャンネルを有していてもよい。
【0133】
ステートコントローラ３２は、データ転送回路３１のステートを制御する。また、ステートコントローラ３２は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ３２は、命令キュー３３と制御回路３４とを有する。
【0134】
命令キュー３３は、ＤＭＡＣ３用の命令コマンドＣ３が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー３３には、内部バスＩＢ経由で１つ以上の命令コマンドＣ３が書き込まれる。
【0135】
制御回路３４は、命令コマンドＣ３をデコードし、命令コマンドＣ３に基づいて順次データ転送回路３１を制御するステートマシンである。制御回路３４は、畳み込み演算回路４のステートコントローラ４４の制御回路４６と同様の構成である。
【0136】
実行モデル生成部３２１は、ネットワーク情報ＮＷとして入力された情報から、ＤＭＡＣ３における、ＤＭＡチャンネル数やデータバス幅などを決定する。
【0137】
例えば、実行モデル生成部３２１は、ホスト側の外部バスＥＢの仕様にあわせた仕様（データバス幅等）のＤＭＡＣ３を生成する。データバス幅やＤＭＡチャンネル数を増やすことで外部メモリと第一メモリ１や第二メモリ２とのデータ伝送速度を向上させることができる。
【0138】
＜学習工程（Ｓ１４）＞
ステップＳ１４において、ニューラルネットワーク生成装置３００の学習部３２２および推論部３２３は、学習データセットＤＳを用いて、生成されたＮＮ実行モデル１００の学習パラメータを学習する（学習工程）。学習工程（Ｓ１４）は、例えば、学習済みパラメータ生成工程（Ｓ１４－１）と、推論テスト工程（Ｓ１４－２）と、を有する。
ステップＳ１４において、ニューラルネットワーク生成装置３００の学習部３２２および推論部３２３は、学習データセットＤＳを用いて、生成されたＮＮ実行モデル１００の学習パラメータを学習する（学習工程）。学習工程（Ｓ１４）は、例えば、学習済みパラメータ生成工程（Ｓ１４－１）と、推論テスト工程（Ｓ１４－２）と、を有する。
【0139】
＜学習工程：学習済みパラメータ生成工程（Ｓ１４－１）＞
学習部３２２は、ＮＮ実行モデル１００および学習データＤ１を用いて、学習済みパラメータＰＭを生成する。学習済みパラメータＰＭは、学習済みの重みｗおよび量子化パラメータｑ等である。
学習部３２２は、ＮＮ実行モデル１００および学習データＤ１を用いて、学習済みパラメータＰＭを生成する。学習済みパラメータＰＭは、学習済みの重みｗおよび量子化パラメータｑ等である。
【0140】
例えば、ＮＮ実行モデル１００が画像認識を実施するＣＮＮ２００の実行モデルである場合、学習データＤ１は入力画像と教師データＴとの組み合わせである。入力画像は、ＣＮＮ２００に入力される入力データａである。教師データＴは、画像に撮像された被写体の種類や、画像における検出対象物の有無や、画像における検出対象物の座標値などである。
【0141】
学習部３２２は、公知の技術である誤差逆伝播法などによる教師あり学習によって、学習済みパラメータＰＭを生成する。学習部３２２は、入力画像に対するＮＮ実行モデル１００の出力と、入力画像に対応する教師データＴと、の差分Ｅを損失関数（誤差関数）により求め、差分Ｅが小さくなるように重みｗおよび量子化パラメータｑを更新する。
【0142】
例えば重みｗを更新する場合、重みｗに関する損失関数の勾配が用いられる。勾配は、例えば損失関数を微分することにより算出される。誤差逆伝播法を用いる場合、勾配は逆伝番（ｂａｃｋｗａｒｄ）により算出される。
【0143】
学習部３２２は、勾配を算出して重みｗを更新する際において、畳み込み演算に関連する演算を高精度化する。具体的には、ＮＮ実行モデル１００が使用する低ビットの重みｗ（例えば１ビット）より高精度な３２ビットの浮動小数点型の重みｗが学習に使用される。また、ＮＮ実行モデル１００の畳み込み演算回路４において実施する畳み込み演算が高精度化される。
【0144】
学習部３２２は、勾配を算出して重みｗを更新する際において、活性化関数に関連する演算を高精度化する。具体的には、ＮＮ実行モデル１００の量子化演算回路５において実施するＲｅＬＵ関数などの活性化関数より高精度なシグモンド関数が学習に使用される。
【0145】
一方、学習部３２２は、順伝搬（ｆоｒｗａｒｄ）により入力画像に対する出力データを算出する際においては、畳み込み演算および活性化関数に関連する演算を高精度化せず、ＮＮ実行モデル１００に基づいた演算を実施する。重みｗを更新する際に用いられた高精度な重みｗは、ルックアップテーブル等により低ビット化される。
【0146】
学習部３２２は、勾配を算出して重みｗを更新する際において、畳み込み演算および活性化関数に関連する演算を高精度化することにより、演算における中間データの精度低下を防止して、高い推論精度を実現できる学習済みパラメータＰＭを生成できる。
【0147】
一方、学習部３２２は、入力画像に対する出力データを算出する際において、順伝搬（ｆоｒｗａｒｄ）の演算を高精度化せず、ＮＮ実行モデル１００に基づいた演算を実施する。そのため、学習部３２２が算出した出力データと、生成された学習済みパラメータＰＭを用いたＮＮ実行モデル１００の出力データと、が一致する。
【0148】
順伝搬（ｆоｒｗａｒｄ）により入力画像に対する出力データを算出する際において、学習部３２２は、ＮＮ実行モデル１００において畳み込み演算における量子化が有効化された第二演算子ＯＰ２を演算するとき、第二演算子ＯＰ２において規定された畳み込み演算における量子化を行う。一方、学習部３２２は、ＮＮ実行モデル１００において畳み込み演算における量子化が無効化された第二演算子ＯＰ２を演算するとき、第二演算子ＯＰ２において規定された畳み込み演算における量子化を実施しない。使用者は、ＮＮ実行モデル１００における第二演算子ＯＰ２の量子化の有無を切り替えるだけで、対応する層（レイヤ）において畳み込み演算における量子化を行うＮＮ実行モデル１００と、対応する層（レイヤ）において畳み込み演算における量子化を行わないＮＮ実行モデル１００と、を学習工程において容易に比較できる。
【0149】
＜学習工程：推論テスト工程（Ｓ１４－２）＞
推論部３２３は、学習部３２２が生成した学習済みパラメータＰＭ、ＮＮ実行モデル１００およびテストデータＤ２を用いて推論テストを実施する。例えば、ＮＮ実行モデル１００が画像認識を実施するＣＮＮ２００の実行モデルである場合、テストデータＤ２は、学習データＤ１同様に入力画像と教師データＴとの組み合わせである。
推論部３２３は、学習部３２２が生成した学習済みパラメータＰＭ、ＮＮ実行モデル１００およびテストデータＤ２を用いて推論テストを実施する。例えば、ＮＮ実行モデル１００が画像認識を実施するＣＮＮ２００の実行モデルである場合、テストデータＤ２は、学習データＤ１同様に入力画像と教師データＴとの組み合わせである。
【0150】
推論部３２３は、推論テストの進捗および結果を表示部３５０に表示する。推論テストの結果は、例えばテストデータＤ２に対する正解率である。
【0151】
＜確認工程（Ｓ１５）＞
ステップＳ１５において、ニューラルネットワーク生成装置３００の推論部３２３は、操作入力部３６０から結果に関する確認を入力することを使用者に促すメッセージや情報入力に必要なＧＵＩ画像を表示部３５０に表示させる。使用者は、推論テストの結果を許容するかを、操作入力部３６０から入力する。使用者が推論テストの結果を許容することを示す入力が操作入力部３６０から入力された場合、ニューラルネットワーク生成装置３００は、次にステップＳ１６を実施する。使用者が推論テストの結果を許容しないことを示す入力が操作入力部３６０から入力された場合、ニューラルネットワーク生成装置３００は、再度ステップＳ１０を実施してＮＮ機能モデル２００を再生成して、ネットワーク情報ＮＷを再出力する（ニューラルネットワーク機能モデル再生成工程）。使用者は、再度実施するステップＳ１０において、例えば、量子化情報（レイヤごとの量子化の有無など）や入力データ情報（チャンネル数など）を変更する。なお、ニューラルネットワーク生成装置３００は、ＮＮ機能モデル２００（ネットワーク情報ＮＷ）を再生成せずに、ステップＳ１１まで戻ってハードウェア情報ＨＷを使用者に再入力させてもよい。
ステップＳ１５において、ニューラルネットワーク生成装置３００の推論部３２３は、操作入力部３６０から結果に関する確認を入力することを使用者に促すメッセージや情報入力に必要なＧＵＩ画像を表示部３５０に表示させる。使用者は、推論テストの結果を許容するかを、操作入力部３６０から入力する。使用者が推論テストの結果を許容することを示す入力が操作入力部３６０から入力された場合、ニューラルネットワーク生成装置３００は、次にステップＳ１６を実施する。使用者が推論テストの結果を許容しないことを示す入力が操作入力部３６０から入力された場合、ニューラルネットワーク生成装置３００は、再度ステップＳ１０を実施してＮＮ機能モデル２００を再生成して、ネットワーク情報ＮＷを再出力する（ニューラルネットワーク機能モデル再生成工程）。使用者は、再度実施するステップＳ１０において、例えば、量子化情報（レイヤごとの量子化の有無など）や入力データ情報（チャンネル数など）を変更する。なお、ニューラルネットワーク生成装置３００は、ＮＮ機能モデル２００（ネットワーク情報ＮＷ）を再生成せずに、ステップＳ１１まで戻ってハードウェア情報ＨＷを使用者に再入力させてもよい。
【0152】
＜ハードウェア生成工程（Ｓ１６）＞
ステップＳ１６において、ニューラルネットワーク生成装置３００のハードウェア生成部３２４は、ハードウェア情報ＨＷおよびＮＮ実行モデル１００に基づいてニューラルネットワークハードウェアモデル４００を生成する（ハードウェア生成工程）。
ステップＳ１６において、ニューラルネットワーク生成装置３００のハードウェア生成部３２４は、ハードウェア情報ＨＷおよびＮＮ実行モデル１００に基づいてニューラルネットワークハードウェアモデル４００を生成する（ハードウェア生成工程）。
【0153】
＜ソフトウェア生成工程（Ｓ１７）＞
ステップＳ１７において、ニューラルネットワーク生成装置３００のソフトウェア生成部３２５は、ＮＮ機能モデル２００（ネットワーク情報ＮＷ）およびＮＮ実行モデル１００などに基づいて、ニューラルネットワークハードウェア６００（ニューラルネットワークハードウェアモデル４００を動作対象ハードウェアに実装したもの）を動作させるソフトウェア５００を生成する。ソフトウェア５００は、例えばハードウェアモデルを制御する命令セットを使用したソフトウェアである。また、ソフトウェア５００は、学習済みパラメータＰＭを必要に応じてニューラルネットワークハードウェア６００へ転送するソフトウェアを含む。
ステップＳ１７において、ニューラルネットワーク生成装置３００のソフトウェア生成部３２５は、ＮＮ機能モデル２００（ネットワーク情報ＮＷ）およびＮＮ実行モデル１００などに基づいて、ニューラルネットワークハードウェア６００（ニューラルネットワークハードウェアモデル４００を動作対象ハードウェアに実装したもの）を動作させるソフトウェア５００を生成する。ソフトウェア５００は、例えばハードウェアモデルを制御する命令セットを使用したソフトウェアである。また、ソフトウェア５００は、学習済みパラメータＰＭを必要に応じてニューラルネットワークハードウェア６００へ転送するソフトウェアを含む。
【0154】
ソフトウェア生成工程（Ｓ１７）は、例えば、入力データ分割工程（Ｓ１７－１）と、アロケーション工程（Ｓ１７－２）と、を有する。
【0155】
＜入力データ分割工程（Ｓ１７－１）：データ分割＞
ソフトウェア生成部３２５は、第一メモリ１および第二メモリ２として割り当てるメモリのメモリ容量や演算器の仕様やサイズ（ＢｃやＢｄ）などに基づいて、畳み込み層２１０の畳み込み演算の入力データａを部分テンソルに分割する。部分テンソルへの分割方法や分割数は特に限定されない。部分テンソルは、例えば、入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）をａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）に分割することにより形成される。
ソフトウェア生成部３２５は、第一メモリ１および第二メモリ２として割り当てるメモリのメモリ容量や演算器の仕様やサイズ（ＢｃやＢｄ）などに基づいて、畳み込み層２１０の畳み込み演算の入力データａを部分テンソルに分割する。部分テンソルへの分割方法や分割数は特に限定されない。部分テンソルは、例えば、入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）をａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）に分割することにより形成される。
【0156】
図２０は、畳み込み演算のデータ分割やデータ展開を説明する図である。
畳み込み演算のデータ分割において、式１における変数ｃは、式８に示すように、サイズＢｃのブロックで分割される。また、式１における変数ｄは、式９に示すように、サイズＢｄのブロックで分割される。式８において、ｃｏはオフセットであり、ｃｉは０から(Ｂｃ－１)までのインデックスである。式９において、ｄｏはオフセットであり、ｄｉは０から(Ｂｄ－１)までのインデックスである。なお、サイズＢｃとサイズＢｄは同じであってもよい。
畳み込み演算のデータ分割において、式１における変数ｃは、式８に示すように、サイズＢｃのブロックで分割される。また、式１における変数ｄは、式９に示すように、サイズＢｄのブロックで分割される。式８において、ｃｏはオフセットであり、ｃｉは０から(Ｂｃ－１)までのインデックスである。式９において、ｄｏはオフセットであり、ｄｉは０から(Ｂｄ－１)までのインデックスである。なお、サイズＢｃとサイズＢｄは同じであってもよい。
【0157】
【数8】
【0158】
【数9】
【0159】
式１における入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）は、ｃ軸方向においてサイズＢｃにより分割され、分割された入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）で表される。以降の説明において、分割された入力データａを「分割入力データａ」ともいう。
【0160】
式１における重みｗ（ｉ，ｊ，ｃ，ｄ）は、ｃ軸方向においてサイズＢｃおよびｄ軸方向においてサイズＢｄにより分割され、分割された重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）で表される。以降の説明において、分割された重みｗを「分割重みｗ」ともいう。
【0161】
サイズＢｄにより分割された出力データｆ（ｘ，ｙ，ｄｏ）は、式１０により求まる。分割された出力データｆ（ｘ，ｙ，ｄｏ）を組み合わせることで、最終的な出力データｆ（ｘ，ｙ，ｄ）を算出できる。
【0162】
【数10】
【0163】
＜入力データ分割工程（Ｓ１７－１）：データ展開＞
ソフトウェア生成部３２５は、ＮＮ実行モデル１００の畳み込み演算回路４に、分割された入力データａおよび重みｗを展開する。
ソフトウェア生成部３２５は、ＮＮ実行モデル１００の畳み込み演算回路４に、分割された入力データａおよび重みｗを展開する。
【0164】
分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）は、Ｂｃ個の要素を持つベクトルデータに展開される。分割入力データａの要素は、ｃｉでインデックスされる（０≦ｃｉ＜Ｂｃ）。以降の説明において、ｉ，ｊごとにベクトルデータに展開された分割入力データａを「入力ベクトルＡ」ともいう。入力ベクトルＡは、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ×Ｂｃ）から分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ×Ｂｃ＋（Ｂｃ－１））までを要素とする。
【0165】
分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）は、Ｂｃ×Ｂｄ個の要素を持つマトリクスデータに展開される。マトリクスデータに展開された分割重みｗの要素は、ｃｉとｄｉでインデックスされる（０≦ｄｉ＜Ｂｄ）。以降の説明において、ｉ，ｊごとにマトリクスデータに展開された分割重みｗを「重みマトリクスＷ」ともいう。重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ，ｄｏ×Ｂｄ）から分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ＋（Ｂｃ－１），ｄｏ×Ｂｄ＋（Ｂｄ－１））までを要素とする。
【0166】
入力ベクトルＡと重みマトリクスＷとを乗算することで、ベクトルデータが算出される。ｉ，ｊ，ｃｏごとに算出されたベクトルデータを３次元テンソルに整形することで、出力データｆ（ｘ，ｙ，ｄｏ）を得ることができる。このようなデータの展開を行うことで、畳み込み層２１０の畳み込み演算を、ベクトルデータとマトリクスデータとの乗算により実施できる。
【0167】
＜アロケーション工程（Ｓ１７－２）＞
ソフトウェア生成部３２５は、分割された演算をニューラルネットワークハードウェア６００に割り当てて実施させるソフトウェア５００を生成する（アロケーション工程）。生成されるソフトウェア５００は、命令コマンドＣ３、命令コマンドＣ４および命令コマンドＣ５を含む。
ソフトウェア生成部３２５は、分割された演算をニューラルネットワークハードウェア６００に割り当てて実施させるソフトウェア５００を生成する（アロケーション工程）。生成されるソフトウェア５００は、命令コマンドＣ３、命令コマンドＣ４および命令コマンドＣ５を含む。
【0168】
ソフトウェア５００は、ＮＮ機能モデル２００（ネットワーク情報ＮＷ）における第一演算子ＯＰ１に含まれる畳み込み演算と量子化演算とを別々にニューラルネットワーク実行モデル１００に実行させる。具体的には、第一演算子ＯＰ１に含まれる畳み込み演算は命令コマンドＣ４に、第一演算子ＯＰ１に含まれる量子化演算は命令コマンドＣ５に、変換される。
【0169】
ＮＮ機能モデル２００において、畳み込み演算と実行する畳み込み演算子（畳み込み演算関数）と量子化演算を実行する量子化演算子（量子化演算関数）とは、各演算子の順序や接続を使用者が所定の範囲で自由に設定できるため、ニューラルネットワーク実行モデル１００における実行可能な命令コマンド（Ｃ４，Ｃ５）に変換できない場合がある。
【0170】
一方、ＮＮ機能モデル２００において、畳み込み演算と量子化演算とを連続して実行する単一の第一演算子ＯＰ１は、予め畳み込み演算と量子化演算との順序等が規定されているため、ニューラルネットワーク実行モデル１００における実行可能な命令コマンド（Ｃ４，Ｃ５）に分離・変換しやすい。
【0171】
図２１は、ニューラルネットワークハードウェア６００への割り当て例を示すタイミングチャートである。
【0172】
第一部分テンソルａ1に対応する畳み込み演算および量子化演算と、第二部分テンソルａ2に対応する畳み込み演算および量子化演算とは、図２１に示すように、独立して実施することができる。そこで、ソフトウェア生成部３２５は、分割された演算を、ネットワーク（レイヤ）の一部の順番を入れ替えて、ニューラルネットワークハードウェア６００に割り当ててもよい。
【0173】
畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ－１の畳み込み演算（図２１において、レイヤ２Ｍ－１（ａ1）で示す演算）を行う。その後、畳み込み演算回路４は、第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算（図２１において、レイヤ２Ｍ－１（ａ２）で示す演算）を行う。また、量子化演算回路５は、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算（図２１において、レイヤ２Ｍ（ａ1）で示す演算）を行う。このように、ＮＮ実行モデル１００は、第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算と、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。
【0174】
次に、畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算（図２１において、レイヤ２Ｍ＋１（ａ1）で示す演算）を行う。また、量子化演算回路５は、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算（図２１において、レイヤ２Ｍ（ａ２）で示す演算）を行う。このように、ＮＮ実行モデル１００は、第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算と、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。
【0175】
入力データａを部分テンソルに分割することで、ニューラルネットワークハードウェア６００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。その結果、畳み込み演算回路４と量子化演算回路５が待機する時間が削減され、ニューラルネットワークハードウェア６００の演算処理効率が向上する。図２１に示す動作例において部分テンソルへの分割数は２であったが、分割数が２より大きい場合も同様に、ニューラルネットワークハードウェア６００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。
【0176】
なお、部分テンソルに対する演算方法としては、同一レイヤにおける部分テンソルの演算を畳み込み演算回路４または量子化演算回路５で行った後に次のレイヤにおける部分テンソルの演算を行う例（方法１）を示した。例えば、図２１に示すように、畳み込み演算回路４において、第一部分テンソルａ1および第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算（図２１において、レイヤ２Ｍ－１（ａ1）およびレイヤ２Ｍ－１（ａ２）で示す演算）を行った後に、第一部分テンソルａ1および第二部分テンソルａ２に対応するレイヤ２Ｍ＋１の畳み込み演算（図２１において、レイヤ２Ｍ＋１（ａ1）およびレイヤ２Ｍ＋１（ａ２）で示す演算）を実施している。
【0177】
しかしながら、部分テンソルに対する演算方法はこれに限られない。部分テンソルに対する演算方法は、複数レイヤにおける一部の部分テンソルの演算をした後に残部の部分テンソルの演算を実施する方法でもよい（方法２）。例えば、畳み込み演算回路４において、第一部分テンソルａ1に対応するレイヤ２Ｍ－１および第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算を行った後に、第二部分テンソルａ２に対応するレイヤ２Ｍ－１および第二部分テンソルａ２に対応するレイヤ２Ｍ＋１の畳み込み演算を実施してもよい。
【0178】
また、部分テンソルに対する演算方法は、方法１と方法２とを組み合わせて部分テンソルを演算する方法でもよい。ただし、方法２を用いる場合は、部分テンソルの演算順序に関する依存関係に従って演算を実施する必要がある。
【0179】
なお、上述した部分テンソルの並列演算は、部分テンソルの演算順序に関する依存関係以外にも、第一メモリ１や第二メモリ２の未使用領域に基づいても実施可否が判断される。第一メモリ１や第二メモリ２において並列演算に必要な未使用領域がない場合は、並列演算の一部の演算を並列に実施せずに時分割して実施する制御が実施される。
【0180】
例えば、同じ入力データａに対して重みｗを変えて畳み込み演算を実施する場合、同じ入力データａを用いる畳み込み演算を連続して実施する方が効率がよい。そのため、ソフトウェア生成部３２５は、可能な限り第一メモリ１や第二メモリ２に格納されている同じデータを用いる演算が連続するように、分割された演算の順番を入れ替える。
【0181】
以上説明したように、本実施形態に係るニューラルネットワーク生成方法およびニューラルネットワーク生成プログラムによれば、ＩｏＴ機器などの組み込み機器に組み込み可能であり、高性能に動作させることができるニューラルネットワークを生成できる。
【0182】
以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
【0183】
（変形例１）
上記実施形態において、第一メモリ１と第二メモリ２は別のメモリであったが、第一メモリ１と第二メモリ２の態様はこれに限定されない。第一メモリ１と第二メモリ２は、例えば、同一メモリにおける第一メモリ領域と第二メモリ領域であってもよい。
上記実施形態において、第一メモリ１と第二メモリ２は別のメモリであったが、第一メモリ１と第二メモリ２の態様はこれに限定されない。第一メモリ１と第二メモリ２は、例えば、同一メモリにおける第一メモリ領域と第二メモリ領域であってもよい。
【0184】
（変形例２）
例えば、上記実施形態に記載のＮＮ実行モデル１００やニューラルネットワークハードウェア６００に入力されるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値およびこれらの組み合わせで構成することが可能である。なお、ＮＮ実行モデル１００やニューラルネットワークハードウェア６００に入力されるデータは、ニューラルネットワークハードウェア６００が設けられるエッジデバイスに搭載され得る、光センサ、温度計、Global Positioning System（GPS）計測器、角速度計測器、風速計などの物理量測定器における測定結果に限られない。周辺機器から有線または無線通信経由で受信する基地局情報、車両・船舶等の情報、天候情報、混雑状況に関する情報などの周辺情報や金融情報や個人情報等の異なる情報を組み合わせてもよい。
例えば、上記実施形態に記載のＮＮ実行モデル１００やニューラルネットワークハードウェア６００に入力されるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値およびこれらの組み合わせで構成することが可能である。なお、ＮＮ実行モデル１００やニューラルネットワークハードウェア６００に入力されるデータは、ニューラルネットワークハードウェア６００が設けられるエッジデバイスに搭載され得る、光センサ、温度計、Global Positioning System（GPS）計測器、角速度計測器、風速計などの物理量測定器における測定結果に限られない。周辺機器から有線または無線通信経由で受信する基地局情報、車両・船舶等の情報、天候情報、混雑状況に関する情報などの周辺情報や金融情報や個人情報等の異なる情報を組み合わせてもよい。
【0185】
（変形例３）
ニューラルネットワークハードウェア６００が設けられるエッジデバイスは、バッテリー等で駆動する携帯電話などの通信機器、パーソナルコンピュータなどのスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器を想定するが、これに限られるものではない。Power on Ethernet（PoE）などでの供給可能なピーク電力制限、製品発熱の低減または長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。例えば、車両や船舶などに搭載される車載カメラや、公共施設や路上などに設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。
ニューラルネットワークハードウェア６００が設けられるエッジデバイスは、バッテリー等で駆動する携帯電話などの通信機器、パーソナルコンピュータなどのスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器を想定するが、これに限られるものではない。Power on Ethernet（PoE）などでの供給可能なピーク電力制限、製品発熱の低減または長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。例えば、車両や船舶などに搭載される車載カメラや、公共施設や路上などに設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。
【0186】
上述した実施形態におけるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0187】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【産業上の利用可能性】
【0188】
本発明は、ニューラルネットワークの生成に適用することができる。
【符号の説明】
【0189】
３００ ニューラルネットワーク生成装置
２００ 畳み込みニューラルネットワーク（ＣＮＮ）（ＮＮ機能モデル）
１００ ニューラルネットワーク実行モデル（ＮＮ実行モデル）
４００ ニューラルネットワークハードウェアモデル
５００ ソフトウェア
６００ ニューラルネットワークハードウェア
１ 第一メモリ
２ 第二メモリ
３ ＤＭＡコントローラ（ＤＭＡＣ）
４ 畳み込み演算回路
４２ 乗算器
４３ アキュムレータ回路
５ 量子化演算回路
５２ ベクトル演算回路
５３ 量子化回路
６ コントローラ
６１ レジスタ
ＰＭ 学習済みパラメータ
ＤＳ 学習データセット
ＨＷ ハードウェア情報
ＮＷ ネットワーク情報
ＯＰ１ 第一演算子（第一関数）
ＯＰ２ 第二演算子（第二関数）
２００ 畳み込みニューラルネットワーク（ＣＮＮ）（ＮＮ機能モデル）
１００ ニューラルネットワーク実行モデル（ＮＮ実行モデル）
４００ ニューラルネットワークハードウェアモデル
５００ ソフトウェア
６００ ニューラルネットワークハードウェア
１ 第一メモリ
２ 第二メモリ
３ ＤＭＡコントローラ（ＤＭＡＣ）
４ 畳み込み演算回路
４２ 乗算器
４３ アキュムレータ回路
５ 量子化演算回路
５２ ベクトル演算回路
５３ 量子化回路
６ コントローラ
６１ レジスタ
ＰＭ 学習済みパラメータ
ＤＳ 学習データセット
ＨＷ ハードウェア情報
ＮＷ ネットワーク情報
ＯＰ１ 第一演算子（第一関数）
ＯＰ２ 第二演算子（第二関数）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】