ホーム > 特許ランキング > ＬｅａｐＭｉｎｄ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-27919ニューラルネットワーク学習装置およびニューラルネットワーク学習方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024027919
(43)【公開日】2024-03-01
(54)【発明の名称】ニューラルネットワーク学習装置およびニューラルネットワーク学習方法
(51)【国際特許分類】
G06N 3/08 20230101AFI20240222BHJP
【ＦＩ】
G06N3/08
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022131113
(22)【出願日】2022-08-19
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】517048278
【氏名又は名称】ＬｅａｐＭｉｎｄ株式会社
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100207789
【弁理士】
【氏名又は名称】石田 良平
(72)【発明者】
【氏名】杉田 祐也
(57)【要約】
【課題】ニューラルネットワークの機能モデルと当該機能モデルを用いて学習した学習済みパラメータを、ニューラルネットワーク回路において実施可能な演算に変換して演算させる場合において、機能モデルによる演算結果とニューラルネットワーク回路による演算結果との誤差の発生を抑制する。
【解決手段】ニューラルネットワーク学習装置は、ニューラルネットワーク回路において推論演算を実施するニューラルネットワークを学習する装置であって、浮動小数点フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワークの機能モデルを用いて、前記量子化演算に用いる閾値を含む学習済みパラメータを生成する学習部を備え、前記学習部は、前記ニューラルネットワーク回路の演算環境と前記機能モデルの演算環境との違いに基づいて前記閾値を生成する。
【選択図】図２３
【解決手段】ニューラルネットワーク学習装置は、ニューラルネットワーク回路において推論演算を実施するニューラルネットワークを学習する装置であって、浮動小数点フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワークの機能モデルを用いて、前記量子化演算に用いる閾値を含む学習済みパラメータを生成する学習部を備え、前記学習部は、前記ニューラルネットワーク回路の演算環境と前記機能モデルの演算環境との違いに基づいて前記閾値を生成する。
【選択図】図２３
【特許請求の範囲】
【請求項1】
ニューラルネットワーク回路において推論演算を実施するニューラルネットワークを学習する装置であって、
浮動小数点フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワークの機能モデルを用いて、前記量子化演算に用いる閾値を含む学習済みパラメータを生成する学習部を備え、
前記学習部は、前記ニューラルネットワーク回路の演算環境と前記機能モデルの演算環境との違いに基づいて前記閾値を生成する、
ニューラルネットワーク学習装置。
浮動小数点フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワークの機能モデルを用いて、前記量子化演算に用いる閾値を含む学習済みパラメータを生成する学習部を備え、
前記学習部は、前記ニューラルネットワーク回路の演算環境と前記機能モデルの演算環境との違いに基づいて前記閾値を生成する、
ニューラルネットワーク学習装置。
【請求項2】
前記ニューラルネットワーク回路は、整数フォーマットによる畳み込み演算と量子化演算とを実行し、
前記学習部は、整数値からの誤差が許容誤差以内となる禁制帯に含まれない前記閾値を生成する、
請求項１に記載のニューラルネットワーク学習装置。
前記学習部は、整数値からの誤差が許容誤差以内となる禁制帯に含まれない前記閾値を生成する、
請求項１に記載のニューラルネットワーク学習装置。
【請求項3】
前記学習部は、生成した前記閾値が前記禁制帯に含まれるとき、学習を再実行して、新たな前記閾値を生成する、
請求項２に記載のニューラルネットワーク学習装置。
請求項２に記載のニューラルネットワーク学習装置。
【請求項4】
前記許容誤差は、ゼロに限りなく近い小数値である、
請求項２に記載のニューラルネットワーク学習装置。
請求項２に記載のニューラルネットワーク学習装置。
【請求項5】
整数フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワーク回路において実施可能な演算に変換可能な変換可能演算ブロックを含む前記機能モデルを生成する機能モデル生成部をさらに備える、
請求項１に記載のニューラルネットワーク学習装置。
請求項１に記載のニューラルネットワーク学習装置。
【請求項6】
前記機能モデルの前記変換可能演算ブロックを前記ニューラルネットワーク回路において実施可能な演算に変換し、変換した演算を前記ニューラルネットワーク回路に実行させるソフトウェアおよび学習済みパラメータを生成するソフトウェア生成部をさらに備える、
請求項５に記載のニューラルネットワーク学習装置。
請求項５に記載のニューラルネットワーク学習装置。
【請求項7】
前記学習部は、前記機能モデルの前記変換可能演算ブロックの少なくとも一部の演算を前記閾値に集約させる、
請求項６に記載のニューラルネットワーク学習装置。
請求項６に記載のニューラルネットワーク学習装置。
【請求項8】
ニューラルネットワーク回路において推論演算を実施するニューラルネットワークを学習する方法であって、
浮動小数点フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワークの機能モデルを用いて、前記量子化演算に用いる閾値を含む学習済みパラメータを生成する学習工程を備え、
前記学習工程は、前記ニューラルネットワーク回路の演算環境と前記機能モデルの演算環境との違いに基づいて前記閾値を生成する、
ニューラルネットワーク学習方法。
浮動小数点フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワークの機能モデルを用いて、前記量子化演算に用いる閾値を含む学習済みパラメータを生成する学習工程を備え、
前記学習工程は、前記ニューラルネットワーク回路の演算環境と前記機能モデルの演算環境との違いに基づいて前記閾値を生成する、
ニューラルネットワーク学習方法。
【請求項9】
前記ニューラルネットワーク回路は、整数フォーマットによる畳み込み演算と量子化演算とを実行し、
前記学習工程は、整数値からの誤差が許容誤差以内となる禁制帯に含まれない前記閾値を生成する、
請求項８に記載のニューラルネットワーク学習方法。
前記学習工程は、整数値からの誤差が許容誤差以内となる禁制帯に含まれない前記閾値を生成する、
請求項８に記載のニューラルネットワーク学習方法。
【請求項10】
前記学習工程は、生成した前記閾値が前記禁制帯に含まれるとき、学習を再実行して、新たな前記閾値を生成する、
請求項９に記載のニューラルネットワーク学習方法。
請求項９に記載のニューラルネットワーク学習方法。
【請求項11】
前記許容誤差は、ゼロに限りなく近い小数値である、
請求項９に記載のニューラルネットワーク学習方法。
請求項９に記載のニューラルネットワーク学習方法。
【請求項12】
整数フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワーク回路において実施可能な演算に変換可能な変換可能演算ブロックを含む前記機能モデルを生成する機能モデル生成工程をさらに備える、
請求項８に記載のニューラルネットワーク学習方法。
請求項８に記載のニューラルネットワーク学習方法。
【請求項13】
前記機能モデルの前記変換可能演算ブロックを前記ニューラルネットワーク回路において実施可能な演算に変換し、変換した演算を前記ニューラルネットワーク回路に実行させるソフトウェアおよび学習済みパラメータを生成するソフトウェア生成工程をさらに備える、
請求項１２に記載のニューラルネットワーク学習方法。
請求項１２に記載のニューラルネットワーク学習方法。
【請求項14】
前記学習工程は、前記機能モデルの前記変換可能演算ブロックの少なくとも一部の演算を前記閾値に集約させる、
請求項１３に記載のニューラルネットワーク学習方法。
請求項１３に記載のニューラルネットワーク学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワーク回路の学習装置および学習方法に関する。
【背景技術】
【0002】
近年、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）が画像認識等のモデルとして用いられている。ＩｏＴ機器などの組み込み機器に組み込み可能なニューラルネットワーク回路が用いられている（特許文献１など）。
【0003】
一方、畳み込みニューラルネットワークの構成や仕様を決定して畳み込みニューラルネットワークの機能モデルを生成し、当該機能モデルを用いて学習した学習済みパラメータを生成するために、公知のライブラリやプラットホームが利用されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６８９６３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このようなライブラリやプラットホームにおいて生成されたニューラルネットワークの機能モデルや学習済みパラメータを、ＩｏＴ機器などの組み込み機器に組み込み可能なニューラルネットワーク回路において実施可能な演算に変換して演算させる場合、演算精度やデータフォーマットの違いにより演算結果に誤差が発生する場合があった。
【0006】
上記事情を踏まえ、本発明は、ニューラルネットワークの機能モデルと当該機能モデルを用いて学習した学習済みパラメータを、ニューラルネットワーク回路において実施可能な演算に変換して演算させる場合、機能モデルによる演算結果とニューラルネットワーク回路による演算結果とに誤差が発生しにくいニューラルネットワーク学習装置およびニューラルネットワーク学習方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第一の態様に係るニューラルネットワーク学習装置は、ニューラルネットワーク学習装置は、ニューラルネットワーク回路において推論演算を実施するニューラルネットワークを学習する装置であって、浮動小数点フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワークの機能モデルを用いて、前記量子化演算に用いる閾値を含む学習済みパラメータを生成する学習部を備え、前記学習部は、前記ニューラルネットワーク回路の演算環境と前記機能モデルの演算環境との違いに基づいて前記閾値を生成する。
本発明の第一の態様に係るニューラルネットワーク学習装置は、ニューラルネットワーク学習装置は、ニューラルネットワーク回路において推論演算を実施するニューラルネットワークを学習する装置であって、浮動小数点フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワークの機能モデルを用いて、前記量子化演算に用いる閾値を含む学習済みパラメータを生成する学習部を備え、前記学習部は、前記ニューラルネットワーク回路の演算環境と前記機能モデルの演算環境との違いに基づいて前記閾値を生成する。
【0008】
本発明の第二の態様に係るニューラルネットワーク学習方法は、ニューラルネットワーク回路において推論演算を実施するニューラルネットワークを学習する方法であって、浮動小数点フォーマットによる畳み込み演算と量子化演算とを実行する前記ニューラルネットワークの機能モデルを用いて、前記量子化演算に用いる閾値を含む学習済みパラメータを生成する学習工程を備え、前記学習工程は、前記ニューラルネットワーク回路の演算環境と前記機能モデルの演算環境との違いに基づいて前記閾値を生成する。
【発明の効果】
【0009】
本発明のニューラルネットワーク学習装置およびニューラルネットワーク学習方法は、ニューラルネットワークの機能モデルと当該機能モデルを用いて学習した学習済みパラメータを、ニューラルネットワーク回路において実施可能な演算に変換して演算させる場合、機能モデルによる演算結果とニューラルネットワーク回路による演算結果とに誤差が発生しにくい。
【図面の簡単な説明】
【0010】
【図1】第一実施形態に係るニューラルネットワーク学習装置を示す図である。
【図2】同ニューラルネットワーク学習装置の演算部の入出力を示す図である。
【図3】畳み込みニューラルネットワークを示す図である。
【図4】畳み込み層が行う畳み込み演算を説明する図である。
【図5】畳み込み演算のデータの分割と展開を説明する図である。
【図6】第一実施形態に係るニューラルネットワーク回路の全体構成を示す図である。
【図7】同ニューラルネットワーク回路の動作例を示すタイミングチャートである。
【図8】同ニューラルネットワーク回路のＤＭＡＣの内部ブロック図である。
【図9】同ＤＭＡＣの制御回路のステート遷移図である。
【図10】同ニューラルネットワーク回路の畳み込み演算回路の内部ブロック図である。
【図11】同畳み込み演算回路の乗算器の内部ブロック図である。
【図12】同乗算器の積和演算ユニットの内部ブロック図である。
【図13】同畳み込み演算回路のアキュムレータ回路の内部ブロック図である。
【図14】同アキュムレータ回路のアキュムレータユニットの内部ブロック図である。
【図15】同ニューラルネットワーク回路の量子化演算回路の内部ブロック図である。
【図16】同量子化演算回路のベクトル演算回路と量子化回路の内部ブロック図である。
【図17】演算ユニットのブロック図である。
【図18】同量子化回路のベクトル量子化ユニットの内部ブロック図である。
【図19】同ニューラルネットワーク学習装置の制御フローチャートである。
【図20】同畳み込みニューラルネットワークを設定するＧＵＩ画像例を示す図である。
【図21】同ニューラルネットワーク回路における推論演算ブロックを示す図である。
【図22】同畳み込みニューラルネットワークにおける量子化畳み込み演算ブロックを示す図である。
【図23】同制御フローチャートにおける学習工程のフローチャートである。
【図24】量子化パラメータの禁制帯を示す図である。
【図25】同ニューラルネットワーク回路への割り当て例を示すタイミングチャートである。
【発明を実施するための形態】
【0011】
【0012】
［ニューラルネットワーク学習装置３００］
ニューラルネットワーク学習装置３００は、ニューラルネットワーク機能モデルである畳み込みニューラルネットワーク２００（以下、「ＣＮＮ２００」または「ＮＮ機能モデル２００」ともいう）の生成および学習と、ＩｏＴ機器などの組み込み機器に組み込み可能なニューラルネットワーク回路１００（以下、「ＮＮ回路１００」ともいう）を動作させるソフトウェア５００の生成と、を実施する装置である。ＮＮ回路１００が実行する演算は、ＣＮＮ２００（ＮＮ機能モデル２００）が実行する推論演算の少なくとも一部である。
ニューラルネットワーク学習装置３００は、ニューラルネットワーク機能モデルである畳み込みニューラルネットワーク２００（以下、「ＣＮＮ２００」または「ＮＮ機能モデル２００」ともいう）の生成および学習と、ＩｏＴ機器などの組み込み機器に組み込み可能なニューラルネットワーク回路１００（以下、「ＮＮ回路１００」ともいう）を動作させるソフトウェア５００の生成と、を実施する装置である。ＮＮ回路１００が実行する演算は、ＣＮＮ２００（ＮＮ機能モデル２００）が実行する推論演算の少なくとも一部である。
【0013】
ニューラルネットワーク学習装置３００は、ＣＰＵ（Central Processing Unit）等のプロセッサとメモリ等のハードウェアを備えたプログラム実行可能な装置（コンピュータ）である。ニューラルネットワーク学習装置３００の機能は、ニューラルネットワーク学習装置３００においてニューラルネットワーク学習プログラムおよびソフトウェア生成プログラムを実行することにより実現される。ニューラルネットワーク学習装置３００は、記憶部３１０と、演算部３２０と、データ入力部３３０と、データ出力部３４０と、表示部３５０と、操作入力部３６０と、を備える。
【0014】
記憶部３１０は、ネットワーク情報ＮＷ１と、推論ネットワーク情報ＮＷ２と、学習データセットＤＳと、学習済みパラメータＰＭと、を記憶する。学習データセットＤＳおよび推論ネットワーク情報ＮＷ２は、ニューラルネットワーク学習装置３００に入力される入力データである。学習済みパラメータＰＭは、ニューラルネットワーク学習装置３００が出力する出力データである。なお、「学習済みのＮＮ回路１００」は、ＮＮ回路１００および学習済みパラメータＰＭを含む。
【0015】
ネットワーク情報（学習ネットワーク情報）ＮＷ１は、ＣＮＮ２００（ＮＮ機能モデル２００）に関する情報である。ネットワーク情報ＮＷ１は、例えば、ＣＮＮ２００（ＮＮ機能モデル２００）の機能を定義する情報を含む。ネットワーク情報ＮＷ１は、例えば、ＣＮＮ２００のネットワーク構成、入力データ情報、出力データ情報、量子化情報などである。入力データ情報は、画像や音声などの入力データ種別と、入力データサイズなどである。
【0016】
推論ネットワーク情報ＮＷ２は、ＮＮ回路１００が実行する推論演算に関する情報である。推論ネットワーク情報ＮＷ２は、例えば、ＮＮ回路１００が実行可能なニューラルネットワークの推論演算の機能を定義する情報を含む。推論ネットワーク情報ＮＷ２は、例えば、ＮＮ回路１００の回路構成、演算器の機能、データビット幅などである。
【0017】
学習データセットＤＳは、学習に用いる学習データＤ１と、推論テストに用いるテストデータＤ２と、を有する。
【0018】
図２は、演算部３２０の入出力を示す図である。
演算部３２０は、学習部３２２と、推論部３２３と、ソフトウェア生成部３２５と、機能モデル生成部３２６と、を有する。演算部３２０に入力されるネットワーク情報ＮＷは、ニューラルネットワーク学習装置３００以外の装置で生成されたものであってもよい。
演算部３２０は、学習部３２２と、推論部３２３と、ソフトウェア生成部３２５と、機能モデル生成部３２６と、を有する。演算部３２０に入力されるネットワーク情報ＮＷは、ニューラルネットワーク学習装置３００以外の装置で生成されたものであってもよい。
【0019】
学習部３２２は、ネットワーク情報ＮＷ１、推論ネットワーク情報ＮＷ２および学習データＤ１を用いて、学習済みパラメータＰＭを生成する。推論部３２３は、ネットワーク情報ＮＷおよびテストデータＤ２を用いて推論テストを実施する。
【0020】
ソフトウェア生成部３２５は、ネットワーク情報ＮＷ１および推論ネットワーク情報ＮＷ２に基づいて、ＮＮ回路１００を動作させるソフトウェア５００を生成する。ソフトウェア５００は、学習済みパラメータＰＭを必要に応じてＮＮ回路１００へ転送するソフトウェアを含む。
【0021】
機能モデル生成部３２６は、使用者から入力に基づいてＣＮＮ２００（ＮＮ機能モデル２００）を生成して（コンフィグレーション）、ＣＮＮ２００（ＮＮ機能モデル２００）に関する情報であるネットワーク情報ＮＷ１を出力する。
【0022】
データ入力部３３０には、学習済みのＮＮ回路１００を生成するために必要なハードウェア情報ＨＷやネットワーク情報ＮＷ等が入力される。ハードウェア情報ＨＷやネットワーク情報ＮＷ等は、例えば所定のデータフォーマットで記載されたデータとして入力される。入力されたハードウェア情報ＨＷやネットワーク情報ＮＷ等は、記憶部３１０に記憶される。ハードウェア情報ＨＷやネットワーク情報ＮＷ等は、操作入力部３６０から使用者により入力または変更されてもよい。
【0023】
データ出力部３４０には、生成された学習済みのＮＮ回路１００が出力される。例えば、生成されたＮＮ回路１００と、学習済みパラメータＰＭとがデータ出力部３４０に出力される。
【0024】
表示部３５０は、ＬＣＤディスプレイ等の公知のモニタを有する。表示部３５０は、演算部３２０が生成したＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画像やコマンド等を受け付けるためのコンソール画面などを表示できる。また、演算部３２０が使用者からの情報入力を必要とする場合、表示部３５０は操作入力部３６０から情報を入力することを使用者に促すメッセージや情報入力に必要なＧＵＩ画像を表示できる。
【0025】
操作入力部３６０は、使用者が演算部３２０等に対しての指示を入力する装置である。操作入力部３６０は、タッチパネル、キーボード、マウス等の公知の入力デバイスである。操作入力部３６０の入力は、演算部３２０に送信される。
【0026】
演算部３２０の機能の全部または一部は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）のような１つ以上のプロセッサがプログラムメモリに記憶されたプログラムを実行することにより実現される。ただし、演算部３２０の機能の全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）等のハードウェア（例えば回路部；circuity）により実現されてもよい。また、演算部３２０の機能の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。
【0027】
演算部３２０の機能の全部または一部は、クラウドサーバ等の外部機器に設けられたＣＰＵやＧＰＵやハードウェア等の外部アクセラレータを用いて実現されてもよい。演算部３２０は、例えばクラウドサーバ上の演算性能が高いＧＰＵや専用ハードウェアを併用することで、演算部３２０の演算速度を向上させることができる。
【0028】
記憶部３１０は、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）、またＲＡＭ（Random Access Memory）等により実現される。記憶部３１０の全部または一部はクラウドサーバ等の外部機器に設けられ、通信回線により演算部３２０等と接続させてもよい。
【0029】
なお、ニューラルネットワーク学習装置３００は、複数の装置（コンピュータ）で構成され、演算部３２０の機能ブロックが複数の装置に分散していてもよい。例えば、ニューラルネットワーク学習装置３００は、機能モデル生成部３２６を有する第一装置（コンピュータ）と、学習部３２２および推論部３２３を有する第二装置（コンピュータ）と、ソフトウェア生成部３２５を有する第三装置（コンピュータ）と、に分離していてもよい。
【0030】
［畳み込みニューラルネットワーク（ＣＮＮ）２００］
図３は、ＣＮＮ２００を示す図である。
ＣＮＮ２００は、畳み込み演算を行う畳み込み層２１０と、量子化演算を行う量子化演算層２２０と、出力層２３０と、を含む多層構造のネットワークである。ＣＮＮ２００の少なくとも一部において、畳み込み層２１０と量子化演算層２２０とが交互に連結されている。ＣＮＮ２００は、画像認識や動画認識に広く使われるモデルである。ＣＮＮ２００は、全結合層などの他の機能を有する層（レイヤ）をさらに有してもよい。
図３は、ＣＮＮ２００を示す図である。
ＣＮＮ２００は、畳み込み演算を行う畳み込み層２１０と、量子化演算を行う量子化演算層２２０と、出力層２３０と、を含む多層構造のネットワークである。ＣＮＮ２００の少なくとも一部において、畳み込み層２１０と量子化演算層２２０とが交互に連結されている。ＣＮＮ２００は、画像認識や動画認識に広く使われるモデルである。ＣＮＮ２００は、全結合層などの他の機能を有する層（レイヤ）をさらに有してもよい。
【0031】
図４は、畳み込み層２１０が行う畳み込み演算を説明する図である。
畳み込み層２１０は、入力データａに対して重みｗを用いた畳み込み演算を行う。畳み込み層２１０は、入力データａと重みｗとを入力とする積和演算を行う。
畳み込み層２１０は、入力データａに対して重みｗを用いた畳み込み演算を行う。畳み込み層２１０は、入力データａと重みｗとを入力とする積和演算を行う。
【0032】
畳み込み層２１０への入力データａ（アクティベーションデータ、特徴マップともいう）は、画像データ等の多次元データである。本実施形態において、入力データａは、要素（ｘ，ｙ，ｃ）からなる３次元テンソルである。ＣＮＮ２００の畳み込み層２１０は、低ビットの入力データａに対して畳み込み演算を行う。本実施形態において、入力データａの要素は、２ビットの符号なし整数（０，１，２，３）である。入力データａの要素は、例えば、４ビットや８ビット符号なし整数でもよい。
【0033】
ＣＮＮ２００に入力される入力データが、例えば３２ビットの浮動小数点型など、畳み込み層２１０への入力データａと形式が異なる場合、ＣＮＮ２００は畳み込み層２１０の前に型変換や量子化を行う入力層をさらに有してもよい。
【0034】
畳み込み層２１０の重みｗ（フィルタ、カーネルともいう）は、学習可能なパラメータである要素を有する多次元データである。本実施形態において、重みｗは、要素（ｉ，ｊ，ｃ，ｄ）からなる４次元テンソルである。重みｗは、要素（ｉ，ｊ，ｃ）からなる３次元テンソル（以降、「重みｗｏ」という）をｄ個有している。学習済みのＣＮＮ２００における重みｗは、学習済みのデータである。ＣＮＮ２００の畳み込み層２１０は、低ビットの重みｗを用いて畳み込み演算を行う。本実施形態において、重みｗの要素は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
【0035】
畳み込み層２１０は、式１に示す畳み込み演算を行い、出力データｆを出力する。式１において、ｓはストライドを示す。図４において点線で示された領域は、入力データａに対して重みｗｏが適用される領域ａｏ（以降、「適用領域ａｏ」という）の一つを示している。適用領域ａｏの要素は、（ｘ＋ｉ，ｙ＋ｊ，ｃ）で表される。
【0036】
【数1】
【0037】
量子化演算層２２０は、畳み込み層２１０が出力する畳み込み演算の出力に対して量子化などを実施する。量子化演算層２２０は、プーリング層２２１と、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２と、活性化関数層２２３と、量子化層２２４と、を有する。
【0038】
プーリング層２２１は、畳み込み層２１０が出力する畳み込み演算の出力データｆに対して平均プーリング（式２）やＭＡＸプーリング（式３）などの演算を実施して、畳み込み層２１０の出力データｆを圧縮する。式２および式３において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、Ｔはプーリング領域の大きさを示す。式３において、ｍａｘはＴに含まれるｉとｊの組み合わせに対するｕの最大値を出力する関数である。
【0039】
【数2】
【0040】
【数3】
【0041】
Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２は、量子化演算層２２０やプーリング層２２１の出力データに対して、例えば式４に示すような演算によりデータ分布の正規化を行う。式４において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、αはスケールを示し、βはバイアスを示す。学習済みのＣＮＮ２００において、αおよびβは学習済みの定数ベクトルである。
【0042】
【数4】
【0043】
活性化関数層２２３は、量子化演算層２２０やプーリング層２２１やＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２の出力に対してＲｅＬＵ（式５）などの活性化関数の演算を行う。式５において、ｕは入力テンソルであり、ｖは出力テンソルである。式５において、ｍａｘは引数のうち最も大きい数値を出力する関数である。
【0044】
【数5】
【0045】
量子化層２２４は、量子化パラメータに基づいて、プーリング層２２１や活性化関数層２２３の出力に対して例えば式６に示すような量子化を行う。式６に示す量子化は、入力テンソルｕを２ビットにビット削減している。式６において、ｑ(ｃ)は量子化パラメータのベクトルである。学習済みのＣＮＮ２００において、ｑ(ｃ)は学習済みの定数ベクトルである。式６における不等号「≦」は「＜」であってもよい。
【0046】
【数6】
【0047】
出力層２３０は、恒等関数やソフトマックス関数等によりＣＮＮ２００の結果を出力する層である。出力層２３０の前段のレイヤは、畳み込み層２１０であってもよいし、量子化演算層２２０であってもよい。
【0048】
ＣＮＮ２００は、量子化された量子化層２２４の出力データが、畳み込み層２１０に入力されるため、量子化を行わない他の畳み込みニューラルネットワークと比較して、畳み込み層２１０の畳み込み演算の負荷が小さい。
【0049】
［畳み込み演算の分割］
図５は、畳み込み演算のデータの分割と展開を説明する図である。
ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを部分テンソルに分割して演算する。部分テンソルへの分割方法や分割数は特に限定されない。部分テンソルは、例えば、入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）をａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）に分割することにより形成される。なお、ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを分割せずに演算することもできる。
図５は、畳み込み演算のデータの分割と展開を説明する図である。
ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを部分テンソルに分割して演算する。部分テンソルへの分割方法や分割数は特に限定されない。部分テンソルは、例えば、入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）をａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）に分割することにより形成される。なお、ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを分割せずに演算することもできる。
【0050】
畳み込み演算の入力データ分割において、式１における変数ｃは、式７に示すように、サイズＢｃのブロックで分割される。また、式１における変数ｄは、式８に示すように、サイズＢｄのブロックで分割される。式７において、ｃｏはオフセットであり、ｃｉは０から(Ｂｃ－１)までのインデックスである。式８において、ｄｏはオフセットであり、ｄｉは０から(Ｂｄ－１)までのインデックスである。なお、サイズＢｃとサイズＢｄは同じであってもよい。
【0051】
【数7】
【0052】
【数8】
【0053】
式１における入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）は、ｃ軸方向においてサイズＢｃにより分割され、分割された入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）で表される。以降の説明において、分割された入力データａを「分割入力データａ」ともいう。
【0054】
式１における重みｗ（ｉ，ｊ，ｃ，ｄ）は、ｃ軸方向においてサイズＢｃおよびｄ軸方向においてサイズＢｄにより分割され、分割された重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）で表される。以降の説明において、分割された重みｗを「分割重みｗ」ともいう。
【0055】
サイズＢｄにより分割された出力データｆ（ｘ，ｙ，ｄｏ）は、式９により求まる。分割された出力データｆ（ｘ，ｙ，ｄｏ）を組み合わせることで、最終的な出力データｆ（ｘ，ｙ，ｄ）を算出できる。
【0056】
【数9】
【0057】
［畳み込み演算のデータの展開］
ＮＮ回路１００は、畳み込み層２１０の畳み込み演算における入力データａおよび重みｗを展開して畳み込み演算を行う。
ＮＮ回路１００は、畳み込み層２１０の畳み込み演算における入力データａおよび重みｗを展開して畳み込み演算を行う。
【0058】
分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ）は、Ｂｃ個の要素を持つベクトルデータに展開される。分割入力データａの要素は、ｃｉでインデックスされる（０≦ｃｉ＜Ｂｃ）。以降の説明において、ｉ，ｊごとにベクトルデータに展開された分割入力データａを「入力ベクトルＡ」ともいう。入力ベクトルＡは、分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ×Ｂｃ）から分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ×Ｂｃ＋（Ｂｃ－１））までを要素とする。
【0059】
分割重みｗ（ｉ，ｊ，ｃｏ、ｄｏ）は、Ｂｃ×Ｂｄ個の要素を持つマトリクスデータに展開される。マトリクスデータに展開された分割重みｗの要素は、ｃｉとｄｉでインデックスされる（０≦ｄｉ＜Ｂｄ）。以降の説明において、ｉ，ｊごとにマトリクスデータに展開された分割重みｗを「重みマトリクスＷ」ともいう。重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ、ｄｏ×Ｂｄ）から分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ＋（Ｂｃ－１）、ｄｏ×Ｂｄ＋（Ｂｄ－１））までを要素とする。
【0060】
入力ベクトルＡと重みマトリクスＷとを乗算することで、ベクトルデータが算出される。ｉ，ｊ，ｃｏごとに算出されたベクトルデータを３次元テンソルに整形することで、出力データｆ（ｘ，ｙ，ｄｏ）を得ることができる。このようなデータの展開を行うことで、畳み込み層２１０の畳み込み演算を、ベクトルデータとマトリクスデータとの乗算により実施できる。
【0061】
［ニューラルネットワーク回路（ＮＮ回路）１００］
図６は、本実施形態に係るＮＮ回路１００の全体構成を示す図である。
ＮＮ回路１００は、第一メモリ１と、第二メモリ２と、ＤＭＡコントローラ３（以下、「ＤＭＡＣ３」ともいう）と、畳み込み演算回路４と、量子化演算回路５と、コントローラ６と、を備える。ＮＮ回路１００は、第一メモリ１および第二メモリ２を介して、畳み込み演算回路４と量子化演算回路５とがループ状に形成されていることを特徴とする。
図６は、本実施形態に係るＮＮ回路１００の全体構成を示す図である。
ＮＮ回路１００は、第一メモリ１と、第二メモリ２と、ＤＭＡコントローラ３（以下、「ＤＭＡＣ３」ともいう）と、畳み込み演算回路４と、量子化演算回路５と、コントローラ６と、を備える。ＮＮ回路１００は、第一メモリ１および第二メモリ２を介して、畳み込み演算回路４と量子化演算回路５とがループ状に形成されていることを特徴とする。
【0062】
第一メモリ１は、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第一メモリ１には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第一メモリ１は、畳み込み演算回路４の入力ポートと接続されており、畳み込み演算回路４は第一メモリ１からデータを読み出すことができる。また、第一メモリ１は、量子化演算回路５の出力ポートと接続されており、量子化演算回路５は第一メモリ１にデータを書き込むことができる。外部ホストＣＰＵは、第一メモリ１に対するデータの書き込みや読み出しにより、ＮＮ回路１００に対するデータの入出力を行うことができる。
【0063】
第二メモリ２は、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第二メモリ２には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第二メモリ２は、量子化演算回路５の入力ポートと接続されており、量子化演算回路５は第二メモリ２からデータを読み出すことができる。また、第二メモリ２は、畳み込み演算回路４の出力ポートと接続されており、畳み込み演算回路４は第二メモリ２にデータを書き込むことができる。外部ホストＣＰＵは、第二メモリ２に対するデータの書き込みや読み出しにより、ＮＮ回路１００に対するデータの入出力を行うことができる。
【0064】
ＤＭＡＣ３は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリと第一メモリ１との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと第二メモリ２との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと畳み込み演算回路４との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと量子化演算回路５との間のデータ転送を行う。
【0065】
畳み込み演算回路４は、学習済みのＣＮＮ２００の畳み込み層２１０における畳み込み演算を行う回路である。畳み込み演算回路４は、第一メモリ１に格納された入力データａを読み出し、入力データａに対して畳み込み演算を実施する。畳み込み演算回路４は、畳み込み演算の出力データｆ（以降、「畳み込み演算出力データ」ともいう）を第二メモリ２に書き込む。
【0066】
量子化演算回路５は、学習済みのＣＮＮ２００の量子化演算層２２０における量子化演算の少なくとも一部を行う回路である。量子化演算回路５は、第二メモリ２に格納された畳み込み演算の出力データｆを読み出し、畳み込み演算の出力データｆに対して量子化演算（プーリング、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数、および量子化のうち少なくとも量子化を含む演算）を行う。量子化演算回路５は、量子化演算の出力データ（以降、「量子化演算出力データ」ともいう）を第一メモリ１に書き込む。
【0067】
コントローラ６は、外部バスＥＢに接続されており、外部のホストＣＰＵのスレーブとして動作する。コントローラ６は、パラメータレジスタや状態レジスタを含むレジスタ６１を有している。パラメータレジスタは、ＮＮ回路１００の動作を制御するレジスタである。状態レジスタはセマフォＳを含むＮＮ回路１００の状態を示すレジスタである。外部ホストＣＰＵは、コントローラ６を経由して、レジスタ６１にアクセスできる。
【0068】
コントローラ６は、内部バスＩＢを介して、第一メモリ１と、第二メモリ２と、ＤＭＡＣ３と、畳み込み演算回路４と、量子化演算回路５と、接続されている。外部ホストＣＰＵは、コントローラ６を経由して、各ブロックに対してアクセスできる。例えば、外部ホストＣＰＵは、コントローラ６を経由して、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５に対する命令を指示することができる。また、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５は、内部バスＩＢを介して、コントローラ６が有する状態レジスタ（セマフォＳを含む）を更新できる。状態レジスタ（セマフォＳを含む）は、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５と接続された専用配線を介して更新されるように構成されていてもよい。
【0069】
ＮＮ回路１００は、第一メモリ１や第二メモリ２等を有するため、ＤＲＡＭなどの外部メモリからのＤＭＡＣ３によるデータ転送において、重複するデータのデータ転送の回数を低減できる。これにより、メモリアクセスにより発生する消費電力を大幅に低減することができる。
【0070】
［ＮＮ回路１００の動作例１］
図７は、ＮＮ回路１００の動作例を示すタイミングチャートである。
ＤＭＡＣ３は、レイヤ１の入力データａを第一メモリ１に格納する。ＤＭＡＣ３は、畳み込み演算回路４が行う畳み込み演算の順序にあわせて、レイヤ１の入力データａを分割して第一メモリ１に転送してもよい。
図７は、ＮＮ回路１００の動作例を示すタイミングチャートである。
ＤＭＡＣ３は、レイヤ１の入力データａを第一メモリ１に格納する。ＤＭＡＣ３は、畳み込み演算回路４が行う畳み込み演算の順序にあわせて、レイヤ１の入力データａを分割して第一メモリ１に転送してもよい。
【0071】
畳み込み演算回路４は、第一メモリ１に格納されたレイヤ１の入力データａを読み出す。畳み込み演算回路４は、レイヤ１の入力データａに対して図３に示すレイヤ１の畳み込み演算を行う。レイヤ１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
【0072】
量子化演算回路５は、第二メモリ２に格納されたレイヤ１の出力データｆを読み出す。量子化演算回路５は、レイヤ１の出力データｆに対してレイヤ２の量子化演算を行う。レイヤ２の量子化演算の出力データは、第一メモリ１に格納される。
【0073】
畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２の量子化演算の出力データを入力データａとしてレイヤ３の畳み込み演算を行う。レイヤ３の畳み込み演算の出力データｆは、第二メモリ２に格納される。
【0074】
畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍ－２（Ｍは自然数）の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２Ｍ－２の量子化演算の出力データを入力データａとしてレイヤ２Ｍ－１の畳み込み演算を行う。レイヤ２Ｍ－１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
【0075】
量子化演算回路５は、第二メモリ２に格納されたレイヤ２Ｍ－１の出力データｆを読み出す。量子化演算回路５は、２Ｍ－１レイヤの出力データｆに対してレイヤ２Ｍの量子化演算を行う。レイヤ２Ｍの量子化演算の出力データは、第一メモリ１に格納される。
【0076】
畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍの量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２Ｍの量子化演算の出力データを入力データａとしてレイヤ２Ｍ＋１の畳み込み演算を行う。レイヤ２Ｍ＋１の畳み込み演算の出力データｆは、第二メモリ２に格納される。
【0077】
畳み込み演算回路４と量子化演算回路５とが交互に演算を行い、図３に示すＣＮＮ２００の演算を進めていく。ＮＮ回路１００は、畳み込み演算回路４が時分割によりレイヤ２Ｍ－１とレイヤ２Ｍ＋１の畳み込み演算を実施する。また、ＮＮ回路１００は、量子化演算回路５が時分割によりレイヤ２Ｍ－２とレイヤ２Ｍの量子化演算を実施する。そのため、ＮＮ回路１００は、レイヤごとに別々の畳み込み演算回路４と量子化演算回路５を実装する場合と比較して、回路規模が著しく小さい。
【0078】
ＮＮ回路１００は、複数のレイヤの多層構造であるＣＮＮ２００の演算を、ループ状に形成された回路により演算する。ＮＮ回路１００は、ループ状の回路構成により、ハードウェア資源を効率的に利用できる。なお、ＮＮ回路１００は、ループ状に回路を形成するために、各レイヤで変化する畳み込み演算回路４や量子化演算回路５におけるパラメータは適宜更新される。
【0079】
ＣＮＮ２００の演算にＮＮ回路１００により実施できない演算が含まれる場合、ＮＮ回路１００は外部ホストＣＰＵなどの外部演算デバイスに中間データを転送する。外部演算デバイスが中間データに対して演算を行った後、外部演算デバイスによる演算結果は第一メモリ１や第二メモリ２に入力される。ＮＮ回路１００は、外部演算デバイスによる演算結果に対する演算を再開する。
【0080】
次に、ＮＮ回路１００の各構成に関して詳しく説明する。
【0081】
［ＤＭＡＣ３］
図８は、ＤＭＡＣ３の内部ブロック図である。
ＤＭＡＣ３は、データ転送回路３１と、ステートコントローラ３２と、を有する。ＤＭＡＣ３は、データ転送回路３１に対する専用のステートコントローラ３２を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずにＤＭＡデータ転送を実施できる。
図８は、ＤＭＡＣ３の内部ブロック図である。
ＤＭＡＣ３は、データ転送回路３１と、ステートコントローラ３２と、を有する。ＤＭＡＣ３は、データ転送回路３１に対する専用のステートコントローラ３２を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずにＤＭＡデータ転送を実施できる。
【0082】
データ転送回路３１は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリと第一メモリ１との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと第二メモリ２との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと畳み込み演算回路４との間のデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと量子化演算回路５との間のデータ転送を行う。データ転送回路３１のＤＭＡチャンネル数は限定されない。例えば、第一メモリ１と第二メモリ２のそれぞれに専用のＤＭＡチャンネルを有していてもよい。
【0083】
ステートコントローラ３２は、データ転送回路３１のステートを制御する。また、ステートコントローラ３２は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ３２は、命令キュー３３と制御回路３４とを有する。
【0084】
命令キュー３３は、ＤＭＡＣ３用の命令コマンドＣ３が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー３３には、内部バスＩＢ経由で１つ以上の命令コマンドＣ３が書き込まれる。
【0085】
制御回路３４は、命令コマンドＣ３をデコードし、命令コマンドＣ３に基づいて順次データ転送回路３１を制御するステートマシンである。制御回路３４は、論理回路により実装されていてもよいし、ソフトウェアによって制御されるＣＰＵによって実装されていてもよい。
【0086】
図９は、制御回路３４のステート遷移図である。
制御回路３４は、命令キュー３３に命令コマンドＣ３が入力されると（Ｎｏｔ ｅｍｐｔｙ）、アイドルステートＳＴ１からデコードステートＳＴ２に遷移する。
制御回路３４は、命令キュー３３に命令コマンドＣ３が入力されると（Ｎｏｔ ｅｍｐｔｙ）、アイドルステートＳＴ１からデコードステートＳＴ２に遷移する。
【0087】
制御回路３４は、デコードステートＳＴ２において、命令キュー３３から出力される命令コマンドＣ３をデコードする。また、制御回路３４は、コントローラ６のレジスタ６１に格納されたセマフォＳを読み出し、命令コマンドＣ３において指示されたデータ転送回路３１の動作を実行可能であるかを判定する。実行不能である場合（Ｎｏｔ ｒｅａｄｙ）、制御回路３４は実行可能となるまで待つ（Ｗａｉｔ）。実行可能である場合（ｒｅａｄｙ）、制御回路３４はデコードステートＳＴ２から実行ステートＳＴ３に遷移する。
【0088】
制御回路３４は、実行ステートＳＴ３において、データ転送回路３１を制御して、データ転送回路３１に命令コマンドＣ３において指示された動作を実施させる。制御回路３４は、データ転送回路３１の動作が終わると、命令キュー３３から実行を終えた命令コマンドＣ３を取り除くとともに、コントローラ６のレジスタ６１に格納されたセマフォＳを更新する。制御回路３４は、命令キュー３３に命令がある場合（Ｎｏｔ ｅｍｐｔｙ）、実行ステートＳＴ３からデコードステートＳＴ２に遷移する。制御回路３４は、命令キュー３３に命令がない場合（ｅｍｐｔｙ）、実行ステートＳＴ３からアイドルステートＳＴ１に遷移する。
【0089】
［畳み込み演算回路４］
図１０は、畳み込み演算回路４の内部ブロック図である。
畳み込み演算回路４は、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３と、ステートコントローラ４４と、を有する。畳み込み演算回路４は、乗算器４２およびアキュムレータ回路４３に対する専用のステートコントローラ４４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに畳み込み演算を実施できる。
図１０は、畳み込み演算回路４の内部ブロック図である。
畳み込み演算回路４は、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３と、ステートコントローラ４４と、を有する。畳み込み演算回路４は、乗算器４２およびアキュムレータ回路４３に対する専用のステートコントローラ４４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに畳み込み演算を実施できる。
【0090】
重みメモリ４１は、畳み込み演算に用いる重みｗが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、畳み込み演算に必要な重みｗを重みメモリ４１に書き込む。
【0091】
図１１は、乗算器４２の内部ブロック図である。
乗算器４２は、入力ベクトルＡと重みマトリクスＷとを乗算する。入力ベクトルＡは、上述したように、分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ）がｉ、ｊごとに展開されたＢｃ個の要素を持つベクトルデータである。また、重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ、ｄｏ）がｉ、ｊごとに展開されたＢｃ×Ｂｄ個の要素を持つマトリクスデータである。乗算器４２は、Ｂｃ×Ｂｄ個の積和演算ユニット４７を有し、入力ベクトルＡと重みマトリクスＷとを乗算を並列して実施できる。
乗算器４２は、入力ベクトルＡと重みマトリクスＷとを乗算する。入力ベクトルＡは、上述したように、分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ）がｉ、ｊごとに展開されたＢｃ個の要素を持つベクトルデータである。また、重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ、ｄｏ）がｉ、ｊごとに展開されたＢｃ×Ｂｄ個の要素を持つマトリクスデータである。乗算器４２は、Ｂｃ×Ｂｄ個の積和演算ユニット４７を有し、入力ベクトルＡと重みマトリクスＷとを乗算を並列して実施できる。
【0092】
乗算器４２は、乗算に必要な入力ベクトルＡと重みマトリクスＷを、第一メモリ１および重みメモリ４１から読み出して乗算を実施する。乗算器４２は、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を出力する。
【0093】
図１２は、積和演算ユニット４７の内部ブロック図である。
積和演算ユニット４７は、入力ベクトルＡの要素Ａ（ｃｉ）と、重みマトリクスＷの要素Ｗ（ｃｉ，ｄｉ）との乗算を実施する。また、積和演算ユニット４７は、乗算結果と他の積和演算ユニット４７の乗算結果Ｓ（ｃｉ，ｄｉ）と加算する。積和演算ユニット４７は、加算結果Ｓ（ｃｉ＋１，ｄｉ）を出力する。要素Ａ（ｃｉ）は、２ビットの符号なし整数（０，１，２，３）である。要素Ｗ（ｃｉ，ｄｉ）は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
積和演算ユニット４７は、入力ベクトルＡの要素Ａ（ｃｉ）と、重みマトリクスＷの要素Ｗ（ｃｉ，ｄｉ）との乗算を実施する。また、積和演算ユニット４７は、乗算結果と他の積和演算ユニット４７の乗算結果Ｓ（ｃｉ，ｄｉ）と加算する。積和演算ユニット４７は、加算結果Ｓ（ｃｉ＋１，ｄｉ）を出力する。要素Ａ（ｃｉ）は、２ビットの符号なし整数（０，１，２，３）である。要素Ｗ（ｃｉ，ｄｉ）は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。
【0094】
積和演算ユニット４７は、反転器（インバータ）４７ａと、セレクタ４７ｂと、加算器４７ｃと、を有する。積和演算ユニット４７は、乗算器を用いず、反転器４７ａおよびセレクタ４７ｂのみを用いて乗算を行う。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「０」の場合、要素Ａ（ｃｉ）の入力を選択する。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「１」の場合、要素Ａ（ｃｉ）を反転器により反転させた補数を選択する。要素Ｗ（ｃｉ，ｄｉ）は、加算器４７ｃのＣａｒｒｙ－ｉｎにも入力される。加算器４７ｃは、要素Ｗ（ｃｉ，ｄｉ）が「０」のとき、Ｓ（ｃｉ，ｄｉ）に要素Ａ（ｃｉ）を加算した値を出力する。加算器４７ｃは、Ｗ（ｃｉ，ｄｉ）が「１」のとき、Ｓ（ｃｉ，ｄｉ）から要素Ａ（ｃｉ）を減算した値を出力する。
【0095】
図１３は、アキュムレータ回路４３の内部ブロック図である。
アキュムレータ回路４３は、乗算器４２の積和演算結果Ｏ（ｄｉ）を第二メモリ２にアキュムレートする。アキュムレータ回路４３は、Ｂｄ個のアキュムレータユニット４８を有し、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を並列して第二メモリ２にアキュムレートできる。
アキュムレータ回路４３は、乗算器４２の積和演算結果Ｏ（ｄｉ）を第二メモリ２にアキュムレートする。アキュムレータ回路４３は、Ｂｄ個のアキュムレータユニット４８を有し、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を並列して第二メモリ２にアキュムレートできる。
【0096】
図１４は、アキュムレータユニット４８の内部ブロック図である。
アキュムレータユニット４８は、加算器４８ａと、マスク部４８ｂとを有している。加算器４８ａは、積和演算結果Ｏの要素Ｏ（ｄｉ）と、第二メモリ２に格納された式１に示す畳み込み演算の途中経過である部分和と、を加算する。加算結果は、要素あたり１６ビットである。加算結果は、要素あたり１６ビットに限定されず、例えば要素あたり１５ビットや１７ビットであってもよい。
アキュムレータユニット４８は、加算器４８ａと、マスク部４８ｂとを有している。加算器４８ａは、積和演算結果Ｏの要素Ｏ（ｄｉ）と、第二メモリ２に格納された式１に示す畳み込み演算の途中経過である部分和と、を加算する。加算結果は、要素あたり１６ビットである。加算結果は、要素あたり１６ビットに限定されず、例えば要素あたり１５ビットや１７ビットであってもよい。
【0097】
加算器４８ａは、加算結果を第二メモリ２の同一アドレスに書き込む。マスク部４８ｂは、初期化信号ｃｌｅａｒがアサートされた場合に、第二メモリ２からの出力をマスクし、要素Ｏ（ｄｉ）に対する加算対象をゼロにする。初期化信号ｃｌｅａｒは、第二メモリ２に途中経過の部分和が格納されていない場合にアサートされる。
【0098】
乗算器４２およびアキュムレータ回路４３による畳み込み演算が完了すると、第二メモリに、出力データｆ（ｘ，ｙ，ｄｏ）が格納される。
【0099】
ステートコントローラ４４は、乗算器４２およびアキュムレータ回路４３のステートを制御する。また、ステートコントローラ４４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ４４は、命令キュー４５と制御回路４６とを有する。
【0100】
命令キュー４５は、畳み込み演算回路４用の命令コマンドＣ４が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー４５には、内部バスＩＢ経由で命令コマンドＣ４が書き込まれる。
【0101】
制御回路４６は、命令コマンドＣ４をデコードし、命令コマンドＣ４に基づいて乗算器４２およびアキュムレータ回路４３を制御するステートマシンである。制御回路４６は、ＤＭＡＣ３のステートコントローラ３２の制御回路３４と同様の構成である。
【0102】
［量子化演算回路５］
図１５は、量子化演算回路５の内部ブロック図である。
量子化演算回路５は、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３と、ステートコントローラ５４と、を有する。量子化演算回路５は、ベクトル演算回路５２および量子化回路５３に対する専用のステートコントローラ５４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに量子化演算を実施できる。
図１５は、量子化演算回路５の内部ブロック図である。
量子化演算回路５は、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３と、ステートコントローラ５４と、を有する。量子化演算回路５は、ベクトル演算回路５２および量子化回路５３に対する専用のステートコントローラ５４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに量子化演算を実施できる。
【0103】
量子化パラメータメモリ５１は、量子化演算に用いる量子化パラメータｑが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、量子化演算に必要な量子化パラメータｑを量子化パラメータメモリ５１に書き込む。
【0104】
図１６は、ベクトル演算回路５２と量子化回路５３の内部ブロック図である。
ベクトル演算回路５２は、第二メモリ２に格納された出力データｆ（ｘ，ｙ，ｄｏ）に対して演算を行う。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７を有し、出力データｆ（ｘ，ｙ，ｄｏ）に対して並列にＳＩＭＤ演算を行う。
ベクトル演算回路５２は、第二メモリ２に格納された出力データｆ（ｘ，ｙ，ｄｏ）に対して演算を行う。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７を有し、出力データｆ（ｘ，ｙ，ｄｏ）に対して並列にＳＩＭＤ演算を行う。
【0105】
図１７は、演算ユニット５７のブロック図である。
演算ユニット５７は、例えば、ＡＬＵ５７ａと、第一セレクタ５７ｂと、第二セレクタ５７ｃと、レジスタ５７ｄと、シフタ５７ｅと、を有する。演算ユニット５７は、公知の汎用ＳＩＭＤ演算回路が有する他の演算器等をさらに有してもよい。
演算ユニット５７は、例えば、ＡＬＵ５７ａと、第一セレクタ５７ｂと、第二セレクタ５７ｃと、レジスタ５７ｄと、シフタ５７ｅと、を有する。演算ユニット５７は、公知の汎用ＳＩＭＤ演算回路が有する他の演算器等をさらに有してもよい。
【0106】
ベクトル演算回路５２は、演算ユニット５７が有する演算器等を組み合わせることで、出力データｆ（ｘ，ｙ，ｄｏ）に対して、量子化演算層２２０におけるプーリング層２２１や、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２や、活性化関数層２２３の演算のうち少なくとも一つの演算を行う。
【0107】
演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより加算できる。演算ユニット５７は、ＡＬＵ５７ａによる加算結果をレジスタ５７ｄに格納できる。演算ユニット５７は、第一セレクタ５７ｂの選択によりレジスタ５７ｄに格納されたデータに代えて「０」をＡＬＵ５７ａに入力することで加算結果を初期化できる。例えばプーリング領域が２×２である場合、シフタ５７ｅはＡＬＵ５７ａの出力を２ｂｉｔ右シフトすることで加算結果の平均値を出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式２に示す平均プーリングの演算を実施できる。
【0108】
演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより比較できる。
演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて第二セレクタ５７ｃを制御して、レジスタ５７ｄに格納されたデータと要素ｆ（ｄｉ）の大きい方を選択できる。演算ユニット５７は、第一セレクタ５７ｂの選択により要素ｆ（ｄｉ）の取りうる値の最小値をＡＬＵ５７ａに入力することで比較対象を最小値に初期化できる。本実施形態において要素ｆ（ｄｉ）は１６ｂｉｔ符号付き整数であるので、要素ｆ（ｄｉ）の取りうる値の最小値は「０ｘ８０００」である。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式３のＭＡＸプーリングの演算を実施できる。なお、ＭＡＸプーリングの演算ではシフタ５７ｅは第二セレクタ５７ｃの出力をシフトしない。
演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて第二セレクタ５７ｃを制御して、レジスタ５７ｄに格納されたデータと要素ｆ（ｄｉ）の大きい方を選択できる。演算ユニット５７は、第一セレクタ５７ｂの選択により要素ｆ（ｄｉ）の取りうる値の最小値をＡＬＵ５７ａに入力することで比較対象を最小値に初期化できる。本実施形態において要素ｆ（ｄｉ）は１６ｂｉｔ符号付き整数であるので、要素ｆ（ｄｉ）の取りうる値の最小値は「０ｘ８０００」である。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式３のＭＡＸプーリングの演算を実施できる。なお、ＭＡＸプーリングの演算ではシフタ５７ｅは第二セレクタ５７ｃの出力をシフトしない。
【0109】
演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより減算できる。シフタ５７ｅはＡＬＵ５７ａの出力を左シフト（すなわち乗算）もしくは右シフト（すなわち除算）できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式４のＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を実施できる。
【0110】
演算ユニット５７は、第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）と第一セレクタ５７ｂにより選択された「０」とをＡＬＵ５７ａにより比較できる。演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて要素ｆ（ｄｉ）と予めレジスタ５７ｄに格納された定数値「０」のいずれかを選択して出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式５のＲｅＬＵ演算を実施できる。
【0111】
ベクトル演算回路５２は、平均プーリング、ＭＡＸプーリング、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数の演算およびこれらの演算の組み合わせを実施できる。ベクトル演算回路５２は、汎用ＳＩＭＤ演算を実施できるため、量子化演算層２２０における演算に必要な他の演算を実施してもよい。また、ベクトル演算回路５２は、量子化演算層２２０における演算以外の演算を実施してもよい。
【0112】
なお、量子化演算回路５は、ベクトル演算回路５２を有してなくてもよい。量子化演算回路５がベクトル演算回路５２を有していない場合、出力データｆ（ｘ，ｙ，ｄｏ）は量子化回路５３に入力される。
【0113】
量子化回路５３は、ベクトル演算回路５２の出力データに対して、量子化を行う。量子化回路５３は、図１６に示すように、Ｂｄ個の量子化ユニット５８を有し、ベクトル演算回路５２の出力データに対して並列に演算を行う。
【0114】
図１８は、量子化ユニット５８の内部ブロック図である。
量子化ユニット５８は、ベクトル演算回路５２の出力データの要素ｉｎ（ｄｉ）に対して量子化を行う。量子化ユニット５８は、比較器５８ａと、エンコーダ５８ｂと、を有する。量子化ユニット５８はベクトル演算回路５２の出力データ（１６ビット／要素）に対して、量子化演算層２２０における量子化層２２４の演算（式６）を行う。量子化ユニット５８は、量子化パラメータメモリ５１から必要な量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）を読み出し、比較器５８ａにより入力ｉｎ（ｄｉ）と量子化パラメータｑとの比較を行う。量子化ユニット５８は、比較器５８ａによる比較結果をエンコーダ５８ｂにより２ビット／要素にエンコードしたｏｕｔ（ｄｉ）を出力する。式４におけるα(c)とβ(c)は、変数ｃごとに異なるパラメータであるため、α(c)とβ(c)を反映する量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）はｉｎ（ｄｉ）ごとに異なるパラメータである。
量子化ユニット５８は、ベクトル演算回路５２の出力データの要素ｉｎ（ｄｉ）に対して量子化を行う。量子化ユニット５８は、比較器５８ａと、エンコーダ５８ｂと、を有する。量子化ユニット５８はベクトル演算回路５２の出力データ（１６ビット／要素）に対して、量子化演算層２２０における量子化層２２４の演算（式６）を行う。量子化ユニット５８は、量子化パラメータメモリ５１から必要な量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）を読み出し、比較器５８ａにより入力ｉｎ（ｄｉ）と量子化パラメータｑとの比較を行う。量子化ユニット５８は、比較器５８ａによる比較結果をエンコーダ５８ｂにより２ビット／要素にエンコードしたｏｕｔ（ｄｉ）を出力する。式４におけるα(c)とβ(c)は、変数ｃごとに異なるパラメータであるため、α(c)とβ(c)を反映する量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）はｉｎ（ｄｉ）ごとに異なるパラメータである。
【0115】
量子化ユニット５８は、入力ｉｎ（ｄｉ）を３つの閾値ｔｈ０，ｔｈ１，ｔｈ２と比較することにより、入力ｉｎ（ｄｉ）を４領域（例えば、ｉｎ≦ｔｈ０，ｔｈ０＜ｉｎ≦ｔｈ１，ｔｈ１＜ｉｎ≦ｔｈ２，ｔｈ２＜ｉｎ）に分類し、分類結果を２ビットにエンコードして出力する。量子化ユニット５８は、量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）の設定により、量子化と併せてＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎや活性化関数の演算を行うこともできる。
【0116】
量子化ユニット５８は、閾値ｔｈ０を式４のβ(c)、閾値の差（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を式４のα(c)として設定して量子化を行うことで、式４に示すＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を量子化と併せて実施できる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を大きくすることでα(c)を小さくできる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を小さくすることで、α(c)を大きくできる。
【0117】
量子化ユニット５８は、入力ｉｎ（ｄｉ）の量子化と併せて活性化関数のＲｅＬＵ演算を実施できる。例えば、量子化ユニット５８は、ｉｎ（ｄｉ）≦ｔｈ０およびｔｈ２＜ｉｎ（ｄｉ）となる領域では出力値を飽和させる。量子化ユニット５８は、出力が非線形とするように量子化パラメータｑを設定することで活性化関数の演算を量子化と併せて実施できる。
【0118】
ステートコントローラ５４は、ベクトル演算回路５２および量子化回路５３のステートを制御する。また、ステートコントローラ５４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ５４は、命令キュー５５と制御回路５６とを有する。
【0119】
命令キュー５５は、量子化演算回路５用の命令コマンドＣ５が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー５５には、内部バスＩＢ経由で命令コマンドＣ５が書き込まれる。
【0120】
制御回路５６は、命令コマンドＣ５をデコードし、命令コマンドＣ５に基づいてベクトル演算回路５２および量子化回路５３を制御するステートマシンである。制御回路５６は、ＤＭＡＣ３のステートコントローラ３２の制御回路３４と同様の構成である。
【0121】
量子化演算回路５は、Ｂｄ個の要素を持つ量子化演算出力データを第一メモリ１に書き込む。なお、ＢｄとＢｃの好適な関係を式１０に示す。式１０においてｎは整数である。
【0122】
【数10】
【0123】
［コントローラ６］
コントローラ６は、外部ホストＣＰＵから転送される命令コマンドを、ＤＭＡＣ３、畳み込み演算回路４および量子化演算回路５が有する命令キューに転送する。コントローラ６は、各回路に対する命令コマンドを格納する命令メモリを有してもよい。
コントローラ６は、外部ホストＣＰＵから転送される命令コマンドを、ＤＭＡＣ３、畳み込み演算回路４および量子化演算回路５が有する命令キューに転送する。コントローラ６は、各回路に対する命令コマンドを格納する命令メモリを有してもよい。
【0124】
コントローラ６は、外部バスＥＢに接続されており、外部ホストＣＰＵのスレーブとして動作する。コントローラ６は、パラメータレジスタや状態レジスタを含むレジスタ６１を有している。パラメータレジスタは、ＮＮ回路１００の動作を制御するレジスタである。状態レジスタは、セマフォＳを含むＮＮ回路１００の状態を示すレジスタである。
【0125】
［ニューラルネットワーク学習装置３００の動作］
次に、ニューラルネットワーク学習装置３００の動作（ニューラルネットワーク学習方法）を、図１９に示すニューラルネットワーク学習装置３００の制御フローチャートに沿って説明する。ニューラルネットワーク学習装置３００は初期化処理を実施した後、ステップＳ１１を実行する。
次に、ニューラルネットワーク学習装置３００の動作（ニューラルネットワーク学習方法）を、図１９に示すニューラルネットワーク学習装置３００の制御フローチャートに沿って説明する。ニューラルネットワーク学習装置３００は初期化処理を実施した後、ステップＳ１１を実行する。
【0126】
＜ニューラルネットワーク機能モデル生成工程（Ｓ１１）＞
ステップＳ１１において、ニューラルネットワーク学習装置３００の機能モデル生成部３２６は、ＣＮＮ２００を生成し、ＣＮＮ２００に関する情報であるネットワーク情報ＮＷ１を出力する（ニューラルネットワーク機能モデル生成工程）。例えば、機能モデル生成部３２６は、表示部３５０にＣＮＮ２００の設定するＧＵＩ画像を表示させ、使用者に操作入力部３６０から必要な情報を入力させることでＣＮＮ２００を生成する。
ステップＳ１１において、ニューラルネットワーク学習装置３００の機能モデル生成部３２６は、ＣＮＮ２００を生成し、ＣＮＮ２００に関する情報であるネットワーク情報ＮＷ１を出力する（ニューラルネットワーク機能モデル生成工程）。例えば、機能モデル生成部３２６は、表示部３５０にＣＮＮ２００の設定するＧＵＩ画像を表示させ、使用者に操作入力部３６０から必要な情報を入力させることでＣＮＮ２００を生成する。
【0127】
機能モデル生成部３２６は、公知のニューラルネットワークの機能モデルを生成可能なライブラリやプラットホーム（例えばTensorFlowやPyTorch）を含んでもよい。
【0128】
図２０は、ＮＮ機能モデル２００を設定するＧＵＩ画像例を示す図である。
機能モデル生成部３２６は、操作入力部３６０から使用者の入力に基づいて、ＣＮＮ２００（ＮＮ機能モデル２００）におけるネットワークの構造や層（レイヤ）ごとの仕様を設定する。例えば、使用者は、ＧＵＩ画像として表示される視覚的に図式化された層（レイヤ）の接続を繋ぎ変えることで、ＮＮ機能モデル２００のネットワークの構造を変更する。また、使用者は、ＧＵＩ画像として表示される視覚的に図式化された層（レイヤ）ごとの仕様（入力データ情報、出力データ情報、量子化情報など）を変更する。例えば、使用者は、量子化演算層２２０において、プーリング層２２１と、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２と、活性化関数層２２３と、量子化層２２４との接続を繋ぎ変えることができる。
機能モデル生成部３２６は、操作入力部３６０から使用者の入力に基づいて、ＣＮＮ２００（ＮＮ機能モデル２００）におけるネットワークの構造や層（レイヤ）ごとの仕様を設定する。例えば、使用者は、ＧＵＩ画像として表示される視覚的に図式化された層（レイヤ）の接続を繋ぎ変えることで、ＮＮ機能モデル２００のネットワークの構造を変更する。また、使用者は、ＧＵＩ画像として表示される視覚的に図式化された層（レイヤ）ごとの仕様（入力データ情報、出力データ情報、量子化情報など）を変更する。例えば、使用者は、量子化演算層２２０において、プーリング層２２１と、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２と、活性化関数層２２３と、量子化層２２４との接続を繋ぎ変えることができる。
【0129】
なお、ＣＮＮ２００（ＮＮ機能モデル２００）におけるネットワークの構造や層（レイヤ）ごとの仕様は、図２０に例示するような視覚的に図式化されたもので記述されていなくてもよい。ＣＮＮ２００におけるネットワークの構造や層（レイヤ）ごとの仕様は、プログラム言語やＸＭＬ等により記述されていてもよい。
【0130】
機能モデル生成部３２６が生成するＣＮＮ２００（ＮＮ機能モデル２００）は、ニューラルネットワーク学習装置３００の演算部３２０（学習部３２２および推論部３２３）において、学習および推論の演算を実施可能なニューラルネットワーク機能モデルである。ニューラルネットワーク学習装置３００の演算部３２０は、ＮＮ回路１００が備える演算回路より高性能な演算回路を含んでおり、例えばＣＰＵやＧＰＵや専用ハードウェアなどである。そのため、機能モデル生成部３２６が生成するＣＮＮ２００は、ＮＮ回路１００において実施可能な演算に変換可能な演算ブロック（以降、「変換可能演算ブロック」ともいう）と、ＮＮ回路１００において実施可能な演算に変換不可能な演算ブロック（以降、「変換不可能演算ブロック」ともいう）と、を含み得る。ここで、演算ブロックとは、ＣＮＮ２００において連続する複数の演算である。
【0131】
ＣＮＮ２００（ＮＮ機能モデル２００）がＮＮ回路１００により効率的に推論演算されるために、機能モデル生成部３２６はＮＮ回路１００において実施可能な演算に変換可能な演算ブロック（変換可能演算ブロック）をより多く生成することが望ましい。
【0132】
図２０に示すように、ＣＮＮ２００（ＮＮ機能モデル２００）の部分であって、畳み込み演算から量子化演算までの演算ブロックを「量子化畳み込み演算ブロックＱＣ」と定義する。ＣＮＮ２００の少なくとも一部は、複数の量子化畳み込み演算ブロックＱＣが連結することにより構成される。
【0133】
図２１は、ＮＮ回路１００における推論演算ブロックＥＢを示す図である。
ループ状に形成されたＮＮ回路１００において、第一メモリ１と畳み込み演算回路４と第二メモリ２と量子化演算回路５とで形成されるループ状の演算ブロックを「推論演算ブロックＥＢ」と定義する。
ループ状に形成されたＮＮ回路１００において、第一メモリ１と畳み込み演算回路４と第二メモリ２と量子化演算回路５とで形成されるループ状の演算ブロックを「推論演算ブロックＥＢ」と定義する。
【0134】
図２１に示す「Ｃ」は、畳み込み演算回路４における積和演算ユニット４７の演算を表している。図２１に示す「ＡＷ」は、入力ベクトルＡと重みマトリックスＷとを乗算したデータであって、要素あたり１６ビット整数のベクトルデータである。
【0135】
図２１に示す「Ｑ」は、量子化演算回路５における量子化回路５３の演算を表している。図２１に示す「Ｕ」は、ＡＷを量子化したデータであって、要素あたり２ビット整数のベクトルデータである。なお、図２１に例示する推論演算ブロックＥＢは、ニューラルネットワーク学習装置３００の機能の説明を簡略化するため、量子化回路５３におけるベクトル演算回路５２を省略している。
【0136】
なお、図２１に例示する推論演算ブロックＥＢにおける演算環境（演算精度、データフォーマット、演算順序等）は、図６に例示するＮＮ回路１００における演算環境（演算精度、データフォーマット、演算順序等）に一致する。ＮＮ回路１００における演算環境が変更された場合、推論演算ブロックＥＢにおける演算環境は、ＮＮ回路１００における演算環境に応じて変更される。
【0137】
図２２は、ＣＮＮ２００における量子化畳み込み演算ブロックＱＣを示す図である。
図２２に示す量子化畳み込み演算ブロックＱＣは、変換可能演算ブロックとして構成されており、入力ベクトルＡと重みマトリクスＷが入力され、要素あたり２ビットに量子化された出力ベクトルＵを出力する。
図２２に示す量子化畳み込み演算ブロックＱＣは、変換可能演算ブロックとして構成されており、入力ベクトルＡと重みマトリクスＷが入力され、要素あたり２ビットに量子化された出力ベクトルＵを出力する。
【0138】
図２２に示す「Ｘ１」は、浮動小数点フォーマットの第一スケーリング係数（第一スケーリングファクタ）Ｓａ１，Ｓｂ１を係数とするアフィン変換演算を入力ベクトルＡに対して実行し（Ｓａ１×Ａ＋Ｓｂ１）、浮動小数点フォーマットのベクトルデータＡｓを出力する演算（量子化後のポストスケーラ）を示している。量子化畳み込み演算ブロックＱＣを変換可能演算ブロックとして構成する場合、入力データは要素あたり２ビットの入力ベクトルＡに限定される。この場合であっても、入力ベクトルＡに第一スケーリング係数Ｓａ１，Ｓｂ１を係数とするアフィン変換を実施することで、入力データの精度低下を抑制できる。
【0139】
図２２に示す「Ｘ２」は、浮動小数点形フォーマットの第二スケーリング係数（第二スケーリングファクタ）Ｓａ２，Ｓｂ２を係数とするアフィン変換演算を重みマトリックスＷに対して実行し（Ｓａ２×Ｗ＋Ｓｂ２）、浮動小数点フォーマットのマトリクスデータＷｓを出力する演算を示している。量子化畳み込み演算ブロックＱＣを変換可能演算ブロックとして構成する場合、重みは要素あたり１ビットの重みマトリックスＷに限定される。この場合であっても、重みマトリックスＷにスケーリング係数Ｓａ２，Ｓｂ２を係数とするアフィン変換を実行することで、重みの精度低下を抑制できる。
【0140】
図２２に示す「Ｃｆ」は、ＡｓとＷｓとを乗算して、浮動小数点フォーマットのベクトルデータＡＷｓを出力する畳み込み演算を示している。
【0141】
図２２に示す「Ｘ３」は、浮動小数点フォーマットの第三スケーリング係数（第三スケーリングファクタ）Ｓａ３，Ｓｂ３を係数とするアフィン変換演算をベクトルデータＡＷｓに実行して（Ｓａ３×ＡＷｓ＋Ｓｂ３）、浮動小数点フォーマットのベクトルデータＡＷｓｓを出力する演算（量子化前のプリスケーラ）を示している。例えば、「Ｘ３」は、「Ｘ１」（量子化後のポストスケーラ）に対応するプリスケーラである。
【0142】
図２２に示す「Ｑｆ」は、量子化パラメータｑｆ（ｔｈｆ０，ｔｈｆ１，ｔｈｆ２）に基づいて、浮動小数点フォーマットのベクトルデータＡＷｓｓを量子化して、要素あたり２ビット整数のベクトルデータＵを出力する量子化演算を示している。量子化パラメータｑｆは、浮動小数点フォーマットの閾値（ｔｈｆ０，ｔｈｆ１，ｔｈｆ２）である。量子化畳み込み演算ブロックＱＣを変換可能演算ブロックとして構成する場合、出力データは要素あたり２ビットのベクトルデータＵに限定される。
【0143】
図２２に示す量子化畳み込み演算ブロックＱＣは、スケーリング係数（Ｓａ１，Ｓｂ１，Ｓａ２，Ｓｂ２，Ｓａ３，Ｓｂ３）を量子化演算Ｑｆにおける量子化パラメータｑｆ（ｔｈｆ０，ｔｈｆ１，ｔｈｆ２）に組み込んで集約させることにより、推論演算ブロックＥＢにおいて実施可能な演算に変換可能な変換可能演算ブロックとして扱うことができる。例えば、Ｓａ１が1.5であり、Ｓａ２が2.0であり、Ｓａ３が1.1である場合、量子化演算Ｑにおける量子化パラメータｑｆ（ｔｈｆ０，ｔｈｆ１，ｔｈｆ２）を本来の量子化パラメータの1/3.3倍の値に更新することで、スケーリング係数が量子化パラメータｑｆに集約される。
【0144】
量子化畳み込み演算ブロックＱＣは、他の種類の演算Ｐが追加された場合であっても、演算Ｐに種別により変換可能演算ブロックとして構成することができる。例えば、上述したように、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎや活性化関数の演算は、量子化パラメータｑｆ（ｔｈｆ０，ｔｈｆ１，ｔｈｆ２）に組み込んで集約させることができる。また、畳み込み演算結果に対するバイアス値の加算は、量子化パラメータｑｆからバイアス値を減算することにより、量子化パラメータｑｆに組み込んで集約させることができる。そのため、量子化畳み込み演算ブロックＱＣは、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎや活性化関数やバイアス値の加算等の他の種類の演算Ｐが追加されて場合であっても、変換可能演算ブロックとして構成することができる。演算Ｐが量子化パラメータｑｆに組み込んで集約させることができない演算である場合、演算Ｐを含む演算部ブロックは変換不可能演算ブロックとなる。
【0145】
演算Ｐが複数の浮動小数点演算を含む場合、複数の浮動小数点演算は丸め誤差が発生しにくい順序で実施されることが望ましい。丸め誤差が発生しやすいと、後述する丸め誤差のばらつきに起因する、量子化畳み込み演算ブロックＱＣによる演算結果と推論演算ブロックＥＢによる演算結果との誤差が発生しやすくなるからである。
【0146】
＜ネットワーク情報取得工程（Ｓ１２）＞
ステップＳ１２において、ニューラルネットワーク学習装置３００は、ニューラルネットワーク生成工程（Ｓ１０）で生成されたＣＮＮ２００のネットワーク情報ＮＷを取得する（ネットワーク情報取得工程）。ネットワーク情報ＮＷが他の装置で生成された場合、ニューラルネットワーク学習装置３００は、他の装置で生成されたネットワーク情報ＮＷを取得する。
ステップＳ１２において、ニューラルネットワーク学習装置３００は、ニューラルネットワーク生成工程（Ｓ１０）で生成されたＣＮＮ２００のネットワーク情報ＮＷを取得する（ネットワーク情報取得工程）。ネットワーク情報ＮＷが他の装置で生成された場合、ニューラルネットワーク学習装置３００は、他の装置で生成されたネットワーク情報ＮＷを取得する。
【0147】
取得されたネットワーク情報ＮＷは、記憶部３１０に記憶される。次に、ニューラルネットワーク学習装置３００は、ステップＳ１３を実行する。
【0148】
＜学習工程（Ｓ１３）＞
図２３は、学習工程のフローチャートである。
ステップＳ１３において、ニューラルネットワーク学習装置３００の学習部３２２および推論部３２３は、学習データセットＤＳを用いて、生成されたＣＮＮ２００（ＮＮ機能モデル２００）の学習パラメータを学習する（学習工程）。学習工程（Ｓ１３）は、例えば、学習済みパラメータ生成工程（Ｓ１３－１）と、禁制帯確認工程（Ｓ１３－２）と、推論テスト工程（Ｓ１３－３）と、を有する。
図２３は、学習工程のフローチャートである。
ステップＳ１３において、ニューラルネットワーク学習装置３００の学習部３２２および推論部３２３は、学習データセットＤＳを用いて、生成されたＣＮＮ２００（ＮＮ機能モデル２００）の学習パラメータを学習する（学習工程）。学習工程（Ｓ１３）は、例えば、学習済みパラメータ生成工程（Ｓ１３－１）と、禁制帯確認工程（Ｓ１３－２）と、推論テスト工程（Ｓ１３－３）と、を有する。
【0149】
＜学習工程：学習済みパラメータ生成工程（Ｓ１３－１）＞
学習部３２２は、ＣＮＮ２００の構成や機能を定義するネットワーク情報ＮＷ１および学習データＤ１を用いて、学習済みパラメータＰＭを生成する。学習済みパラメータＰＭは、重みｗ、量子化パラメータｑｆ、スケーリング係数（Ｓａ１，Ｓａ２，Ｓａ３）等である。
学習部３２２は、ＣＮＮ２００の構成や機能を定義するネットワーク情報ＮＷ１および学習データＤ１を用いて、学習済みパラメータＰＭを生成する。学習済みパラメータＰＭは、重みｗ、量子化パラメータｑｆ、スケーリング係数（Ｓａ１，Ｓａ２，Ｓａ３）等である。
【0150】
例えば、ＣＮＮ２００が画像認識を実施するニューラルネットワークのモデルである場合、学習データＤ１は入力画像と教師データＴとの組み合わせである。入力画像は、ＣＮＮ２００に入力される入力データａである。教師データＴは、画像に撮像された被写体の種類や、画像における検出対象物の有無や、画像における検出対象物の座標値などである。
【0151】
学習部３２２は、公知の技術である誤差逆伝播法などによる教師あり学習によって、学習済みパラメータＰＭを生成する。学習部３２２は、入力画像に対するＣＮＮ２００（ＮＮ機能モデル２００）の出力と、入力画像に対応する教師データＴと、の差分Ｅを損失関数（誤差関数）により求め、差分Ｅが小さくなるように重みｗ、量子化パラメータｑｆおよびスケーリング係数等を更新する。学習部３２２は、上述したようにスケーリング係数や演算Ｐ（量子化パラメータｑｆに集約可能な演算Ｐ）を量子化パラメータｑｆに集約させて、最終的な量子化パラメータｑｆを決定する。
【0152】
例えば重みｗを更新する場合、重みｗに関する損失関数の勾配が用いられる。勾配は、例えば損失関数を微分することにより算出される。誤差逆伝播法を用いる場合、勾配は逆伝番（ｂａｃｋｗａｒｄ）により算出される。
【0153】
＜学習工程：禁制帯確認工程（Ｓ１３－２）＞
図２４は、量子化パラメータｑｆの禁制帯Ｐを示す図である。
学習部３２２は、生成された量子化パラメータｑｆが禁制帯Ｐに含まれているかを判定する。禁制帯Ｐは、整数値±許容誤差ＴＥの数値範囲である。許容誤差ＴＥは、計算機イプシロンや、１ｅ－５や、１ｅ－１０などの限りなくゼロに近い値である。
図２４は、量子化パラメータｑｆの禁制帯Ｐを示す図である。
学習部３２２は、生成された量子化パラメータｑｆが禁制帯Ｐに含まれているかを判定する。禁制帯Ｐは、整数値±許容誤差ＴＥの数値範囲である。許容誤差ＴＥは、計算機イプシロンや、１ｅ－５や、１ｅ－１０などの限りなくゼロに近い値である。
【0154】
推論演算ブロックＥＢにおける畳み込み演算Ｃは、整数演算であるため誤差は発生しない。論理的に「９５」となる演算結果は、全て「９５」となる。量子化パラメータｑの閾値（ｔｈ０、ｔｈ１、ｔｈ２）も整数であるため、量子化演算においても誤差は発生しない。
【0155】
一方、量子化畳み込み演算ブロックＱＣにおけるアフィン変換演算（Ｘ１、Ｘ２およびＸ３）および畳み込み演算Ｃｆ等は、浮動小数点演算であるため演算結果に丸め誤差のばらつきが生じる。例えば図２４に示すように、論理的には「９５」となる演算結果は、丸め誤差のばらつきにより、例えば｛94.9912、94.9985、94.9997、95.0001、95.0024、95.0086｝となり得る。量子化パラメータｑｆの一つである閾値ｔｈｆ０が95.0002である場合、上記の６個の演算結果を量子化した量子化データは｛0、0、0、0、1、1｝となり、全て同じ値とならない。
【0156】
このように、推論演算ブロックＥＢと量子化畳み込み演算ブロックＱＣとでは、論理的に「整数値」となる演算結果を閾値により量子化した量子化データに不一致が生じ得る。このような不一致が生じた場合、量子化畳み込み演算ブロックＱＣによる演算結果と推論演算ブロックＥＢによる演算結果とに誤差が生じてしまう。このような誤差が発生すると、量子化畳み込み演算ブロックＱＣによる学習演算の結果と、畳み込み演算の結果が整数値に量子化される推論演算ブロックＥＢによる推論演算の結果と、が一致しない場合がある。
【0157】
そこで、学習部３２２は、量子化畳み込み演算ブロックＱＣにおける演算環境（演算精度、データフォーマット、演算順序等）と、推論演算ブロックＥＢにおける演算環境（演算精度、データフォーマット、演算順序等）との違いに基づいて発生する誤差を事前に取得し、誤差が低減されるように量子化パラメータｑｆを更新してもよい。ここで、学習部３２２は、上記の演算環境の違いを認識するために、推論演算ブロックＥＢにおける演算環境を把握する必要がある。例えば、学習部３２２は、ＮＮ回路１００に関する設計パラメータが設定された設定ファイル等を取得して、推論演算ブロックＥＢにおける演算環境を把握してもよい。また、学習部３２２は、表示部３５０にＮＮ回路１００に関する設計パラメータを設定するＧＵＩ画像やコンソール画像を表示させ、使用者に操作入力部３６０から必要な情報を入力させて、推論演算ブロックＥＢにおける演算環境を把握してもよい。
【0158】
また、学習部３２２は、量子化パラメータｑｆが取りうる範囲に禁制帯Ｐを設けてもよい。学習部３２２は、量子化畳み込み演算ブロックＱＣにおいて、丸め誤差のばらつきが許容誤差ＴＥの範囲で蓄積されると想定する。学習部３２２は、整数値±許容誤差ＴＥの数値範囲である禁制帯Ｐに量子化パラメータｑｆが含まれる場合、量子化パラメータｑｆを量子化データの不一致を生じさせる可能性があるパラメータであるとして、量子化パラメータとして採用しない。
【0159】
禁制帯Ｐに量子化パラメータｑｆが含まれる場合、学習部３２２は、学習済みパラメータ生成工程（Ｓ１３－１）を再実行して、新たな量子化パラメータｑｆを生成する。学習部３２２は、スケーリング係数や演算Ｐ（量子化パラメータｑｆに集約可能な演算Ｐ）を量子化パラメータｑｆに集約させる際の浮動小数点演算の順序を変えて新たな量子化パラメータｑｆを生成してもよい。学習部３２２は、禁制帯Ｐに量子化パラメータｑｆが含まれなくなるまでこれらの処理を実行する。
【0160】
禁制帯Ｐは、例えば、量子化畳み込み演算ブロックＱＣにおける演算環境（演算精度、データフォーマット、演算順序等）、推論演算ブロックＥＢにおける演算環境（演算精度、データフォーマット、演算順序等）、許容可能な誤差範囲などに応じて事前に適宜決定される。
【0161】
なお、図２２に例示する量子化畳み込み演算ブロックＱＣは浮動小数点演算を実施する演算ブロックであるが、量子化畳み込み演算ブロックＱＣの演算環境はこれに限定されない。例えば、量子化畳み込み演算ブロックＱＣは整数演算を実施する演算ブロックであってもよい。この場合、上述した量子化畳み込み演算ブロックＱＣによる演算結果と推論演算ブロックＥＢによる演算結果とに誤差は発生しない。例えば、量子化畳み込み演算ブロックＱＣは、浮動小数点フォーマットのデータ（スケーリング係数など）の小数部をゼロとして、データを整数値として整数演算を実施する。
【0162】
学習部３２２は、整数値±許容誤差ＴＥの数値範囲である禁制帯Ｐに量子化パラメータｑｆが含まれない場合、次に推論テスト工程（Ｓ１３－３）を実行する。
【0163】
＜学習工程：推論テスト工程（Ｓ１３－３）＞
推論部３２３は、学習部３２２が生成した学習済みパラメータＰＭおよびテストデータＤ２を用いて推論テストを実施する。例えば、ＣＮＮ２００が画像認識を実施するニューラルネットワークのモデルである場合、テストデータＤ２は、学習データＤ１同様に入力画像と教師データＴとの組み合わせである。
推論部３２３は、学習部３２２が生成した学習済みパラメータＰＭおよびテストデータＤ２を用いて推論テストを実施する。例えば、ＣＮＮ２００が画像認識を実施するニューラルネットワークのモデルである場合、テストデータＤ２は、学習データＤ１同様に入力画像と教師データＴとの組み合わせである。
【0164】
推論部３２３は、推論テストの進捗および結果を表示部３５０に表示する。推論テストの結果は、例えばテストデータＤ２に対する正解率である。
【0165】
＜確認工程（Ｓ１４）＞
ステップＳ１４において、ニューラルネットワーク学習装置３００の推論部３２３は、操作入力部３６０から結果に関する確認を入力することを使用者に促すメッセージや情報入力に必要なＧＵＩ画像を表示部３５０に表示させる。使用者は、推論テストの結果を許容するかを、操作入力部３６０から入力する。使用者が推論テストの結果を許容することを示す入力が操作入力部３６０から入力された場合、ニューラルネットワーク学習装置３００は、次にステップＳ１５を実施する。使用者が推論テストの結果を許容しないことを示す入力が操作入力部３６０から入力された場合、ニューラルネットワーク学習装置３００は、再度ステップＳ１１を実施してＣＮＮ２００（ＮＮ機能モデル２００）を再生成して、ネットワーク情報ＮＷを再出力する（ニューラルネットワーク機能モデル再生成工程）。使用者は、再度実施するステップＳ１１において、例えば、量子化情報（レイヤごとの量子化の有無など）や入力データ情報（チャンネル数など）を変更する。
ステップＳ１４において、ニューラルネットワーク学習装置３００の推論部３２３は、操作入力部３６０から結果に関する確認を入力することを使用者に促すメッセージや情報入力に必要なＧＵＩ画像を表示部３５０に表示させる。使用者は、推論テストの結果を許容するかを、操作入力部３６０から入力する。使用者が推論テストの結果を許容することを示す入力が操作入力部３６０から入力された場合、ニューラルネットワーク学習装置３００は、次にステップＳ１５を実施する。使用者が推論テストの結果を許容しないことを示す入力が操作入力部３６０から入力された場合、ニューラルネットワーク学習装置３００は、再度ステップＳ１１を実施してＣＮＮ２００（ＮＮ機能モデル２００）を再生成して、ネットワーク情報ＮＷを再出力する（ニューラルネットワーク機能モデル再生成工程）。使用者は、再度実施するステップＳ１１において、例えば、量子化情報（レイヤごとの量子化の有無など）や入力データ情報（チャンネル数など）を変更する。
【0166】
＜ソフトウェア生成工程（Ｓ１５）＞
ステップＳ１５において、ニューラルネットワーク学習装置３００のソフトウェア生成部３２５は、ＣＮＮ２００の構成や機能を定義するネットワーク情報ＮＷ１および推論ネットワーク情報ＮＷ２に基づいて、ＮＮ回路１００を動作させるソフトウェア５００を生成する。ソフトウェア５００は、例えばＮＮ回路１００を制御する命令セットを使用したソフトウェアである。また、ソフトウェア５００は、学習済みパラメータＰＭを必要に応じてＮＮ回路１００へ転送するソフトウェアを含む。
ステップＳ１５において、ニューラルネットワーク学習装置３００のソフトウェア生成部３２５は、ＣＮＮ２００の構成や機能を定義するネットワーク情報ＮＷ１および推論ネットワーク情報ＮＷ２に基づいて、ＮＮ回路１００を動作させるソフトウェア５００を生成する。ソフトウェア５００は、例えばＮＮ回路１００を制御する命令セットを使用したソフトウェアである。また、ソフトウェア５００は、学習済みパラメータＰＭを必要に応じてＮＮ回路１００へ転送するソフトウェアを含む。
【0167】
ソフトウェア生成工程（Ｓ１５）は、例えば、コンバート工程（Ｓ１５－１）と、アロケーション工程（Ｓ１５－２）と、を有する。
【0168】
＜コンバート工程（Ｓ１５－１）＞
ソフトウェア生成部３２５は、ＮＮ回路１００が実行する推論演算に関する情報である推論ネットワーク情報ＮＷ２に基づいて、ＮＮ機能モデル２００をＮＮ回路１００でＮＮ回路１００において実施可能な演算に変換可能な演算ブロックに変換する。また、ソフトウェア生成部３２５は、変換した演算ブロックの演算をＮＮ回路１００等に実行させるソフトウェア５００を生成する。
ソフトウェア生成部３２５は、ＮＮ回路１００が実行する推論演算に関する情報である推論ネットワーク情報ＮＷ２に基づいて、ＮＮ機能モデル２００をＮＮ回路１００でＮＮ回路１００において実施可能な演算に変換可能な演算ブロックに変換する。また、ソフトウェア生成部３２５は、変換した演算ブロックの演算をＮＮ回路１００等に実行させるソフトウェア５００を生成する。
【0169】
変換可能演算ブロックとして構成された量子化畳み込み演算ブロックＱＣは、変換した演算ブロックの演算を、ＮＮ回路１００において実行させるソフトウェア５００に変換される。学習工程において生成および更新された量子化パラメータｑｆは、コンバート工程において整数値の量子化パラメータｑに変換される。
【0170】
変換不可能演算ブロックとして構成された量子化畳み込み演算ブロックＱＣは、変換した演算ブロックの演算を、外部ホストＣＰＵなどの外部演算デバイスにおいて実行させるソフトウェア５００、または、外部ホストＣＰＵなどの外部演算デバイスとＮＮ回路１００とを組み合わせて実行させるソフトウェア５００に変換される。
【0171】
＜アロケーション工程（Ｓ１５－２）＞
ソフトウェア生成部３２５は、分割された演算をＮＮ回路１００に割り当てて実施させるソフトウェア５００を生成する（アロケーション工程）。生成されるソフトウェア５００は、命令コマンドＣ３、命令コマンドＣ４および命令コマンドＣ５を含む。
ソフトウェア生成部３２５は、分割された演算をＮＮ回路１００に割り当てて実施させるソフトウェア５００を生成する（アロケーション工程）。生成されるソフトウェア５００は、命令コマンドＣ３、命令コマンドＣ４および命令コマンドＣ５を含む。
【0172】
図２５は、ＮＮ回路１００への割り当て例を示すタイミングチャートである。
第一部分テンソルａ1に対応する畳み込み演算および量子化演算と、第二部分テンソルａ2に対応する畳み込み演算および量子化演算とは、図２５に示すように、独立して実施することができる。そこで、ソフトウェア生成部３２５は、分割された演算を、ネットワーク（レイヤ）の一部の順番を入れ替えて、ＮＮ回路１００に割り当ててもよい。
第一部分テンソルａ1に対応する畳み込み演算および量子化演算と、第二部分テンソルａ2に対応する畳み込み演算および量子化演算とは、図２５に示すように、独立して実施することができる。そこで、ソフトウェア生成部３２５は、分割された演算を、ネットワーク（レイヤ）の一部の順番を入れ替えて、ＮＮ回路１００に割り当ててもよい。
【0173】
畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ－１の畳み込み演算（図２５において、レイヤ２Ｍ－１（ａ1）で示す演算）を行う。その後、畳み込み演算回路４は、第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算（図２５において、レイヤ２Ｍ－１（ａ２）で示す演算）を行う。また、量子化演算回路５は、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算（図２５において、レイヤ２Ｍ（ａ1）で示す演算）を行う。このように、ＮＮ回路１００は、第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算と、第一部分テンソルａ1に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。
【0174】
次に、畳み込み演算回路４は、第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算（図２５において、レイヤ２Ｍ＋１（ａ1）で示す演算）を行う。また、量子化演算回路５は、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算（図２５において、レイヤ２Ｍ（ａ２）で示す演算）を行う。このように、ＮＮ回路１００は、第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算と、第二部分テンソルａ２に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。
【0175】
入力データａを部分テンソルに分割することで、ＮＮ回路１００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。その結果、畳み込み演算回路４と量子化演算回路５が待機する時間が削減され、ＮＮ回路１００の演算処理効率が向上する。図２５に示す動作例において部分テンソルへの分割数は２であったが、分割数が２より大きい場合も同様に、ＮＮ回路１００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。
【0176】
なお、部分テンソルに対する演算方法としては、同一レイヤにおける部分テンソルの演算を畳み込み演算回路４または量子化演算回路５で行った後に次のレイヤにおける部分テンソルの演算を行う例（方法１）を示した。例えば、図２５に示すように、畳み込み演算回路４において、第一部分テンソルａ1および第二部分テンソルａ２に対応するレイヤ２Ｍ－１の畳み込み演算（図２５において、レイヤ２Ｍ－１（ａ1）およびレイヤ２Ｍ－１（ａ２）で示す演算）を行った後に、第一部分テンソルａ1および第二部分テンソルａ２に対応するレイヤ２Ｍ＋１の畳み込み演算（図２５において、レイヤ２Ｍ＋１（ａ1）およびレイヤ２Ｍ＋１（ａ２）で示す演算）を実施している。
【0177】
しかしながら、部分テンソルに対する演算方法はこれに限られない。部分テンソルに対する演算方法は、複数レイヤにおける一部の部分テンソルの演算をした後に残部の部分テンソルの演算を実施する方法でもよい（方法２）。例えば、畳み込み演算回路４において、第一部分テンソルａ1に対応するレイヤ２Ｍ－１および第一部分テンソルａ1に対応するレイヤ２Ｍ＋１の畳み込み演算を行った後に、第二部分テンソルａ２に対応するレイヤ２Ｍ－１および第二部分テンソルａ２に対応するレイヤ２Ｍ＋１の畳み込み演算を実施してもよい。
【0178】
また、部分テンソルに対する演算方法は、方法１と方法２とを組み合わせて部分テンソルを演算する方法でもよい。ただし、方法２を用いる場合は、部分テンソルの演算順序に関する依存関係に従って演算を実施する必要がある。
【0179】
なお、上述した部分テンソルの並列演算は、部分テンソルの演算順序に関する依存関係以外にも、第一メモリ１や第二メモリ２の未使用領域に基づいても実施可否が判断される。第一メモリ１や第二メモリ２において並列演算に必要な未使用領域がない場合は、並列演算の一部の演算を並列に実施せずに時分割して実施する制御が実施される。
【0180】
例えば、同じ入力データａに対して重みｗを変えて畳み込み演算を実施する場合、同じ入力データａを用いる畳み込み演算を連続して実施する方が効率がよい。そのため、ソフトウェア生成部３２５は、可能な限り第一メモリ１や第二メモリ２に格納されている同じデータを用いる演算が連続するように、分割された演算の順番を入れ替える。
【0181】
本実施形態に係るニューラルネットワーク学習装置３００およびニューラルネットワーク学習方法によれば、浮動小数点フォーマットによる畳み込み演算と量子化演算とを実行するＣＮＮ２００（ＮＮ機能モデル２００）の量子化畳み込み演算ブロックＱＣを、整数フォーマットによる畳み込み演算と量子化演算とを実行するＮＮ回路１００の推論演算ブロックＥＢにおいてに実施可能な演算に変換して推論演算させる場合において、量子化畳み込み演算ブロックＱＣによる演算結果と推論演算ブロックＥＢによる演算結果との誤差の発生を抑制できる。
【0182】
上記の誤差は学習演算を行う演算環境（学習演算環境）と推論を行う演算環境（推論演算環境）とが異なるために発生する。学習演算環境が浮動小数点フォーマットによる演算を含む高性能な演算装置であり、推論演算環境が整数フォーマットによる演算を実施するエッジデバイスである場合に上記の誤差は発生しやすくなる。本実施形態に係るニューラルネットワーク学習装置３００およびニューラルネットワーク学習方法によれば、学習演算環境が浮動小数点フォーマットによる演算であり、推論演算環境が整数フォーマットによる演算である場合であっても、量子化パラメータｑｆの更新において禁制帯Ｐを設ける等により、上記の誤差の発生を抑制できる。
【0183】
本実施形態で例示するＣＮＮ２００（ＮＮ機能モデル２００）は、サブネットワーク（サブグラフ）を含まないニューラルネットワークである。しかしながら、ＣＮＮ２００（ＮＮ機能モデル２００）は、サブネットワーク（サブグラフ）を含んでもよい。
【0184】
以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
【0185】
（変形例１）
上記実施形態において、第一メモリ１と第二メモリ２は別のメモリであったが、第一メモリ１と第二メモリ２の態様はこれに限定されない。第一メモリ１と第二メモリ２は、例えば、同一メモリにおける第一メモリ領域と第二メモリ領域であってもよい。
上記実施形態において、第一メモリ１と第二メモリ２は別のメモリであったが、第一メモリ１と第二メモリ２の態様はこれに限定されない。第一メモリ１と第二メモリ２は、例えば、同一メモリにおける第一メモリ領域と第二メモリ領域であってもよい。
【0186】
（変形例２）
例えば、上記実施形態に記載のＮＮ回路１００に入力されるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値およびこれらの組み合わせで構成することが可能である。なお、ＮＮ回路１００に入力されるデータは、ＮＮ回路１００が設けられるエッジデバイスに搭載され得る、光センサ、温度計、Global Positioning System（GPS）計測器、角速度計測器、風速計などの物理量測定器における測定結果に限られない。周辺機器から有線または無線通信経由で受信する基地局情報、車両・船舶等の情報、天候情報、混雑状況に関する情報などの周辺情報や金融情報や個人情報等の異なる情報を組み合わせてもよい。
例えば、上記実施形態に記載のＮＮ回路１００に入力されるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値およびこれらの組み合わせで構成することが可能である。なお、ＮＮ回路１００に入力されるデータは、ＮＮ回路１００が設けられるエッジデバイスに搭載され得る、光センサ、温度計、Global Positioning System（GPS）計測器、角速度計測器、風速計などの物理量測定器における測定結果に限られない。周辺機器から有線または無線通信経由で受信する基地局情報、車両・船舶等の情報、天候情報、混雑状況に関する情報などの周辺情報や金融情報や個人情報等の異なる情報を組み合わせてもよい。
【0187】
（変形例３）
ＮＮ回路１００が設けられるエッジデバイスは、バッテリー等で駆動する携帯電話などの通信機器、パーソナルコンピュータなどのスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器を想定するが、これに限られるものではない。Power on Ethernet（PoE）などでの供給可能なピーク電力制限、製品発熱の低減または長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。例えば、車両や船舶などに搭載される車載カメラや、公共施設や路上などに設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。
ＮＮ回路１００が設けられるエッジデバイスは、バッテリー等で駆動する携帯電話などの通信機器、パーソナルコンピュータなどのスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器を想定するが、これに限られるものではない。Power on Ethernet（PoE）などでの供給可能なピーク電力制限、製品発熱の低減または長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。例えば、車両や船舶などに搭載される車載カメラや、公共施設や路上などに設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。
【0188】
（変形例４）
ＮＮ回路１００は、ＮＮ回路１００の一部または全部を一つ以上のプロセッサを用いて実現してもよい。例えば、ＮＮ回路１００は、入力層または出力層の一部または全部をプロセッサによるソフトウェア処理により実現してもよい。ソフトウェア処理により実現する入力層または出力層の一部は、例えば、データの正規化や変換である。これにより、様々な形式の入力形式または出力形式に対応できる。なお、プロセッサで実行するソフトウェアは、通信手段や外部メディアを用いて書き換え可能に構成してもよい。
ＮＮ回路１００は、ＮＮ回路１００の一部または全部を一つ以上のプロセッサを用いて実現してもよい。例えば、ＮＮ回路１００は、入力層または出力層の一部または全部をプロセッサによるソフトウェア処理により実現してもよい。ソフトウェア処理により実現する入力層または出力層の一部は、例えば、データの正規化や変換である。これにより、様々な形式の入力形式または出力形式に対応できる。なお、プロセッサで実行するソフトウェアは、通信手段や外部メディアを用いて書き換え可能に構成してもよい。
【0189】
（変形例５）
ＮＮ回路１００は、ＣＮＮ２００における処理の一部をクラウド上のGraphics Processing Unit（GPU）等を組み合わせることで実現してもよい。ＮＮ回路１００は、ＮＮ回路１００が設けられるエッジデバイスで行った処理に加えて、クラウド上でさらに処理を行ったり、クラウド上での処理に加えてエッジデバイス上で処理を行ったりすることで、より複雑な処理を少ないリソースで実現できる。このような構成によれば、ＮＮ回路１００は、処理分散によりエッジデバイスとクラウドとの間の通信量を低減できる。
ＮＮ回路１００は、ＣＮＮ２００における処理の一部をクラウド上のGraphics Processing Unit（GPU）等を組み合わせることで実現してもよい。ＮＮ回路１００は、ＮＮ回路１００が設けられるエッジデバイスで行った処理に加えて、クラウド上でさらに処理を行ったり、クラウド上での処理に加えてエッジデバイス上で処理を行ったりすることで、より複雑な処理を少ないリソースで実現できる。このような構成によれば、ＮＮ回路１００は、処理分散によりエッジデバイスとクラウドとの間の通信量を低減できる。
【0190】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【産業上の利用可能性】
【0191】
本発明は、ニューラルネットワークの演算に適用することができる。
【符号の説明】
【0192】
５００ ソフトウェア
３００ ニューラルネットワーク学習装置
２００ 畳み込みニューラルネットワーク（ＣＮＮ、ＮＮ機能モデル）
１００ ニューラルネットワーク回路（ＮＮ回路）
１ 第一メモリ
２ 第二メモリ
３ ＤＭＡコントローラ（ＤＭＡＣ）
４ 畳み込み演算回路
４２ 乗算器
４３ アキュムレータ回路
５ 量子化演算回路
５２ ベクトル演算回路
５３ 量子化回路
６ コントローラ
３００ ニューラルネットワーク学習装置
２００ 畳み込みニューラルネットワーク（ＣＮＮ、ＮＮ機能モデル）
１００ ニューラルネットワーク回路（ＮＮ回路）
１ 第一メモリ
２ 第二メモリ
３ ＤＭＡコントローラ（ＤＭＡＣ）
４ 畳み込み演算回路
４２ 乗算器
４３ アキュムレータ回路
５ 量子化演算回路
５２ ベクトル演算回路
５３ 量子化回路
６ コントローラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】