特許 7456501 情報処理回路および情報処理回路の設計方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-18

(45)【発行日】2024-03-27

(54)【発明の名称】情報処理回路および情報処理回路の設計方法

(51)【国際特許分類】

   G06N 3/063 20230101AFI20240319BHJP

【ＦＩ】

G06N3/063

【請求項の数】 9

(21)【出願番号】P 2022527306

(86)(22)【出願日】2020-05-26

(86)【国際出願番号】 JP2020020701

(87)【国際公開番号】W WO2021240633

(87)【国際公開日】2021-12-02

【審査請求日】2022-11-11

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】竹中 崇

【審査官】佐藤 実

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３１８２３２（ＵＳ，Ａ１）

【文献】特開２００２－１１７３８９（ＪＰ，Ａ）

【文献】特開２０１８－１３３０１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０６３

(57)【特許請求の範囲】

【請求項1】

深層学習における層の演算を実行する情報処理回路であって、
入力データとパラメタ値とを用いて積和演算を行う積和回路と、
前記パラメタ値を出力するパラメタ値出力回路とを備え、
前記パラメタ値出力回路は、組み合わせ回路で構成され、
前記パラメタ値出力回路は、
深層学習を行うそれぞれの用途で共通に用いられる前記パラメタ値を出力する回路であって回路構成を変更できない方式で製造された第１パラメタ値出力回路と、
前記用途ごとに個別に用いられる前記パラメタ値を出力する回路であって回路構成を変更できる方式で製造された第２パラメタ値出力回路とを含む
ことを特徴とする情報処理回路。

【請求項2】

並列処理数に応じた数の基本回路を備え、
複数の前記基本回路のうち１つ以上は、前記積和回路と前記第１パラメタ値出力回路と前記第２パラメタ値出力回路とを含む
請求項１記載の情報処理回路。

【請求項3】

深層学習における層の演算を実行する情報処理回路を生成する情報処理回路の設計方法であって、
学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力し、
入力データとパラメタ値とを用いて積和演算を行う回路であって前記ネットワーク構造における層に特化した積和回路を作成し、
前記複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路として、深層学習を行うそれぞれの用途で共通に用いられるパラメタ値を出力する回路であって回路構成を変更できない方式で実現される第１パラメタ値出力回路、および、前記用途ごとに個別に用いられるパラメタ値を出力する回路であって回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する
ことを特徴とする情報処理回路の設計方法。

【請求項4】

ニューラルネットワークに用いられる複数種類のパラメタセットのうち、いずれの種類のパラメタセットにおいても用いられる第１の論理演算を計算する前記第１パラメタ値出力回路を作成し、
パラメタテーブルの入力に加えて前記第１パラメタ値出力回路の出力を入力して個別の論理演算を計算する前記第２パラメタ値出力回路を作成する
請求項３記載の情報処理回路の設計方法。

【請求項5】

複数種類のパラメタセットを用いたニューラルネットワークにおける情報処理回路の各精度を測定し、
前記第１パラメタ値出力回路の回路面積と、前記第２パラメタ値出力回路の回路面積とを見積り、
前記複数種類のパラメタセットそれぞれを用いた各ニューラルネットワークの精度が予め定めた精度基準値以上であり、かつ、前記第１パラメタ値出力回路の回路面積の割合が予め定めた面積基準値以上であるという条件が満たされるまで、第１パラメタ値および第２パラメタ値のうち少なくとも１つを繰り返し変更し、
変更後の前記第１パラメタ値および前記第２パラメタ値に基づいて、前記第１パラメタ値出力回路および前記第２パラメタ値出力回路を生成する
請求項３または請求項４記載の情報処理回路の設計方法。

【請求項6】

深層学習における層の演算を実行する情報処理回路を生成するための情報処理回路の設計プログラムであって、
コンピュータに、
学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力する処理と、
入力データとパラメタ値とを用いて積和演算を行う回路であって前記ネットワーク構造における層に特化した積和回路を作成する処理と、
前記複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路として、深層学習を行うそれぞれの用途で共通に用いられるパラメタ値を出力する回路であって回路構成を変更できない方式で実現される第１パラメタ値出力回路、および、前記用途ごとに個別に用いられるパラメタ値を出力する回路であって回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する処理とを
実行させるための情報処理回路の設計プログラム。

【請求項7】

前記コンピュータに、
ニューラルネットワークに用いられる複数種類のパラメタセットのうち、いずれの種類のパラメタセットにおいても用いられる第１の論理演算を計算する前記第１パラメタ値出力回路を作成する処理と、
パラメタテーブルの入力に加えて前記第１パラメタ値出力回路の出力を入力して個別の論理演算を計算する前記第２パラメタ値出力回路を作成する処理とを実行させる
ための請求項６記載の情報処理回路の設計プログラム。

【請求項8】

深層学習における層の演算を実行する情報処理回路を生成する情報処理回路設計装置であって、
学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力する入力手段と、
入力データとパラメタ値とを用いて積和演算を行う回路であって前記ネットワーク構造における層に特化した積和回路を作成する演算器生成手段と、
前記複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路を作成するパラメタ値出力回路作成手段とを備え、
前記パラメタ値出力回路作成手段は、
深層学習を行うそれぞれの用途で共通に用いられるパラメタ値を出力する回路であって回路構成を変更できない方式で実現される第１パラメタ値出力回路を作成する第１パラメタ値出力回路作成手段と、
前記用途ごとに個別に用いられるパラメタ値を出力する回路であって回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する第２パラメタ値出力回路作成手段と
を含むことを特徴とする情報処理回路設計装置。

【請求項9】

前記第１パラメタ値出力回路作成手段は、ニューラルネットワークに用いられる複数種類のパラメタセットのうち、いずれの種類のパラメタセットにおいても用いられる第１の論理演算を計算する前記第１パラメタ値出力回路を作成し、
前記第２パラメタ値出力回路作成手段は、パラメタテーブルの入力に加えて前記第１パラメタ値出力回路の出力を入力して個別の論理演算を計算する前記第２パラメタ値出力回路を作成する
請求項８記載の情報処理回路設計装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、深層学習の推論フェーズを実行する情報処理回路、およびそのような情報処理回路の設計方法に関する。

【背景技術】

【0002】

深層学習は、多層のニューラルネットワーク（以下、ネットワークという。）を使用するアルゴリズムである。深層学習では、各々のネットワーク（層）を最適化してモデル（学習モデル）を作成する学習フェーズと、学習モデルに基づいて推論が行われる推論フェーズとが実行される。なお、モデルは、推論モデルといわれることもある。また、以下、モデルを推論器と表現することがある。

【0003】

学習フェーズおよび推論フェーズにおいて、パラメタとしての重みを調整するための演算が実行されたり、入力データと重みとを対象とする演算が行われたりするが、それらの演算の計算量は多い。その結果、各々のフェーズの処理時間が長くなる。

【0004】

深層学習を高速化するために、ＣＰＵ（Central Processing Unit ）によって実現される推論器ではなく、ＧＰＵ（Graphics Processing Unit）によって実現される推論器がよく用いられる。さらに、深層学習専用のアクセラレータが実用化されている。

【0005】

図２０は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の一例であるＶＧＧ（Visual Geometry Group ）－１６の構造を示す説明図である。ＶＧＧ－１６は、１３層の畳み込み層および３層の全結合層を含む。畳み込み層で、または畳み込み層とプーリング層とで抽出された特徴は、全結合層で分類される。

【0006】

図２０において、「Ｉ」は入力層を示す。「Ｃ」は畳み込み層を示す。図２０において、畳み込み層は３×３の畳み込みである。よって、たとえば、図２０の最初の畳み込み演算には１画素あたり３（縦サイズ）×３（横サイズ）×３（入力チャネル）×６４（出力チャネル）個の積和演算を含む。また例えば図２０の５ブロック目の畳み込み層には、１画素あたり３（縦サイズ）×３（横サイズ）×５１２（入力チャネル）×５１２（出力チャネル）個の積和演算を含む。「Ｐ」はプーリング層を示す。図２０に示すＣＮＮでは、プーリング層は、Max Pooling 層である。「Ｆ」は全結合層を示す。「Ｏ」は出力層を示す。出力層では、softmax関数が使用される。なお、畳み込み層および全結合層は、正規化線形ユニット（Rectified Linear Unit ：ReLU）を含む。各層に付されている乗算式は、一枚の入力画像に対応するデータの縦サイズ×横サイズ×チャネル数を表す。また、層を表す直方体の体積は、層におけるアクティベーションの量に対応する。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１９－１３９７４２号公報

【非特許文献】

【0008】

【文献】P. N. Whatmough et al., "FixyNN: Efficient Hardware for Mobile Computer Vision via Transfer Learning", Feb, 27 2019

【発明の概要】

【発明が解決しようとする課題】

【0009】

アクセラレータで推論器を実現する場合、主として２つの方法が考えられる。

【0010】

ＣＮＮを例にすると、第１の方法では、ＣＮＮは、ＣＮＮを構成する複数の層の演算が共通の演算器で実行されるように構成される（例えば、特許文献１の段落００３３等参照。）。

【0011】

図２１は、複数の層の演算が共通の演算器で実行されるように構成されたＣＮＮの演算器を模式的に示す説明図である。推論器における演算を実行する部分は、演算器７００とメモリ（例えば、ＤＲＡＭ（Dynamic Random Access Memory））９００とで構成される。図２１に示す演算器７００には、多数の加算器と多数の乗算器とが形成される。図２１において、「＋」は加算器を示し、「＊」は乗算器を示す。なお、図２１には、３つの加算器と６個の乗算器とが例示されているが、ＣＮＮにおける全ての層の各々の演算が実行可能な数の加算器と乗算器とが形成される。

【0012】

推論器の各層の演算が実行される場合、演算器７００は、演算実行対象の一層についてのパラメタをＤＲＡＭ９００から読み出す。そして、演算器７００は、一層における積和演算を、パラメタを係数として実行する。

【0013】

第２の方法では、ＣＮＮは、ＣＮＮを構成する全ての層の各々（特に、畳み込み層）の演算を、各層に対応する演算器で実行されるように構成される（例えば、非特許文献１参照）。なお、非特許文献１には、ＣＮＮが２つのステージに分割され、前段のステージにおいて、各々の層に対応する演算器が設けられることが記載されている。

【0014】

図２２は、各々の層に対応する演算器が設けられたＣＮＮを模式的に示す説明図である。図２２には、ＣＮＮにおける６つの層８０１，８０２，８０３，８０４，８０５，８０６が例示されている。層８０１，８０２，８０３，８０４，８０５，８０６のそれぞれに対応する演算器（回路）７０１，７０２，７０３，７０４，７０５，７０６が設けられている。

【0015】

演算器７０１～７０６は、対応する層８０１～８０６の演算を実行するので、パラメタが不変であれば、固定的に回路構成される。そして、非特許文献１には、パラメタを固定値にすることが記載されている。

【0016】

上記の第１の方法では、ＤＲＡＭ９００が備えられているので、パラメタが変更されても、演算器７０１～７０６の回路構成を変更することなく、ＣＮＮの機能が実行される。しかし、ＤＲＡＭ９００のデータ転送速度は、演算器７００の演算速度と比較すると低速である。すなわち、ＤＲＡＭ９００のメモリ帯域は狭い。したがって、演算器７００とメモリの間のデータ転送がボトルネックになる。その結果、ＣＮＮの演算速度が制限される。

【0017】

上記の第２の方法では、各層のそれぞれに対応する演算器７０１～７０６が設けられるので、ＣＮＮ全体としての回路規模が大きくなる。

【0018】

非特許文献１に記載された方法では、パラメタおよびネットワーク構成を固定することによって、ＣＮＮ全体としての加算器と乗算器の回路規模が小さくなる。ただし、非特許文献１に記載された方法では、各層に関して、完全に並列処理が可能であるように（fully-parallel）回路構成されるので、そのような回路構成によって、回路規模は大きくなる。なお、各層に関して各入力チャネル、各出力チャネルに対応する演算を並列処理するように回路構成されるので、そのような回路構成によって、回路規模は大きくなる。また、各層に関して、完全に並列処理が可能であるように回路構成されるので、一枚の画像に対応する入力データの処理時間は各層において同じ時間であることが望ましい。

【0019】

ＣＮＮでは、先の層（出力層に近い層）であるほど、一枚の画像に対応する入力データの縦サイズや横サイズが小さくなる場合がある。例えばプーリング層によって一枚の画像に対応する入力データの縦サイズと横サイズが縮小される。各層が同じ時間で一枚の入力画像に対応するデータを処理するとした場合、先の層のチャネル数を極端に多くしない限り、先の層での計算量は小さくなる。換言すれば、本来、先の層であるほど、その層の演算を実行する回路規模は小さくてよい。しかし、非特許文献１に記載された方法では、演算器７００は、すべての入力チャネルと出力チャネルの演算を並列に実行可能に構成されるので、入力データの縦サイズと横サイズが少ない層については、一枚の画像に対応する入力データの処理が早く終わり、次の画像に対応する入力データが供給されるまで待ち時間が発生する。換言すれば演算器７００の利用率は低くなる。

【0020】

また、非特許文献１に記載されたＣＮＮの構成は、ＣＮＮが２つのステージに分割され、前段のステージにおいて各々の層に対応する演算器が設けられるという構成である。そして、後段のステージは、ＤＲＡＭにパラメタが転送され、演算器としてプログラマブルなアクセラレータを用いるように構成される。すなわち、ＣＮＮは、ある程度のパラメタの変更やネットワーク構成の変更に応えられるように構成され、ＣＮＮ全体として、すなわち、推論器全体として、パラメタおよびネットワーク構成を固定することは、非特許文献１に記載されていない。

【0021】

また、推論器全体として、パラメタおよびネットワーク構造を固定した場合、一度回路を製造してしまうと深層学習のネットワーク構造および重み（パラメタ）を変更することは困難である。例えば、顔認証チップとして製造された回路は、顔認証でしか使用できない。すなわち、パラメタおよびネットワーク構造を固定した回路は、他の種類のＣＮＮに対応することが困難である。

【0022】

本発明は、推論器がハードウエアで実現される場合に、メモリ帯域の制約から解放され、かつ、推論器における各層の演算器の利用率が向上する情報処理回路および情報処理回路の設計方法を提供することを目的とする。

【課題を解決するための手段】

【0023】

本発明による情報処理回路は、深層学習における層の演算を実行する情報処理回路であって、入力データとパラメタ値とを用いて積和演算を行う積和回路と、パラメタ値を出力するパラメタ値出力回路とを含み、パラメタ値出力回路は、組み合わせ回路で構成され、パラメタ値出力回路は、深層学習を行うそれぞれの用途で共通に用いられるパラメタ値を出力する回路であって回路構成を変更できない方式で製造された第１パラメタ値出力回路と、用途ごとに個別に用いられるパラメタ値を出力する回路であって回路構成を変更できる方式で製造された第２パラメタ値出力回路とを含む。

【0024】

本発明による情報処理回路の設計方法は、深層学習における層の演算を実行する情報処理回路を生成する情報処理回路の設計方法であって、学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力し、入力データとパラメタ値とを用いて積和演算を行う回路であってネットワーク構造における層に特化した積和回路を作成し、複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路として、深層学習を行うそれぞれの用途で共通に用いられるパラメタ値を出力する回路であって回路構成を変更できない方式で実現される第１パラメタ値出力回路、および、用途ごとに個別に用いられるパラメタ値を出力する回路であって回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する。

【0025】

本発明による情報処理回路の設計プログラムは、深層学習における層の演算を実行する情報処理回路を生成するためのプログラムであって、コンピュータに、学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力する処理と、入力データとパラメタ値とを用いて積和演算を行う回路であってネットワーク構造における層に特化した積和回路を作成する処理と、複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路として、深層学習を行うそれぞれの用途で共通に用いられるパラメタ値を出力する回路であって回路構成を変更できない方式で実現される第１パラメタ値出力回路、および、用途ごとに個別に用いられるパラメタ値を出力する回路であって回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する処理とを実行させる。

【0026】

本発明による情報処理回路設計装置は、学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力する入力手段と、入力データとパラメタ値とを用いて積和演算を行う回路であってネットワーク構造における層に特化した積和回路を作成する演算器生成手段と、複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路を作成するパラメタ値出力回路作成手段とを含み、パラメタ値出力回路作成手段は、深層学習を行うそれぞれの用途で共通に用いられるパラメタ値を出力する回路であって回路構成を変更できない方式で実現される第１パラメタ値出力回路を作成する第１パラメタ値出力回路作成手段と、用途ごとに個別に用いられるパラメタ値を出力する回路であって回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する第２パラメタ値出力回路作成手段とを含む。

【発明の効果】

【0027】

本発明によれば、メモリ帯域の制約から解放され、かつ、推論器における各層の演算器の利用率が向上する情報処理回路を得ることができる。

【図面の簡単な説明】

【0028】

【図1】第１の実施形態の情報処理回路を模式的に示す説明図である。

【図2】第１の実施形態の情報処理回路の基本回路の構成例を示す説明図である。

【図3】パラメタテーブルの回路構成例を説明するための説明図である。

【図4】第１の実施形態の情報処理回路設計装置の一例を示すブロック図である。

【図5】第１の実施形態の情報処理回路設計装置の動作を示すフローチャートである。

【図6】パラメタテーブルを最適化する処理の一例を示すフローチャートである。

【図7】パラメタ値の変更方法の一例を示す説明図である。

【図8】第２の実施形態の情報処理回路を模式的に示す説明図である。

【図9】第２の実施形態の情報処理回路の基本回路の構成例を示す説明図である。

【図10】第２の実施形態の情報処理回路設計装置の一例を示すブロック図である。

【図11】パラメタテーブルを分割する処理の一例を示す説明図である。

【図12】第２の実施形態の情報処理回路設計装置の動作を示すフローチャートである。

【図13】パラメタテーブルを最適化する処理の一例を示すフローチャートである。

【図14】パラメタ値を変更する前の真理値表の一例を示す説明図である。

【図15】パラメタ値の変更した後の真理値表の一例を示す説明図である。

【図16】各製造方法における製造後の回路の特徴を示す説明図である。

【図17】ＣＰＵを有するコンピュータの一例を示すブロック図である。

【図18】情報処理回路の主要部を示すブロック図である。

【図19】情報処理回路設計装置の主要部を示すブロック図である。

【図20】ＶＧＧ－１６の構造を示す説明図である。

【図21】複数の層の演算が共通の演算器で実行されるように構成されたＣＮＮの演算器を模式的に示す説明図である。

【図22】各々の層に対応する演算器が設けられたＣＮＮを模式的に示す説明図である。

【発明を実施するための形態】

【0029】

以下、本発明の実施形態を図面を参照して説明する。以下、情報処理回路として、ＣＮＮの推論器を例にする。また、ＣＮＮに入力されるデータとして、画像（画像データ）を例にする。

【0030】

図２２に例示された構成と同様に、情報処理回路は、ＣＮＮの各々の層に対応する演算器が設けられたＣＮＮの推論器である。そして、情報処理回路は、パラメタが固定され、かつ、ネットワーク構成（深層学習アルゴリズムの種類、どのタイプの層を幾つどういった順で配置するのか、各層の入力データのサイズや出力データのサイズなど）が固定されたＣＮＮの推論器を実現する。すなわち、情報処理回路は、ＣＮＮの各層（例えば、畳み込み層および全結合層のそれぞれ）に特化した回路構成の回路である。特化するというのは、専ら当該層の演算を実行する専用回路であるということである。

【0031】

なお、パラメタが固定されているということは、学習フェーズの処理が終了して、適切なパラメタが決定され、決定されたパラメタが使用されることを意味する。ただし、以下の実施形態では、学習フェーズで決定されたパラメタが変更されることがある。以下、パラメタが変更されることを、パラメタが最適化されると表現することがある。

【0032】

また、本発明による情報処理回路を用いる推論器では、並列度は、データ入力速度や処理速度などを勘案して決定される。推論器におけるパラメタ（重み）と入力データとの乗算器は、組み合わせ論理回路（組み合わせ回路）で構成される。もしくは、パイプライン演算器で構成されてもよい。もしくは、順序回路で構成されてもよい。

【0033】

実施形態１．
図１は、第１の実施形態の情報処理回路を模式的に示す説明図である。図１には、ＣＮＮを実現する情報処理回路１００における演算器２０１，２０２，２０３，２０４，２０５，２０６が例示されている。すなわち、図１には、ＣＮＮのうちの６層が例示されている。各演算器２０１，２０２，２０３，２０４，２０５，２０６は、層で使用されるパラメタ２１１，２１２，２１３，２１４，２１５，２１６と入力データとを対象として積和演算を実行する。演算器２０１～２０６は、複数の組み合わせ回路で実現される。パラメタ２１１～２１６も、組み合わせ回路で実現される。

【0034】

なお、組み合わせ回路は、否定論理積回路（ＮＡＮＤ回路）、否定論理和回路（ＮＯＲ回路）、否定回路（反転回路：ＮＯＴ回路）、および、その組み合わせなどである。以下の説明において、１つの回路素子を組み合わせ回路と表現することもあるが、複数の回路素子（ＮＡＮＤ回路、ＮＯＲ回路、ＮＯＴ回路など）を含む回路を組み合わせ回路と表現することもある。

【0035】

図１において、「＋」は加算器を示す。「＊」は乗算器を示す。なお、図１に例示された各層の演算器２０１～２０６のブロックに示されている加算器の数および乗算器の数は、表記のための単なる一例である。

【0036】

本実施形態では、演算器２０１～２０６のそれぞれにおいて並列演算が実行されるが、並列演算における１つの演算を実行する回路を基本回路とする。基本回路は、層の種類に応じてあらかじめ決定されている。

【0037】

図２は、第１の実施形態の情報処理回路の基本回路の構成例を示す説明図である。６つの層のそれぞれの演算器（回路）２０１，２０２，２０３，２０４，２０５，２０６が例示されている。各層において、並列処理数の基本回路３００が設けられる。図２には、演算器２０３に含まれる基本回路３００が例示されているが、他の層の演算器２０１，２０２，２０４，２０５，２０６も同様の回路構成を有する。

【0038】

図２に示す例では、基本回路３００は、入力データとパラメタテーブル（重みテーブル）３０２からのパラメタ値を乗算し、乗算値を加算する積和回路３０１を含む。入力データは１つの値であってもよい。また、入力データは複数の値の組であってもよい。なお、図２には、パラメタ値を格納するパラメタテーブル３０２が示されているが、実際には、パラメタ値は記憶部（記憶回路）に記憶されているのではなく、パラメタテーブル３０２は、組み合わせ回路で実現される。本実施形態では、パラメタが固定されているので、パラメタテーブル３０２から、固定的な値であるパラメタ値が出力される。パラメタテーブル３０２は、１つの値を出力してもよい。また、パラメタテーブル３０２は、複数の値の組を出力してもよい。積和回路３０１は、１つの入力値と１つのパラメタ値の乗算を行ってもよい。また、積和回路３０１は、入力値の組とパラメタ値の組との乗算を行ってもよい。入力値の組とパラメタ値の組との乗算結果の組の集約和の計算を行ってもよい。なお、一般に、１つの層に関して複数のパラメタ、もしくは、複数の組のパラメタが使用される、どのパラメタを出力するかは制御部４００が制御する。

【0039】

基本回路３００は、積和演算値を一時格納するレジスタ３０３を含んでもよい。積和回路３０１は、レジスタ３０３に一時格納された複数の乗算値を加算する加算器を含んでもよい。基本回路３００の入力には、別の基本回路３００の出力が接続されていてもよい。

【0040】

図３は、パラメタテーブル３０２の回路構成例を説明するための説明図である。図３（Ａ）には、真理値表３１１の一例が示されている。組み合わせ回路で、真理値表３１１を実現することができる。Ａ，Ｂ，Ｃのそれぞれは、組み合わせ回路の入力である。Ｚ１，Ｚ２は、組み合わせ回路の出力である。図３（Ａ）には、一例として、全加算器の真理値表３１１が示されているが、Ａ，Ｂ，Ｃをアドレスと見なし、Ｚ１，Ｚ２を出力データと見なすことができる。すなわち、Ｚ１，Ｚ２を、指定アドレスＡ，Ｂ，Ｃに対する出力データと見なすことができる。出力データをパラメタ値に対応づけると、何らかの入力（指定アドレス）に応じて、所望のパラメタ値を得ることができる。

【0041】

例えば、所望のパラメタ値が、ある特定の入力値（真理値表３１１ではＡ）によらず決定できるとすると、真理値表３１１における入力Ｂ、Ｃでパラメタ値を決定するように簡略化された真理値表３１２を用いるだけでよい。換言すれば、パラメタテーブル３０２を組み合わせ回路で実現する場合、パラメタを決定する入力の異種類が少ないほど、組み合わせ回路の回路規模が小さくなる。一般には、真理値表の簡単化にはクワイン・マクラスキー法などの公知技術が使われる。

【0042】

図２に示された演算器２０３は、制御部４００を含む。パラメタテーブル３０２におけるパラメタ値が、図３に示されたように指定アドレスに応じた出力データとして実現される場合には、制御部４００は、所望のタイミングで、出力データに対応する指定アドレスのデータをパラメタテーブル３０２に供給する。パラメタテーブル３０２は、指定アドレスに応じた出力データすなわちパラメタ値を積和回路３０１に出力する。なお、所望のタイミングは、積和回路３０１が、パラメタテーブル３０２から出力されるべきパラメタ値を用いて乗算処理を実行する時点である。

【0043】

次に、図２に例示された演算器の設計方法を説明する。

【0044】

図４は、ＣＮＮの各層のパラメタテーブルの回路構成および演算器の回路構成を設計する情報処理回路設計装置の一例を示すブロック図である。図４に示す例では、情報処理回路設計装置５００は、パラメタテーブル最適化部５０１、パラメタテーブル生成部５０２、並列度決定部５０３、および演算器生成部５０４を含む。

【0045】

並列度決定部５０３は、ネットワーク構造（具体的には、ネットワーク構造を示すデータ。）を入力する。演算器生成部５０４は、層毎の演算器の回路構成を出力する。パラメタテーブル最適化部５０１は、学習フェーズで学習されたパラメタセット（各層における重み）と、並列度決定部５０３が決定した並列度を入力する。パラメタテーブル生成部５０２は、パラメタテーブルの回路構成を出力する。

【0046】

並列度決定部５０３は、層毎の並列度を決定する。パラメタテーブル最適化部５０１は、入力された層毎のパラメタと、並列度決定部５０３が決定した層毎の並列度とに基づいて、パラメタテーブルを最適化する。パラメタテーブルの個数は並列度で決まるが、パラメタテーブル最適化部５０１は、複数のパラメタテーブル３０２におけるそれぞれのパラメタを最適化する。ここで、最適化とは、パラメタテーブルに対応する組み合わせ回路の回路面積を小さくすることである。

【0047】

例えば、並列度決定対象の層（対象層）で実行される畳み込み演算が３×３×１２８×１２８（＝１４７,４５６の積和演算（パラメタ値とアクティベーション値とを対象とする積和演算）で構成されている場合を例にすると、並列度が「１２８」に決定されると、基本回路３００の数（並列度）は１２８である。各々の基本回路３００は、１１５２個の積和演算（１４７，４５６／１２８）に対する処理を実行する。その場合、基本回路３００において、１１５２のパラメタ値を有するパラメタテーブルが１２８個だけ備えられる。なお、上述したように、パラメタテーブル３０２は、記憶回路で実現されるのではなく、組み合わせ回路で実現される。

【0048】

後述するように、パラメタテーブル最適化部５０１は、あらかじめ定められた方法を用いて、パラメタテーブル３０２のパラメタ値を最適化する。パラメタテーブル生成部５０２は、最適化されたパラメタ値を有するパラメタテーブル３０２を実現するための回路構成を、パラメタテーブルの回路構成として出力する。

【0049】

演算器生成部５０４は、並列度決定部５０３が決定した層毎の並列度を入力する。演算器生成部５０４は、並列度が示す数の基本回路３００を並べた回路構成を、層毎に生成する。そして、演算器生成部５０４は、生成した層毎の回路構成を、演算器回路の構成として出力する。

【0050】

次に、図５のフローチャートを参照して、第１の実施形態の情報処理回路設計装置の動作を説明する。図５は、第１の実施形態の情報処理回路設計装置５００の動作を示すフローチャートである。

【0051】

パラメタテーブル最適化部５０１は、学習フェーズで学習されたパラメタセット（複数のパラメタ値）を入力し、並列度決定部５０３は、あらかじめ決められているネットワーク構造を示すデータを入力する（ステップＳ１１）。

【0052】

なお、本実施形態におけるネットワーク構造の概念の１つである深層学習アルゴリズムの種類として、例えば、ＡｌｅｘＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔ（Residual Network）、ＳＥＮｅｔ（Squeeze-and-Excitation Networks ）、ＭｏｂｉｌｅＮｅｔ、ＶＧＧ－１６、ＶＧＧ－１９がある。また、ネットワーク構造の概念の１つである層数として、例えば、深層学習アルゴリズムの種類に応じた層数が考えられる。また、ネットワーク構造の概念として、フィルタサイズなども含められ得る。

【0053】

以下、ネットワーク構造を示すデータを入力することを、ネットワーク構造を入力すると表現する。

【0054】

並列度決定部５０３は、層毎の並列度を決定する（ステップＳ１２）。一例として、並列度決定部５０３は、（１）式で並列度Ｎを決定する。例えば、入力された深層学習アルゴリズムの種類で特定される層の数が１９である場合には、並列度決定部５０３は、１９の層のそれぞれの並列度を決定する。

【0055】

Ｎ＝Ｃ_Ｌ／Ｄ_Ｌ ・・・（１）

【0056】

（１）式において、Ｃ_Ｌは、並列度決定対象の層（対象層）において１画面の全画素を１つの積和演算器で処理するのに必要なクロック数を示す。Ｄ_Ｌは、対象層において１画面の処理に要するクロック数（許容されるクロック数）を示す。

【0057】

図２０に示されたＣＮＮを例にすると、１画面が縦サイズ２２４、横サイズ２２４（５０，１７６画素）の層（第１ブロックにおける層とする。）において１クロックで縦横１画素の処理し、１画面全体を５０，１７６クロックで実行されるとする。これに対して、１画面が縦サイズ１４、横サイズ１４の層（第５ブロックにおける層とする）では、同じ時間で１画面の処理を完了するためには２５６クロックで縦横１画素の処理が実行すれば、１画面分の処理を第１クロックと同じ５０、１７６クロックで完了できる。第１ブロックの畳み込み層の処理は、１画素あたり３（縦サイズ）×３（横サイズ）×３（入力チャネル）×６４（出力チャネル）（＝１７２８個）である。したがって、全画素を一つの積和演算器で処理するのに必要なクロック数は１７２８個×５０，１７６画素＝８６、７０４、１２８個である。１画面全体を５０，１７６クロックで完了するために、第１ブロックの層の並列度は、１７２８である。一方、第５ブロックの畳み込み層の処理は、１画素あたり３（縦サイズ）×３（横サイズ）×５１２（入力チャネル）×５１２（出力チャネル）（＝２、３５９、２９６個）である。したがって、全画素を一つの積和演算器で処理するのに必要なクロック数は２、３５９、２９６個×１９６画素＝４６２、４２２、０１６個である。１画面全体を５０，１７６クロックで完了するために、第５ブロックの層の並列度は、９、２１６である。

【0058】

所望される演算速度（１画面の処理量／所要クロック数）に応じて、各層の並列度が決定されることによって、例えば、（１）式に基づいて各層の並列度が決定されることによって、各層の演算器（具体的には、演算器に含まれる複数の基本回路３００）を常に稼働する状態にすることができる。図２２に示された構成において、演算器７０１～７０６に対して何らの工夫も施されない場合には、演算器７０６の稼働率は、演算器７０１の稼働率よりも低い。非特許文献１に記載された構成を例にすると、各層はfully-parallelで構成されるので、出力層に近い層では、演算器の稼働率はより低い。しかし、本実施形態では、全ての層の演算器の稼働率を高く維持することができる。

【0059】

パラメタテーブル最適化部５０１は、層毎に、決定された並列度に応じて、パラメタテーブル３０２を生成する（ステップＳ１３）。さらに、パラメタテーブル最適化部５０１は、生成したパラメタテーブル３０２を最適化する（ステップＳ１４）。

【0060】

図６は、パラメタテーブル３０２を最適化する処理（パラメタテーブル最適化処理）の一例を示すフローチャートである。

【0061】

パラメタテーブル最適化処理において、パラメタテーブル最適化部５０１は、ＣＮＮ（推論器）の認識精度を測定する（Ｓ１４１）。ステップＳ１４１では、パラメタテーブル最適化部５０１は、決定された並列度に応じた数の基本回路３００とパラメタテーブルの回路構成とを用いた推論器を使用してシミュレーションを実行する。シミュレーションは、適当な入力データを用いた推論である。そして、シミュレーション結果を正解と比較すること等によって、認識精度を得る。

【0062】

パラメタテーブル最適化部５０１は、認識精度が第１の基準値以上であるか否か確認する（ステップＳ１４２）。第１の基準値は、あらかじめ定められたしきい値である。認識精度が第１の基準値以上である場合には、パラメタテーブル最適化部５０１は、パラメタテーブル３０２の回路面積を見積もる。そして、パラメタテーブル３０２の回路面積が第２の基準値以下であるか否か確認する（ステップＳ１４４）。第２の基準値は、あらかじめ定められたしきい値である。パラメタテーブル最適化部５０１は、例えば、パラメタテーブル３０２を構成する組み合わせ回路における論理回路の数に基づいて、パラメタテーブル３０２の回路面積を見積もることができる。

【0063】

パラメタテーブル３０２の回路面積が第２の基準値以下である場合には、パラメタテーブル最適化部５０１は、パラメタテーブル最適化処理を終了する。

【0064】

認識精度が第１の基準値未満である場合、または、パラメタテーブル３０２の回路面積が第２の基準値を超える場合には、パラメタテーブル最適化部５０１は、パラメタ値を変更する（ステップＳ１４３）。そして、ステップＳ１４１に移行する。

【0065】

ステップＳ１４３において、パラメタテーブル最適化部５０１は、認識精度が第１の基準値未満である場合には、認識精度が向上すると想定される方向にパラメタ値を変更する。認識精度が向上すると想定される方向が不明である場合には、パラメタテーブル最適化部５０１は、カットアンドトライ（cut and try ）でパラメタ値を変更してもよい。

【0066】

ステップＳ１４３において、パラメタテーブル最適化部５０１は、パラメタテーブル３０２の回路面積が第２の基準値を超える場合には、パラメタテーブル３０２の回路面積が小さくなるようにパラメタ値を変更する。パラメタテーブル３０２の回路面積を小さくするためのパラメタ値の変更方法として、例えば、以下のような方法がある。

【0067】

・パラメタテーブル３０２において、絶対値が所定のしきい値よりも小さいパラメタ値を０に変更する。
・パラメタテーブル３０２において、所定のしきい値よりも大きいパラメタ値（正数）を、パラメタテーブル３０２における最大のパラメタ値で置き換える。
・所定のしきい値よりも小さいパラメタ値（負数）を、パラメタテーブル３０２における最小のパラメタ値で置き換える。
・パラメタテーブル３０２における所定の領域毎に、代表的な値を設定し、領域内の全てのパラメタ値を代表的な値に置き換える。なお、代表的な値は、一例として、偶数の値、奇数の値、最頻値などである。
・パラメタ値を、パラメタテーブル３０２における近傍のパラメタ値に置き換える。

【0068】

なお、パラメタテーブル最適化部５０１は、上記の複数の方法のうちの１つの方法を用いてもよいが、上記の複数の方法のうちの２つ以上の方法を併用してもよい。

【0069】

図７は、パラメタ値の変更方法の一例を示す説明図である。図７には、３×３のサイズのパラメタテーブルが例示されている。図７（Ａ）には、パラメタ値が変更される前のパラメタテーブル３０２ａが示されている。図７（Ｂ）には、パラメタ値が変更された後のパラメタテーブル３０２ｂが示されている。

【0070】

図７に示す例では、所定のしきい値である「３」よりも小さいパラメタ値が「０」に変更されている。

【0071】

上記の各方法に共通する目的は、パラメタテーブル３０２において、同じ値が頻出する、すなわち、同値のパラメタ値が増加するか、または、同じパターンが連続するようにすることである。なお、同じパターンが連続するという意味は、例えば、パラメタ値「１」「２」「３」（同じパターンの一例）のパターンが連続して出現するということである。

【0072】

上述したように、パラメタテーブル３０２が組み合わせ回路で実現される場合、パラメタ値の種類が少ないほど、組み合わせ回路の回路規模が小さくなる。また、同じパターンが連続する場合にも、組み合わせ回路の回路規模が小さくなることが期待される。

【0073】

本実施形態では、情報処理回路設計装置５００は、推論器の認識精度が所望のレベル以上（具体的には、第１の基準値以上）であり、かつ、回路面積が所望のサイズ以下（具体的には、第２の基準値以下）になった場合に、パラメタテーブル最適化処理を終了する。

【0074】

図５に戻り、演算器生成部５０４は、層毎の演算器の回路構成を生成して出力する（ステップＳ１５，Ｓ１７）。すなわち、演算器生成部５０４は、並列度決定部５０３が決定した層毎の並列度に応じた演算器の回路構成を出力する。なお、本実施形態では、各層の基本回路３００があらかじめ決められているので、演算器生成部５０４は、並列度決定部５０３が決定した並列度に応じた数の基本回路３００（具体的には、層に特化した積和回路３０１）を生成する。

【0075】

パラメタテーブル生成部５０２は、パラメタテーブル３０２の回路構成を生成して出力する（ステップＳ１６，Ｓ１７）。すなわち、パラメタテーブル生成部５０２は、パラメタテーブル最適化部５０１が最適化したパラメタ値を出力するための回路構成を生成して出力する。パラメタ値を出力するための回路構成は、例えば、図３（Ｂ）に例示されたような真理値表を実現する組み合わせ回路の構成である。

【0076】

なお、図５のフローチャートでは、ステップＳ１４～Ｓ１６の処理が順次に実行されるが、ステップＳ１４，Ｓ１６の処理とステップＳ１５の処理とは、並行して実行可能である。

【0077】

また、ステップＳ１４の処理を実行するパラメタテーブル最適化部５０１が設けられていない場合でも、並列度決定部５０３が適切な並列度を決定することによって、回路規模が小さくなるという効果を得ることができる。

【0078】

以上に説明したように、本実施形態の情報処理回路としての推論器において、パラメタテーブル３０２は組み合わせ回路で実現されているので、図２１に示されたパラメタ値をメモリから読み出すように構成された情報処理回路に比べて処理速度が向上する。また、推論器において各層の並列度がその層に所望される演算速度などに応じて定められているので、各層がfully-parallelで構成される場合に比べて、全ての層の演算器の稼働率を高く維持することができる。また、本実施形態の推論器は、各層がfully-parallelで構成される場合に比べて、回路規模が小さくなる。その結果、推論器の消費電力が低減する。

【0079】

また、情報処理回路設計装置５００がパラメタ値を最適化するように構成される場合には、推論器の回路規模をより小さくすることができる。

【0080】

なお、本実施形態では、ＣＮＮの推論器を例にして情報処理回路が説明されたが、入力データとパラメタ値とを用いる演算を行う層を有する他のネットワークに本実施形態を適用することができる。また、本実施形態では、入力データとして画像データが用いられているが、画像データ以外を入力データとするネットワークでも、本実施形態を活用することができる。

【0081】

データセンタの電力消費量は多いので、データセンタにおいて深層学習のアルゴリズムが実行される場合に、低消費電力で実行されることが望ましい。本実施形態の情報処理回路を用いる場合には消費電力が低減するので、本実施形態の情報処理回路は、データセンタにおいて有効に活用可能である。

【0082】

また、エッジ側でも、低消費電力が求められる。本実施形態の情報処理回路は、エッジ側においても有効に活用可能である。

【0083】

実施形態２．
図８は、第２の実施形態の情報処理回路を模式的に示す説明図である。本実施形態の情報処理回路は、深層学習を行う情報処理回路が複数の用途（例えば、顔検出用や車検出用など）に用いられる場合であっても、一部のパラメタを更新できるようにすることで、各用途に対応できるようにするものである。

【0084】

本実施形態では、２種類のパラメタを想定する。第１のパラメタ（以下、第１パラメタと記す。）は、深層学習を行うそれぞれの用途で共通に用いられるパラメタである。第２のパラメタ（以下、第２パラメタと記す。）は、用途ごとに個別に用いられるパラメタである。図８では、２種類のパラメタを用いた情報処理回路１０１における演算器２０１，２０２，２０３，２０４，２０５，２０６が例示されている。すなわち、図８には、２種類のパラメタを用いたＣＮＮのうちの６層が例示されている。

【0085】

各演算器２０１，２０２，２０３，２０４，２０５，２０６は、層で使用される第１パラメタ２２１，２２２，２２３，２２４，２２５，２２６および第２パラメタ２３１，２３２，２３３，２３４，２３５，２３６と入力データとを対象として積和演算を実行する。演算器２０１～２０６は、複数の組み合わせ回路で実現される。また、第１パラメタ２２１～２２６および第２パラメタ２３１～２３６も複数の組み合わせ回路で実現される。なお、第１の実施形態の情報処理回路１００との回路構成の違いは、第１パラメタおよび第２パラメタを構成する回路がそれぞれ存在することである。

【0086】

具体的には、第１パラメタを構成する回路は、回路構成を変更できない方式で製造される。一方、第２パラメタを構成する回路は、回路構成を変更できる方式で製造される。回路構成を変更できない方式の一例として、セルベースの回路が挙げられる。また、回路構成を変更できる方式の一例として、ゲートアレイやＦＰＧＡ（Field Programmable Gate Array ）などが挙げられる。以下の説明では、第１パラメタを構成する回路を第１パラメタ出力回路と記し、第２パラメタを構成する回路を第２パラメタ出力回路と記す。また、第１パラメタ出力回路と第２パラメタ出力回路とを含む回路をパラメタ値出力回路と言うことができる。

【0087】

第２パラメタ出力回路は、回路構成を変更できることから、製造時に記憶される情報は任意である。製造時において、第２パラメタ出力回路は、個別の情報を保持していなくてもよく、用途に応じたいずれかのパラメタが保持されていてもよい。第２パラメタ出力回路は、用途に応じて回路が調整される（更新される）ことから、図８では、その状態を示すため、第２パラメタ２３１～２３６を点線で囲って示している。

【0088】

第１の実施形態と同様に、演算器２０１～２０６のそれぞれにおいて並列演算が実行される。並列演算における１つの演算を実行する回路を基本回路とする。また、基本回路は、層の種類に応じてあらかじめ決定されている。

【0089】

図９は、第２の実施形態の情報処理回路の基本回路の構成例を示す説明図である。図９には、６つの層のそれぞれの演算器（回路）２０１，２０２，２０３，２０４，２０５，２０６が例示されている。各層において、並列処理数の基本回路３１０が設けられる。図９には、演算器２０３に含まれる基本回路３１０が例示されているが、他の層の演算器２０１，２０２，２０４，２０５，２０６も同様の回路構成を有する。

【0090】

基本回路３１０は、積和回路３０１と、レジスタ３０３と、第１パラメタテーブル３０４と、第２パラメタテーブル３０５とを含む。積和回路３０１は、第１の実施形態と同様、入力データと第１パラメタテーブル３０４および第２パラメタテーブル３０５からのパラメタ値を乗算し、乗算値を加算する回路である。なお、全ての基本回路３１０が同様の構成である必要はなく、例えば、複数の基本回路３１０のうち１つ以上に積和回路３０１と第１パラメタテーブル３０４と第２パラメタテーブル３０５とが含まれていてもよい。

【0091】

第１パラメタテーブル３０４は、上述する第１パラメタ出力回路に対応し、本実施形態の情報処理回路１０１を用いた深層学習を行う各用途で共通に用いられるパラメタを格納するテーブルである。また、第２パラメタテーブル３０５は、上述する第２パラメタ出力回路に対応し、用途ごとに個別に用いられるパラメタを格納するテーブルである。

【0092】

上述するように、図９に示す例では、基本回路３１０は、入力データと、第１パラメタテーブル３０４および第２パラメタテーブル３０５からのパラメタ値とを乗算し、乗算値を加算する積和回路３０１を含む。なお、図９には、パラメタ値を格納する第１パラメタテーブル３０４および第２パラメタテーブル３０５を例示する。ただし、実際には、第１パラメタテーブル３０４および第２パラメタテーブル３０５は、第１の実施形態のパラメタテーブル３０２と同様、記憶部（記憶回路）に記憶されているのではなく、組み合わせ回路で実現される。

【0093】

図９に示された演算器２０３は、制御部４００を含む。第１パラメタテーブル３０４および第２パラメタテーブル３０５におけるパラメタ値が、第１の実施形態と同様に指定アドレスに応じた出力データとして実現される場合には、制御部４００は、所望のタイミングで、出力データに対応する指定アドレスのデータを第１パラメタテーブル３０４に供給する。第１パラメタテーブル３０４を介した第２パラメタテーブル３０５は、指定アドレスに応じた出力データ、すなわち、パラメタ値を積和回路３０１に出力する。なお、所望のタイミングは、積和回路３０１が、第１パラメタテーブル３０４および第２パラメタテーブル３０５から出力されるべきパラメタ値を用いて乗算処理を実行する時点である。

【0094】

次に、図９に例示された演算器の設計方法を説明する。

【0095】

図１０は、ＣＮＮの各層における第１パラメタテーブルおよび第２パラメタテーブルの回路構成並びに演算器の回路構成を設計する情報処理回路設計装置の一例を示すブロック図である。図１０に示す例では、情報処理回路設計装置５１０は、パラメタテーブル最適化部５１１、パラメタテーブル生成部５１２、並列度決定部５１３、演算器生成部５１４、およびパラメタテーブル分割部５１５を含む。なお、情報処理回路設計装置５１０にパラメタテーブル分割部５１５が存在すること以外については、第１の実施形態の情報処理回路設計装置５００と同様の構成である。

【0096】

並列度決定部５１３は、ネットワーク構造（具体的には、ネットワーク構造を示すデータ。）を入力する。演算器生成部５１４は、層毎の演算器の回路構成を出力する。パラメタテーブル最適化部５１１は、学習フェーズで学習された複数のパラメタセット（各層における重み）と、並列度決定部５１３が決定した並列度を入力する。複数のパラメタセットは、具体的には、用途ごとに用いられるニューラルネットワークのパラメタセットである。

【0097】

以下の説明では、２種類のパラメタセット（以下、パラメタセットＡ、パラメタセットＢと記す。）が入力される場合について説明する。上述の例では、パラメタセットＡが顔検出用に用いられるパラメタセットであり、パラメタセットＢが車検出用に用いられるパラメタセットである。ただし、パラメタセットの種類は２種類に限定されず、３種類以上であってもよい。

【0098】

並列度決定部５１３は、層毎の並列度を決定する。なお、並列度決定部５１３が層毎の並列度を決定する方法は、第１の実施形態と同様である。また、パラメタテーブル最適化部５１１は、パラメタセットごとに、入力された層毎のパラメタと、並列度決定部５１３が決定した層毎の並列度とに基づいて、パラメタテーブルを最適化する。第１の実施形態と同様、パラメタテーブルの個数は並列度で決まり、パラメタテーブル最適化部５１１は、パラメタセットごとに各パラメタテーブルにおけるそれぞれのパラメタを最適化する。なお、最適化の方法は後述される。

【0099】

パラメタテーブル分割部５１５は、最適化された各パラメタセットのパラメタテーブルを、各パラメタセットで共通する共通部と、共通部以外の個別部とに分割する。具体的には、パラメタテーブル分割部５１５は、パラメタ値を出力する組み合わせ回路として、各パラメタセットで共通する論理演算を計算する組み合わせ回路（すなわち、共通部）と、パラメタテーブルの入力に加えて前記共通部の出力を入力して個別の論理演算を計算する組み合わせ回路（すなわち、個別部）とに分割した回路を作成する。また、パラメタテーブル分割部５１５は、パラメタ値を出力する組み合わせ回路として、各パラメタセットで共通するパラメタテーブル（すなわち、共通部）を実現する組み合わせ回路と、共通部を除く各パラメタセットにおけるパラメタテーブル（すなわち、個別部）を実現する組み合わせ回路とに分割した回路を作成してもよい。

【0100】

具体的には、パラメタテーブル分割部５１５は、各パラメタセットのパラメタテーブルを表わす論理式を作成する。そして、パラメタテーブル分割部５１５は、作成した各パラメタセットの論理式のうち、共通する論理式を共通部として抽出し、残りの論理式（すなわち、共通していない論理式）を各パラメタセットの個別部とする。この共通部を実現する組み合わせ回路が、上述する第１パラメタ出力回路に対応し、個別部を実現する組み合わせ回路が、上述する第２パラメタ出力回路に対応する。すなわち、パラメタテーブル分割部５１５は、このように共通部および個別部を実現する。

【0101】

共通部として生成できる回路面積が、個別部として生成される回路面積より大きいほど、総回路面積は小さくなる。すなわち、個別部が占める回路面積と共通部が占める回路面積の和に対する共通部が占める回路面積の割合が大きいほど面積効率は良い（言い換えると、個別部が占める回路面積の割合が小さいほど面積効率は良い）と言える。共通部および個別部の回路面積は、例えば、各組み合わせ回路における論理回路の数に基づいて、各々見積もることができる。

【0102】

パラメタテーブル生成部５１２は、第１パラメタテーブル３０４および第２パラメタテーブル３０５（すなわち、共通部および個別部）を実現するための回路構成を、パラメタテーブルの回路構成として出力する。なお、上述したように、第１パラメタテーブル３０４および第２パラメタテーブル３０５は、記憶回路で実現されるのではなく、組み合わせ回路で実現される。

【0103】

演算器生成部５１４は、並列度決定部５１３が決定した層毎の並列度を入力する。演算器生成部５１４は、並列度が示す数の基本回路３１０を並べた回路構成を、層毎に生成する。そして、演算器生成部５１４は、生成した層毎の回路構成を、演算器回路の構成として出力する。

【0104】

図１１は、パラメタテーブルを分割する処理の一例を示す説明図である。図１１に示す例では、パラメタセットＡを最適化したパラメタテーブルを実現する回路をパラメタＡ回路３０２１と示し、パラメタセットＢを最適化したパラメタテーブルを実現する回路をパラメタＢ回路３０２２と示す。

【0105】

パラメタテーブル分割部５１５は、パラメタＡ回路３０２１とパラメタＢ回路３０２２のうち、共通部として、それぞれＡ回路（Ａ－１）およびＢ回路（Ｂ－１）を抽出する。その結果、Ａ回路（Ａ－２）およびＢ回路（Ｂ－２）が、各パラメタセットの個別部になる。そして、パラメタテーブル分割部５１５は、Ａ回路（Ａ－１）およびＢ回路（Ｂ－１）を第１パラメタテーブル３０４（共通部）とし、Ａ回路（Ａ－２）またはＢ回路（Ｂ－２）を第２パラメタテーブル３０５（個別部）とする。

【0106】

次に、図１２のフローチャートを参照して、第２の実施形態の情報処理回路設計装置の動作を説明する。図１２は、第２の実施形態の情報処理回路設計装置５１０の動作を示すフローチャートである。

【0107】

パラメタテーブル最適化部５１１は、学習フェーズで学習された顔検出用・車検出用などの複数種類のパラメタセット（複数のパラメタ値）を入力し、並列度決定部５１３は、あらかじめ決められているネットワーク構造を示すデータを入力する（ステップＳ２１）。

【0108】

並列度決定部５０３は、層毎の並列度を決定する（ステップＳ２２）。並列度の決定方法は、第１の実施形態で用いた方法と同様である。

【0109】

パラメタテーブル最適化部５１１は、決定された並列度に応じて、層毎にパラメタテーブルを生成する（ステップＳ２３）。さらに、パラメタテーブル最適化部５１１は、生成したパラメタテーブルを最適化し（ステップＳ２４）、最適化されたパラメタセットをそれぞれ２つ（すなわち、共通部と個別部）に分割する（ステップＳ２５）。

【0110】

ここで、パラメタテーブルを最適化する処理について詳述する。図１３は、パラメタテーブルを最適化する処理（パラメタ値変更処理）の一例を示すフローチャートである。

【0111】

パラメタ値変更処理において、パラメタテーブル分割部５１５は、上述したように、パラメタセットごとのパラメタテーブルを各々共通部と個別部とに分割する（ステップＳ２５１）。ただし、共通部がない場合は、パラメタテーブル分割部５１５は、分割を行わない。さらに、パラメタテーブル最適化部５１１は、複数種類のパラメタセット（例えば、パラメタセットＡおよびパラメタセットＢ）を用いたＣＮＮ（推論器）の認識精度を各々測定する（ステップＳ２５２）。そして、パラメタテーブル最適化部５１１は、各パラメタセットを用いたＣＮＮの認識精度が基準値（以下、精度基準値と記すこともある。）以上か否か判定する（ステップＳ２５３）。

【0112】

例えば、パラメタセットが２種類（パラメタセットＡおよびパラメタセットＢ）の場合、パラメタテーブル最適化部５１１は、パラメタセットＡを用いたＣＮＮの認識精度が第１の基準値以上であり、かつ、パラメタセットＢを用いたＣＮＮの認識精度が第２の基準値以上か否か判定する。

【0113】

各認識精度が基準値（精度基準値）以上の場合（ステップＳ２５３におけるＹｅｓの場合）は、ステップＳ２５４に移行する。第１の基準値および第２の基準値は、あらかじめ定められたしきい値である。一方、各認識精度が基準値（精度基準値）以上でない場合（ステップＳ２５３におけるＮｏの場合）は、ステップＳ２５５に移行する。

【0114】

ステップＳ２５４において、パラメタテーブル最適化部５１１は、共通部が占める回路面積を見積もる。そして、共通部の面積が基準値（以下、第３の基準値または面積基準値と記す。）以上の場合（ステップＳ２５４におけるＹｅｓの場合）、処理は終了する。第３の基準値は、あらかじめ定められたしきい値である。一方、共通部の面積が基準値（面積基準値）以上でない場合（ステップＳ２５４におけるＮｏの場合）、ステップＳ２５５に移行する。

【0115】

ステップＳ２５５において、パラメタテーブル最適化部５１１は、パラメタテーブルにおけるパラメタ値（具体的には、第１パラメタ値および第２パラメタ値の少なくとも１つ）を変更する。パラメタテーブル最適化部５１１は、例えば、共通部が占める回路面積が第３の基準値未満である場合には、回路面積が向上すると想定される方向にパラメタテーブルのパラメタ値を変更する。回路面積が向上すると想定される方向が不明である場合には、パラメタテーブル最適化部５１１は、カットアンドトライ（cut and try ）でパラメタ値を変更してもよい。

【0116】

以降、パラメタテーブル最適化部５１１は、ステップＳ２５２以下の処理を繰り返す。すなわち、パラメタテーブル最適化部５１１は、第１パラメタ値および第２パラメタ値のうち少なくとも１つを繰り返し変更する。なお、ステップＳ２５５にてパラメタ値を変更した結果、認識精度が基準値に達しない場合には、パラメタテーブル最適化部５１１は、ステップＳ２５５で変更された値を変更する前の元の値に戻してもよい。また、パラメタ値を何度変更しても、認識精度および回路面積が基準値に達しない場合には、パラメタテーブル最適化部５１１は、パラメタ値の変更回数が回数制限に達したときに、パラメタ値変更処理を終了してもよい。

【0117】

図１４は、パラメタ値を変更する前の真理値表の一例を示す説明図である。図１４には、パラメタ変更前の回路Ａ（パラメタＡ回路３０２１）の真理値表と、パラメタ変更前の回路Ｂ（パラメタＢ回路３０２２）の真理値表の一例が示されている。

【0118】

回路Ａの真理値表４０１において、指定アドレスＡ，Ｂ，Ｃのそれぞれは、組み合わせ回路の入力であり、パラメタＺ１は、組み合わせ回路の出力である。すなわち、Ｚ１を、指定アドレスＡ，Ｂ，Ｃに対する出力データと見なすことができる。

【0119】

同様に、回路Ｂの真理値表４０２において、指定アドレスＡ，Ｂ，Ｃのそれぞれは、組み合わせ回路の入力であり、パラメタＺ２は、組み合わせ回路の出力である。また、Ｚ２を、指定アドレスＡ，Ｂ，Ｃに対する出力データと見なすことができる。

【0120】

真理値表４０１において、出力されるパラメタ（Ｚ１）を論理式で表すと、Ａ＆（ＮＯＴ Ｂ）＆Ｃ｜Ａ＆Ｂ＆Ｃである。また、真理値表４０２において、出力されるパラメタ（Ｚ２）を論理式で表すと、Ａ＆（ＮＯＴ Ｂ）＆Ｃ｜（ＮＯＴ Ａ）＆Ｂ＆（ＮＯＴ Ｃ）である。この場合、Ａ＆（ＮＯＴ Ｂ）＆Ｃは、各パラメタテーブルで共通している。したがって、Ａ＆（ＮＯＴ Ｂ）＆Ｃを共通部（Ｄ）とすると、変換後の式は、Ｄ＝Ａ＆（ＮＯＴ Ｂ）＆Ｃ，Ｚ１＝Ｄ｜Ａ＆Ｂ＆Ｃ，Ｚ２＝Ｄ｜（ＮＯＴ Ａ）＆Ｂ＆（ＮＯＴ Ｃ）となる。

【0121】

一方、図１５は、図１４に例示するパラメタ値を変更した後の真理値表の一例を示す説明図である。図１５には、パラメタ変更後の回路Ａ（パラメタＡ回路３０２１）の真理値表と、パラメタ変更後の回路Ｂ（パラメタＢ回路３０２２）の真理値表の一例が示されている。具体的には、真理値表４１２において、下線で示す最終行のパラメタ値（Ｚ２）が０から１に変更されている。

【0122】

真理値表４１１において、出力されるパラメタ（Ｚ１）を論理式で表すと、Ａ＆（ＮＯＴ Ｂ）＆Ｃ｜Ａ＆Ｂ＆Ｃである。また、真理値表４１２において、出力されるパラメタ（Ｚ２）を論理式で表すと、Ａ＆（ＮＯＴ Ｂ）＆Ｃ｜（ＮＯＴ Ａ）＆Ｂ＆（ＮＯＴ Ｃ）｜Ａ＆Ｂ＆Ｃである。この場合、Ａ＆（ＮＯＴ Ｂ）＆Ｃ｜Ａ＆Ｂ＆Ｃは、各パラメタテーブルで共通している。したがって、Ａ＆（ＮＯＴ Ｂ）＆Ｃ｜Ａ＆Ｂ＆Ｃを共通部（Ｄ）とすると、変換後の式は、Ｄ＝Ａ＆（ＮＯＴ Ｂ）＆Ｃ｜Ａ＆Ｂ＆Ｃ，Ｚ１＝Ｄ，Ｚ２＝Ｄ｜（ＮＯＴ Ａ）＆Ｂ＆（ＮＯＴ Ｃ）となる。

【0123】

ここで、変更前（図１４）と変更後（図１５）における第１パラメタテーブル３０４および第２パラメタテーブル３０５の回路面積を比較する。共通部（Ｄ）は、変更後の方が、変更前よりＡ＆Ｂ＆Ｃを実現する回路の分だけ大きくなっている。一方、個別部（Ｚ１）は、変更後の方が、変更前よりＡ＆Ｂ＆Ｃを実現する回路の分だけ小さくなっている。すなわち、変更後は、変更前に比べて共通部の面積割合が大きく、個別部の面積割合が小さくなっている。したがって、変更後の方が、面積効率が良いと言える。

【0124】

図１２に戻り、演算器生成部５１４は、層毎の演算器の回路構成を生成して出力する（ステップＳ２６，Ｓ２９）。すなわち、演算器生成部５１４は、並列度決定部５１３が決定した層毎の並列度に応じた演算器の回路構成を出力する。なお、本実施形態では、各層の基本回路３１０があらかじめ決められているので、演算器生成部５１４は、並列度決定部５１３が決定した並列度に応じた数の基本回路３１０（具体的には、層に特化した積和回路３０１）を生成する。

【0125】

パラメタテーブル生成部５１２は、第１パラメタテーブル３０４および第２パラメタテーブル３０５の回路構成を生成して出力する（ステップＳ２７，Ｓ２８，Ｓ２９）。すなわち、パラメタテーブル生成部５１２は、パラメタテーブル最適化部５１１が最適化し、パラメタテーブル分割部５１５が分割したパラメタ値を出力するための回路構成を生成して出力する。パラメタ値を出力するための回路構成は、第１パラメタテーブル回路および第２パラメタテーブル回路の構成である。

【0126】

なお、図１２のフローチャートでは、ステップＳ２４～Ｓ２８の処理が順次に実行されるが、ステップＳ２５，Ｓ２７，Ｓ２８の処理とステップＳ２６の処理とは、並行して実行可能である。

【0127】

上述するように、第１パラメタテーブル回路および第２パラメタテーブル回路は、組み合わせ回路で生成される。第１パラメタテーブル回路の製造方法は、製造後に回路構成を変更できない方式、例えば、セルベース方式で製造される。また、第２パラメタテーブル回路の製造方法は、製造後に回路構成を変更できる方式、例えば、ゲートアレイ方式やＦＰＧＡ方式などで製造される。

【0128】

図１６は、各製造方法における製造後の回路の特徴を示す説明図である。セルベース方式で製造された回路は、製造後の回路変更は「不可」であるが、回路面積を小さくすることができる。一方、ＦＰＧＡ方式で製造された回路は、製造後の回路変更は「可能」であるが、回路面積は大きくなる。また、ゲートアレイ方式で製造された回路は、ある程度変更可能と言えるが、回路面積はセルベース方式よりも大きくなる。製造後の回路面積の規模を小さくするためには、回路はセルベース方式で製造される方が望ましい。しかし、製造後に回路を変更したい場合は、セルベース方式では困難であるため、回路はゲートアレイ方式やＦＰＧＡ方式で製造される方が望まれる。

【0129】

一方、本実施形態の情報処理回路は、組み合わせ回路で構成されるパラメタ値出力回路として、回路構成を変更できない方式（例えば、セルベース方式）で製造された第１パラメタ値出力回路と、回路構成を変更できる方式（例えば、ＦＰＧＡ方式、ゲートアレイ方式）で製造された第２パラメタ値出力回路とを含むように構成される。

【0130】

具体的には、第１パラメタ値出力回路は、第１パラメタテーブル３０４に基づいて製造され、ＣＮＮに用いられる複数種類のパラメタセットのうち、いずれの種類のパラメタセットにおいても用いられる論理演算を計算する第１パラメタ値を出力する。また、第２パラメタ値出力回路は、製造後に回路構成を変更できる方式で製造され、製造後に第２パラメタテーブル３０５に基づいて調整され、パラメタテーブルの入力に加えて第１パラメタ値出力回路の出力を入力して個別の論理演算を計算する第２パラメタ値を出力する。このように、共通化できるパラメタを固定化しつつ、各用途で個別に使用されるパラメタを変更可能とすることで、面積効率を保ちつつ、重み（パラメタ）を更新することが可能になる。

【0131】

以上に説明したように、本実施形態の情報処理回路としての推論器は、入力データとパラメタ値とを用いて積和演算を行う積和回路と、パラメタ値を出力するパラメタ値出力回路とを含む。また、パラメタ値出力回路は、組み合わせ回路で構成され、回路構成を変更できない方式で製造された第１パラメタ値出力回路と、回路構成を変更できる方式で製造された第２パラメタ値出力回路とを含む。その結果、本実施形態の推論器は、面積効率を保ちつつ、重み（パラメタ）を更新することが可能になる。具体的には、本実施形態の推論器では、製造後に、パラメタテーブルの入力に加えて第１パラメタ値出力回路の出力を入力して個別の論理演算の計算結果を、第２パラメタ値出力回路が出力するように調整できる。

【0132】

図４および図１０に示された情報処理回路設計装置５００，５１０における各構成要素は、１つのハードウエア、または、１つのソフトウエアで構成可能である。また、各構成要素は、複数のハードウエア、または、複数のソフトウエアでも構成可能である。また、各構成要素の一部をハードウエアで構成し、他部をソフトウエアで構成することもできる。

【0133】

また、第２の実施形態のパラメタテーブル最適化部５１１、パラメタテーブル分割部５１５およびパラメタテーブル生成部５１２によって、パラメタ値（より具体的には、第１パラメタ値および第２パラメタ値）を出力する回路が作成される。このことから、パラメタテーブル最適化部５１１、パラメタテーブル分割部５１５およびパラメタテーブル生成部５１２をまとめて、パラメタ値出力回路作成手段（より詳しくは、第１パラメタ値出力回路作成手段および第２パラメタ値出力回路作成手段）と言うことができる。

【0134】

図１７は、ＣＰＵを有するコンピュータの一例を示すブロック図である。情報処理回路設計装置５００，５１０における各構成要素が、ＣＰＵ（Central Processing Unit ）等のプロセッサやメモリ等を有するコンピュータで実現される場合には、例えば、図１７に示すＣＰＵを有するコンピュータで実現可能である。図１７に、ＣＰＵ１０００に接続された、記憶装置１００１およびメモリ１００２を示す。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理（情報処理回路設計処理）を実行することによって、図４および図１０に示された情報処理回路設計装置５００，５１０における各機能を実現する。すなわち、コンピュータは、図４および図１０に示された情報処理回路設計装置５００，５１０におけるパラメタテーブル最適化部５０１，５１１、パラメタテーブル生成部５０２，５１２、並列度決定部５０３，５１３、演算器生成部５０４，５１４、およびパラメタテーブル分割部５１５の機能を実現する。

【0135】

記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）のいずれかである。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、ハードディスク）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ－Ｒ（Compact Disc-Recordable ）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。

【0136】

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。

【0137】

メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。

【0138】

図１８は、情報処理回路の主要部を示すブロック図である。情報処理回路１０は、深層学習における層の演算を実行する情報処理回路であって、入力データとパラメタ値とを用いて積和演算を行う積和回路１１（実施形態では、積和回路３０１で実現される。）と、パラメタ値を出力するパラメタ値出力回路１２（実施形態では、第１パラメタテーブル３０４および第２パラメタテーブル３０５で実現される。）とを含み、パラメタ値出力回路１２は、組み合わせ回路で構成され、回路構成を変更できない方式で製造された第１パラメタ値出力回路１３（実施形態では、第１パラメタテーブル３０４で実現される。）と、回路構成を変更できる方式で製造された第２パラメタ値出力回路１４（実施形態では、第２パラメタテーブル３０５で実現される。）とを含む。

【0139】

図１９は、情報処理回路設計装置の主要部を示すブロック図である。情報処理回路設計装置２０は、学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力する入力手段２１（実施形態では、パラメタテーブル最適化部５１１の一部および並列度決定部５１３の一部として実現される。）と、入力データとパラメタ値とを用いて積和演算を行う回路であってネットワーク構造における層に特化した積和回路を作成する演算器生成手段２２（実施形態では、演算器生成部５１４で実現される。）と、複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路を作成するパラメタ値出力回路作成手段２３（実施形態では、パラメタテーブル最適化部５１１、パラメタテーブル分割部５１５、およびパラメタテーブル生成部５１２で実現される。）とを含み、パラメタ値出力回路作成手段２３は、回路構成を変更できない方式で実現される第１パラメタ値出力回路を作成する第１パラメタ値出力回路作成手段２４（実施形態では、パラメタテーブル最適化部５１１、パラメタテーブル分割部５１５およびパラメタテーブル生成部５１２で実現される。）と、回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する第２パラメタ値出力回路作成手段２５（実施形態では、パラメタテーブル最適化部５１１、パラメタテーブル分割部５１５およびパラメタテーブル生成部５１２で実現される。）とを含む。

【0140】

上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。

【0141】

（付記１）深層学習における層の演算を実行する情報処理回路であって、
入力データとパラメタ値とを用いて積和演算を行う積和回路と、
前記パラメタ値を出力するパラメタ値出力回路とを備え、
前記パラメタ値出力回路は、組み合わせ回路で構成され、
回路構成を変更できない方式で製造された第１パラメタ値出力回路と、
回路構成を変更できる方式で製造された第２パラメタ値出力回路と
を含むことを特徴とする情報処理回路。

【0142】

（付記２）前記第１パラメタ値出力回路は、深層学習を行うそれぞれの用途で共通に用いられるパラメタ値を出力し、
前記第２パラメタ値出力回路は、前記用途ごとに個別に用いられるパラメタ値を出力する
付記１の情報処理回路。

【0143】

（付記３）並列処理数に応じた数の基本回路を備え、
複数の前記基本回路のうち１つ以上は、前記積和回路と前記第１パラメタ値出力回路と前記第２パラメタ値出力回路とを含む
付記１または付記２の情報処理回路。

【0144】

（付記４）深層学習における層の演算を実行する情報処理回路を生成する情報処理回路の設計方法であって、
学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力し、
入力データとパラメタ値とを用いて積和演算を行う回路であって前記ネットワーク構造における層に特化した積和回路を作成し、
前記複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路として、
回路構成を変更できない方式で実現される第１パラメタ値出力回路を作成し、
回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する
ことを特徴とする情報処理回路の設計方法。

【0145】

（付記５）ニューラルネットワークに用いられる複数種類のパラメタセットのうち、いずれの種類のパラメタセットにおいても用いられる第１の論理演算を計算する前記第１パラメタ値出力回路を作成し、
パラメタテーブルの入力に加えて前記第１パラメタ値出力回路の出力を入力して個別の論理演算を計算する前記第２パラメタ値出力回路を作成する
付記４の情報処理回路の設計方法。

【0146】

（付記６）複数種類のパラメタセットを用いたニューラルネットワークにおける情報処理回路の各精度を測定し、
前記第１パラメタ値出力回路の回路面積と、前記第２パラメタ値出力回路の回路面積とを見積り、
前記複数種類のパラメタセットそれぞれを用いた各ニューラルネットワークの精度が予め定めた精度基準値以上であり、かつ、前記第１パラメタ値出力回路の回路面積の割合が予め定めた面積基準値以上であるという条件が満たされるまで、前記第１パラメタ値および前記第２パラメタ値のうち少なくとも１つを繰り返し変更する
付記４または付記５の情報処理回路の設計方法。

【0147】

（付記７）深層学習における層の演算を実行する情報処理回路を生成するための情報処理回路の設計プログラムが格納されたコンピュータ読み取り可能な記録媒体であって、
前記情報処理回路の設計プログラムは、
学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力する処理と、
入力データとパラメタ値とを用いて積和演算を行う回路であって前記ネットワーク構造における層に特化した積和回路を作成する処理と、
前記複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路として、
回路構成を変更できない方式で実現される第１パラメタ値出力回路を作成する処理と、
回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する処理と
をプロセッサに実行させることを特徴とする。

【0148】

（付記８）前記情報処理回路の設計プログラムは、
ニューラルネットワークに用いられる複数種類のパラメタセットのうち、いずれの種類のパラメタセットにおいても用いられる第１の論理演算を計算する前記第１パラメタ値出力回路を作成する処理と、
パラメタテーブルの入力に加えて前記第１パラメタ値出力回路の出力を入力して個別の論理演算を計算する前記第２パラメタ値出力回路を作成する処理とをプロセッサに実行させる
付記７の記録媒体。

【0149】

（付記９）深層学習における層の演算を実行する情報処理回路を生成する情報処理回路設計装置であって、
学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力する入力手段と、
入力データとパラメタ値とを用いて積和演算を行う回路であって前記ネットワーク構造における層に特化した積和回路を作成する演算器生成手段と、
前記複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路を作成するパラメタ値出力回路作成手段とを備え、
前記パラメタ値出力回路作成手段は、
回路構成を変更できない方式で実現される第１パラメタ値出力回路を作成する第１パラメタ値出力回路作成手段と、
回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する第２パラメタ値出力回路作成手段と
を備えたことを特徴とする情報処理回路設計装置。

【0150】

（付記１０）前記第１パラメタ値出力回路作成手段は、ニューラルネットワークに用いられる複数種類のパラメタセットのうち、いずれの種類のパラメタセットにおいても用いられる第１の論理演算を計算する前記第１パラメタ値出力回路を作成し、
前記第２パラメタ値出力回路作成手段は、パラメタテーブルの入力に加えて前記第１パラメタ値出力回路の出力を入力して個別の論理演算を計算する前記第２パラメタ値出力回路を作成する
付記９の情報処理回路設計装置。

【0151】

（付記１１）深層学習における層の演算を実行する情報処理回路を生成するためのプログラムであって、
コンピュータに、
学習済みの複数のパラメタ値を含む複数種類のパラメタセットとネットワーク構造を特定可能なデータとを入力する処理と、
入力データとパラメタ値とを用いて積和演算を行う回路であって前記ネットワーク構造における層に特化した積和回路を作成する処理と、
前記複数種類のパラメタセットにおけるパラメタ値を出力する組み合わせ回路として、
回路構成を変更できない方式で実現される第１パラメタ値出力回路を作成する処理と、
回路構成を変更できる方式で実現される第２パラメタ値出力回路を作成する処理と
を実行させるための情報処理回路の設計プログラム。

【0152】

（付記１２）コンピュータに、
ニューラルネットワークに用いられる複数種類のパラメタセットのうち、いずれの種類のパラメタセットにおいても用いられる第１の論理演算を計算する前記第１パラメタ値出力回路を作成する処理と、
パラメタテーブルの入力に加えて前記第１パラメタ値出力回路の出力を入力して個別の論理演算を計算する前記第２パラメタ値出力回路を作成する処理とを実行させる
付記１１の情報処理回路の設計プログラム。

【0153】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0154】

１０ 情報処理回路
１１ 積和回路
１２ パラメタ値出力回路
１３ 第１パラメタ値出力回路
１４ 第２パラメタ値出力回路
２０ 情報処理回路設計装置
２１ 入力手段
２２ 演算器生成手段
２３ パラメタ値出力回路作成手段
２４ 第１パラメタ値出力回路作成手段
２５ 第２パラメタ値出力回路作成手段
１００，１０１ 情報処理回路
２０１，２０２，２０３，２０４，２０５，２０６ 演算器
２１１，２１２，２１３，２１４，２１５，２１６ パラメタ
２２１，２２２，２２３，２２４，２２５，２２６ 第１パラメタ
２３１，２３２，２３３，２３４，２３５，２３６ 第２パラメタ
３００，３１０ 基本回路
３０１ 積和回路
３０２ パラメタテーブル
３０２１ パラメタＡテーブル
３０２２ パラメタＢテーブル
３０３ レジスタ
３０４ 第１パラメタテーブル
３０５ 第２パラメタテーブル
４００ 制御部
５００，５１０ 情報処理回路設計装置
５０１，５１１ パラメタテーブル最適化部
５０２，５１２ パラメタテーブル生成部
５０３，５１３ 並列度決定部
５０４，５１４ 演算器生成部
５１５ パラメタテーブル分割部
１０００ ＣＰＵ
１００１ 記憶装置
１００２ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】