知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022189771
(43)【公開日】2022-12-22
(54)【発明の名称】半導体装置
(51)【国際特許分類】
G06N 3/063 20060101AFI20221215BHJP
G06T 1/40 20060101ALI20221215BHJP
【ＦＩ】
G06N3/063
G06T1/40
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022092788
(22)【出願日】2022-06-08
(31)【優先権主張番号】17/345,368
(32)【優先日】2021-06-11
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】302062931
【氏名又は名称】ルネサスエレクトロニクス株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】寺島 和昭
(72)【発明者】
【氏名】永吉 功
(72)【発明者】
【氏名】中村 淳
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CH09
5B057CH14
(57)【要約】
【課題】回路面積の低減を実現可能な半導体装置を提供する。
【解決手段】一実施の形態の半導体装置は、ニューラルネットワークの処理を実行するものである。メモリＭＥＭ１は、複数の画素値と、圧縮されたｊ個の重み係数とを保持する。伸張器ＤＣＭＰは、圧縮されたｊ個の重み係数を、非圧縮のｋ（ｋ≧ｊ）個の重み係数に復元する。ＤＭＡコントローラＤＭＡＣ１は、メモリＭＥＭ１から圧縮されたｊ個の重み係数を読み出して伸張器ＤＣＭＰに転送する。アキュムレータユニットＡＣＣＵ内のｎ（ｎ＞ｋ）個のアキュムレータは、複数の画素値と非圧縮のｋ個の重み係数とを乗算し、乗算結果を時系列に累積加算する。スイッチ回路ＳＷ１は、伸張器ＤＣＭＰとアキュムレータユニットＡＣＣＵとの間に設けられ、識別子が表す対応関係に基づいて、伸張器ＤＣＭＰによって復元された非圧縮のｋ個の重み係数をｎ個のアキュムレータに伝送する。
【選択図】図１
【解決手段】一実施の形態の半導体装置は、ニューラルネットワークの処理を実行するものである。メモリＭＥＭ１は、複数の画素値と、圧縮されたｊ個の重み係数とを保持する。伸張器ＤＣＭＰは、圧縮されたｊ個の重み係数を、非圧縮のｋ（ｋ≧ｊ）個の重み係数に復元する。ＤＭＡコントローラＤＭＡＣ１は、メモリＭＥＭ１から圧縮されたｊ個の重み係数を読み出して伸張器ＤＣＭＰに転送する。アキュムレータユニットＡＣＣＵ内のｎ（ｎ＞ｋ）個のアキュムレータは、複数の画素値と非圧縮のｋ個の重み係数とを乗算し、乗算結果を時系列に累積加算する。スイッチ回路ＳＷ１は、伸張器ＤＣＭＰとアキュムレータユニットＡＣＣＵとの間に設けられ、識別子が表す対応関係に基づいて、伸張器ＤＣＭＰによって復元された非圧縮のｋ個の重み係数をｎ個のアキュムレータに伝送する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ニューラルネットワークの処理を実行する半導体装置であって、
複数の画素値と、圧縮されたｊ個の重み係数とを保持する単数または複数のメモリと、
前記圧縮されたｊ個の重み係数を、非圧縮のｋ（ｋ≧ｊ）個の重み係数に復元する伸張器と、
前記メモリから前記圧縮されたｊ個の重み係数を読み出して前記伸張器に転送する第１のＤＭＡ（Direct Memory Access）コントローラと、
前記複数の画素値と前記非圧縮のｋ個の重み係数とを乗算し、乗算結果を時系列に累積加算するｎ（ｎ＞ｋ）個のアキュムレータと、
前記伸張器と前記ｎ個のアキュムレータとの間に設けられ、第１の識別子が表す対応関係に基づいて、前記伸張器によって復元された前記非圧縮のｋ個の重み係数を前記ｎ個のアキュムレータに伝送する第１のスイッチ回路と、
を有する、
半導体装置。
複数の画素値と、圧縮されたｊ個の重み係数とを保持する単数または複数のメモリと、
前記圧縮されたｊ個の重み係数を、非圧縮のｋ（ｋ≧ｊ）個の重み係数に復元する伸張器と、
前記メモリから前記圧縮されたｊ個の重み係数を読み出して前記伸張器に転送する第１のＤＭＡ（Direct Memory Access）コントローラと、
前記複数の画素値と前記非圧縮のｋ個の重み係数とを乗算し、乗算結果を時系列に累積加算するｎ（ｎ＞ｋ）個のアキュムレータと、
前記伸張器と前記ｎ個のアキュムレータとの間に設けられ、第１の識別子が表す対応関係に基づいて、前記伸張器によって復元された前記非圧縮のｋ個の重み係数を前記ｎ個のアキュムレータに伝送する第１のスイッチ回路と、
を有する、
半導体装置。
【請求項2】
請求項１記載の半導体装置において、
さらに、スイッチ制御回路を有し、
前記メモリは、前記圧縮されたｊ個の重み係数を、前記第１の識別子と共に重み係数データセットとして保持し、
前記第１のＤＭＡコントローラは、前記メモリから前記重み係数データセットを読み出し、前記重み係数データセットに含まれる前記圧縮されたｊ個の重み係数を前記伸張器に転送し、
前記スイッチ制御回路は、前記第１のＤＭＡコントローラによって読み出された前記重み係数データセットに含まれる前記第１の識別子に基づいて前記第１のスイッチ回路での前記対応関係を制御する、
半導体装置。
さらに、スイッチ制御回路を有し、
前記メモリは、前記圧縮されたｊ個の重み係数を、前記第１の識別子と共に重み係数データセットとして保持し、
前記第１のＤＭＡコントローラは、前記メモリから前記重み係数データセットを読み出し、前記重み係数データセットに含まれる前記圧縮されたｊ個の重み係数を前記伸張器に転送し、
前記スイッチ制御回路は、前記第１のＤＭＡコントローラによって読み出された前記重み係数データセットに含まれる前記第１の識別子に基づいて前記第１のスイッチ回路での前記対応関係を制御する、
半導体装置。
【請求項3】
請求項１記載の半導体装置において、
前記第１のスイッチ回路は、前記非圧縮のｋ個の重み係数の中の少なくとも一つを、前記ｎ個のアキュムレータの中の２以上に伝送する、
半導体装置。
前記第１のスイッチ回路は、前記非圧縮のｋ個の重み係数の中の少なくとも一つを、前記ｎ個のアキュムレータの中の２以上に伝送する、
半導体装置。
【請求項4】
請求項１記載の半導体装置において、さらに、
前記ｎ個のアキュムレータの出力を前記メモリに転送する第２のＤＭＡコントローラと、
前記ｎ個のアキュムレータと前記第２のＤＭＡコントローラとの間に設けられ、第２の識別子が表す対応関係に基づいて、前記ｎ個のアキュムレータの出力を第２のＤＭＡコントローラ内の複数のチャネルに伝送する第２のスイッチ回路と、
を有する、
半導体装置。
前記ｎ個のアキュムレータの出力を前記メモリに転送する第２のＤＭＡコントローラと、
前記ｎ個のアキュムレータと前記第２のＤＭＡコントローラとの間に設けられ、第２の識別子が表す対応関係に基づいて、前記ｎ個のアキュムレータの出力を第２のＤＭＡコントローラ内の複数のチャネルに伝送する第２のスイッチ回路と、
を有する、
半導体装置。
【請求項5】
請求項４記載の半導体装置において、
さらに、スイッチ制御回路を有し、
前記メモリは、前記圧縮されたｊ個の重み係数を、前記第１の識別子および前記第２の識別子と共に重み係数データセットとして保持し、
前記第１のＤＭＡコントローラは、前記メモリから前記重み係数データセットを読み出し、前記重み係数データセットに含まれる前記圧縮されたｊ個の重み係数を前記伸張器に転送し、
前記スイッチ制御回路は、前記第１のＤＭＡコントローラによって読み出された前記重み係数データセットに含まれる前記第１の識別子および前記第２の識別子に基づいて前記第１のスイッチ回路での前記対応関係および前記第２のスイッチ回路での前記対応関係をそれぞれ制御する、
半導体装置。
さらに、スイッチ制御回路を有し、
前記メモリは、前記圧縮されたｊ個の重み係数を、前記第１の識別子および前記第２の識別子と共に重み係数データセットとして保持し、
前記第１のＤＭＡコントローラは、前記メモリから前記重み係数データセットを読み出し、前記重み係数データセットに含まれる前記圧縮されたｊ個の重み係数を前記伸張器に転送し、
前記スイッチ制御回路は、前記第１のＤＭＡコントローラによって読み出された前記重み係数データセットに含まれる前記第１の識別子および前記第２の識別子に基づいて前記第１のスイッチ回路での前記対応関係および前記第２のスイッチ回路での前記対応関係をそれぞれ制御する、
半導体装置。
【請求項6】
請求項１記載の半導体装置において、
さらに、前記メモリから前記複数の画素値を読み出して前記ｎ個のアキュムレータに転送する第３のＤＭＡコントローラを有する、
半導体装置。
さらに、前記メモリから前記複数の画素値を読み出して前記ｎ個のアキュムレータに転送する第３のＤＭＡコントローラを有する、
半導体装置。
【請求項7】
一つの半導体チップで構成される半導体装置であって、
ニューラルネットワークの処理を実行するニューラルネットワークエンジンと、
複数の画素値と、圧縮されたｊ個の重み係数とを保持する単数または複数のメモリと、
プロセッサと、
前記ニューラルネットワークエンジン、前記メモリおよび前記プロセッサを互いに接続するバスと、
を備え、
前記ニューラルネットワークエンジンは、
前記圧縮されたｊ個の重み係数を、非圧縮のｋ（ｋ≧ｊ）個の重み係数に復元する伸張器と、
前記メモリから前記圧縮されたｊ個の重み係数を読み出して前記伸張器に転送する第１のＤＭＡ（Direct Memory Access）コントローラと、
前記複数の画素値と前記非圧縮のｋ個の重み係数とを乗算し、乗算結果を時系列に累積加算するｎ（ｎ＞ｋ）個のアキュムレータと、
前記伸張器と前記ｎ個のアキュムレータとの間に設けられ、第１の識別子が表す対応関係に基づいて、前記伸張器によって復元された前記非圧縮のｋ個の重み係数を前記ｎ個のアキュムレータに伝送する第１のスイッチ回路と、
前記第１の識別子に基づいて前記第１のスイッチ回路での前記対応関係を制御するスイッチ制御回路と、
を有する、
半導体装置。
ニューラルネットワークの処理を実行するニューラルネットワークエンジンと、
複数の画素値と、圧縮されたｊ個の重み係数とを保持する単数または複数のメモリと、
プロセッサと、
前記ニューラルネットワークエンジン、前記メモリおよび前記プロセッサを互いに接続するバスと、
を備え、
前記ニューラルネットワークエンジンは、
前記圧縮されたｊ個の重み係数を、非圧縮のｋ（ｋ≧ｊ）個の重み係数に復元する伸張器と、
前記メモリから前記圧縮されたｊ個の重み係数を読み出して前記伸張器に転送する第１のＤＭＡ（Direct Memory Access）コントローラと、
前記複数の画素値と前記非圧縮のｋ個の重み係数とを乗算し、乗算結果を時系列に累積加算するｎ（ｎ＞ｋ）個のアキュムレータと、
前記伸張器と前記ｎ個のアキュムレータとの間に設けられ、第１の識別子が表す対応関係に基づいて、前記伸張器によって復元された前記非圧縮のｋ個の重み係数を前記ｎ個のアキュムレータに伝送する第１のスイッチ回路と、
前記第１の識別子に基づいて前記第１のスイッチ回路での前記対応関係を制御するスイッチ制御回路と、
を有する、
半導体装置。
【請求項8】
請求項７記載の半導体装置において、
前記プロセッサは、前記第１のＤＭＡコントローラが前記圧縮されたｊ個の重み係数を前記伸張器に転送する際に、前記スイッチ制御回路に前記第１の識別子を出力する、
半導体装置。
前記プロセッサは、前記第１のＤＭＡコントローラが前記圧縮されたｊ個の重み係数を前記伸張器に転送する際に、前記スイッチ制御回路に前記第１の識別子を出力する、
半導体装置。
【請求項9】
請求項７記載の半導体装置において、
前記第１のスイッチ回路は、前記非圧縮のｋ個の重み係数の中の少なくとも一つを、前記ｎ個のアキュムレータの中の２以上に伝送する、
半導体装置。
前記第１のスイッチ回路は、前記非圧縮のｋ個の重み係数の中の少なくとも一つを、前記ｎ個のアキュムレータの中の２以上に伝送する、
半導体装置。
【請求項10】
請求項７記載の半導体装置において、
前記ニューラルネットワークエンジンは、さらに、
前記ｎ個のアキュムレータの出力を前記メモリに転送する第２のＤＭＡコントローラと、
前記ｎ個のアキュムレータと前記第２のＤＭＡコントローラとの間に設けられ、第２の識別子が表す対応関係に基づいて、前記ｎ個のアキュムレータの出力を第２のＤＭＡコントローラに伝送する第２のスイッチ回路と、
を有する、
半導体装置。
前記ニューラルネットワークエンジンは、さらに、
前記ｎ個のアキュムレータの出力を前記メモリに転送する第２のＤＭＡコントローラと、
前記ｎ個のアキュムレータと前記第２のＤＭＡコントローラとの間に設けられ、第２の識別子が表す対応関係に基づいて、前記ｎ個のアキュムレータの出力を第２のＤＭＡコントローラに伝送する第２のスイッチ回路と、
を有する、
半導体装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、半導体装置に関し、例えば、ニューラルネットワークの処理を実行する半導体装置に関する。
【背景技術】
【0002】
特許文献１（特開２０１９－４０４０３号公報）には、ＣＮＮ（Convolutional Neural Network）における畳み込み演算の演算量を低減するため、統合係数テーブルを用いて演算を行う畳み込み演算処理回路を有する画像認識装置が示される。統合係数テーブルは、Ｎ×Ｎのデータを保持し、Ｎ×Ｎのデータのそれぞれは、係数およびチャネル番号で構成される。畳み込み演算処理回路は、入力画像と係数とのＮ×Ｎの積演算を並列に実行する積演算回路と、当該積演算結果に対してチャネル番号毎の累積加算演算を行い、その加算演算結果をチャネル番号毎の出力レジスタに格納するチャネル選択回路と、を有する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－４０４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、ＣＮＮ等のニューラルネットワークの処理では、メモリに格納される画像データや重み係数データを複数のアキュムレータに伝送する際に、高速化のためＤＭＡ（Direct Memory Access）コントローラを用いることが望ましい。一方、特に、重み係数データのデータ量は、非常に大きくなる場合がある。そこで、メモリ上に予め圧縮された重み係数データを格納し、それを伸張器によって非圧縮の重み係数データに復元した上で複数のアキュムレータに伝送する方式が考えられる。
【0005】
この際には、伸張器の配置方法として、メモリとＤＭＡコントローラとの間に配置する方法や、ＤＭＡコントローラと複数のアキュムレータとの間に配置する方法が考えられる。前者の方法では、複数のアキュムレータを十分に有効活用できない恐れがあった。後者の方法では、複数のアキュムレータのそれぞれに対して伸張器を設ける必要があるため、回路面積の増加や消費電力の増加が生じる恐れがあった。
【0006】
その他の課題と新規な特徴は、本明細書の記載および添付図面から明らかになるであろう。
【課題を解決するための手段】
【0007】
一実施の形態の半導体装置は、ニューラルネットワークの処理を実行するものであり、単数または複数のメモリと、伸張器と、第１のＤＭＡコントローラと、アキュムレータユニットと、第１のスイッチ回路と、を有する。単数または複数のメモリは、複数の画素値と、圧縮されたｊ個の重み係数とを保持する。伸張器は、圧縮されたｊ個の重み係数を、非圧縮のｋ（ｋ≧ｊ）個の重み係数に復元する。第１のＤＭＡコントローラは、メモリから圧縮されたｊ個の重み係数を読み出して伸張器に転送する。アキュムレータユニットは、ｎ（ｎ＞ｋ）個のアキュムレータを有し、複数の画素値と非圧縮のｋ個の重み係数とを乗算し、乗算結果を時系列に累積加算する。第１のスイッチ回路は、伸張器とアキュムレータユニットとの間に設けられ、第１の識別子が表す対応関係に基づいて、伸張器によって復元された非圧縮のｋ個の重み係数をｎ個のアキュムレータに伝送する。
【発明の効果】
【0008】
一実施の形態の半導体装置を用いることで、回路面積の低減が実現可能になる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
【0011】
以下、実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態では、特に必要なとき以外は同一または同様な部分の説明を原則として繰り返さない。
【0012】
（実施の形態１）
＜半導体装置の概略＞
図１は、本発明の実施の形態１による半導体装置において、主要部の構成例を示す概略図である。図１に示す半導体装置ＤＥＶは、例えば、一つの半導体チップで構成されるＳｏＣ（System on Chip）等である。当該半導体装置ＤＥＶは、代表的には、車両のＥＣＵ（Electronic Control Unit）等に搭載され、ＡＤＡＳ（Advanced Driver Assistance System）の機能を提供する。
＜半導体装置の概略＞
図１は、本発明の実施の形態１による半導体装置において、主要部の構成例を示す概略図である。図１に示す半導体装置ＤＥＶは、例えば、一つの半導体チップで構成されるＳｏＣ（System on Chip）等である。当該半導体装置ＤＥＶは、代表的には、車両のＥＣＵ（Electronic Control Unit）等に搭載され、ＡＤＡＳ（Advanced Driver Assistance System）の機能を提供する。
【0013】
図１に示す半導体装置ＤＥＶは、ニューラルネットワークエンジンＮＮＥと、ＣＰＵ（Central Processing Unit）等のプロセッサＰＲＣと、単数または複数のメモリＭＥＭ１，ＭＥＭ２と、システムバスＳＢＵＳとを有する。ニューラルネットワークエンジンＮＮＥは、ＣＮＮを代表とするニューラルネットワークの処理を実行する。メモリＭＥＭ１はＤＲＡＭ（Dynamic Random Access Memory）等であり、メモリＭＥＭ２はキャッシュ用のＳＲＡＭ（Static Random Access Memory）等である。システムバスＳＢＵＳは、ニューラルネットワークエンジンＮＮＥ、メモリＭＥＭ１，ＭＥＭ２およびプロセッサＰＲＣを互いに接続する。
【0014】
メモリＭＥＭ１は、複数の画素値を含む画像データＩＭＤと、圧縮された重み係数データＷＦＤＣとを保持する。ここで、重み係数データのデータ量は、非常に大きくなる場合がある。このため、非圧縮の重み係数データＷＦＤは、予め圧縮ソフトウェア等を用いて圧縮された重み係数データＷＦＤＣに変換された上でメモリＭＥＭ１に格納される。メモリＭＥＭ２は、ニューラルネットワークエンジンＮＮＥの高速キャッシュメモリとして用いられる。例えば、メモリＭＥＭ１内の画像データＩＭＤは、予めメモリＭＥＭ２にコピーされる。
【0015】
ニューラルネットワークエンジンＮＮＥは、複数のＤＭＡコントローラＤＭＡＣ１～ＤＭＡＣ３と、レジスタＲＥＧと、伸張器ＤＣＭＰと、複数のスイッチ回路ＳＷ１，ＳＷ２と、スイッチ制御回路ＳＷＣＴと、アキュムレータユニットＡＣＣＵと、を備える。ＤＭＡコントローラＤＭＡＣ１は、メモリＭＥＭ１から圧縮された重み係数データＷＦＤＣを読み出して伸張器ＤＣＭＰに転送する。伸張器ＤＣＭＰは、圧縮された重み係数データＷＦＤＣを、非圧縮の重み係数データＷＦＤに復元する。
【0016】
スイッチ回路ＳＷ１は、伸張器ＤＣＭＰとアキュムレータユニットＡＣＣＵとの間に設けられる。詳細は後述するが、スイッチ回路ＳＷ１は、所定の対応関係に基づいて、伸張器ＤＣＭＰによって復元された非圧縮の重み係数データＷＦＤに含まれる複数の重み係数を、アキュムレータユニットＡＣＣＵ内の複数のアキュムレータに伝送する。ＤＭＡコントローラＤＭＡＣ３は、メモリＭＥＭ２から画像データＩＭＤを読み出してアキュムレータユニットＡＣＣＵに転送する。
【0017】
アキュムレータユニットＡＣＣＵは、積和演算を実行する複数のアキュムレータを含み、ＤＭＡコントローラＤＭＡＣ３からの画像データＩＭＤとスイッチ回路ＳＷ１からの非圧縮の重み係数データＷＦＤとを積和演算する。スイッチ回路ＳＷ２は、アキュムレータユニットＡＣＣＵとＤＭＡコントローラＤＭＡＣ２との間に設けられる。スイッチ回路ＳＷ２は、詳細は後述するが、所定の対応関係に基づいて、アキュムレータユニットＡＣＣＵ内の複数のアキュムレータからの出力をＤＭＡコントローラＤＭＡＣ２内の複数のチャネルに伝送する。
【0018】
スイッチ制御回路ＳＷＣＴは、レジスタＲＥＧに格納される設定データに基づいて、スイッチ回路ＳＷ１，ＳＷ２を制御する。具体的には、スイッチ制御回路ＳＷＣＴは、前述した各スイッチ回路ＳＷ１，ＳＷ２での対応関係を制御する。また、レジスタＲＥＧには、ＤＭＡコントローラＤＭＡＣ１～ＤＭＡＣ３に対するアドレス範囲の設定データや、アキュムレータユニットＡＣＣＵに対する設定データ等も格納される。
【0019】
＜ニューラルネットワークエンジンの詳細＞
図２は、図１におけるニューラルネットワークエンジンの詳細な構成例を示す図である。図３は、図２における伸張器周りの動作例を示す図である。図４は、図２におけるスイッチ回路周りの構成例を示す図である。図２において、ＤＭＡコントローラＤＭＡＣ１は、予め設定された読み出しアドレス範囲に基づいて、制御サイクル毎に、メモリＭＥＭ１から図３に示されるような重み係数データセットＷＦＤＳを読み出す。すなわち、図１のメモリＭＥＭ１は、予め当該読み出しアドレス範囲の各アドレスに、図３に示されるような重み係数データセットＷＦＤＳを保持する。
図２は、図１におけるニューラルネットワークエンジンの詳細な構成例を示す図である。図３は、図２における伸張器周りの動作例を示す図である。図４は、図２におけるスイッチ回路周りの構成例を示す図である。図２において、ＤＭＡコントローラＤＭＡＣ１は、予め設定された読み出しアドレス範囲に基づいて、制御サイクル毎に、メモリＭＥＭ１から図３に示されるような重み係数データセットＷＦＤＳを読み出す。すなわち、図１のメモリＭＥＭ１は、予め当該読み出しアドレス範囲の各アドレスに、図３に示されるような重み係数データセットＷＦＤＳを保持する。
【0020】
図３に示す重み係数データセットＷＦＤＳは、圧縮された重み係数データＷＦＤＣと、ヘッダＨＤとを含む。重め係数データＷＦＤＣは、圧縮されたｊ個の重み係数Ｐ［１］～Ｐ［ｊ］とマップデータＭＰＤとを含む。ヘッダＨＤは、非圧縮である２個の識別子ＩＤ１，ＩＤ２を含む。一例として、重み係数Ｐ［１］～Ｐ［ｊ］のそれぞれは、８ビットで構成され、“ｊ”は１１である。マップデータＭＰＤは、２８ビットで構成される。また、２個の識別子ＩＤ１，ＩＤ２のそれぞれは、６ビットで構成される。この場合、重め係数データセットＷＦＤＳは１２８ビットで構成される。
【0021】
ＤＭＡコントローラＤＭＡＣ１は、図２および図３に示されるように、当該重み係数データセットＷＦＤＳに含まれる圧縮された重み係数データＷＦＤＣ、すなわちマップデータＭＰＤおよび圧縮されたｊ個の重み係数Ｐ［１］～Ｐ［ｊ］を伸張器ＤＣＭＰに転送する。また、図２に示されるように、重み係数データセットＷＦＤＳに含まれるヘッダＨＤ、すなわち識別子ＩＤ１，ＩＤ２はレジスタＲＥＧに格納される。
【0022】
伸張器ＤＣＭＰは、図２および図３に示されるように、圧縮された重み係数データＷＦＤＣを非圧縮の重み係数データＷＦＤに復元する。具体的には、重み係数データＷＦＤＣは、例えば、ゼロランレングス法等を用いた圧縮データとなっている。伸張器ＤＣＭＰは、圧縮されたｊ個の重み係数Ｐ［１］～Ｐ［ｊ］を、マップデータＭＰＤが表す非ゼロ係数の場所に基づいて、非圧縮のｋ（ｋ≧ｊ）個の重み係数Ｗ［１］～Ｗ［ｋ］に復元する。一例として、重み係数Ｗ［１］～Ｗ［ｋ］のそれぞれは、８ビットで構成され、“ｋ”は最大で２８等である。
【0023】
図２において、スイッチ制御回路ＳＷＣＴは、レジスタＲＥＧに格納されたヘッダＨＤに基づいて、スイッチ回路ＳＷ１，ＳＷ２を制御する。具体的には、スイッチ制御回路ＳＷＣＴは、図３の重み係数データセットＷＦＤＳに含まれる識別子ＩＤ１に基づいてスイッチ制御信号ＳＳ１を生成し、当該スイッチ制御信号ＳＳ１を用いてスイッチ回路ＳＷ１での対応関係を制御する。同様に、スイッチ制御回路ＳＷＣＴは、重み係数データセットＷＦＤＳに含まれる識別子ＩＤ２に基づいてスイッチ制御信号ＳＳ２を生成し、当該スイッチ制御信号ＳＳ２を用いてスイッチ回路ＳＷ２での対応関係を制御する。
【0024】
スイッチ回路ＳＷ１は、図２および図４に示されるように、伸張器ＤＣＭＰと、アキュムレータユニットに含まれるｎ（ｎ＞ｋ）個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］との間に設けられる。スイッチ回路ＳＷ１は、スイッチ制御信号ＳＳ１、ひいては識別子ＩＤ１が表す対応関係に基づいて、伸張器ＤＣＭＰによって復元された非圧縮のｋ個の重み係数Ｗ［１］～Ｗ［ｋ］をｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］に伝送する。
【0025】
スイッチ回路ＳＷ１は、例えば、図４に示されるように、“ｋ×ｎ”個のスイッチＳ［１，１］～Ｓ［ｋ，ｎ］を含むクロスバースイッチ等で構成される。スイッチＳ［１，１］～Ｓ［ｋ，ｎ］は、ｋ本の配線ＬＮｄ［１］～ＬＮｄ［ｋ］と、ｎ本の配線ＬＮａ［１］～ＬＮａ［ｎ］との交点にそれぞれ設けられる。ｋ本の配線ＬＮｄ［１］～ＬＮｄ［ｋ］は、それぞれ、伸張器ＤＣＭＰからのｋ個の重み係数Ｗ［１］～Ｗ［ｋ］を伝送する。ｎ本の配線ＬＮａ［１］～ＬＮａ［ｎ］は、それぞれ、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］に接続される。
【0026】
スイッチ制御回路ＳＷＣＴには、予め、識別子ＩＤ１の値毎に、スイッチＳ［１，１］～Ｓ［ｋ，ｎ］に対するオン／オフの組み合わせが設定されている。スイッチ制御回路ＳＷＣＴは、識別子ＩＤ１を受け、それに対応する“ｋ×ｎ”個のスイッチ制御信号ＳＳ［１，１］～ＳＳ［ｋ，ｎ］を生成することでスイッチＳ［１，１］～Ｓ［ｋ，ｎ］のオン・オフをそれぞれ制御する。なお、図示は省略されるが、図２のスイッチ回路ＳＷ２も、例えば、図４の場合と同様のクロスバースイッチ等で構成される。
【0027】
図２において、ＤＭＡコントローラＤＭＡＣ３は、ｎ個のチャネルＣＨ［１］～ＣＨ［ｎ］を備える。ｎ個のチャネルＣＨ［１］～ＣＨ［ｎ］は、それぞれ、個々に設定された読み出しアドレス範囲に基づいて、制御サイクル毎に、図１のメモリＭＥＭ２から画像データＩＭＤ内の画素値を読み出してｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］に転送する。
【0028】
ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］のそれぞれは、例えば、１個の乗算器と、１個の累積加算器とを有する。加えて、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］のそれぞれは、例えば、ニューラルネットワークの処理で必要とされるバイアス加算器や活性化関数演算器を有してもよい。ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］は、それぞれ、制御サイクル毎に、ＤＭＡコントローラＤＭＡＣ３からのｎ個の画素値と、スイッチ回路ＳＷ１から伝送された非圧縮のｋ個の重み係数Ｗ［１］～Ｗ［ｋ］とを乗算する。
【0029】
ここで、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］とｋ（ｋ＜ｎ）個の重み係数Ｗ［１］～Ｗ［ｋ］との対応関係は、スイッチ回路ＳＷ１によって定められる。この際に、スイッチ回路ＳＷ１は、ｋ個の重み係数Ｗ［１］～Ｗ［ｋ］の中の少なくとも一つを、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］の中の２以上に並列に伝送する。そして、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］のそれぞれは、このようにして得られた画素値と重み係数との乗算結果を、複数の制御サイクルで時系列に累積加算する。なお、一例として、ｋ＝２８に対して、ｎは、数１００～１０００程度であってよい。
【0030】
ＤＭＡコントローラＤＭＡＣ２は、ｍ個のチャネルＣＨ［１］～ＣＨ［ｍ］を備える。ｍ個のチャネルＣＨ［１］～ＣＨ［ｍ］は、それぞれ、個々に設定された書き込みアドレスに基づいて、制御サイクル毎に、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］の出力をメモリ、例えば図１のメモリＭＥＭ２の当該書き込みアドレスに転送する。
【0031】
スイッチ回路ＳＷ２は、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］とＤＭＡコントローラＤＭＡＣ２との間に設けられる。スイッチ回路ＳＷ２は、スイッチ制御回路ＳＷＣＴからのスイッチ制御信号ＳＳ２、ひいては識別子ＩＤ２が表す対応関係に基づいて、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］の出力をＤＭＡコントローラＤＭＡＣ２内のｍ個のチャネルＣＨ［１］～ＣＨ［ｍ］に伝送する。
【0032】
＜ニューラルネットワーク処理の具体例＞
図５は、ＣＮＮに含まれる畳み込み層での処理内容の一例を示す模式図である。図５において、画像データＩＭＤ内のある二次元領域Ａは、ｉ個の画素値Ｘａ［１］～Ｘａ［ｉ］からなる画素値データＸＤａで構成される。同様に、画像データＩＭＤ内の別の二次元領域Ｂは、ｉ個の画素値Ｘｂ［１］～Ｘｂ［ｉ］からなる画素値データＸＤｂで構成される。
図５は、ＣＮＮに含まれる畳み込み層での処理内容の一例を示す模式図である。図５において、画像データＩＭＤ内のある二次元領域Ａは、ｉ個の画素値Ｘａ［１］～Ｘａ［ｉ］からなる画素値データＸＤａで構成される。同様に、画像データＩＭＤ内の別の二次元領域Ｂは、ｉ個の画素値Ｘｂ［１］～Ｘｂ［ｉ］からなる画素値データＸＤｂで構成される。
【0033】
一方、ＣＮＮでは、ｋ個の出力チャネルに応じて、カーネルとも呼ばれるｋ個の重み係数データＷＦＤ［１］～ＷＦＤ［ｋ］が用いられる。出力チャネル［１］の重み係数データＷＦＤ［１］は、ｉ個の重み係数Ｗ［１，１］～Ｗ［１，ｉ］で構成される。同様に、出力チャネル［ｋ］の重み係数データＷＦＤ［ｋ］も、ｉ個の重み係数Ｗ［ｋ，１］～Ｗ［ｋ，ｉ］で構成される。
【0034】
畳み込み層では、ｋ個の出力チャネルに応じてｋ個の特徴マップＦＭＰ［１］～ＦＭＰ［ｋ］が生成される。出力チャネル［１］の特徴マップＦＭＰ［１］において、画像データＩＭＤ内の二次元領域Ａに対応する画素の特徴量Ｖａ［１］は、画素値データＸＤａと出力チャネル［１］の重み係数データＷＦＤ［１］との積和演算で算出される。同様に、特徴マップＦＭＰ［１］において、画像データＩＭＤ内の二次元領域Ｂに対応する画素の特徴量Ｖｂ［１］は、画素値データＸＤｂと出力チャネル［１］の重み係数データＷＦＤ［１］との積和演算で算出される。
【0035】
また、出力チャネル［ｋ］の特徴マップＦＭＰ［ｋ］において、画像データＩＭＤ内の二次元領域Ａに対応する画素の特徴量Ｖａ［ｋ］は、画素値データＸＤａと出力チャネル［ｋ］の重み係数データＷＦＤ［ｋ］との積和演算で算出される。同様に、特徴マップＦＭＰ［ｋ］において、画像データＩＭＤ内の二次元領域Ｂに対応する画素の特徴量Ｖｂ［ｋ］は、画素値データＸＤｂと出力チャネル［ｋ］の重み係数データＷＦＤ［ｋ］との積和演算で算出される。なお、各特徴量は、このような積和演算結果に、出力チャネル毎のバイアス値を加算し、さらに活性化関数の演算を経て算出されてもよい。
【0036】
図６は、図２のニューラルネットワークエンジンが図５の処理を実行する場合の動作例を説明する模式図である。図６の例では、アキュムレータＡＣＣ［１］，…，ＡＣＣ［ｒ］，…，ＡＣＣ［ｑ］，…は、それぞれ、図５における特徴量Ｖａ［１］，…，Ｖｂ［１］，…，Ｖａ［ｋ］，…を算出する。
【0037】
この場合、スイッチ回路ＳＷ１は、複数のアキュムレータＡＣＣ［１］，…，ＡＣＣ［ｒ］に対して並列に、出力チャネル［１］内のｉ個の重み係数Ｗ［１，１］～Ｗ［１，ｉ］をｉ回の制御サイクルで順に伝送する。同様に、スイッチ回路ＳＷ１は、複数のアキュムレータＡＣＣ［ｑ］，…に対して並列に、出力チャネル［ｋ］内のｉ個の重み係数Ｗ［ｋ，１］～Ｗ［ｋ，ｉ］をｉ回の制御サイクルで順に伝送する。
【0038】
また、このような処理に先立って、伸張器ＤＣＭＰは、例えば、１番目の制御サイクルで、圧縮されたｊ個の重み係数Ｐ［１，１］～Ｐ［ｊ，１］を受け、それを伸張することでｋ個の出力チャネル分の重み係数Ｗ［１，１］～Ｗ［ｋ，１］を出力する。この圧縮された重み係数Ｐ［１，１］～Ｐ［ｊ，１］には、図３に示したように、ヘッダＨＤが付加されている。スイッチ制御回路ＳＷＣＴは、このヘッダＨＤ内の識別子ＩＤ１に基づいてスイッチ制御信号ＳＳ１を生成する。
【0039】
スイッチ回路ＳＷ１は、伸張器ＤＣＭＰからのｋ個の出力チャネル分の重み係数Ｗ［１，１］～Ｗ［ｋ，１］を受け、スイッチ制御回路ＳＷＣＴからのスイッチ制御信号ＳＳ１に基づいて、当該重み係数Ｗ［１，１］～Ｗ［ｋ，１］のそれぞれを、複数のアキュムレータに並列に伝送する。すなわち、例えば、図４において、スイッチ制御回路ＳＷＣＴは、重み係数Ｗ［１］用の配線ＬＮｄ［１］に接続される複数のスイッチＳ［１，１］，Ｓ［１，２］，…を共にオンにするようなスイッチ制御信号ＳＳ１を生成する。
【0040】
一方、ＤＭＡコントローラＤＭＡＣ３において、チャネルＣＨ［１］，ＣＨ［ｑ］は、それぞれ、ｉ回の制御サイクルで、メモリＭＥＭ２からｉ個の画素値Ｘａ［１］～Ｘａ［ｉ］を順に読み出してアキュムレータＡＣＣ［１］，ＡＣＣ［ｑ］に順に転送する。また、チャネルＣＨ［ｒ］は、ｉ回の制御サイクルで、メモリＭＥＭ２からｉ個の画素値Ｘｂ［１］～Ｘｂ［ｉ］を順に読み出してアキュムレータＡＣＣ［ｒ］に順に転送する。これにより、アキュムレータＡＣＣ［１］，…，ＡＣＣ［ｒ］，…，ＡＣＣ［ｑ］，…は、図５に示したような積和演算が行う。
【0041】
ＤＭＡコントローラＤＭＡＣ２内の各チャネルでは、予め、図５に示したような出力チャネル分の特徴マップＦＭＰ［１］～ＦＭＰ［ｋ］と、メモリ、例えば、図１のメモリＭＥＭ２に対する書き込みアドレスとの対応関係が定められる。スイッチ回路ＳＷ２は、アキュムレータＡＣＣ［１］，…，ＡＣＣ［ｒ］，…，ＡＣＣ［ｑ］，…の出力を、スイッチ制御回路ＳＷＣＴからのスイッチ制御信号ＳＳ２、ひいては識別子ＩＤ２に基づいて、ＤＭＡコントローラＤＭＡＣ２内の各チャネルへ伝送する。そして、ＤＭＡコントローラＤＭＡＣ２内の各チャネルは、スイッチ回路ＳＷ２からの出力を、予め設定されたメモリの書き込みアドレスに書き込む。
【0042】
＜実施の形態１の主要な効果＞
図７は、図１および図２の半導体装置において、一部を抽出した構成例を示す概略図である。図１１Ａおよび図１１Ｂは、本発明の比較例となる半導体装置の構成例を示す概略図である。図７には、メモリＭＥＭ１と、ニューラルネットワークエンジンＮＮＥ内のＤＭＡコントローラＤＭＡＣ１、伸張器ＤＣＭＰ、スイッチ回路ＳＷ１、レジスタＲＥＧ、スイッチ制御回路ＳＷＣＴおよびアキュムレータユニットＡＣＣＵとが示される。
図７は、図１および図２の半導体装置において、一部を抽出した構成例を示す概略図である。図１１Ａおよび図１１Ｂは、本発明の比較例となる半導体装置の構成例を示す概略図である。図７には、メモリＭＥＭ１と、ニューラルネットワークエンジンＮＮＥ内のＤＭＡコントローラＤＭＡＣ１、伸張器ＤＣＭＰ、スイッチ回路ＳＷ１、レジスタＲＥＧ、スイッチ制御回路ＳＷＣＴおよびアキュムレータユニットＡＣＣＵとが示される。
【0043】
一方、図１１Ａに示す比較例となる半導体装置は、アキュムレータユニットＡＣＣＵおよびＤＭＡコントローラＤＭＡＣ１を含むニューラルネットワークエンジンＮＮＥ’ａと、メモリＭＥＭ１とを備える。そして、ＤＭＡコントローラＤＭＡＣ１とメモリＭＥＭ１との間に伸張器ＤＣＭＰが設けられる。
【0044】
図１１Ａの構成例では、伸張器ＤＣＭＰの入力と出力とでデータ数が変わるため、ＤＭＡコントローラＤＭＡＣ１の制御が複雑化し得る。このため、アキュムレータユニットＡＣＣＵ内のｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］に対して伸張器ＤＣＭＰからの非圧縮の重み係数を効率的に伝送できない場合がある。すなわち、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］のリソースを十分に有効活用できない恐れがある。
【0045】
また、図１１Ｂに示す比較例となる半導体装置は、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］、ｎ個の伸張器ＤＣＭＰ［１］～ＤＣＭＰ［ｎ］およびＤＭＡコントローラＤＭＡＣ１を含むニューラルネットワークエンジンＮＮＥ’ｂと、メモリＭＥＭ１とを備える。伸張器ＤＣＭＰ［１］～ＤＣＭＰ［ｎ］は、図７の場合と同様に、ＤＭＡコントローラＤＭＡＣ１とアキュムレータユニットＡＣＣＵとの間に設けられる。
【0046】
ただし、図１１Ｂの構成例では、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］を有効活用するためｎ個の伸張器ＤＣＭＰ［１］～ＤＣＭＰ［ｎ］が設けられる。そして、ｎ個の伸張器ＤＣＭＰ［１］～ＤＣＭＰ［ｎ］が、それぞれ、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］に非圧縮の重み係数を伝送している。しかし、この場合、ｎ個の伸張器ＤＣＭＰ［１］～ＤＣＭＰ［ｎ］に伴い回路面積が増加し、ひいては、消費電力も増加し得る。
【0047】
一方、図７の構成例は、図１１Ｂの構成例と異なり、アキュムレータユニットＡＣＣＵと伸張器ＤＣＭＰとの間にスイッチ回路ＳＷ１が設けられる。スイッチ回路ＳＷ１は、図４および図６等に示したように、伸張器ＤＣＭＰからの１個の重み係数を複数のアキュムレータに伝送することができる。その結果、図７の構成例では、１個の伸張器ＤＣＭＰを設ければよいため、回路面積を低減することができ、ひいては、消費電力を低減することが可能になる。
【0048】
さらに、図１１Ａの構成例と比較して、スイッチ回路ＳＷ１内の対応関係を図３のヘッダＨＤ内の識別子ＩＤ１によって適切に定めることで、ｎ個のアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］のリソースを十分に有効活用することができる。その結果、ニューラルネットワークの処理を高速化することが可能になる。また、別の観点では、予め識別子ＩＤ１を適切に定めた上で、図３の重み係数データセットＷＦＤＳとしてメモリＭＥＭ１に格納しておくことで、様々な構成のニューラルネットワークに対して柔軟に対応することが可能になる。この柔軟性の効果は、識別子ＩＤ２に関しても同様である。
【0049】
（実施の形態２）
＜ニューラルネットワークエンジン周りの構成＞
図８は、本発明の実施の形態２による半導体装置において、ニューラルネットワークエンジン周りの一部の構成例を示す概略図である。図８に示すニューラルネットワークエンジンＮＮＥａは、図７の構成例と異なり、伸張器ＤＣＭＰ、スイッチ回路ＳＷ１、スイッチ制御回路ＳＷＣＴおよびアキュムレータユニットＡＣＣＵを複数組備える。
＜ニューラルネットワークエンジン周りの構成＞
図８は、本発明の実施の形態２による半導体装置において、ニューラルネットワークエンジン周りの一部の構成例を示す概略図である。図８に示すニューラルネットワークエンジンＮＮＥａは、図７の構成例と異なり、伸張器ＤＣＭＰ、スイッチ回路ＳＷ１、スイッチ制御回路ＳＷＣＴおよびアキュムレータユニットＡＣＣＵを複数組備える。
【0050】
図７の構成例では、図３に示したように、例えば、１個の伸張器ＤＣＭＰは、最大２８個となる非圧縮の重み係数Ｗ［１］～Ｗ［ｋ］が出力する。そして、この重み係数Ｗ［１］～Ｗ［ｋ］は、スイッチ回路ＳＷ１を介してアキュムレータユニットＡＣＣＵ内の数１００～１０００個程度といったアキュムレータＡＣＣ［１］～ＡＣＣ［ｎ］に適宜伝送される。ただし、図７の構成例では、例えば、出力チャネル数が２８よりも多いような場合、処理を時分割で行う必要性が生じ得る。
【0051】
そこで、図８のように複数組の伸張器ＤＣＭＰ、スイッチ回路ＳＷ１、スイッチ制御回路ＳＷＣＴおよびアキュムレータユニットＡＣＣＵを備えることで、出力チャネル数が多いような場合でも、多くの出力チャネルの処理を並列に実行することが可能になる。その結果、ニューラルネットワークの処理を高速化することが可能になる。なお、この場合、例えば、図３の重み係数データセットＷＦＤＳのビット幅を複数倍に拡張するか、または、複数のＤＭＡコントローラＤＭＡＣ１を設けてもよい。
【0052】
（実施の形態３）
＜ニューラルネットワークエンジン周りの構成＞
図９は、本発明の実施の形態３による半導体装置において、ニューラルネットワークエンジン周りの一部の構成例を示す概略図である。図９に示すニューラルネットワークエンジンＮＮＥｂは、図７の構成例と比較して、ＤＭＡコントローラＤＭＡＣ１からレジスタＲＥＧへのヘッダＨＤの出力経路が削除されている。その代わりに、プロセッサＰＲＣからレジスタＲＥＧへのヘッダＨＤの出力経路が形成されている。
＜ニューラルネットワークエンジン周りの構成＞
図９は、本発明の実施の形態３による半導体装置において、ニューラルネットワークエンジン周りの一部の構成例を示す概略図である。図９に示すニューラルネットワークエンジンＮＮＥｂは、図７の構成例と比較して、ＤＭＡコントローラＤＭＡＣ１からレジスタＲＥＧへのヘッダＨＤの出力経路が削除されている。その代わりに、プロセッサＰＲＣからレジスタＲＥＧへのヘッダＨＤの出力経路が形成されている。
【0053】
すなわち、プロセッサＰＲＣは、ＤＭＡコントローラＤＭＡＣ１が図３に示したような圧縮された重み係数データＷＦＤＣを伸張器ＤＣＭＰに転送する際に、システムバスＳＢＵＳを介してレジスタＲＥＧ、ひいてはスイッチ制御回路ＳＷＣＴに識別子ＩＤ１を出力する。詳細には、プロセッサＰＲＣは、ニューラルネットワークエンジンＮＮＥｂの処理に応じたタイミングで図３のヘッダＨＤを生成し、当該ヘッダＨＤに含まれる識別子ＩＤ１，ＩＤ２をスイッチ制御回路ＳＷＣＴに出力する。このような構成を用いることで、ヘッダＨＤに要するメモリＭＥＭ１の記憶容量を削減することが可能になる。
【0054】
（実施の形態４）
＜ニューラルネットワークエンジンの詳細＞
図１０は、本発明の実施の形態４による半導体装置において、ニューラルネットワークエンジンの詳細な構成例を示す図である。図１０に示すニューラルネットワークエンジンは、図２の構成例と比較して、ＤＭＡコントローラＤＭＡＣ３と、アキュムレータユニットＡＣＣＵとの間に伸張ユニットＤＵ３が設けられる。
＜ニューラルネットワークエンジンの詳細＞
図１０は、本発明の実施の形態４による半導体装置において、ニューラルネットワークエンジンの詳細な構成例を示す図である。図１０に示すニューラルネットワークエンジンは、図２の構成例と比較して、ＤＭＡコントローラＤＭＡＣ３と、アキュムレータユニットＡＣＣＵとの間に伸張ユニットＤＵ３が設けられる。
【0055】
伸張ユニットＤＵ３は、前述した重み係数の処理に伴うスイッチ制御回路ＳＷＣＴ、伸張器ＤＣＭＰ、スイッチ回路ＳＷ１およびレジスタＲＥＧを伸張ユニットＤＵ１として、当該伸張ユニットＤＵ１と同様の構成を備える。すなわち、メモリＭＥＭ１は、予め圧縮された画像データを保持する。そして、伸張ユニットＤＵ３は、当該圧縮された画像データを伸張しながらアキュムレータユニットＡＣＣＵに伝送する。
【0056】
通常、画像データＩＭＤは、重み係数データＷＦＤと比べてデータ量が小さいため、非圧縮のデータとしてキャッシュ用のメモリＭＥＭ２に格納された状態で使用される。ただし、例えば、画像データＩＭＤの入力チャネル数が増加すると、メモリＭＥＭ２において、画像データＩＭＤに伴う記憶容量を十分に確保することが困難となる可能性がある。そこで、図１０のような構成例を用いることで、画像データＩＭＤのデータ量が大きい場合であっても対応することが可能になる。
【0057】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【符号の説明】
【0058】
ＡＣＣ アキュムレータ
ＤＣＭＰ 伸張器
ＤＥＶ 半導体装置
ＤＭＡＣ１～ＤＭＡＣ３ ＤＭＡコントローラ
ＭＥＭ１，ＭＥＭ２ メモリ
ＮＮＥ ニューラルネットワークエンジン
ＰＲＣ プロセッサ
ＳＢＵＳ システムバス
ＳＷ１，ＳＷ２ スイッチ回路
ＳＷＣＴ スイッチ制御回路
ＷＦＤ 重み係数データ
ＷＦＤＣ 圧縮された重み係数データ
ＤＣＭＰ 伸張器
ＤＥＶ 半導体装置
ＤＭＡＣ１～ＤＭＡＣ３ ＤＭＡコントローラ
ＭＥＭ１，ＭＥＭ２ メモリ
ＮＮＥ ニューラルネットワークエンジン
ＰＲＣ プロセッサ
ＳＢＵＳ システムバス
ＳＷ１，ＳＷ２ スイッチ回路
ＳＷＣＴ スイッチ制御回路
ＷＦＤ 重み係数データ
ＷＦＤＣ 圧縮された重み係数データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】