ホーム > 特許ランキング > 株式会社メガチップス
特許7253468ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-29
(45)【発行日】2023-04-06
(54)【発明の名称】ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム
(51)【国際特許分類】
G06F 17/16 20060101AFI20230330BHJP
G06F 17/10 20060101ALI20230330BHJP
G06N 3/063 20230101ALI20230330BHJP
G06T 1/40 20060101ALI20230330BHJP
【ＦＩ】
G06F17/16 B
G06F17/10 S
G06N3/063
G06T1/40
【請求項の数】
6
(21)【出願番号】P 2019137468
(22)【出願日】2019-07-26
(65)【公開番号】P2021022087
(43)【公開日】2021-02-18
【審査請求日】2022-01-17
(73)【特許権者】
【識別番号】591128453
【氏名又は名称】株式会社メガチップス
(74)【代理人】
【識別番号】100143498
【弁理士】
【氏名又は名称】中西 健
(74)【代理人】
【識別番号】100136319
【弁理士】
【氏名又は名称】北原 宏修
(74)【代理人】
【識別番号】100148275
【弁理士】
【氏名又は名称】山内 聡
(74)【代理人】
【識別番号】100142745
【弁理士】
【氏名又は名称】伊藤 世子
(72)【発明者】
【氏名】松本 真人
【審査官】坂東 博司
(56)【参考文献】
【文献】特開２０１８－１１６４６９（ＪＰ，Ａ）
【文献】特開２０１７－０２１４８３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １７／１６
Ｇ０６Ｆ １７／１０
Ｇ０６Ｎ ３／０６３
Ｇ０６Ｔ １／４０
(57)【特許請求の範囲】
【請求項1】
特徴抽出層の処理と判定層の処理とを含むニューラルネットワーク用処理を実行するためのニューラルネットワーク用プロセッサであって、前記特徴抽出層の処理用のデータを記憶保持する読み出し専用メモリと、
データの読み出し、および、データ書き込みを行うことができ、前記判定層の処理用のデータを記憶保持するランダムアクセスメモリと、
前記読み出し専用メモリと、前記ランダムアクセスメモリとを制御する制御部と、
前記読み出し専用メモリから前記特徴抽出層の処理用のデータを第１データとして読み出し、前記第１データを用いて、前記特徴抽出層の処理を実行するとともに、前記ランダムアクセスメモリから前記判定層の処理用のデータを第２データとして読み出し、前記第２データを用いて、前記判定層の処理を実行する内積処理部と、
を備えるニューラルネットワーク用プロセッサ。
【請求項2】
前記読み出し専用メモリは、前記特徴抽出層の処理用のデータの読み出し時間を特定するためのデータを含むヘッダデータと、
前記特徴抽出層の処理を実行するときに必要となる順番に、前記特徴抽出層の処理用のデータとを出力できるように、前記特徴抽出層の処理用のデータを記憶保持しており、
前記制御部が前記読み出し専用メモリに対して、読み出し指令信号を出力した場合、前記読み出し専用メモリは、前記特徴抽出層の処理用のデータを、前記特徴抽出層の処理を実行するときに必要となる順番に出力する、
請求項１に記載のニューラルネットワーク用プロセッサ。
【請求項3】
前記制御部は、前記読み出し専用メモリに記憶されている前記ヘッダデータを読み出し、当該ヘッダデータに基づいて、前記読み出し専用メモリから、前記特徴抽出層の処理用のデータの出力処理が完了する時刻を特定し、
特定した時刻よりも前の時刻において、前記判定層の処理用のデータが前記ランダムアクセスメモリに記憶保持されている状態となるように制御する、
請求項２に記載のニューラルネットワーク用プロセッサ。
【請求項4】
圧縮されたデータに対して伸張処理を実行する伸張部をさらに備え、前記読み出し専用メモリは、
前記特徴抽出層の処理用のデータを圧縮されたデータとして記憶保持しており、
前記伸張部は、
前記読み出しメモリに記憶保持されている前記圧縮されたデータに対して伸張処理を実行し、
前記内積処理部は、
前記伸張部により伸張されたデータを用いて、前記特徴抽出層の処理を実行する、
請求項１から３のいずれかに記載のニューラルネットワーク用プロセッサ。
【請求項5】
特徴抽出層の処理と判定層の処理とを含むニューラルネットワーク用処理を実行するためのニューラルネットワーク用プロセッサであって、前記特徴抽出層の処理用のデータを記憶保持する読み出し専用メモリと、
データの読み出し、および、データ書き込みを行うことができ、前記判定層の処理用のデータを記憶保持するランダムアクセスメモリと、
前記読み出し専用メモリと、前記ランダムアクセスメモリとを制御する制御部と、
を備えるニューラルネットワーク用プロセッサを用いて実行するニューラルネットワーク用処理方法であって、
前記読み出し専用メモリから前記特徴抽出層の処理用のデータを第１データとして読み出し、前記第１データを用いて、前記特徴抽出層の処理を実行する第１ステップと、
前記ランダムアクセスメモリから前記判定層の処理用のデータを第２データとして読み出し、前記第２データを用いて、前記判定層の処理を実行する第２ステップと、
を備えるニューラルネットワーク用処理方法。
【請求項6】
請求項５に記載のニューラルネットワーク用処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワークの技術に関する。
【背景技術】
【0002】
近年、ニューラルネットワーク技術の１つである、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた多様な技術が開発されている（例えば、特許文献１を参照）。ＣＮＮの中でも、中間層を多く設けたＤＣＮＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた技術が、多様な分野で成果を上げているため、特に注目を集めている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１９７７０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ＤＣＮＮは、一般物体認識やセマンティックセグメンテーション等の様々なタスクにおいて高い認識性能を実現している。その一方で、ＤＣＮＮは、処理を実行するために必要なパラメータ数が非常に多いため、ＤＣＮＮをハードウェアにより実現する場合、そのハードウェア規模が大きくなる。特に、パラメータ（例えば、重み係数のデータ）を記憶保持するためのメモリを実装するためのハードウェア規模が大きくなるため、ＤＣＮＮをハードウェアにより実現する場合のコストを低減させることが困難である。
【0005】
そこで、本発明は、上記課題に鑑み、ハードウェア規模の増大を抑えつつ、高性能なニューラルネットワーク処理を実行するニューラルネットワーク用プロセッサ、ニューラルネットワーク用データ処理方法、および、プログラムを実現することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、第１の発明は、特徴抽出層の処理と判定層の処理とを含むニューラルネットワーク用処理を実行するためのニューラルネットワーク用プロセッサであって、読み出し専用メモリと、ランダムアクセスメモリと、制御部と、内積処理部と、を備える。
【0007】
読み出し専用メモリは、特徴抽出層の処理用のデータを記憶保持する。
【0008】
ランダムアクセスメモリは、データの読み出し、および、データ書き込みを行うことができ、判定層の処理用のデータを記憶保持する。
【0009】
制御部は、読み出し専用メモリと、ランダムアクセスメモリとを制御する。
【0010】
内積処理部は、読み出し専用メモリから特徴抽出層の処理用のデータを第１データとして読み出し、第１データを用いて、特徴抽出層の処理を実行するとともに、ランダムアクセスメモリから判定層の処理用のデータを第２データとして読み出し、第２データを用いて、判定層の処理を実行する。
【0011】
このニューラルネットワーク用プロセッサでは、ニューラルネットワークのモデルを決定したら確定する特徴抽出層の処理用データ（例えば、重み係数データ）を、ハードウェア化したときのハード規模が小さくてすむ読み出し専用メモリ（ＲＯＭ）に書き込み、データが変更される可能性のある判定層の処理用データ（例えば、重み係数データ）を、データ書き換えができるランダムアクセスメモリ（ＲＡＭ）に保持する。そして、このニューラルネットワーク用プロセッサでは、上記の状態により、ニューラルネットワークによる処理を実行する。つまり、このニューラルネットワーク用プロセッサでは、変更されることがない特徴抽出層の処理用データ（例えば、重み係数データ）を、ハードウェア規模が小さくてすむ読み出し専用メモリで保持し、変更する可能性がある判定層の処理用データ（例えば、重み係数データ）をランダムアクセスメモリで保持して、ニューラルネットワーク用処理を実行するので、ハードウェア規模の増大を抑えつつ、高性能なニューラルネットワーク処理を実行することができる。
【0012】
第２の発明は、第１の発明であって、読み出し専用メモリは、特徴抽出層の処理用のデータの読み出し時間を特定するためのデータを含むヘッダデータと、特徴抽出層の処理を実行するときに必要となる順番に、特徴抽出層の処理用のデータとを出力できるように、特徴抽出層の処理用のデータを記憶保持している。
【0013】
そして、制御部が読み出し専用メモリに対して、読み出し指令信号を出力した場合、読み出し専用メモリは、特徴抽出層の処理用のデータを、特徴抽出層の処理を実行するときに必要となる順番に出力する。
【0014】
このニューラルネットワーク用プロセッサでは、特徴抽出層のネットワーク構成にしたがって確定する重み係数データを、予測処理を実行するときに必要となる順番に（予測処理のときの処理順に）読み出されるように、読み出し専用メモリに記憶している。したがって、このニューラルネットワーク用プロセッサでは、予測処理実行時において、読み出し指令信号（例えば、単発のトリガー信号）を読み出し専用メモリに入力するだけで、内積処理部は、予測処理を実行するときに必要となる順番に、特徴抽出層の処理のための重み係数データを取得することができる。つまり、このニューラルネットワーク用プロセッサでは、読み出し指令信号（例えば、単発のトリガー信号）を読み出し専用メモリに入力するだけで、必要な特徴抽出層の処理のための重み係数データが、処理順に取得できるため、従来技術のように、ＲＯＭに対する複雑なアドレス指定を行う必要がない。
【0015】
第３の発明は、第２の発明であって、制御部は、読み出し専用メモリに記憶されているヘッダデータを読み出し、当該ヘッダデータに基づいて、読み出し専用メモリから、特徴抽出層の処理用のデータの出力処理が完了する時刻を特定し、特定した時刻よりも前の時刻において、判定層の処理用のデータがランダムアクセスメモリに記憶保持されている状態となるように制御する。
【0016】
このニューラルネットワーク用プロセッサでは、読み出し専用メモリに記憶されているヘッダデータにより、特徴抽出層の処理用のデータ（例えば、重み係数データ）を読み出す時間を特定することができる。したがって、このニューラルネットワーク用プロセッサでは、特定した特徴抽出層の処理用のデータ（例えば、重み係数データ）を読み出す時間に基づいて、判定層の処理用のデータ（重み係数データ）を、例えば、所定のＲＯＭからランダムアクセスメモリに予め転送しておくことができる。これにより、このニューラルネットワーク用プロセッサでは、特徴抽出層の処理が完了すると、すぐに、判定層の処理用のデータ（例えば、重み係数データ）をランダムアクセスメモリから取得できる（読み出すことができる）状態にすることができる。つまり、このニューラルネットワーク用プロセッサでは、特徴抽出層の処理が完了すると、すぐに、判定層の処理が実行できる状態にできる。その結果、このニューラルネットワーク用プロセッサでは、ニューラルネットワーク用処理を高速化することができる（判定層の処理が完了するまでの時間を短くすることができる）。
【0017】
第４の発明は、第１から第３のいずれかの発明であって、圧縮されたデータに対して伸張処理を実行する伸張部をさらに備える。
【0018】
読み出し専用メモリは、特徴抽出層の処理用のデータを圧縮されたデータとして記憶保持している。
【0019】
伸張部は、読み出しメモリに記憶保持されている圧縮されたデータに対して伸張処理を実行する。
【0020】
内積処理部は、伸張部により伸張されたデータを用いて、特徴抽出層の処理を実行する。
【0021】
このニューラルネットワーク用プロセッサでは、特徴抽出層のデータを、圧縮したデータとして、読み出し専用メモリに記憶保持するため、さらに、読み出し専用メモリで必要となるメモリ容量が少なくなる。したがって、このニューラルネットワーク用プロセッサでは、読み出し専用メモリのハードウェア規模をさらに小さくすることができる。その結果、このニューラルネットワーク用プロセッサのハードウェア規模を、さらに小さくできる。
【0022】
第５の発明は、特徴抽出層の処理と判定層の処理とを含むニューラルネットワーク用処理を実行するためのニューラルネットワーク用プロセッサであって、
特徴抽出層の処理用のデータを記憶保持する読み出し専用メモリと、
データの読み出し、および、データ書き込みを行うことができ、判定層の処理用のデータを記憶保持するランダムアクセスメモリと、
読み出し専用メモリと、ランダムアクセスメモリとを制御する制御部と、
を備えるニューラルネットワーク用プロセッサを用いて実行するニューラルネットワーク用処理方法である。ニューラルネットワーク用処理方法は、第１ステップと、第２ステップとを備える。
特徴抽出層の処理用のデータを記憶保持する読み出し専用メモリと、
データの読み出し、および、データ書き込みを行うことができ、判定層の処理用のデータを記憶保持するランダムアクセスメモリと、
読み出し専用メモリと、ランダムアクセスメモリとを制御する制御部と、
を備えるニューラルネットワーク用プロセッサを用いて実行するニューラルネットワーク用処理方法である。ニューラルネットワーク用処理方法は、第１ステップと、第２ステップとを備える。
【0023】
第１ステップは、読み出し専用メモリから特徴抽出層の処理用のデータを第１データとして読み出し、第１データを用いて、特徴抽出層の処理を実行する。
【0024】
第２ステップは、ランダムアクセスメモリから判定層の処理用のデータを第２データとして読み出し、第２データを用いて、判定層の処理を実行する。
【0025】
これにより、第１の発明と同様の効果を奏するニューラルネットワーク用処理方法を実現することができる。
【0026】
第６の発明は、第５の発明であるニューラルネットワーク用処理方法をコンピュータに実行させるためのプログラムである。
【0027】
これにより、第１の発明と同様の効果を奏するニューラルネットワーク用処理方法をコンピュータに実行させるためのプログラムを実現することができる。
【発明の効果】
【0028】
本発明によれば、ハードウェア規模の増大を抑えつつ、高性能なニューラルネットワーク処理を実行するニューラルネットワーク用プロセッサ、ニューラルネットワーク用データ処理方法、および、プログラムを実現することができる。
【図面の簡単な説明】
【0029】
【図1】第１実施形態に係るニューラルネットワーク用プロセッサ１００の概略構成図。
【図2】ニューラルネットワーク用プロセッサ１００で実行される処理のタイミングチャート。
【図3】ニューラルネットワーク用プロセッサ１００で実行される処理のフローチャート。
【図4】第１実施形態の第１変形例に係るニューラルネットワーク用プロセッサ１００Ａの概略構成図。
【図5】ＣＰＵバス構成を示す図。
【発明を実施するための形態】
【0030】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。
第１実施形態について、図面を参照しながら、以下、説明する。
【0031】
＜１．１：ニューラルネットワーク用プロセッサの構成＞
図１は、第１実施形態に係るニューラルネットワーク用プロセッサ１００の概略構成図である。
図１は、第１実施形態に係るニューラルネットワーク用プロセッサ１００の概略構成図である。
【0032】
ニューラルネットワーク用プロセッサ１００は、図１に示すように、第１インターフェース部ＩＦ１と、制御部１と、第１ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２と、第２ＲＯＭ３と、量子化処理部４と、第１ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５と、第２ＲＡＭ６と、内積処理部７と、バスＢ１とを備える。図１に示すように、ニューラルネットワーク用プロセッサ１００の各機能部は、バスＢ１により接続されており、必要なデータ、コマンド等を、バスＢ１を介して、入出力することができる。なお、上記機能部の一部または全部は、バス接続ではなく、必要に応じて、直接接続されるものであってもよい。
【0033】
第１インターフェース部ＩＦ１は、外部から処理対象となるデータＤｉｎを入力し、ニューラルネットワーク用プロセッサ１００による処理結果を含むデータをデータＤｏｕｔとして外部に出力する。第１インターフェース部ＩＦ１は、入力したデータＤｉｎを、バスＢ１を介して、第１ＲＡＭ５に出力し（書き込み）、ニューラルネットワーク用プロセッサ１００による処理結果を含むデータを、バスＢ１を介して、第１ＲＡＭ５から取得する（読み出す）。
【0034】
制御部１は、ニューラルネットワーク用プロセッサ１００の全体制御、各機能部の制御およびニューラルネットワーク用処理に必要な処理を行う。制御部ＣＰＵ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵコアにより実現される。
【0035】
第１ＲＯＭ２は、読み出し専用メモリであって、特徴抽出層の処理に用いられるデータ（例えば、パラメータのデータ、ニューラルネットワークの重み係数のデータ）を記憶保持する。第１ＲＯＭ２は、図１に示すように、バスＢ１に接続されており、また、内積処理部７に接続されている。なお、第１ＲＯＭ２は、バスＢ１を介して、内積処理部７に接続されるものであってもよい。第１ＲＯＭ２は、制御部１からのトリガー信号Ｓｉｇ＿ｔｒｇを受信すると、例えば、ヘッダデータを、バスＢ１を介して、制御部１に出力するともに、ヘッダデータおよび特徴抽出層の処理に用いられるデータを内積処理部７に連続的に出力する。
【0036】
第２ＲＯＭ３は、読み出し専用メモリであって、バスＢ１に接続されている。第２ＲＯＭ３は、判定層の処理に用いられるデータ（例えば、パラメータのデータ、ニューラルネットワークの重み係数のデータ）を記憶保持する。第２ＲＯＭ３は、制御部１からの指令に従い、判定層の処理に用いられるデータ（例えば、パラメータのデータ、ニューラルネットワークの重み係数のデータ）を、バスＢ１を介して、第２ＲＡＭ６に転送する。
【0037】
量子化処理部４は、第１ＲＡＭとデータの送受信ができるように接続されている。量子化処理部４は、特徴抽出層（例えば、ＤＣＮＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の畳み込み層）の入力である特徴マップのデータに対して、量子化処理を行う。また、量子化処理部４は、判定層（例えば、ＤＣＮＮの全結合層）の入力データに対して、量子化処理を行う。なお、量子化処理部４は、量子化処理の対象のデータを、第１ＲＡＭ５の所定の領域から読み出し、量子化処理後のデータを、第１ＲＡＭ５の所定の領域に書き込む。また、量子化処理部４は、図１に示すように、第１ＲＡＭ５と直接接続されるものであってもよいし、バス（例えば、バスＢ１）を介して接続されるものであってもよい。
【0038】
第１ＲＡＭ５は、ニューラルネットワーク用処理を実行するために必要なデータを記憶保持するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。第１ＲＡＭ５は、図１に示すように、バスＢ１に接続されており、また、量子化処理部４と接続されている。
【0039】
第２ＲＡＭ６は、ランダムアクセスメモリである。第２ＲＡＭ６は、図１に示すように、バスＢ１に接続されており、また、内積処理部７に接続されている。第２ＲＡＭ６は、第２ＲＯＭ３から転送される、判定層の処理に用いられるデータ（例えば、パラメータのデータ、ニューラルネットワークの重み係数のデータ）を記憶保持する。第２ＲＡＭ６は、制御部１からの指令に従い、所定のタイミングで、記憶保持している判定層の処理に用いられるデータを内積処理部７に出力する。
【0040】
内積処理部７は、図１に示すように、第２インターフェース部７１と、内積演算処理部７２とを備える。内積処理部７は、図１に示すように、第１ＲＯＭ２、第１ＲＡＭ５、第２ＲＡＭ６、および、バスＢ１に接続されている。内積処理部７は、制御部１から、例えば、バスＢ１を介して、制御信号Ｃｔｒ１を受信し、受信した制御信号Ｃｔｒ１に従い、所定の処理を実行する。
【0041】
第２インターフェース部７１は、第１ＲＯＭ２、第１ＲＡＭ５、第２ＲＡＭ６とのインターフェースである。
（１）特徴抽出層の処理が実行される場合、第２インターフェース部７１は、第１ＲＯＭ２から、特徴抽出層の処理用のデータ（例えば、パラメータ、重み係数）Ｄ＿ｗｉｊ＿ｆｅａｔｕｒｅを読み出し、読み出したデータを、データＤ＿ｗｉｊとして、内積演算処理部７２に出力する。また、第２インターフェース部７１は、第１ＲＡＭ５の所定の領域から、量子化処理後のデータＤ＿Ｑｉｎを読み出し、読み出したデータを、データＤ＿Ｑｉｎとして、内積演算処理部７２に出力する。
（２）判定層の処理が実行される場合、第２インターフェース部７１は、第２ＲＡＭ６から、判定層の処理用のデータ（例えば、パラメータ、重み係数）Ｄ＿ｗｉｊ＿ｄｅｃｉを読み出し、読み出したデータを、データＤ＿ｗｉｊとして、内積演算処理部７２に出力する。また、第２インターフェース部７１は、第１ＲＡＭ５の所定の領域から、量子化処理後のデータＤ＿Ｑｉｎを読み出し、読み出したデータを、データＤ＿Ｑｉｎとして、内積演算処理部７２に出力する。
（１）特徴抽出層の処理が実行される場合、第２インターフェース部７１は、第１ＲＯＭ２から、特徴抽出層の処理用のデータ（例えば、パラメータ、重み係数）Ｄ＿ｗｉｊ＿ｆｅａｔｕｒｅを読み出し、読み出したデータを、データＤ＿ｗｉｊとして、内積演算処理部７２に出力する。また、第２インターフェース部７１は、第１ＲＡＭ５の所定の領域から、量子化処理後のデータＤ＿Ｑｉｎを読み出し、読み出したデータを、データＤ＿Ｑｉｎとして、内積演算処理部７２に出力する。
（２）判定層の処理が実行される場合、第２インターフェース部７１は、第２ＲＡＭ６から、判定層の処理用のデータ（例えば、パラメータ、重み係数）Ｄ＿ｗｉｊ＿ｄｅｃｉを読み出し、読み出したデータを、データＤ＿ｗｉｊとして、内積演算処理部７２に出力する。また、第２インターフェース部７１は、第１ＲＡＭ５の所定の領域から、量子化処理後のデータＤ＿Ｑｉｎを読み出し、読み出したデータを、データＤ＿Ｑｉｎとして、内積演算処理部７２に出力する。
【0042】
内積演算処理部７２は、第２インターフェース部７１から出力されるデータＤ＿Ｑｉｎ、および、データＤ＿ｗｉｊを入力する。内積演算処理部７２は、データＤ＿Ｑｉｎ、および、データＤ＿ｗｉｊを用いて、内積演算処理を実行し、内積演算処理結果のデータをデータＤｏとして取得する。そして、内積演算処理部７２は、取得したデータＤｏを第１ＲＡＭ５に出力する。
【0043】
＜１．２：ニューラルネットワーク用プロセッサの動作＞
以上のように構成されたニューラルネットワーク用プロセッサ１００の動作について、以下、説明する。
以上のように構成されたニューラルネットワーク用プロセッサ１００の動作について、以下、説明する。
【0044】
図２は、ニューラルネットワーク用プロセッサ１００で実行される処理のタイミングチャートである。
【0045】
図３は、ニューラルネットワーク用プロセッサ１００で実行される処理のフローチャートである。
【0046】
【0047】
一般に、ＣＮＮでは、入力層と、畳み込み層（コンボリューション層）と、全結合層とを含む。例えば、ニューラルネットワーク用プロセッサ１００の第１インターフェース部ＩＦ１に、入力データＤｉｎとして、画像データが入力され、ＣＮＮによる画像認識処理が実行され、画像認識処理結果が出力データＤｏｕｔとして外部に出力される。
【0048】
ＣＮＮでは、畳み込み層の処理、あるいは、全結合層の処理において、入力データに対して重み演算処理が実行され、当該処理結果に対して活性化関数（例えば、ランプ関数（ＲｅＬＵ：Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）、シグモイド関数、Ｓｏｆｔｍａｘ関数等）により処理が実行されることで、畳み込み層あるいは全結合層の出力が得られる。
【0049】
説明便宜のため、ニューラルネットワーク用プロセッサ１００において、ＣＮＮによる処理が実行される場合（一例）について、以下説明する。なお、ＣＮＮの畳み込み層がＮ層（Ｎ：自然数）からなるものとして、以下、説明する。
【0050】
（ステップＳ１）：
ステップＳ１において、ニューラルネットワーク用プロセッサ１００において、処理対象となるデータ（例えば、画像認識処理を行う場合、処理対象の画像データ）の入力処理を実行する。具体的には、ニューラルネットワーク用プロセッサ１００において、外部から処理対象となるデータＤｉｎを第１インターフェース部ＩＦ１により取得（入力）する。そして、データＤｉｎは、第１インターフェース部ＩＦ１から、バスＢ１を介して、第１ＲＡＭ５に転送され、データＤｉｎは、第１ＲＡＭ５の所定の領域に記憶保持される。
ステップＳ１において、ニューラルネットワーク用プロセッサ１００において、処理対象となるデータ（例えば、画像認識処理を行う場合、処理対象の画像データ）の入力処理を実行する。具体的には、ニューラルネットワーク用プロセッサ１００において、外部から処理対象となるデータＤｉｎを第１インターフェース部ＩＦ１により取得（入力）する。そして、データＤｉｎは、第１インターフェース部ＩＦ１から、バスＢ１を介して、第１ＲＡＭ５に転送され、データＤｉｎは、第１ＲＡＭ５の所定の領域に記憶保持される。
【0051】
また、ニューラルネットワーク用プロセッサ１００では、量子化処理が実行される。具体的には、量子化処理部４は、データＤｉｎを、第１ＲＡＭ５の所定の領域から読み出し、読み出したデータに対して、量子化処理を実行し、量子化後のデータをデータＤ＿Ｑｉｎとして取得する。そして、量子化処理部４は、取得した量子化後のデータＤ＿Ｑｉｎを第１ＲＡＭ５の所定の領域に書き込む。
【0052】
なお、量子化処理は、データを量子化する処理に加えて、例えば、ダイナミックレンジ調整、二値化処理、オフセット調整処理を含むものであってもよい。
【0053】
（ステップＳ２、ステップＳ３）：
ステップＳ２において、制御部１は、バスＢ１を介して、第１ＲＯＭ２に対して、トリガー信号Ｓｉｇ＿ｔｒｉｇを送信する。
ステップＳ２において、制御部１は、バスＢ１を介して、第１ＲＯＭ２に対して、トリガー信号Ｓｉｇ＿ｔｒｉｇを送信する。
【0054】
第１ＲＯＭ２は、制御部１からのトリガー信号Ｓｉｇ＿ｔｒｉｇを受信すると、第１ＲＯＭ２に記憶保持されているヘッダデータＤ＿ｈｅａｄを読み出し、当該ヘッダデータＤ＿ｈｅａｄを、バスＢ１を介して、制御部１および内積処理部７の第２インターフェース部７１に出力する（ステップＳ３）。
【0055】
ヘッダデータＤ＿ｈｅａｄには、例えば、特徴抽出層を構成する層の数、各層のデータ長、データ数等のデータが含まれている。
【0056】
（ステップＳ４１～Ｓ４５）：
ステップＳ４１～Ｓ４５では、特徴抽出層の層ごとの処理が、特徴抽出層の層数分、繰り返し実行される。
ステップＳ４１～Ｓ４５では、特徴抽出層の層ごとの処理が、特徴抽出層の層数分、繰り返し実行される。
【0057】
第１ＲＯＭ２は、ヘッダデータＤ＿ｈｅａｄを出力した後、特徴抽出層のデータを、特徴抽出層の第１層のデータから第Ｎ層のデータまで、順番に、読み出し、読み出したデータをデータＤ＿ｗｉｊ＿ｆｅａｔｕｒｅとして、内積処理部７に出力する（重み係数データ取得処理、ステップＳ４２）。
【0058】
具体的には、（１）特徴抽出層の第１層の重み係数データ、（２）特徴抽出層の第２層の重み係数データ、・・・、（Ｎ）特徴抽出層の第Ｎ層の重み係数データが、上記順番で、第１ＲＯＭ２から読み出され、データＤ＿ｗｉｊ＿ｆｅａｔｕｒｅとして、内積処理部７に出力される。
【0059】
ステップＳ４３では、内積演算処理が実行される。具体的には、以下のようにして、内積演算処理が実行される。
【0060】
内積処理部７の第２インターフェース部７１は、第１ＲＯＭ２から出力される特徴抽出層の第１層の重み係数データを、データＤ＿ｗｉｊ＿ｆｅａｔｕｒｅとして、取得し、当該データをデータＤ＿ｗｉｊとして、内積演算処理部７２に出力する。
【0061】
また、内積処理部７の第２インターフェース部７１は、特徴抽出層の第１層に入力するデータの量子化後のデータを、第１ＲＡＭ５から読み出し、データＤ＿Ｑｉｎとして取得する。そして、第２インターフェース部７１は、取得したデータＤ＿Ｑｉｎを内積演算処理部７２に出力する。
【0062】
内積演算処理部７２は、データＤ＿Ｑｉｎ、および、データＤ＿ｗｉｊを用いて、内積演算処理を実行する。例えば、データＤ＿Ｑｉｎがｎ次元ベクトルデータ（ｎ：自然数）であり、データＤ＿ｗｉｊ（重み係数データ）がｎ次元ベクトルデータであり、下記のように表現される場合、
Ｄ＿Ｑｉｎ＝［ｘ１ ｘ２ ｘ３ ・・・ ｘｎ］
Ｄ＿ｗｉｊ＝［ｗ１ ｗ２ ｗ３ ・・・ ｗｎ］
内積演算処理部７２は、２つのｎ次元ベクトルの内積を算出する処理、すなわち、下記数式に相当する処理を実行することで、内積演算結果を取得する。
なお、内積演算処理部７２は、行列演算処理を行う場合、上記内積演算処理を繰り返し実行することで、行列演算処理結果を取得する。例えば、内積演算処理部７２は、２つの行列Ａ、Ｂの積（行列の積）を求める演算を行う場合、行列Ａのｉ行目の１行に含まれる要素からなる行ベクトルと、行列Ｂのｊ列目の１列に含まれる要素からなる列ベクトルとに対して、上記と同様に内積演算処理を実行することで、行列Ａ、Ｂの積により取得される行列のｉ行ｊ列目の要素の値（データ）を取得することができる。
Ｄ＿Ｑｉｎ＝［ｘ１ ｘ２ ｘ３ ・・・ ｘｎ］
Ｄ＿ｗｉｊ＝［ｗ１ ｗ２ ｗ３ ・・・ ｗｎ］
内積演算処理部７２は、２つのｎ次元ベクトルの内積を算出する処理、すなわち、下記数式に相当する処理を実行することで、内積演算結果を取得する。
【数1】
なお、内積演算処理部７２は、行列演算処理を行う場合、上記内積演算処理を繰り返し実行することで、行列演算処理結果を取得する。例えば、内積演算処理部７２は、２つの行列Ａ、Ｂの積（行列の積）を求める演算を行う場合、行列Ａのｉ行目の１行に含まれる要素からなる行ベクトルと、行列Ｂのｊ列目の１列に含まれる要素からなる列ベクトルとに対して、上記と同様に内積演算処理を実行することで、行列Ａ、Ｂの積により取得される行列のｉ行ｊ列目の要素の値（データ）を取得することができる。
【0063】
このように処理することで、内積演算処理部７２では、任意の行列演算の処理結果を取得することができる。
【0064】
内積演算処理部７２では、上記のようにして、特徴抽出層の第１層の処理（例えば、ＣＮＮのコンボリューション処理（データに対する重み付け加算処理））を実行し、特徴抽出層の第１層の各シナプスの出力に相当するデータを取得する。
【0065】
なお、内積演算処理部７２には、特徴抽出層の第１層の処理の順番に一致した、重み係数データが当該順番の通りに、データＤ＿ｗｉｊとして入力される。したがって、内積演算処理部７２では、当該データＤ＿ｗｉｊと、それに対応する量子化後のデータ（処理対象のデータ（第１ＲＡＭ５から読み出したデータ））とに対して、内積演算処理部７２に入力される順番に、上記内積演算処理を繰り返し実行することで、特徴抽出層の第１層の各シナプスの出力に相当するデータを取得することができる。
【0066】
内積演算処理部７２では、上記処理により、特徴抽出層の第１層の各シナプスの出力に相当するデータ（このデータを「データＤ０」とする）を取得したら、当該取得したデータに対して、活性化関数による処理を実行し、データＤｏを取得する。つまり、内積演算処理部７２は、
Ｄｏ＝ｆ＿ａｃｔ（Ｄ０）
ｆ＿ａｃｔ（）：活性化関数（例えば、ＲｅＬＵ関数、Ｓｏｆｔｍａｘ関数、シグモイド関数等）
に相当する処理を実行することで、データＤｏを取得する。
Ｄｏ＝ｆ＿ａｃｔ（Ｄ０）
ｆ＿ａｃｔ（）：活性化関数（例えば、ＲｅＬＵ関数、Ｓｏｆｔｍａｘ関数、シグモイド関数等）
に相当する処理を実行することで、データＤｏを取得する。
【0067】
ステップＳ４４において、内積演算処理部７２は、上記により取得したデータＤｏを第１ＲＡＭ５に出力し、当該データＤｏを第１ＲＡＭ５の所定の領域に書き込む。
【0068】
以上のようにして、ニューラルネットワーク用プロセッサ１００では、特徴抽出層の第１層の処理が実行される。図２のタイミングチャートでは、時刻ｔ１１から時刻ｔ１２の間において、第１ＲＯＭ２から、特徴抽出層の第１層の処理用のデータ（重み係数データ）Ｄ＿ｗｉｊ＿ｆｅａｔｕｒｅ（図２では、特徴抽出層の第１層の処理用のデータをデータＤｆ＿１ｓｔ＿Ｌと表記）が、処理順に読み出され、読み出した当該データ（重み係数データ）Ｄ＿ｗｉｊ＿ｆｅａｔｕｒｅと、処理対象の量子化後のデータＤ＿Ｑｉｎとを用いて、内積演算処理が実行される。そして、ニューラルネットワーク用プロセッサ１００では、上記のように、活性化関数に相当する処理が実行されて、データＤｏが取得される。
【0069】
そして、ニューラルネットワーク用プロセッサ１００では、特徴抽出層の第２層、第３層、・・・、第Ｎ層の処理が、上記の第１層の処理と同様に、実行される（ステップＳ４１～Ｓ４５、図２の時刻ｔ１２～ｔ２の間の処理）。
【0070】
そして、上記処理により取得したデータＤｏ（特徴抽出層の処理により取得したデータ）が、第１ＲＡＭ５に出力される（書き込まれる）。
【0071】
（ステップＳ５１）：
ステップＳ５１において、特徴抽出層のデータ読み出し終了時刻を特定する処理が実行される。具体的には、制御部１は、第１ＲＯＭ２からヘッダデータＤ＿ｈｅａｄｅｒを読み出し（図２の時刻ｔ１～ｔ１１）、当該ヘッダデータＤ＿ｈｅａｄｅｒに含まれるデータから、第１ＲＯＭ２から内積処理部７に、特徴抽出層の処理用のデータ（重み係数データ）を転送するのに必要な時間Ｔ１を算出する。
ステップＳ５１において、特徴抽出層のデータ読み出し終了時刻を特定する処理が実行される。具体的には、制御部１は、第１ＲＯＭ２からヘッダデータＤ＿ｈｅａｄｅｒを読み出し（図２の時刻ｔ１～ｔ１１）、当該ヘッダデータＤ＿ｈｅａｄｅｒに含まれるデータから、第１ＲＯＭ２から内積処理部７に、特徴抽出層の処理用のデータ（重み係数データ）を転送するのに必要な時間Ｔ１を算出する。
【0072】
例えば、第１ＲＯＭ２から取得されるヘッダデータＤ＿ｈｅａｄｅｒには、
（１）特徴抽出層に含まれる層の数Ｎ（Ｎ：自然数）と、
（２）特徴抽出層に含まれる第ｋ層（ｋ：自然数、１≦ｋ≦Ｎ）の処理における実数演算に必要な時間と、特徴抽出層に含まれる第ｋ層（ｋ：自然数、１≦ｋ≦Ｎ）の処理における実数演算の計算精度と、
（３）特徴抽出層に含まれる第ｋ層（ｋ：自然数、１≦ｋ≦Ｎ）の処理における整数演算に必要な時間と、特徴抽出層に含まれる第ｋ層（ｋ：自然数、１≦ｋ≦Ｎ）の処理における整数演算の計算精度と、
が含まれる。そして、制御部１は、上記データに基づいて、例えば、下記数式に相当する処理を実行することで、特徴抽出層の処理用のデータ（重み係数データ）を転送するのに必要な時間Ｔ１を算出する。
Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ｔｉｍｅ
＝Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ｎｕｍ×Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ａｃｃｕｒａｃｙ
Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ｔｉｍｅ
＝Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ｎｕｍ×Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ａｃｃｕｒａｃｙ
Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ｔｉｍｅ：第ｋ層の実数演算に必要な処理時間
Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ｔｉｍｅ：第ｋ層の整数演算に必要な処理時間
Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ｎｕｍ：第ｋ層の実数演算対象のデータ数
Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ａｃｃｕｒａｃｙ：第ｋ層の実数演算の計算精度
Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ｎｕｍ：第ｋ層の整数演算対象のデータ数
Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ａｃｃｕｒａｃｙ：第ｋ層の整数演算の計算精度
そして、制御部１は、上記により取得した時間Ｔ１と、特徴抽出層の処理用のデータ（重み係数データ）の転送が開始される時刻ｔ１１とから、特徴抽出層の処理用のデータ（重み係数データ）の転送が完了する時刻ｔ２を、
ｔ２＝ｔ１１＋Ｔ１
により算出する。これにより、制御部１は、特徴抽出層の処理用のデータ（重み係数データ）の転送が完了する時刻ｔ２を特定する。
（１）特徴抽出層に含まれる層の数Ｎ（Ｎ：自然数）と、
（２）特徴抽出層に含まれる第ｋ層（ｋ：自然数、１≦ｋ≦Ｎ）の処理における実数演算に必要な時間と、特徴抽出層に含まれる第ｋ層（ｋ：自然数、１≦ｋ≦Ｎ）の処理における実数演算の計算精度と、
（３）特徴抽出層に含まれる第ｋ層（ｋ：自然数、１≦ｋ≦Ｎ）の処理における整数演算に必要な時間と、特徴抽出層に含まれる第ｋ層（ｋ：自然数、１≦ｋ≦Ｎ）の処理における整数演算の計算精度と、
が含まれる。そして、制御部１は、上記データに基づいて、例えば、下記数式に相当する処理を実行することで、特徴抽出層の処理用のデータ（重み係数データ）を転送するのに必要な時間Ｔ１を算出する。
【数2】
Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ｔｉｍｅ
＝Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ｎｕｍ×Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ａｃｃｕｒａｃｙ
Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ｔｉｍｅ
＝Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ｎｕｍ×Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ａｃｃｕｒａｃｙ
Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ｔｉｍｅ：第ｋ層の実数演算に必要な処理時間
Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ｔｉｍｅ：第ｋ層の整数演算に必要な処理時間
Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ｎｕｍ：第ｋ層の実数演算対象のデータ数
Ｌ（ｋ）．Ｒｅａｌ＿Ｄ＿ａｃｃｕｒａｃｙ：第ｋ層の実数演算の計算精度
Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ｎｕｍ：第ｋ層の整数演算対象のデータ数
Ｌ（ｋ）．Ｉｎｔ＿Ｄ＿ａｃｃｕｒａｃｙ：第ｋ層の整数演算の計算精度
そして、制御部１は、上記により取得した時間Ｔ１と、特徴抽出層の処理用のデータ（重み係数データ）の転送が開始される時刻ｔ１１とから、特徴抽出層の処理用のデータ（重み係数データ）の転送が完了する時刻ｔ２を、
ｔ２＝ｔ１１＋Ｔ１
により算出する。これにより、制御部１は、特徴抽出層の処理用のデータ（重み係数データ）の転送が完了する時刻ｔ２を特定する。
【0073】
（ステップＳ５２）：
ステップＳ５２において、判定層の重み係数データの転送処理が実行される。具体的には、制御部１は、第２ＲＯＭ３に記憶保持されている判定層の重み係数データＤ＿ｗｉｊ＿ｄｅｃｉを第２ＲＡＭ６に転送するのにかかる時間Ｔ２を取得する。そして、制御部１は、時刻ｔ２０（＝ｔ２－Ｔ２）以前の時刻において、第２ＲＯＭ３に記憶保持されている判定層の重み係数データＤ＿ｗｉｊ＿ｄｅｃｉを第２ＲＡＭ６に転送する指令を第２ＲＯＭ３、第２ＲＡＭ６に出力し、時刻ｔ２０（＝ｔ２－Ｔ２）以前の時刻において、判定層の重み係数データＤ＿ｗｉｊ＿ｄｅｃｉのデータ転送処理を開始させる。
ステップＳ５２において、判定層の重み係数データの転送処理が実行される。具体的には、制御部１は、第２ＲＯＭ３に記憶保持されている判定層の重み係数データＤ＿ｗｉｊ＿ｄｅｃｉを第２ＲＡＭ６に転送するのにかかる時間Ｔ２を取得する。そして、制御部１は、時刻ｔ２０（＝ｔ２－Ｔ２）以前の時刻において、第２ＲＯＭ３に記憶保持されている判定層の重み係数データＤ＿ｗｉｊ＿ｄｅｃｉを第２ＲＡＭ６に転送する指令を第２ＲＯＭ３、第２ＲＡＭ６に出力し、時刻ｔ２０（＝ｔ２－Ｔ２）以前の時刻において、判定層の重み係数データＤ＿ｗｉｊ＿ｄｅｃｉのデータ転送処理を開始させる。
【0074】
これにより、判定層の重み係数データＤ＿ｗｉｊ＿ｄｅｃｉの第２ＲＯＭ３から第２ＲＡＭ６への転送処理を、特徴抽出層のデータ読み出し処理が完了する時刻ｔ２までに完了させることができる。
【0075】
ニューラルネットワーク用プロセッサ１００では、このように、特徴抽出層の処理（ステップＳ４１～Ｓ４５）と、並行に、ステップＳ５１、Ｓ５２の処理を行うことで、特徴抽出層の処理が完了する時刻ｔ２の直後から、判定層の処理を実行することができる。
【0076】
（ステップＳ６、Ｓ７）：
ステップＳ６、Ｓ７では、判定層の処理が実行される（図２の時刻ｔ２～ｔ３の処理）。
ステップＳ６、Ｓ７では、判定層の処理が実行される（図２の時刻ｔ２～ｔ３の処理）。
【0077】
時刻ｔ２（判定層の処理の開始時刻）までに、特徴抽出層の処理が完了しており、かつ、判定層の処理用のデータ（判定層の処理用の重み係数データ）の第２ＲＯＭ３から第２ＲＡＭ６へのデータ転送処理が完了している。したがって、ステップＳ６では、内積処理部７の第２インターフェース部７１は、判定層の処理用データ（判定層の処理用の重み係数データ）Ｄ＿ｗｉｊ＿ｄｅｃｉを、第２ＲＡＭ６から取得する（読み出す）。そして、第２インターフェース部７１は、取得したデータＤ＿ｗｉｊ＿ｄｅｃｉを、データＤ＿ｗｉｊとして、内積演算処理部７２に出力する。
【0078】
また、内積処理部７の第２インターフェース部７１は、判定層に入力するデータの量子化後のデータを、第１ＲＡＭ５から読み出し、データＤ＿Ｑｉｎとして取得する。そして、第２インターフェース部７１は、取得したデータＤ＿Ｑｉｎを内積演算処理部７２に出力する。
【0079】
内積演算処理部７２は、データＤ＿Ｑｉｎ、および、データＤ＿ｗｉｊを用いて、内積演算処理を実行する。例えば、データＤ＿Ｑｉｎがｎ次元ベクトルデータ（ｎ：自然数）であり、データＤ＿ｗｉｊ（重み係数データ）がｎ次元ベクトルデータであり、下記のように表現される場合、
Ｄ＿Ｑｉｎ＝［ｘ１ ｘ２ ｘ３ ・・・ ｘｎ］
Ｄ＿ｗｉｊ＝［ｗ１ ｗ２ ｗ３ ・・・ ｗｎ］
内積演算処理部７２は、２つのｎ次元ベクトルの内積を算出する処理、すなわち、下記数式に相当する処理を実行することで、内積演算結果を取得する。
なお、内積演算処理部７２は、行列演算処理を行う場合、上記内積演算処理を繰り返し実行することで、行列演算処理結果を取得する。例えば、内積演算処理部７２は、２つの行列Ａ、Ｂの積（行列の積）を求める演算を行う場合、行列Ａのｉ行目の１行に含まれる要素からなる行ベクトルと、行列Ｂのｊ列目の１列に含まれる要素からなる列ベクトルとに対して、上記と同様に内積演算処理を実行することで、行列Ａ、Ｂの積により取得される行列のｉ行ｊ列目の要素の値（データ）を取得することができる。
Ｄ＿Ｑｉｎ＝［ｘ１ ｘ２ ｘ３ ・・・ ｘｎ］
Ｄ＿ｗｉｊ＝［ｗ１ ｗ２ ｗ３ ・・・ ｗｎ］
内積演算処理部７２は、２つのｎ次元ベクトルの内積を算出する処理、すなわち、下記数式に相当する処理を実行することで、内積演算結果を取得する。
【数3】
なお、内積演算処理部７２は、行列演算処理を行う場合、上記内積演算処理を繰り返し実行することで、行列演算処理結果を取得する。例えば、内積演算処理部７２は、２つの行列Ａ、Ｂの積（行列の積）を求める演算を行う場合、行列Ａのｉ行目の１行に含まれる要素からなる行ベクトルと、行列Ｂのｊ列目の１列に含まれる要素からなる列ベクトルとに対して、上記と同様に内積演算処理を実行することで、行列Ａ、Ｂの積により取得される行列のｉ行ｊ列目の要素の値（データ）を取得することができる。
【0080】
このように処理することで、内積演算処理部７２では、任意の行列演算の処理結果を取得することができる。
【0081】
内積演算処理部７２では、上記のようにして、判定層の処理（例えば、データの次元数を調整するためのアウトマッピング処理（Ｏｕｔ Ｍａａｐｉｎｇ）、全結合層の処理（ベクトル内積処理に相当）、Ｓｏｆｔｍａｘ層の処理等）を実行し、判定層の処理の出力結果に相当するデータをデータＤｏとして取得する。そして、取得したデータＤｏは、内積演算処理部７２から第１ＲＡＭ５に出力され、当該データＤｏは、第１ＲＡＭ５の所定の領域に書き込まれる。
【0082】
なお、判定層の処理においても、特徴抽出層の処理と同様に、必要に応じて、活性化関数に相当する処理が実行されてもよい。
【0083】
以上の処理により取得された判定層の処理結果のデータは、例えば、第１インターフェース部ＩＦ１により、第１ＲＡＭ５から読み出され、出力データＤｏｕｔとして、例えば、外部に送信される。
【0084】
以上のように、ニューラルネットワーク用プロセッサ１００では、ニューラルネットワークのモデルを決定したら確定する特徴抽出層の処理用データ（重み係数データ）を、ハードウェア化したときのハード規模が小さくてすむＲＯＭ（本実施形態の場合、第１ＲＯＭ２）に書き込み、データが変更される可能性のある判定層の処理用データ（重み係数データ）を、データ書き換えができるＲＡＭ（本実施形態の場合、第２ＲＡＭ６）に保持する。そして、ニューラルネットワーク用プロセッサ１００では、上記の状態により、ニューラルネットワークによる処理を実行する。つまり、ニューラルネットワーク用プロセッサ１００では、変更されることがない特徴抽出層の処理用データ（重み係数データ）を、ハードウェア規模が小さくてすむＲＯＭで保持し、変更する可能性がある判定層の処理用データ（重み係数データ）をＲＡＭで保持して、ニューラルネットワーク用処理を実行するので、ハードウェア規模の増大を抑えつつ、高性能なニューラルネットワーク処理を実行することができる。
【0085】
また、ニューラルネットワーク用プロセッサ１００では、特徴抽出層のネットワーク構成にしたがって確定する重み係数データを、予測処理を実行するときに必要となる順番に（予測処理のときの処理順に）読み出されるように、ＲＯＭ（本実施形態では、第１ＲＯＭ２）に記憶している。したがって、ニューラルネットワーク用プロセッサ１００では、予測処理実行時において、単発のトリガー信号（制御部１から第１ＲＯＭ２に出力されるトリガー信号Ｓｉｇ＿ｔｒｉｇ）を第１ＲＯＭ２に入力するだけで、内積処理部７は、予測処理を実行するときに必要となる順番に、特徴抽出層の処理のための重み係数データを取得することができる。つまり、ニューラルネットワーク用プロセッサ１００では、単発のトリガー信号を第１ＲＯＭに入力するだけで、必要な特徴抽出層の処理のための重み係数データが、処理順に取得できるため、従来技術のように、ＲＯＭに対する複雑なアドレス指定を行う必要がない。なお、上記実施形態では、単発のトリガー信号により、連続的に、第１ＲＯＭ２から特徴抽出層の処理に必要なデータが、処理順に、第１ＲＯＭ２から内積処理部７にデータ転送される場合について、説明したが、これに限定されることはない。例えば、ニューラルネットワーク用プロセッサ１００において、第１ＲＯＭ２の１つのアドレスを指定することで、その後、連続的に、第１ＲＯＭ２から特徴抽出層の処理に必要なデータが、処理順に、第１ＲＯＭ２から内積処理部７にデータ転送されるようにしてもよい。
【0086】
また、ニューラルネットワーク用プロセッサ１００では、上記で説明したように、第１ＲＯＭ２に記憶されているヘッダデータにより、特徴抽出層の処理用のデータ（重み係数データ）を読み出す時間を特定することができる。したがって、ニューラルネットワーク用プロセッサ１００では、特定した特徴抽出層の処理用のデータ（重み係数データ）を読み出す時間に基づいて、判定層の処理用のデータ（重み係数データ）を、第２ＲＯＭ３から第２ＲＡＭ６に予め転送しておくことができる。これにより、ニューラルネットワーク用プロセッサ１００では、特徴抽出層の処理が完了すると、すぐに、判定層の処理用のデータ（重み係数データ）を第２ＲＡＭ６から取得できる（読み出すことができる）状態にすることができる。つまり、ニューラルネットワーク用プロセッサ１００では、特徴抽出層の処理が完了すると、すぐに、判定層の処理が実行できる状態にできる。その結果、ニューラルネットワーク用プロセッサ１００では、ニューラルネットワーク用処理を高速化することができる（判定層の処理が完了するまでの時間を短くすることができる）。
【0087】
なお、上記では、判定層の処理用のデータ（重み係数データ）が第２ＲＯＭ３に記憶保持されている場合について、説明したが、これに限定されることはなく、判定層の処理用のデータ（重み係数データ）は、外部からニューラルネットワーク用プロセッサ１００に入力されるものであってもよい。この場合、ニューラルネットワーク用プロセッサ１００では、以下のように処理が実行される。すなわち、判定層の処理用のデータ（重み係数データ）は、データＤｉｎとして、外部から第１インターフェース部ＩＦ１に入力される。そして、ニューラルネットワーク用プロセッサ１００では、上記で説明したのと同様に、特定した特徴抽出層の処理用のデータ（重み係数データ）を読み出す時間に基づいて、判定層の処理用のデータ（重み係数データ）を、第１インターフェース部ＩＦ１から第２ＲＡＭ６に予め転送しておく。これにより、ニューラルネットワーク用プロセッサ１００では、ニューラルネットワーク用プロセッサ１００では、判定層の処理用のデータ（重み係数データ）が外部から入力される場合においても、特徴抽出層の処理が完了すると、すぐに、判定層の処理用のデータ（重み係数データ）を第２ＲＡＭ６から取得できる（読み出すことができる）状態にすることができる。
【0088】
つまり、ニューラルネットワーク用プロセッサ１００では、判定層の処理用のデータ（重み係数データ）が外部から入力される場合においても、特徴抽出層の処理が完了すると、すぐに、判定層の処理が実行できる状態にできる。その結果、ニューラルネットワーク用プロセッサ１００では、ニューラルネットワーク用処理を高速化することができる（判定層の処理が完了するまでの時間を短くすることができる）。
【0089】
また、第２ＲＡＭ６には、判定処理（判定層の処理）に必要なデータのみを記憶保持すれば良いので、第２ＲＡＭ６のメモリ容量を小さくすることができる。
また、ニューラルネットワーク用プロセッサ１００において、
（１）１回目の特徴抽出層の処理（例えば、第１層～第Ｎ層の処理）を実行し、
（２）１回目の判定層の処理を実行し、
（３）２回目の特徴抽出層の処理（例えば、第１層～第Ｎ層の処理）を実行し、
（４）２回目の判定層の処理を実行する、
場合、上記処理（２）の前に、１回目の判定層の処理の実行に必要なデータが第２ＲＡＭ６に記憶保持され、上記処理（４）の前に、１回目の判定層の処理の実行に必要なデータが第２ＲＡＭ６に記憶保持される。
また、ニューラルネットワーク用プロセッサ１００において、
（１）１回目の特徴抽出層の処理（例えば、第１層～第Ｎ層の処理）を実行し、
（２）１回目の判定層の処理を実行し、
（３）２回目の特徴抽出層の処理（例えば、第１層～第Ｎ層の処理）を実行し、
（４）２回目の判定層の処理を実行する、
場合、上記処理（２）の前に、１回目の判定層の処理の実行に必要なデータが第２ＲＡＭ６に記憶保持され、上記処理（４）の前に、１回目の判定層の処理の実行に必要なデータが第２ＲＡＭ６に記憶保持される。
【0090】
このとき、第２ＲＡＭ６において、２回目の判定層の処理（次の判定層の処理）の実行に必要なデータのうち、１回目の判定層の処理の実行に必要なデータと異なるデータのみを更新するようにすればよい。これにより、ニューラルネットワーク用プロセッサ１００では、第２ＲＡＭ６のメモリ容量を小さくすることができるとともに、第２ＲＡＭ６のデータ転送量（更新するデータの量）を少なくすることができる。
【0091】
≪第１変形例≫
次に、第１実施形態の第１変形例について、説明する。なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
次に、第１実施形態の第１変形例について、説明する。なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【0092】
図４は、第１実施形態の第１変形例に係るニューラルネットワーク用プロセッサ１００Ａの概略構成図である。
【0093】
本変形例のニューラルネットワーク用プロセッサ１００Ａは、第１実施形態のニューラルネットワーク用プロセッサ１００において、伸張部８を追加した構成を有している。それ以外については、本変形例のニューラルネットワーク用プロセッサ１００Ａは、第１実施形態のニューラルネットワーク用プロセッサ１００と同様である。
【0094】
本変形例のニューラルネットワーク用プロセッサ１００Ａでは、第１ＲＯＭ２に圧縮されたデータが書き込まれている。
【0095】
伸張部８は、第１ＲＯＭ２に記憶保持されている圧縮データＤ１を読み出し、当該圧縮データＤ１に対して伸張処理を実行し、伸張処理後のデータＤ＿ｗｉｊ＿ｆｅａｔｕｒｅを取得する。つまり、伸張部８は、上記伸張処理を実行することで、第１実施形態において、第１ＲＯＭ２から出力されるデータＤ＿ｗｉｊ＿ｆｅａｔｕｒｅを取得する。そして、伸張部８は、伸張処理後のデータＤ＿ｗｉｊ＿ｆｅａｔｕｒｅを内積処理部７に出力する。
【0096】
ニューラルネットワーク用プロセッサ１００Ａでは、第１実施形態の第１ＲＯＭから出力されるデータＤ＿ｗｉｊ＿ｆｅａｔｕｒｅの代わりに、伸張部８から出力されるデータＤ＿ｗｉｊ＿ｆｅａｔｕｒｅを用いて、内積処理部７での処理が実行される。内積処理部７での処理は、第１実施形態と同様である。
【0097】
本変形例のニューラルネットワーク用プロセッサ１００Ａでは、特徴抽出層のデータを、圧縮したデータとして、第１ＲＯＭ２に記憶保持するため、第１実施形態に比べて、さらに、第１ＲＯＭ２で必要となるメモリ容量が少なくなる。したがって、本変形例のニューラルネットワーク用プロセッサ１００Ａでは、第１ＲＯＭ２のハードウェア規模をさらに小さくすることができる。その結果、本変形例のニューラルネットワーク用プロセッサ１００Ａは、第１実施形態のニューラルネットワーク用プロセッサ１００に比べて、さらにハードウェア規模を小さくできる。
【0098】
［他の実施形態］
ニューラルネットワーク用プロセッサ１００、１００Ａの各機能部の一部または全部は、マイクロコードにより、あるいは、マイクロコードとともに所定のハードウェアにより実現されるものであってもよい。
ニューラルネットワーク用プロセッサ１００、１００Ａの各機能部の一部または全部は、マイクロコードにより、あるいは、マイクロコードとともに所定のハードウェアにより実現されるものであってもよい。
【0099】
また、ニューラルネットワーク用プロセッサ１００、１００Ａにおいて、下記先行技術文献Ａに開示されているように、Ｂｉｎａｒｉｚｅｄ－ＤＣＮＮ（ＤＣＮＮ：Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）（以下、「ＢＮＮ」という）によるニューラルネットワークを実現するようにしてもよい。この場合、ＢＮＮにより実現される特徴抽出層の重み係数データをＲＯＭ（例えば、第１ＲＯＭ２）に、非圧縮データ、あるいは、圧縮データとして記憶させるようにすればよい。
（先行技術文献Ａ）：
神谷龍司等 “Binarized-DCNNによる識別計算の高速化とモデル圧縮” 信学技報116(366), 47-52, 2016-12-15 電子情報通信学会
また、ニューラルネットワーク用プロセッサ１００、１００Ａにおいて、ＢＮＮのベクトル分解により取得される二値基底行列を多値基底行列としたニューラルネットワーク（これを「多値ニューラルネットワーク」という）を実装するようにしてもよい。この場合、多値ニューラルネットワークにより実現される特徴抽出層の重み係数データをＲＯＭ（例えば、第１ＲＯＭ２）に、非圧縮データ、あるいは、圧縮データとして記憶させるようにすればよい。
（先行技術文献Ａ）：
神谷龍司等 “Binarized-DCNNによる識別計算の高速化とモデル圧縮” 信学技報116(366), 47-52, 2016-12-15 電子情報通信学会
また、ニューラルネットワーク用プロセッサ１００、１００Ａにおいて、ＢＮＮのベクトル分解により取得される二値基底行列を多値基底行列としたニューラルネットワーク（これを「多値ニューラルネットワーク」という）を実装するようにしてもよい。この場合、多値ニューラルネットワークにより実現される特徴抽出層の重み係数データをＲＯＭ（例えば、第１ＲＯＭ２）に、非圧縮データ、あるいは、圧縮データとして記憶させるようにすればよい。
【0100】
上記実施形態（変形例を含む）では、ニューラルネットワーク用プロセッサ１００、１００Ａが、ＲＡＭを第１ＲＡＭ５、第２ＲＡＭ６を有する構成である場合について、説明したが、これに限定されることはない。ニューラルネットワーク用プロセッサ１００、１００Ａにおいて、例えば、第１ＲＡＭ５、第２ＲＡＭ６を１つのＲＡＭにより実現するようにしてもよい。
【0101】
また、上記実施形態（変形例を含む）における各種のデータ転送、信号の送受信は、上記で説明した形態に限定されるものではなく、各機能部において、直接接続された信号線により、データ転送、信号の送受信が実行されるものであってもよいし、また、バスを介して、データ転送、信号の送受信が実行されるものであってもよい。
【0102】
また、上記実施形態（変形例を含む）において、ＲＯＭやＲＡＭの個数については一例として説明したが、これに限定されることはなく、ＲＯＭ、ＲＡＭの個数や配置は、上記以外のものであってもよい。また、ＲＯＭ、ＲＡＭは、ニューラルネットワーク用プロセッサ１００、１００Ａの外部に設けられるものであってもよい。
【0103】
上記実施形態で説明したニューラルネットワーク用プロセッサ１００、１００Ａの各ブロック（各機能部）は、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。また、上記実施形態で説明したニューラルネットワーク用プロセッサ１００の各ブロック（各機能部）は、複数のＬＳＩなどの半導体装置により実現されるものであってもよい。
【0104】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0105】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【0106】
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【0107】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【0108】
例えば、上記実施形態（変形例を含む）の各機能部を、ソフトウェアにより実現する場合、図５に示したハードウェア構成（例えば、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。
【0109】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【0110】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【0111】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【0112】
また、文言「部」は、「サーキトリー（ｃｉｒｃｕｉｔｒｙ）」を含む概念であってもよい。サーキトリーは、ハードウェア、ソフトウェア、あるいは、ハードウェアおよびソフトウェアの混在により、その全部または一部が、実現されるものであってもよい。
【0113】
ここに開示される要素の機能は、当該開示される要素を実行するように構成された、あるいは当該開示される機能を実行するようにプログラミングされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（「特定用途向け集積回路」）、従来の回路構成及び／またはそれらの組み合わせを含む回路構成あるいは処理回路構成が用いられて実装されてもよい。プロセッサは、それが、その中にトランジスタ及び他の回路構成を含むとき、処理回路構成あるいは回路構成として見なされる。本開示において、回路構成、ユニットあるいは手段は、挙げられた機能を実行するハードウェア、あるいは当該機能を実行するようにプログラミングされたハードウェアである。ハードウェアは、挙げられた機能を実行するようにプログラミングされた、あるいは当該機能を実行するように構成された、ここで開示されるいかなるハードウェアあるいは既知の他のものであってもよい。ハードウェアが、あるタイプの回路構成として見なされるかもしれないプロセッサであるとき、回路構成、手段あるいはユニットは、ハードウェアとソフトウェアの組み合わせ、ハードウェアを構成するために用いられるソフトウェア及び／またはプロセッサである。
【0114】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【0115】
１００、１００Ａ ニューラルネットワーク用プロセッサ
１ 制御部
２ 第１ＲＯＭ
３ 第２ＲＯＭ
５ 第１ＲＡＭ
６ 第２ＲＡＭ
７ 内積処理部
８ 伸張部
１ 制御部
２ 第１ＲＯＭ
３ 第２ＲＯＭ
５ 第１ＲＡＭ
６ 第２ＲＡＭ
７ 内積処理部
８ 伸張部
【図1】
【図2】
【図3】
【図4】
【図5】