特開 2024-89814 アクセラレータ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024089814

(43)【公開日】2024-07-04

(54)【発明の名称】アクセラレータ装置

(51)【国際特許分類】

   G06N 3/063 20230101AFI20240627BHJP

   G06F 9/50 20060101ALI20240627BHJP

【ＦＩ】

G06N3/063

G06F9/50 150A

G06F9/50 150C

G06F9/50 150D

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022205259

(22)【出願日】2022-12-22

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】520124752

【氏名又は名称】株式会社ミライズテクノロジーズ

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】林 文城

(72)【発明者】

【氏名】滝澤 哲郎

(57)【要約】

【課題】ニューラルネットワークを利用した演算処理において、演算処理の効率の低下を抑制する。
【解決手段】アクセラレータ装置１００は、演算部１４、２４、３４、４４、５４と、キャッシュ部１２、２２、３２、４２、５２と、記憶部１１、２１、３１、４１、５１と、をそれぞれ有する複数のアクセラレータ回路ＡＣＣ１、ＡＣＣ２、ＡＣＣ３、ＡＣＣ４、ＡＣＣ５と、複数のアクセラレータ回路のうち、予め設定された種類の演算を実行するようにそれぞれ構成されたアクセラレータ回路であって、ニューラルネットワークにおいて実行される複数の演算処理の各々にひとつずつ対応付けて設定されたアクセラレータ回路である割当先回路を示す割当情報を記憶するレジスタ１２０と、割当情報を利用して、各アクセラレータ回路において複数の演算処理のそれぞれを開始するタイミングを決定するスケジューラ１３２と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ニューラルネットワークを利用した演算処理において用いられるアクセラレータ装置（１００）であって、
演算部（１４、２４、３４、４４、５４）と、キャッシュ部（１２、２２、３２、４２、５２）と、半導体メモリ装置（１１１）により実現される記憶部（１１、２１、３１、４１、５１）と、をそれぞれ有する複数のアクセラレータ回路（ＡＣＣ１、ＡＣＣ２、ＡＣＣ３、ＡＣＣ４、ＡＣＣ５）と、
前記複数のアクセラレータ回路のうち、予め設定された種類の演算を実行するようにそれぞれ構成されたアクセラレータ回路であって、前記ニューラルネットワークにおいて実行される複数の演算処理の各々にひとつずつ対応付けて設定されたアクセラレータ回路である割当先回路を示す割当情報を記憶するレジスタ（１２０）と、
前記割当情報を利用して、各前記アクセラレータ回路において前記複数の演算処理のそれぞれを開始するタイミングを決定するスケジューラ（１３２）と、
を備える、
アクセラレータ装置。

【請求項2】

請求項１に記載のアクセラレータ装置であって、
前記割当先回路は、前記複数のアクセラレータ回路のうち、前記ニューラルネットワークを構成する各レイヤにおける演算処理を実行するように定められたアクセラレータ回路であって、前記各レイヤにひとつずつ対応付けて設定されたアクセラレータ回路である、
アクセラレータ装置。

【請求項3】

請求項２に記載のアクセラレータ装置であって、
前記レジスタは、各前記アクセラレータ回路の処理能力を示すハードウェア特徴情報と、各前記レイヤにおける演算処理の種類および処理負荷を示すレイヤ特徴情報と、をさらに記憶し、
前記アクセラレータ装置は、前記ハードウェア特徴情報と前記レイヤ特徴情報とを利用して、前記レイヤごとに前記割当先回路を設定するレイヤ割当部（１３１）をさらに備える、
アクセラレータ装置。

【請求項4】

請求項３に記載のアクセラレータ装置であって、
前記レジスタは、前記ハードウェア特徴情報として、各前記アクセラレータ回路における、前記演算部による演算処理の種類および処理能力と、前記キャッシュ部および前記記憶部のそれぞれの記憶容量と、前記演算部と前記キャッシュ部との間におけるデータ転送速度と、前記キャッシュ部と前記記憶部との間におけるデータ転送速度と、を記憶する、
アクセラレータ装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載のアクセラレータ装置であって、
前記スケジューラは、互いに異なる前記アクセラレータ回路において、前記半導体メモリ装置へのアクセスを同時に開始しないように、前記タイミングを決定する、
アクセラレータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、アクセラレータ装置に関する。

【背景技術】

【0002】

多層のニューラルネットワークを用いた演算処理において、ニューラルネットワークにおける演算処理に適したハードウェアにより構成されたアクセラレータが用いられることがある（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１９／０２０５７３７Ａ１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ニューラルネットワークにおいて、演算の種類が互いに異なる複数の演算処理が実行される場合には、演算の種類によって適するハードウェア構成が異なることがあり、演算の種類とハードウェア構成との組み合わせによっては処理効率が低下するおそれがある。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

本開示の一形態によれば、アクセラレータ装置（１００）が提供される。このアクセラレータ装置は、ニューラルネットワークを利用した演算処理において用いられるアクセラレータ装置（１００）であって、演算部（１４、２４、３４、４４、５４）と、キャッシュ部（１２、２２、３２、４２、５２）と、半導体メモリ装置（１１１）により実現される記憶部（１１、２１、３１、４１、５１）と、をそれぞれ有する複数のアクセラレータ回路（ＡＣＣ１、ＡＣＣ２、ＡＣＣ３、ＡＣＣ４、ＡＣＣ５）と、前記複数のアクセラレータ回路のうち、予め設定された種類の演算を実行するようにそれぞれ構成されたアクセラレータ回路であって、前記ニューラルネットワークにおいて実行される複数の演算処理の各々にひとつずつ対応付けて設定されたアクセラレータ回路である割当先回路を示す割当情報を記憶するレジスタ（１２０）と、前記割当情報を利用して、各前記アクセラレータ回路において前記複数の演算処理のそれぞれを開始するタイミングを決定するスケジューラ（１３２）と、を備える。

【0007】

この形態のアクセラレータ装置によれば、複数のアクセラレータ回路を有し、各演算処理にひとつずつ対応付けて設定されたアクセラレータ回路である割当先回路を示す割当情報を利用して、各アクセラレータ装置において演算処理を開始するタイミングを決定するので、各演算処理に適した構成を有するアクセラレータ装置において演算処理を実行でき、演算処理の効率の低下を抑制できる。

【図面の簡単な説明】

【0008】

【図1】本実施形態のアクセラレータ装置の概略構成を示すブロック図である。

【図2】本実施形態の演算回路の概略構成を示すブロック図である。

【図3】本実施形態のアクセラレータ装置において実現されるニューラルネットワークの構成の一例を模式的に示す説明図である。

【図4】本実施形態のアクセラレータ装置において実現されるニューラルネットワークの構成の一例を模式的に示す説明図である。

【図5】本実施形態のスケジューリング処理の手順を示すフローチャートである。

【図6】スケジューリング処理のステップＳ３０において決定される演算処理スケジュールの一例を示す説明図である。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態：
Ａ－１．装置構成：
本実施形態のアクセラレータ装置１００は、ニューラルネットワークを利用した演算処理を実行する。本実施形態では、アクセラレータ装置１００は、車両に搭載されたカメラにより撮像された画像データを対象として、画像データに含まれる歩行者や構造物等を判別するための特徴量を出力する演算処理を行う。図１に示すように、アクセラレータ装置１００は、演算回路１１０と、レジスタ１２０と、演算制御部１３０とを備える。なお、アクセラレータ装置１００は、画像データに限らず、音声データやテキストデータを対象として演算処理を実行してもよい。

【0010】

図２に示すように、演算回路１１０は、第１アクセラレータ回路ＡＣＣ１と、第２アクセラレータ回路ＡＣＣ２と、第３アクセラレータ回路ＡＣＣ３と、第４アクセラレータ回路ＡＣＣ４と、第５アクセラレータ回路ＡＣＣ５とを有する。第１アクセラレータ回路ＡＣＣ１は、第１記憶部１１と、第１キャッシュ部１２と、第１バッファ部１３と、第１積和演算部１４とを有する。第２アクセラレータ回路ＡＣＣ２は、第２記憶部２１と、第２キャッシュ部２２と、第２バッファ部２３と、第２積和演算部２４とを有する。第３アクセラレータ回路ＡＣＣ３は、第３記憶部３１と、第３キャッシュ部３２と、第３バッファ部３３と、プーリング演算部３４とを有する。第４アクセラレータ回路ＡＣＣ４は、第４記憶部４１と、第４キャッシュ部４２と、第４バッファ部４３と、Ａｃｔｉｖａｔｉｏｎ演算部４４とを有する。第５アクセラレータ回路ＡＣＣ５は、第５記憶部５１と、第５キャッシュ部５２と、第５バッファ部５３と、ベクタ演算部５４とを有する。

【0011】

第１記憶部１１と、第２記憶部２１と、第３記憶部３１と、第４記憶部４１と、第５記憶部５１と（以下、総称して「記憶部」とも呼ぶ）は、半導体メモリ装置１１１が有する記憶領域のうちの互いに異なる記憶領域として実現されている。本実施形態では、半導体メモリ装置１１１は、ＤＲＡＭとして構成されている。各記憶部は、演算処理において入出力される画像データを記憶する。第１記憶部１１と、第２記憶部２１とは、これに加えて、積和演算で用いられるフィルタ係数および重み係数を記憶する。第１記憶部１１と、第２記憶部２１とは、互いに異なる大きさの記憶容量を有し、第１記憶部１１は、第２記憶部２１よりも大きい記憶容量を有する。

【0012】

第１キャッシュ部１２と、第２キャッシュ部２２と、第３キャッシュ部３２と、第４キャッシュ部４２と、第５キャッシュ部５２と（以下、総称して「キャッシュ部」とも呼ぶ）は、キャッシュ装置１１２が有する記憶領域のうちの互いに異なる記憶領域として実現されている。各キャッシュ部は、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５それぞれにおける各記憶部に記憶されたデータのうち、使用頻度が高いデータおよび直近に読み込まれたデータを記憶する。これにより、データアクセスに時間がかかる記憶部へのアクセス頻度を抑制し、データアクセス効率の低下を抑制できる。第１キャッシュ部１２と、第２キャッシュ部２２とは、互いに異なる記憶容量を有し、第１キャッシュ部１２は、第２キャッシュ部２２よりも大きい記憶容量を有する。

【0013】

本実施形態では、第１積和演算部１４と、第２積和演算部２４とは、フィルタデータと重み係数とを利用して入力画像を対象とする畳み込み演算を行う。本実施形態では、第１積和演算部１４と、第２積和演算部２４とは、互いに異なる積和演算能力を有し、第２積和演算部２４は、第１積和演算部１４よりも単位時間当たりの積和演算の実行回数が多い。また、第２積和演算部２４は、複数の演算処理を並列して実行可能に構成されている。

【0014】

プーリング演算部３４は、プーリング演算を行う。本実施形態では、プーリング演算部３４は、プーリング演算において、Ｍａｘプーリング、または、Ａｖｅｒａｇｅプーリングを行う。

【0015】

Ａｃｔｉｖａｔｉｏｎ演算部４４は、Ａｃｔｉｖａｔｉｏｎ演算を行う。本実施形態では、Ａｃｔｉｖａｔｉｏｎ演算部４４は、Ａｃｔｉｖａｔｉｏｎ演算において、ｓｏｆｔｍａｘ関数またはＲｅＬｕ関数が活性化関数として用いる。

【0016】

ベクタ演算部５４は、ベクタ演算を行う。以下、第１積和演算部１４と、第２積和演算部２４と、プーリング演算部３４と、Ａｃｔｉｖａｔｉｏｎ演算部４４、ベクタ演算部５４とを総称して「演算部」とも呼ぶ。

【0017】

第１バッファ部１３と、第２バッファ部２３と、第３バッファ部３３と、第４バッファ部４３と、第５バッファ部５３と（以下、総称して「バッファ部」とも呼ぶ）は、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５それぞれにおける各キャッシュ部と各演算部との間に設けられ、各キャッシュ部と各演算部との間におけるデータ転送の際にデータを一時的に蓄える。これにより、各キャッシュ部と各演算部との間のデータ処理速度の差を緩和できる。各バッファ部の記憶容量は、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５それぞれにおけるかかるデータ処理速度の差の大きさに応じて任意に決定することができる。

【0018】

本実施形態では、演算部と、バッファ部と、キャッシュ部とは、記憶部が構成されたチップとは異なる同一のチップに構成されている。

【0019】

図１に示すレジスタ１２０は、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５それぞれの処理能力を示す情報（以下、「ハードウェア特徴情報」とも呼ぶ）と、後述するニューラルネットワークを構成する各レイヤにおける演算処理の種類および処理負荷を示す情報（以下、「レイヤ特徴情報」とも呼ぶ）とを記憶する。本実施形態では、レジスタ１２０は、ハードウェア特徴情報として、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５における、各演算部による演算処理の種類および処理能力と、各記憶部、各キャッシュ部および各バッファ部の記憶容量と、各演算部と各キャッシュ部との間におけるデータ転送速度と、各キャッシュ部と各記憶部との間におけるデータ転送速度とを記憶する。

【0020】

本実施形態のアクセラレータ装置１００が実行する図３および図４に示すニューラルネットワークを例として、レイヤ特徴情報について説明する。図３および図４に示すニューラルネットワークは、図示しない外部記憶装置に予め記憶されたプログラムをアクセラレータ装置１００が実行することによって実現される。図３に示すニューラルネットワークは、畳み込みレイヤＬ１１と、プーリングレイヤＬ１２と、残差処理レイヤＬ１３と、プーリングレイヤＬ１４と、全結合レイヤＬ１５と、活性化関数レイヤＬ１６とを有し、アクセラレータ装置１００は、かかる順番で各レイヤにおける処理を実行する。また、図４に示すニューラルネットワークは、畳み込みレイヤＬ２１と、残差処理レイヤＬ２２と、畳み込みレイヤＬ２３と、プーリングレイヤＬ２４と、畳み込みレイヤＬ２５と、全結合レイヤＬ２６と、活性化関数レイヤＬ２７とを有し、アクセラレータ装置１００は、かかる順番で各レイヤにおける処理を実行する。なお、図３と図４において、互いに同じ名称を有するレイヤは、互いに同じ種類の演算処理が実行されるレイヤであることを示している。

【0021】

各レイヤにおける演算処理の種類および処理負荷について説明する。畳み込みレイヤにおいては、積和演算が実行される。プーリングレイヤにおいては、プーリング演算が実行される。残差処理レイヤにおいては、積和演算に加えて残差接続による残差処理が実行されるため、畳み込みレイヤよりも演算負荷が高く、また、より大きな記憶容量が必要とされる。全結合レイヤにおいては、画像データを構成する全データを対象として特徴量を算出するベクタ演算が実行される。活性化関数レイヤにおいては、Ａｃｔｉｖａｔｉｏｎ演算が実行される。

【0022】

図１に示すレジスタ１２０は、上述したハードウェア特徴情報とレイヤ特徴情報とに加えて、後述する割当先回路に関する情報（以下、「割当情報」とも呼ぶ）を記憶する。

【0023】

演算制御部１３０は、機能部としてレイヤ割当部１３１とスケジューラ１３２とを備える。レイヤ割当部１３１は、レジスタ１２０に記憶されたハードウェア特徴情報とレイヤ特徴情報とを利用して、レイヤごとに割当先回路を設定する。「割当先回路」は、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５のうち、各レイヤにおける処理を実行するように定められたアクセラレータ回路であって、各レイヤにひとつずつ対応付けて設定されたアクセラレータ回路を意味する。各レイヤと割当先回路との具体的な関係については、後述するスケジューリング処理において説明する。スケジューラ１３２は、割当情報を利用して、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５それぞれにおいて、各レイヤにおける処理を開始するタイミングを決定する。

【0024】

Ａ－２．スケジューリング処理：
アクセラレータ装置１００は、図５に示すように、レジスタ１２０に記憶されたハードウェア特徴情報とレイヤ特徴情報とを利用して、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５それぞれにおいて各レイヤにおける処理を開始するタイミングを決定するスケジューリング処理を実行する。スケジューリング処理は、アクセラレータ装置１００が起動され、ニューラルネットワークを実現するプログラムが開始される際に実行される。

【0025】

ステップＳ１０において、レイヤ割当部１３１は、レジスタ１２０に記憶されたハードウェア特徴情報とレイヤ特徴情報とを取得する。

【0026】

ステップＳ２０において、レイヤ割当部１３１は、取得したハードウェア特徴情報とレイヤ特徴情報とを利用して、レイヤごとに割当先回路を決定し、割当情報をレジスタ１２０に記録する。具体的には、残差処理レイヤにおける処理は、上述のように畳み込みレイヤよりも大きな記憶容量を必要とするので、より記憶容量が大きい第２記憶部２１と第２キャッシュ部２２とを有する第２アクセラレータ回路ＡＣＣ２に割り当てられることが好ましい。畳み込みレイヤにおける処理は、積和演算が可能な第１積和演算部１４を有する第１アクセラレータ回路ＡＣＣ１に割り当てられることが好ましい。プーリングレイヤにおける処理は、プーリング演算が可能なプーリング演算部３４を有する第３アクセラレータ回路ＡＣＣ３に割り当てられることが好ましい。活性化関数レイヤにおける処理は、Ａｃｔｉｖａｔｉｏｎ演算が可能であるＡｃｔｉｖａｔｉｏｎ演算部４４を有する第４アクセラレータ回路ＡＣＣ４に割り当てられることが好ましい。全結合レイヤにおける処理は、ベクタ演算が可能なベクタ演算部５４を有する第５アクセラレータ回路ＡＣＣ５へ割り当てられることが好ましい。

【0027】

ステップＳ３０において、スケジューラ１３２は、割当情報を利用して、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５それぞれにおいて各レイヤにおける処理を開始するタイミングを決定する。本ステップにおいて決定された演算処理スケジュールの一例を図６に示す。図６は、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５それぞれにおいて、各レイヤにおける処理が開始されるタイミングおよび処理が実行されている時間を示している。なお、図６において各レイヤにおける処理を示す符号は、上述した図３および図４に示す各レイヤに対応している。図６に示すように、スケジューラ１３２は、各レイヤにおける処理が、各ニューラルネットワークにおいて当該レイヤの前段に位置するレイヤにおける処理が終了した後に開始されるようにかかるタイミングを決定する。

【0028】

また、スケジューラ１３２は、プーリングレイヤＬ１２と畳み込みレイヤＬ２１とのように、第１アクセラレータ回路ＡＣＣ１と第３アクセラレータ回路ＡＣＣ３とにおいて、半導体メモリ装置１１１に対するアクセスが同時に開始されないようにかかるタイミングを決定する。各アクセラレータ装置１００においては、各レイヤにおける処理の開始時が半導体メモリ装置１１１に対するアクセスのピークとなる。互いに異なるアクセラレータ装置１００において複数の処理が同時に開始されると、半導体メモリ装置１１１に対するアクセス量の許容量を超え、半導体メモリ装置１１１に対するアクセスが制限されるおそれがある。そのため、スケジューラ１３２は、互いに異なるアクセラレータ回路において、半導体メモリ装置１１１へのアクセスを同時に開始させないことにより、半導体メモリ装置１１１に対するアクセス量が許容量を超えることを抑制している。本ステップの終了後、アクセラレータ装置１００は、スケジューリング処理を終了する。

【0029】

以上説明した実施形態のアクセラレータ装置１００によれば、第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５を有し、割当情報を利用して第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５において各レイヤにおける処理を開始するタイミングを決定するので、各レイヤにおける処理に適した構成を有するアクセラレータ回路において処理を実行でき、演算処理の効率の低下を抑制できる。

【0030】

また、アクセラレータ装置１００はレイヤ割当部１３１を有し、ハードウェア特徴情報とレイヤ特徴情報とを利用してレイヤごとに割当先回路を決定するので、各レイヤにおける処理に適した構成を有するアクセラレータ装置１００を自動的に決定できる。

【0031】

また、スケジューラ１３２は、互いに異なるアクセラレータ回路において、半導体メモリ装置１１１へのアクセスを同時に開始しないように各レイヤにおける処理を開始するタイミングを決定するので、半導体メモリ装置１１１に対するアクセス量が許容量を超えることを抑制できる。これにより、演算処理の効率の低下をより抑制できる。

【0032】

Ｂ．他の実施形態：
（Ｂ１）上記実施形態において、割当先回路は、レイヤ割当部１３１により決定されるが、本開示はこれに限定されない。ユーザにより決定された割当先回路を示す割当情報が、予めレジスタ１２０に記憶されていてもよい。かかる形態のアクセラレータ装置１００によっても、各レイヤにおける処理に適した構成を有するアクセラレータ回路において処理を実行でき、演算処理の効率の低下を抑制できる。

【0033】

（Ｂ２）上記実施形態において、演算回路１１０は、バッファ部を備えるが、本開示はこれに限定されない。第１アクセラレータ回路ＡＣＣ１～第５アクセラレータ回路ＡＣＣ５は、それぞれのキャッシュ部と演算部との間のデータ処理速度の差が大きくなければ、バッファ部を備えていなくてもよい。かかる形態のアクセラレータ装置１００によれば、演算回路１１０の構成を簡略化できるのでアクセラレータ装置１００の製造コスト抑制できる。また、レジスタ１２０はハードウェア特徴情報としてバッファ部の記憶容量を記憶する必要がなくなるので、レジスタ１２０が記憶する情報量を抑制できる。

【0034】

（Ｂ３）上記実施形態において、スケジューラ１３２は、互いに異なるアクセラレータ回路において、半導体メモリ装置１１１へのアクセスを同時に開始しないように、タイミングを決定するが、本開示はこれに限定されない。スケジューラ１３２は、互いに異なるアクセラレータ回路において、半導体メモリ装置１１１へのアクセスを同時に開始するように、タイミングを決定してもよい。かかる形態のアクセラレータ装置１００によっても、各レイヤにおける処理に適した構成を有するアクセラレータ回路において処理を実行でき、演算処理の効率の低下を抑制できる。

【0035】

（Ｂ４）上記実施形態において、演算部と、バッファ部と、キャッシュ部とは、記憶部とは異なる同一のチップ上に構成されているが、本開示はこれに限定されない。例えば、第３アクセラレータ回路ＡＣＣ３～第５アクセラレータ回路ＡＣＣ５として機能する機能部が、第１アクセラレータ回路ＡＣＣ１および第２アクセラレータ回路ＡＣＣ２として機能する機能部が構成されたチップとは異なるチップに構成されていてもよい。かかる形態のアクセラレータ装置１００によっても、上記実施形態と同様の効果を奏する。

【0036】

（Ｂ５）上記実施形態において、ニューラルネットワークにおける処理は、レイヤ単位で各アクセラレータ回路に割り当てられるが、本開示はこれに限定されない。例えば、幅Ｗ×高さＨ×チャネルＣで表される三次元テンソルに対する畳み込み演算を行う畳み込みレイヤにおいて、第１畳み込み演算と第２畳み込み演算と第３畳み込み演算とが実行される場合を例に説明する。ここで、「第１畳み込み演算」は、マトリクスサイズがＷ×ＨであるＣ個のマトリクスに対する畳み込み演算である。「第２畳み込み演算」は、マトリクスサイズがＷ×ＣであるＨ個のマトリクスに対する畳み込み演算である。「第３畳み込み演算」は、マトリクスサイズがＷ×ＨであるＣ個のマトリクスに対する畳み込み演算である。この場合、アクセラレータ装置１００は、第１畳み込み演算～第３畳み込み演算をそれぞれ実行するように構成された複数のアクセラレータ回路をさらに備え、第１畳み込み演算～第３畳み込み演算を各アクセラレータ回路に割り当てて演算を行ってもよい。

【0037】

また、畳み込みレイヤおよびプーリングレイヤにおいて、フィルタサイズが互いに異なる複数のフィルタを用いた演算が実行される場合を例に説明する。この場合、アクセラレータ装置１００は、予め設定されたフィルタサイズのフィルタを用いた演算をそれぞれ実行するように構成された複数のアクセラレータ回路をさらに備え、フィルタサイズに応じて各演算を各アクセラレータ回路に割り当てて演算を行ってもよい。以上説明した形態のアクセラレータ装置１００によれば、レイヤ単位で演算処理をアクセラレータ回路に割り当てる構成に比べて、より各演算の種類に適したアクセラレータ回路に割り当てられるので、演算処理の効率の低下をより抑制できる。

【0038】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0039】

本開示に記載のアクセラレータ装置１００およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載のアクセラレータ装置１００およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載のアクセラレータ装置１００およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0040】

１１…第１記憶部、１２…第１キャッシュ部、１４…第１積和演算部、２１…第２記憶部、２２…第２キャッシュ部、２４…第２積和演算部、３１…第３記憶部、３２…第３キャッシュ部、３４…プーリング演算部、４１…第４記憶部、４２…第４キャッシュ部、４４…Ａｃｔｉｖａｔｉｏｎ演算部、５１…第５記憶部、５２…第５キャッシュ部、５４…ベクタ演算部、１００…アクセラレータ装置、１１１…半導体メモリ装置、１２０…レジスタ、１３２…スケジューラ、ＡＣＣ１…第１アクセラレータ回路、ＡＣＣ２…第２アクセラレータ回路、ＡＣＣ３…第３アクセラレータ回路、ＡＣＣ４…第４アクセラレータ回路、ＡＣＣ５…第５アクセラレータ回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】