特許 7565703 データ保存装置、データ処理システム及びこれのための加速装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】データ保存装置、データ処理システム及びこれのための加速装置

(51)【国際特許分類】

   G06F 15/177 20060101AFI20241004BHJP

   G06N 3/063 20230101ALI20241004BHJP

   G06F 15/173 20060101ALI20241004BHJP

   G06F 12/00 20060101ALI20241004BHJP

   G06F 1/04 20060101ALI20241004BHJP

   G06F 1/08 20060101ALI20241004BHJP

   G06F 1/3237 20190101ALI20241004BHJP

【ＦＩ】

G06F15/177 A

G06N3/063

G06F15/173

G06F12/00 550E

G06F1/04 570

G06F1/08 510

G06F1/3237

【請求項の数】 26

(21)【出願番号】P 2020079232

(22)【出願日】2020-04-28

(65)【公開番号】P2021012680

(43)【公開日】2021-02-04

【審査請求日】2022-12-28

(31)【優先権主張番号】10-2019-0082000

(32)【優先日】2019-07-08

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】南智勳

【審査官】坂東 博司

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０１２５５０５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０１０１９７４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１２／０３０４０２４（ＵＳ，Ａ１）

【文献】米国特許第１０８９３０９６（ＵＳ，Ｂ２）

【文献】韓国公開特許第１０－２０１３－００８７８５３（ＫＲ，Ａ）

【文献】韓国公開特許第１０－２０１８－００１２４３９（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １５／１７７

Ｇ０６Ｎ ３／０６３

Ｇ０６Ｆ １５／１７３

Ｇ０６Ｆ １２／００

Ｇ０６Ｆ １／０４

Ｇ０６Ｆ １／０８

Ｇ０６Ｆ １／３２３７

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークモデル及びバッチサイズの少なくとも一つ以上に基づいてメモリ帯域幅のスピードモードを決定するホスト装置；及び、
前記ニューラルネットワークモデルを具現するためのＰＥアレイを含む加速器を含み、前記加速器は、前記メモリ帯域幅のスピードモードによって前記ＰＥアレイの第１の入力データ及び第２の入力データの伝達経路を制御するデータ保存装置を含み、
前記スピードモードがハイスピードモードに決定された場合、メモリパワー消耗量は前記メモリパワー消耗量の初期設定基準よりも大きく、前記スピードモードがロースピードモードに決定された場合、演算パワー消耗量は前記演算パワー消耗量の初期設定基準よりも大きく、
前記メモリ帯域幅は、前記ホスト装置から前記データ保存装置に伝達される前記第１の入力データ及び前記第２の入力データの帯域幅に関連しており、
前記ハイスピードモードにおける前記メモリ帯域幅は、前記ロースピードモードにおける前記メモリ帯域幅よりも大きいことを特徴とする、データ処理システム。

【請求項2】

前記ＰＥアレイは、第１のＰＥグループ及び第２のＰＥグループを含み、前記第１及び第２のＰＥグループの各々は第１の方向及び前記第１の方向と異なる第２の方向に配列された複数のＰＥを含み、
前記加速器は、
前記ＰＥアレイ内の前記第１のＰＥグループ及び前記第２のＰＥグループ間に配置されて、前記ＰＥアレイ内の前記第１の方向の第２のＰＥグループに第１のデータグループの第１の入力データ及び第２のデータグループの第１の入力データの何れか一つを選択的に入力させ、前記ＰＥアレイ内の前記第２の方向の第２のＰＥグループに第３のデータグループの第２の入力データ及び第４のデータグループの第２の入力データの何れか一つを選択的に入力させるためのＰＥアレイ調整ブロック；及び、
前記メモリ帯域幅のスピードモードによって前記ＰＥアレイ調整ブロックを制御するための適応型データ経路コントローラを含むことを特徴とする、請求項１に記載のデータ処理システム。

【請求項3】

前記第１のＰＥグループ及び前記第２のＰＥグループの各々の前記第１の方向に配列されたＰＥの数は、前記メモリ帯域幅の基本単位に対応することを特徴とする、請求項２に記載のデータ処理システム。

【請求項4】

前記ＰＥアレイ調整ブロックは、前記第１の方向の前記第２のＰＥグループに前記第１の入力データを入力させるための複数の第１の多重化器と、前記第２の方向の前記第２のＰＥグループに前記第２の入力データを入力させるための複数の第２の多重化器とを含むことを特徴とする、請求項３に記載のデータ処理システム。

【請求項5】

前記第１の方向はロウ(Row)方向であり、前記第２の方向はカラム(column)方向であり、
前記複数の第１の多重化器は前記ＰＥアレイ内の前記第２のＰＥグループの一番目のカラムに配列されたＰＥらに各々連結され、前記複数の第２の多重化器は前記ＰＥアレイ内の第２のＰＥグループの一番目のロウに配列されたＰＥらに各々連結されることを特徴とする、請求項４に記載のデータ処理システム。

【請求項6】

前記適応型データ経路コントローラは、
前記ＰＥアレイの初期構造がＮ×Ｍ構造であり、前記メモリ帯域幅が２×であり、前記メモリ帯域幅のスピードモードが前記ロースピードモードである場合、前記ＰＥアレイの構造が２Ｎ×Ｍ／２になるように、前記第１の入力データ及び前記第２の入力データの入力経路を制御し、
前記Ｎはバッチサイズであり、正の整数であり、前記Ｍは加重値幅であり、２以上の正の整数であることを特徴とする、請求項５に記載のデータ処理システム。

【請求項7】

前記適応型データ経路コントローラは、前記第１のＰＥグループが前記第１のデータグループの前記第１の入力データを受信すると、前記複数の第１の多重化器が前記第１の方向の前記第２のＰＥグループに前記第２のデータグループの前記第１の入力データを入力するように制御し、前記第１のＰＥグループが前記第３のデータグループの前記第２の入力データを受信すると、前記第２の多重化器が前記第２の方向の前記第２のＰＥグループに前記第３のデータグループの前記第２の入力データを入力するように制御し、
前記第１のデータグループ及び前記第２のデータグループの各々のサイズはＮであり、
前記第３のデータグループ及び前記第４のデータグループの各々のサイズはＭ／２であることを特徴とする、請求項６に記載のデータ処理システム。

【請求項8】

前記加速器は、前記ホスト装置から伝達される前記メモリ帯域幅のスピードモードを前記適応型データ経路コントローラに伝達するＰＥコントローラをさらに含むことを特徴とする、請求項２に記載のデータ処理システム。

【請求項9】

前記加速器は、前記ＰＥアレイにロウ(Row)単位にクロックゲーティングを遂行するための第１のレベルパワーコントローラをさらに含むことを特徴とする、請求項２に記載のデータ処理システム。

【請求項10】

前記加速器は、
前記ＰＥアレイ内の前記第１の方向のＰＥらに第１の入力データを伝達するＩＯバッファ；及び、
前記ＰＥアレイ内の前記第２の方向のＰＥらに第２の入力データを伝達する加重値バッファをさらに含むことを特徴とする、請求項２に記載のデータ処理システム。

【請求項11】

前記第１の方向はロウ(Row)方向であり、前記第２の方向はカラム(column)方向であり、
前記加速器は、
前記ＰＥアレイのロウ別に各々具備され、前記ＰＥアレイによって演算処理されたデータに活性化関数処理を遂行するための活性化関数処理部をさらに含むことを特徴とする、請求項１０に記載のデータ処理システム。

【請求項12】

前記データ保存装置は、
少なくとも一つのメモリダイに前記メモリ帯域幅のスピードモードを伝達するメモリコントローラ；及び、
前記メモリコントローラから伝達される前記メモリ帯域幅のスピードモードに基づいてメモリのクロックを変更する少なくとも一つ以上のメモリダイをさらに含むことを特徴とする、請求項１に記載のデータ処理システム。

【請求項13】

前記データ保存装置はＰＮＭ(Processing Near Memory)であることを特徴とする、請求項１に記載のデータ処理システム。

【請求項14】

前記ホスト装置は、前記ニューラルネットワークモデルがＣＮＮ(Convolutional Neural Network)である場合、前記メモリ帯域幅のスピードモードを前記ロースピードモードに決定することを特徴とする、請求項１に記載のデータ処理システム。

【請求項15】

前記ホスト装置は、前記ニューラルネットワークモデルがＭＬＰ(Multi-Layer Perceptron)及びＬＳＴＭ(Long Short Term Memory)の何れか一つである場合、前記バッチサイズを基準値と比較して、前記バッチサイズが基準値を超過する場合は前記メモリ帯域幅のスピードモードを前記ロースピードモードに決定し、前記バッチサイズが基準値以下である場合は前記ハイスピードモードに決定することを特徴とする、請求項１に記載のデータ処理システム。

【請求項16】

メモリ帯域幅のスピードモードに基づいてＰＥアレイに入力される第１の入力データ及び第２の入力データの伝達経路を制御する加速器を含み、
前記加速器は、
第１のＰＥグループ及び第２のＰＥグループを含み、前記第１及び第２のＰＥグループの各々は第１の方向及び前記第１の方向と異なる第２の方向に配列された複数のＰＥを含むＰＥアレイ；
前記ＰＥアレイ内の前記第１のＰＥグループ及び前記第２のＰＥグループ間に配置されて、前記ＰＥアレイ内の前記第１の方向の第２のＰＥグループに第１のデータグループの第１の入力データ及び第２のデータグループの第１の入力データの何れか一つを選択的に入力させ、前記ＰＥアレイ内の前記第２の方向の第２のＰＥグループに第３のデータグループの第２の入力データ及び第４のデータグループの第２の入力データの何れか一つを選択的に入力させるためのＰＥアレイ調整ブロック；及び
前記メモリ帯域幅のスピードモードによって前記ＰＥアレイ調整ブロックを制御するための適応型データ経路コントローラを含み、
前記スピードモードがハイスピードモードに決定された場合、メモリパワー消耗量は前記メモリパワー消耗量の初期設定基準よりも大きく、前記スピードモードがロースピードモードに決定された場合、演算パワー消耗量は前記演算パワー消耗量の初期設定基準よりも大きく、
前記メモリ帯域幅は、ホスト装置から受信した前記第１の入力データ及び前記第２の入力データの帯域幅に関連しており、
前記ハイスピードモードにおける前記メモリ帯域幅は、前記ロースピードモードにおける前記メモリ帯域幅よりも大きいことを特徴とする、加速装置。

【請求項17】

前記第１のＰＥグループ及び前記第２のＰＥグループの各々の前記第１の方向に配列されたＰＥの数は、前記メモリ帯域幅の基本単位に対応することを特徴とする、請求項１６に記載の加速装置。

【請求項18】

前記ＰＥアレイ調整ブロックは、前記第１の方向の前記第２のＰＥグループに前記第１の入力データを入力させるための複数の第１の多重化器と、前記第２の方向の前記第２のＰＥグループに前記第２の入力データを入力させるための複数の第２の多重化器とを含むことを特徴とする、請求項１７に記載の加速装置。

【請求項19】

前記第１の方向はロウ(Row)方向であり、前記第２の方向はカラム(column)方向であり、
前記複数の第１の多重化器は前記ＰＥアレイ内の前記第２のＰＥグループの一番目のカラムに配列されたＰＥらに各々連結され、前記複数の第２の多重化器は前記ＰＥアレイ内の第２のＰＥグループの一番目のロウに配列されたＰＥらに各々連結されることを特徴とする、請求項１８に記載の加速装置。

【請求項20】

前記適応型データ経路コントローラは、前記ＰＥアレイの初期構造がＮ×Ｍ構造であり、前記メモリ帯域幅が２×であり、前記メモリ帯域幅のスピードモードが前記ロースピードモードである場合、前記ＰＥアレイの構造が２Ｎ×Ｍ／２になるように、前記第１のデータ及び前記第２のデータの入力経路を制御し、
前記Ｎはバッチサイズであり、正の整数であり、前記Ｍは加重値幅であり、２以上の正の整数であることを特徴とする、請求項１９に記載の加速装置。

【請求項21】

前記適応型データ経路コントローラは、前記第１のＰＥグループが前記第１のデータグループの前記第１の入力データを受信すると、前記複数の第１の多重化器が前記第１の方向の前記第２のＰＥグループに前記第２のデータグループの前記第１の入力データを入力するように制御し、前記第１のＰＥグループが前記第３のデータグループの前記第２の入力データを受信すると、前記第２の多重化器が前記第２の方向の前記第２のＰＥグループに前記第３のデータグループの前記第２の入力データを入力するように制御し、
前記第１のデータグループ及び前記第２のデータグループの各々のサイズはＮであり、
前記第３のデータグループ及び前記第４のデータグループの各々のサイズはＭ／２であることを特徴とする、請求項２０に記載の加速装置。

【請求項22】

ニューラルネットワークモデル及びバッチサイズの少なくとも一つ以上に基づいてメモリ帯域幅のスピードモードを決定する中央処理装置；及び、
前記ニューラルネットワークモデルを具現するためのＰＥアレイを含み、前記メモリ帯域幅のスピードモードによって前記ＰＥアレイの第１の入力データ及び第２の入力データの伝達経路を制御する加速器を含み、
前記スピードモードがハイスピードモードに決定された場合、メモリパワー消耗量は前記メモリパワー消耗量の初期設定基準よりも大きく、前記スピードモードがロースピードモードに決定された場合、演算パワー消耗量は前記演算パワー消耗量の初期設定基準よりも大きく、
前記メモリ帯域幅は、前記中央処理装置から受信された前記第１の入力データ及び前記第２の入力データの帯域幅に関連しており、
前記ハイスピードモードにおける前記メモリ帯域幅は、前記ロースピードモードにおける前記メモリ帯域幅よりも大きいことを特徴とする、データ保存装置。

【請求項23】

前記ＰＥアレイは、第１のＰＥグループ及び第２のＰＥグループを含み、前記第１及び第２のＰＥグループの各々は第１の方向及び前記第１の方向と異なる第２の方向に配列された複数のＰＥを含み、
前記加速器は、
前記ＰＥアレイ内の前記第１のＰＥグループ及び前記第２のＰＥグループ間に配置されて、前記ＰＥアレイ内の前記第１の方向の第２のＰＥグループに第１のデータグループの第１の入力データ及び第２のデータグループの第１の入力データの何れか一つを選択的に入力させ、前記ＰＥアレイ内の前記第２の方向の第２のＰＥグループに第３のデータグループの第２の入力データ及び第４のデータグループの第２の入力データの何れか一つを選択的に入力させるためのＰＥアレイ調整ブロック；及び、
前記メモリ帯域幅のスピードモードによって前記ＰＥアレイ調整ブロックを制御するための適応型データ経路コントローラを含むことを特徴とする、請求項２２に記載のデータ保存装置。

【請求項24】

前記第１の方向の前記第２のＰＥグループに前記第１の入力データを入力させるための複数の第１の多重化器と、前記第２の方向の前記第２のＰＥグループに前記第２の入力データを入力させるための複数の第２の多重化器とを含むことを特徴とする、請求項２３に記載のデータ保存装置。

【請求項25】

前記加速器は、前記中央処理装置から伝達される前記メモリ帯域幅のスピードモードを前記適応型データ経路コントローラに伝達するＰＥコントローラをさらに含むことを特徴とする、請求項２３に記載のデータ保存装置。

【請求項26】

少なくとも一つのメモリダイに前記メモリ帯域幅のスピードモードを伝達するメモリコントローラ；及び、
前記メモリコントローラから伝達される前記メモリ帯域幅のスピードモードに基づいてメモリのクロックを変更する少なくとも一つ以上のメモリダイをさらに含むことを特徴とする、請求項２２に記載のデータ保存装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ保存装置、データ処理システム及びこれのための加速装置に関する。

【背景技術】

【0002】

ＡＩ加速器(Artificial Intelligence Accelerator)は、ソフトウェアで処理したＭＬＰ(Multi-Layer Perceptron)やＬＳＴＭ(Long Short Term Memory)やＣＮＮ(Convolutional Neural Network)などのアプリケーションをハードウェアで具現することで、ホストの演算及びリソース負担を低減しながら、関連演算の性能は極大化できるアプリケーションであり得る。

【0003】

前記ＡＩ加速器は高いパワー消耗量を持つことができる。このとき、パワー消耗量は演算パワー及びメモリパワーに区分できる。一般に、メモリ帯域幅が高まるほどメモリパワーの消耗も大きくなり得る。

【0004】

ディープラーニング(Deep Learning)は、ネットワークモデルによって主要応用が決定され得る。例えば、ＣＮＮは演算器が相対的に多く必要な応用であり得、ＭＬＰ及びＬＳＴＭはメモリ帯域幅が多く必要な応用であり得る。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例は、メモリ帯域幅によってメモリパワー及び演算パワーを流動的に調節するためのデータ処理システム及びこれのための加速装置を提供する。

【課題を解決するための手段】

【0006】

本発明の実施例に係るデータ処理システムは、ネットワークモデル及びバッチサイズ(Batch Size)の少なくとも一つ以上に基づいてメモリ帯域幅のスピードモードを決定して、加速器の演算パワー及びメモリパワーを調節するホスト装置；及び、前記メモリ帯域幅のスピードモードによってＰＥアレイ(Processing Element Array)の第１の入力データ及び第２の入力データの伝達経路を制御して、前記ＰＥアレイの構造を変更する加速器を含むデータ保存装置を含み、前記メモリ帯域幅のスピードモードは、総パワー予算において、前記メモリパワーを初期設定基準より上向き調節するハイスピードモード(High Speed Mode)と、前記演算パワーを初期設定基準より上向き調節するロースピードモード(Low Speed Mode)とを含むことができる。

【0007】

本発明の実施例に係る加速装置は、メモリ帯域幅のスピードモードに基づいてＰＥアレイに入力される第１の入力データ及び第２の入力データの伝達経路を制御して、前記ＰＥアレイの構造を変更する加速器を含み、前記加速器は、第１のＰＥグループ及び第２のＰＥグループを含み、前記第１及び第２のＰＥグループの各々は第１の方向及び第２の方向に配列された複数のＰＥを含むＰＥアレイ；及び、前記ＰＥアレイ内の前記第１のＰＥグループ及び前記第２のＰＥグループ間に配置され、前記ＰＥアレイ内の前記第１の方向の第２のＰＥグループに第１のデータグループの第１の入力データ及び第２のデータグループの第１の入力データの何れか一つを選択的に入力させ、前記ＰＥアレイ内の前記第２の方向の第２のＰＥグループに第３のデータグループの第２の入力データ及び第４のデータグループの第２の入力データの何れか一つを選択的に入力させるためのＰＥアレイ調整ブロックを含むことができる。

【0008】

本発明の実施例に係るデータ保存装置は、ネットワークモデル及びバッチサイズの少なくとも一つ以上に基づいてメモリ帯域幅のスピードモードを決定して、加速器の演算パワー及びメモリパワーを調節する中央処理装置；及び、前記メモリ帯域幅のスピードモードによってＰＥアレイの第１の入力データ及び第２の入力データの伝達経路を制御して、前記ＰＥアレイの構造を変更する加速器を含み、前記メモリ帯域幅のスピードモードは、総パワー予算において、前記メモリパワーを初期設定基準より上向き調節するハイスピードモードと、前記演算パワーを初期設定基準より上向き調節するロースピードモードとを含むことができる。

【発明の効果】

【0009】

本発明によれば、メモリ帯域幅によって演算パワー及びメモリパワーを流動的に調節するため、ネットワークモデル別の主要応用の性能を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例に係るデータ処理システム及び外部サーバーの連結関係を示す図である。

【図2】本発明の実施例に係るデータ処理システムの構成を示す図である。

【図3】本発明の実施例に係るホスト装置におけるスピードモードの決定方法を説明するための図である。

【図4】本発明の実施例に係る総パワー予算の例示図である。

【図5】本発明の実施例に係るメモリパワー及び演算パワーの調整を説明するための例示図である。

【図6】本発明の実施例に係るデータ保存装置の構成を示す図である。

【図7】本発明の実施例に係る加速器の構成を詳細に示す図である。

【図8】本発明の実施例に係るＰＥアレイの例示図である。

【図9】本発明の実施例に係るＰＥアレイの他の例示図である。

【図10】本発明の実施例に係るＰＥアレイ構造の例示図である。

【図11】本発明の実施例に係るメモリコントローラ及びメモリダイ間の連結関係を示す図である。

【図12】本発明の実施例に係るスピードモードによる性能変化を説明するための図である。

【図13】本発明の実施例に係る加速装置の構成を示す図である。

【図14】本発明の他の実施例に係るデータ保存装置の構成を示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面に基づき、本発明の好適な実施例を詳細に説明する。

【0012】

図１は本発明の実施例に係るデータ処理システム及び外部サーバーの連結関係を示す図、図２は本発明の実施例に係るデータ処理システムの構成を示す図である。

【0013】

以下では、本発明の実施例に係るホスト装置におけるスピードモードの決定方法を説明するための図３、本発明の実施例に係る総パワー予算の例示図である図４、本発明の実施例に係るメモリパワー及び演算パワーの調整を説明するための例示図である図５を参照して説明する。

【0014】

図１を参照すれば、データ処理システム２０は、通信網を介して外部に位置するサーバー１０と連結してデータが受信できる。このとき、データは後述するバッチサイズ(Batch Size)であり得る。ディップラーニングアプリケーション(Deep Learning Application)はバッチ単位にデータが処理できる。

【0015】

前記バッチサイズは、データ処理システム２０が１回に処理できるデータの数を意味することができる。例えば、第１の入力データが写真イメージである場合、入力イメージデータの写真個数をバッチと言える。１０バッチは１０個のイメージが第１の入力データとして用いられるのを示す。１０個の第１の入力データは同一の第２の入力データとＭＡＣ(multiplication and accumulation)演算を遂行するようになる。

【0016】

データ処理システム２０は、ホスト装置１００及びデータ保存装置２００を含むことができる。

【0017】

図２を参照すれば、ホスト装置１００は、アプリケーション(Application)１１０、ソフトウェアファームウエア(Software Firmware)１２０及びアプリケーションプログラミングインターフェース(Application Programming Interface)１３０を含むことができる。データ保存装置２００はＰＮＭ(processing-near-memory)であり得る。ＰＮＭは、集積回路(ＩＣ)パッケージに統合された少なくとも一つのメモリダイ(Memory die)２１０及びロジックダイ(Logic die)３００を含むことができる。

【0018】

ホスト装置１００のソフトウェアファームウエア１２０は、ネットワークモデル及びバッチサイズの少なくとも一つ以上に基づいてメモリ帯域幅のスピードモードを決定して、データ保存装置２００を含む加速器４００の演算パワー及びメモリパワーを調節することが可能である。

【0019】

図３を参照すれば、ホスト装置１００は、ネットワーク情報(Network Information)５１０及びＰＮＭアーキテクチャ情報(PNM Architecture Information)５２０のようなハードウェアアーキテクチャ情報を含むネットワークモデル情報に基づき、コンパイル(compiling)が遂行できる(５３０)。このとき、ホスト装置１００は、ＰＮＭのためのコンパイルを遂行するものであって、パワー共有(Power share)のための部分が追加され得る。具体的に、ホスト装置１００は、既存の加速器だけのためのコンパイルの以外に、後述する総パワー予算においてメモリパワー及び演算パワーの各々を変更するためのコンパイルもさらに遂行するものである。

【0020】

一方、前述したＰＮＭは、データシグナルがＰＮＭにおけるロジックダイ３００と連結されるため、ＨＢＭ(High Bandwidth Memory)のデータピン(Data Pin)構造よりも相対的に高いスピードを示すことができる。これは、メモリダイ２１０及びロジックダイ３００をＩＣパッケージに統合することで、オフチップ(Offchip)連結に対するスピード制約が除去されるためである。

【0021】

前記ネットワークは、ＣＮＮ(Convolutional Neural Network)、ＭＬＰ(Multi-Layer Perceptron)及びＬＳＴＭ(Long Short Term Memory)などを含むことができる。前述したように、ネットワークは、神経網(Neural Network)であり得るが、これに限定されない。ネットワーク情報はホスト装置１００が予め認知できる。

【0022】

前述したＰＮＭアーキテクチャ情報は、加速器アーキテクチャ情報、演算器当りパワー、メモリ帯域幅(Memory BW)当りパワー、演算器最大構造及びメモリ帯域幅最大構造を含むことができる。

【0023】

ここで、演算器最大構造は演算器の最大数を意味することができ、メモリ帯域幅最大構造はメモリ帯域幅の最大サイズを意味することができる。前記演算器最大構造及びメモリ帯域幅最大構造は予め設定されている情報であって、開示された発明において予め設定されている最大構造内で可変して適用できる。

【0024】

例えば、演算器がＮであるが、Ｎ個を超過するように割り当てることができず、メモリ帯域幅の最大サイズがＭ個であるが、Ｍ個を超過するように割り当てることができないため、メモリ帯域幅のスピードモードの決定時に参考するように、演算器最大構造及びメモリ帯域幅最大構造を予め提供するものである。このとき、Ｎ及びＭは正の整数(positive integers)であり得る。

【0025】

ホスト装置１００は、メモリ帯域幅のスピードモードを含むＰＮＭに最適化した形態にコンパイルしたデータが出力できる(５４０)。このとき、メモリ帯域幅のスピードモードは、ロースピードモード(Memory BW Low Speed Mode)及びハイスピードモード(Memory BW High Speed Mode)を含むことができる。

【0026】

図４を参照すれば、総パワー予算(Total Power Budget)は、メモリパワー(Memory Power)及び演算パワー(Computing Power)を含むことができる。このとき、メモリパワー及び演算パワーの各々は、調節可能なダイナミックパワー(Dynamic Power)部分及びスタティックパワー(Static Power)部分を含むことができる。図４はメモリパワー及び演算パワーを最大に使用した場合を示す。

【0027】

メモリ帯域幅のスピードモードは、図４に示すような総パワー予算において、メモリパワーを初期設定基準より上向き調節するハイスピードモード(図５のａ)と、演算パワーを初期設定基準より上向き調節するロースピードモード(図５のｂ)とを含むことができる。

【0028】

仮に、出力されたデータに含まれたネットワークモデルがＣＮＮである場合、ホスト装置１００はメモリ帯域幅のスピードモードをロースピードモードに決定できる(５５０)。ホスト装置１００は、ＣＮＮのようにロジックダイ３００においてデータ再使用が相対的に多いネットワークモデルの場合、メモリ帯域幅が低くても演算パワーの性能によって全体性能が決定され得るため、メモリ帯域幅のスピードモードをロースピードモードに決定するものである。

【0029】

ネットワークモデルがＭＬＰ及びＬＳＴＭの何れか一つである場合、ホスト装置１００は、バッチサイズを基準値(Ｋ)と比較して(５６０)、前記バッチサイズが基準値を超過する場合(Batch Size＞K)、前記メモリ帯域幅のスピードモードをロースピードモードに決定し(５５０)、前記バッチサイズが基準値以下である場合、ハイスピードモードに決定できる(５７０)。

【0030】

ネットワークモデルがＭＬＰ又はＬＳＴＭである場合にも、バッチサイズが大きくなれば、演算パワーの要求が相対的に大きくなり得るため、ホスト装置１００は、ネットワークモデルがＭＬＰ又はＬＳＴＭである場合、バッチサイズを基準値と比較するものである。

【0031】

このとき、バッチサイズは、外部に位置するサーバー１０から受信して前述したＰＮＭアーキテクチャ情報に含まれることができる。ホスト装置１００は、ＭＬＰ、ＬＳＴＭ及びＲＮＮ(recurrent neural network)のように、ロジックダイ３００においてデータ再使用(data reuse)がないネットワークモデル(Network Model)の場合、メモリ帯域幅がデータ処理システム２０の性能を決定する重要要素になり得るため、ハイスピードモードが適用できる。

【0032】

図２を参照すれば、データ保存装置２００は、メモリコントローラ３１０、加速器４００及び複数のメモリダイ２１０を含むことができる。このとき、メモリコントローラ３１０及び加速器４００は、ロジックダイ３００に含まれることができる。

【0033】

図１１を参照すれば、メモリコントローラ３１０は、メモリダイ２１０にメモリ帯域幅のスピードモードが伝達できる。

【0034】

メモリダイ２１０は、メモリコントローラ３１０から伝達されるメモリ帯域幅のスピードモードに基づいてメモリのクロック(clock)が変更できる。このとき、データ保存装置２００内のメモリダイ２１０は少なくとも一つ以上であり得る。

【0035】

一方、メモリの帯域幅のスピードモードに基づいてメモリのクロックを変更することは、メモリコントローラ３１０が直接処理することも可能である。

【0036】

前述したデータ保存装置２００は、ＰＮＭ(Processing Near Memory)であり得る。

【0037】

図６は本発明の実施例に係るデータ保存装置の構成を示す図である。

【0038】

以下では、図７乃至図１２を参照して説明する。図７は本発明の実施例に係る加速器の構成を詳細に示す図、図８及び図９は本発明の実施例に係るＰＥアレイの例示図、図１０は本発明の実施例に係るＰＥアレイ構造の例示図、図１１は本発明の実施例に係るメモリコントローラ及びメモリダイ間の連結関係を示す図、図１２は本発明の実施例に係るスピードモードによる性能変化を説明するための図である。

【0039】

図６を参照すれば、データ保存装置２００は、メモリ帯域幅のスピードモードによってＰＥアレイ４３０の第１の入力データ及び第２の入力データの伝達経路を制御して、前記ＰＥアレイ４３０の構造を変更する加速器４００を含むことができる。

【0040】

加速器４００は、第１の入力データ(Input data)及び第２の入力データを受信して乗算し、既存に保有していたデータと加算する。このとき、第２の入力データは加重値データ(Weight data)であり得る。

【0041】

図６を参照すれば、第１の入力データはロウ(Row)方向に沿って伝達され、第２の入力データはカラム(Column)方向に沿って伝達される。合算された結果データは後述するＩＯバッファ(IO Buffer)４５０に沿ってノードで必要な全ての第２の入力データ及び第１の入力データでＭＡＣが遂行された後、活性化関数処理部４８０での活性化関数(Activation Function)処理を遂行した後、出力データとして生成できる。

【0042】

図６及び図７を参照すれば、加速器４００は、ＰＥコントローラ(PE CTRL)４２０、ＰＥアレイ(PE Array)４３０、ＰＥアレイ調整ブロック(PE Array Adaptive Block)４４０、ＩＯバッファ４５０、加重値バッファ(Weight Buffer)４６０、適応型データ経路コントローラ(Adaptive Data Path Controller)４７０、活性化関数処理部(Activation Function Unit；AFU)４８０、追加関数処理部(Special Function Unit；SFU)４９０及びロウレベルパワーコントローラ(Row Level Power Controller)４９５を含むことができる。

【0043】

前述した加速器４００は、ホストインターフェースブロック(Host IF Block)４１０を介してホスト装置１００と通信できる。このとき、ホストインターフェースブロック４１０は、ホスト装置１００のプロトコルに応じてホスト装置及びデータ保存装置２００間がインターフェーシングできる。例えば、ホストインターフェースブロック４１０は、Ｓｅｒｄｅｓインターフェースプロトコルを介してホスト装置１００と通信できる。これに限定されず、ホストインターフェースブロック４１０は、ＰＣＩ－Ｅ(PCI express)、ＵＳＢ(universal serial bus)、ＵＦＳ(universal flash storage)、ＭＭＣ(multimedia card)、ＰＡＴＡ(parallel advanced technology attachment)、ＳＡＴＡ(serial advanced technology attachment)、ＳＣＳＩ(small computer system interface)、ＳＡＳ(serial attached SCSI)及びＰＣＩ(Peripheral component interconnection)プロトコルの何れか一つを介してホスト装置と通信することもできる。

【0044】

ＰＥコントローラ４２０は、ホスト装置１００から伝達されるメモリ帯域幅のスピードモードを適応型データ経路コントローラ４７０に伝達できる。

【0045】

図６に示すように、ＰＥコントローラ４２０は、ホスト装置１００とデータを送受信するホストインターフェースブロック４１０を介して、ホスト装置１００から伝達されるメモリ帯域幅のスピードモードが受信できる。

【0046】

図７を参照すれば、ＰＥアレイ４３０は、複数の第１のＰＥグループを含むことができ、各々の第１のＰＥグループはロウ(Row)方向に配列された多数のＰＥを含むことができる。ＰＥアレイ調整ブロック４４０は、ＰＥアレイ４３０においてＰＥ間に位置した複数の第１の多重化器(multiplexers)を含むことができ、各々の第１の多重化器はＰＥアレイ４３０内のロウ(Row)方向のＰＥに該グループの第１の入力データ及び他のグループの第１の入力データの何れか一つを選択的に入力させるための構成であり得る。

【0047】

また、ＰＥアレイ４３０は、複数の第２のＰＥグループを含むことができ、 各々の第２のＰＥグループはカラム(column)方向に配列された多数のＰＥを含むことができる。ＰＥアレイ調整ブロック４４０は、ＰＥアレイ４３０においてＰＥに連結された複数の第２の多重化器を含むことができ、各々の第２の多重化器は該グループの第２の入力データ及び他のグループの第２の入力データの何れか一つをＰＥアレイ４３０内のカラム(column)方向のＰＥに選択的に入力させることができる。

【0048】

図６のＰＥアレイ４３０はＮ×Ｍ構造のＰＥアレイ４３０を示すものである。前記ＰＥアレイ４３０はＮ×ＭのＰＥを含むことができる。このとき、Ｎはバッチサイズを意味し、Ｍは加重値幅を意味する。すなわち、Ｎは第１の入力データが入力されるロウ(Row)等のサイズを意味し、Ｍは第２の入力データが入力されるカラム(Column)等のサイズを意味する。本実施例において、ＰＥアレイ４３０はＮ個の第１のＰＥグループ及びＭ個の第２のＰＥグループを含むことができる。このとき、各々の第１のＰＥグループはロウ(Row)方向に配列されたＭ個のＰＥを含むことができ、各々の第２のＰＥグループはカラム(column)方向に配列されたＮ個のＰＥを含むことができる。

【0049】

図７及び図１０を参照すれば、ＰＥアレイ調整ブロック４４０は、ＰＥアレイ４３０内のＰＥ間にメモリ帯域幅単位(例えば、１×単位)に配置されるが、二番目のメモリ帯域幅から適用できる。

【0050】

例えば、メモリ帯域幅が２×ＢＷ(Bandwidth)である場合、ＰＥアレイ調整ブロック４４０は２×ＢＷに対応されるＰＥの前ステージに位置し得る。このとき、図１０に示すように、ＰＥアレイ調整ブロック４４０はロウ(Row)グループ(Ａ)及びカラム(Column)グループ(Ｂ)を含むことができる。

【0051】

図７を参照すれば、ＰＥアレイ調整ブロック４４０は、ＰＥの各々に第１の入力データを入力させるためのロウグループ(図１０のＡ)内に含まれた複数の第１の多重化器４４１と、ＰＥの各々に第２の入力データを入力させるためのカラムグループ(図１０のＢ)内に含まれた複数の第２の多重化器４４３とを含むことができる。

【0052】

前記複数の第１の多重化器４４１はＰＥアレイ４３０のロウ(Row)単位に各々マッチングされ、前記複数の第２の多重化器４４３はカラム(Column)単位に各々マッチングされることができる。

【0053】

図１０は、Ｎが６でＭが６４であるとき、ＰＥアレイ調整ブロック４４０を含むＰＥアレイ４３０を示す図である。図１０を参照すれば、複数の第１の多重化器４４１のうち、参照番号４４１－１の場合、適応型データ経路コントローラ(図７の４７０)の制御により、第１の入力データＩｎＱ＿１及びＩｎＱ＿７の何れか一つを１×３３のＰＥに入力させることができる。

【0054】

複数の第２の多重化器４４３のうち、参照番号４４３－１の場合、適応型データ経路コントローラ４７０の制御により、第２の入力データＷＢ＿６＿１及びＷＢ＿６＿３３の何れか一つを１×３３のＰＥに入力させることができる。

【0055】

ＩＯバッファ(IO Buffer)４５０は、ＰＥアレイ４３０内の前記ロウ(Row)方向のＰＥに第１の入力データを伝達する構成であり得る。

【0056】

加重値バッファ(Weight Buffer)４６０は、ＰＥアレイ４３０内の前記カラム(column)方向のＰＥに第２の入力データが伝達できる。

【0057】

図示していないが、ＩＯバッファ４５０及び加重値バッファ４６０は一つで具現されてＢＵＳで連結することも可能である。

【0058】

適応型データ経路コントローラ４７０は、メモリ帯域幅のスピードモードによってＰＥアレイ調整ブロック４４０の入力処理が制御できる。

【0059】

図８はＮ×Ｍ構造を初期構造とするＰＥアレイ４３０を示し、図９は２Ｎ×Ｍ／２構造を初期構造とするＰＥアレイ４３０を示す。

【0060】

適応型データ経路コントローラ４７０は、ＰＥアレイ４３０の初期構造が図８のようにＮ×Ｍ構造であり、メモリ帯域幅が２×であり、メモリ帯域幅のスピードモードがロースピードモードである場合、前記ＰＥアレイ４３０の構造がＮ×Ｍ構造から２Ｎ×Ｍ／２構造になるように、前記第１の入力データ及び前記第２の入力データの入力経路が制御できる。このとき、Ｎはバッチサイズであり、Ｍは加重値幅を意味することができる。

【0061】

具体的に、適応型データ経路コントローラ４７０は、複数の第１の多重化器４４１が２Ｎグループ以上から第１の入力データを受信するように制御し、第２の多重化器４４３がＭ／２グループから前記第２の入力データを受信するように制御できる。例えば、図８に示すように、ＰＥアレイ４３０の初期構造がＮ×Ｍ構造でメモリ帯域幅が２×である場合、メモリ構造は図１０の６×６４であり得る。このとき、ＰＥアレイ調整ブロック４４０は、一番目の１×ステージ及び二度目の１×ステージ(又は２×ステージ)間に配置されることができる。一番目の１×ステージは左側Ｎ×Ｍ／２構造に該当し、二番目の１×ステージは右側Ｎ×Ｍ／２構造に該当できる。

【0062】

メモリ帯域幅のスピードモードがロースピードモードである場合、適応型データ経路コントローラ４７０は、ＰＥアレイ４３０の構造を６×６４(図８を参照)から１２×３２(図９を参照)のメモリ構造に変更できる。このとき、ロースピードモードは２Ｎ×Ｍ／２構造を意味することができる。

【0063】

図７及び図１０を参照すれば、適応型データ経路コントローラ４７０は、複数の第１の多重化器４４１を制御して、１×３３のＰＥから６×３３のＰＥのロウ(Row)方向のＰＥらが各々第１の入力データＩｎＱ＿７乃至ＩｎＱ＿１２が受信できる。

【0064】

図７及び図１０を参照すれば、適応型データ経路コントローラ４７０は、複数の第２の多重化器４４３を制御して、１×３３のＰＥから１×６４のＰＥのカラム(Column)方向のＰＥらが各々第２の入力データＷＢ＿６＿１乃至 ＷＢ＿６＿３２が受信できる。

【0065】

すなわち、１×３３のＰＥから６×３３のＰＥのロウ(Row)方向のＰＥらは、各々第１の入力データＩｎＱ＿１乃至ＩｎＱ＿６でないＩｎＱ＿７乃至ＩｎＱ＿１２が入力され、１×３３のＰＥから１×６４のＰＥのカラム(Column)方向のＰＥらは、各々第２の入力データＷＢ＿６＿３３乃至ＷＢ＿６＿６４でないＷＢ＿６＿１乃至ＷＢ＿６＿３２が入力されるため、第１及び第２の入力データの入力経路が調整された１２×３２のＰＥアレイ構造が具現できるものである。

【0066】

反対に、適応型データ経路コントローラ４７０は、ＰＥアレイ４３０の初期構造が２Ｎ×Ｍ／２構造(図９を参照)であり、メモリ帯域幅が２×であり、メモリ帯域幅のスピードモードがハイスピードモード(図８を参照)である場合、ＰＥアレイ４３０の構造が２Ｎ×Ｍ／２構造からＮ×Ｍ構造になるように、第１の入力データ及び第２の入力データの入力経路が制御できる。

【0067】

図９に示すように、ＰＥアレイ調整ブロック４４０は、一番目の１×ステージ及び二番目の１×ステージ(又は２×ステージ)間に位置し得る。このとき、一番目の１×ステージは下位Ｎ×Ｍ／２構造に該当し、二番目の１×ステージは上位Ｎ×Ｍ／２構造に該当できる。適応型データ経路コントローラ４７０は、複数の第１の多重化器４４１が２Ｎグループのうち、一番目のＮグループから第１の入力データを受信するように制御し、第２の多重化器４４３が一番目のＭ／２グループの次のＭ／２グループから第２の入力データを受信するように制御できる。

【0068】

例えば、図１０を参照すれば、図９の上位Ｎ×Ｍ／２構造は１×３３のＰＥ乃至６×３３のＰＥ、…１×６４のＰＥ乃至６×６４のＰＥを含み、第１の入力データであるＩｎＱ＿１乃至ＩｎＱ＿６が１×３３のＰＥから６×３３のＰＥのロウ方向のＰＥらの各々に入力され、第２の入力データであるＷＢ＿６＿３３乃至ＷＢ＿６＿６４が１×３３のＰＥ乃至１×６４のＰＥのカラム方向のＰＥらの各々に入力されることができる。

【0069】

図７を参照すれば、活性化関数処理部(Activation Function Unit)４８０は、ＰＥアレイ４３０のロウ(Row)別に各々具備されて演算処理されたデータに活性化関数処理を遂行するための構成であり得る。

【0070】

このとき、活性化関数はＲｅＬＵ、ｔａｎｈ、ｓｉｇｍｏｉｄなどの多様なアルゴリズムが用いられる。また、活性化関数は、ルックアップテーブル(lookup table)で構成したり、或いは、マイクロコア(micro-core)で構成したりできる。

【0071】

追加関数処理部(Special Function Unit)４９０は、活性化関数処理部４８０の各々にマッチングされて活性化関数処理の以外に追加的な演算を遂行するための構成であり得る。例えば、追加関数処理部４９０は、ＬＳＴＭのElement-wize乗算のような処理が遂行できるロジックであり得る。

【0072】

ロウレベルパワーコントローラ４９５は、ＰＥアレイ４３０にロウ(Row)単位にクロックゲーティング(Clock Gating)制御処理を遂行するための構成であり得る。

【0073】

前述したように、活性化関数処理部４８０及び追加関数処理部４９０がロウ(Row)別に各々具備されているため、ロウレベルパワーコントローラ４９５がロウ単位にクロックゲーティング制御処理が遂行でき、これにより、コンピューティング演算時のパワーが低減されるという効果が期待できる。

【0074】

図１２はスピードモードによる性能変化を示す図である。図１２を参照すれば、同一のパワー予算の使用時、メモリ帯域幅のスピードモードをロースピードモード又はハイスピードモードに変更して適用することで、ＭＬＰやＬＳＴＭ応用の性能がＰ１からＰ２に向上することが確認できる。このとき、ＭＬＰやＬＳＴＭは、バッチサイズが基準値以下である場合なので、ハイスピードモードを適用した場合であり得る。

【0075】

図１３は本発明の実施例に係る加速装置の構成を示す図である。

【0076】

図１３を参照すれば、加速装置６００は、ＰＥアレイの第１の入力データ及び第２の入力データの伝達経路を制御して、前記ＰＥアレイの構造を変更する加速器４００を含むことができる。

【0077】

加速器４００は、第１の入力データ及び第２の入力データを受信して乗算し、既存に保有していたデータと加算する。このとき、第２の入力データは加重値データ(Weight data)であり得る。

【0078】

図６を参照すれば、第１の入力データはロウ(Row)方向に沿って伝達され、第２の入力データはカラム(Column)方向に沿って伝達される。合算された結果データは後述するＩＯバッファ４５０に沿ってノードで必要な全ての第２の入力データ及び第１の入力データでＭＡＣが遂行された後、活性化関数処理部４８０での活性化関数処理を遂行した後、出力データとして生成できる。

【0079】

より詳しくは、加速器４００は、ＰＥコントローラ４２０、ＰＥアレイ４３０、ＰＥアレイ調整ブロック４４０、ＩＯバッファ４５０、加重値バッファ４６０、適応型データ経路コントローラ４７０、活性化関数処理部(Activation Function Unit；AFU)４８０、追加関数処理部(Special Function Unit；SFU)４９０及びロウレベルパワーコントローラ４９５を含むことができる。

【0080】

前述した加速器４００は、ホストインターフェースブロック４１０を介してホスト装置１００と通信できる。このとき、ホストインターフェースブロック４１０は、ホスト装置１００のプロトコルに応じてホスト装置及びデータ保存装置２００間をインターフェーシングできる。例えば、ホストインターフェースブロック４１０は、Ｓｅｒｄｅｓインターフェースプロトコルを介してホスト装置１００と通信できる。これに限定されるものではない。

【0081】

ＰＥコントローラ４２０は、ホスト装置１００から伝達されるメモリ帯域幅のスピードモードを適応型データ経路コントローラ４７０に伝達できる。

【0082】

ＰＥアレイ調整ブロック４４０は、ＰＥアレイ４３０間に配置された複数の第１の多重化器４４１を含み、各々の第１の多重化器４４１はＰＥアレイ４３０内のロウ(Row)方向のＰＥらに該グループの第１の入力データ及び他のグループの第１の入力データの何れか一つを選択的に入力させるための構成であり得る。一実施例において、ＰＥアレイ４３０は、複数の第１のＰＥグループを含み、各々の第１のＰＥグループはロウ(Row)方向に配列された複数のＰＥを含むことができる。

【0083】

また、ＰＥアレイ調整ブロック４４０は、ＰＥアレイ４３０間に配置された複数の第２の多重化器４４３を含み、各々の第２の多重化器４４３はＰＥアレイ４３０内のカラム(Column)方向のＰＥらに該グループの第２の入力データ及び他のグループの第２の入力データの何れか一つを選択的に入力させることができる。一実施例において、ＰＥアレイ４３０は、複数の第２のＰＥグループを含み、各々の第２のＰＥグループはカラム(Column)方向に配列された複数のＰＥを含むことができる。

【0084】

ＰＥアレイ調整ブロック４４０は、ＰＥアレイ４３０間にメモリ帯域幅単位に配置されるが、二番目のメモリ帯域幅から適用できる。

【0085】

図７を参照すれば、ＰＥアレイ調整ブロック４４０は、ＰＥの各々に第１の入力データを入力させるための複数の第１の多重化器４４１と、前記ＰＥの各々に第２の入力データを入力させるための複数の第２の多重化器４４３とを含むことができる。

【0086】

複数の第１の多重化器４４１は、ＰＥアレイ４３０のロウ(Row)単位に各々マッチングされ、複数の第２の多重化器４４３はカラム(Column)単位に各々マッチングされる。

【0087】

ＩＯバッファ４５０は、ＰＥアレイ４３０内の前記ロウ(Row)方向のＰＥに第１の入力データを伝達する構成であり得る。

【0088】

加重値バッファ４６０は、ＰＥアレイ４３０内の前記カラム(column)方向のＰＥに第２の入力データが伝達できる。

【0089】

適応型データ経路コントローラ４７０は、メモリ帯域幅のスピードモードによって前記ＰＥアレイ調整ブロックの入力処理を制御するための構成であり得る。

【0090】

前記メモリ帯域幅のスピードモードは、総パワー予算において、メモリパワーを初期設定基準より上向き調節するハイスピードモードと、演算パワーを初期設定基準より上向き調節するロースピードモードとを含むことができる。

【0091】

適応型データ経路コントローラ４７０は、ＰＥアレイ４３０の初期構造がＮ×Ｍ構造であり、メモリ帯域幅が２×であり、メモリ帯域幅のスピードモードがロースピードモードである場合、ＰＥアレイ４３０の構造がＮ×Ｍ構造から図９の２Ｎ×Ｍ／２になるように、第１の入力データ及び第２の入力データの入力経路が制御できる。前記Ｎはバッチサイズであり、前記Ｍは加重値幅を意味することができる。

【0092】

適応型データ経路コントローラ４７０は、複数の第１の多重化器４４１が２Ｎグループ以上から第１の入力データを受信するように制御し、第２の多重化器４４３がＭ／２グループから第２の入力データを受信するように制御できる。

【0093】

反対に、適応型データ経路コントローラ４７０は、ＰＥアレイ４３０の初期構造が２Ｎ×Ｍ／２構造(図９を参照)であり、メモリ帯域幅が２×であり、メモリ帯域幅のスピードモードがハイスピードモード(図８を参照)である場合、ＰＥアレイ４３０の構造が２Ｎ×Ｍ／２構造から図８のＮ×Ｍ構造になるように、第１の入力データ及び第２の入力データの入力経路が制御できる。

【0094】

適応型データ経路コントローラ４７０は、複数の第１の多重化器４４１が２Ｎグループのうち、一番目のＮグループから第１の入力データを受信するように制御し、第２の多重化器４４３が一番目のＭ／２グループの次のＭ／２グループから第２の入力データを受信するように制御できる。

【0095】

図１４は、本発明の他の実施例に係るデータ保存装置の構成を示す図である。

【0096】

以下では、開示のデータ保存装置は、前述したデータ保存装置の構成と同一の役割を果たすことができる構成であるので、その詳細な説明を省略する。

【0097】

データ保存装置２００は、中央処理装置７００、加速器４００、メモリコントローラ３１０及び複数のメモリダイ２１０を含むことができる。このとき、メモリコントローラ３１０、加速器４００及び中央処理装置７００は、ロジックダイ３００に含まれることができる。

【0098】

中央処理装置７００は、ネットワークモデル及びバッチサイズの少なくとも一つ以上に基づいてメモリ帯域幅のスピードモードを決定して、加速器４００の演算パワー及びメモリパワーが調節できる。前記メモリ帯域幅のスピードモードは、総パワー予算において、メモリパワーを初期設定基準より上向き調節するハイスピードモードと、前記演算パワーを初期設定基準より上向き調節するロースピードモードとを含むことができる。このとき、中央処理装置７００は、図２において開示するホスト装置１００の機能をデータ保存装置２００内で具現するための構成であって、ホスト装置１００の機能が全部適用されることは当然である。

【0099】

中央処理装置７００は、通信網を介して外部に位置するサーバー(図１の１０)と連結してデータが受信できる。このとき、データはバッチサイズであり得る。バッチサイズはＰＮＭアーキテクチャ情報に含まれることができる。図示していないが、中央処理装置７００が外部に位置するサーバー１０とデータを送受信するために、有線又は通信が可能なインターフェースを具備することは当然である。

【0100】

加速器４００は、メモリ帯域幅のスピードモードによってＰＥアレイ(図６の４３０)の第１の入力データ及び第２の入力データの伝達経路を制御して、前記ＰＥアレイの構造が変更できる。

【0101】

図６及び図７を参照すれば、加速器４００は、ＰＥコントローラ(PE CTRL)４２０、ＰＥアレイ４３０、ＰＥアレイ調整ブロック４４０、ＩＯバッファ４５０、加重値バッファ４６０、適応型データ経路コントローラ４７０、活性化関数処理部(Activation Function Unit；AFU)４８０、追加関数処理部(Special Function Unit；SFU)４９０及びロウレベルパワーコントローラ４９５を含むことができる。

【0102】

ＰＥコントローラ４２０は、中央処理装置７００から伝達されるメモリ帯域幅のスピードモードを適応型データ経路コントローラ４７０に伝達できる。

【0103】

ＰＥアレイ調整ブロック４４０は、ＰＥアレイ４３０間に配置されて、ＰＥアレイ４３０内のロウ(Row)方向のＰＥに該グループの第１の入力データ及び他のグループの第１の入力データの何れか一つを選択的に入力させるための構成であり得る。

【0104】

また、ＰＥアレイ調整ブロック４４０は、ＰＥアレイ４３０間に配置されて、ＰＥアレイ４３０内のカラム(Column)方向のＰＥに該グループの第２の入力データ及び他のグループの第２の入力データの何れか一つを選択的に入力させることができる。

【0105】

図６のＰＥアレイ４３０はＮ×Ｍ構造のＰＥアレイ４３０を示すものである。このとき、Ｎはバッチサイズであり、Ｍは加重値幅を意味することができる。すなわち、Ｎは第１の入力データが入力されるロウ(Row)方向のサイズを意味し、Ｍは第２の入力データが入力されるカラム(Column)方向のサイズを意味することができる。

【0106】

図７及び図１０を参照すれば、ＰＥアレイ調整ブロック４４０は、ＰＥアレイ４３０間にメモリ帯域幅単位(例えば、１×単位)に配置されるが、二番目のメモリ帯域幅から適用できる。

【0107】

図７を参照すれば、ＰＥアレイ調整ブロック４４０は、ＰＥの各々に第１の入力データを入力させるための複数の第１の多重化器４４１と、ＰＥの各々に第２の入力データを入力させるための複数の第２の多重化器４４３とを含むことができる。

【0108】

前記複数の第１の多重化器４４１はＰＥアレイ４３０のロウ(Row)単位に各々マッチングされ、前記複数の第２の多重化器４４３はカラム(Column)単位に各々マッチングされることができる。

【0109】

ＩＯバッファ４５０は、ＰＥアレイ４３０内の前記ロウ(Row)方向のＰＥに第１の入力データを伝達する構成であり得る。

【0110】

加重値バッファ４６０は、ＰＥアレイ４３０内の前記カラム(column)方向のＰＥに第２の入力データが伝達できる。

【0111】

図示していないが、ＩＯバッファ４５０及び加重値バッファ４６０は一つで具現されてＢＵＳで連結することもできる。

【0112】

適応型データ経路コントローラ４７０は、メモリ帯域幅のスピードモードによってＰＥアレイ調整ブロック４４０の入力処理が制御できる。

【0113】

適応型データ経路コントローラ４７０は、ＰＥアレイ４３０の初期構造がＮ×Ｍ構造であり、メモリ帯域幅が２×であり、メモリ帯域幅のスピードモードがロースピードモードである場合、前記ＰＥアレイ４３０の構造が２Ｎ×Ｍ／２になるように、前記第１の入力データ及び前記第２の入力データの入力経路が制御できる。このとき、Ｎはバッチサイズであり、Ｍは加重値幅を意味することができる。

【0114】

反対に、適応型データ経路コントローラ４７０は、ＰＥアレイ４３０の初期構造が２Ｎ×Ｍ／２構造(図９を参照)であり、メモリ帯域幅が２×であり、メモリ帯域幅のスピードモードがハイスピードモード(図８を参照)である場合、前記ＰＥアレイ４３０の構造がＮ×Ｍになるように、前記第１の入力データ及び前記第２の入力データの入力経路が制御できる。

【0115】

活性化関数処理部(Activation Function Unit；AFU)４８０は、ＰＥアレイ４３０のロウ(Row)別に各々具備されて演算処理されたデータに活性化関数処理を遂行するための構成であり得る。

【0116】

追加関数処理部(Special Function Unit；SFU)４９０は、活性化関数処理部４８０の各々にマッチングされて活性化関数処理の以外に追加的な演算を遂行するための構成であり得る。例えば、追加関数処理部４９０はＬＳＴＭのElement-wize乗算のような処理が遂行できるロジックであり得る。

【0117】

ロウレベルパワーコントローラ４９５は、ＰＥアレイ４３０にロウ(Row)単位にクロックゲーティング制御処理を遂行するための構成であり得る。

【0118】

図１１を参照すれば、メモリコントローラ３１０は、メモリダイ２１０にメモリ帯域幅のスピードモードが伝達できる。

【0119】

メモリダイ２１０は、メモリコントローラ３１０から伝達されるメモリ帯域幅のスピードモードに基づいてメモリのクロック(clock)が変更できる。このとき、メモリダイ２１０は少なくとも一つ以上であり得る。

【0120】

一方、メモリの帯域幅のスピードモードに基づいてメモリのクロックを変更することは、メモリコントローラ３１０が直接処理することも可能である。前述したデータ保存装置２００はＰＮＭ(Processing Near Memory)であり得る。

【0121】

前述した一実施例において、メモリ帯域幅(ＢＷ)が２×ＢＷである場合、演算パワー及びメモリパワーは、複数の第１の多重化器４４１及び複数の第２の多重化器４４３を含むＰＥアレイ調整ブロック４４０を用いて第１の入力データ及び第２の入力データの入力経路を制御することにより調整できる。

【0122】

本発明の属する技術分野における通常の技術者は、本発明がその技術的思想や必須特徴から逸脱しない範囲内において、他の具体的な形態で実施できるので、前述した実施例は全ての面において例示的なものであり、限定的なものではないと理解しなければならない。本発明の範囲は前記詳細な説明よりも後述する特許請求の範囲により示され、特許請求の範囲の意味及び範囲、その均等概念から導出される全ての変更又は変形された形態が、本発明の範囲に含まれるものと解析しなければならない。

【符号の説明】

【0123】

１００ ホスト装置
２００ データ保存装置
２１０ メモリダイ
３００ ロジックダイ
３１０ メモリコントローラ
４００ 加速器
４１０ ホストインターフェースブロック
４２０ ＰＥコントローラ
４３０ ＰＥアレイ
４４０ ＰＥアレイ調整ブロック
４５０ ＩＯバッファ
４６０ 加重値バッファ
４７０ 適応型データ経路コントローラ
４８０ 活性化関数処理部
４９０ 追加関数処理部
４９５ ロウレベルパワーコントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】