ホーム > 特許ランキング > デジラム コーポレーション
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-04
(54)【発明の名称】深層学習アルゴリズムのための効率的なアーキテクチャ
(51)【国際特許分類】
G06F 15/80 20060101AFI20220728BHJP
G06F 9/34 20060101ALI20220728BHJP
G06F 9/38 20060101ALI20220728BHJP
【ＦＩ】
G06F15/80
G06F9/34 330
G06F9/38 370A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021563271
(86)(22)【出願日】2020-04-02
(85)【翻訳文提出日】2021-10-25
(86)【国際出願番号】 US2020026337
(87)【国際公開番号】W WO2020222971
(87)【国際公開日】2020-11-05
(31)【優先権主張番号】16/397,401
(32)【優先日】2019-04-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519182279
【氏名又は名称】デジラム コーポレーション
(74)【代理人】
【識別番号】110001379
【氏名又は名称】特許業務法人 大島特許事務所
(72)【発明者】
【氏名】チラッパガリ、シャシ キラン
(72)【発明者】
【氏名】リー、ウィンストン
【テーマコード（参考）】
5B013
5B033
【Ｆターム（参考）】
5B013DD01
5B013DD05
5B033DD01
5B033DD09
(57)【要約】
複数のＳＩＭＤエンジンと対応する複数の出力レジスタセットとを含むコンピュータシステム。オペランドＡレジスタファイルは、各々が複数のオペランドワードを含む１つ以上のオペランドＡ値を格納する。オペランドＢレジスタファイルは、各々が複数のオペランドワードを含む１つ以上のオペランドＢ値を格納する。オペランドＡ分配回路は、オペランドＡレジスタファイルからオペランドＡ値を受信し、受信したオペランドＡ値のオペランドワードのうちの１つ以上を選択的にルーティングして複数の入力オペランドＡ値を作成し、複数の入力オペランドＡ値はＳＩＭＤエンジンに選択的にルーティングされる。オペランドＢ分配回路は、オペランドＢレジスタファイルから１つ以上のオペランドＢ値を受信し、オペランドＢ値のオペランドワードのうちの１つ以上を選択的にルーティングして複数の入力オペランドＢ値を作成し、複数の入力オペランドＢ値はＳＩＭＤエンジンに選択的にルーティングされる。
【選択図】図４
【選択図】図４
【特許請求の範囲】
【請求項1】
コンピュータシステムであって、複数の単一命令複数データエンジンと、
各々が前記複数の単一命令複数データエンジンのうちの対応する１つに結合された、複数の出力レジスタセットと、
第１の複数のオペランド値を格納した第１のオペランドレジスタファイルであって、前記第１の複数のオペランド値の各々が複数のオペランドワードを含む、該第１のオペランドレジスタファイルと、
第２の複数のオペランド値を格納した第２のオペランドレジスタファイルであって、前記第２の複数のオペランド値の各々が複数のオペランドワードを含む、該第２のオペランドレジスタファイルと、
前記第１のオペランドレジスタファイルから第１のオペランド値を受信するように結合された第１の入力分配回路であって、前記第１の入力分配回路は、前記第１のオペランド値の前記オペランドワードのうちの１つ以上を選択的にルーティングして複数の第１の入力オペランド値を作成し、前記第１の入力オペランド値の各々は、前記複数の単一命令複数データエンジンのうちの対応する１つにルーティングされる、該第１の入力分配回路と、
前記第２のオペランドレジスタファイルから１つ以上の第２のオペランド値を受信するように結合された第２の入力分配回路であって、前記第２の入力分配回路は、前記１つ以上の第２のオペランド値の前記オペランドワードのうちの１つ以上を選択的にルーティングして複数の第２の入力オペランド値を作成し、前記第２の入力オペランド値の各々は、前記複数の単一命令複数データエンジンのうちの対応する１つにルーティングされる、該第２の入力分配回路と、を備える、コンピュータシステム。
【請求項2】
前記第１の入力分配回路は、前記第１のオペランド値を、前記第１の入力オペランド値として前記複数の単一命令複数データエンジンの各々に選択的にルーティングする、請求項１に記載のコンピュータシステム。
【請求項3】
前記第１の入力分配回路は、前記第１のオペランド値の前記オペランドワードのうちの単一の１つを選択的にルーティングして、前記第１の入力オペランド値のすべてを作成する、請求項１に記載のコンピュータシステム。
【請求項4】
前記第１の入力分配回路は、前記第１の入力オペランド値の各々が、前記第１のオペランド値の繰り返されたオペランドワードを含むように、前記第１のオペランド値の前記オペランドワードを選択的にルーティングする、請求項１に記載のコンピュータシステム。
【請求項5】
前記第２の入力分配回路は、異なる第２のオペランド値を前記複数の単一命令複数データエンジンの各々に選択的にルーティングする、請求項１に記載のコンピュータシステム。
【請求項6】
前記第２の入力分配回路は、異なる第２のオペランド値を前記複数の単一命令複数データエンジンのうちの少なくとも２つに選択的にルーティングする、請求項１に記載のコンピュータシステム。
【請求項7】
前記第２の入力分配回路は、同一の第２のオペランド値を前記複数の単一命令複数データエンジンの各々に選択的にルーティングする、請求項１に記載のコンピュータシステム。
【請求項8】
前記第２の入力分配回路は、第１の複数の第２のオペランドバッファを含み、前記第１の複数の第２のオペランドバッファの各々は、前記第２のオペランドレジスタファイルからの前記第２のオペランド値のうちの１つを格納するように構成されている、請求項１に記載のコンピュータシステム。
【請求項9】
前記第２のオペランドレジスタファイルは、各々が前記第２のオペランドバッファのうちの対応する１つに結合された複数のレジスタファイルを含む、請求項８に記載のコンピュータシステム。
【請求項10】
前記第２の入力分配回路は、前記第２のオペランドバッファを前記複数の単一命令複数データエンジンに並列に結合するための手段を含む、請求項８に記載のコンピュータシステム。
【請求項11】
前記第２の入力分配回路は、第２の複数の第２のオペランドバッファをさらに含み、前記第２の複数の第２のオペランドバッファの各々は、前記第２のオペランドレジスタファイルからの前記第２のオペランド値のうちの１つを格納するように構成されている、請求項８に記載のコンピュータシステム。
【請求項12】
前記第２のオペランドレジスタファイルは、複数のレジスタファイルを含み、前記複数のレジスタファイルは、前記第２の入力分配回路に並列に結合されている、請求項１に記載のコンピュータシステム。
【請求項13】
前記第２の入力分配回路は、前記第２のオペランドレジスタファイルの前記複数のレジスタファイルから複数の前記第２のオペランド値を受信するように結合されたシフトロジック回路を備え、前記シフトロジック回路は、前記複数の前記第２のオペランド値の前記オペランドワードをシフトさせて、複数の入力第２のオペランド値を作成するように構成されている、請求項１２に記載のコンピュータシステム。
【請求項14】
前記シフトロジック回路から前記複数の入力第２のオペランド値を受信するように結合された、複数の第２のオペランドバッファをさらに備える、請求項１３に記載のコンピュータシステム。
【請求項15】
前記複数の第２のオペランドバッファを前記複数の単一命令複数データエンジンに結合するスイッチング回路をさらに備える、請求項１４に記載のコンピュータシステム。
【請求項16】
複数の出力レジスタセットを含む出力回路をさらに備え、前記出力レジスタセットの各々は、前記単一命令複数データエンジンのうちの対応する１つに結合されている、請求項１に記載のコンピュータシステム。
【請求項17】
前記出力レジスタセットの各々は、前記対応する単一命令複数データエンジンに累積値を提供するように、かつ前記対応する単一命令複数データエンジンによって提供される前記累積値を格納するように構成されている、請求項１６に記載のコンピュータシステム。
【請求項18】
前記出力レジスタセットの各々は、独立してアドレス指定される、請求項１６に記載のコンピュータシステム。
【請求項19】
前記単一命令複数データエンジンの各々は、前記第１の入力分配回路から受信した前記第１の入力オペランド値の前記オペランドワードを、前記第２の入力分配回路から受信した前記第２の入力オペランド値の前記オペランドワードを用いて乗算するように構成され、これによって、前記単一命令複数データエンジンの各々は対応する複数の積値を生成する、請求項１に記載のコンピュータシステム。
【請求項20】
複数の出力レジスタセットを含む出力回路をさらに備え、前記出力レジスタセットの各々は、前記単一命令複数データエンジンのうちの対応する１つに結合されている、請求項１９に記載のコンピュータシステム。
【請求項21】
前記出力レジスタセットの各々は、対応する複数の累積値を前記単一命令複数データエンジンのうちの前記対応する１つに提供するように構成されて構成され、前記単一命令複数データエンジンの各々は、受信された前記累積値を、前記対応する生成された積値に追加するように構成され、これによって、前記単一命令複数データエンジンの各々は対応する複数の更新された累積値を生成する、請求項２０に記載のコンピュータシステム。
【請求項22】
前記出力レジスタセットの各々は、前記単一命令複数データエンジンのうちの前記対応する１つから、前記対応する複数の更新された累積値を受信および格納するように構成されている、請求項２１に記載のコンピュータシステム。
【請求項23】
複数の単一命令複数データエンジンと複数の対応する出力レジスタとを含むコンピュータシステムを使用して、第１の行列および第２の行列の行列乗算を実行する方法であって、前記方法は、前記第１の行列に含まれる複数の非ゼロエントリを識別することであって、前記非ゼロエントリの各々が、前記第１の行列内に対応する列アドレスと対応する行アドレスとを有する、該識別することと、
識別された前記非ゼロエントリの各非ゼロエントリについて、前記非ゼロエントリの前記対応する行アドレスに応答して前記非ゼロエントリを処理するために、前記単一命令複数データエンジンのうちの１つおよび前記出力レジスタのうちの対応する１つを識別することと、
前記識別された単一命令複数データエンジンおよび対応する出力レジスタに基づいて前記非ゼロエントリをソートし、これによって複数の第１のオペランド値を作成することであって、前記第１のオペランド値の各々は、各々が異なる識別された単一命令複数データエンジンと対応する前記出力レジスタとを有する複数の前記非ゼロエントリを含む、該作成することと、
乗算演算を実行するために、前記第１のオペランド値を前記単一命令複数データエンジンにルーティングすることであって、前記ルーティングにより、前記第１のオペランド値に含まれる前記非ゼロエントリの各々が、前記識別された単一命令複数データエンジンに提供される、該ルーティングすることと、を含む、方法。
【請求項24】
前記識別された非ゼロエントリの各非ゼロエントリについて、前記非ゼロエントリの前記対応する列アドレスに応答して、前記第２の行列内のエントリの行を識別することと、乗算演算を実行するために、識別された前記エントリの行を前記単一命令複数データエンジンにルーティングすることであって、前記単一命令複数データエンジンの前記各々は、前記非ゼロエントリをその識別されたエントリの行を用いて乗算する、該ルーティングすることと、をさらに含む、請求項２３に記載の方法。
【請求項25】
前記識別された非ゼロエントリの各非ゼロエントリについて、前記非ゼロエントリの前記対応する行アドレスに応答して、前記出力レジスタのうちの前記対応する１つ内の行を識別することと、前記出力レジスタの識別された前記行にアクセスすることによって、累積演算を実行することと、をさらに含む、請求項２４に記載の方法。
【請求項26】
前記第１の行列の各行は、機械学習システムにおける重みベクトルを表し、前記第２の行列の各列は、前記機械学習システムにおける活性化ベクトルを表す、請求項２３に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
【0002】
本出願は、２０１９年４月２９日に出願された「Ｅｆｆｉｃｉｅｎｔ Ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍｓ」と題された米国特許出願第１６／３９７，４０１号の優先権を主張し、参照により本明細書に組み込まれる。
【0003】
単一命令複数データ（ＳＩＭＤ）エンジンを使用して、行列乗算および畳み込みなどの計算を実行するための、複数のエネルギー効率の良いアーキテクチャが提供される。これらの演算は、コンピュータビジョン、機械翻訳、および自動音声認識などの様々なアプリケーションで現在実装されている様々な機械学習アルゴリズムの中心である。
【背景技術】
【0004】
従来のドット積および行列乗算について以下に詳細に説明する。
【0005】
２つのベクトルのドット積は以下のように定義できる。ｐ＝［ｐ１ ｐ２．．．ｐｎ］およびｑ＝［ｑ１ ｑ２．．．ｑｎ］を、長さｎの２つのベクトルとする。ｐ・ｑで表されるｐとｑのドット積を、次のように定義する。
【0006】
【数1】
【0007】
長さｎの２つのベクトルのドット積を計算するには、ｎ乗算および（ｎ－１）加算が必要である。
【0008】
２つのベクトルの乗算は以下のように定義できる。Ａを（ｍ×ｎ）行列とする（すなわち、Ａはｍ行（水平）およびｎ列（垂直）を有する行列である）。ａｉ，ｊは、行列Ａのｉ番目の行とｊ番目の列の要素を表すとする。Ｂを（ｎ×ｋ）行列とする。行列ＡおよびＢを以下に示す。
【0009】
【数2】
【0010】
行列ＡおよびＢは、それらの次元に互換性がある場合（すなわち、Ａの列数がＢの行数に等しい場合）にのみ乗算することができる。行列ＡとＢの積であるＣを以下に定義する。
【0011】
【数3】
【0012】
式（３）から、行列Ｃはｍ行とｋ列を持つことが分かる。Ａ×Ｂが存在する可能性はあるが、Ｂ×Ａは存在しないことにも留意されたい。
【0013】
行列乗算の１つの考え方は以下のとおりである。行列Ｃのｉ番目の行およびｊ番目の列の要素は、行列Ａのｉ番目の行と行列Ｂのｊ番目の列とのドット積である。行列Ａのｉ番目の行をａｉ，：で表し、行列Ｂのｊ番目の列をｂ：，ｊで表すと、以下のとおりとなる。
【0014】
【数4】
【0015】
したがって、次元（ｍ×ｎ）および（ｎ×ｋ）の２つの行列の乗算は、長さｎのベクトルの計算（ｍ×ｋ）ドット積からなる。
【0016】
上述したように、長さｎの２つのベクトルのドット積を計算するには、ｎ乗算および（ｎ－１）加算が必要である。ドット積の計算は、一般に、一連の積和演算として実装される。積和演算は、２つの数値の積を計算し、その積を累積器に追加する。これは次のように表すことができる。
【0017】
【数5】
【0018】
ここで、ａとｂは乗算された２つの数であり、ｃは累積器である。積和演算を行うハードウェアユニットは、乗算累積器（ＭＡＣ）ユニットとして知られている。本書では、積和演算をＭＡＣとも呼ぶ。図１は、簡略したＭＡＣユニット１００のブロック図であり、それぞれオペランド値ａおよびｂを格納する入力オペランドレジスタ１０１および１０２、乗算回路１０３、加算回路１０４、および累積値ｃを格納する累積器レジスタ１０５を含む。
【0019】
上述したように、行列乗算は、複数のドット積を計算することを伴う。したがって、行列乗算は、複数のＭＡＣを使用することによって並列化することができる。図２は、複数のドット積を並列に実施するための複数の並列ＭＡＣ２０１～２０４を含む、システム２００のブロック図である。ＭＡＣ２０１、２０２、２０３、および２０４は、それぞれオペランドレジスタ２１１～２１２、２１３～２１４、２１５～２１６、および２１７～２１８を含み、それぞれ乗算回路２２１、２２２、２２３、および２２４を含み、それぞれ加算回路２３１、２３２、２３３、および２３４を含み、それぞれ累積器２４１、２４２、２４３、および２４４を含む。
【0020】
システム２００は、４つの並列ＭＡＣを含み、ＭＡＣ２０１がａ１，：とｂ：，１のドット積を計算し、ＭＡＣ２０２がａ２，：とｂ：，１のドット積を計算し、ＭＡＣ２０３がａ３，：とｂ：，１のドット積を計算し、ＭＡＣ２０４がａ４，：とｂ：，１のドット積を計算する。４つのＭＡＣ２０１～２０４は、異なる行の行列Ａを使用するが、それらはすべて、同じ行列Ｂを使用することに留意されたい。ＭＡＣ２０１～２０４に入力データを供給することは、解決されるべき課題である。したがって、ＭＡＣ２０１～２０４などの演算ユニットに必要なデータを供給するための効率的な方法を有することが望ましいであろう。
【0021】
図２のすべてのＭＡＣユニット２０１～２０４は、同じ演算を実行しているが、異なる入力を有することに留意されたい。したがって、ＭＡＣ２０１～２０４の各々に個別の命令を提供する代わりに、すべてのＭＡＣ２０１～２０４を一緒にグループ化して共通の命令に応答して動作する、単一命令複数データ（ＳＩＭＤ）エンジンを形成することが可能である。
【0022】
図３は、ＳＩＭＤエンジン３００のブロック図であり、ＭＡＣ２０１～２０４のオペランドレジスタ２１１、２１３、２１５および２１７をグループ化して第１のオペランドレジスタ３０１を形成し、ＭＡＣ２０１～２０４のオペランドレジスタ２１２、２１４、２１６および２１８をグループ化して第２のオペランドレジスタ３０２を形成する。ＭＡＣ２０１～２０４の乗算回路２２１～２２４が組み合わされて乗算器３２１が形成され、ＭＡＣ２０１～２０４の加算回路２３１～２３４が組み合わされて加算回路３３１が形成される。ＭＡＣ２０１～２０４の累積器２４１～２４４が組み合わされて累積器３４１が形成される。このようにして、並列ＭＡＣ２０１～２０４の様々な要素が組み合わされて、ＳＩＭＤエンジン３００が形成される。異なるＭＡＣ２０１～２０４のスカラー入力が組み合わされて、ＳＩＭＤエンジン３００内にベクトル入力が形成されることに留意されたい。さらに、ＳＩＭＤエンジン３００の累積器３４１の出力もベクトルとなる。
【0023】
ＳＩＭＤエンジンは、ベクトル入力を使用した単純な積和演算よりもはるかに多くを達成することができることに留意されたい。一般に、ＳＩＭＤエンジンは、異なる演算を実行できる命令セットを持つブロックとして設計されている。ＳＩＭＤエンジンが組み立てられて処理し得る演算の一部として、ベクトル加算、ベクトル乗算、２つのベクトルのドット積、およびベクトル比較（最小および最大）が挙げられる（が、これらに限定されない）。
【0024】
ＳＩＭＤエンジンの別の重要な特徴は、異なるレベルの精度を処理できることである。例えば、１２８ビットの入力ベクトル幅を有するＳＩＭＤエンジンは、入力ベクトルを、１２８ビットのスカラー１つ、６４ビットのスカラー２つ、３２ビットのスカラー４つ、１６ビットのスカラー８つ、または８ビットのスカラー１６つ、のように解釈することができる。したがって、ＳＩＭＤエンジンは、８ビットモード、１６ビットモード、または３２ビットモードなどの異なる「モード」で動作することができる。
【0025】
ＳＩＭＤエンジンは、ベクトルを処理するのに効率的であり、かつ様々な命令を実行することができるが、大量の制御ロジックおよびローカルメモリを必要とする。単位シリコン面積あたりの最大演算数を得るためには、ＳＩＭＤエンジンの数を最大化する必要があることが分かる。これを達成する１つのやり方として、複数のＳＩＭＤエンジンが制御ロジックとメモリリソースを共有できるように設計することがある。しかしながら、これは、ＳＩＭＤエンジンによって実行され得る演算の種類に制限を課し、ＳＩＭＤエンジンを駆動するために追加のロジックを必要とし得る。したがって、ＳＩＭＤエンジンを含む改善されたコンピュータアーキテクチャを有することが望ましいであろう。
【発明の概要】
【課題を解決するための手段】
【0026】
したがって、本発明は、並列に動作する複数の単一命令複数データ（ＳＩＭＤ）エンジンを含む改良されたコンピュータアーキテクチャを提供する。オペランドＡレジスタファイルは、第１の１つ以上のオペランド値セット（オペランドＡ値）を格納し、オペランドＡ値の各々は、複数のオペランドワードを含む。オペランドＢレジスタファイルは、第２の複数の１つ以上のオペランド値（オペランドＢ値）を格納し、オペランドＢ値の各々は、複数のオペランドワードを含む。特定の実施形態では、オペランドＡ値およびオペランドＢ値の各々は、４つの３２ビットオペランドワードを含む。別の実施形態では、オペランドＡ値およびオペランドＢ値の各々は、８つの１６ビットオペランドワードを含む。
【0027】
オペランドＡ分配回路とオペランドＢ分配回路を含む入力分配ブロック。
【0028】
オペランドＡ分配回路は、オペランドＡレジスタファイルからオペランドＡ値を受信するように結合されている。オペランドＡ分配回路は、受信したオペランドＡ値のオペランドワードのうちの１つ以上を選択的にルーティングして、複数の入力オペランドＡ値を作成し、入力オペランドＡ値の各々は、複数のＳＩＭＤエンジンのうちの対応する１つにルーティングされる。
【0029】
１つのモードでは、オペランドＡ分配回路は、受信したオペランドＡ値をＳＩＭＤエンジンの各々に並列にルーティングするように制御される。例えば、受信したオペランドＡ値が４つのオペランドワード［ｗ、ｘ、ｙ、ｚ］を含み、かつ４つの並列ＳＩＭＤエンジンがある場合、ＳＩＭＤエンジンの各々が、この４つのオペランドワード［ｗ、ｘ、ｙ、ｚ］を受信する。
【0030】
別のモードでは、オペランドＡ分配回路は、受信したオペランドＡ値のオペランドワードのうちの１つを、ＳＩＭＤエンジンの各々に並列にルーティングするように制御される。このモードでは、オペランドワードのうちのこの選択された１つが、入力オペランドＡ値の各々を作成するために複数回繰り返される。例えば、受信したオペランドＡ値が４つのオペランドワード［ｗ、ｘ、ｙ、ｚ］を含み、オペランドワード［ｗ］が選択され、かつ４つの並列ＳＩＭＤエンジンが存在する場合、ＳＩＭＤエンジンの各々が、４つのオペランドワード［ｗ、ｗ、ｗ、ｗ］を含む入力オペランドＡ値を受信することとなる。
【0031】
さらに別のモードでは、オペランドＡ分配回路は、受信したオペランドＡ値の異なるオペランドワードを、ＳＩＭＤエンジンの各々に並列にルーティングするように制御される。このモードでは、各異なるオペランドワードを複数回繰り返して、入力オペランドＡ値の各々を作成する。例えば、受信したオペランドＡ値が４つのオペランドワード［ｗ、ｘ、ｙ、ｚ］を含み、かつ４つの並列ＳＩＭＤエンジンがある場合、４つのＳＩＭＤエンジンのうちの１つが入力オペランドＡ値［ｗ、ｗ、ｗ、ｗ］を受信することとなり、４つのＳＩＭＤエンジンのうちの１つが入力オペランドＡ値［ｘ、ｘ、ｘ、ｘ］を受信することとなり、４つのＳＩＭＤエンジンのうちの１つが入力オペランドＡ値［ｙ、ｙ、ｙ、ｙ］を受信することとなり、かつ４つのＳＩＭＤエンジンのうちの１つが入力オペランドＡ値［ｚ、ｚ、ｚ、ｚ］を受信することとなる。
【0032】
オペランドＢ分配回路は、オペランドＢレジスタファイルから１つ以上のオペランドＢ値を受信するように結合される。オペランドＢ分配回路は、受信したオペランドＢ値のうちの１つ以上のオペランドワードのうちの１つ以上を選択的にルーティングして、複数の入力オペランドＢ値を作成し、入力オペランドＢ値の各々は、複数のＳＩＭＤエンジンのうちの対応する１つにルーティングされる。
【0033】
１つのモードでは、オペランドＢ分配回路は、受信したオペランドＢ値をＳＩＭＤエンジンの各々に並列にルーティングするように制御される。例えば、受信したオペランドＢ値が４つのオペランドワード［ａ、ｂ、ｃ、ｄ］を含み、かつ４つの並列ＳＩＭＤエンジンがある場合、ＳＩＭＤエンジンの各々が、この４つのオペランドワード［ａ、ｂ、ｃ、ｄ］を受信する。
【0034】
別のモードでは、オペランドＢ分配回路は、複数のオペランドＢ値を格納するための複数のバッファを含む。オペランドＢ選択ロジックを使用して、どのＳＩＭＤエンジンが、バッファされたうちのどのオペランドＢ値を受信するかを選択する。例えば、バッファされたオペランドＢ値が［ａ、ｂ、ｃ、ｄ］、［ｅ、ｆ、ｇ、ｈ］、［ｉ、ｊ、ｋ、ｌ］および［ｍ、ｎ、ｏ、ｐ］を含み、かつ４つの並列ＳＩＭＤエンジンがある場合、この４つのＳＩＭＤエンジンのうちの１つが入力オペランドＢ値［ａ、ｂ、ｃ、ｄ］を受信する場合があり、４つのＳＩＭＤエンジンのうちの１つが入力オペランドＢ値［ｅ、ｆ、ｇ、ｈ］を受信する場合があり、４つのＳＩＭＤエンジンのうちの１つが入力オペランドＢ値［ｉ、ｊ、ｋ、ｌ］を受信する場合があり、かつ４つのＳＩＭＤエンジンのうちの１つが入力オペランドＢ値［ｍ、ｎ、ｏ、ｐ］を受信する場合がある。あるいは、４つのＳＩＭＤエンジンのうちの２つが入力オペランドＢ値［ａ、ｂ、ｃ、ｄ］を受信する場合があり、４つのＳＩＭＤエンジンのうちの１つが入力オペランドＢ値［ｅ、ｆ、ｇ、ｈ］を受信する場合があり、かつ４つのＳＩＭＤエンジンのうちの１つが入力オペランドＢ値［ｉ、ｊ、ｋ、ｌ］を受信する場合がある。
【0035】
様々な実施形態では、オペランドＢレジスタファイルは、（複数のオペランドＢ値がオペランドＢバッファに連続してロードされるように）単一のレジスタファイルを含むことができ、または（複数のオペランドＢ値がオペランドＢバッファに並行してロードされるように）複数のレジスタファイルを含むことができる。複数のレジスタファイルを使用してオペランドＢレジスタファイルが実装される場合、オペランドＢバッファは、ダブルバッファ構成を使用して実装することができ、オペランドＢ値は、オペランドＢ値がオペランドＢ分配回路からＳＩＭＤエンジンに転送されると同時に、オペランドＢレジスタファイルからオペランドＢ分配回路に転送される。
【0036】
さらに別のモードでは、オペランドＢ分配回路は、オペランドＢレジスタファイルから複数のオペランドＢ値を並列に受信する。これらの受信したオペランドＢ値は、オペランドＢ分配回路内のシフトロジック回路に提供される。制御ロジックは、シフトロジック回路が受信したオペランドＢ値に導入するシフト量を（オペランドワードで）指定する。シフトされたオペランドＢ値は、オペランドＢ分配回路内にバッファされ、次いでＳＩＭＤエンジンに並列にルーティングされる。
【0037】
改良されたコンピュータアーキテクチャはまた、各々が複数のＳＩＭＤエンジンのうちの対応する１つに結合された、複数の出力レジスタセットを含む。データ（例えば、ドット積の値）は、出力レジスタセットと対応するＳＩＭＤエンジンとの間で選択的に転送され、積和演算などの演算を可能にする。一実施形態では、複数の出力レジスタセットの各々は独立してアドレス指定され、実行される演算に柔軟性をもたらす。
【0038】
特定の実施形態では、本発明のコンピュータアーキテクチャは、効率的な疎行列の乗算を可能にする。
【0039】
本発明は、以下の説明および図面を考慮してより完全に理解されるであろう。
【図面の簡単な説明】
【0040】
【図1】従来の乗算累積器（ＭＡＣ）ユニットのブロック図である。
【図2】複数のドット積を並列計算するための複数の並列ＭＡＣユニットを含む、従来システムのブロック図である。
【図4】本発明の一実施形態によるコンピュータシステムのブロック図である。
【図5】４つの３２ビットオペランドワードを有する第１のオペランド値（オペランドＡ）を、オペランドＡレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ１Ａ）を示すブロック図である。
【図6】８つの１６ビットオペランドワードを有する第１のオペランド値（オペランドＡ）を、オペランドＡレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ１Ａ）を示すブロック図である。
【図7】４つの３２ビットオペランドワードを有する第１のオペランド値（オペランドＡ）を、オペランドＡレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ２Ａ）を示すブロック図である。
【図8】４つの３２ビットオペランドワードを有する第１のオペランド値（オペランドＡ）を、オペランドＡレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ２Ａ）を示すブロック図である。
【図9】８つの１６ビットオペランドワードを有する第１のオペランド値（オペランドＡ）を、オペランドＡレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ２Ａ）を示すブロック図である。
【図10】８つの１６ビットオペランドワードを有する第１のオペランド値（オペランドＡ）を、オペランドＡレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ２Ａ）を示すブロック図である。
【図11】４つの３２ビットオペランドワードを有する第１のオペランド値（オペランドＡ）を、オペランドＡレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ３Ａ）を示すブロック図である。
【図12】８つの１６ビットオペランドワードを有する第１のオペランド値（オペランドＡ）を、オペランドＡレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ３Ａ）を示すブロック図である。
【図13】８つの１６ビットオペランドワードを有する第１のオペランド値（オペランドＡ）を、オペランドＡレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ３Ａ）を示すブロック図である。
【図14】４つの３２ビットオペランドワードを有する第２のオペランド値（オペランドＢ）を、オペランドＢレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ１Ｂ）を示すブロック図である。
【図15】８つの１６ビットオペランドワードを有する第２のオペランド値（オペランドＢ）を、オペランドＢレジスタファイルから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ１Ｂ）を示すブロック図である。
【図16】４つの３２ビットオペランドワードを有する第２のオペランド値（オペランドＢ）を、オペランドＢレジスタファイルおよび複数のオペランドＢバッファから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ２Ｂ）を示すブロック図である。
【図17】４つの３２ビットオペランドワードを有する第２のオペランド値（オペランドＢ）を、複数の並行オペランドＢレジスタファイルおよび複数のオペランドＢバッファから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ３Ｂ）を示すブロック図である。
【図18】４つの３２ビットオペランドワードを有する第２のオペランド値（オペランドＢ）を、複数の並行オペランドＢレジスタファイルおよび複数のオペランドＢダブルバッファから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ３Ｂ）を示すブロック図である。
【図19】４つの３２ビットオペランドワードを有する第２のオペランド値（オペランドＢ）を、複数の並行オペランドＢレジスタファイル、シフトロジック回路および複数のオペランドＢバッファから複数のＳＩＭＤエンジンにルーティングするための、本発明の一実施形態によるアーキテクチャ（アーキテクチャ４Ｂ）を示すブロック図である。
【図20】４つの並列ＳＩＭＤエンジンを有するＳＩＭＤブロックと、４つの並列出力レジスタセットを有する出力回路とを含む、本発明の一実施形態によるコンピュータシステムのブロック図である。
【図23】本発明の一実施形態による、行列乗算の実行に使用するためのコンピュータシステムのブロック図である。
【図27】本発明の一実施形態による、疎行列の乗算の様々な段階の間のコンピュータアーキテクチャのブロック図である。
【図28】本発明の一実施形態による、疎行列の乗算の様々な段階の間のコンピュータアーキテクチャのブロック図である。
【図29】本発明の代替実施形態による、疎行列の乗算の様々な段階の間のコンピュータアーキテクチャのブロック図である。
【図30】本発明の代替実施形態による、疎行列の乗算の様々な段階の間のコンピュータアーキテクチャのブロック図である。
【図31】本発明の代替実施形態による、疎行列の乗算の様々な段階の間のコンピュータアーキテクチャのブロック図である。
【発明を実施するための形態】
【0041】
以下のサブセクションでは、様々な効率的なＳＩＭＤエンジンアーキテクチャについて説明する。具体的には、複数のＳＩＭＤエンジンを並列に動作させるやり方を提案し、ＳＩＭＤエンジンに入力を供給する様式を説明する。以下の説明では、１２８ビットのワイド入力オペランドと４つのＳＩＭＤエンジンとを実装する例を使用するが、記載される例は、より小さなもしくはより大きな入力オペランド幅および／またはより少ないもしくはより多くのＳＩＭＤエンジンに拡張することができることに留意されたい。
【0042】
図４は、一実施形態による、ＳＩＭＤブロック４０１を動作させるために必要な様々なハードウェアリソースを含むコンピュータシステム４００のブロック図である。これらのリソースは、オペランドバッファ４１０（オペランドＡレジスタファイル４１１およびオペランドＢレジスタファイル４１２を含む）、入力分配ブロック４１５（オペランドＡ分配回路４１６およびオペランドＢ分配回路４１７を含む）、ＳＩＭＤブロック４０１、出力回路４２０、制御ロジック４３０（ステートマシンおよびスケジューラ４３１、制御レジスタ４３２、およびオペランドパッケージング回路４３３を含む）、ならびにシステムメモリ４４０を含む。ＳＩＭＤ演算の重要なパラメータには、オペランド、演算の種類、および出力回路のアドレスがある。これらのパラメータは、次のセクションでより詳細に説明されている。
【0043】
一般に、制御ロジック４３０は、オペランドＡレジスタファイル４１１およびオペランドＢレジスタファイル４１２へのオペランド値（例えば、行列エントリ）の書き込みを制御する。より具体的には、ステートマシンおよびスケジューラ４３１は、オペランドパッケージング回路４３３に、システムメモリ４４０に格納されている行列エントリを取得させる。オペランドパッケージング回路４３３は、実行される演算に従って、これらの行列エントリをパッケージ化して、オペランド値を形成する。一実施形態では、様々な演算が、制御レジスタ４３２内のエントリによって定義される。以下でより詳細に説明するように、いくつかの演算（例えば、疎行列の乗算）では、ゼロ値を有する行列エントリが、オペランドバッファ４１０に提供されるオペランド値から省略されることを必要とする。ステートマシンおよびスケジューラ４３１は、オペランドパッケージング回路４３３によって提供されるオペランド値の、オペランドＡレジスタファイル４１１およびオペランドＢレジスタファイル４１２への書き込みを制御する。ステートマシンおよびスケジューラ４３１はまた、オペランドＡレジスタファイル４１１およびオペランドＢレジスタファイル４１２からのオペランド値の読み取りを制御し、これらの読み取り値は、入力分配ブロック４１５内のオペランドＡ分配回路４１６およびオペランドＢ分配回路４１７に提供される。
【0044】
一般に、ステートマシンおよびスケジューラ４３１は、入力分配ブロック４１５にアドレスを提供し、これらのアドレスは、オペランドＡ分配回路４１６がオペランドＡレジスタファイル４１１から受信したオペランドＡ値をＳＩＭＤブロック４０１にルーティングする様式を制御し、かつオペランドＢ分配回路４１７がオペランドＢレジスタファイル４１２から受信したオペランドＢ値をＳＩＭＤブロック４０１にルーティングする様式をも制御する。以下でより詳細に説明するように、オペランドＢ分配回路４１７は、複数のオペランドＢ値を格納するためのバッファ、ならびにオペランドＢレジスタファイル４１２から受信したオペランドＢ値に適用されるシフト量を制御するシフトロジックを含み得る。
【0045】
ステートマシンおよびスケジューラ４３１はまた、出力回路４２０内に含まれるメモリバンクにアクセスするために使用されるアドレスを提供する。これらのアドレスは、メモリバンクに格納された累積値を積和演算のためにＳＩＭＤブロック４０１にルーティングすることを可能にする読み取りアドレスと、ＳＩＭＤブロック４０１によって提供された更新された累積値を出力回路４２０内のメモリバンクに書き戻すことを可能にする書き込みアドレスとを含む。
【0046】
制御レジスタ４３２は、ステートマシンおよびスケジューラ４３１が異なる動作モード（以下でより詳細に説明する）用の様々なアドレスを生成する様式を制御する値を格納する。コンピュータシステム４００の様々な要素の演算は、様々なモード（すなわち、アーキテクチャ）について以下でより詳細に説明される。
【0047】
オペランドＡのためのアーキテクチャ
【0048】
以下でより詳細に説明される３つのアーキテクチャが、入力オペランドＡのために提案される。以下の例では、ＳＩＭＤブロック４０１は、並列に動作する４つのＳＩＭＤエンジンを含み、この４つのＳＩＭＤエンジンの各々は、１２８ビット幅を有する対応する入力オペランドＡを受信する。（オペランドバッファ４１０に含まれる）オペランドＡレジスタファイル４１１の１つのエントリは１２８ビットである。以下、このエントリをレジスタファイルワードと呼ぶ。説明する実施形態では、ＳＩＭＤブロック４０１内の４つのＳＩＭＤエンジンの各々は、図３のＳＩＭＤエンジン３００と同一である。
【0049】
アーキテクチャ１Ａ
【0050】
ＳＩＭＤブロック４０１にオペランドＡを提供するための第１のアーキテクチャ（アーキテクチャ１Ａ）では、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々は、入力オペランドＡとしてフルレジスタファイルワード（４つの３２ビットワード値であるｗ、ｘ、ｙおよびｚを含む）を受信する。
【0051】
図５は、第１のオペランドＡアーキテクチャ（アーキテクチャ１Ａ）の一実施形態を示すブロック図であり、オペランドＡレジスタファイル４１１に格納された４つの３２ビット入力ワード［ｗ、ｘ、ｙ、ｚ］がオペランドＡ分配回路４１６にルーティングされる。一実施形態では、オペランドＡ分配回路４１６は、受信された入力ワード［ｗ、ｘ、ｙ、ｚ］を格納するバッファを含む。オペランドＡ分配回路４１６はまた、スイッチング機能／逆多重化機能を実行するための回路を含み、バッファされた入力ワード［ｗ、ｘ、ｙ、ｚ］は、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並列にルーティングされる。したがって、アーキテクチャ１Ａでは、ＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々が、入力オペランドＡとしてフルレジスタファイルワード［ｗ、ｘ、ｙ、ｚ］を受信する。
【0052】
図６は、第１のオペランドＡアーキテクチャ（アーキテクチャ１Ａ）の別の実施形態を示すブロック図であり、オペランドＡレジスタファイル４１１に格納された８つの１６ビット入力ワード［ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、ｚ］がオペランドＡ分配回路４１６にルーティングされる。これらの入力ワード［ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、ｚ］は、オペランドＡ分配回路４１６内にバッファされ、次いで、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並列にルーティングされる。再び、アーキテクチャ１Ａでは、ＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々が、入力オペランドＡとしてフルレジスタファイルワード［ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、ｚ］を受信する。
【0053】
アーキテクチャ２Ａ
【0054】
ＳＩＭＤブロック４０１にオペランドＡを提供するための第２のアーキテクチャ（アーキテクチャ２Ａ）では、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々が、オペランドＡレジスタファイル４１１から単一の入力ワードを受信し、この単一の入力ワードは、オペランドＡの入力幅に一致するまで複数回繰り返される。入力分配ブロック４１５は、オペランドＡレジスタファイル４１１内でブロードキャストされるべき単一の入力ワードのインデックスを指定することによって、この単一の入力ワードを選択する。
【0055】
図７は、第２のオペランドＡアーキテクチャ（アーキテクチャ２Ａ）の一実施形態を示すブロック図であり、オペランドＡレジスタファイル４１１に格納された４つの３２ビット入力ワード［ｗ、ｘ、ｙ、ｚ］がオペランドＡ分配回路４１６にルーティングされる。上述したように、オペランドＡ分配回路４１６は、受信した入力ワード［ｗ、ｘ、ｙ、ｚ］を格納するバッファを含む。ステートマシンおよびスケジューラ４３１は、オペランドＡ分配回路４１６にインデックス値を提供し、このインデックス値は、入力ワード［ｗ］を指定する。これに応答して、オペランドＡ分配回路４１６は、スイッチング／逆多重化演算を実行し、入力ワード［ｗ］は、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並列にルーティングされる。すなわち、３２ビット入力ワード［ｗ］が効果的に４回繰り返されて、４回繰り返された３２ビットワード［ｗ］からなる１２８ビット入力オペランドＡを提供する。この１２８ビット入力オペランドＡ［ｗ、ｗ、ｗ、ｗ］が、ＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並行して提供される。
【0056】
図８は、第２のオペランドＡアーキテクチャ（アーキテクチャ２Ａ）の別の例を示すブロック図であり、ステートマシンおよびスケジューラ４３１は、入力ワードｙを指定するインデックス値をオペランドＡ分配回路４１６に提供する。これに応答して、オペランドＡ分配回路４１６は、スイッチング／逆多重化演算を実行し、入力ワード［ｙ］は、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並列にルーティングされる。すなわち、３２ビット入力ワード［ｙ］が効果的に４回繰り返されて１２８ビット入力オペランドＡ［ｙ、ｙ、ｙ、ｙ］を提供し、これがＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並行して提供される。
【0057】
図９は、第２のオペランドＡアーキテクチャ（アーキテクチャ２Ａ）の別の実施形態を示すブロック図であり、オペランドＡレジスタファイル４１１からの８つの１６ビット入力ワード［ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、ｚ］がオペランドＡ分配回路４１６にバッファされる。ステートマシンおよびスケジューラ４３１は、オペランドＡ分配回路４１６にインデックス値を提供し、このインデックス値は、入力ワード［ｕ］を指定する。これに応答して、オペランドＡ分配回路４１６は、スイッチング／逆多重化演算を実行し、入力ワード［ｕ］は、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並列にルーティングされる。すなわち、１６ビット入力ワード［ｕ］が効果的に８回繰り返されて１２８ビット入力オペランドＡ［ｕ、ｕ、ｕ、ｕ、ｕ、ｕ、ｕ、ｕ］を提供し、これがＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並行して提供される。
【0058】
図１０は、第２のオペランドＡアーキテクチャ（アーキテクチャ２Ａ）の別の例を示すブロック図であり、オペランドＡレジスタファイル４１１からの８つの１６ビット入力ワード［ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、ｚ］がオペランドＡ分配回路４１６にバッファされる。ステートマシンおよびスケジューラ４３１は、オペランドＡ分配回路４１６にインデックス値を提供し、このインデックス値は、入力ワード［ｚ］を指定する。これに応答して、オペランドＡ分配回路４１６は、スイッチング／逆多重化演算を実行し、入力ワード［ｚ］は、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並列にルーティングされる。すなわち、１６ビット入力ワード［ｚ］が効果的に８回繰り返されて１２８ビット入力オペランドＡ［ｚ、ｚ、ｚ、ｚ、ｚ、ｚ、ｚ、ｚ］を提供し、これがＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並行して提供される。
【0059】
アーキテクチャ３Ａ
【0060】
入力オペランドＡをＳＩＭＤブロック４０１に提供するための第３のアーキテクチャ（アーキテクチャ３Ａ）では、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々は、オペランドＡレジスタファイル４１１から単一の入力ワードを受信し、この単一の入力ワードは、オペランドＡの入力幅に一致するまで複数回繰り返される。しかしながら、異なるＳＩＭＤエンジンには、異なる入力ワードが提供される。一実施形態では、入力ワードは、ラウンドロビン方式でＳＩＭＤエンジンに割り当てられる。入力分配ブロック４１５は、各ＳＩＭＤに提供される各入力ワードのインデックスを指定することによって、各ＳＩＭＤに対する単一の入力ワードを選択する。
【0061】
図１１は、第３のオペランドＡアーキテクチャ（アーキテクチャ３Ａ）の一実施形態を示すブロック図であり、オペランドＡレジスタファイル４１１に格納された４つの３２ビット入力ワード［ｗ、ｘ、ｙ、ｚ］が、オペランドＡ分配回路４１６によって受信（かつオペランドＡ分配回路４１６にバッファ）される。ステートマシンおよびスケジューラ４３１は、オペランドＡ分配回路４１６にインデックス値を提供し、これらのインデックス値は、入力ワード［ｗ、ｘ、ｙ、ｚ］のうちのどれがＳＩＭＤエンジンに提供されるかを指定する。本実施例では、インデックス値は、入力ワードｗ、ｘ、ｙおよびｚがそれぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供されることを指定する。インデックス値に応答して、オペランドＡ分配回路４１６は、スイッチング／逆多重化演算を実行し、３２ビット入力ワード［ｗ］は４回繰り返されて１２８ビットオペランドＡ値［ｗ、ｗ、ｗ、ｗ］を作成し、これがＳＩＭＤ０にルーティングされ、３２ビット入力ワード［ｘ］は４回繰り返されて１２８ビットオペランドＡ値［ｘ、ｘ、ｘ、ｘ］を作成し、これがＳＩＭＤ１にルーティングされ、３２ビット入力ワード［ｙ］は４回繰り返されて１２８ビットオペランドＡ値［ｙ、ｙ、ｙ、ｙ］を作成し、これがＳＩＭＤ２にルーティングされ、３２ビット入力ワード［ｚ］は４回繰り返されて１２８ビットオペランドＡ値［ｚ、ｚ、ｚ、ｚ］を作成し、これがＳＩＭＤ３にルーティングされる。前述の様式では、１２８ビットレジスタファイルワードの４つの３２ビットエントリ［ｗ、ｘ、ｙ、ｚ］は、ラウンドロビン方式で４つのＳＩＭＤエンジンに分配される（すなわち、ＳＩＭＤ０がｗに割り当てられ、ＳＩＭＤ１がｘに割り当てられ、ＳＩＭＤ２がｙに割り当てられ、かつＳＩＭＤ３がｚに割り当てられる）。
【0062】
図１２は、第３のオペランドＡアーキテクチャ（アーキテクチャ３Ａ）の別の実施形態を示すブロック図であり、オペランドＡレジスタファイル４１１に格納された８つの１６ビット入力ワード［ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、ｚ］が、オペランドＡ分配回路４１６によって受信（かつオペランドＡ分配回路４１６にバッファ）される。ステートマシンおよびスケジューラ４３１は、オペランドＡ分配回路４１６にインデックス値を提供し、これらのインデックス値は、入力ワード［ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、ｚ］のうちのどれがＳＩＭＤエンジンに提供されるかを指定する。本実施例では、インデックス値は、入力ワードｓ、ｔ、ｕおよびｖが、それぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供されることを指定する。インデックス値に応答して、オペランドＡ分配回路４１６は、スイッチング／逆多重化演算を実行し、１６ビット入力ワード［ｓ］は８回繰り返されて１２８ビットオペランドＡ値［ｓ、ｓ、ｓ、ｓ、ｓ、ｓ、ｓ、ｓ］を作成し、これがＳＩＭＤ０にルーティングされ、１６ビット入力ワード［ｔ］は８回繰り返されて１２８ビットオペランドＡ値［ｔ、ｔ、ｔ、ｔ、ｔ、ｔ、ｔ、ｔ］を作成し、これがＳＩＭＤ１にルーティングされ、１６ビット入力ワード［ｕ］は８回繰り返されて１２８ビットオペランドＡ値［ｕ、ｕ、ｕ、ｕ、ｕ、ｕ、ｕ、ｕ］を作成し、これがＳＩＭＤ２にルーティングされ、１６ビット入力ワード［ｖ］は８回繰り返されて１２８ビットオペランドＡ値［ｖ、ｖ、ｖ、ｖ、ｖ、ｖ、ｖ、ｖ］を作成し、これがＳＩＭＤ３にルーティングされる。前述の様式では、１２８ビットレジスタファイルワードの４つの１６ビットエントリ［ｓ、ｔ、ｕ、ｖ］は、ラウンドロビン方式で４つのＳＩＭＤエンジンに分配される。
【0063】
図１２に示す１６ビット入力モードでは、レジスタファイルワードには、ＳＩＭＤエンジンの数（４つ）よりも多くのエントリ（８つ）が存在することに留意されたい。したがって、同じレジスタファイルワードを２回使用することができ、すなわち、１回は最初の４つのエントリを４つのＳＩＭＤエンジンに分配し（図１２に示す）、もう１回は最後の４つのエントリを４つのＳＩＭＤエンジンに分配する（図１３に示す）。一実施形態では、ステートマシンおよびスケジューラ４３１によって提供されるインデックス値は、入力オペランドＡを提供するために、レジスタファイルワードのどの４つのエントリが分配されるかを指定する。
【0064】
図１３は、図１２で開始された分配の続きを示すブロック図であり、１６ビット入力ワード［ｗ］は８回繰り返されて１２８ビットオペランドＡ値［ｗ、ｗ、ｗ、ｗ、ｗ、ｗ、ｗ、ｗ］を作成し、これがＳＩＭＤ０にルーティングされ、１６ビット入力ワード［ｘ］は８回繰り返されて１２８ビットオペランドＡ値［ｘ、ｘ、ｘ、ｘ、ｘ、ｘ、ｘ、ｘ］を作成し、これがＳＩＭＤ１にルーティングされ、１６ビット入力ワード［ｙ］は８回繰り返されて１２８ビットオペランドＡ値［ｙ、ｙ、ｙ、ｙ、ｙ、ｙ、ｙ、ｙ］を作成し、これがＳＩＭＤ２にルーティングされ、１６ビット入力ワード［ｚ］は８回繰り返されて１２８ビットオペランドＡ値［ｚ、ｚ、ｚ、ｚ、ｚ、ｚ、ｚ、ｚ］を作成し、これがＳＩＭＤ３にルーティングされる。
【0065】
アーキテクチャ１Ａ、２Ａおよび３Ａに従った入力オペランドＡのルーティングに関するさらなる詳細は、図２２に関連して以下で提供する。
【0066】
アーキテクチャ１Ａ、２Ａおよび３Ａの前述の説明は、３２ビット入力モードおよび１６ビット入力モードを実装することに留意されたい。ただし、これらの実施形態は例示のみを目的として提供される。この考えは一般的なものであり、他の入力モード（例えば、８ビット入力モード）に直接的に拡張することができる。さらに、アーキテクチャ１Ａ、２Ａおよび３Ａは、４つのＳＩＭＤエンジンおよび１２８ビットレジスタファイルワードを含む実施形態に関連して説明されてきたが、他の実施形態では、他の数のＳＩＭＤエンジンおよびレジスタファイルワード幅が、直接的に使用され得る。
【0067】
実際のハードウェア実装では、ハードウェアリソースを共有することによって、複数のアーキテクチャを共に実装することができる。ハードウェアは、いくつかのレジスタ設定によって選択され得るモードとして、異なるアーキテクチャを動作させるようにプログラムされ得る。例えば、制御レジスタ４３２（図４）は、オペランドＡのためのアーキテクチャ１Ａ、アーキテクチャ２Ａまたはアーキテクチャ３Ａを上述の様式でステートマシンおよびスケジューラ４３１に実装させる値を格納することができる。すなわち、制御レジスタ４３２によって格納された設定によって、オペランドＡ分配回路４１６に実装されたスイッチングおよび逆多重化ロジックが駆動され得る。
【0068】
例えば、アーキテクチャ２Ａでは、ブロードキャストされる単一の値のインデックスが、オペランドＡ分配回路４１６に提供される必要がある。インデックスは、データが８ビット幅、１６ビット幅または３２ビット幅のいずれであるかによって異なる解釈を有することができる（これは、制御レジスタ設定によって指定され得る）。
【0069】
同様に、アーキテクチャ３Ａにおいて、ＳＩＭＤ０にブロードキャストされる値のインデックスが、オペランドＡ分配回路４１６に提供される必要がある。このインデックスから、他のＳＩＭＤエンジン（ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３）にブロードキャストされる値のインデックスが、インクリメントすることによりハードウェアによって推測され得る。または、４つのインデックスすべてをオペランドＡ分配回路４１６に提供してもよい。
【0070】
オペランドＡ分配回路４１６のバッファに格納されたデータは、レジスタファイルワードをオペランドＡレジスタファイル４１１から毎サイクル読み取る必要がないように、複数サイクルにわたって再利用することができる。別個の制御ロジックは、オペランドＡレジスタファイル４１１からデータをロードする必要があるサイクルを指定するフラグを供給することができる。さらに、オペランドＡ分配回路４１６は、書き込みおよび読み取りのために使用するバッファインデックスを指定する制御ロジックを有するレジスタファイルワードデータを保持するための、複数のバッファを含むことができる。一実施形態では、オペランドＡ分配回路４１６は、ピンポン方式で使用される、１つは書き込み用で１つは読み取り用の、２つのバッファを含む。ステートマシンおよびスケジューラ４３１は、読み取りおよび書き込みインデックスを自動的に管理する。このスキームは、一般にダブルバッファリングとして既知である。そのような場合、読み取りおよび書き込みのためのバッファインデックスを指定するための追加の制御ロジックは必要とされない。
【0071】
オペランドＢのためのアーキテクチャ
【0072】
他の実施形態によれば、入力オペランドＢをＳＩＭＤブロック４０１に提供するために、複数のアーキテクチャが使用される。以下で説明するように、オペランドＢ分配回路４１７は、入力オペランドＢをＳＩＭＤブロック４０１に提供するように、４つの異なるアーキテクチャ（アーキテクチャ１Ｂ、アーキテクチャ２Ｂ、アーキテクチャ３Ｂおよびアーキテクチャ４Ｂ）で構成され得る。
【0073】
アーキテクチャ１Ｂ
【0074】
ＳＩＭＤブロック４０１にオペランドＢを提供するための第１のアーキテクチャ（アーキテクチャ１Ｂ）では、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々は、入力オペランドＢとしてフルレジスタファイルワード（４つの３２ビットワード値であるａ、ｂ、ｃおよびｄを含む）を受信する。ＳＩＭＤブロック４０１にオペランドＢを提供するためのアーキテクチャ１Ｂは、ＳＩＭＤブロック４０１にオペランドＡを提供するためのアーキテクチャ１Ａに類似していることに留意されたい。
【0075】
図１４は、第１のオペランドＢアーキテクチャ（アーキテクチャ１Ｂ）の一実施形態を示すブロック図であり、オペランドＢレジスタファイル４１２に格納された４つの３２ビット入力ワード［ａ、ｂ、ｃ、ｄ］がオペランドＢ分配回路４１７にルーティングされる。一実施形態では、オペランドＢ分配回路４１７は、受信された入力単ワード［ａ、ｂ、ｃ、ｄ］を格納するバッファを含む。オペランドＢ分配回路４１７はまた、スイッチング機能／逆多重化機能を実行するための回路を含み、バッファされた入力ワード［ａ、ｂ、ｃ、ｄ］は、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並列にルーティングされる。したがって、アーキテクチャ１Ｂでは、ＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々が、入力オペランドＢとしてフルレジスタファイルワード［ａ、ｂ、ｃ、ｄ］を受信する。
【0076】
図１５は、第１のオペランドＢアーキテクチャ（アーキテクチャ１Ｂ）の別の実施形態を示すブロック図であり、オペランドＢレジスタファイル４１２に格納された８つの１６ビット入力ワード［ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ］がオペランドＢ分配回路４１７にルーティングされる。これらの入力ワード［ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ］は、オペランドＢ分配回路４１７内にバッファされ、次いで、ＳＩＭＤブロック４０１に含まれる４つのＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々に並列にルーティングされる。ここでも、アーキテクチャ１Ｂでは、ＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２、ＳＩＭＤ３）の各々は、入力オペランドＢとしてフルレジスタファイルワード［ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ］を受信する。
【0077】
アーキテクチャ２Ｂ
【0078】
これまでに考慮されたアーキテクチャ（オペランドＡならびにオペランドＢ）では、すべてのＳＩＭＤエンジンは、特定の時点で単一のレジスタファイルワードからのデータを使用する。これにより、アーキテクチャを、サポート可能な演算の種類に関して堅牢にすることができる。一実施形態によれば、異なるＳＩＭＤエンジンには、オペランドレジスタファイルとは異なるレジスタファイルワードが提供される。
【0079】
これを達成するための１つの方法は、複数の読み取りをレジスタファイルに同時に許可することであろう。これは可能である一方、ハードウェアが非常に複雑になるおそれがある。
【0080】
一実施形態では、複数のエントリ（必ずしも別個ではない）は、オペランドＢレジスタファイル４１２から同時に読み取ることができる。これを実装する最も一般的なやり方は、このレジスタファイル（オペランドＢレジスタファイル４１２）を実装するためにマルチ読み取りポートメモリを使用することである。４つの読み取りポートを有するメモリは、オペランドＢレジスタファイル４１２から４つのエントリを同時に読み取るために使用され得る。しかしながら、このようなメモリ構成は、ハードウェアの複雑性が高い（比較的広い面積を占め、比較的消費電力が大きい）。したがって、本発明の好適な実施形態は、異なるＳＩＭＤエンジンに（場合によっては）異なる入力オペランドＢ値を供給するための、複雑性の低い方法および構造を含む。これらの好適な実施形態は、広範な（複数の読み取りポート）方法ほど一般性をもたらさない場合もあるが、それらは実装されるアルゴリズムの目的のためには効率的である。
【0081】
一実施形態によれば、入力オペランドＢをＳＩＭＤエンジンに提供するための第２のアーキテクチャ（アーキテクチャ２Ｂ）が提供され、オペランドＢレジスタファイル４１２からの少数のエントリは、オペランドＢ分配回路４１７内にバッファされ、次いでＳＩＭＤブロック４０１のＳＩＭＤエンジンに分配される。直感的に、これは、少数のエントリからの任意のエントリにアドレス指定を可能にすることによって、各ＳＩＭＤにある程度の柔軟性を与えるアプローチと考えることができる。これにより、ハードウェアの複雑さを小さく抑えることができる。
【0082】
入力オペランドＢをＳＩＭＤブロック４０１に提供するための第２のアーキテクチャ（アーキテクチャ２Ｂ）の主な特徴は、以下のように定義され得る。オペランドＢ分配回路４１７は、オペランドＢレジスタファイル４１２から読み取られた値を保持するための複数のオペランドＢバッファを含む。これらのオペランドＢバッファの各々は、１つのフルレジスタファイルワードを保持することができる。各ＳＩＭＤは、オペランドＢバッファのうちのいずれか１つに格納されたレジスタファイルワードを受信することができる。バッファ選択機構を使用して、オペランドＢバッファのうちのどれがＳＩＭＤエンジンの各々に結合されているかを指定する。オペランドＢバッファは、オペランドＢレジスタファイル４１２から一度に１つずつ埋められる。オペランドＢレジスタファイル４１２からオペランドＢバッファに新しいレジスタファイルワードをロードする必要がある場合、以前のオペランドＢバッファのうちの１つが上書きされる。オペランドＢバッファを上書きする必要があるかどうかを判断するスキームは複数存在し得る。１つの簡単なスキームは、最も古いデータを持つオペランドＢバッファが上書きされる（すなわち、オペランドＢバッファがラウンドロビン方式で使用される）ことである。別のスキームでは、制御ロジック４３０は、どのオペランドＢバッファを上書きする必要があるかを指定することができる。
【0083】
各サイクル中に、オペランドＢレジスタファイル４１２からオペランドＢバッファにデータをロードする必要はない。別個の制御ロジック４３０は、オペランドＢレジスタファイル４１２からオペランドＢ分配回路４１７のオペランドＢバッファに新しいデータを読み取る必要があるかどうかを示すために、サイクル毎にフラグを指定することができる。実際のハードウェア実装では、各オペランドＢバッファは、オペランドＢバッファへの読み取り動作および書き込み動作が同じサイクルで発生しないように、ダブルバッファリングスキームを使用してもよい。
【0084】
図１６は、一実施形態による、入力オペランドＢをＳＩＭＤエンジンに提供するための第２のアーキテクチャ（アーキテクチャ２Ｂ）のブロック図である。図示される例では、オペランドＢ分配ロジック（オペランドＢ分配回路４１７）は、４つのオペランドＢバッファＢ０～Ｂ３を含み、それらの各々は、オペランドＢレジスタファイル４１２からのフルレジスタワードを格納することができる。４つのオペランドＢバッファが示されているが、オペランドバッファの数は１より大きい任意の数であり得ることが理解される。図示される例では、オペランドＢバッファＢ０～Ｂ３は、オペランドＢレジスタファイル４１２から受信したレジスタファイルワードを格納する。より具体的には、オペランドＢバッファＢ０、Ｂ１、Ｂ２およびＢ３は、それぞれ、値［ａ、ｂ、ｃ、ｄ］、［ｅ、ｆ、ｇ、ｈ］、［ｉ、ｊ、ｋ、ｌ］および［ｍ、ｎ、ｏ、ｐ］を格納する（ここで、値ａ～ｐの各々は、３２ビットワードである）。
【0085】
オペランドＢバッファ選択ロジック１６０１（これは、制御ロジック４３０のステートマシンおよびスケジューラ４３１に含まれてもよい）は、オペランドＢバッファＢ０、Ｂ１、Ｂ２およびＢ３の内容が、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供される様式を決定するために使用される。一実施形態では、オペランドＢバッファ選択ロジック１６０１は、４つのバッファ選択エントリｂｓ０、ｂｓ１、ｂｓ２およびｂｓ３を含み、これらは、オペランドＢバッファＢ０～Ｂ３のうちのどれが、それらのバッファの内容をそれぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供するかを指定する値を格納する。図示される例では、４つのエントリｂｓ０、ｂｓ１、ｂｓ２およびｂｓ３は、それぞれオペランドＢバッファＢ０、Ｂ０、Ｂ１およびＢ２を指定し、オペランドＢバッファＢ０の内容（すなわち、［ａ、ｂ、ｃ、ｄ］）がＳＩＭＤ０およびＳＩＭＤ１に提供され、オペランドＢバッファＢ１の内容（すなわち、［ｅ、ｆ、ｇ、ｈ］）がＳＩＭＤ２に提供され、オペランドＢバッファＢ２の内容（すなわち、［ｉ、ｊ、ｋ、ｌ］）がＳＩＭＤ３に提供されることを示す。続くサイクルにおいて、バッファ選択は、バッファ選択エントリｂｓ０、ｂｓ１、ｂｓ２およびｂｓ３を変更することによって変化し得る。オペランドバッファの数が１に減少した場合、アーキテクチャ２Ｂはアーキテクチャ１Ｂと同等になるであろうことに留意されたい。
【0086】
アーキテクチャ３Ｂ
【0087】
オペランドＢレジスタファイル４１２からの複数の読み取りを効果的に可能にするための別のアプローチは、複数のレジスタファイルを使用してオペランドＢレジスタファイル４１２を実装することであり、それらのレジスタファイルの各々は、単一の読み取り動作が一度に実行されることを可能にする。前述したように、４つの読み取りポートを持つ１つの大きなメモリを有することは、各々が１つの読み取りポートを持つ４つのより小さなメモリよりも高価な場合がある。しかしながら、４つの読み取りポートを持つより大きなメモリは、読み取り可能なデータに関してより柔軟性を提供することに注目されたい。単一の読み取りポートを持つ４つのより小さなメモリを使用すると、４つのエントリを一度に読み取ることができるが、エントリの各々が異なるメモリに属している必要がある。これは、４つのエントリを同時に読み取ることができる４つの読み取りポートメモリの場合には当てはまらない。
【0088】
入力オペランドＢをＳＩＭＤブロック４０１に提供するための第３のアーキテクチャ（アーキテクチャ３Ｂ）の主な特徴は、以下のように定義され得る。オペランドＢに対して２つ以上のレジスタファイルがある。１つの特定の場合では、オペランドＢのレジスタファイルの数は、ＳＩＭＤブロック４０１に含まれるＳＩＭＤエンジンの数に等しい。したがって、４つのＳＩＭＤエンジンがある場合、対応するオペランドＢレジスタファイルは４つとなる。しかしながら、他の場合も可能であり、それらの場合にアーキテクチャを拡張することは容易である。
【0089】
複数のオペランドＢレジスタファイルを同時に読み取ることができる。単純な場合では、各ＳＩＭＤは、その入力オペランドＢを、オペランドＢレジスタファイルのうちの１つから直接受信する。ＳＩＭＤエンジンの数がオペランドＢレジスタファイルの数に等しい場合、ＳＩＭＤエンジンの各々は、オペランドＢレジスタファイルのうちの対応する１つから入力オペランドＢを受信することができる。
【0090】
一般的な場合では、オペランドＢ分配回路４１７は、オペランドＢレジスタファイルから読み取られたデータを保持するためのオペランドバッファ（アーキテクチャ２Ｂに類似）を含むことができる。これにより、複数のサイクルが同じデータを使用することができる。また、バッファされたデータの再利用により、オペランドＢレジスタファイルを毎サイクル読み取る必要はない。ロードフラグは、オペランドＢレジスタファイルからオペランドＢ分配回路４１７にデータを読み取る必要があるサイクルを指定することができる。別個のブロックもまた、アーキテクチャ２Ｂに関連して上述したように、すべてのＳＩＭＤについてロードするバッファのアドレスを指定することができる。
【0091】
図１７は、一実施形態による、入力オペランドＢをＳＩＭＤブロック４０１に提供するための第３のアーキテクチャ（アーキテクチャ３Ｂ）のブロック図である。図示の例では、４つのオペランドＢレジスタファイル４１２０、４１２１、４１２２および４１３３は、対応する４つのオペランドＢレジスタワード（例えば、［ａ０、ｂ０、ｃ０、ｄ０］［ｅ０、ｆ０、ｇ０、ｈ０］［ｉ０、ｊ０、ｋ０、ｌ０］および［ｍ０、ｎ０、ｏ０、ｐ０］）をオペランドＢ分配回路４１７に提供する。図示される例では、オペランドＢ分配回路４１７は、オペランドＢレジスタファイル４１２０、４１２１、４１２２および４１３３によって提供されるレジスタファイルワードを、オペランドＢ分配回路４１７内のバッファメモリ（オペランドＢバッファＢＭ０、ＢＭ１、ＢＭ２およびＢＭ３）にそれぞれルーティングする。
【0092】
オペランドＢバッファ選択ロジック１７０１（これは、制御ロジック４３０のステートマシンおよびスケジューラ４３１に含まれてもよい）は、オペランドＢバッファＢＭ０、ＢＭ１、ＢＭ２およびＢＭ３の内容が、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供される様式を決定するために使用される。一実施形態では、オペランドＢバッファ選択ロジック１７０１は、４つのバッファ選択エントリｂｍｓ０、ｂｍｓ１、ｂｍｓ２およびｂｍｓ３を含み、これらは、オペランドＢバッファＢＭ０～ＢＭ３のうちのどれが、それらのバッファの内容をそれぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供するかを指定する値を格納する。図示される例では、４つのエントリｂｍｓ０、ｂｍｓ１、ｂｍｓ２およびｂｍｓ３は、オペランドＢバッファＢＭ０、ＢＭ１、ＢＭ２およびＢＭ３をそれぞれ指定し、オペランドＢバッファＢＭ０の内容（すなわち、［ａ０、ｂ０、ｃ０、ｄ０］）がＳＩＭＤ０に提供され、オペランドＢバッファＢＭ１の内容（すなわち、［ｅ０、ｆ０、ｇ０、ｈ０］）がＳＩＭＤ１に提供され、オペランドＢバッファＢＭ２の内容（すなわち、［ｉ０、ｊ０、ｋ０、ｌ０］）がＳＩＭＤ２に提供され、オペランドＢバッファＢＭ３の内容（すなわち、［ｍ０、ｎ０、ｏ０、ｐ０］）がＳＩＭＤ３に提供されることを示す。続くサイクルにおいて、バッファ選択は、バッファメモリ選択エントリｂｍｓ０、ｂｍｓ１、ｂｍｓ２およびｂｍｓ３を変更することによって変化し得る。
【0093】
図１８は、代替実施形態による、入力オペランドＢをＳＩＭＤブロック４０１に提供するための第３のアーキテクチャ（アーキテクチャ３Ｂ）のブロック図である。図１８の実施形態では、オペランドＢ分配回路４１７は、それぞれオペランドＢレジスタファイル４１２０、４１２１、４１２２および４１３３によって提供されるデータを格納する、ダブルオペランドＢバッファＢ０１～Ｂ０２、Ｂ１１～Ｂ１２、Ｂ２１～Ｂ２２およびＢ３１～Ｂ３２を含む。図示される例では、オペランドＢレジスタファイル４１２０からのオペランドＢレジスタファイルワード［ａ０、ｂ０、ｃ０、ｄ０］および［ａ１、ｂ１、ｃ１、ｄ１］は、それぞれオペランドＢバッファＢ０２およびＢ０１に格納される。オペランドＢレジスタファイル４１２１からのオペランドＢレジスタファイルワード［ｅ０、ｆ０、ｇ０、ｈ０］および［ｅ１、ｆ１、ｇ１、ｈ１］は、それぞれオペランドＢバッファＢ１２およびＢ１１に格納される。オペランドＢレジスタファイル４１２２からのオペランドＢレジスタファイルワード［ｉ０、ｊ０、ｋ０、ｌ０］および［ｉ１、ｊ１、ｋ１、ｌ１］は、それぞれオペランドＢバッファＢ２２およびＢ２１に格納される。オペランドＢレジスタファイル４１２３からのオペランドＢレジスタファイルワード［ｍ０、ｎ０、ｏ０、ｐ０］および［ｍ１、ｎ１、ｏ１、ｐ１］は、それぞれオペランドＢバッファＢ３２およびＢ３１に格納される。
【0094】
オペランドＢバッファ選択ロジック１８０１（これは、制御ロジック４３０のステートマシンおよびスケジューラ４３１に含まれてもよい）は、オペランドＢバッファＢ０１～Ｂ０２、Ｂ１１～Ｂ１２、Ｂ２１～Ｂ２２およびＢ３１～Ｂ３２の内容が、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供される様式を決定するために使用される。一実施形態では、オペランドＢバッファ選択ロジック１８０１は、４つのバッファ選択エントリｂｓ０１、ｂｓ１１、ｂｓ２１およびｂｓ３１を含み、これらは、オペランドＢバッファＢ０１～Ｂ０２、Ｂ１１～Ｂ１２、Ｂ２１～Ｂ２２およびＢ３１～Ｂ３２のうちのどれが、それらのバッファの内容をそれぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供するかを指定する値を格納する。例示される例では、４つのエントリｂｓ０１、ｂｓ１１、ｂｓ２１およびｂｓ３１は、オペランドＢバッファＢ０２、Ｂ１２、Ｂ２２およびＢ３２をそれぞれ指定し、オペランドＢバッファＢ０２の内容（すなわち、［ａ０、ｂ０、ｃ０、ｄ０］）がＳＩＭＤ０に提供され、オペランドＢバッファＢ１２の内容（すなわち、［ｅ０、ｆ０、ｇ０、ｈ０］）がＳＩＭＤ１に提供され、オペランドＢバッファＢ２２の内容（すなわち、［ｉ０、ｊ０、ｋ０、ｌ０］）がＳＩＭＤ２に提供され、オペランドＢバッファＢ３２の内容（すなわち、［ｍ０、ｎ０、ｏ０、ｐ０］）がＳＩＭＤ３に提供されることを示す。一実施形態では、オペランドＢ分配回路４１７は、バッファ選択エントリｂｓ０１、ｂｓ１１、ｂｓ２１およびｂｓ３１に応答して上述のルーティングを実行する、スイッチング／逆多重化回路を含む。オペランドＢバッファ選択ロジック１８０１は、オペランドバッファＢ０１～Ｂ０２、Ｂ１１～Ｂ１２、Ｂ２１～Ｂ２２およびＢ３１～Ｂ３２のいずれかを選択して、ＳＩＭＤエンジンのうちのいずれかに入力オペランドＢを提供できることに留意されたい。例えば、バッファ選択エントリｂｓ０１は、オペランドＢバッファＢ３１の内容（すなわち、［ｍ１、ｎ１、ｏ１、ｐ１］）をＳＩＭＤ０にルーティングさせる値（Ｂ３１）を格納し得る。続くサイクルにおいて、バッファ選択は、バッファ選択エントリｂｓ０１、ｂｓ１１、ｂｓ２１およびｂｓ３１を変更することによって変化し得る。他の実施形態では、異なる数のオペランドＢバッファがオペランドＢ分配回路４１７に含められ得ることに留意されたい。
【0095】
アーキテクチャ４Ｂ
【0096】
ＳＩＭＤブロック４０１にオペランドＢを提供するための第４のアーキテクチャ（アーキテクチャ４Ｂ）では、アーキテクチャ３Ｂに類似したアーキテクチャが提供され、各オペランドＢレジスタファイルが一度に２つのエントリを読み取り、いくつかのシフト演算を適用することによって、１レジスタファイルワード分のデータを選択することを可能にするという、追加の特徴を持つ。制御ロジック３４０は、各オペランドＢレジスタファイルから読み出される２つの行のアドレス、ならびにこれらの２つの行から読み取られるエントリに適用されるシフトの量を指定する。この機能は通常、ハードウェアで、各オペランドＢレジスタファイルメモリを２つのメモリバンクとして実装することによって実現される。これにより、２つのエントリを同時に読み取ることができる。次いで、２つのレジスタファイルワードは、入力パラメータとしてシフト量を受信し、１レジスタファイルワード分のデータを出力するシフトロジックモジュールに入力される。２つのバンクのアドレスおよびシフト量は、ステートマシンおよびスケジューラ４３１によって供給される。
【0097】
図１９は、一実施形態による、入力オペランドＢをＳＩＭＤブロック４０１に提供するための第４のアーキテクチャ（アーキテクチャ４Ｂ）のブロック図である。図示される実施形態では、４つのオペランドＢレジスタファイル１９１２０～１９１２３があり、これらのオペランドＢレジスタファイルの各々は、２つのメモリバンクを含む。したがって、オペランドＢレジスタファイル１９１２０、１９１２１、１９１２２および１９１２３は、それぞれメモリバンク１９１２００～１９１２０１、１９１２１０～１９１２１１、１９１２２０～１９１２２１および１９１２３０～１９１２３１を含む。メモリバンク１９１２００～１９１２０１、１９１２１０～１９１２１１、１９１２２０～１９１２２１および１９１２３０～１９１２３１のペアの各々は、異なるレジスタファイルワードを格納する。図示される例では、メモリバンク１９１２００は、レジスタファイルワード［ａ０、ｂ０、ｃ０、ｄ０］、［ａ２、ｂ２、ｃ２、ｄ２］および［ａ４、ｂ４、ｃ４、ｄ４］を格納し、メモリバンク１９１２０１は、レジスタファイルワード［ａ１、ｂ１、ｃ１、ｄ１］、［ａ３、ｂ３、ｃ３、ｄ３］および［ａ５、ｂ５、ｃ５、ｄ５］を格納する。
【0098】
メモリバンク１９１２１０は、レジスタファイルワード［ｅ０、ｆ０、ｇ０、ｈ０］、［ｅ２、ｆ２、ｇ２、ｈ２］および［ｅ４、ｆ４、ｇ４、ｈ４］を格納し、メモリバンク１９１２１１は、レジスタファイルワード［ｅ１、ｆ１、ｇ１、ｈ１］、［ｅ３、ｆ３、ｇ３、ｈ３］および［ｅ５、ｆ５、ｇ５、ｈ５］を格納する。
【0099】
メモリバンク１９１２２０は、レジスタファイルワード［ｉ０、ｊ０、ｋ０、ｌ０］、［ｉ２、ｊ２、ｋ２、ｌ２］および［ｉ４、ｊ４、ｋ４、ｌ４］を格納し、メモリバンク１９１２２１は、レジスタファイルワード［ｉ１、ｊ１、ｋ１、ｌ１］、［ｉ３、ｊ３、ｋ３、ｌ３］および［ｉ５、ｊ５、ｋ５、ｌ５］を格納する。
【0100】
メモリバンク１９１２３０は、レジスタファイルワード［ｍ０、ｎ０、ｏ０、ｐ０］、［ｍ２、ｎ２、ｏ２、ｐ２］および［ｍ４、ｎ４、ｏ４、ｐ４］を格納し、メモリバンク１９１２３１は、レジスタファイルワード［ｍ１、ｎ１、ｏ１、ｐ１］、［ｍ３、ｎ３、ｏ３、ｐ３］および［ｍ５、ｎ５、ｏ５、ｐ５］を格納する。
【0101】
メモリバンク１９１２００～１９１２０１、１９１２１０～１９１２１１、１９１２２０～１９１２２１および１９１２３０～１９１２３１のペアから読み取られたレジスタファイルワードは、オペランドＢ分配回路４１７内のシフトロジック回路１９０１に提供される。シフトロジック回路１９０１の出力は、オペランドＢ分配回路４１７内のオペランドＢバッファＢ０、Ｂ１、Ｂ２およびＢ３に提供される。
【0102】
制御ロジック４３０（より具体的には、ステートマシンおよびスケジューラ４３１）は、メモリバンク１９１２００～１９１２０１、１９１２１０～１９１２１１、１９１２２０～１９１２２１および１９１２３０～１９１２３１から読み取られたレジスタファイルワードを制御する。一般に、制御ロジック４３０は、メモリバンク１９１２００～１９１２０１、１９１２１０～１９１２１１、１９１２２０～１９１２２１および１９１２３０～１９１２３１からレジスタファイルワードを同時に読み取らせる。メモリバンクペアの各々に提供されるアドレスは、２つの異なる連続したレジスタファイルワードがメモリバンクの各々から読み取られるように選択されてもよく、これによって、シフト演算を実行するために必要なレジスタファイルワードを提供する。例えば、レジスタファイルワード［ａ０、ｂ０、ｃ０、ｄ０］および［ａ１、ｂ１、ｃ１、ｄ１］は、それぞれメモリバンク１９１２００および１９１２０１から同時に読み取られてよく、レジスタファイルワード［ｅ０、ｆ０、ｇ０、ｈ０］および［ｅ１、ｆ１、ｇ１、ｈ１］は、それぞれメモリバンク１９１２１０および１９１２１１から同時に読み取られてよく、レジスタファイルワード［ｉ０、ｊ０、ｋ０、ｌ０］および［ｉ１、ｊ１、ｋ１、ｌ１］は、それぞれメモリバンク１９１２２０および１９１２２１から同時に読み取られてよく、レジスタファイルワード［ｍ０、ｎ０、ｏ０、ｐ０］および［ｍ１、ｎ１、ｏ１、ｐ１］は、それぞれメモリバンク１９１２３０および１９１２３１から同時に読み取られてよい。シフトロジック回路１９０１は、オペランドＢレジスタファイル１９１２０～１９１２３によって提供される８つのレジスタファイルワードを受信する。
【0103】
制御ロジック３４０はまた、シフトロジック回路１９０１によって導入されるシフトの量を制御する。一般に、以下の表１は、様々なシフト値について、本実施例ではシフトロジック回路１９０１によってオペランドＢバッファＢ０～Ｂ３に提供される値を定義する。各シフト値は、受信したレジスタファイルワードのペアに追加の３２ビットシフトを導入することに留意されたい。図１９にシフト値１の結果が示されている。
【0104】
【表1】
【0105】
オペランドＢバッファＢ０、Ｂ１、Ｂ２およびＢ３の内容は、入力オペランドＢとして、それぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３にルーティングされる。前述の様式では、シフトは、オペランドＢレジスタファイル１９１２０～１９１２３によって格納されるレジスタファイルワード内で効率的に実行され得る。
【0106】
ここでも、実際のハードウェア実装では、ハードウェアリソースを共有することによって、複数のアーキテクチャを共に実装することができる。ハードウェアは、レジスタによって選択され得るモードとして、異なるアーキテクチャを動作させるようにプログラムされ得る。
【0107】
アーキテクチャ１Ｂ、２Ｂ、３Ｂおよび４Ｂに従った入力オペランドＢのルーティングに関するさらなる詳細は、図２２に関連して以下で提供する。
【0108】
アーキテクチャ１Ｂ、２Ｂ、３Ｂおよび４Ｂの先行する説明は、３２ビット入力モードおよび１６ビット入力モードを実装するが、これらのアーキテクチャは、他の幅の入力モード（例えば、８ビット入力モード）を実装するように容易に変更され得ることが理解される。さらに、アーキテクチャ１Ｂ、２Ｂ、３Ｂおよび４Ｂは、４つのＳＩＭＤエンジンおよび１２８ビットのレジスタファイルワードを含む実施形態に関連して説明されてきたが、他の実施形態では、他の数のＳＩＭＤエンジンおよびレジスタファイルワード幅が、直接的に使用され得る。
【0109】
実際のハードウェア実装では、ハードウェアリソースを共有することによって、複数のアーキテクチャを共に実装することができる。ハードウェアは、いくつかのレジスタ設定によって選択され得るモードとして、異なるアーキテクチャを動作させるようにプログラムされ得る。例えば、制御レジスタ４３２（図４）は、オペランドＢのためのアーキテクチャ１Ｂ、２Ｂ、３Ｂまたは４Ｂを上述の様式で実装するようにオペランドＢ分配回路（入力分配ブロック４１５）を構成する値を格納することができる。
【0110】
出力回路
【0111】
出力回路４２０（図４）は、ＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３）の出力を格納する（かつアドレスを指定する）ために使用される。各ＳＩＭＤは、ＳＩＭＤ内で実行される演算の出力を、出力回路４２０内の特定の数の出力レジスタに書き込むことができる。
【0112】
図２０は、対応するメモリバンク（出力レジスタセット２００００～２０００３）に結合されたＳＩＭＤエンジン（ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３）のそれぞれを示すブロック図であり、各メモリバンクはｋ行を含み、各行は出力レジスタを形成する。累積演算の場合、制御ロジック３４０は、以前に格納された累積値がメモリバンク（出力レジスタセット２００００～２０００３）のアドレス指定された出力レジスタから読み取られ、対応するＳＩＭＤエンジン、ＳＩＭＤ０～ＳＩＭＤ３に提供されるように、メモリバンク（出力レジスタセット２００００～２０００３）の各々内の行アドレスを指定する。これに応答して、ＳＩＭＤエンジン（ＳＩＭＤ０～ＳＩＭＤ３）は、更新された累積値を生成するために積和演算を実行し、次いで、更新された累積値は、対応するメモリバンク（出力レジスタセット２００００～２０００３）内のアドレス指定された出力レジスタに書き戻される。
【0113】
以下でより詳細に説明するように、各ＳＩＭＤに関連付けられた出力レジスタの行アドレスは、ＳＩＭＤエンジンへの入力信号として考えられることができる。行アドレスは、ＳＩＭＤ内の行のインデックス（ＳＩＭＤ内で相対インデックスと呼ばれる）である。
【0114】
図２１は、出力レジスタセット２００００、２０００１、２０００２および２０００３の内容がそれぞれＳＩＭＤエンジンＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供される様式を決定するために使用される、レジスタ選択ロジック２１０１を示すブロック図である。レジスタ選択ロジック２１０１は、制御ロジック４３０のステートマシンおよびスケジューラ４３１内に実装される。一実施形態では、レジスタ選択ロジック２１０１は、４つのレジスタ選択エントリＲ０、Ｒ１、Ｒ２およびＲ３を含み、これらは、出力レジスタセット２００００、２０００１、２０００２および２０００３内の出力レジスタのうちのどれがそれらの内容を、それぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供するか（または、それぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３から受信した値を格納するか）を指定する行アドレス値を格納する。図示される例では、４つのレジスタ選択エントリＲ０、Ｒ１、Ｒ２およびＲ３は、それぞれ、出力レジスタセット２００００、２０００１、２０００２および２０００３の行１、行（Ｋ－１）、行０および行２の出力レジスタを指定する（これらの出力レジスタの内容が、それぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供されることを示す）。図２１では、選択された出力レジスタがハイライト表示されていることに留意されたい。続くサイクルにおいて、レジスタ選択は、レジスタ選択エントリＲ０、Ｒ１、Ｒ２およびＲ３を変更することによって変化し得る。
【0115】
統一されたアーキテクチャ
【0116】
図２２は、異なるオペランドおよび出力について上記で提案した様々なアーキテクチャおよび特徴を統一するハードウェアシステム（システム２２００）のブロック図である。システム２２００は、（１）オペランド（オペランドＡおよびオペランドＢ）の各々を格納するための１つ以上のレジスタファイルを含むオペランドブロック２２１０、（２）オペランドの各々のための１つ以上のバッファおよびオペランドの各々のためのロジックブロックを含む入力分配ブロック（ＩＤＢ）２２２０、（３）１つ以上のＳＩＭＤエンジンを含むＳＩＭＤブロック２２３０、および（４）ＳＩＭＤエンジンの各々のための１つ以上の出力レジスタファイルを含む出力ブロック２２４０を含む。図示されるシステム２２００では、オペランドブロック２２１０は、上述したオペランドＡレジスタファイル４１１およびオペランドＢレジスタファイル４１２の様々な実施形態を実装するために使用され得る、オペランドＡレジスタファイル２２１１およびオペランドＢレジスタファイル２２１２を含む。入力分配ブロック（ＩＤＢ）２２２０は、上述したオペランドＡ分配回路４１６の様々な実施形態を実装するために使用され得る、オペランドＡ ＩＤＢバッファ２２２１およびオペランドＡ ＩＤＢロジック２２２３を含む。入力分配ブロック２２２０はまた、上述したオペランドＢ分配回路４１７の様々な実施形態を実装するために使用され得る、オペランドＢ ＩＤＢバッファ２２２２およびオペランドＢ ＩＤＢシフトロジック２２２４を含む。上述したＳＩＭＤブロック４０１の様々な実施形態を実装するために使用され得るＳＩＭＤブロック（出力ブロック２２４０）は、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３を含む。上述した出力回路４２０の様々な実施形態を実装するために使用され得る出力ブロック２２４０は、それぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に結合された出力レジスタファイル２２４１、２２４２、２２４３および２２４４を含む。
【0117】
オペランドブロック２２１０は、オペランドデータを保持することに関与する。以下に説明する制御信号に基づいて、オペランドＡレジスタファイル２２１１およびオペランドＢレジスタファイル２２１２からのデータは、入力分配ブロック２２２０に転送される。システム２２００の統一されたアーキテクチャの一実施形態では、オペランドＡレジスタファイル２２１１は１つのレジスタファイルを含み、オペランドＢレジスタファイル２２１２は４つのレジスタファイルを含む。さらに、オペランドＢの４つのレジスタファイルは、２つの同時読み取りを可能にする（すなわち、メモリを２つのバンクに分割する）。一般的なシステムは、オペランドの各々のための任意の数のレジスタファイルを含むことができる一方で、最適なハードウェアは、最小数のレジスタファイルを使用するが必要なすべての演算をサポートするように設計する必要がある。
【0118】
図示される制御信号では、３つの制御信号、ＯＰ＿Ａ＿ＲＦ＿ＳＲＣ＿ＡＤＤＲ＿ＳＥＬ、ＯＰ＿Ａ＿ＲＦ＿ＤＥＳＴ＿ＡＤＤＲ＿ＳＥＬおよびＯＰ＿Ａ＿ＲＦ＿ＬＯＡＤ＿ＦＬＡＧを使用して、オペランドＡレジスタファイル２２１１の動作を制御する。同様に、３つの制御信号、ＯＰ＿Ｂ＿ＲＦ＿ＳＲＣ＿ＡＤＤＲ＿ＳＥＬ、ＯＰ＿Ｂ＿ＲＦ＿ＤＥＳＴ＿ＡＤＤＲ＿ＳＥＬおよびＯＰ＿Ｂ＿ＲＦ＿ＬＯＡＤ＿ＦＬＡＧを使用して、オペランドＢレジスタファイル２２１２の動作を制御する。
【0119】
ＯＰ＿Ａ＿ＲＦ＿ＬＯＡＤ＿ＦＬＡＧおよびＯＰ＿Ｂ＿ＲＦ＿ＬＯＡＤ＿ＦＬＡＧ信号は、それぞれオペランドＡレジスタファイル２２１１およびオペランドＢレジスタファイル２２１２から、それぞれオペランドＡ ＩＤＢバッファ２２２１およびオペランドＢ ＩＤＢバッファ２２２２に、データを転送する必要があるかどうかを指定する。ＯＰ＿Ａ＿ＲＦ＿ＬＯＡＤ＿ＦＬＡＧ信号が１の値を有する場合、２つの関連する制御信号（ＯＰ＿Ａ＿ＲＦ＿ＳＲＣ＿ＡＤＤＲ＿ＳＥＬおよびＯＰ＿Ａ＿ＲＦ＿ＤＥＳＴ＿ＡＤＤＲ＿ＳＥＬ）は、オペランドＡデータの送信元アドレスと宛先アドレスを指定する。同様に、ＯＰ＿Ｂ＿ＲＦ＿ＬＯＡＤ＿ＦＬＡＧ信号が１の値を有する場合、２つの関連する制御信号（ＯＰ＿Ｂ＿ＲＦ＿ＳＲＣ＿ＡＤＤＲ＿ＳＥＬおよびＯＰ＿Ｂ＿ＲＦ＿ＤＥＳＴ＿ＡＤＤＲ＿ＳＥＬ）は、オペランドＢデータの送信元アドレスと宛先アドレスを指定する。すべての実施形態が、オペランドＡデータおよびオペランドＢデータのための宛先アドレスを必要するわけではないことに留意されたい（すなわち、オペランドＡデータまたはオペランドＢデータのための可能な宛先が１つしかない場合）。ＯＰ＿Ａ＿ＲＦ＿ＬＯＡＤ＿ＦＬＡＧ信号またはＯＰ＿Ｂ＿ＲＦ＿ＬＯＡＤ＿ＦＬＡＧ信号が０の値を有する場合、対応するオペランドＡレジスタファイル２２１１またはオペランドＢレジスタファイル２２１２からのデータの読み取りまたは転送は行われない。ＯＰ＿Ａ＿ＲＦ＿ＬＯＡＤ＿ＦＬＡＧ信号およびＯＰ＿Ｂ＿ＲＦ＿ＬＯＡＤ＿ＦＬＡＧ信号は、制御ロジック４３０のステートマシンおよびスケジューラ４３１によって生成され得る。
【0120】
ＯＰ＿Ａ＿ＲＦ＿ＳＲＣ＿ＡＤＤＲ＿ＳＥＬ信号は、読み取り対象のオペランドＡレジスタファイル２２１１の行アドレスを指定する。上述した演算モードでは、ＯＰ＿Ａ＿ＲＦ＿ＳＲＣ＿ＡＤＤＲ＿ＳＥＬ信号は、読み取り対象のオペランドＡレジスタファイルを指定する１つのアドレスのみを含む。ＯＰ＿Ｂ＿ＲＦ＿ＳＲＣ＿ＡＤＤＲ＿ＳＥＬ信号は、読み取り対象のオペランドＢレジスタファイル２２１２の行アドレスを指定する。動作モードに応じて、ＯＰ＿Ｂ＿ＲＦ＿ＳＲＣ＿ＡＤＤＲ＿ＳＥＬ信号は、１つのアドレスのみ（アーキテクチャ１Ｂまたは２Ｂ）、または４つのアドレス（アーキテクチャ３Ｂ）、または８つのアドレス（アーキテクチャ４Ｂ）であり得る。ハードウェアは、異なる場合を処理するための適切なモードを有し、これらのモードは、制御ロジック４３０の制御レジスタ４３２によって指定される。上述した送信元アドレスは、制御ロジック４３０のステートマシンおよびスケジューラ４３１によってハードウェアで生成され得る。
【0121】
ＯＰ＿Ａ＿ＲＦ＿ＤＥＳＴ＿ＡＤＤＲ＿ＳＥＬ信号は、オペランドＡレジスタファイル２２１１から読み込まれたデータが転送されるオペランドＡ ＩＤＢバッファ２２２１の宛先アドレスを指定する。同様に、ＯＰ＿Ｂ＿ＲＦ＿ＤＥＳＴ＿ＡＤＤＲ＿ＳＥＬ信号は、オペランドＢレジスタファイル２２１２から読み込まれたデータが転送されるオペランドＢ ＩＤＢバッファ２２２２（またはシフトロジック２２２４）の宛先アドレスを指定する。ここでも、動作モードに応じて、これらのアドレスは単一のアドレスまたは複数のアドレスであり得る。アドレスは、制御ロジック４３０のステートマシンおよびスケジューラ４３１によってハードウェアで生成され得る。
【0122】
複数のＳＩＭＤエンジンがオペランドレジスタファイルと制御ロジックを共有することに留意されたい。これにより、より高い計算密度、すなわち、単位シリコン面積当たりのより高い計算能力がもたらされる。オペランドレジスタファイルと制御ロジックを共有することは、電力とＳＲＡＭ帯域幅の節約にもなる。ＳＲＡＭ帯域幅の節約は、複数のＳＩＭＤエンジンをサポートするために書き込まれる必要があるオペランドレジスタファイルが２つのみであるという事実によるものである。
【0123】
入力分配ブロック２２２０は、オペランドデータを保持するためのバッファ２２２１、２２２２、およびデータを操作するためのロジックブロック（ＩＤＢロジック２２２３、２２２４）を含む。図２２に示すように、オペランドＡレジスタファイル２２１１からのオペランドＡ値は、オペランドＡ ＩＤＢロジック２２２３（上述したスイッチング／逆多重化機能を実行する）に提供される前に、バッファ２２２１に格納される。対照的に、オペランドＢレジスタファイル２２１２からのオペランドＢの値は、バッファ２２２２に格納される前に、シフトロジック２２２４を介してルーティングされる。したがって、オペランドＡについては、データは最初にロードされ、次いでＳＩＭＤエンジン（ＳＩＭＤブロック２２３０）への入力値を取得するように操作されるのに対し、オペランドＢについては、データが最初に操作され（シフトされ）、次いでバッファされる。
【0124】
オペランドレジスタファイルから直接ＳＩＭＤエンジンに供給する代わりに、入力分配ブロック２２２０は小さなキャッシュとして機能し、このキャッシュからオペランドがＳＩＭＤエンジンに供給される。入力分配ブロック２２２０は、単一の制御回路を使用して複数のＳＩＭＤエンジンを並列に動作させることを可能にする。上述したように、オペランドＡレジスタファイル２２１１からのデータは、複数のＳＩＭＤエンジンに異なるデータを提供するように操作することができる。
【0125】
ＯＰ＿Ａ＿ＩＤＢ＿ＡＤＤＲ＿ＳＥＬ信号は、各ＳＩＭＤに使用すべきオペランドＡ ＩＤＢバッファのアドレスを指定する。議論されたすべてのアーキテクチャでは、オペランドＡのために１つのレジスタファイルワードデータのみを使用してきたが、一般的な場合、バッファ２２２１が複数のレジスタファイルワードを保持することができ、ＳＩＭＤエンジンの各々がバッファ２２２１から異なるレジスタファイルワードを選択することが可能である。典型的には、最適なアーキテクチャにはオペランドＡバッファが１つのみ存在する。しかしながら、この単一のバッファは、１サイクルで同じバッファに読み書きが起こらないように、実際にはダブルバッファを使用して実装される。ハードウェアは、このダブルバッファを透過的に管理する。したがって、ほとんどの場合、この信号はハードウェアによって内部的に管理される。
【0126】
オペランドＡ ＩＤＢロジック２２２３を制御するＯＰ＿Ａ＿ＩＤＢ＿ＤＡＴＡ＿ＳＥＬ信号は、各ＳＩＭＤに転送する必要のあるデータを指定する。例えば、アーキテクチャ２Ａでは、単一の値が効果的に複製され、すべてのＳＩＭＤエンジンにブロードキャストされる。この信号は、複製する必要のある値のインデックスを指定する。同様に、アーキテクチャ３Ａでは、４つの連続した値が、レジスタファイルワードから取得され、それらの各々は効果的に複製され、１つのＳＩＭＤに送信される。この場合、ＯＰ＿Ａ＿ＩＤＢ＿ＤＡＴＡ＿ＳＥＬ信号は、ＳＩＭＤ０に対して複製する必要のある値のインデックスを指定する。他のＳＩＭＤエンジン（ＳＩＭＤ１～ＳＩＭＤ３）については、インデックス値はインクリメンタルである。アーキテクチャ１Ａの場合、バッファ２２２１に格納されたフルレジスタワードは、すべてのＳＩＭＤエンジンに送信されるため、ＯＰ＿Ａ＿ＩＤＢ＿ＤＡＴＡ＿ＳＥＬ信号は必要ではない。
【0127】
オペランドＢ ＩＤＢシフトロジック２２２４を制御するＯＰ＿Ｂ＿ＩＤＢ＿ＳＨＩＦＴ＿ＳＥＬ信号は、オペランドＢレジスタファイル２２１２から受信されたレジスタファイルワードがどのようにシフトされるかを制御するために（すなわち、オペランドＢの同じレジスタファイルから２つのレジスタファイルワードを読み取るときに）使用される。ＯＰ＿Ｂ＿ＩＤＢ＿ＳＨＩＦＴ＿ＳＥＬ信号（およびオペランドＢ ＩＤＢシフトロジック２２２４）は、システム２２００がアーキテクチャ４Ｂを実装している場合にのみ必要とされることに留意されたい。この場合、ＯＰ＿Ｂ＿ＩＤＢ＿ＳＨＩＦＴ＿ＳＥＬ信号は、１つのレジスタファイルワードを（上述した様式で）生成するために、２つのレジスタファイルワードをどのように操作する必要があるかを指定する。
【0128】
畳み込み演算は、典型的にはデータシフトを伴う。オペランドＢレジスタファイル２２１２とＳＩＭＤエンジンとの間にオペランドＢのシフトロジック２２２４を配置することは、データがオペランドＢレジスタファイル２２１２から複数回読み取られることを可能にし、その都度データに異なるシフトを適用することによって、ハードウェアのオーバーヘッドを有利に低減する。シフトロジック２２２４がこのように実装されていない場合、シフトされたデータは、オペランドＢレジスタファイル２２１２に書き込まれることが必要であろうため、提案されるアーキテクチャにおけるほど何度も再利用できない可能性がある。
【0129】
ＯＰ＿Ｂ＿ＩＤＢ＿ＡＤＤＲ＿ＳＥＬ値はオペランドＢ ＩＤＢバッファのアドレスを指定し、オペランドＢ ＩＤＢバッファはその内容をＳＩＭＤエンジンの各々の入力として提供する。この信号は、図１６のアーキテクチャ２Ｂに関して図示した。これは、このアーキテクチャで最も重要な信号の１つであり、実行可能な計算の種類に多くの柔軟性を提供する。ＯＰ＿Ｂ＿ＩＤＢ＿ＡＤＤＲ＿ＳＥＬ値は、典型的には、アーキテクチャ２Ｂに対応するモードのためのステートマシンおよびスケジューラ４３１から来るが、データアクセスパターンが予測可能である場合には、ハードウェアによっても管理され得る。
【0130】
入力分配ブロック２２２０において複数のオペランドＢバッファ（ＩＤＢバッファ２２２２）を使用することは、異なるＳＩＭＤエンジンが所与のサイクルで異なるオペランドＢデータを潜在的に取得することを可能にする。４つのオペランドＢバッファ（ＩＤＢバッファ２２２２）（すなわち、ＳＩＭＤエンジンの数と同じ）を使用することにより、４つの同時読み取りを可能にし、各ＳＩＭＤが異なるデータを受信する。これは、オペランドＢレジスタファイル２２１２を４ポートのメモリで実装する（４つの同時読み取り動作がＳＩＭＤ０～ＳＩＭＤ３を供給することも可能であろう）よりも、（ハードウェアの観点から）はるかに低コストである。オペランドＢバッファ（ＩＤＢバッファ２２２２）を提供して、オペランドＢレジスタファイル２２１２からの少数のレジスタワードをバッファすることにより、ＳＩＭＤ０～ＳＩＭＤ３のいずれかによってアクセス可能な小さなキャッシュを効果的に提供する。これは、ハードウェアの複雑性と、一部のクラスのアルゴリズムに必要な柔軟性との間の良好な妥協点を提示する。
【0131】
ＳＩＭＤブロック２２３０は、入力分配ブロック２２２０によって提供されるデータに対して実際の計算を実行する１つ以上のＳＩＭＤエンジンを含む。ＳＩＭＤエンジンは異なる種類の演算をサポートできるため、実行すべき演算は入力として提供される必要がある。したがって、ＳＩＭＤ＿ＯＰＥＲＡＴＩＯＮ＿ＳＥＬ値は、ＳＩＭＤエンジンによって実行されるべき演算を指定するために使用される。理論的には、異なるＳＩＭＤエンジンが異なる演算を実行することは可能だが、概して、同じ演算選択値ＳＩＭＤ＿ＯＰＥＲＡＴＩＯＮ＿ＳＥＬは、すべてのＳＩＭＤエンジンを駆動するために使用される。
【0132】
ＳＩＭＤエンジンによって実行される計算の結果は、出力ブロック２２４０内の出力レジスタファイル２２４１～２２４４に書き込まれる必要がある。また、累積のような演算では、以前に累積された値を出力レジスタファイル２２４１～２２４４から読み取る必要がある（かつＳＩＭＤエンジンに提供される）。一般に、累積された値は、以前に累積された値と同じ場所に書き戻される。しかしながら、汎用性のために、出力ブロック２２４０には２つの制御値ＯＵＴＰＵＴ＿ＲＦ＿ＡＤＤＲ＿ＳＥＬ＿０およびＯＵＴＰＵＴ＿ＲＦ＿ＡＤＤＲ＿ＳＥＬ＿１が提供され、これによって、出力レジスタファイル２２４１～２２４４の各々の読み取りアドレスおよび書き込みアドレスを個別に指定することが可能となる。一実施形態では、制御値ＯＵＴＰＵＴ＿ＲＦ＿ＡＤＤＲ＿ＳＥＬ＿０は、出力レジスタファイル２２４１～２２４４の各々への書き込みアドレスを指定し、制御値ＯＵＴＰＵＴ＿ＲＦ＿ＡＤＤＲ＿ＳＥＬ＿１は、出力レジスタファイル２２４１～２２４４の各々への読み取りアドレスを指定する。出力アドレスの指定については、出力回路４２０のアーキテクチャを議論する際に図２１を使用して例示した。
【0133】
出力レジスタファイル２２４１～２２４４の各々に複数の出力レジスタを含めることは、説明されるシステムアーキテクチャによって実行可能な演算の種類に関して柔軟性をもたらすのに有利であることに留意されたい。この柔軟性のいくつかの実施例は、以下でより詳細に説明する。
【0134】
ここで、本発明の特定の実施形態によるコンピュータアーキテクチャを動作させるための様々な実施例を説明する。
【0135】
図２３は、本発明の一実施形態による、行列乗算を実行するために使用され得るコンピュータアーキテクチャ２３００のブロック図である。
【0136】
図２４は、図２３のコンピュータアーキテクチャ２３００に乗算される２つの行列ＩおよびＪを示す図である。行列Ｉは６４行および１６列、行列Ｊは１６行および４列を有する。行列Ｉの各行は、重みベクトルを表し得、行列Ｊの各列は、機械学習システム内の活性化ベクトルを表し得る。行列Ｉは、図示されるように、１０２４個の（３２ビット）値、ｗ０，０～ｗ６３，１５を含む。行列Ｊは、図示されるように、６４個の（３２ビット）値、ａ０～ａ１５、ｂ０～ｂ１５、ｃ０～ｃ１５およびｄ０～ｄ１５を含む。
【0137】
行列Ｉおよび行列Ｊは、システムメモリ４４０に格納される（図４）。図２５は、行列Ｉおよび行列Ｊの内容がシステムメモリ４４０内に論理的に格納される様式を示すブロック図である。行列Ｉは、２５６行を含むオペランドＡメモリブロック４４１に格納され、各行は４つの重み値を含む。例えば、オペランドＡメモリブロック４４１の第１の行（行０）は、重み値［ｗ０，０、ｗ１，０、ｗ２，０、ｗ３，０、］を含む。行列Ｉの第１の列（列０）（すなわち、値ｗｉ，０、ここで、ｉ＝０～６３）は、オペランドＡメモリブロック４４１の第１の１６個の連続する行に格納される。行列Ｉの第２の列（列１）（すなわち、値ｗｉ，１、ここで、ｉ＝０～６３）は、オペランドＡメモリブロック４４１の１６個の連続する行の第２のセットに格納される。行列Ｉの残りの列（列２～列１５）は、図示されるように、オペランドＡメモリブロック４４１内の１６個の連続する行の連続するセットに格納される。
【0138】
行列Ｊは、各行が４つの活性化値を含む１６行を含むオペランドＢメモリブロック４４２に格納される。例えば、オペランドＢメモリブロック４４２の最初の行は、行列Ｊの第１の行に含まれる活性化値［ｄ０、ｃ０、ｂ０、ａ０］を含む。行列Ｊの残りの行（行１～行１５）は、オペランドＢメモリブロック４４２の連続する行（行１～行１５）に格納される。
【0139】
行列Ｉと行列Ｊの乗算は以下のように行われる。
【0140】
ステートマシンおよびスケジューラ４３１（図４）は、オペランドパッケージング回路４３３に、オペランドＡメモリブロック４４１の第１の行から重み値（非ゼロエントリｗ０，０、ｗ１，０、ｗ２，０およびｗ３，０）を取得させ、かつオペランドＢメモリブロック４４２の第１の行からエントリａ０、ｂ０、ｃ０およびｄ０を取得させる。ステートマシンおよびスケジューラ４３１は、取得された重み値（非ゼロエントリｗ０，０、ｗ１，０、ｗ２，０およびｗ３，０）をオペランドＡレジスタファイル４１１に書き込み、取得されたエントリａ０、ｂ０、ｃ０およびｄ０をオペランドＢレジスタファイル４１２に書き込む。この結果を図２３に示す。入力分配ブロック４１５内のオペランドＡ分配回路４１６は、オペランドＡレジスタファイル４１１からの重み値（非ゼロエントリｗ０，０、ｗ１，０、ｗ２，０およびｗ３，０）を、それぞれ「オペランドＡ」として、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に（上記図１１によって指定された様式で）ルーティングするように制御される。入力分配ブロック４１５内のオペランドＢ分配回路４１７は、オペランドＢレジスタファイル４１２からのエントリａ０、ｂ０、ｃ０およびｄ０を、（上記図１４によって指定された様式で）ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３の各々にルーティングするように制御される。
【0141】
ＳＩＭＤエンジン（ＳＩＭＤ０～ＳＩＭＤ３）の各々は、オペランドＡとオペランドＢとの対応するエントリを乗算し（例えば、ＳＩＭＤ０は、（ａ０×ｗ０，０）、（ｂ０×ｗ０，０）、（ｃ０×ｗ０，０）、および（ｄ０×ｗ０，０）を実行し）、対応する積を生成する。
【0142】
図２６は、本実施例による出力レジスタセット２００００、２０００１、２０００２および２０００３の内容のマッピングを示す。出力レジスタセット２００００、２０００１、２０００２および２０００３の各エントリは、最初はゼロ値に設定されている。出力レジスタセット２００００、２０００１、２０００２および２０００３の各エントリは、行列の乗算のドット積に対応する。各ドット積は、行列Ｉの行と行列Ｊの列とによって指定される。例えば、（ｗ０，ｉ ａｉ）とラベル付けされた出力レジスタセット２００００のエントリは、行列Ｉの行０（ｗ０，０、ｗ０，１、ｗ０，２．．．ｗ０，１５）と行列Ｊの列０（ａ０、ａ１、ａ２．．．ａ１５）とのドット積を格納する。同様に、（ｗ２６，ｉ ｄｉ）とラベル付けされた出力レジスタセット２０００２のエントリは、行列Ｉの行２６（ｗ２６，０、ｗ２６，１、ｗ２６，２．．．ｗ２６，１５）と行列Ｊの列３（ｄ０、ｄ１、ｄ２．．．ｄ１５）とのドット積を格納する。
【0143】
ステートマシンおよびスケジューラ４３１は、出力レジスタセット２００００、２０００１、２０００２および２０００３のアドレス指定を並列に制御する。（上述しかつ図２３に示した）初期計算の間、ステートマシンおよびスケジューラ４３１は、出力レジスタセット２００００～２０００３の各々の行０をアドレス指定する。結果として、出力レジスタセット２００００～２０００３の行０に格納されているゼロ値が、それぞれＳＩＭＤ０～ＳＩＭＤ３に提供される。
【0144】
初期計算の間、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３の各々は累積演算を実行し、ここで出力レジスタセット２００００～２０００３から取得されたゼロ値は、ＳＩＭＤ０～ＳＩＭＤ３によって計算された積に追加される。次いで、累積値を対応する出力レジスタセット２００００～２０００３の行０に書き戻す。
【0145】
例えば、出力レジスタセット２００００の行０のエントリ（ｗ０，ｉ ｄｉ）、（ｗ０，ｉ ｃｉ）、（ｗ０，ｉ ｂｉ）および（ｗ０，ｉ ａｉ）のゼロ値がＳＩＭＤ０に提供される。次いで、ＳＩＭＤ０は、計算された積（ｗ０，０×ｄ０）、（ｗ０，０×ｃ０）、（ｗ０，０×ｂ０）および（ｗ０，０×ａ０）をこれらの取得されたゼロ値に加算し、累積値を作成する。次いで、ＳＩＭＤ０は、これらの累積値を出力レジスタセット２００００の行０のエントリ（ｗ０，ｉ ｄｉ）、（ｗ０，ｉ ｃｉ）、（ｗ０，ｉ ｂｉ）および（ｗ０，ｉ ａｉ）に書き戻す。同様の演算がＳＩＭＤ１～ＳＩＭＤ３で実行される。
【0146】
次いで、ステートマシンおよびスケジューラ４３１は、オペランドＡのメモリブロック（オペランドＡメモリブロック４４１）にアクセスするために使用されるアドレスをインクリメントし、次の行の値（すなわち、ｗ４，０、ｗ５，０、ｗ６，０、およびｗ７，０）を取得させ、オペランドＡのレジスタファイル（オペランドＡレジスタファイル４１１）に格納させる。オペランドＡ分配回路４１６は、図２３に関連して上述したのと同じ様式で、これらの受信された値をルーティングする。すなわち、値ｗ４，０、ｗ５，０、ｗ６，０およびｗ７，０は、それぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供される。オペランドＢはこの時点では変更されないままである。
【0147】
ＳＩＭＤエンジン（ＳＩＭＤ０～ＳＩＭＤ３）の各々は、オペランドＡとオペランドＢとの対応するエントリを乗算し（例えばＳＩＭＤ０は、（ａ０×ｗ４，０）、（ｂ０×ｗ４，０）、（ｃ０×ｗ４，０）、および（ｄ０×ｗ４，０）を実行し）、対応する積を提供する。
【0148】
この第２の計算の間、ステートマシンおよびスケジューラ４３１は、出力レジスタセット２００００～２０００３の各々の行アドレスをインクリメントし、これによって、これらの出力レジスタセットの各々内の行１をアドレス指定する。結果として、出力レジスタセット２００００～２０００３の行１に格納されているゼロ値が、ＳＩＭＤ０～ＳＩＭＤ３に提供される。
【0149】
第２の計算の間、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３の各々は累積演算を実行し、ここで出力レジスタセット２００００～２０００３から取得されたゼロ値は、ＳＩＭＤエンジンによって計算された積に追加される。次いで、累積値を出力レジスタセット２００００～２０００３に書き戻す。
【0150】
例えば、出力レジスタセット２００００の行１のエントリ（ｗ４，ｉ ｄｉ）、（ｗ４，ｉ ｃｉ）、（ｗ４，ｉ ｂｉ）および（ｗ４，ｉ ａｉ）のゼロ値がＳＩＭＤ０に提供される。次いで、ＳＩＭＤ０は、計算された積（ｗ４，０×ｄ０）、（ｗ４，０×ｃ０）、（ｗ４，０×ｂ０）および（ｗ４，０×ａ０）をこれらの取得されたゼロ値に加算し、累積値を作成する。次いで、ＳＩＭＤ０は、これらの累積値を出力レジスタセット２００００の行１のエントリ（ｗ４，ｉ ｄｉ）、（ｗ４，ｉ ｃｉ）、（ｗ４，ｉ ｂｉ）および（ｗ４，ｉ ａｉ）に書き戻す。同様の演算がＳＩＭＤ１～ＳＩＭＤ３で実行される。
【0151】
上述した処理は、オペランドＡ分配回路４１６が、重み値（非ゼロエントリｗ０，０～ｗ６３，０）のすべて（６４個）を、行列Ｉの第１の列（列０）からＳＩＭＤ０～ＳＩＭＤ３にオペランドＡ値として上述の様式で順次ルーティングするまで、繰り返される。
【0152】
行列Ｉの第１の列（列０）からの重み値が積和演算を実行するために使用された後（例えば、値ｗ０，０～ｗ６３，０に関連付けられた積が計算された後）、ステートマシンおよびスケジューラ４３１は、出力レジスタセット２００００～２０００３のアドレスを行０にリセットする。さらに、ステートマシンおよびスケジューラ４３１は、値（ｗ０，１、ｗ１，１、ｗ２，１、ｗ３，１）が取得され、オペランドＡレジスタファイル４１１に格納されるように、オペランドＡメモリブロック４４１にアクセスするために使用されるアドレスをインクリメントする。オペランドＡ分配回路４１６は、これらの値（ｗ０，１、ｗ１，１、ｗ２，１、ｗ３，１）をそれぞれ、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に（図２３に関連して上述した様式で）ルーティングする。
【0153】
ステートマシンおよびスケジューラ４３１はまた、オペランドＢメモリブロック４４２の行１からの値（ａ１、ｂ１、ｃ１、ｄ１）が取得され、オペランドＢレジスタファイル４１２に格納されるように、オペランドＢメモリブロック４４２にアクセスするために使用されるアドレスを１つずつインクリメントする。オペランドＢ分配回路４１７は、これらの値（ａ１、ｂ１、ｃ１、ｄ１）をＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３の各々に、（図２３において、値（ａ０、ｂ０、ｃ０、ｄ０）が以前にＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３にルーティングされたのと同じ様式で）ルーティングする。
【0154】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、受信した値に対して積和演算を実行し、その結果は、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３の行０に、上述したとおりに格納される。
【0155】
次いで、ステートマシンおよびスケジューラ４３１は、オペランドＡのメモリブロック（オペランドＡメモリブロック４４１）にアクセスするために使用されるアドレスをインクリメントし、次の行の値（すなわち、ｗ４，０、ｗ５，０、ｗ６，０、およびｗ７，０）を取得させ、オペランドＡのレジスタファイル（オペランドＡレジスタファイル４１１）に格納させる。オペランドＡ分配回路４１６は、図２３に関連して上述したのと同じ様式で、これらの受信された値をルーティングする。すなわち、値ｗ４，０、ｗ５，０、ｗ６，０およびｗ７，０は、それぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３に提供される。オペランドＢ（ａ１、ｂ１、ｃ１、ｄ１）はこの時点では変更されないままである。ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、受信したこれらの値に対して積和演算を実行し、その結果は、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３の行１に、上述したように格納される。
【0156】
上述した処理は、オペランドＡ分配回路４１６が、重み値（非ゼロエントリｗ０，１～ｗ６３，１）のすべて（６４個）を、行列Ｉの第２の列（列１）からＳＩＭＤ１～ＳＩＭＤ３にオペランドＡ値として順次ルーティングするまで、繰り返される（ただし、オペランドＢ（ａ１、ｂ１、ｃ１、ｄ１）は変更されないままである）。
【0157】
次いで、行列Ｉの列（列０～列１５）の各々と行列Ｊの行（行０～行１５）の各々に対して積和演算が実行されるように、上述の処理が繰り返される。この処理の最後に、出力レジスタセット２００００～２０００３は、行列Ｊの各列と行列Ｉの各行とのドット積を格納する。例えば、出力レジスタセット２００００のエントリ（ｗ０，ｉ ａｉ）は、行列Ｉの行０と行列Ｊの列０とのドット積を格納し、出力レジスタセット２０００１のエントリ（ｗ２９，ｉ ｄｉ）は、行列Ｉの行２９と行列Ｊの列３とのドット積を格納する。
【0158】
有利には、本発明は、行列Ｉおよび行列Ｊを乗算するための効率的な構造を提供する。ＳＩＭＤ０～ＳＩＭＤ３は、高い処理並列性（例えば、同時に１６個の並列積和演算）をもたらし、これは、行列乗算を実行するために必要とされる時間を有利に削減する。さらに、行列乗算を実装するために必要な制御回路も有利なことに簡素である。オペランドＡメモリブロック４４１および出力レジスタセット２００００～２０００３へのアドレス入力は、各積和演算の後に単純にインクリメントされ、オペランドＢメモリブロック４４２へのアドレス入力は、１６回の各積和演算の後に単純にインクリメントされる。入力分配ブロック４１５は、有利には、行列乗算全体の間、同じ構成を維持する。
【0159】
ゼロ値エントリを多数含む行列は、「疎（まばら）な」行列と呼ばれる。例えば、７／８以上のゼロ値エントリを含む行列は、疎行列と呼ばれ得る。疎行列を伴う乗算は、多数の不要な演算を伴う場合がある。上記の実施例において、行列Ｉのエントリの７／８がゼロの値を含むと仮定する。この場合、行列Ｉと行列Ｊとを乗算するためには、５１２（１６×１６×１６×（１／８））の積和演算のみが必要となる。しかしながら、上述した４０９６（１６×１６×１６）すべての演算が、図２３～図２６に関連して上述の方法によって実行される可能性がある。したがって、本発明の別の実施形態によれば、疎行列を用いて乗算を実行するための、図２３～図２６の構造の使用方法が提供される。
【0160】
行列Ｉが、エントリの８分の１のみが非ゼロエントリを有する疎行列であると仮定する。上述したように、処理は、行列Ｉの各列に対して順次実行される（例えば、行列Ｉの列０が最初に処理され、続いて行列Ｉの列１が処理される、など）。このように、行列Ｉの残りの列も同様に処理されることを理解しながら、行列Ｉの第１の列の処理について説明する。
【0161】
第１の実施例では、行列Ｉの列０の（合計６４個のエントリのうちの）以下の８つのエントリ、すなわち、ｗ３，０、ｗ５，０、ｗ８，０、ｗ１０，０、ｗ１１，０ｗ２４，０、ｗ５８，０、およびｗ６１，０のみが、非ゼロエントリを有すると仮定する。
【0162】
最初に、オペランドパッケージング回路４３３は、行列Ｉ内の非ゼロエントリの行アドレスを識別する。したがって、本例では、オペランドパッケージング回路４３３は、非ゼロエントリｗ３，０、ｗ５，０、ｗ８，０、ｗ１０，０、ｗ１１，０、ｗ２４，０、ｗ５８，０、およびｗ６１，０が、それぞれ、行列Ｉの行３、５、８、１０、１１、２４、５８および６１に位置することを判定する。この行アドレス情報を使用して、オペランドパッケージング回路４３３は、識別された非ゼロエントリに関連付けられたドット積を格納するために、出力レジスタセット２００００～２０００３のうちのどれが使用されるか決定する。概して、この決定は、オペランド行列（行列Ｉ）内の非ゼロエントリの行アドレスを「４」で除算し、次いで、この除算演算の余り（Ｒ）を使用して、出力レジスタセットを識別する（ここで、余り（Ｒ）は出力レジスタセット２０００Ｒを識別する）ことによって行われる。
【0163】
オペランドパッケージング回路４３３はまた、ドット積が格納される出力レジスタセット内の行を決定する。概して、この決定は、行列Ｉ内の非ゼロエントリの行アドレスを「４」で除算し、余り（Ｒ）を無視することによって行われる。
【0164】
本実施例では、非ゼロエントリｗ８，０およびｗ２４，０は、行列Ｉの行８および２４に位置している。これらの行番号を４で割ると、余り「０」となり、これによって非ゼロエントリｗ８，０およびｗ２４，０のドット積が出力レジスタセット２００００に位置されることを示す。また、８／４＝２、および２４／４＝６であるため、非ゼロエントリｗ８，０およびｗ２４，０のドット積は、それぞれ出力レジスタセット２００００の行２および行６に位置される。この結果は、出力レジスタセット２００００が、出力レジスタセット２００００の行２にドット積［（ｗ８，ｉｄｉ）、（ｗ８，ｉｃｉ）、（ｗ８，ｉｂｉ）、（ｗ８，ｉａｉ）］、および出力レジスタセット２００００の行６にドット積［（ｗ２４，ｉｄｉ）、（ｗ２４，ｉｃｉ）、（ｗ２４，ｉｂｉ）、（ｗ２４，ｉａｉ）］を含むことを示す図２６によって確認される。
【0165】
本実施例では、非ゼロエントリｗ５，０およびｗ６１，０は、行列Ｉの行５および６１に位置している。これらの行番号を４で割ると、余り「１」となり、これによって非ゼロエントリｗ５，０およびｗ６１，０のドット積が出力レジスタセット２０００１に位置されることを示す。また、５／４＝１（余り１）、および６１／４＝１５（余り１）であるため、非ゼロエントリｗ５，０およびｗ６１，０のドット積は、それぞれ出力レジスタセット２０００１の行１および行１５に位置される。この結果は、出力レジスタセット２０００１が、出力レジスタセット２０００１の行１にドット積［（ｗ５，ｉ ｄｉ）、（ｗ５，ｉ ｃｉ）、（ｗ５，ｉ ｂｉ）、（ｗ５，ｉ ａｉ）］、および出力レジスタセット２０００１の行１５にドット積［（ｗ６１，ｉ ｄｉ）、（ｗ６１，ｉ ｃｉ）、（ｗ６１，ｉ ｂｉ）、（ｗ６１，ｉ ａｉ）］を含むことを示す図２６によって確認される。
【0166】
本実施例では、非ゼロエントリｗ１０，０およびｗ５８，０は、行列Ｉの行１０および５８に位置している。これらの行番号を４で割ると、余り「２」となり、これによって非ゼロエントリｗ１０，０およびｗ５８，０のドット積が出力レジスタセット２０００２に位置されることを示す。また、１０／４＝２（余り２）、および５８／４＝１４（余り２）であるため、非ゼロエントリｗ１０，０およびｗ５８，０のドット積は、それぞれ出力レジスタセット２０００２の行２および行１４に位置される。この結果は、出力レジスタセット２０００２が、出力レジスタセット２０００２の行２にドット積［（ｗ１０，ｉ ｄｉ）、（ｗ１０，ｉ ｃｉ）、（ｗ１０，ｉ ｂｉ）、（ｗ１０，ｉ ａｉ）］、および出力レジスタセット２０００２の行１４にドット積［（ｗ５８，ｉ ｄｉ）、（ｗ５８，ｉ ｃｉ）、（ｗ５８，ｉ ｂｉ）、（ｗ５８，ｉ ａｉ）］を含むことを示す図２６によって確認される。
【0167】
本実施例では、非ゼロエントリｗ３，０およびｗ１１，０は、行列Ｉの行３および１１に位置している。これらの行番号を４で割ると、余り「３」となり、これによって非ゼロエントリｗ３，０およびｗ１１，０のドット積が出力レジスタセット２０００３に位置されることを示す。また、３／４＝０（余り３）、および１１／４＝２（余り３）であるため、非ゼロエントリｗ３，０およびｗ１１，０のドット積は、それぞれ出力レジスタセット２０００３の行０および行２に位置される。この結果は、出力レジスタセット２０００３が、出力レジスタセット２０００３の行０にドット積［（ｗ３，ｉ ｄｉ）、（ｗ３，ｉ ｃｉ）、（ｗ３，ｉ ｂｉ）、（ｗ３，ｉ ａｉ）］、および出力レジスタセット２０００３の行２にドット積［（ｗ１１，ｉ ｄｉ）、（ｗ１１，ｉ ｃｉ）、（ｗ１１，ｉ ｂｉ）、（ｗ１１，ｉ ａｉ）］を含むことを示す図２６によって確認される。
【0168】
上記で指定された判定を行うと、オペランドパッケージング回路４３３は、行列Ｉの列０のｗ３，０、ｗ５，０、ｗ８，０、ｗ１０，０、ｗ１１，０、ｗ２４，０、ｗ５８，０、およびｗ６１，０の非ゼロエントリを、オペランドＡメモリブロック４４１に以下のようにソート（パック）する。後述の新たな記述を参照のこと。
【0169】
出力レジスタセット２００００、２０００１、２０００２および２０００３に格納されたドット積を有する最初の非ゼロエントリは、オペランドＡメモリブロック４４１の第１の行（行０）に格納される。したがって、本実施例では、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３にドット積を有する非ゼロエントリｗ８，０、ｗ５，０、ｗ１０，０およびｗ３，０は、オペランドＡメモリブロック４４１の行０に格納される。
【0170】
出力レジスタセット２００００、２０００１、２０００２および２０００３に格納されたドット積を有する次の非ゼロエントリは、オペランドＡメモリブロック４４１の第２の行（行１）に格納される。したがって、本実施例では、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３にドット積を有する非ゼロエントリｗ２４，０、ｗ６１，０、ｗ５８，０およびｗ１１，０は、オペランドＡメモリブロック４４１の行１に格納される。図２７に、行列Ｉの列０の非ゼロエントリのオペランドＡメモリブロック４４１への上述したソート／パックを示す。
【0171】
最初に、ステートマシンおよびスケジューラ４３１は、図２７に例示されるように、オペランドＡメモリブロック４４１およびオペランドＢメモリブロック４４２の第１の行を取得させ、それぞれオペランドＡレジスタファイル４１１およびオペランドＢレジスタファイル４１２にロードさせる。したがって、オペランドＡレジスタファイル４１１は、行列Ｉの非ゼロ重み値（非ゼロエントリｗ８，０、ｗ５，０、ｗ１０，０およびｗ３，０）を格納し、オペランドＢレジスタファイル４１２は、行列Ｊの活性化値ｄ０、ｃ０、ｂ０およびａ０を格納する。ステートマシンおよびスケジューラ４３１は、オペランドＡ分配回路４１６に、非ゼロエントリｗ８，０、ｗ５，０、ｗ１０，０およびｗ３，０を、オペランドＡレジスタファイル４１１から、それぞれオペランドＡとしてＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３にルーティングさせる。同時に、ステートマシンおよびスケジューラ４３１は、オペランドＢ分配回路４１７に、値ｄ０、ｃ０、ｂ０およびａ０をオペランドＢとしてＳＩＭＤエンジンの各々にルーティングさせる。これらの値ｄ０、ｃ０、ｂ０およびａ０は、オペランドＢメモリブロック４４２の行０（すなわち、行列Ｊの行０）からルーティングされる。オペランドＡ値ｗ８，０、ｗ５，０、ｗ１０，０およびｗ３，０の各々は行列Ｉの列０から来ているためである。図２７は、上述の構成を示すブロック図である。
【0172】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、受信したオペランドＡおよびＢを上述した様式で乗算する。ステートマシンおよびスケジューラ４３１は、非ゼロエントリｗ８，０、ｗ５，０、ｗ１０，０およびｗ３，０に関連付けられた出力レジスタセット２００００、２０００１、２０００２および２０００３内の、以前に決定された行を独立してアドレス指定する。すなわち、ステートマシンおよびスケジューラ４３１は、出力レジスタセット２００００、２０００１、２０００２および２０００３内の行２、行１、行２、および行０をそれぞれアドレス指定する。上述したように、出力レジスタセットのすべての行は、最初に「０」値を格納する。
【0173】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、累積演算を実行し、計算された積は、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３から取得されたゼロ値に追加される。次に、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、それぞれ、出力レジスタセット２００００、２０００１、２０００２および２０００３のアドレス指定された行（それぞれ行２、行１、行２および行０）に累積値を書き込む。
【0174】
図２８によって示されるように、ステートマシンおよびスケジューラ４３１は、次いで、オペランドＡメモリブロック４４１の第２の行から非ゼロエントリｗ２４，０、ｗ６１，０、ｗ５８，０およびｗ１１，０を取得し、これらの非ゼロエントリをオペランドＡレジスタファイル４１１に格納する。
【0175】
したがって、オペランドＡレジスタファイル４１１は、行列Ｉの非ゼロ重み値（非ゼロエントリｗ２４，０、ｗ６１，０、ｗ５８，０およびｗ１１，０）を格納し、オペランドＢレジスタファイル４１２は、行列Ｊの活性化値ｄ０、ｃ０、ｂ０およびａ０を格納する。ステートマシンおよびスケジューラ４３１は、オペランドＡ分配回路４１６に、非ゼロエントリｗ２４，０、ｗ６１，０、ｗ５８，０およびｗ１１，０を、オペランドＡレジスタファイル４１１から、それぞれオペランドＡとしてＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３にルーティングさせる。同時に、ステートマシンおよびスケジューラ４３１は、オペランドＢ分配回路４１７に、値ｄ０、ｃ０、ｂ０およびａ０をオペランドＢとしてＳＩＭＤエンジンの各々に継続してルーティングさせる。これらの値ｄ０、ｃ０、ｂ０およびａ０は、オペランドＢメモリブロック４４２の行０（すなわち、行列Ｊの行０）からルーティングされる。オペランドＡ値ｗ２４，０、ｗ６１，０、ｗ５８，０およびｗ１１，０の各々は行列Ｉの列０から来ているためである。図２８は、上述の構成を示すブロック図である。
【0176】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、受信したオペランドＡおよびＢを上述した様式で乗算する。ステートマシンおよびスケジューラ４３１は、非ゼロエントリｗ２４，０、ｗ６１，０、ｗ５８，０およびｗ１１，０に関連付けられた出力レジスタセット２００００、２０００１、２０００２および２０００３内の、以前に決定された行を独立してアドレス指定する。すなわち、ステートマシンおよびスケジューラ４３１は、出力レジスタセット２００００、２０００１、２０００２および２０００３内の行６、行１５、行１４および行２をそれぞれアドレス指定する。
【0177】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、累積演算を実行し、計算された積は、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３から取得されたゼロ値に追加される。次に、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、それぞれ、出力レジスタセット２００００、２０００１、２０００２および２０００３のアドレス指定された行（それぞれ行６、行１５、行１４および行２）に累積値を書き込む。
【0178】
上述の演算は、行列Ｉの第１の列（列０）の処理を完了する。行列Ｉの残りの１５列の各々について同じ処理ステップを実行し、それによって、「疎な」行列Ｉと行列Ｊとの乗算を完了する。これらの処理ステップでは、行列Ｉの列１の非ゼロエントリに行列Ｊの行１の値（すなわち、ａ１、ｂ１、ｃ１およびｄ１）を乗算し、行列Ｉの列２の非ゼロエントリに行列Ｊの行２の値（すなわち、ａ２、ｂ２、ｃ２およびｄ２）を乗算するなどであることに留意されたい。有利には、ＳＩＭＤエンジンは、「疎な」行列Ｉと行列Ｊとの乗算を実行するために必要な積和演算の数を最小限に抑えながら、ビジー状態に維持される（すなわち、非ゼロ行列値の積和演算を実行する）。前述の様式で、コンピュータアーキテクチャは、非常に効率的な（かつ高速な）様式で疎行列の乗算を実行する。
【0179】
上述の疎行列の乗算の実施例は、出力レジスタセット２００００～２０００３の間に均等に分配される行列Ｉの非ゼロエントリを含む（例えば、行列Ｉの列０の８つの非ゼロエントリは、出力レジスタセット２００００～２０００３の各々が２つの非ゼロエントリに関連付けられるように、分配される）。ただし、他の実施例では、非ゼロエントリの分配は一様ではない場合がある。本発明の別の実施形態は、以下でより詳細に説明する様式で、非ゼロエントリの不均一な分配を処理する。
【0180】
行列Ｉの最初の３列内の最初の１６個の非ゼロエントリが、非ゼロエントリｗ２，０、ｗ１２，０、ｗ３２，０、ｗ３８，０、ｗ４５，０、ｗ５６，０（行列Ｉの列０内）、ｗ７，１、ｗ１４，１、ｗ２１，１、ｗ２５，１、ｗ３７，１、ｗ４３，１（行列Ｉの列１内）、ｗ８，２、ｗ１０，２、ｗ２３，２およびｗ５１，２（行列Ｉの列２内）であると仮定する。
【0181】
オペランドパッケージング回路４３３は、行列Ｉ内の非ゼロエントリの行アドレスを識別する（例えば、非ゼロエントリｗ２，０は行列Ｉの行２に位置する）。この行アドレス情報を使用して、オペランドパッケージング回路４３３は、出力レジスタセット２００００～２０００３のうちのどれを使用して、上述の様式で識別された非ゼロエントリに関連付けられたドット積を格納するか決定する。オペランドパッケージング回路４３３はまた、上述した様式で、ドット積が格納される出力レジスタセット内の行を決定する。
【0182】
したがって、本実施例では、オペランドパッケージング回路４３３は、非ゼロエントリｗ１２，０、ｗ３２，０、ｗ５６，０およびｗ８，２に関連付けられたドット積が、出力レジスタセット２００００の行３、８、１４および２にそれぞれマッピングされ、非ゼロエントリｗ４５，０、ｗ２１，０、ｗ２５，０およびｗ３７，２に関連付けられたドット積が、出力レジスタセット２０００１の行１１、５、６および９にそれぞれマッピングされ、非ゼロエントリｗ２，０、ｗ３８，０、ｗ１４，１およびｗ１０，２に関連付けられたドット積が、出力レジスタセット２０００２の行０、９、３および２にそれぞれマッピングされ、かつ重み値（非ゼロエントリｗ７，１、ｗ４３，１、ｗ２３，２およびｗ５１，２）に関連付けられたドット積が、出力レジスタセット２０００３の行７、１０、５および１２にそれぞれマッピングされることを決定する。
【0183】
行列Ｉの列０の３つの非ゼロエントリ（ｗ１２，０、ｗ３２，０およびｗ５６，０）は、出力レジスタセット２００００にマッピングされ、行列Ｉの列０の１つの非ゼロエントリ（ｗ４５，０）は、出力レジスタセット２０００１にマッピングされ、行列Ｉの列０の２つの非ゼロエントリ（ｗ２，０およびｗ３８，０）は、出力レジスタセット２０００２にマッピングされ、行列Ｉの列０の非ゼロエントリは、出力レジスタセット２０００３にマッピングされないことに留意されたい。
【0184】
行列Ｉの列１の非ゼロエントリは、出力レジスタセット２００００にマッピングされず、行列Ｉの列１の３つの非ゼロエントリ（ｗ２１，１、ｗ２５，１、ｗ３７，１）は、出力レジスタセット２０００１にマッピングされ、行列Ｉの列１の１つの非ゼロエントリ（ｗ１４，１）は、出力レジスタセット２０００２にマッピングされ、かつ行列Ｉの列０の２つの非ゼロエントリ（ｗ７，１およびｗ４３，１）は、出力レジスタセット２０００３にマッピングされる。
【0185】
行列Ｉの列２の１つの非ゼロエントリ（ｗ８，２）は、出力レジスタセット２００００にマッピングされ、行列Ｉの列２の非ゼロエントリは、出力レジスタセット２０００１にマッピングされず、行列Ｉの列２の１つの非ゼロエントリ（ｗ１０，２）は、出力レジスタセット２０００２にマッピングされ、かつ行列Ｉの列２の２つの非ゼロエントリ（ｗ２３，２およびｗ５１，２）は、出力レジスタセット２０００３にマッピングされる。
【0186】
上記で指定した判定を行うと、オペランドパッケージング回路４３３は、行列Ｉの列０、１および２の非ゼロエントリを、オペランドＡメモリブロック４４１に以下のようにソート（パック）する。出力レジスタセット２００００、２０００１、２０００２および２０００３に格納されたドット積を有する最初の非ゼロエントリは、オペランドＡメモリブロック４４１の第１の行（行０）に格納される。したがって、本実施例では、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３にドット積を有する非ゼロエントリｗ１２，０、ｗ４５，０、ｗ２，０およびｗ７，１は、オペランドＡメモリブロック４４１の行０に格納される。
【0187】
出力レジスタセット２００００、２０００１、２０００２および２０００３に格納されたドット積を有する次の非ゼロエントリは、オペランドＡメモリブロック４４１の第２の行（行１）に格納される。したがって、本実施例では、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３にドット積を有する非ゼロエントリｗ３２，０、ｗ２１，１、ｗ３８，０およびｗ２３，２は、オペランドＡメモリブロック４４１の行１に格納される。
【0188】
出力レジスタセット２００００、２０００１、２０００２および２０００３に格納されたドット積を有する次の非ゼロエントリは、オペランドＡメモリブロック４４１の第３の行（行２）に格納される。したがって、本実施例では、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３にドット積を有する重み値（非ゼロエントリｗ８，２、ｗ３７，１、ｗ１０，２およびｗ４３，１）は、オペランドＡメモリブロック４４１の行２に格納される。
【0189】
図２９に、行列Ｉの列０、１および２の非ゼロエントリのオペランドＡメモリブロック４４１への上述したソート／パックを示す。
【0190】
最初に、ステートマシンおよびスケジューラ４３１は、オペランドＡメモリブロック４４１の行０を取得してオペランドＡレジスタファイル４１１にロードさせ、次いでオペランドＡ分配回路４１６に転送させる。したがって、オペランドＡレジスタファイル４１１は、行列Ｉの非ゼロ重み値（非ゼロエントリｗ１２，０、ｗ４５，０、ｗ２，０およびｗ７，１）を格納する。代替的な実施形態では、これらの非ゼロエントリｗ１２，０、ｗ４５，０、ｗ２，０およびｗ７，１は、オペランドＡ分配回路４１６内のバッファに格納されることに留意されたい。
【0191】
また、ステートマシンおよびスケジューラ４３１は、オペランドＢメモリブロック４４２の行０および行１を取得してオペランドＢレジスタファイル４１２にロードさせ、次いで、オペランドＢ分配回路４１７内のオペランドＢバッファＢ０およびＢ１にそれぞれ転送させる。したがって、オペランドＢレジスタファイル４１２およびオペランドＢバッファＢ０は、行列Ｊの活性化値ｄ０、ｃ０、ｂ０およびａ０を格納し、オペランドＢレジスタファイル４１２およびオペランドＢバッファＢ１は、行列Ｊの活性化値ｄ１、ｃ１、ｂ１およびａ１を格納する。この状態を図２９に示す。
【0192】
ステートマシンおよびスケジューラ４３１は、オペランドＢメモリブロック（制御レジスタ４３２）の行０および行１から活性化値を取得することに留意されたい。これらの２つの活性化値は、（行列Ｉの最初の２列から取り出された）オペランドＡに含まれる取得された重み値に関連付けられた必要なドット積を計算するために必要であるためである。また、オペランドＢレジスタファイル４１２は、オペランドＢメモリブロック４４２から直列にまたは並列にロードされ得、オペランドＢ分配回路４１７のバッファＢ０～Ｂ３は、オペランドＢレジスタファイル４１２から直列に（図１６）または並列に（図１７～図１８）ロードされ得ることに留意されたい。
【0193】
ステートマシンおよびスケジューラ４３１は、オペランドＡ分配回路４１６に、オペランドＡレジスタファイル４１１から非ゼロエントリｗ１２，０、ｗ４５，０、ｗ２，０およびｗ７，１を、オペランドＡとして、それぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３にルーティングさせる。同時に、ステートマシンおよびスケジューラ４３１は、オペランドＢ分配回路４１７に、値ｄ０、ｃ０、ｂ０およびａ０を、オペランドＢとして、ＳＩＭＤ０、ＳＩＭＤ１およびＳＩＭＤ２の各々にルーティングさせ、また、オペランドＢ分配回路４１７に、値ｄ１、ｃ１、ｂ１およびａ１を、ＳＩＭＤ３にルーティングさせる。図２９に示す実施形態では、オペランドＢ選択レジスタ（オペランドＢバッファ選択ロジック１６０１）は、これらのオペランドＢ値のルーティングを可能にするオペランドＢ選択信号を格納する。
【0194】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、受信したオペランドＡおよびＢを上述した様式で乗算する。ステートマシンおよびスケジューラ４３１は、非ゼロエントリｗ１２，０、ｗ４５，０、ｗ２，０およびｗ７，１に関連付けられた出力レジスタセット２００００、２０００１、２０００２および２０００３内の、以前に決定された行を独立してアドレス指定する。すなわち、ステートマシンおよびスケジューラ４３１は、出力レジスタセット２００００、２０００１、２０００２および２０００３内の行４、行１１、行０および行１をそれぞれアドレス指定する。上述したように、出力レジスタセットのすべての行は、最初に「０」値を格納する。
【0195】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、累積演算を実行し、計算された積は、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３から取得されたゼロ値に追加される。次に、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、それぞれ、出力レジスタセット２００００、２０００１、２０００２および２０００３のアドレス指定された行（それぞれ行４、行１１、行０および行１）に累積値を書き込む。図２９に示す実施形態では、レジスタ選択ロジック２１０１は、出力レジスタセット２００００、２０００１、２０００２および２０００３への／からの値のルーティングを可能にするレジスタ選択エントリを格納する。
【0196】
図２９に実装された積和演算は、行列Ｉの第１の列（すなわち、非ゼロエントリｗ１２，０、ｗ４５，０およびｗ２，０）、および行列Ｉの第２の列（すなわち、非ゼロエントリｗ７，１）の両方からの非ゼロ重み値を有利に使用し、それによって効率を向上させることに留意されたい（行列Ｉの第１の列にはＳＩＭＤエンジンの４つすべてを供給するのに十分な非ゼロエントリがないにもかかわらず、いずれのＳＩＭＤエンジンもアイドル状態ではないため）。
【0197】
図３０によって例示されるように、ステートマシンおよびスケジューラ４３１は、オペランドＡメモリブロック４４１の行１を取得してオペランドＡレジスタファイル４１１にロードさせ、次いでオペランドＡ分配回路４１６内のオペランドＡバッファ内に転送させる。したがって、オペランドＡレジスタファイル４１１およびオペランドＡ分配回路４１６は、行列Ｉの非ゼロ重み値（非ゼロエントリｗ３２，０、ｗ２１，１、ｗ３８，０およびｗ２３，２）を格納する。
【0198】
また、ステートマシンおよびスケジューラ４３１は、オペランドＢメモリブロック４４２の行２を取得してオペランドＢレジスタファイル４１２にロードさせ、オペランドＢ分配回路４１７内のオペランドＢバッファＢ２に転送させる。したがって、オペランドＢレジスタファイル４１２およびオペランドＢバッファＢ０は、行列Ｊの活性化値ｄ０、ｃ０、ｂ０およびａ０を格納し、オペランドＢレジスタファイル４１２およびオペランドＢバッファＢ１は、活性化値ｄ１、ｃ１、ｂ１およびａ１を格納し、オペランドＢレジスタファイル４１２およびオペランドＢバッファＢ２は、活性化値ｄ２、ｃ２、ｂ２およびａ２を格納する。
【0199】
ステートマシンおよびスケジューラ４３１は、オペランドＢメモリブロック（制御レジスタ４３２）の行０、１および２から活性化値を取得することに留意されたい。これらの３つの活性化値は、（行列Ｉの最初の３列から取り出された）オペランドＡに含まれる取得された重み値に関連付けられた必要なドット積を計算するために必要であるためである。
【0200】
ステートマシンおよびスケジューラ４３１は、オペランドＡ分配回路４１６に、オペランドＡレジスタファイル４１１から非ゼロエントリｗ３２，０、ｗ２１，１、ｗ３８，０およびｗ２３，２を、オペランドＡとしてそれぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３ルーティングさせる。同時に、ステートマシンおよびスケジューラ４３１は、オペランドＢ分配回路４１７に、値ｄ０、ｃ０、ｂ０およびａ０を、オペランドＢとして、ＳＩＭＤ０およびＳＩＭＤ２の各々にルーティングさせ、オペランドＢ分配回路４１７に、値ｄ１、ｃ１、ｂ１およびａ１をＳＩＭＤ１にルーティングさせ、オペランドＢ分配回路４１７に、値ｄ２、ｃ２、ｂ２およびａ２をＳＩＭＤ３にルーティングさせる。
【0201】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、受信したオペランドＡおよびＢを上述した様式で乗算する。ステートマシンおよびスケジューラ４３１は、非ゼロエントリｗ３２，０、ｗ２１，１、ｗ３８，０およびｗ２３，２に関連付けられた出力レジスタセット２００００、２０００１、２０００２および２０００３内の、以前に決定された行を独立してアドレス指定する。すなわち、ステートマシンおよびスケジューラ４３１は、出力レジスタセット２００００、２０００１、２０００２および２０００３内の行８、行５、行９および行５をそれぞれアドレス指定する。上述したように、出力レジスタセットのすべての行は、最初に「０」値を格納する。
【0202】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、累積演算を実行し、計算された積は、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３から取得されたゼロ値に追加される。次に、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、それぞれ、出力レジスタセット２００００、２０００１、２０００２および２０００３のアドレス指定された行（それぞれ行８、行５、行９および行５）に累積値を書き込む。
【0203】
図３０に実装される積和演算は、行列Ｉの第１の列（すなわち、重み値（非ゼロエントリｗ３２，０およびｗ３８，０））、行列Ｉの第２の列（すなわち、非ゼロエントリｗ２１，１）ならびに行列Ｉの第３の列（すなわち、非ゼロエントリｗ２３，２）からの非ゼロ重み値を有利に使用し、それによって演算効率を向上させることに留意されたい（ＳＩＭＤエンジンはいずれもアイドル状態ではないため）。
【0204】
図３１によって例示されるように、ステートマシンおよびスケジューラ４３１は、オペランドＡメモリブロック４４１の行２を取得してオペランドＡレジスタファイル４１１にロードさせ、次いでオペランドＡ分配回路４１６内のオペランドＡバッファ内に転送させる。したがって、オペランドＡレジスタファイル４１１およびオペランドＡ分配回路４１６は、行列Ｉの非ゼロ重み値（非ゼロエントリｗ８，２、ｗ３７，１、ｗ１０，２およびｗ４３，１）を格納する。
【0205】
すでにオペランドＢ分配のオペランドＢバッファＢ１～Ｂ２に格納されている活性化値は、行列Ｉの非ゼロ重み値（非ゼロエントリｗ８，２、ｗ３７，１、ｗ１０，２およびｗ４３，１）に関連付けられた積和演算で使用される。
【0206】
ステートマシンおよびスケジューラ４３１は、オペランドＡ分配回路４１６に、オペランドＡレジスタファイル４１１から非ゼロエントリｗ８，２、ｗ３７，１、ｗ１０，２およびｗ４３，１を、オペランドＡとして、それぞれＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３にルーティングさせる。同時に、ステートマシンおよびスケジューラ４３１は、オペランドＢ分配回路４１７に、値ｄ２、ｃ２、ｂ２およびａ２を、オペランドＢとしてＳＩＭＤ０およびＳＩＭＤ２の各々にルーティングさせ、かつオペランドＢ分配回路４１７に、値ｄ１、ｃ１、ｂ１およびａ１をＳＩＭＤ１およびＳＩＭＤ３にルーティングさせる。
【0207】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、受信したオペランドＡおよびＢを上述した様式で乗算する。ステートマシンおよびスケジューラ４３１は、非ゼロエントリｗ８，２、ｗ３７，１、ｗ１０，２およびｗ４３，１に関連付けられた出力レジスタセット２００００、２０００１、２０００２および２０００３内の、以前に決定された行を独立してアドレス指定する。すなわち、ステートマシンおよびスケジューラ４３１は、出力レジスタセット２００００、２０００１、２０００２および２０００３内の行２、行９、行２および行１０をそれぞれアドレス指定する。上述したように、出力レジスタセットのすべての行は、最初に「０」値を格納する。
【0208】
ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、累積演算を実行し、計算された積は、それぞれ出力レジスタセット２００００、２０００１、２０００２および２０００３から取得されたゼロ値に追加される。次に、ＳＩＭＤ０、ＳＩＭＤ１、ＳＩＭＤ２およびＳＩＭＤ３は、それぞれ、出力レジスタセット２００００、２０００１、２０００２および２０００３のアドレス指定された行（それぞれ行２、行９、行２および行１０）に累積値を書き込む。
【0209】
図３１に実装される積和演算は、行列Ｉの第２の列（すなわち、非ゼロエントリｗ３７，１およびｗ４３，１）ならびに行列Ｉの第３の列（すなわち、非ゼロエントリｗ８，２およびｗ１０，２）からの非ゼロ重み値を有利に使用し、それによって演算効率を向上させることに留意されたい（ＳＩＭＤエンジンのいずれもアイドル状態ではないため）。
【0210】
疎行列Ｉの３列のみの処理については、図２９～図３１の実施例で説明したが、疎行列Ｉの残りの列は、最初の３列と同様に処理することができることが理解される。上述の方法で疎行列Ｉの非ゼロ演算値をパックすることにより、疎行列Ｉと行列Ｊとを乗算するために必要な演算数を有利に最小化する。
【0211】
上述した実施形態では、オペランドパッケージング回路４３３は制御ロジック４３０の一部として示されているが、代替実施形態では、オペランドパッケージング回路４３３の機能はコンピュータシステム４００の外部に実装可能であることが理解される。そのような代替実施形態では、ソフトウェアを使用して、行列Ｉの非ゼロエントリを識別し（行列Ｉのエントリによって表されるネットワークの重み値が既知であるため）、これらの非ゼロエントリに関連付けられた出力レジスタ（および出力レジスタ行アドレス）を決定し、行列Ｉの非ゼロエントリで積和演算を実行するために必要な行列Ｊの値のアドレスを識別し、かつ行列Ｉの非ゼロエントリがオペランドＡレジスタファイル４１１内にパックされるべき様式を決定することが可能である。これらの決定を実施するための方法は、上記で詳細に説明される。パックされたオペランドＡ値は次いで、オペランドＡレジスタファイル４１１（および／またはシステムメモリ４４０）に直接ロードされ得る。オペランドＢレジスタファイル４１２をロードしそれにアクセスするために必要なアドレス、および出力レジスタセット２００００～２０００３にアクセスするために必要なアドレスは、ステートマシンおよびスケジューラ４３１にロードされ得る。次いで、ステートマシンおよびスケジューラ４３１は、単にメモリから非ゼロエントリを取得し、余分にハードウェアを複雑にすることなく、ランタイム中に必要なアドレス信号を供給する。このようにして、この代替実施形態は、コンピュータシステム４００のハードウェア要件を有利に低減する。
【0212】
本発明はいくつかの実施形態に関連して説明されてきたが、本発明は開示される実施形態に限定されず、当業者には明らかであろう様々な変更が可能であることが理解される。したがって、本発明は、以下の特許請求の範囲によってのみ限定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【手続補正書】
【提出日】2022-03-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
単一命令複数データエンジンの複数の数（Ｎ）と対応する出力レジスタの複数の数（Ｎ）とを含むコンピュータシステムを使用して、第１の行列および第２の行列の行列乗算を実行する方法であって、前記方法は、
前記第１の行列に含まれる複数の非ゼロエントリを識別することであって、前記非ゼロエントリの各々が、前記第１の行列内に対応する列アドレスと対応する行アドレスとを有する、該識別することと、
識別された前記非ゼロエントリの各非ゼロエントリについて、前記非ゼロエントリの前記対応する行アドレスに応答して前記非ゼロエントリを処理するために、前記単一命令複数データエンジンのうちの１つおよび前記出力レジスタのうちの対応する１つを識別することと、
前記識別された単一命令複数データエンジンおよび対応する出力レジスタに基づいて前記非ゼロエントリをソートし、これによって複数の第１のオペランド値を作成することであって、前記第１のオペランド値の各々は、各々が異なる識別された単一命令複数データエンジンと対応する前記出力レジスタとを有する複数の前記非ゼロエントリを含む、該作成することと、
乗算演算を実行するために、前記第１のオペランド値を前記単一命令複数データエンジンにルーティングすることであって、前記ルーティングにより、前記第１のオペランド値に含まれる前記非ゼロエントリの各々が、前記識別された単一命令複数データエンジンに提供される、該ルーティングすることと、を含む、方法。
【請求項2】
前記識別された非ゼロエントリの各非ゼロエントリについて、前記非ゼロエントリの前記対応する列アドレスに応答して、前記第２の行列内のエントリの行を識別することと、
乗算演算を実行するために、識別された前記エントリの行を前記単一命令複数データエンジンにルーティングすることであって、前記単一命令複数データエンジンの前記各々は、前記非ゼロエントリをその識別されたエントリの行を用いて乗算する、該ルーティングすることと、をさらに含む、請求項１に記載の方法。
【請求項3】
前記識別された非ゼロエントリの各非ゼロエントリについて、前記非ゼロエントリの前記対応する行アドレスに応答して、前記出力レジスタのうちの前記対応する１つ内の行を識別することと、
前記出力レジスタの識別された前記行にアクセスすることによって、累積演算を実行することと、をさらに含む、請求項１に記載の方法。
【請求項4】
前記第１の行列の各行は、機械学習システムにおける重みベクトルを表し、前記第２の行列の各列は、前記機械学習システムにおける活性化ベクトルを表す、請求項１に記載の方法。
【請求項5】
前記第１の行列のゼロエントリを無視することをさらに含む、請求項１に記載の方法。
【請求項6】
前記行列乗算の各ドット積に前記出力レジスタ内の一意のエントリを割り当てることをさらに含む、請求項１に記載の方法。
【請求項7】
前記単一命令複数データエンジンの各々が前記非ゼロエントリのうちの１つの複数の複製を受信するように、前記第１のオペランド値が前記単一命令複数データエンジンにルーティングされている、請求項１に記載の方法。
【請求項8】
前記出力レジスタの識別された前記行の各々を独立してアドレス指定することをさらに含む、請求項３に記載の方法。
【請求項9】
前記第１の行列の前記エントリの８分の１以下が非ゼロエントリである、請求項１に記載の方法。
【請求項10】
前記非ゼロエントリの前記対応する行アドレスに応答して前記非ゼロエントリを処理するために、前記単一命令複数データエンジンのうちの１つおよび前記出力レジスタのうちの対応する１つを識別することが、前記第１の行列内の前記非ゼロエントリの前記行アドレスを前記数Ｎで除算することと、その後、前記単一命令複数データエンジンのうちの１つおよび前記出力レジスタのうちの前記対応する１つを識別するために、この除算演算の余りを使用することと、を含む、請求項１に記載の方法。
【請求項11】
前記非ゼロエントリの前記対応する行アドレスに応答して、前記出力レジスタのうちの前記対応する１つ内の行を識別することは、前記第１の行列内の前記非ゼロ値の前記行アドレスを前記数Ｎで除算することと、余りを無視することと、を含む、請求項３に記載の方法。
【請求項12】
前記非ゼロエントリの前記対応する列アドレスに応答して、前記第２の行列内のエントリの行を識別することは、前記非ゼロエントリの前記対応する列アドレスに等しい行アドレスを有する前記２の行列のエントリの行を識別することを含む、請求項２に記載の方法。
【請求項13】
コンピュータシステムであって、
単一命令複数データエンジンの複数の数（Ｎ）と、
対応する出力レジスタの複数の数（Ｎ）とを含み、
前記第１の行列に含まれる複数の非ゼロエントリを識別することであって、前記非ゼロエントリの各々が、前記第１の行列内に対応する列アドレスと対応する行アドレスとを有する、該識別することと、
識別された前記非ゼロエントリの各非ゼロエントリについて、前記非ゼロエントリの前記対応する行アドレスに応答して前記非ゼロエントリを処理するために、前記単一命令複数データエンジンのうちの１つおよび前記出力レジスタのうちの対応する１つを識別することと、
前記識別された単一命令複数データエンジンおよび対応する出力レジスタに基づいて前記非ゼロエントリをソートし、これによって複数の第１のオペランド値を作成することであって、前記第１のオペランド値の各々は、各々が異なる識別された単一命令複数データエンジンと対応する前記出力レジスタとを有する複数の前記非ゼロエントリを含む、該作成することと、
乗算演算を実行するために、前記第１のオペランド値を前記単一命令複数データエンジンにルーティングすることであって、前記ルーティングにより、前記第１のオペランド値に含まれる前記非ゼロエントリの各々が、前記識別された単一命令複数データエンジンに提供される、該ルーティングすることと、を実行することによって、第１の行列および第２の行列の行列乗算を実行するように構成された、コンピュータシステム。
【請求項14】
前記識別された非ゼロエントリの各非ゼロエントリについて、前記非ゼロエントリの前記対応する列アドレスに応答して、前記第２の行列内のエントリの行を識別することと、
乗算演算を実行するために、識別された前記エントリの行を前記単一命令複数データエンジンにルーティングすることであって、前記単一命令複数データエンジンの前記各々は、前記非ゼロエントリをその識別されたエントリの行を用いて乗算する、該ルーティングすることと、を実行するように構成された、請求項１３に記載のコンピュータシステム。
【請求項15】
前記識別された非ゼロエントリの各非ゼロエントリについて、前記非ゼロエントリの前記対応する行アドレスに応答して、前記出力レジスタのうちの前記対応する１つ内の行を識別することと、
前記出力レジスタの識別された前記行にアクセスすることによって、累積演算を実行することと、を実行するように構成された、請求項１３に記載のコンピュータシステム。
【請求項16】
前記第１の行列の各行は、機械学習システムにおける重みベクトルを表し、前記第２の行列の各列は、前記機械学習システムにおける活性化ベクトルを表す、請求項１３に記載のコンピュータシステム。
【請求項17】
前記第１の行列のゼロエントリを無視することを実行するように構成された、請求項１３に記載のコンピュータシステム。
【請求項18】
前記行列乗算の各ドット積に前記出力レジスタ内の一意のエントリを割り当てることを実行するように構成された、請求項１３に記載のコンピュータシステム。
【請求項19】
前記単一命令複数データエンジンの各々が前記非ゼロエントリのうちの１つの複数の複製を受信するように、前記第１のオペランド値を前記単一命令複数データエンジンにルーティングすることを実行するように構成された、請求項１３に記載のコンピュータシステム。
【請求項20】
前記出力レジスタの識別された前記行の各々を独立してアドレス指定することを実行するように構成された、請求項１５に記載のコンピュータシステム。
【請求項21】
前記第１の行列の前記エントリの８分の１以下が非ゼロエントリである、請求項１３に記載のコンピュータシステム。
【請求項22】
前記非ゼロエントリの前記対応する行アドレスに応答して前記非ゼロエントリを処理するために、前記単一命令複数データエンジンのうちの１つおよび前記出力レジスタのうちの対応する１つを識別することが、前記第１の行列内の前記非ゼロエントリの前記行アドレスを前記数Ｎで除算することと、その後、前記単一命令複数データエンジンのうちの１つおよび前記出力レジスタのうちの前記対応する１つを識別するために、この除算演算の余りを使用することと、を含む、請求項１３に記載のコンピュータシステム。
【請求項23】
前記非ゼロエントリの前記対応する行アドレスに応答して、前記出力レジスタのうちの前記対応する１つ内の行を識別することは、前記第１の行列内の前記非ゼロ値の前記行アドレスを前記数Ｎで除算することと、余りを無視することと、を含む、請求項１５に記載のコンピュータシステム。
【請求項24】
前記非ゼロエントリの前記対応する列アドレスに応答して、前記第２の行列内のエントリの行を識別することは、前記非ゼロエントリの前記対応する列アドレスに等しい行アドレスを有する前記２の行列のエントリの行を識別することを含む、請求項１４に記載のコンピュータシステム。
【国際調査報告】