特表 2022-507825 行列の空間局所性変換

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-18

(54)【発明の名称】行列の空間局所性変換

(51)【国際特許分類】

   G06F 17/10 20060101AFI20220111BHJP

【ＦＩ】

G06F17/10 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021527941

(86)(22)【出願日】2019-11-19

(85)【翻訳文提出日】2021-05-19

(86)【国際出願番号】 US2019062303

(87)【国際公開番号】W WO2020106781

(87)【国際公開日】2020-05-28

(31)【優先権主張番号】62/769,444

(32)【優先日】2018-11-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/686,864

(32)【優先日】2019-11-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/686,858

(32)【優先日】2019-11-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/686,870

(32)【優先日】2019-11-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/686,866

(32)【優先日】2019-11-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518286459

【氏名又は名称】グロック，インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ジョナサン アレキサンダー ロス

(72)【発明者】

【氏名】トーマス ホーキンス

(72)【発明者】

【氏名】グレゴリー マイケル ソーソン

(72)【発明者】

【氏名】マット ボイド

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056BB26

(57)【要約】

方法は、カーネルを用いて畳み込まれる入力テンソルのカーネルサイズのタイルの入力値のセットを表す平行なベクトルのセットを含む平滑化された入力ストリームにアクセスするステップを備える。拡張カーネルは、カーネルからの値を置換することによって生成され、受け取られる。制御パターンは、出力のカーネルサイズのタイルについて各々が出力値位置に対応し、入力値にアクセスするための、平滑化された入力ストリームのベクトルを示すベクトルのセットを含み、受け取られる。本方法は、出力の各カーネルサイズのタイルの各出力位置について、平滑化された入力ストリームの値を含む第１のベクトルと、出力値位置に対応する拡張カーネルにおけるベクトルに対応する第２のベクトルとのドット積を生成するステップをさらに備える。

【特許請求の範囲】

【請求項1】

カーネルを用いた畳み込みのための入力テンソルを受け取るステップと、
前記入力テンソルを１つまたは複数のタイルに分割するステップであって、各タイルは、前記カーネルに等しいサイズを有する、ステップと、
前記１つまたは複数のタイルの値をベクトルに平滑化して、前記平滑化された入力ストリームを生成するステップと
を備える、方法。

【請求項2】

前記カーネルを使用する前記入力テンソルの前記畳み込みの出力が、前記入力テンソルと同じサイズを有するように、前記入力テンソルをパディング値によりパディングするステップ
をさらに備える請求項１に記載の方法。

【請求項3】

前記入力テンソルの各次元のサイズが、前記カーネルの対応する次元の整数倍数となるように、前記入力テンソルをパディング値によりパディングするステップ
をさらに備える請求項１に記載の方法。

【請求項4】

前記入力テンソルの各次元のトレーリングエッジを、対応する次元における前記カーネルのサイズに等しい幅を有するパディング値によりパディングするステップ
をさらに備える請求項１に記載の方法。

【請求項5】

前記パディング値は、０の値である請求項４に記載の方法。

【請求項6】

前記カーネルの第１の辺と第２の辺とは垂直であり、前記第１の辺は、前記第２の辺とは異なる長さであり、前記方法は、
前記入力テンソルにわたる前記カーネルのストライドの方向にアラインされた順序で、前記入力テンソルを分割するステップ
をさらに備える請求項１に記載の方法。

【請求項7】

前記カーネルの第１の辺と第２の辺とは垂直であり、前記第１の辺は、前記第２の辺とは異なる長さであり、前記方法は、
前記入力テンソルにわたる前記カーネルのストライドの方向と直交する順序で、前記入力テンソルを分割するステップ
をさらに備える請求項１に記載の方法。

【請求項8】

１つまたは複数のタイルの値を平滑化するステップは、
前記入力テンソルの前記１つまたは複数のタイルの各々について、
前記タイルの値に、定義された順序でアクセスするステップと、
前記定義された順序に従って、ベクトル内に前記値を配置するステップと、
前記１つまたは複数のタイルの各々に対応する前記１つまたは複数のベクトルを平行な構成で配置して、前記平滑化された入力ストリームを生成するステップと
をさらに含む請求項１に記載の方法。

【請求項9】

前記定義された順序は、行優先順序、列優先順序、およびアイル優先順序のうちの少なくとも１つであり、前記アイル優先順序は、３次元（３Ｄ）タイル内の要素に、まず、前記３Ｄタイルの深さに対応する軸に沿ってアクセスし、続いて、前記３Ｄタイルの幅および高さに対応する軸に沿って、アクセスする、
請求項１に記載の方法。

【請求項10】

前記平滑化された入力ストリームは、バッファに記憶され、前記バッファは、ハードウェアアクセラレーテッドプロセッサによって読み取られて、１）制御パターンによって選択される、前記平滑化された入力ストリーム内の値と、２）前記カーネルの拡張とを用いて乗加算演算が実行されて、前記入力テンソルの値を前記バッファ内へ複数回ロードすることなく、畳み込み演算の出力が生成される、
請求項１に記載の方法。

【請求項11】

前記入力テンソルは、複数のチャネルを有し、前記カーネルは、複数のフィルタを有し、入力チャネルは、各カーネルフィルタを用いて畳み込まれて、複数の出力チャネルを有する出力が生成される、
請求項１に記載の方法。

【請求項12】

システムであって、
プロセッサを備え、前記プロセッサは、
カーネルを用いた畳み込みのための入力テンソルを受け取ることと、
前記入力テンソルを１つまたは複数のタイルに分割することであって、各タイルは、前記カーネルに等しいサイズを有することと、
前記１つまたは複数のタイルの値をベクトルに平滑化して、前記平滑化された入力ストリームを生成することと
を行うように構成される入力ストリーム生成器を含む、
システム。

【請求項13】

前記入力ストリーム生成器は、
前記カーネルを使用する前記入力テンソルの前記畳み込みの出力が、前記入力テンソルと同じサイズを有するように、前記入力テンソルをパディング値によりパディングすること
を行うようにさらに構成される請求項１２に記載のシステム。

【請求項14】

前記入力ストリーム生成器は、
前記入力テンソルの各次元のサイズが、前記カーネルの対応する次元の整数倍数となるように、前記入力テンソルをパディング値によりパディングすること
を行うようにさらに構成される請求項１２に記載のシステム。

【請求項15】

前記入力ストリーム生成器は、
前記入力テンソルの各次元のトレーリングエッジを、対応する次元における前記カーネルのサイズに等しい幅を有するパディング値によりパディングすること
を行うようにさらに構成される請求項１２に記載のシステム。

【請求項16】

前記パディング値は、０の値である、
請求項１５に記載のシステム。

【請求項17】

前記カーネルの第１の辺と第２の辺とは垂直であり、前記第１の辺は、前記第２の辺とは異なる長さであり、前記入力ストリーム生成器は、
前記入力テンソルにわたる前記カーネルのストライドの方向にアラインされた順序で、前記入力テンソルを分割すること
を行うようにさらに構成される請求項１２に記載のシステム。

【請求項18】

前記カーネルの第１の辺と第２の辺とは垂直であり、前記第１の辺は、前記第２の辺とは異なる長さであり、前記入力ストリーム生成器は、
前記入力テンソルにわたる前記カーネルのストライドの方向と直交する順序で、前記入力テンソルを分割すること
を行うようにさらに構成される請求項１２に記載のシステム。

【請求項19】

前記入力ストリーム生成器は、
前記入力テンソルの前記１つまたは複数のタイルの各々について、
前記タイルの値に、定義された順序でアクセスすることと、
前記定義された順序に従って、ベクトル内に前記値を配置することと、
前記１つまたは複数のタイルの各々に対応する前記１つまたは複数のベクトルを平行な構成で配置して、前記平滑化された入力ストリームを生成することと
を行うようにさらに構成される請求項１２に記載のシステム。

【請求項20】

前記定義された順序は、行優先順序、列優先順序、およびアイル優先順序のうちの少なくとも１つであり、前記アイル優先順序は、３次元（３Ｄ）タイル内の要素に、まず、前記３Ｄタイルの深さに対応する軸に沿ってアクセスし、続いて、前記３Ｄタイルの幅および高さに対応する軸に沿って、アクセスする、
請求項１２に記載のシステム。

【請求項21】

入力テンソルとの畳み込みのために使用されるカーネルを受け取るステップと、
前記カーネルの第１の次元について、前記カーネルの単一次元ベクトルごとに、その単一次元ベクトルのすべてのローテーションを含む、値の正方形ブロック（巡回行列）を生成するステップと、
前記カーネルの付加的な次元ごとに、
直前の次元のブロックをブロックのセットにグループ化するステップであって、ブロックの各セットは、前記次元の軸に平行なベクトルに沿ってアラインされる前記直前の次元のブロックを含む、ステップと、
前記付加的な次元について、値の１つまたは複数のブロックを生成するステップであって、各ブロックは、前記直前の次元のブロックの前記セットの各々内のブロックのすべてのローテーションを含む、ステップと、
前記カーネルの前記付加的な次元における最後の次元に対応する値の前記ブロックを、拡張カーネルとして出力するステップと
を備える、
方法。

【請求項22】

前記カーネルは、１次元（１Ｄ）行列であり、前記拡張カーネルは、複数の平行なベクトルを含み、前記複数の平行なベクトルの各ベクトルは、前記カーネルの異なる回転置換であり、前記拡張カーネルは、各次元のサイズが前記カーネルのサイズに等しい正方行列である、
請求項２１に記載の方法。

【請求項23】

前記カーネルは、２次元（２Ｄ）行列であり、前記拡張カーネルは、
第１のベクトルのセットを含み、各第１のベクトルは、ブロックのグループ内のブロックの回転置換を有し、ブロックの前記グループの各ブロックは、前記カーネル内のベクトル（カーネルベクトル）に対応し、
各ブロックは、対応する前記カーネルベクトルのすべての回転置換を表す、第２のベクトルのセットを有し、各第２のベクトルは、対応する前記カーネルベクトルの１つの回転置換を表し、
第１のベクトルの前記セットは、ブロックの前記グループの前記ブロックのすべての回転置換を含む、
請求項２１に記載の方法。

【請求項24】

前記カーネルは、３次元（３Ｄ）行列であり、前記拡張カーネルは、
第１のベクトルのセットであって、各第１のベクトルは、第１のブロックのグループ内の第１のブロックの回転置換を有する、第１のベクトルのセット
を含み、
第１のブロックの前記グループの各第１のブロックは、第２のベクトルのセットの第２のベクトルに対応し、各第２のベクトルは、第２のブロックのグループの第２のブロックに対応し、
第２のブロックの前記グループの各第２のブロックは、前記カーネル内のベクトル（カーネルベクトル）に対応し、
各第２のブロックは、その第２のブロックの対応する前記カーネルベクトルのすべての回転置換を表す、第３のベクトルのセットを有し、各第３のベクトルは、対応する前記カーネルベクトルの１つの回転置換を表し、
第２のベクトルの各セットは、第２のブロックの対応する前記グループ内の第２のブロックのすべての回転置換を含み、第１のベクトルの前記セットは、第１のブロックの前記グループの第１のブロックのすべての回転置換を含む、
請求項２１に記載の方法。

【請求項25】

各単一次元ベクトルは、前記カーネルの行、前記カーネルの列、前記カーネルの対角線、および前記カーネルのアイルのうちの少なくとも１つである一意のベクトルであり、カーネルのアイルは、前記カーネルの深さ（第３の次元）に対応する軸に沿ってアラインされる前記カーネルのベクトルである、
請求項２１に記載の方法。

【請求項26】

前記カーネルは、多様なカーネルフィルタを含み、前記方法は、
複数の拡張カーネルを生成するステップであって、前記複数の拡張カーネルの各拡張カーネルは、前記カーネルのカーネルフィルタから生成され、前記カーネルの各カーネルフィルタは、カーネルを含む、ステップ
をさらに備える請求項２１に記載の方法。

【請求項27】

前記複数の拡張カーネルの各拡張カーネルは、平滑化された入力ストリームの１つまたは複数のチャネルを畳み込むために使用され、前記平滑化された入力ストリームは、入力テンソルの平滑化されたバージョンである、
請求項２６に記載の方法。

【請求項28】

１つまたは複数のチャネルを有する入力テンソルに対する前記カーネルの畳み込みの出力は、多様な出力を生成し、前記多様な出力の各々は、単一の出力アクティベーションへと組み合わされる、
請求項２１に記載の方法。

【請求項29】

バッファからの平滑化された入力ストリームにアクセスするステップであって、前記平滑化された入力ストリームは、入力テンソルの修正されたバージョンであり、前記平滑化された入力ストリームは、前記入力テンソルの対応するカーネルサイズのタイルからの入力値を使用して各々生成された、平滑化された平行なベクトルを有する、ステップと、
制御パターンにアクセスするステップであって、前記制御パターンは、前記入力テンソルの目標カーネルサイズのタイルの出力値位置ごとに、前記バッファ内の前記平滑化された入力ストリームの特定されたタイルにアクセスする遅延の量を示す遅延値を有する、ステップと、
前記入力テンソルの前記目標カーネルサイズのタイルの出力値位置ごとに、ハードウェアアクセラレーテッドプロセッサを介して、前記拡張カーネルの対応するベクトルと、前記出力値位置について選択される前記制御パターンからの対応する遅延値のセットを使用して、前記平滑化された入力ストリームから選択される値のベクトルとのドット積を実行して、前記出力値位置についての出力値を生成する、ステップと
をさらに備える請求項２１に記載の方法。

【請求項30】

前記拡張カーネルは、前記拡張カーネルを生成するために使用される対応する前記カーネルの次元のサイズの積に等しい長さを有する、２次元の正方行列である、
請求項２１に記載の方法。

【請求項31】

システムであって、
プロセッサを備え、前記プロセッサは、
入力テンソルを用いた畳み込みのために使用されるカーネルを受け取ることと、
前記カーネルの第１の次元について、前記カーネルの単一次元ベクトルごとに、その単一次元ベクトルのすべてのローテーションを含む、値の正方形ブロック（巡回行列）を生成することと、
前記カーネルの付加的な次元ごとに、
直前の次元のブロックをブロックのセットにグループ化することであって、ブロックの各セットは、前記次元の軸に平行なベクトルに沿ってアラインされる前記直前の次元のブロックを含む、グループ化することと、
前記付加的な次元について、値の１つまたは複数のブロックを生成することであって、各ブロックは、前記直前の次元のブロックの前記セットの各々内のブロックのすべてのローテーションを含む、生成することと、
前記カーネルの前記付加的な次元における最後の次元に対応する値の前記ブロックを、拡張カーネルとして出力することと
を行うように構成される拡張カーネル生成器を有する、
システム。

【請求項32】

前記カーネルは、１次元（１Ｄ）行列であり、前記拡張カーネルは、複数の平行なベクトルを含み、前記複数の平行なベクトルの各ベクトルは、前記カーネルの異なる回転置換であり、前記拡張カーネルは、各次元のサイズが前記カーネルのサイズに等しい正方行列である、
請求項３１に記載のシステム。

【請求項33】

前記カーネルは、２次元（２Ｄ）行列であり、前記拡張カーネルは、
第１のベクトルのセットを含み、各第１のベクトルは、ブロックのグループ内のブロックの回転置換を有し、ブロックの前記グループの各ブロックは、前記カーネル内のベクトル（カーネルベクトル）に対応し、
各ブロックは、対応する前記カーネルベクトルのすべての回転置換を表す、第２のベクトルのセットを有し、各第２のベクトルは、対応する前記カーネルベクトルの１つの回転置換を表し、
第１のベクトルの前記セットは、ブロックの前記グループの前記ブロックのすべての回転置換を含む、
請求項３１に記載のシステム。

【請求項34】

前記カーネルは、３次元（３Ｄ）行列であり、前記拡張カーネルは、
第１のベクトルのセットであって、各第１のベクトルは、第１のブロックのグループ内の第１のブロックの回転置換を有する、第１のベクトルのセットを含み、
第１のブロックの前記グループの各第１のブロックは、第２のベクトルのセットの第２のベクトルに対応し、各第２のベクトルは、第２のブロックのグループの第２のブロックに対応し、
第２のブロックの前記グループの各第２のブロックは、前記カーネル内のベクトル（カーネルベクトル）に対応し、
各第２のブロックは、その第２のブロックの対応する前記カーネルベクトルのすべての回転置換を表す、第３のベクトルのセットを有し、各第３のベクトルは、対応する前記カーネルベクトルの１つの回転置換を表し、
第２のベクトルの各セットは、第２のブロックの対応する前記グループ内の第２のブロックのすべての回転置換を含み、第１のベクトルの前記セットは、第１のブロックの前記グループの第１のブロックのすべての回転置換を含む、
請求項３１に記載のシステム。

【請求項35】

各単一次元ベクトルは、前記カーネルの行、前記カーネルの列、前記カーネルの対角線、および前記カーネルのアイルのうちの少なくとも１つである一意のベクトルであり、カーネルのアイルは、前記カーネルの深さ（第３の次元）に対応する軸に沿ってアラインされる前記カーネルのベクトルである、
請求項３１に記載のシステム。

【請求項36】

前記カーネルは、多様なカーネルフィルタを含み、前記拡張カーネル生成器は、
複数の拡張カーネルを生成することであって、前記複数の拡張カーネルの各拡張カーネルは、前記カーネルのカーネルフィルタから生成され、前記カーネルの各カーネルフィルタは、カーネルを含む、生成すること
を行うようにさらに構成される、
請求項３１に記載のシステム。

【請求項37】

前記複数の拡張カーネルの各拡張カーネルは、平滑化された入力ストリームの１つまたは複数のチャネルを畳み込むために使用され、前記平滑化された入力ストリームは、入力テンソルの平滑化されたバージョンである、
請求項３６に記載のシステム。

【請求項38】

１つまたは複数のチャネルを有する入力テンソルに対する前記カーネルの畳み込みの出力は、多様な出力を生成し、前記多様な出力の各々は、単一の出力アクティベーションへと組み合わされる、
請求項３１に記載のシステム。

【請求項39】

前記拡張カーネル生成器は、
バッファからの平滑化された入力ストリームにアクセスすることであって、前記平滑化された入力ストリームは、入力テンソルの修正されたバージョンであり、前記平滑化された入力ストリームは、前記入力テンソルの対応するカーネルサイズのタイルからの入力値を使用して各々生成された、平滑化された平行なベクトルを有する、アクセスすることと、
制御パターンにアクセスすることであって、前記制御パターンは、前記入力テンソルの目標カーネルサイズのタイルの出力値位置ごとに、前記バッファ内の前記平滑化された入力ストリームの特定されたタイルにアクセスする遅延の量を示す遅延値を有する、アクセスすることと、
前記入力テンソルの前記目標カーネルサイズのタイルの出力値位置ごとに、前記プロセッサを介して、前記拡張カーネルの対応するベクトルと、前記出力値位置について選択される前記制御パターンからの対応する遅延値のセットを使用して、前記平滑化された入力ストリームから選択される値のベクトルとのドット積を実行して、前記出力値位置についての出力値を生成することと
を行うようにさらに構成される、
請求項３１に記載のシステム。

【請求項40】

前記拡張カーネルは、前記拡張カーネルを生成するために使用される対応する前記カーネルの次元のサイズの積に等しい長さを有する、２次元の正方行列である、
請求項３１に記載のシステム。

【請求項41】

入力テンソルを用いて畳み込まれるカーネルの次元の各々について、１つまたは複数のサイズを受け取って、出力アクティベーションを生成するステップと、
前記入力テンソルの畳み込みについての出力値を計算するための制御パターンを生成するステップであって、前記制御パターンは、各次元が前記カーネルの幅と高さとの積に等しいサイズである正方行列であり、前記制御パターンは、
前記制御パターンの位置ごとに、前記制御パターン内の前記位置のロケーションと、前記カーネルの次元の各々の１つまたは複数のサイズとに基づく値を生成することであって、前記値は、前記カーネルを用いた前記畳み込みのために平滑化された入力テンソルからの値にアクセスするロケーションを示すことよって生成される、ステップと
を備える、方法。

【請求項42】

前記制御パターンの各位置は、行番号および列番号を有し、前記制御パターンの各位置についての前記値の前記生成は、
前記カーネルの次元ごとに、前記行番号、前記列番号、および前記カーネルの前記次元の各々の前記１つまたは複数のサイズに基づいたテストの結果を決定するステップであって、各テストは、前記平滑化された入力ストリームからの値にアクセスする相対的オフセットの量を示すバイナリ出力を生成し、前記平滑化された入力ストリームは、前記入力テンソルのカーネルサイズのタイルを平滑化することによって前記入力テンソルから生成される、ステップと、
前記カーネルの各次元についての前記テストの前記バイナリ出力の組み合わせである、前記制御パターンのその位置についての前記値を生成するステップと
をさらに含む請求項４１に記載の方法。

【請求項43】

各テストは、前記位置の前記行番号を使用する第１のモジュロ計算と、前記位置の前記列番号を使用する第２のモジュロ計算とを比較する不等式テストである、
請求項４２に記載の方法。

【請求項44】

前記第１のモジュロ計算は、前記行番号とカーネルの次元の各々についての１つまたは複数のサイズとの間のモジュロであり、前記第２のモジュロ計算は、前記列番号とカーネルの次元の各々についての１つまたは複数のサイズとの間のモジュロである、
請求項４３に記載の方法。

【請求項45】

前記カーネルは、２次元カーネルであり、各次元に対応する前記テストの第１のテストは、
ｒ ｍｏｄ ｈ＜ｃ ｍｏｄ ｗであり、
各次元に対応する前記テストの第２のテストは、
ｆｌｏｏｒ（（ｒ ｍｏｄ（ｈ＊ｗ））／ｈ）＜ｆｌｏｏｒ（（ｃ ｍｏｄ（ｈ＊ｗ））／ｗ）であり、
ｒは前記行番号であり、ｃは前記列番号であり、ｈは前記カーネルの前記高さであり、ｗは前記カーネルの前記幅である、
請求項４４に記載の方法。

【請求項46】

前記制御パターンは、複数のベクトルを含み、前記複数のベクトルのベクトルの数は、前記出力アクティベーションのカーネルサイズのタイル内の出力値位置の数に対応する、
請求項４１に記載の方法。

【請求項47】

前記複数のベクトルの各ベクトル内の値は、遅延値に対応し、各遅延値は、平滑化された入力ストリーム内の個々の入力値にアクセスする遅延の量を示し、前記平滑化された入力ストリームは、入力テンソルから生成される平行なベクトルのセットを含み、前記遅延の量は、前記平滑化された入力ストリームの内の前記平行なベクトルのうちの１つを特定する、
請求項４６に記載の方法。

【請求項48】

前記遅延値は、前記出力アクティベーションのカーネルサイズのタイルの出力値位置ごとに、生成される出力値に対応する前記出力値位置について、その出力値位置に対応する前記制御パターン内のベクトルを選択することと、
前記制御パターンの選択された前記ベクトル内の前記遅延値にアクセスすることであって、各遅延値は、前記出力値を生成するために使用される各入力値にアクセスする前記平滑化された入力ストリームの内の平行なベクトルを示し、アクセスすることと、
アクセスされた前記入力値と拡張カーネルのベクトルとの間でドット積を実行して、前記出力アクティベーションの前記カーネルサイズのタイル内の前記出力値位置における前記出力値を生成することと
によって、前記出力値を生成するために使用される、
請求項４７に記載の方法。

【請求項49】

前記拡張カーネルは、階層的ブロックのセットを含むように前記カーネルを修正することによって生成され、階層的ブロックの前記セット内の各ブロックは、そのブロックのノードであるブロックのすべての回転置換を含み、階層的ブロックの前記セットのリーフは、前記カーネルの個々のベクトルのすべての回転置換を含むブロックであり、階層的ブロックの前記セット内の各ブロックは、前記カーネル内のそのブロックによって表される次元の軸に平行なベクトルにアラインされるブロックであるノードを有する、
請求項４８に記載の方法。

【請求項50】

前記制御パターンは、入力テンソルを畳み込むために使用される、対応するカーネルの次元のサイズの積に等しい長さを有する２次元の正方行列である、
請求項４１に記載の方法。

【請求項51】

前記制御パターンにおける遅延値が配置される順序は、平滑化された入力ストリームを生成するために前記入力テンソルのカーネルサイズのタイルがアクセスされる定義された順序に基づく、
請求項４１に記載の方法。

【請求項52】

前記定義された順序は、行優先順序、列優先順序、およびアイル優先順序のうちの少なくとも１つであり、前記アイル優先順序は、前記入力テンソルの３次元（３Ｄ）のカーネルサイズのタイル内の要素に、まず、前記３Ｄ）タイルの深さに対応する軸に沿ってアクセスし、続いて、前記３Ｄタイルの幅および高さに対応する軸に沿って、アクセスする、
請求項４１に記載の方法。

【請求項53】

システムであって、
プロセッサを備え、前記プロセッサは、
入力テンソルを用いて畳み込まれるカーネルの次元の各々について、１つまたは複数のサイズを受け取って、出力アクティベーションを生成することと、
前記入力テンソルの畳み込みのための出力値を計算するために使用される制御パターンを生成することであって、前記制御パターンは、各次元が前記カーネル幅と高さとの積に等しいサイズである正方行列であり、前記制御パターンは、
前記制御パターンの位置ごとに、前記制御パターン内の前記位置のロケーションと、前記カーネルの次元の各々の１つまたは複数のサイズとに基づく値を生成することであって、前記値は、前記カーネルを用いた前記畳み込みのために平滑化された入力テンソルからの値にアクセスするロケーションを示すこと
によって生成され、制御パターンを生成することと
を行うように構成される制御パターン生成器を有する、
システム。

【請求項54】

前記制御パターンの各位置は、行番号および列番号を有し、前記制御パターン生成器は、
前記カーネルの次元ごとに、前記行番号、前記列番号、および前記カーネルの次元の各々の１つまたは複数のサイズに基づいたテストの結果を決定することであって、各テストは、前記平滑化された入力ストリームからの値にアクセスする相対的オフセットの量を示すバイナリ出力を生成し、前記平滑化された入力ストリームは、前記入力テンソルのカーネルサイズのタイルを平滑化することによって前記入力テンソルから生成され、決定することと、
前記制御パターンのその位置についての値を、前記カーネルの各次元についての前記テストの前記バイナリ出力の組み合わせとして生成することと
を行うようにさらに構成される、
請求項５３に記載のシステム。

【請求項55】

各テストは、前記位置の前記行番号を使用する第１のモジュロ計算と、前記位置の前記列番号を使用する第２のモジュロ計算とを比較する不等式テストである、
請求項５４に記載のシステム。

【請求項56】

前記第１のモジュロ計算は、前記行番号とカーネルの次元の各々についての１つまたは複数のサイズとの間のモジュロであり、前記第２のモジュロ計算は、前記列番号とカーネルの次元の各々についての１つまたは複数のサイズとの間のモジュロである、
請求項５５に記載のシステム。

【請求項57】

前記カーネルは、２次元カーネルであり、各次元に対応する前記テストの第１のテストは、
ｒ ｍｏｄ ｈ＜ｃ ｍｏｄ ｗであり、
各次元に対応する前記テストの第２のテストは、
ｆｌｏｏｒ（（ｒ ｍｏｄ（ｈ＊ｗ））／ｈ）＜ｆｌｏｏｒ（（ｃ ｍｏｄ（ｈ＊ｗ））／ｗ）であり、
ｒは前記行番号であり、ｃは前記列番号であり、ｈは前記カーネルの前記高さであり、ｗは前記カーネルの前記幅である、
請求項５６に記載のシステム。

【請求項58】

前記制御パターンは、複数のベクトルを含み、前記複数のベクトルのベクトルの数は、前記出力アクティベーションのカーネルサイズのタイル内の出力値位置の数に対応する、
請求項５３に記載のシステム。

【請求項59】

前記複数のベクトルの各ベクトル内の値は、遅延値に対応し、各遅延値は、平滑化された入力ストリーム内の個々の入力値にアクセスする遅延の量を示し、前記平滑化された入力ストリームは、入力テンソルから生成される平行なベクトルのセットを含み、前記遅延の量は、前記平滑化された入力ストリームの内の前記平行なベクトルのうちの１つを特定する、
請求項５８に記載のシステム。

【請求項60】

前記遅延値は、前記出力アクティベーションのカーネルサイズのタイルの出力値位置ごとに、
生成される出力値に対応する前記出力値位置について、その出力値位置に対応する前記制御パターン内のベクトルを選択することと、
前記制御パターンの選択された前記ベクトル内の前記遅延値にアクセスすることであって、各遅延値は、前記出力値を生成するために使用される各入力値にアクセスする前記平滑化された入力ストリームの内の平行なベクトルを示し、アクセスすることと、
アクセスされた前記入力値と拡張カーネルのベクトルとの間でドット積を実行して、前記出力アクティベーションの前記カーネルサイズのタイル内の前記出力値位置における前記出力値を生成することと
によって、前記出力値を生成するために使用される請求項５９に記載のシステム。

【請求項61】

バッファから、平行なベクトルのセットを含む平滑化された入力ストリームにアクセスするステップであって、各ベクトルは、出力アクティベーションを生成するためにカーネルを用いて畳み込まれる入力テンソルの一意のカーネルサイズのタイルの入力値のセットを表す、ステップと、
前記カーネルからの値を置換することによって生成される拡張カーネルを受け取るステップであって、前記拡張カーネルは、各々が前記出力アクティベーションのカーネルサイズのタイルの出力値位置に対応するベクトルを有する、ステップと、
ベクトルのセットを含む制御パターンを受け取るステップであって、各ベクトルは、前記出力アクティベーションの前記カーネルサイズのタイルについての前記出力値位置に対応し、各ベクトルは、畳み込みのために入力値にアクセスするための、前記平滑化された入力ストリームの平行なベクトルを示す遅延値を含む、ステップと、
ハードウェアアクセラレーテッドプロセッサを使用して、前記出力アクティベーションの各カーネルサイズのタイルの出力値位置ごとに、前記制御パターンの対応する前記ベクトルの前記遅延値によって選択される、前記平滑化された入力ストリームの値を含む第１のベクトルと、前記出力値位置に対応する前記拡張カーネルにおけるベクトルに対応する第２のベクトルとのドット積を生成するステップと
を備える、方法。

【請求項62】

前記入力テンソルは、複数のチャネルを有し、前記カーネルは、複数のフィルタを有し、前記入力テンソルの各チャネルは、前記カーネルの１つまたは複数のフィルタを用いて畳み込まれて、複数の出力フィーチャを有する出力アクティベーションが生成される、
請求項６１に記載の方法。

【請求項63】

前記入力テンソルの畳み込みの出力の値の位置が、前記入力テンソル内の値のすべての位置にマッチングする位置を有するように、および、前記畳み込みの前記出力のサイズが、前記入力テンソルのサイズとマッチングするように、前記入力テンソルをパディング値によりパディングするステップ
をさらに含む請求項６１に記載の方法。

【請求項64】

前記入力テンソルの各次元のサイズが、前記カーネルの対応する次元の整数倍数となるように、前記入力テンソルをパディング値によりパディングするステップ
をさらに含む請求項６１に記載の方法。

【請求項65】

前記入力テンソルの各次元のトレーリングエッジを、対応する次元における前記カーネルのサイズに等しい幅を有するパディング値によりパディングするステップ
をさらに含む請求項６１に記載の方法。

【請求項66】

平滑化された入力ストリームは、
前記入力テンソルの１つまたは複数のカーネルサイズのタイルの各々について、
前記タイルの値に、定義された順序でアクセスするステップと、
前記定義された順序に従って、ベクトル内に前記値を配置するステップと、
前記１つまたは複数のタイルの各々に対応する前記１つまたは複数のベクトルを平行な構成で配置して、前記平滑化された入力ストリームの平行なベクトルを生成するステップとによって生成される、
請求項６１に記載の方法。

【請求項67】

前記定義された順序は、行優先順序、列優先順序、およびアイル優先順序のうちの少なくとも１つであり、前記アイル優先順序は、３次元（３Ｄ）タイル内の要素に、まず、前記３Ｄタイルの深さに対応する軸に沿ってアクセスし、続いて、前記３Ｄタイルの幅および高さに対応する軸に沿って、アクセスする、
請求項６６に記載の方法。

【請求項68】

前記拡張カーネルは、
前記カーネルの第１の次元について、前記カーネルの単一次元ベクトルごとに、その単一次元ベクトルのすべてのローテーションを含む、値の正方形ブロック（巡回行列）を生成するステップと、
前記カーネルの付加的な次元ごとに、
直前の次元のブロックをブロックのセットにグループ化するステップであって、ブロックの各セットは、前記次元の軸に平行なベクトルに沿ってアラインされる前記直前の次元のブロックを含む、ステップと、
前記付加的な次元について、値の１つまたは複数のブロックを生成するステップであって、各ブロックは、前記直前の次元のブロックの前記セットの各々内のブロックのすべてのローテーションを含む、ステップと、
前記カーネルの前記付加的な次元における最後の次元に対応する値の前記ブロックを、前記拡張カーネルとして出力するステップと
によって形成される、
請求項６１に記載の方法。

【請求項69】

各単一次元ベクトルは、前記カーネルの行、前記カーネルの列、前記カーネルの対角線、および前記カーネルのアイルのうちの少なくとも１つである一意のベクトルであり、カーネルのアイルは、前記カーネルの深さ（第３の次元）に対応する軸に沿ってアラインされる前記カーネルのベクトルである、
請求項６８に記載の方法。

【請求項70】

前記制御パターンは、複数のベクトルを含み、前記複数のベクトルのベクトルの数は、前記出力アクティベーションのカーネルサイズのタイル内の出力値位置の数に対応する、
請求項６１に記載の方法。

【請求項71】

前記複数のベクトルの各ベクトル内の値は、遅延値に対応し、各遅延値は、平滑化された入力ストリーム内の個々の入力値にアクセスする遅延の量を示し、前記平滑化された入力ストリームは、入力テンソルから生成される平行なベクトルのセットを含み、前記遅延値は、前記平滑化された入力ストリームの内の前記平行なベクトルのうちの１つを特定する、
請求項７０に記載の方法。

【請求項72】

前記複数のベクトルの各ベクトル内の値は、相対的アドレス値に対応し、各相対的アドレス値は、平滑化された入力ストリーム内の個々の入力値にアクセスするためのロケーションの表示であり、前記平滑化された入力ストリームは、入力テンソルから生成される平行なベクトルのセットを含み、前記相対的アドレス値は、前記平滑化された入力ストリームの内の前記平行なベクトルのうちの１つを特定する、
請求項７０に記載の方法。

【請求項73】

システムであって、
プロセッサと、乗算累積ユニットであって、
バッファから、平行なベクトルのセットを含む平滑化された入力ストリームにアクセスすることであって、各ベクトルは、出力アクティベーションを生成するためにカーネルを用いて畳み込まれる入力テンソルの一意のカーネルサイズのタイルの入力値のセットを表し、アクセスすること、
前記カーネルからの値を置換することによって生成される拡張カーネルを受け取ることであって、前記拡張カーネルは、各々が前記出力アクティベーションのカーネルサイズのタイルの出力値位置に対応するベクトルを有し、受け取ることと、
ベクトルのセットを含む制御パターンを受け取ることであって、各ベクトルは、前記出力アクティベーションの前記カーネルサイズのタイルについての前記出力値位置に対応し、各ベクトルは、畳み込みのために入力値にアクセスするために、前記平滑化された入力ストリームの平行なベクトルを示す遅延値を含み、受け取ることと、
前記出力アクティベーションの各カーネルサイズのタイルの出力値位置ごとに、前記制御パターンの対応する前記ベクトルの前記遅延値によって選択される、前記平滑化された入力ストリームの値を含む第１のベクトルと、前記出力値位置に対応する前記拡張カーネルにおけるベクトルに対応する第２のベクトルとのドット積を生成することと
を行うように構成される乗算累積ユニットと
を備える、システム。

【請求項74】

前記入力テンソルは、複数のチャネルを有し、前記カーネルは、複数のフィルタを有し、前記入力テンソルの各チャネルは、前記カーネルの１つまたは複数のフィルタを用いて畳み込まれて、複数の出力フィーチャを有する出力アクティベーションが生成される、
請求項７３に記載のシステム。

【請求項75】

前記乗算累積ユニットは、
前記入力テンソルの畳み込みの出力の値の位置が、前記入力テンソル内の値のすべての位置に対してマッチングする位置を有するように、および、前記畳み込みの前記出力のサイズが、前記入力テンソルのサイズとマッチングするように、前記入力テンソルをパディング値によりパディングすること
を行うようにさらに構成される請求項７３に記載のシステム。

【請求項76】

前記乗算累積ユニットは、
前記入力テンソルの各次元のサイズが、前記カーネルの対応する次元の整数倍数となるように、前記入力テンソルをパディング値によりパディングすること
を行うようにさらに構成される請求項７３に記載のシステム。

【請求項77】

前記乗算累積ユニットは、
前記入力テンソルの各次元のトレーリングエッジを、対応する次元における前記カーネルのサイズに等しい幅を有するパディング値によりパディングすること
を行うようにさらに構成される請求項７３に記載のシステム。

【請求項78】

前記平滑化された入力ストリームは、
前記入力テンソルの前記１つまたは複数のカーネルサイズのタイルの各々について、
前記タイルの値に、定義された順序でアクセスすることと、
前記定義された順序に従って、ベクトル内に前記値を配置することと、
前記１つまたは複数のタイルの各々に対応する前記１つまたは複数のベクトルを平行な構成で配置して、前記平滑化された入力ストリームの前記平行なベクトルを生成することとによって生成される、
請求項７３に記載のシステム。

【請求項79】

前記拡張カーネルは、
前記カーネルの第１の次元について、前記カーネルの単一次元ベクトルごとに、その単一次元ベクトルのすべてのローテーションを含み、値の正方形ブロック（巡回行列）を生成することと、
前記カーネルの付加的な次元ごとに、
直前の次元のブロックをブロックのセットにグループ化することであって、ブロックの各セットは、前記次元の軸に平行なベクトルに沿ってアラインされる前記直前の次元のブロックを含み、グループ化することと、
前記付加的な次元について、値の１つまたは複数のブロックを生成することであって、各ブロックは、前記直前の次元のブロックの前記セットの各々内のブロックのすべてのローテーションを含み、生成することと、
前記カーネルの前記付加的な次元における最後の次元に対応する値の前記ブロックを、前記拡張カーネルとして出力することと
によって形成される、
請求項７３に記載のシステム。

【請求項80】

前記制御パターンは、複数のベクトルを含み、前記複数のベクトルのベクトルの数は、前記出力アクティベーションのカーネルサイズのタイル内の出力値位置の数に対応する、
請求項７３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、行列計算に関し、特に、行列の空間局所性変換に関する。

【背景技術】

【0002】

現代のニューラルネットワークは、多様な層を含む。各層は、多数の入力値を含んでもよく、入力値は、出力（すなわち、アクティベーション）を生成するために後に変換され、出力は、後続の層に対する入力としての役割を果たす。典型的には、これらの入力値および出力値は、行列（例えば、１次元から多次元の値の配列）として表される。これらの入力値に対して実行される一般的な変換は、畳み込みである。畳み込みは、重み値を含み、行列としても表さられることができるカーネルを、入力において隣接する値に適用して、出力値を生成する。これは、（重みによって修正された）入力におけるすべての値に対して繰り返されて、値の出力セットが生成される。しかしながら、多様な出力を生成すべく、カーネルが、同じ入力値を多様な回数ストライドするにつれて、またはスライドするにつれて、隣接する値を多様な回数読まなければならないことに起因して、素朴なアプローチを使用して実行された場合には、計算コストが高くなる場合がある。

【0003】

したがって、カーネルによる重みによって修正される入力値の畳み込みをより効率的に計算して、出力値を生成することができるシステムが望まれる。

【図面の簡単な説明】

【0004】

【図1】一実施形態にかかる、出力アクティベーションを生成するためにカーネルの空間局所性変換（ＳＬＴ）を介した入力テンソルの畳み込みのためのシステム１００を例示する図である。

【図2】一実施形態にかかる、カーネルによる２次元入力の畳み込みの例を示す図である。

【図3】一実施形態にかかる、入力テンソルを平滑化する方法を例示するフロー図である。

【図4】一実施形態にかかる、１次元カーネルの場合における入力テンソルの平滑化の例を例示する図である。

【図5A】一実施形態にかかる、２次元カーネルの場合において入力テンソルを平滑化する例の第１の部分を例示する図である。

【図5B】一実施形態にかかる、２次元カーネルの場合において入力テンソルを平滑化する例の第２の部分を例示する図である。

【図5C】一実施形態にかかる、多様な入力チャネルについての入力テンソルを平滑化する例を例示する図である。

【図6A】一実施形態にかかる、３次元カーネルの場合において入力テンソルを平滑化する例の第１の部分を例示する図である。

【図6B】一実施形態にかかる、３次元カーネルの場合において入力テンソルを平滑化する例の第２の部分を例示する図である。

【図7】一実施形態にかかる、拡張カーネルを生成する方法を例示するフロー図である。

【図8】一実施形態にかかる、１次元カーネルの場合において拡張カーネルを生成する例を例示する図である。

【図9A】一実施形態にかかる、異なる２次元カーネルのための拡張カーネルを生成する例を例示する図である。

【図9B】一実施形態にかかる、列優先拡張を使用して拡張カーネルを生成する例を例示する図である。

【図9C】一実施形態にかかる、多様なカーネルフィルタの場合において拡張カーネルを生成する例を例示する図である。

【図10A】一実施形態にかかる、３次元カーネルの場合において拡張カーネルを生成する例の第１の部分を例示する図である。

【図10B】一実施形態にかかる、３次元カーネルの場合において拡張カーネルを生成する例の第２の部分を例示する図である。

【図10C】一実施形態にかかる、３次元カーネルの場合において拡張カーネルを生成する例の第３の部分を例示する図である。

【図11】一実施形態にかかる、制御パターンを生成する方法を例示するフロー図である。

【図12A】一実施形態にかかる、制御パターンの生成のための概念的基礎の例の第１の部分を例示する図である。

【図12B】一実施形態にかかる、制御パターンの生成のための概念的基礎の例の第２の部分を例示する図である。

【図13A】一実施形態にかかる、２次元カーネルのための制御パターンの値の生成の一部の例を例示する図である。

【図13B】一実施形態にかかる、３次元カーネルのための制御パターンの値の生成の一部の例を例示する図である。

【図13C】一実施形態にかかる、異なる次元のカーネルのための生成された制御パターンの例を例示する図である。

【図14】一実施形態にかかる、平滑化された入力、拡張カーネル、および制御パターンを使用して、畳み込みの出力を生成する方法を例示するフロー図である。

【図15A】一実施形態にかかる、１次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第１の部分を例示する図である。

【図15B】一実施形態にかかる、１次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第２の部分を例示する図である。

【図15C】一実施形態にかかる、１次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第３の部分を例示する図である。

【図16A】一実施形態にかかる、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第１の部分を例示する図である。

【図16B】一実施形態にかかる、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第２の部分を例示する図である。

【図16C】一実施形態にかかる、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第３の部分を例示する図である。

【図16D】一実施形態にかかる、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第４の部分を例示する図である。

【図16E】一実施形態にかかる、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、多様なチャネルを有する出力アクティベーションを生成する例を例示する図である。

【図16F】一実施形態にかかる、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、多様なチャネルを有する出力アクティベーションを生成する例の第２の部分を例示する図である。

【図17A】一実施形態にかかる、３次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第１の部分を例示する図である。

【図17B】一実施形態にかかる、３次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第２の部分を例示する図である。

【図18A】一実施形態にかかる、拡張カーネルを生成するための例示的な構成要素についてのハードウェア図である。

【図18B】一実施形態による、拡張カーネルを生成するために例示的な構成要素において使用される例示的なシフター回路についてのハードウェア図である。

【図19】一実施形態にかかる、制御パターンを生成するための例示的な構成要素についてのハードウェア図である。

【図20】一実施形態にかかる、乗加算演算を行って出力アクティベーションを生成するための例示的な構成要素についてのハードウェア図である。

【図21】一実施形態にかかる、機械学習プロセッサにおいて出力アクティベーションを計算するための例示的な構成要素のレイアウトを例示する図である。

【図22A】一実施形態にかかる例示的な機械学習プロセッサを例示する図である。

【図22B】別の実施形態にかかる例示的な機械学習プロセッサを例示する図である。

【図23】コンピュータ可読媒体からの命令を読み取り、それらをプロセッサ（またはコントローラ）において実行することができる例示的な計算機の構成要素を例示するブロック図である。

【0005】

図は、例示のみを目的として様々な非限定的な実施形態を示し、詳細な説明は、例示のみを目的として様々な非限定的な実施形態を説明する。

【発明を実施するための形態】

【0006】

図および下記の説明は、あくまでも例示としての好適な実施形態に関する。当業者は、本明細書で開示されている構造および方法の代替的実施形態を、開示されている内容の原理から逸脱せずに採用されることができる実現可能な代替案として認識することができる。

【0007】

ここで、いくつかの実施形態が詳細に参照されることとなり、それらの例は、添付の図面に示されている。実現可能な限り、類似した参照番号または同様の参照番号が、図において使用されてよく、類似した機能性または同様の機能性を示すことができることに留意されたい。図は、例示のみを目的として、開示されているシステム（または方法）の実施形態を図示する。当業者は、本明細書で示される構造および方法の代替的実施形態が、本明細書で説明される原理から逸脱せずに採用されることができることを、下記の説明から容易に認識するであろう。

【0008】

（例示的なシステム）
図１は、一実施形態による、出力アクティベーションを生成するためにカーネルの空間局所性変換（ＳＬＴ）を介した入力テンソルの畳み込みのためのシステム１００を示す図である。１つの実施形態において、システム１００は、入力テンソル１０２、カーネル１１０、入力ストリーム生成器１２２、平滑化された入力ストリーム１２４、拡張カーネル生成器１２６、拡張カーネル１２８、制御パターン生成器１３４、制御パターン１３６、乗加算ユニット１４０、および出力アクティベーション１４２を含む。ただし、他の実施形態において、システム１００は、異なる要素を含み、および／またはシステム１００は、異なる個数の図示された要素を含む。

【0009】

入力テンソル１０２は、出力アクティベーション１４２を生成するために、畳み込み演算においてカーネル１１０によって修正される入力値１０８の集合である。１つの実施形態において、入力テンソル１０２は、行列によって表される。行列は、１次元、２次元、３次元、または３次元以上を有してもよく、メモリ内に配列として記憶されてよい。配列の次元の数は、行列の次元の数に等しくてよい。別の実施形態において、入力テンソル１０２は、多様な入力チャネル１０４Ａ～１０４Ｎ（入力チャネル１０４と一般に称される）を有する。各入力チャネル１０４は、１次元または複数次元の行列、例えば、例示されるように、入力チャネル１０４Ａにおける行列の次元１～３ １０６Ａ～１０６Ｃなどを含む。

【0010】

カーネル１１０は、畳み込み演算において入力テンソル１０２に適用されて、出力アクティベーション１４２などの出力アクティベーションを生成する。畳み込み演算に関する付加的な詳細は、図２を参照して後述される。カーネル１１０は、１次元または複数次元の行列によって表されることが可能である。行列は、カーネル値１１４を含み、カーネル値１１４は、ニューラルネットワークの場合、入力テンソル１０２の入力値１０８に対して適用される重みを表す。入力テンソル１０２の次元、および、特に、各入力チャネル１０４の行列の次元の数は、少なくともカーネル１１０の次元の数に等しく、またはカーネル１１０の次元の数よりも大きくするべきである。サイズ（すなわち、各次元にまたがるカーネル１１０の要素の数）は、入力テンソル１０２よりも小さくすることも、または大きくすることもできる。カーネル１１０が入力テンソル１０２よりも大きい場合、カーネル１１０のサイズが、パディングされた入力テンソル１０２以下となるように、入力テンソル１０２はパディングされることが可能であり、畳み込み演算が行われることを可能にする。結果として得られる出力アクティベーション１４２は、（パディングされた）入力テンソル１０２と同じサイズである行列である。

【0011】

１つの実施形態において、カーネル１１０は、１つまたは複数のカーネル「フィルタ」１１２Ａ～１１２Ｍ（カーネルフィルタ１１２と一般に称される）を含む。カーネルフィルタ１１２の数は、入力チャネル１０４の数に等しくする必要はない。カーネルフィルタ１１２は、サブフィルタカーネルのセットを含み、サブフィルタカーネルは、それら自身がフィルタであり、入力チャネル１０４の数に等しい。畳み込み演算は、各サブフィルタカーネルを用いて各入力チャネル１０４に対して実行され、結果として得られる出力行列は、加算されて、単一の出力アクティベーションフィーチャ行列、または出力フィーチャ１４４Ａ～１４４Ｍ（出力フィーチャ１１４と一般に称される）を生成する。これは、各カーネルフィルタ１１２について繰り返される。生成される出力フィーチャ１４４の数は、カーネル１１０内に存在するカーネルフィルタ１１２の数に等しい。したがって、例えば、カーネル１１０が、１つのカーネルフィルタ１１２を含む場合、単一の出力フィーチャ１４４が生成される。ただし、カーネル１１０が、５つのカーネルフィルタ１１２を含む場合、出力アクティベーション１４２は、５つの出力フィーチャ１４４を有することになる。これは、ニューラルネットワークが、入力の異なる部分（すなわち、異なる入力チャネル１０４）に対して異なるカーネル重みを適用し、結果を新しい出力（すなわち、異なる出力フィーチャ１４４）へと組み合わせることを可能にし、新しい出力は、次いで、ニューラルネットワークの別の層において、さらなる入力として使用されることが可能である。多様な入力チャネル１０４および多様なカーネルフィルタ１１２の使用に関する付加的な詳細は、図１６Ｅ～図１６Ｆを参照して後述される。

【0012】

入力ストリーム生成器１２２は、入力テンソル１０２を平滑化された入力ストリーム１２４に変換する。入力テンソル１０２をより効率的に読み取り、カーネル１１０が入力テンソル１０２をストライドする場合に入力テンソル１０２の同じ値を複数回読み取ることを回避すべく、入力ストリーム生成器１２２は、入力テンソル１０２を平滑化された入力ストリーム１２４に変換し、平滑化された入力ストリーム１２４は、次いで、必要な入力値の読み取りの数を著しく低減する、後述されるような効率的な手法で乗加算ユニット１４０によってアクセスされるバッファまたは他のメモリ内へ供給されることが可能である。

【0013】

入力テンソルの変換を実行するために、入力ストリーム生成器１２２は、まず、入力テンソル１０２をパディングしてよい。入力テンソル１０２は、そのサイズがカーネル１１０のサイズのモジュロ（すなわち、倍数）となるように、パディングされてよい。また、カーネル１１０は、「フォーカス」のポイントを有する。フォーカスのポイントは、カーネル１１０を用いた畳み込みの出力値が生成される、カーネル１１０の位置である。カーネル１１０が、入力テンソル１０２をストライドする場合に、入力テンソル１０２におけるあらゆる入力値に到達するように、入力ストリーム生成器１２２は、入力テンソル１０２をパディングする。したがって、例えば、カーネルが３×３カーネルであり、フォーカスのポイントがそのカーネルの中心である場合、入力テンソル１０２の２次元行列は、カーネルのモジュロとなるようにパディングされた後、パディング値の単一のベクトルを用いて行列の外側境界のまわりをさらにパディングされて、カーネルのフォーカスが入力テンソル１０２の外側エッジにおいて入力値をスライドすることを可能にすることができる。

【0014】

最終的に、入力ストリーム生成器１２２は、入力テンソル１０２をパディングして、畳み込みを実行するために使用されるプロセッサの任意の要件も満たすことができる。バスのサイズ、パラレルプロセッサの数、メモリサイズ、または他の制約に起因して、入力ストリーム生成器１２２は、入力テンソル１０２が、平滑化された入力ストリーム１２４になるように平滑化された後に、プロセッサの制約を満たすように、入力テンソル１０２をパディング値によりさらにパディングしてもよい。１つの実施形態において、入力ストリーム生成器１２２は、入力テンソル１０２（または、入力テンソル１０２の各入力チャネル１０４）の各次元の一辺（例えば、トレーリングエッジ）をパディング値によりパディングして、カーネル１１０のサイズ（または、各カーネルフィルタ１２２の各サブフィルタカーネルのサイズ）に等しくする。ここで説明されるパディング値は、任意のヌル、ゼロ、または基準パディング値としてよい。

【0015】

入力テンソル１０２をパディングした後、入力ストリーム生成器１２２は、パディングされた状態の入力テンソル１０２を、タイルに分割し、またはセグメント化する。各タイルは、カーネル１１０のサイズである。したがって、入力テンソル１０２のパディングされた行列は、各々がカーネル１０２のサイズである、多様な個々のより小さな行列に分割される。入力テンソル１０２は、分割されるものとしてここでは説明されているが、これは、入力ストリーム生成器１２２が必ずしも各タイルについて新しい行列を生成することを意味するものではない。代わりに、入力ストリーム生成器１２２は、入力テンソル１０２の行列における各タイルの境界を単純に区切ってもよい。

【0016】

多様な入力チャネル１０４の場合において、入力ストリーム生成器１２２は、各入力チャネル１０４の行列を多様なタイルのそれ自身のセットに分割する。各入力チャネル１０４のタイルのサイズは、その入力チャネル１０４に対して適用される各カーネルフィルタ１１２のサブフィルタカーネルのサイズに等しい。

【0017】

入力テンソル１０２を分割した後、入力ストリーム生成器１２２は、平滑化順序を識別する。これは、入力テンソル１０２における各タイルの値が読み取られる順序である。順序は、任意の順序とすることが可能であり、行優先順序、列優先順序、対角線優先順序、アイル優先などを含むことが可能である。行優先順序において、各行内の値は、特定の順序で（例えば、左から右へ）読み取られ、次に、各行も同様に、特定の順序で（例えば、上から下へ）読み取られる。列優先順序においては、各行を読み取る代わりに、各列が、特定の順序で（例えば、左から右へ）読み取られ、各行内の値は、各列について特定の順序で（例えば、上から下へ）読み取られる。対角線優先順序において、タイルは、対角線に沿って読み取られてよい。タイルが、１つを超える層を含む場合、各層は連続的に処理されてよい。同じ順序付けパターンが、拡張カーネル１２８の生成および制御パターン１３６の生成においてその後に使用される限り、他の順序も取ることができる。

【0018】

入力ストリーム生成器１２２は、識別された平滑化順序で各タイルの値を読み取り、それらが各タイルについて読み取られるにつれて値を単一のベクトル内に配置し、それによって、タイルを「平滑化する」。入力ストリーム生成器１２２は、入力テンソル１０２のすべてのタイルを読み取り、対応する数のベクトルを生成する。ベクトルは、互いに平行に配置されて、平滑化された入力ストリーム１２４が生成される。入力ストリーム生成器１２２は、特定の順序、例えば、行優先順序、列優先順序などで、タイルを読み取ることができる。タイルの順序が、拡張カーネル１２８および制御パターン１３６の生成に反映される限り、任意の順序が使用されることが可能であり、有効な出力が乗加算ユニット１４０によって生成されることが可能である。

【0019】

入力テンソル１０２が多様な入力チャネル１０４を含む場合、各入力チャネル１０４についての行列は、別個に処理されて、各入力チャネル１０４の各行列のための平滑化された入力ストリームが生成される。多様な平滑化された入力ストリームは、（組み合わされた）平滑化された入力ストリーム１２４を形成するために共に組み合わされてよい。多様な平滑化された入力ストリームは、それらを共に「積み重ねる」ことによって、それらを共に連結することによって、または、何らかの他の組み合わせ方法を介して、組み合わせられてもよい。

【0020】

平滑化された入力ストリーム１２４は、入力ストリーム生成器１２２が入力テンソル１０２を平滑化した結果である。入力テンソル１０２の次元の数に関わらず、入力テンソル１０２の各行列についての平滑化された入力ストリーム１２４は、（最大でも）２次元である。これは、入力テンソル１０２の各タイルが上述したようにベクトルに変換され、ベクトルは互いに平行に配置されるからである。１つの実施形態において、入力テンソル１０２が、多様な入力チャネル１０４を含む場合、各入力チャネル１０４の各行列から生成された平滑化された入力ストリームは、他の入力チャネル１０４の他の行列の平滑化された入力ストリームと、各平滑化された入力ストリームを互いに隣り合うように垂直にまたは水平に（コンピュータ可読メモリ内で）置くことによって、組み合わされてよい。組み合わされた平滑化された入力ストリームは、各入力チャネルから生成された各平滑化された入力ストリームが互いの上に積み重ねられた状態で、３次元的にも表されることができる。メモリ内で、これは、３次元の平滑化された入力ストリームの深さに沿った値が優先順序として記憶される状態で、深さ優先記憶アプローチを使用して表されることができる。

【0021】

平滑化された入力ストリーム１２４は、バッファに供給され、またはメモリに記憶されることができる。それは、乗加算ユニット１４０によって読み取られ、平滑化された入力ストリーム１２４において各ベクトルが対応するタイル番号に応じて、参照されることが可能である。例示される例において、平滑化された入力ストリーム１２４のタイルは、０からＫからＪまでの範囲である。ここで、タイル番号１＋Ｋは、タイルの第２の行（または列）の第１のタイルである、元の入力テンソル１０２内のタイルを表す。値Ｋは、（タイルが読み取られる順序に依存して）パディングされた入力テンソル１０２の行または列内のタイルの数を表し、入力テンソル１０２の幅に依存して変化する。例えば、パディングされた幅９を有する入力テンソルは、カーネルが、したがって、タイルが３×３行列である場合、Ｋ値３を有することになる。この場合には、３枚のタイルが入力テンソルの幅に沿って適合し、したがって、第２の行の第１のタイル（すなわち、全体で第４のタイル）の番号は、タイルカウントが０から始まるので、タイル番号３になる。入力テンソル１０２が、付加的な次元を含む場合、付加的なマーカーは、その次元についての値の各第２のシリーズの第１のタイルに対して示される。例えば、入力テンソル１０２が３次元を含む場合、別個のマーカーＭは、入力テンソル１０２の単一の層内のタイルの数を示し、タイル番号１＋Ｍは、入力テンソル１０２の第２の層内の第１のタイルのインデックス値を示すことになる。これらのマーカーは、タイル番号と共に、乗加算ユニットによって、制御パターン１３６におけるインジケータを使用して、後述されるように、平滑化された入力ストリーム１２４内の正確なタイルを参照し、または指し示すために使用されることが可能である。あるいは、マーカーを含めて、タイル番号は、クロックサイクル遅延値として使用されて、乗加算ユニット１４０が、平滑化された入力ストリーム１２４を含有するバッファからの値の読み取りを遅延させることを可能にしてもよい。これは、乗加算ユニット１４０が平滑化された入力ストリーム１２４内の特定のタイルを同様に参照することを可能にする。

【0022】

このアクセスの方法は、システム１００の他の構成要素と共に、以下でさらに詳細に説明されるように、カーネル１１０における値の数に等しい入力テンソルにおけるいくつかの値の読み取りを必要とする基準となる畳み込みと比較して、システム１００が入力テンソル１０２の２^s-1回のみの読み取りを行うことを可能にし、ただし、ｓは、入力の次元の数であり、したがって、著しいリソースを節約する。入力ストリーム生成器１２２および平滑化された入力ストリーム１２４に関する付加的な詳細は、図３～図６Ｂを参照して後述される。

【0023】

拡張カーネル生成器１２６は、拡張カーネル１２８を生成し、拡張カーネル１２８は、乗加算ユニット１４０によって、平滑化された入力ストリーム１２４および制御パターン１３６と共に使用されて、出力アクティベーション１４２が生成される。拡張カーネル１２８は、カーネル１１０から生成される。カーネルを「拡張する」目的は、平滑化された入力ストリーム１２４の入力値の選択されたベクトルが、下記に示されるように、入力テンソル１０２上で元のカーネル１１０をストライドさせなければならない代わりに、拡張カーネル１２８のベクトル（例えば、列、行、アイル）を用いて単純なドット積を使用して乗算されることを可能なようにすることである。これは、出力アクティベーション１４２の生成を著しく単純化する。カーネル１１０の拡張は、カーネル１１０のローテーション組み合わせを階層的に生成することを含む特定のパターンに従う。下記の説明では、最初の次元、付加的な次元、および最後の次元への参照が行われる。これは、カーネルが１次元から多次元まで有することができるため、カーネルの次元を体系的に参照するための手段であり、各次元のランキングまたはサイズを示すように意図されたものではない。例えば、カーネルが３次元である場合、カーネルの最後の次元は、必ずしもカーネルの何らかの３次元表現を参照するとは限らず、それが３つの異なる次元番号（例えば、次元１、次元２、および次元３）を有する限り、カーネルの次元数３を単純に参照する。

【0024】

１つの実施形態において、拡張カーネル生成器１２６は、カーネル１１０の最初の次元（または、１つのカーネルフィルタ１１２もしくはカーネルフィルタ１１２のサブフィルタカーネル）を用い、各単一次元ベクトルのすべてのローテーションを含む、カーネルのその単一次元ベクトルについての値の正方形ブロックを生成する。ブロックは、各単一次元ベクトルと平行にローテーションの各々を配置することによって生成される。例えば、３×３の２次元カーネルは、次元１について、３つの３×１の単一次元ベクトルを有することになる。これらのベクトルの各々について、そのベクトルのすべての可能なローテーションが生成され、したがって、各々について２つの付加的な単一次元ベクトルを作成する。これらは、付加的なベクトルを生成するために使用された単一次元ベクトルに平行に配置されて、各単一次元ベクトルについて正方形ブロックが作成される。これらの正方形ブロックは、巡回行列として知られてよい。

【0025】

その後、カーネルの付加的な次元ごとに、直前またはより下位の次元エリアのブロックが、セットにグループ化される。各セットは、直前の次元の軸に平行なベクトルに沿ってアラインされる、その次元のブロックを含む。したがって、３×３行列の例に戻ると、前もって生成された正方形ブロックが、それらが生成されたソースと同じ位置（すなわち、単一次元ベクトル）に配置された場合、次元２について、ベクトルは、生成されたブロックをすべて通ることができる。したがって、次元２のためのセットは、先行する演算において生成されたすべてのブロックを含む。３×３カーネルにおいて、これは、カーネルのベクトルごとに１つずつ、３つのブロックを含む。

【0026】

生成される各セットを用いて、拡張カーネル生成器１２６は、そのセット内のブロックのすべてのローテーションを生成する。先の例を使用すると、３つのブロックが、次元２のための単独のセット内に存在する。したがって、このセットについてのローテーションは、３つのブロックの２つの付加的な組み合わせを生成し、合計で９つのブロックとなる。２つの付加的な組み合わせは、単一次元ベクトルについて上述した方法と同様に、セット内のブロックに平行に配置される。ここで、２次元カーネルのすべての次元が考慮されたので、拡張カーネル生成器１２６は、拡張カーネルの生成を終了し、９つのブロックの組み合わされた結果は、拡張カーネル１２８として出力される。

【0027】

しかしながら、カーネル１１０がさらなる次元を含む場合、上記のプロセスが繰り返され、ブロックの異なるセットがローテーションされ、組み合わされる結果となる。これは、最終的に、すべての次元が考慮される結果となり、より下位の次元のブロックを有するすべてのブロックの結果として得られる組み合わせは、拡張カーネル１２８として出力される。したがって、次元の数が増加するにつれて、セットの数は増加する。各付加的な次元において、上述したようなベクトルに沿ってアラインする、先行する次元からのブロックをローテーションさせた後、ローテーションされたブロックの組み合わせは、新しいブロックに配置される。これらの新しいブロックは、次の付加的な次元の計算において使用され、様々なローテーションで組み合わされる。これは、最後の次元まで続き、最後の次元は、カーネルの次元の総数に等しい次元番号を有する。最後の次元において、ローテーションの最終的なセットが実行され、ローテーションの結果として得られる組み合わせは、拡張カーネルとして出力される。したがって、ブロックのセットの数は、処理される付加的な次元ごとに数が減り、最終的な次元についてのローテーションが処理された後には、単一のセット、すなわち出力ブロックのみが残る。

【0028】

拡張カーネル１２８のベクトル（例えば、行または列）の数は、カーネル内の要素の数、または入力テンソル１０２のタイル内の要素の数にさらに等しい。拡張カーネル１２８自体の実際のサイズは、カーネル１１０のサイズに依存する。２次元の拡張カーネル１２８の各次元は、カーネル１１０の各次元のサイズ値の積に等しいサイズを有する。例えば、カーネルが２×２×２行列である場合、拡張カーネル１２８は、８つのベクトル（２³）を有し、したがって、カーネルの次元の値の積が８であるため、８×８のサイズを有することになる。

【0029】

生成される拡張カーネル１２８は、本明細書で説明されるように、平滑化された入力ストリーム１２４からの選択された値を用いたドット積において使用されて、出力アクティベーション１４２が生成されることが可能である。前述したように、平滑化された入力ストリーム１２４内の値は、制御パターン１３６のインジケータを使用した遅延またはポインタを介して選択されることができる。これらの値を選択した後、選択された値は、次いで、拡張カーネル１２８の各ベクトルと平滑化された入力ストリーム１２４からの異なる選択された値とを乗算することによって、拡張カーネル１２８の選択されたベクトルと組み合わされて、出力アクティベーション１４２の出力値を生成することができる。拡張カーネル１２８のベクトルの数は、（前述されたようにカーネル１１０と同じサイズである）タイル内の要素の数に等しいので、出力値の数も、各タイルについての同数の要素に等しく、したがって、出力アクティベーション１４２のタイル（または、多様なカーネルフィルタの場合には、値の出力行列）を含む。出力アクティベーション１４２の行列内のタイルの位置は、入力テンソル１０２の行列の同じ位置タイルに対応する位置を有する。

【0030】

ここで説明されるシステム１００は、図２において説明されたものなどの、素朴なアプローチと同じように何回も入力値を再読み取りする必要なく、各出力タイル内の値の計算を可能にする。カーネル１１０が、出力タイル内の位置に対応する位置の各々へと入力テンソル１０２にスライドされるにつれて、入力テンソル内の特定の値を繰り返し読み取ることによる代わりに、各出力タイルは、拡張カーネルの単一のパスおよび平滑化された入力ストリーム１２４からの値の単一の選択において生成される。

【0031】

多様なカーネルフィルタ１１２の場合には、拡張カーネルは、カーネルフィルタ１１２ごとに生成され、上述したプロセスと同様に、入力に対して適用されることになる。多様な入力チャネル１０４の場合には、各カーネルフィルタ１１２は、各々が入力チャネル１０４に対応する多様なサブフィルタカーネルを有する。この場合において、拡張カーネルは、サブフィルタカーネルごとに生成されることになり、各サブフィルタカーネルから生成される各拡張カーネルは、そのサブフィルタカーネルが、畳み込みの素朴な実装において適用されていたであろう入力チャネル１０４に対応する平滑化された入力ストリーム１２４の関連する部分に対して適用されることになる。拡張カーネルの生成に関する付加的な詳細は、図７～図１０Ｃを参照して後述される。

【0032】

制御パターン生成器１３４は、カーネルサイズ入力１３２におけるカーネルサイズに関する情報に基づいて、制御パターン１３６を生成する。カーネルサイズは、カーネル１１０の各次元の（または、各カーネルフィルタの）サイズを示す。制御パターン生成器１３４は、この情報を用い、同じサイズおよび次元のカーネルに対して同じである制御パターン１３６を生成する。制御パターン生成器１３４は、制御パターン１３６の各位置についての値を、カーネルの次元のサイズだけでなく、その位置の座標（例えば、行番号、列番号）に基づいて生成する。各位置について、制御パターン生成器１３４は、１つまたは複数のテスト不等式（カーネルの次元の数に等しい）を実行する。各テスト不等式は、制御パターン１３６におけるその位置の行番号のモジュロ演算と、列番号のモジュロ演算との間の不等式である。テスト不等式の結果（すなわち、真または偽）は、制御パターンにおけるその位置についての値を生成すべく、制御パターン値の表を参照するために使用される。

【0033】

制御パターン生成器１３４は、プログラム方法を使用して、カーネルサイズ入力１３２に基づいて制御パターン１３６を生成するものとして、ここでは説明されているが、他の実施形態において、制御パターン生成器１３４は、メモリ、不揮発性記憶装置、プログラム命令スタック、または他のソースからの制御パターン１３６の予め生成されたバージョンにアクセスし、カーネルサイズ入力１３２に基づいて、このソースから正確な予め生成された制御パターン１３６を選択する。

【0034】

制御パターン１３６は、各出力値を生成するために拡張カーネル１２８のベクトルで（ドット積を使用して）乗算される、選択された値を生成すべく、乗加算ユニット１４０に対して、平滑化された入力ストリーム１２４のどの部分を選択するかを示す行列である。畳み込みの素朴な実装において、入力テンソル１０２上のある位置におけるカーネル１１０のストライドごとに、畳み込み演算は、（同じ位置にある）カーネル内の対応する値によって重み付けされるような、フォーカスポイント自体における値と共に、カーネルの現在のフォーカスを表す位置に隣接する値を加算することによって実行される。結果として得られる和は、そのフォーカスに対応する位置についての出力値である。したがって、フォーカス位置ごとに、入力テンソル１０２からの異なる値が、加算のために選択される。平滑化された入力ストリーム１２４が、異なるタイルに分割されるにつれて、各出力位置、および、特に、出力タイルにおける各出力位置は、出力タイルと同じ位置における入力タイルから、または隣接する入力タイルにおける入力値からの値を使用して計算される。したがって、制御パターン１３６は、乗加算ユニット１４０に対して、タイルにおける出力位置ごとに、畳み込み計算、すなわち、先に述べたドット積を実行するために入力値を引き出す、異なる特定の入力タイルを示す。具体的には、制御パターン１３６の各ベクトルは、出力タイルにおける異なる位置に対応しており、出力位置の値の計算のために入力値を選択する、入力行列からのタイルを示す。

【0035】

出力がタイルごとに生成されるにつれて、制御パターン１３６は、処理されている現在の出力タイルの位置に対応する位置を有する入力タイル、および処理されている現在の出力タイルに対して隣接する位置に対応する位置を有する入力タイルを示すだけでよい。例えば、入力テンソル１０２の２次元行列において、タイルは、処理されている現在の出力タイルに水平かつ垂直に隣接する。３次元行列では、これは、隣接する層にあるタイルを含んでもよい。より上位の次元の行列の場合、これは、「隣接する」さらなるタイルを含むことになる。したがって、制御パターン１３６によって示されるタイル位置の数は、入力行列の次元サイズの２の累乗である。制御パターン１３６のサイズは、カーネル１１０から生成される拡張カーネル１２８と同じサイズである。

【0036】

制御パターン１３６は、平滑化された入力ストリーム１２４内の各タイルのタイル番号に従ってタイルを示す。入力タイルに対して隣接するタイルは、必ずしもタイル番号において隣接するとは限らないので、制御パターン１３６内のインジケータは、タイル番号を介してタイルを直接示すのではなく、処理されている現在のタイルのタイル番号に関する相対的位置を介して示す。したがって、例えば、相対的位置は、現在のタイル、現在のタイルの下の（もしくは右側の）行（もしくは列）、または現在のタイルの背後の層を示すことができる。入力テンソル１０２の行列の幅／高さおよび深さは知られているので、相対的位置は、この情報に基づいて計算されることが可能である。例えば、現在のタイルの１行下にあるタイルは、現在のタイルに行列の幅を足したタイル番号となるであろう。したがって、制御パターン１３６は、そのようなタイルに対して行幅の値、またはポインタ、または行幅への参照を示してもよい。現在のタイルの１行下であって、１つ右側にあるタイルは、現在のタイル番号に、行幅を加え、１を加えることよって示されることになる。したがって、制御パターン１３６は、そのようなタイルに対して、行幅＋１、または行幅＋１のインジケータを示すことができる。１つの実施形態において、行幅は、上述したように変数Ｋである。インジケータのこれらの組み合わせの各々は、１つまたは複数のビットによって示されることができる。制御パターン１３６は、フラクタルパターンを有するので、制御パターン１３６の行列の各サブセクションは、単一の主要なビットによって示されてもよく、付加的なサブセクションは付加的なビットによって示され、そのサブセクション内の個々の値は第２のビットを有する。個々の値とその値が属するサブセクションとの組み合わせは、相対的タイル位置を示す。

【0037】

多様なカーネルフィルタ１１２の場合において、カーネルフィルタまたはサブフィルタカーネルが異なる次元を有するとき、多様な制御パターン１３６が選択されることができる。異なる次元のカーネルごとに、対応する制御パターン１３６が、上述した方法に従って選択され、または生成されることになる。対応する制御パターン１３６は、平滑化された入力ストリーム１２４の部分から値を選択するために使用されることになる。制御パターン１３６の生成およびその特徴に関する付加的な詳細は、図１１～図１３を参照して後述される。

【0038】

乗加算ユニット１４０は、平滑化された入力ストリーム１２４、拡張カーネル１２８、および制御パターン１３６を使用して最終的な計算を行って、出力アクティベーション１４２を生成する。上記である程度詳細に説明したように、乗加算ユニット１４０は、制御パターン１３６からのインジケータを使用して、平滑化された入力ストリーム１２４から値を選択する。制御パターン１３６内の各ベクトルは、上述したように、入力値にアクセスする、平滑化された入力ストリーム１２４からの特定のタイルを示す。制御パターン１３６内の各位置における識別子は、平滑化された入力ストリーム１２４のどのタイル、すなわち、どのベクトルから入力値を選択するかという表示に対応する。制御パターン１３６のベクトル内の位置は、正確な入力値を含有する平滑化された入力ストリーム１２４内の選択されたベクトルの位置にも対応する。制御パターン１３６のベクトル全体を解析することによって、乗加算ユニット１４０は、選択された入力値のベクトルを生成する。

【0039】

乗加算ユニット１４０は、平滑化された入力ストリーム１２４から値を選択するために使用された制御パターン１３６のベクトル（例えば、行番号または列番号）の位置とマッチングする、拡張カーネル１２８の対応するベクトルをさらに選択する。乗加算ユニット１４０は、拡張カーネル１２８の選択されたベクトルと、平滑化された入力ストリーム１２４の選択された値を含むベクトルとの間のドット積を行って、単一の出力値を生成する。単一の出力値は、現在処理されている入力タイルの位置とマッチングする出力タイルに配置される。さらに、出力タイル内の単一の出力値の位置は、その単一の出力値を生成するために使用される制御パターン１３６（または拡張カーネル１２８）内のベクトルの位置番号に対応する。

【0040】

乗加算ユニット１４０は、ここで説明されたプロセスを、制御パターン１３６（および拡張カーネル１２８）内のすべてのベクトルに対して繰り返し、したがって、出力タイル内の位置の数に等しい出力値の総数を生成する。これは、乗加算ユニット１４０が、入力テンソル１０２からの入力タイルごとに出力アクティベーション１４２の出力タイルを生成することを可能にする。乗加算ユニット１４０は、出力アクティベーション１４２のために同数の出力タイルを生成すべく、入力テンソル１０２のすべての入力タイルに対して、このプロセスをさらに繰り返す。出力タイルの全セットを生成した後、乗加算ユニット１４０は、出力タイルの完成したセットを出力アクティベーション１４２の最終出力として出力する。

【0041】

多様な入力チャネル１０４の場合には、乗加算ユニット１４０は、その入力チャネル１０４に対して指定されたカーネル１１０の特定のサブフィルタカーネルまたはカーネル構成要素を使用して、入力チャネル１０４ごとに「プレ出力」を生成する。各プレ出力は、上述した出力と同様に生成される。ただし、入力チャネルごとにすべてのプレ出力を生成した後、乗加算ユニット１４０は、プレ出力の値を単一の出力行列へと加算し、単一の出力行列は、出力アクティベーション１４２となってよい。

【0042】

多様なカーネルフィルタ１１２の場合には、乗加算ユニット１４０は、入力テンソル１０２に対して各カーネルフィルタ１１２をさらに適用し、多様な入力チャネル１０４がある場合、乗加算ユニット１４０は、上述したようにすべての入力チャネル１０４に対して各カーネルフィルタ１１２を適用し、プレ出力を加算する。これは、カーネルフィルタ１１２ごとに、別個の出力フィーチャ１４４を作成する。各出力フィーチャ１４４は、入力チャネル１０４と同じ大きさの行列である。すべての出力フィーチャ１４４の集合は、出力アクティベーション１４２を表し、ニューラルネットワークの次の層において入力チャネル１０４として使用されることができる（すなわち、１つの層の出力アクティベーション１４２は、ニューラルネットワークの次の層の入力テンソル１０２になる）。乗加算ユニット１４０に関する付加的な詳細は、図１４～図１７Ｂを参照して後述される。

【0043】

（例示的な畳み込み演算）
図２は、一実施形態による、カーネルによる２次元入力の畳み込みの例である。本明細書で説明される入力値２０２および出力値２１４は、行列を使用して表されるが、実際には、それらは、配列、フラットファイル、ツリー、または他の方法を使用して単純に表されてもよく、計算結果が同じである限り、行列として配置される必要はない。

【0044】

入力値２０２のセットに対して畳み込みを実行するために、パディングは、カーネルの「フォーカス」が入力値２０２のエッジにある値に対して適用されることができるように、入力値２０２に最初に適用されて、出力値２１４のサイズを入力値のサイズと同じにすることを可能にする。しかしながら、他の場合において、パディングは入力値２０２に適用されず、この場合には、出力値２１４のサイズは、入力２０２のサイズよりも小さい。入力値２０２のサイズと比較して、出力値２１４の各辺は、出力値２１４の辺と同じカーネルの辺において、カーネルのエッジとカーネルのフォーカスポイントとの間の要素の数に等しい要素の数だけ縮小される。入力値２０２のエッジは、概念的に、このエッジ上の値よりも行列の中心から遠い値が存在しないように、入力値２０２を表す行列の外側境界のまわりの位置である。上記のように、カーネルの（「起点」としても知られてよい）「フォーカス」は、カーネルの位置であり、カーネルの位置は、概念的に現在の出力ピクセルの上方にある。典型的には、それは、カーネル内の値／要素のうちの１つの位置に対応することとなり、例示される例における３×３カーネルなどの対称的なカーネルの場合、ため、フォーカスは通常、中心の要素である。

【0045】

したがって、出力値２１４の位置を入力値２０２の位置とマッチングさせるためには、入力値における第１の位置をストライドする場合のカーネルのフォーカスが、入力値２０２の行列上のエッジ値とマッチングする入力値２０２の位置上になる結果となるように、パディングが入力値に追加され、その後、生成された出力値２１４は、これらのエッジ値の位置にマッチングする位置を有する。これは、出力値２１４のサイズが入力値２０２のサイズと同じになることを保証する。

【0046】

したがって、例示される例において、幅１のパディング２０４は、入力値２０２を表す行列のエッジのまわりに追加される。ここで、パディングされた入力値２０２は、カーネル２１０のサイズの倍数であるサイズを有し、したがって、このサイズがカーネルのサイズの倍数となることを可能にするために付加的なパディングは必要とされない。

【0047】

パディングの後、カーネル２１０は、入力値２０２に対して適用される。カーネル２１０は、入力値２０２全体にわたってカーネル２１０をストライドさせること（すなわち、移動させること）によって適用される。カーネルは、ストライド値に応じて、入力値２０２上をストライドされる。ストライド値は、ストライドごとにカーネルをどのくらい遠くに移動させるかを決定する値である。この値が１である場合、カーネルのフォーカスは、入力値２０２のあらゆる可能な位置上にストライドされる。パディングに起因して、カーネル２１０は、パディングされた入力値２０２の境界をいかなる時も越えないが、カーネルのフォーカスは、入力値２０２の元の値の一つ一つと重なることができる。ストライド値が１を越える場合、カーネルのフォーカスは、入力値２０２のすべての値に適用されないことに留意されたい。

【0048】

カーネル２１０のフォーカスとなるすべての入力値について、畳み込み演算２１２は、概念的にカーネル２１０の下にある入力値２０２に対して実行される。したがって、例示される例において、カーネルのフォーカスは、選択された畳み込みポイント２０８である。ここでは、選択された畳み込みポイント２０８を囲む、太い黒線の正方形ボックス２０６によって例示されるように、カーネル２１０のサイズに等しく、選択された畳み込みポイント２０８を囲む、合計９つの値が選択されている。カーネル２１０のフォーカスがその中心になければ、このボックスは、ボックスの位置が、その対応するフォーカス位置を選択された畳み込みポイント２０８にするように、適切にシフトされることになる。例えば、フォーカスポイントが、カーネル２１０の左上角部にある場合、選択された畳み込みポイント２０８がボックスの左上角部となるように、ボックスは、１つ下に、および１つ右側にシフトされることになる。

【0049】

畳み込み演算２１２は、前述した境界ボックス２０６の下にある入力値２０２の各々を用い、ボックスの下の入力値２０２とカーネル２１０の値との間のドット積を行って、出力値２１４のうちの単一の出力値を生成する。例示されるように、カーネル２１０のフォーカスが、選択された畳み込みポイント２０８にある場合、この出力は、カーネル２１０および入力値２０２に対して「８」である。ここで、パディングおよび選択されたフォーカス位置に起因して、出力値の位置は、入力値２０２における選択された畳み込みポイント２０８の位置と同じである。

【0050】

次いで、カーネルは、入力値２０２における１つの位置上をストライドされ（水平または垂直のいずれか）、畳み込み演算２１２が繰り返される。カーネル２１２のフォーカスが、すべての可能な入力値２０２を訪れたときに、畳み込み演算２１２が完了する。これは、（パディングなしの）入力値と同じサイズを有する出力値の完了したセットを作成する。そのような畳み込み演算は、入力値が重み（カーネル）によって修正され、入力における他の値と組み合わされて、新しい出力を生成することを可能にする。

【0051】

数学的に、畳み込み演算は、次のように表されることができる。

【0052】

【数1】

【0053】

ここで、Ａはカーネルとすることができ、Ｂはカーネルとすることができ、ｃは畳み込み結果である。

【0054】

この畳み込み演算は、ニューラルネットワークが、複雑なデータを処理し、そのデータに基づいて所望の出力を生成することを可能にする。しかしながら、ここに示されたように、これは、カーネル２１０が入力値２０２上をストライドするにつれて、例示的な繰り返し読み取られる値２１８などの、同じ入力値を、複数回読み取らせる。入力値の単一の畳み込み期間中に、例示的な繰り返し読み取られる値２１８は、９つのカーネル位置がこの値と重複することになるので、例示される例では９回読み取られることになる。付加的なカーネルが、説明されるような入力値２０２に対して適用される場合、その同じ値２１８について、さらに多くの読み取りが繰り返されることになる。したがって、畳み込み演算２１２は、機械学習において強力なツールであるが、ここに示されるような素朴なアプローチにおいては、それは、潜在的に非常に多くの読み取り回数、すなわち、非常に多くの入出力操作を生成することがあり、このことは、入力値２０２が大きくなるにつれて、および畳み込みの回数が増加するにつれて、問題になることがある。したがって、本明細書で開示されるように、入力の値の繰り返される読み取り回数を著しく減らすことができる、より最適化されたアプローチが提供される。上記のように、読み取りの回数は、２^s-1回の読み取りに低減されることが可能であり、ただし、ｓは、入力の次元の数である。したがって、ここでの例において、例示的な値２１８について上述したような各値についての９回の読み取りとは対照的に、入力値２０２の２次元行列については２回の読み取りだけが必要である。

【0055】

（平滑化された入力ストリーム生成）
図３は、一実施形態による、入力テンソルを平滑化する方法を例示するフロー図３００である。例示されるフロー図は、動作の順序を示してよいが、例示される動作は、任意の順序で実行されてもよく、より多数の動作またはより少数の動作を有してもよい。１つの実施形態において、図３に例示される動作は、入力ストリーム生成器１２２によって実行されることができる。

【0056】

入力ストリーム生成器１２２は、カーネルによる畳み込みのために入力テンソルを受け取る３１０。この入力テンソルは、入力テンソル１０２であってよい。カーネルは、カーネル１１０であってよい。１つの実施形態において、カーネルを使用した入力テンソルの畳み込みの出力が、入力テンソルと同じサイズを有するように、入力ストリーム生成器１２２は、入力テンソルをパディング値によりパディングする。１つの実施形態において、パディング値を有する入力テンソルは、パディングされた入力テンソル次元ごとに、カーネルの対応する次元の整数倍のサイズを有する。また別の実施形態において、入力ストリーム生成器１２２は、入力テンソルの各次元のトレーリングエッジを、対応する次元におけるカーネルのサイズに等しい幅を有するパディング値によりパディングする。各次元のトレーリングエッジは、最大のインデックス値を有する入力テンソルの縁（すなわち、前面または他端部）である。パディング値は、ゼロもしくはヌル、または、何らかの他の値であってもよい。

【0057】

入力ストリーム生成器１２２は、各タイルがカーネルに等しいサイズを有する、１つまたは複数のタイルに入力テンソルを分割する３２０。したがって、カーネルが３×３カーネルである場合、９×９入力テンソル（パディングを含む）は、９枚の（２次元または２Ｄの）タイルに分割されることになる。同様に、３×３×３カーネルであれば、９×９×９入力テンソルは、２７枚の（３次元または３Ｄの）タイルに分割されることになる。１つの実施形態において、カーネルは、正方形の次元を有しておらず、この場合には、入力ストリーム生成器１２２は、入力テンソルを横切るカーネルのストライドの方向にアラインされた順序で入力テンソルを分割する。したがって、カーネルが行優先アプローチで（左から右へ）ストライドされる場合、入力テンソルは、次の行に行く前に、各行に沿って分割されるなどである。あるいは、別の実施形態において、入力ストリーム生成器１２２は、入力テンソルを横切るカーネルのストライドの方向に対して直交する順序で入力テンソルを分割する。したがって、上記の例において、入力テンソルは、まず、各列に沿って（上から下へ、次いで、次の列へ）分割される。

【0058】

入力ストリーム生成器１２２は、平滑化された入力ストリームを生成するために、１つまたは複数のタイル内の値をベクトルへと平滑化する３３０。これは、入力テンソルの１つまたは複数のタイルの各々について、タイルの値に定義された順序でアクセスすること、定義された順序に従ってベクトル内の値を配置すること、および、１つまたは複数のタイルの各々に対応する１つまたは複数のベクトルを平行な配置に配置して、平滑化された入力ストリームを生成することを含んでよい。この定義された順序は、行優先順序、列優先順序、またはアイル優先順序であってもよい。アイル優先順序は、３次元（３Ｄ）のタイル内の要素に、まず、３Ｄタイルの深さに対応する軸に沿ってアクセスし、その後、３Ｄタイルの幅および高さに対応する軸に沿ってアクセスする。平滑化された入力は、ここでは２次元であるものとして示されているが、他の実施形態では、それは、より多くの次元を含む。

【0059】

平滑化された入力ストリームは、バッファ内に記憶されることができる。バッファは、本明細書で説明されるように、１）制御パターンによって選択されるような、平滑化された入力ストリーム内の値と、２）カーネルの拡張とを用いて乗加算演算を行って、入力テンソルの値をバッファ内へ複数回ロードすることなく、畳み込み演算の出力を生成するために、ハードウェアアクセラレーテッドプロセッサによって読み取られることが可能である。

【0060】

また、入力テンソルは、複数のチャネルを有し、カーネルは、複数のフィルタを有し、入力チャネルは、各カーネルフィルタを用いて畳み込まれて、複数の出力チャネルを有する出力が生成される。

【0061】

入力ストリームを平滑化する付加的な例は、異なる次元のカーネルについての図４、図５Ａ～図５Ｃ、および図６Ａ～図６Ｂに関して、以下に提供される。

【0062】

図４は、一実施形態による、１次元カーネルの場合における入力テンソルの平滑化の例４００を例示する。１つの実施形態において、ここで説明されるプロセスは、入力ストリーム生成器１２２によって実行されることができる。

【0063】

４０１において、入力ストリーム生成器１２２は、入力４２０を受け取る。例示される例において、入力４２０は、行列として表される６×３セットの入力値である。４０２において、入力ストリーム生成器１２２は、カーネルサイズに基づいて、入力４２０をパディングする。入力ストリーム生成器１２２は、前述したように、同じサイズの出力を生成すべく、カーネル４２２のフォーカス（これは中心値ｂである）が入力４２０の同じ位置に対応するように、入力４２０をパディングする。これは、入力ストリーム生成器１２２に、パディング４２６Ａを追加させる。入力ストリーム生成器１２２は、入力４２０を、それがカーネルサイズの倍数（モジュロ）となるようにもパディングする。これは、パディング４２６Ｂにおいて２列のパディングを追加する。最後に、１つの実施形態において、ハードウェア要件に起因して、入力ストリーム生成器１２２は、入力４２０のトレーリングエッジを、カーネルの幅に等しいパディングを用いてパディングする。ここで、カーネル４２２は、３の幅であり、そのため、３の幅のパディングが、入力４２０の端部に追加され、パディング４２６Ｃにおける３つの付加的な列のパディングという結果になる。

【0064】

４０３において、入力ストリーム生成器１２２は、既にパディングされた入力４２４を、カーネル４２２に等しいサイズを有するタイルに分割して、タイル化された入力４２８を作成する。カーネルは、３×１サイズの行列であるので、パディングされた入力４２４は、各々がサイズ３×１であるタイルに分割される。これは、１２枚のタイルという結果になる。ここで、タイルは、パディングされた入力４２４が行ごとに分割されるように、行優先の形式で分割され、順序付けられる。ただし、タイルは列ごとに分割されることも可能であり、その場合には、タイル１は［０、０、０］となり、タイル２は［１、７、１３］となる。後続の動作も同じ向きに従う限り、結果として生じる出力は同一になる。

【0065】

４０４において、入力ストリーム生成器１２２は、タイル化された入力４２８を平滑化された入力４３０に変換する。ここで、入力４３２の方向は、平滑化された入力４３０が次のステップ（乗加算ユニット１４０）へ入力される方向を示す。したがって、タイル１が最初に配置され、その後にタイル２が配置され、タイル１２まで配置される。各タイルは、単一のベクトルに変換され、その他のタイルから変換されるその他のベクトルと平行に配置される。ここでのタイルは既にベクトルであるので、付加的な変換は生じない。しかしながら、後続の例において示されるように、タイルは必ずしもベクトルとは限らず、そのような場合には、それらはベクトルになるように平滑化される。

【0066】

この平滑化された入力４３０は、配列、ツリー、または他の構造として記憶されてもよく、バッファ、メモリまたは他の記憶媒体に記憶されてもよい。タイル内の値の各々は、基準ポインタを使用して、メモリアドレスを使用して、またはクロックサイクル遅延に応じて、アクセスされることができる。クロックサイクル遅延の場合において、平滑化された入力４３０は、一度に１つのベクトルにおいて読み取られてもよく、異なる読み取りは、平滑化された入力４３０における異なるベクトルにアクセスすべく、一定のクロックサイクル数だけ遅延されることが可能である。例えば、タイル７は、７つのクロックサイクルだけアクセスを遅延させることによってアクセスされることができる。

【0067】

図５Ａは、一実施形態による、２次元カーネルの場合において入力テンソルを平滑化する例５００の第１の部分を例示する。図４の例とは対照的に、図５Ａ～図５Ｂでは、２次元カーネルが使用され、２次元のタイルという結果になる。１つの実施形態において、プロセスは、入力ストリーム生成器１２２によって実行されることができる。

【0068】

５０１において、入力ストリーム生成器１２２は、入力を受け取り、それをカーネルサイズに基づいてパディングして、パディングされた入力５２０を生成する。前述したように、パディングは、３つの要件、すなわち、１）出力値が入力値と同じサイズとなることを可能にするために、パディングは、カーネルのフォーカスポイントに基づいて追加されてもよいこと、２）入力は、それがカーネルサイズのモジュロとなるように、さらにパディングされてもよいこと、および、３）ハードウェア要件に起因して、一定の実施形態では、パディングの付加的なカーネル幅が、入力のトレーリングエッジに追加されること、を満たす。

【0069】

したがって、例示される例において、パディングのベクトル幅は、入力の外部に追加され、パディングの付加的なカーネル幅は、入力の右側および底部側（トレーリングエッジ）に追加される。カーネル５２２は、３×３カーネルであるので、付加的なパディングは、右側では３ユニットの幅であり、底部では３ユニットの高さである。

【0070】

５０２において、入力ストリーム生成器１２２は、パディングされた入力５２０を、カーネルに等しいサイズのタイルに分割する。カーネルは３×３であるので、各タイルは、したがってサイズが３×３である。これは、タイル化された入力５２４を作成する。タイル化された入力５２４の行サイズは、変数Ｋを使用して示され、変数Ｋは、続いて、処理されているタイルからの第２の行内のタイルにインデックス付けするために使用される。したがって、タイル化された入力５２４の第２の行上の第１のタイルは、タイル１＋Ｋであり、一方で、この右側のタイルは、タイル１＋Ｋ＋１である。第１のタイルが「０」からインデックス付けされる場合、Ｋは、行タイルサイズの代わりに、［行タイルサイズ］＋１に設定されることになることに留意されたい。

【0071】

プロセスは、図５Ｂにおいてさらに説明され、図５Ｂは、一実施形態による、２次元カーネルの場合において入力テンソルを平滑化する例の第２の部分を例示する。

【0072】

５０３において、入力ストリーム生成器１２２は、画像内のタイルを、特定のタイル順序に従ってベクトルに平滑化する。ここで、平滑化順序は、単一のタイル５３０の例についての平滑化順序５３２によって示されるような行優先である。言いかえれば、タイルごとに、そのタイル内の値は、方向矢印によって示されるように、行ごとに読み取られ、平滑化された入力５２８においてそのタイルについてのベクトル内に配置される。このベクトルは、平滑化された入力４３０についてのベクトルのように、その他のタイルについて生成されるベクトルに平行に（同じ平滑化順序に従って）配置され、入力の方向５３４に従って乗加算ユニット１４０への入力として使用される。ベクトルは垂直なものとして示されているが、向きは、他の実施形態では異なるものとすることができる。

【0073】

別の実施形態において、平滑化順序５３８は、代わりに列優先であり、各タイル内の値が列ごとに読み取られ、次いで、単一のベクトル内に配置され、パディングされた入力のその他のタイルから生成される他のベクトルに平行に配置されることを意味する。したがって、タイル１についてのベクトルが［０、０、０、０、１、２、０、１１、１２］に順序付けられる平滑化された入力５２８とは対照的に、ここでは、タイル１内の値が、行ごとの代わりに列ごと読み取られるので、タイル１についてのベクトルは、代わりに、［０、０、０、０、１、１１、０、２、１２］に順序付けられる。厳密な平滑化順序５３８は、出力値の生成におけるその他のプロセスの順序が同じ順序付けに対応する限り、出力に影響しない。

【0074】

図５Ｃは、一実施形態による、多様な入力チャネルについての入力テンソルを平滑化する例を例示する。１つの実施形態において、入力テンソル１０２は、図１において説明されたように、多様な入力チャネル１０４Ａ～１０４Ｎを有してもよい。多様な入力チャネルは、カーネルを用いて畳み込まれる。カーネルを用いたこれらの畳み込みの出力は、共に加算されて、出力アクティベーションが生成される。カーネル内に多様なカーネルフィルタがある場合、各カーネルフィルタは、多様な入力チャネルを用いて畳み込まれて、出力フィーチャが生成される。各入力チャネルは、色チャネル等などの、入力の異なる構成要素に対応することができる。１つの実施形態において、プロセスは、入力ストリーム生成器１２２によって実行されることができる。

【0075】

５０４において、入力ストリーム生成器１２２は、第１の平滑化された入力を用いて任意の付加的な入力チャネルをタイル化する。分かりやすくするために、カーネル５４２は２×２カーネルとして示されている。したがって、各タイルは２×２であり、各ベクトルは１×４ベクトルである。ここで、各入力チャネル５４０Ａ（一般に入力チャネル５４０）は、５０１からの入力に類似しており、したがって、入力ストリーム生成器１２２は、各入力チャネル５４０をパディングし、それを平滑化し、平滑化された入力チャネル５４４Ａ～５４４Ｎを生成する。１つの実施形態において、これらは、次いで、互いに「積み重ねられて」、平滑化された入力ストリーム５４６が生成される。しかしながら、他の実施形態では、それらは、異なった様式で、例えば、連結、３Ｄ配列での配置などを介して組み合わされてもよい。これらの場合のいずれにおいても、平滑化された入力ストリーム５４６は、様々な平滑化された入力チャネル５４４の組み合わせであり、平滑化された入力チャネル５４４の各々の対応するタイルは、平滑化された入力ストリーム５４６において共に参照されてもよい。したがって、例えば、（遅延クロックサイクルであれ、または他の手段であれ）平滑化された入力ストリーム５４６を用いたタイル５への参照は、平滑化された入力ストリーム５４６を構成するすべての平滑化された入力チャネル５４４においてタイル５を参照することができるであろう。

【0076】

図６Ａは、一実施形態による、３次元カーネルの場合において入力テンソルを平滑化する例の第１の部分を例示する。図４～図５Ｃと同様に、１つの実施形態において、ここで説明されるプロセスは、入力ストリーム生成器１２２によって実行されることができる。

【0077】

６０１において、入力ストリーム生成器１２２は、３次元入力を受け取り、図４～図５Ｃを参照して上述した方法と同様に、この入力をパディングして、パディングされた入力６２６を生成する。分かりやすくするために、単一幅のパディング６２８のみが、ここでは示されている。また、分かりやすいように、実際の入力値６３０は、それらが透視表現において重複することになるので、ここでは示されない。代わりに、パディング６２８の値は、濃い灰色パターンを用いて立方体として示され、入力値６３０は、白い立方体として示される。同じことは、カーネル６３２およびカーネル値は６３４に当てはまる。パディングされた入力６２６は、３つの次元１０６、すなわち、次元１ １０６Ａ、次元２ １０６Ｂ、および次元３ １０６Ｃを有することに留意されたい。いくつかの場合において、次元１は幅として、次元２は高さとして、次元３は深さとして参照されてもよい。さらに、次元１は列を有するものとして、次元２は行を有するものとして、次元３はアイルまたは層を有するものとして参照されてもよい。

【0078】

６０２において、入力ストリーム生成器１２２は、パディングされた入力６２６を、カーネル６３２に等しいサイズを有するタイルにタイル化して、タイル入力６２６を生成する。例示的なカーネル６３２は、サイズ２×２×２であり、３次元行列によって表されることができるので、タイルもサイズ２×２×２である。タイル化された入力の行内のタイルの数を示すＫ変数６３６に加えて、３次元入力は、タイル化された入力の層内のタイルの数を示すＭ変数も含む。現在のタイルに対応する位置を有する出力値を計算する場合、入力は、（２Ｄ入力の場合と同様に）現在のタイルの下のタイルだけでなく、現在のタイルの１つ後ろの層であるタイルから必要となることがある。したがって、現在のタイルの下にあるタイルのロケーションを示すために使用されることが可能であるＫパラメータに加えて、Ｍパラメータが、現在のタイルの後ろにあるタイルを示すために使用されることが可能である。下および後ろなどの方向に対して参照が行われているが、実際には、入力タイルは、ここで示されたように幾何学的に配置されなくてもよく、データ構造において抽象的に示されてもよい。しかしながら、同じＫパラメータおよびＭパラメータが適用される。パディングされた入力６２６は、６の幅および６の高さを有しており、カーネルの２×２個の層が、パディングされた入力６２６の６×６個の層に９回均等に分割するので、タイルの各層は、９つのタイルを含む。したがって、例示される例において、Ｍパラメータは９であり、Ｋパラメータは３である。

【0079】

プロセスは、図６Ｂに続き、一実施形態による、３次元カーネルの場合において入力テンソルを平滑化する例の第２の部分を例示する。ここで、６０３において、入力ストリーム生成器１２２は、各タイルを例示的な平滑化順序６４０に従ってベクトルへ平滑化し、図４および図５Ｂを参照して上述したプロセスと同様に、ベクトルを互いに平行に配置する。単一タイルは、今やサイズ２×２×２であるので、それは８つの値を含む。ある順序が確立され、それにより、これらの８つの値が、この順序に従って読み取られ、単一のベクトル内に並べられる。ここで、例示的な平滑化順序６４０は、単一のタイルを、まず、行ごとに（行優先で）読み取り、次いで、各層／アイルを（アイル優先で）読み取る。この順序は、単一のタイルの分解図を示す、例示的な平滑化順序６４０において、太字のイタリック体の数字によって示されている。したがって、「１」によって示されるタイル位置における値が最初に読み取られ、「２」によって示されるタイル位置における値が次に読み取られるなどし、「８」によって示されるタイル位置における値で終了する。タイルのサイズに応じて、異なる順序付けが確立されることが可能である。先の順序付けと同様に、順序付けが全プロセスにわたって一貫している限り、出力値は、使用される順序付けに関わらず、同じになるであろう。

【0080】

入力ストリーム生成器１２２によるこの平滑化の結果は、平滑化された入力６４２である。例示的な平滑化順序６４０は、平滑化された入力の各ベクトルにおいて順序６４４で示される。したがって、ベクトルごとに、順序６４４によって示されるような「１」の位置は、そのタイルについての例示的な平滑化順序６４０の「１」の位置にある、対応するタイルの位置からの値を有する。ここで、図６Ａと同様に、濃い灰色のエリアは、パディング値を示し、白いエリアは、入力値を示す。例えば、図６Ａにおけるタイル３は、４つの入力値および４つのパディング値を含む。例示的な平滑化順序６４０に従った後、これは、入力値とパディング値とが交互に繰り返される、平滑化された入力６４２においてタイル番号３で示されるベクトルに変換される。図４および図５Ｂにおける平滑化された入力と同様に、この平滑化された入力は、出力値を生成するためのさらなる処理のために、乗加算ユニット１４０へ送信される。

【0081】

（拡張カーネル生成）
図７は、一実施形態による、拡張カーネルを生成する方法を例示するフロー図７００である。例示されるフロー図は、動作の順序を示してもよいが、例示される動作は、任意の順序で実行されてもよく、より多数の動作またはより少数の動作を有してもよい。１つの実施形態において、図７に例示される動作は、拡張カーネル生成器１２６によって実行されることができる。

【0082】

拡張カーネル生成器１２６は、入力テンソルを畳み込むために使用されるカーネルを受け取る７１０。このカーネルは、カーネル１１０としてよい。カーネルの第１の（最小の）次元について、拡張カーネル生成器１２６は、カーネルの単一次元ベクトルごとに、その単一次元ベクトルのすべてのローテーションを含む、値の正方形ブロック（巡回行列）を生成する。ここでの各単一次元ベクトルは、カーネルの行、カーネルの列、カーネルの対角線、またはカーネルのアイルである、一意のベクトルである。カーネルのアイルは、カーネルの深さ（この場合には、第３の次元）に対応する軸に沿ってアラインされたカーネルのベクトルである。

【0083】

カーネル１１０が、多様なカーネルフィルタ１１２を有する場合、各カーネルフィルタは、本明細書で例示されるフロー図に従って別々に処理される。各カーネルフィルタが、サブフィルタカーネルを含む場合、そのサブフィルタカーネルも、フロー図に従って別々に処理される。ここでは次元が「第１の」または「最小」のものとして称されるが、カーネルの次元が特定の順序またはサイズ関係を有することを示すようには意図されていない。代わりに、カーネルの任意の次元が、第１の次元として選択されてよい。例えば、図６Ａの３次元カーネルにおいて、Ｘ軸６２０（Ｘ次元）、Ｙ軸６２２（Ｙ次元）、またはＺ軸６２４（Ｚ次元）に沿った次元のいずれかが、第１の次元として選択されてもよい。

【0084】

同様に、単一チャネルの入力テンソルまたは多様なチャネルの入力テンソルのいずれかを用いて畳み込まれたカーネルは、単一の出力チャネルを生成する。カーネルが、多様なフィルタを含む場合、各フィルタが入力テンソルに対して適用されて、別個の出力アクティベーションが生成される。

【0085】

第１の次元を処理すると、拡張カーネル生成器１２６は、カーネルの付加的な次元ごとに、直前の次元のブロックをブロックのセットにグループ化し７４０、ブロックの各セットは、（付加的な）次元の軸に平行なベクトルに沿ってアラインされる、直前の次元のブロックを含む。次元の軸に平行なベクトルは、現在処理されている次元の軸に平行なベクトルである。したがって、上記の例を使用して、Ｘ次元が第１の次元である場合、処理される次の次元は、Ｙ次元（ただし、それはＺ次元であってもよい）であってよい。Ｙ次元に沿って、Ｙ軸に平行であり、かつ、先行する次元からのブロックにアラインされる、１つまたは複数のベクトルが描かれてよい。これは、先行する次元（Ｘ次元）において４つのブロックが生成され、これらの各々が、それらが生成された同じロケーションに概念的に「配置される」場合、ブロックの２つの「列」を形成するからである。これらの「列」の各々は、Ｙ軸に平行なベクトルにアラインされ、またはＹ軸に平行なベクトルを通過する。アラインされたブロックは、共にグループ化される。

【0086】

付加的な次元について、拡張カーネル生成器１２６は、値の１つまたは複数のブロックをさらに生成し７５０、各ブロックは、直前の次元のブロックのセットの各々内のブロックのすべてのローテーションを含む。したがって、上記の例において、ブロックの各列は、その列内のブロックを回転させて、値の新しい正方形ブロックを生成する。これは、Ｙ次元についての値の２つの正方形ブロックという結果になる。ベクトルまたはブロックのセットを回転させるために、拡張カーネル生成器１２６は、行内の値を回転させて（例えば、値をバレルシフトさせて）、またはセット内のブロックを回転させて、ローテーションごとに新しいベクトルまたはブロックの順序付けを生成する。一旦すべての可能なローテーションが生成されると、ベクトルまたはブロックの順序付けの生成された組み合わせは、共に「積み重ねられて」、基礎をなすベクトルまたはブロックの基礎をなすセットのすべてのローテーションを含む出力ブロックを生成する。

【0087】

この例を続けると、次の次元、すなわち、Ｚ次元を処理する場合、ベクトルはＺ軸に平行である。この場合には、２つのブロック各々の先行する２つの「列」のローテーションから、２つのブロックが生成された。したがって、これらの２つのブロックは、それらがベクトルにアラインされるように「配置される」につれて、回転される。このベクトルを通過しないブロックは他に存在せず、したがって、必要とされるのは１つだけである。しかしながら、カーネルが、より高い次元を有する（すなわち、３次元よりも多い）場合には、このベクトルにアラインしないこととなる付加的なブロックがあってよく、付加的なベクトルは、付加ブロックをグループ化するために必要である。

【0088】

すべての次元が処理された場合、拡張カーネル生成器１２６は、カーネルの付加的な次元における最後の次元に対応する値のブロックを拡張カーネルとして出力する７６０。先の例を使用すると、Ｙ次元からの２つのブロックを回転させた後には、単一のブロックが残る。このブロックは、拡張カーネルとして出力される。

【0089】

したがって、例におけるように、３次元カーネルは、第１のベクトルのセットを含む拡張カーネルを有するので、各第１のベクトルは、第１のブロックのグループにおける第１のブロックの回転置換を有する。第１のブロックのグループの各第１のブロックは、第２のベクトルのセットの第２のベクトルに対応し、各第２のベクトルは、第２のブロックのグループの第２のブロックに対応する。第２のブロックのグループの各第２のブロックは、カーネル内のベクトル（カーネルベクトル）に対応し、各第２のブロックは、その第２のブロックの対応するカーネルベクトルのすべての回転置換を表す第３のベクトルのセットを有し、各第３のベクトルは、対応するカーネルベクトルの１つの回転置換を表す。ここで、第２のベクトルの各セットは、第２のブロックの対応するグループにおける第２のブロックのすべての回転置換を含む。また、第１のベクトルのセットは、第１のブロックのグループの第１のブロックのすべての回転置換を含む。

【0090】

１つの実施形態において、例におけるような３次元カーネルとする代わりに、カーネルは、１次元（１Ｄ）の行列であり、拡張カーネルは、複数の平行なベクトルを含み、複数の平行なベクトルの各ベクトルは、カーネルの異なる回転置換である。ここで、拡張カーネルは、各次元のサイズがカーネルのサイズに等しい正方行列である。

【0091】

別の実施形態において、カーネルは、２次元（２Ｄ）の行列であり、したがって、拡張カーネルは、第１のベクトルのセットを含み、各第１のベクトルは、ブロックのグループ内のブロックの回転置換を有する。ブロックのグループの各ブロックは、カーネル内のベクトル（カーネルベクトル）に対応し、各ブロックは、対応するカーネルベクトルのすべての回転置換を表す第２のベクトルのセットを有する。各第２のベクトルは、対応するカーネルベクトルの１つの回転置換を表し、第１のベクトルのセットは、ブロックのグループのブロックのすべての回転置換を含む。

【0092】

拡張カーネルは、一旦生成されると、拡張カーネルを生成するために使用される、対応するカーネルの次元のサイズの積に等しい長さを有する、２次元の正方行列である。１次元カーネル、２次元カーネル、および３次元カーネルのための拡張カーネルの生成についての付加的な例は、図８、図９Ａ～図９Ｃ、および図１０Ａ～図１０Ｃを参照して後述される。

【0093】

図８は、一実施形態による、１次元カーネルの場合において拡張カーネルを生成する例８００を例示する。１つの実施形態において、ここで説明されるプロセスは、拡張カーネル生成器１２６によって実行されることができる。

【0094】

８０１において、拡張カーネル生成器１２６は、カーネル８２０を受け取る。例示される例において、カーネル８２０は、３×１のサイズを有する（小文字はカーネル値を表す）。したがって、それは１次元カーネルである。図７において上述したプロセスに続いて、８０２において、拡張カーネル生成器１２６は、カーネル８２０の各単一次元ベクトルを回転させる。カーネル８２０は、［ａ、ｂ、ｃ］という単一のベクトルしか有しないので、このベクトルのみが回転するために使用可能である。このベクトルを回転させることは、合計３つの組み合わせ、すなわち、元のカーネル８２０において示される組み合わせ（［ａ、ｂ、ｃ］）、ならびにローテーション８２２の組み合わせ（［ｃ、ａ、ｂ］およびローテーション８２４の組み合わせ［ｂ、ｃ、ａ］）を生成する。ローテーションが生成される方法は、８０２において示される矢印によって示される。これらの組み合わせは、共にグループ化されて、巡回行列が形成される。８０３においては、処理するカーネル８２０の付加的な次元がないので、拡張カーネル生成器１２６は、ローテーション期間中に生成されたグループ化されたベクトルを拡張カーネル８２６として出力する。

【0095】

拡張カーネルは、カーネルの様々なローテーションを含むので、拡張カーネルの異なる行は、制御パターン（例えば、制御パターン１３６）によって選択されるような、平滑化された入力ストリームのタイルに対するドット積において使用されることが可能である。入力における単一の値上で元のカーネルを複数回ストライドさせる代わりに、ここでのカーネルは、カーネル内の要素の数に等しい入力を読み取ることを必要とせずに、それが平滑化された入力ストリームに対して上述した２^s-1回適用することができるように拡張される。拡張カーネルは、もっともらしい入力テンソル１０２よりサイズにおいてはるかに小さいので、入力テンソルの値を複数回読み取るよりも、ここで説明されるプロセスにおいてカーネルを拡張するほうが、はるかに効率的である。

【0096】

図９Ａは、一実施形態による、異なる２次元カーネルのための拡張カーネルを生成する例を例示する。図８と同様に、１つの実施形態において、ここで説明されるプロセスは、拡張カーネル生成器１２６によって実行されることができる。

【0097】

９０１において、拡張カーネル生成器１２６は、カーネルを受け取る。２次元のカーネルの３つの例９２０Ａ～９２０Ｃは、ここでは異なるサイズを有して示されている。カーネル９２０Ａはサイズ３×２であり、カーネル９２０Ｂはサイズ２×３であり、カーネル９２０Ｃはサイズ３×３である。９０２Ａにおいて、カーネル９２０の単一次元ベクトルは、行優先順序を使用して、カーネルローテーション９２２Ａ～９２２Ｃにおいて回転され、すなわち、単一次元ベクトルは、回転されるカーネルの行に対応する。図示されるように、カーネルのサイズに応じて、単一次元ベクトルの数は異なる。例えば、３つの行を有するカーネル９２０Ｂは、カーネルローテーション９２２Ｂにおいて３つのセットのローテーションを有し、一方で、カーネル９２０Ａは、２つのセットのローテーションのみを有する。

【0098】

９０３Ａにおいて、付加的な次元、すなわち、第２の次元が回転される。ここで、図７において述べたように、第２の次元の軸にアラインするベクトルが選択され、各ベクトルを通過するそれらのブロックは、共に回転される。カーネル９２０Ａの例においては、２つのブロック９２６Ａ～９２６Ｂがカーネルローテーション９２２Ａにおいて生成され、これらは、第２の次元の軸に沿った単一ベクトルにアラインされる。ブロック９２６Ａは、行［ａ、ｂ、ｃ］のローテーションを組み合わせることから生成され、ブロック９２６Ｂは、行［ｄ、ｅ、ｆ］のローテーションを組み合わせることから生成される。これらの２つのブロックは、カーネルローテーション９２４Ａにおいて回転されて、拡張カーネル９３２Ａが生成される。カーネル内にはそれ以上の次元がないので、さらなるローテーションはない。

【0099】

同様のプロセスは、カーネル９２０Ｂについて実行される。しかしながら、今回は、３つのブロック９２８Ａ～９２８Ｃがある。したがって、カーネルローテーション９２４Ｂにおいて、３つのブロック９２８Ａ～９２８Ｃが回転され、組み合わされて、拡張カーネル９３２Ｂが生成される。カーネル９２０Ｃの場合には、（カーネル９２０Ｃは３つの行を有するので）３つのブロック９３０Ａ～９３０Ｃが、カーネルローテーション９２２Ｃにおいても生成された。これらのブロック９３０Ａ～９３０Ｃは、カーネルローテーション９２４Ｃにおいて第２の次元において回転されて、拡張カーネル９３２Ｃが生成される。各拡張カーネルは、両方の次元（例えば、正方行列）に沿って等しいサイズを有し、各次元に沿ったサイズは、カーネルの次元の各々のサイズの積に等しい。例えば、カーネル９２０Ｂは、サイズ３×２を有し、したがって、その拡張カーネル９３２Ｂの各次元のサイズは、３＊２＝６である。

【0100】

図９Ｂは、一実施形態による、列優先拡張を使用して拡張カーネルを生成する例を例示する。図９Ａのように行優先順序を使用する代わりに、ここで例示される例は、列優先順序を使用する。

【0101】

９０２Ｂにおいて、拡張カーネル生成器１２６は、カーネル９２０Ｃを用い、各単一次元ベクトルを回転させる。ただし、代わりに、単一次元ベクトルが、カーネル９２０Ｃの列として選択される。したがって、値［ａ、ｂ、ｃ］を有するベクトルの代わりに、ここで示される第１のベクトルは、値［ａ、ｄ、ｇ］を有し、図においてラベル付けされているように列１に対応する。残りの２つのベクトルは、ラベル付けされているように列２および３に対応する。

【0102】

９０３Ａにおいて、ブロック９３８Ａ～９３８Ｃに形成される、９０２Ｂからの回転されたベクトルは、カーネルローテーション９３６において回転され、これは、図９Ａに示されるカーネルローテーション９２４と同様である。これは、拡張カーネル９４０を生成し、拡張カーネル９４０は、同じカーネルを使用するにもかかわらず、拡張カーネル９３２Ｃと異なる。しかしながら、制御パターンも、この列優先順序を考察して生成される場合、畳み込みが適用された後に、出力値は異ならない。

【0103】

図９Ｃは、一実施形態による、多様なカーネルフィルタの場合において拡張カーネルを生成する例を例示する。カーネルが、多様なカーネル「フィルタ」を有する場合、各カーネルフィルタは、単一のカーネルについて前述したのと同じ方法で拡張される。各フィルタが、さらなるサブフィルタカーネルを有する場合、これらも同じ方法で拡張される。したがって、カーネルフィルタ９４２Ａ～９４２Ｎは、例示されるような拡張カーネルフィルタ９４４Ａ～９４４Ｎへ拡張される。

【0104】

図１０Ａは、一実施形態による、３次元カーネルの場合において拡張カーネルを生成する例１０００の第１の部分を例示する。図８および図９Ａ～図９Ｃと同様に、１つの実施形態において、ここで説明されるプロセスは、拡張カーネル生成器１２６によって実行されることができる。

【0105】

１００１において、拡張カーネル生成器１２６は、カーネル１０２６を受け取る。図示される分解図において、カーネル１０２６は、層１０２８Ａおよび層１０２８Ｂを有することが分かる。各層は、異なるカーネル値「ａ」～「ｈ」を有し、２×２×２カーネル１０２６について８つの値という結果になる。

【0106】

１００２において、拡張カーネル生成器１２６は、（この例では、行優先順序を使用して）カーネル１０２６のすべての単一次元ベクトルを回転させる。カーネル１０２６には、各層１０２８に２つずつ、カーネル１０２６における４つの行に対応する、これらが４つある。したがって、４セットの回転が、カーネルローテーション１０３０を生成する［または：？？？によって生成される］。

【0107】

１００３Ａにおいて、拡張カーネル生成器１２６は、カーネルローテーション１０３０において生成されたブロックをグループ化することによって、第２の次元（すなわち、次の次元）を回転させる。ここで、処理されている現在の次元（すなわち、第２の次元）の軸に平行なベクトルに沿ってアラインする、カーネルローテーション１０３０からのブロックは、共にグループ化される。ここで、セット１０３４Ａを形成するブロックは、第２の次元軸、すなわち、Ｙ軸１０２２に平行なベクトル（すなわち、ベクトル１０３２Ａ）に沿ってアラインする。セット１０３２Ａ内のそれらからの別個の層上にあった値から形成された、セット１０３４Ｂを形成するブロックも、第２の次元軸に平行なベクトル（すなわち、ベクトル１０３２Ｂ）に沿ってアラインされる。

【0108】

２つのベクトルがここでは描かれているが、それらは、どのようにブロックがグループ化されるかの背後にある概念的な理由付けを示すために提示される。実際には、ベクトルは描かれず、拡張カーネル生成器１２６は、これらのブロックを、それらが生成された次元のインデックスを決定することによってグループ化する。例えば、セット１０３４Ａのブロックは、層１０２８Ａ（「０」のインデックスを有してよい）から生成され、セット１０３４Ｂのブロックは、層１０２８Ｂから生成される。したがって、拡張カーネル生成器１２６は、これらの異なる層から別々に生成されたブロックを回転させることを知っている。このプロセスは、現在の次元のインデックス値を先行する次元において生成されたブロックをグループ化するために使用して、後続の次元で繰り返される。

【0109】

このプロセスは、図１０Ｂに続き、一実施形態による、３次元カーネルの場合において拡張カーネルを生成する例の第２の部分を例示する。

【0110】

ここで、１００３Ｂにおいて、拡張カーネル生成器１２６は、セット１０３４Ａ～１０３４Ｂへグループ化された、先行する生成からのブロックのローテーションを生成する。各セットのブロックは、別々に回転される。図示されるように、これは２つのブロック、すなわち、セット１０３４Ａの２つのブロックのローテーションから生成されるブロックと、セット１０３４Ｂの２つのブロックから生成されるブロックとを生成する。

【0111】

１００４Ａにおいて、拡張カーネル生成器１２６は、次の次元、すなわち、３次元カーネル１０２６の最後の次元でもある第３の次元を除いて、ステップ１００３Ａを繰り返す。ここで、拡張カーネル生成器１２６は、次元の軸にアラインされたベクトルに沿ってブロックをグループ化する。例示されるようなこのベクトルは、ベクトル１０４０であり、軸は、Ｚ軸１０２４である。１００３Ｂにおいて生成されたブロックの各々は、カーネルの異なる層上のブロックから生成されたものであり、したがって、１００３Ｂにおいて生成されたブロックも同様に概念的に異なる層上にある。ベクトル１０４０は、生成された両方のブロックとアラインし（すなわち、両方のブロックを通過することができ）、したがって、これらのブロックは、セット１０３８Ａへグループ化される。他にグループ化するブロックはないので、これは第３の次元についての唯一のセットである。

【0112】

プロセスは、図１０Ｃに続き、一実施形態による、３次元カーネルの場合において拡張カーネルを生成する例の第３の部分を例示する。ここで、１００４Ｂにおいて、拡張カーネル生成器１２６は、先行する次元を処理するときに生成されたブロックのセット内のブロックについて、すべてのローテーションを生成する。例示される例においては、１つのセット１０３８Ａのみが存在し、したがって、これはカーネル１０２６の次元のうちの最後の次元であるので、このセット内のブロックが回転されて、最終的な拡張カーネル１０４４が生成される。

【0113】

（制御パターン生成）
図１１は、一実施形態による、制御パターンを生成する方法を例示するフロー図１１００である。例示されるフロー図は、動作の順序を示してよいが、例示される動作は、任意の順序で実行されてもよく、より多数の動作またはより少数の動作を有してもよい。１つの実施形態において、図７に示される動作は、制御パターン生成器１３４によって実行されることができる。

【0114】

制御パターン生成器１３４は、出力アクティベーションを生成するために入力テンソルを用いて畳み込まれるカーネルの次元の各々の１つまたは複数のサイズを受け取る１１１０。このカーネルは、図１におけるカーネル１１０としてよい。カーネルは、１次元、２次元、３次元、またはそれ以上であってもよい。カーネルの各次元は、サイズを有し、これは、制御パターン生成器１３４によって受け取られる。

【0115】

１１２０において、制御パターンの位置ごとに、制御パターン生成器１３４は、その位置についての、制御パターン内の位置のロケーションと、カーネルの次元の各々の１つまたは複数のサイズとに基づく値を生成する１１３０。

【0116】

一旦すべての位置における値が生成されると、制御パターン生成器１３４は、完成した制御パターン正方行列を出力する１１４０。制御パターンの各次元は、カーネルの幅および高さの積に等しいサイズである。また、制御パターンの各位置の値は、カーネルを用いた畳み込みのために平滑化された入力テンソルからの値にアクセスするロケーションを示す。

【0117】

１つの実施形態において、制御パターンの各位置は、行番号および列番号を有し、各値の生成は、カーネルの次元ごとに、行番号、列番号、およびカーネルの次元の各々の１つまたは複数のサイズに基づいたテストの結果を決定することを含む。各テストは、平滑化された入力ストリームからの値にアクセスする相対的オフセットの量を示すバイナリ出力を生成し、これは、上述したように、入力テンソルのカーネルサイズのタイルを平滑化することによって入力テンソルから生成される。制御パターンのその位置についての値は、カーネルの各次元についてのテストのバイナリ出力の組み合わせとして生成される。各テストは、位置の行番号を使用する第１のモジュロ計算と、位置の列番号を使用する第２のモジュロ計算とを比較する不等式テストであってよい。第１のモジュロ計算は、行番号とカーネルの次元の各々についての１つまたは複数のサイズとの間のモジュロである。第２のモジュロ計算は、列番号とカーネルの次元の各々についての１つまたは複数のサイズとの間のモジュロである。２次元カーネルの場合において、第１のテストは、ｒ ｍｏｄ ｈ＜ｃ ｍｏｄ ｗであり、第２のテストは、ｆｌｏｏｒ（（ｒ ｍｏｄ（ｈ＊ｗ））／ｈ）＜ｆｌｏｏｒ（（ｃ ｍｏｄ（ｈ＊ｗ））／ｗ）であり、ただし、ｒは行番号であり、ｃは列番号であり、ｈはカーネルの高さであり、ｗはカーネルの幅である。

【0118】

１つの実施形態において、制御パターンは、複数のベクトルを含み、複数のベクトルのベクトルの数は、出力アクティベーションのカーネルサイズのタイル内の出力値位置の数に対応する。複数のベクトルの各ベクトル内の値は、遅延値に対応し、各遅延値は、平滑化された入力ストリーム内の個々の入力値にアクセスする遅延の量を示す。上述したように、平滑化された入力ストリームは、入力テンソルから生成される平行なベクトルのセットを含み、遅延の量は、平滑化された入力ストリーム内の平行なベクトルのうちの１つを特定する。

【0119】

１つの実施形態において、遅延値は、生成される出力値に対応する出力値位置ごとに、その出力値位置に対応する制御パターン内のベクトルを選択することによって、出力アクティベーションのカーネルサイズのタイルの出力値位置ごとの出力値を生成するために使用される。制御パターンの選択されたベクトル内の遅延値がアクセスされ、各遅延値は、出力値を生成するために使用される各入力値にアクセスする平滑化された入力ストリームの内の平行なベクトルを示す。アクセスされた入力値と拡張カーネルのベクトルとの間でドット積が実行されて、出力アクティベーションのカーネルサイズのタイル内の出力値位置における出力値が生成される。１つの実施形態において、拡張カーネルは、階層的ブロックのセットを含むようにカーネルを修正することによって生成され、階層的ブロックのセット内の各ブロックは、そのブロックのノードであるブロックのすべての回転置換を含む。階層的ブロックのセットのリーフは、カーネルの個々のベクトルのすべての回転置換を含むブロックであり、階層的ブロックのセット内の各ブロックは、カーネル内のそのブロックによって表される次元の軸に平行なベクトルにアラインされるブロックであるノードを有する。

【0120】

１つの実施形態において、制御パターンは、入力テンソルを畳み込むために使用される、対応するカーネルの次元のサイズの積に等しい長さを有する２次元の正方行列である。

【0121】

１つの実施形態において、制御パターンにおける遅延値が配置される順序は、平滑化された入力ストリームを生成するために入力テンソルのカーネルサイズのタイルがアクセスされる定義された順序に基づく。

【0122】

１つの実施形態において、定義された順序は、行優先順序、列優先順序、またはアイル優先順序である。アイル優先順序は、まず、３Ｄタイルの深さに対応する軸に沿って、続いて、３Ｄタイルの幅および高さに対応する軸に沿って、入力テンソルの３次元（３Ｄ）のカーネルサイズのタイル内の要素にアクセスする。

【0123】

上記のフロー図は、カーネルの次元のサイズから制御パターンを生成する方法を例示しているが、別の実施形態では、様々なカーネルサイズのための様々な制御パターンが、メモリに記憶され、使用されているカーネルサイズに応じて取得される。制御パターンの生成に関する付加的な詳細は、図１２～図１３を参照して後述される。

【0124】

図１２Ａは、一実施形態による、制御パターンの生成のための概念的基礎の例の第１の部分１２００を例示する。

【0125】

前述したように、制御パターンの目的は、拡張カーネルとの組み合わせのために、平滑化された入力ストリーム内の正確なタイルから値を選択して、出力値を生成することである。カーネルが、畳み込みの素朴な実装において入力値上をストライドするにつれて、入力から異なる値が読み取られ、カーネル内の重みと組み合わされて、出力が生成される。制御パターンは、これがシミュレートされることを、正確な出力値を生成すべく、異なる入力値が位置する異なるタイルを選択することによって可能にする。しかしながら、素朴な実装とは対照的に、入力値は複数回読み取られず、最小限の読み取りが行われる。選択するタイルを示す制御パターンにおけるパターンを決定すべく、下記の方法が使用されてよい。しかしながら、下記の方法は、制御パターンを生成するために使用されることが可能であるが、本明細書で説明される方法は、効率を欠く場合があるので、実際には、ハードウェアは、図１１を参照して上述した方法などの別の方法を使用することになるであろう。したがって、本明細書で説明される方法は、制御パターンの概念的な理解を提供するために、より役立つことができる。

【0126】

１２０１において、図４～図６を参照して上述した方法と同様に、入力が平滑化される。ここでの入力テンソルは、サイズ４×４であり、カーネル１２２０がサイズ２×２であるので、したがって、各タイルはサイズが２×２であり、全部で４枚のタイルがある（パディングはここでは適用されない）。したがって、平滑化された入力１２１８は、４つのベクトルを有し、各々がタイルを表す。図７～図１０を参照して上述したプロセスと同様に、カーネルも拡張されて、拡張カーネル１２２４が生成される。

【0127】

１２０２において、平滑化された入力１２１８における第１のタイル、すなわち、タイル１（１２２２Ａ）は、拡張カーネルと乗算されて、要素ごとの積１２２６Ａが生成される。したがって、タイル１ １２２６Ａ内の「１」には、対応する行内の拡張カーネル１２２４内の４つのカーネル値「ａ」、「ｂ」、「ｃ」、および「ｄ」の各々が乗算され、４つの積「ａ１」、「ｂ１」、「ｃ１」、および「ｄ１」が生成される。これは、タイルの残りの値に対して、および、その他のタイル２～４（１２２２Ｂ～１２２２Ｃ）に対して、繰り返される。これは、図示されるように要素ごとの積（１２２６Ａ～１２２６Ｄ）を作成する。

【0128】

プロセスは、図１２Ｂに続き、一実施形態による、制御パターンの生成のための概念的基礎の例の第２の部分を例示する。今や要素ごとの積１２２６Ａ～１２２６Ｄが生成されているので、１２０３において、元の入力単一のタイルに重複するカーネルの位置ごとに、（例示される例では、カーネルの行ごとのストライドを使用して）要素ごとの畳み込み積を生成するために必要なタイル値が決定される。したがって、カーネルの位置が入力の上部左端にある、位置１（１２３０Ａ）において、カーネル位置境界ボックス１２３２によって示されるように、入力に対してオーバーレイされたカーネル値「ａ」、「ｂ」、「ｃ」、および「ｄ」は、カーネル値がオーバーレイする入力の基礎をなす値に対して乗算される。したがって、「ａ」は入力における「１」と乗算され、「ｂ」は「２」と乗算され、「ｃ」は「３」と乗算され、「ｄ」は「４」と乗算されて、例示されるように、位置１（１２３４Ａ）について要素ごとの積のペアが生成される。これらの積のペアは、例示される例では、列として示されているが、平滑化された入力ストリームまたは拡張カーネルが、それぞれ行優先フォーマットまたは列優先フォーマットを使用して生成されたかどうかに応じて、行として示されるようにも転換されることが可能である。

【0129】

要素ごとのペア１２３４Ａに基づいて、要素ごとの積１２２６Ａ～１２２６Ｄのうちのいずれから、これらの要素ごとのペアが位置付けられることが可能であるかが決定される。位置１（１２３０Ａ）の第１の例において、これらのペアはすべて、要素ごとの積１２２６Ａに位置付けられることが可能であり、ラベル「Ａ」を与えられる。したがって、位置１を分析した後の制御パターンは、すべてが「Ａ」の列として１２３６Ａにおいて示されている。ここで、Ａは、処理されている現在のタイルを表してよく、現在のタイルは、タイルＸとして一般化されてよい。

【0130】

位置２（１２３０Ｂ）では、カーネル位置１２３２は、右へ１つ移動され、ただし、それは依然として入力における第１のタイル上に重複する。要素ごとの積のペア１２３４Ｂは、「ａ２」、「ｂ５」、「ｃ４」および「ｄ７」である。カーネル内の「ｄ」が、今や入力内の値「７」上にあるので、この「ｄ７」積ペアは、要素ごとの積１２２６Ａにおいては見つけることができないが、要素ごとの積１２２６Ｂにおいて見つかり、これは「Ｂ」で示される。したがって、１２３６Ｂにおいて示される制御パターンの次の列は、要素ごとの積ペア１２３４Ｂにおける「ｄ７」の位置に対応する最後の値において「Ｂ」を有する。さらに、ここで、Ｂは、現在のタイルＸに１を加えたもの、すなわち、タイルＸ＋１に対応する。

【0131】

位置３では、カーネル位置１２３２は、下へ１つ、および左へ１つ移動される。カーネルは、さらに右に移動された場合、第１のタイルと重複しなくなるため、さらに右には移動されない。制御パターンは、入力における同じタイル位置に対応する単一のタイル、すなわち、現在のタイル、の出力値を生成するために使用される平滑化された入力ストリームからの値のみを決定するために生成されるので、これは不必要である。付加的なタイルは、別々に計算される。したがって、システムは、タイルごとに出力値を計算するので、ここで説明されるプロセスは、カーネルが問題の単一のタイル上に重複する、カーネルのそれらの位置のみに関係する。また、カーネル１２２０のフォーカスは、例示される例では、カーネル１２２０の左上部位置（「ａ」によって示される）であるので、関心の対象である、現在のタイル上のカーネルの位置１２３２は、カーネルのフォーカスが現在のタイルの入力値の各々にオーバーレイされる位置である。したがって、位置３は、（行ごとの順序を使用して）カーネルのフォーカスが現在のタイル内の第３の値上にオーバーレイされる位置である。この場合において、カーネルは、現在のタイルから読み取るが、現在のタイルの下にあるタイルからも読み取り、これは、タイルＸ＋Ｋであり、ただし、Ｋは、前述したように行（または列）内のタイルの数である。これらの値は、カーネルと組み合わされて、要素ごとの積ペア１２３４Ｃが生成される。要素ごとの積ペア１２３４Ｃに示されるように、「ｃ９」および「ｄ１０」は、現在のタイルの下にあるタイルからの値を含み、要素ごとの積１２２６Ｃにおいて見つけることができ、すなわち、「ｃ９」および「ｄ１０」は、要素ごとの積１２２６Ｃの値のうちの１つに位置付けられることが可能である。最初の２つの積ペア、すなわち、「ａ３」および「ｂ４」は、それらが現在のタイルからの値のみを含むので、要素ごとの積１２２６Ａにおいて見つけることができる。したがって、１２３６Ｃにおいて示されるような位置３の後の制御パターンの次の列は、２つの「Ａ」、および２つの「Ｃ」を有し、文字の順序付けは、積ペアの順序に対応する。

【0132】

最後に、位置４（１２３０Ｄ）において、入力に対してオーバーレイされたカーネルの位置１２３２は、現在のタイルおよび現在のタイルを囲む３枚の他のタイルすべてからの値に触れる。したがって、積ペア１２３４Ｄは、「ａ４」、「ｂ７」、「ｃ１０」および「ｄ１３」である。これらは、要素ごとの積１２２６Ａ～１２２６Ｄの各々においてそれぞれ識別されることが可能である。したがって、１２３６Ｄにおいて示されるような制御パターンの最後の列は、文字「Ａ」～「Ｄ」を使用して、要素ごとの積１２２６Ａ～１２２６Ｄの４つすべてをそれぞれ示す。ここで、Ｄは、現在のタイルＸに、行サイズ変数Ｋを加え、１を加えたもの、すなわち、Ｘ＋Ｋ＋１を表し、したがって、現在のタイルの下であって、かつ、右側にあるタイルを参照する。

【0133】

ここで示されるように、制御パターン内の値は、現在のタイルを囲むどのタイルについて、現在のタイル上のカーネルのフォーカス位置についての畳み込みを計算するための値を取得するかを示し、それは、平滑化された入力ストリームから値を選択するためにも使用することが可能であり、それは、次いで、拡張カーネルの対応するベクトルと組み合わされて、出力における対応するフォーカス位置についての出力値が生成される。

【0134】

図１３Ａは、一実施形態による、２次元カーネルのための制御パターンの値の生成の一部の例１３００を例示する。１つの実施形態において、ここで説明されるプロセスは、制御パターン生成器１３４によって実行される。

【0135】

１１３１において、制御パターン生成器１３４は、制御パターン１３２０についてのすべての値を生成する。ここで、制御パターン１３２０の値のほとんどが既に生成されているが、残りの値１３２４は、プロセスを例示するためにまだ生成されていない。この値１３２４は、図示されるように行０かつ列８にある。制御パターン生成器１３４は、１３１２において、位置についてのテスト結果を、その位置についての行番号および列番号／座標を使用して決定する。テスト結果は、不等式テスト１３３０を参照する。テストの数は、カーネルの次元の数に等しい。カーネルが、ここでは２次元であるので、２つのテストが生成される。各テストは、入力テンソルにおける各次元のタイル化されたサイズを識別するために使用されるシフト変数のうちの１つに対応する。例えば、Ｋは、第１の次元、すなわち、各行におけるタイルのサイズまたは数を表し、一方で、Ｍは、第２の次元、すなわち各層におけるタイルの数を表す。あるいは、特定の次元の各シフト変数は、その次元のタイル化されたサイズの積、および任意の先行する次元のタイル化されたサイズの積に等しいものとして定義されることが可能である。ここで、タイル化されたサイズは、入力テンソルにおける次元に平行な長さに広がるタイルの数を示す。

【0136】

また、テストは、第１の次元に対して生成され、これは、シフト変数ではなく、現在のタイルに対応する。したがって、ここで、ｔｅｓｔ＿ｋおよびｔｅｓｔ＿１が生成される。あるいは、これらは、ｄｅｌａｙ＿ｋおよびｄｅｌａｙ＿１と称されてもよく、なぜならば、上記のように、シフト変数は、平滑化された入力ストリームにアクセスするための遅延の量を示すために使用されることが可能であるからである。

【0137】

ここで図から分かるように、テスト不等式の生成は、パターンに従う。第１の次元１のためのテスト不等式は、ｒ ｍｏｄ ｈ＜ｃ ｍｏｄ ｗであり、ただし、ｒは、制御パターン１３２０において示されるような制御パターンの行番号であり、ｈは、カーネル１３２２において示されるようなカーネルの高さであり、ｃは列番号であり、ｗはカーネルの幅である（ｍｏｄは、モジュロ演算であり、＜は、未満を示す）。Ｋ変数に対応する第２のｔｅｓｔ＿ｋは、類似しているが、これが第２の次元であるので、エリア、すなわち、計算におけるｈ＊ｗを含む。したがって、結果として生じるテスト不等式は、ｆｌｏｏｒ（（ｒ ｍｏｄ（ｈ＊ｗ））／ｈ）＜ｆｌｏｏｒ（（ｃ ｍｏｄ（ｈ＊ｗ））／ｗ）であり、ｆｌｏｏｒは、フロア演算または（直近の整数への）切り捨て演算である。ここでのカーネル１３２２は正方形のカーネルであるが、他の場合には、カーネルは正方形ではなくてもよく、したがって、カーネルの高さおよび幅の両方が、テスト不等式において考慮される。

【0138】

両方のテストの結果は、結果表１３３２において参照される。ここで、各テストの真または偽（すなわち、１または０）の結果に応じて、異なる値（すなわち、インジケータ）が、制御パターン内のその対応する位置に配置される。ここで、２つのテストがあるので、合計４つの可能な値があり、これらは、文字Ａ、Ｂ、Ｃ、およびＤとしてここでは表され、同等に、バイナリ値００、０１、１０、および１１としてそれぞれ表される。本明細書で説明されるように、これらの値は、出力アクティベーションを計算するために値にアクセスする平滑化された入力ストリームのベクトル／タイルを示す。ここで、テスト結果１３２６において示されるように、行番号を０、列番号を８とすると、両方のテストの結果が真となり、したがって、１３２４における値は「Ｄ」または１１であり、これは現在のタイルｘ＋ｋ＋１を参照する。行番号および列番号は、図示されるように順序付けられているが、別の実施形態では、順序付けは反対にすることができる。テスト不等式が（例えば、それらを反対にすることによって）修正される限り、ここでの結果は同じになることになる。したがって、ここでのプロセスは、制御パターンの行または列がラベル付けされる特定の方法によって限定されない。

【0139】

図１３Ｂは、一実施形態による、３次元カーネルのための制御パターンの値の生成の一部の例１３０１を例示する。１つの実施形態において、ここで説明されるプロセスは、制御パターン生成器１３４によって実行される。

【0140】

ここで、１３５１において、制御パターン生成器１３４は、制御パターン１３６０についての値を生成する。図１３Ａの制御パターンとは対照的に、制御パターン１３６０は、高さ２、幅２、および深さ２（それぞれｈ、ｗ、およびｄとラベル付けされる）を有する３次元カーネル１３６２に対して生成される。

【0141】

図１３Ａにおいて前述したように、カーネルの各次元は、テスト不等式に関連付けられる。したがって、ここでは、３つのテスト不等式がテスト表１３７０において生成される。図１３Ａと同様に、それらは、ｔｅｓｔ＿ｍ、ｔｅｓｔ＿ｋおよびｔｅｓｔ＿１の代わりに、それぞれｄｅｌａｙ＿ｍ、ｄｅｌａｙ＿ｋおよびｄｅｌａｙ＿１とも称されてよい。ｔｅｓｔ＿１とｔｅｓｔ＿ｋとの両方は、図１３Ａに示されるテスト不等式と同じである。Ｍシフト変数（すなわち、入力テンソルの層内にどれだけ多くのタイルがあるか）に対応するＴｅｓｔ＿ｍは、ｔｅｓｔ＿ｋと同様のパターンに従うが、ここでは、カーネルの深さ（ｄ）を含む。

【0142】

カーネルが付加的な次元を含むとすれば、このテスト不等式は、付加的な次元を含むようにさらに拡大されることになる。例えば、４つの次元では、テスト不等式は、ｆｌｏｏｒ（（ｒ ｍｏｄ（ｈ＊ｗ＊ｄ＊ｔ））／（ｈ＊ｄ＊ｔ）＜ｆｌｏｏｒ（（ｃ ｍｏｄ（ｈ＊ｗ＊ｄ＊ｔ））／（ｗ＊ｄ＊ｔ）であってもよく、ｔは、「ｔｒｅｎｇｔｈ」、またはカーネルの第４次元のサイズを表す。このパターンは、より上位の次元に続き、付加的な次元がテスト不等式に追加される。したがって、テスト不等式は、Ｎ個の次元を有するカーネルについて、ｆｌｏｏｒ（（ｒ ｍｏｄ（カーネルの次元のサイズの積））／（ｈ＊幅を除いたカーネルの次元のサイズの積）＜ｆｌｏｏｒ（（ｃ ｍｏｄ（カーネルの次元のサイズの積））／（ｗ＊高さを除いたカーネルの次元のサイズの積）の形式を取り、そのカーネルについての残りのテスト不等式は、より下位の次元のカーネルＮ－１、Ｎ－２．．．１についてのテスト不等式であり、１つの次元を有するカーネルについてのテスト不等式は、ここで示されるｔｅｓｔ＿１と同じである（また、２つの次元を有するカーネルのそれは、ここで示されるｔｅｓｔ＿ｋと同じである等）。

【0143】

３次元カーネルに対して３つのテストがあるので、結果表１３７２に示される、合計８つの組み合わせがある。各組み合わせは、インジケータＡ～Ｈまたは３ビットのバイナリ値に対応する。図１３Ｃを参照して下記でさらに説明されるように、バイナリビットのパターンは、いくつかの実施形態において制御パターンを効率的に記憶するために使用されることが可能である。１３５２において、制御パターン生成器１３４は、制御パターン１３６０について、行０かつ列７における最後の残りの値１３６４を生成する。テスト結果１３６６において示されるように、３つのテスト不等式すべてが真という結果になり、この位置についてのインジケータＨ、またはバイナリ値１１１に対応する。したがって、Ｈは、制御パターン１３６０の行０、列７の位置に記憶されることになる。しかしながら、すべてのテスト不等式が真ではなかった場合、計算されたテスト不等式の結果とマッチングする、３つのテスト不等式結果を示す結果表１３７２内の行の選択に基づいて、異なるインジケータが選択されることになる。

【0144】

カーネルが付加的な次元を含む場合、結果表１３７２のサイズは、テスト不等式の数と同様に増加することになる。ただし、結果表内の行の数は、２^X行に等しくなり、ただし、Ｘは、カーネルの次元の数である。図から分かるように、最大次元の結果がバイナリ値の最上位ビットを形成し、最小次元の結果が最下位ビットを形成するように、テスト不等式結果が順序付けられるように体系化される場合、結果の組み合わせの各々は、バイナリ値として考えられることが可能であり、（例えば、上から下へ昇順で）表において連続して順序付けられることが可能である。各組み合わせに関連付けられたインジケータも、連続して増加し、連続して増加する次元サイズのシフト変数の組み合わせにも関連付けられる。例えば、例示される例では、ＡおよびＢは、シフト変数に関連付けられないが、現在のタイル（すなわち、現在のタイルｘおよびｘ＋１）のみに関連付けられ、ＣおよびＤは、シフト変数ｋ（すなわち、ｘ＋ｋおよびｘ＋ｋ＋１）に関与し、ＥおよびＦは、次に最も高い次元シフト変数ｍ（すなわち、ｘ＋ｍおよびｘ＋ｍ＋１）に関与し、ＧおよびＨは、ｋおよびｍ（すなわち、ｘ＋ｍ＋ｋおよびｘ＋ｍ＋ｋ＋１）の合計に関与する。カーネルが、付加的な次元のものである場合、これは、サイズをさらに増加させながら、シフト変数の組み合わせに続くことになる。各組み合わせは、２つのインジケータを含み、一方は、組み合わせ自体であり、他方は、組み合わせに１を加えたものである。したがって、４次元カーネルについて、パターンは、ＩおよびＪ（ｘ＋ｔおよびｘ＋ｔ＋１）、ＫおよびＬ（ｘ＋ｔ＋ｋおよびｘ＋ｔ＋ｋ＋１）、ＭおよびＮ（ｘ＋ｔ＋ｍおよびｘ＋ｔ＋ｍ）、ならびに、ＯおよびＰ（ｘ＋ｔ＋ｍ＋ｋおよびｘ＋ｔ＋ｍ＋ｋ＋１）に続くことになる。これらは、バイナリ値１０００から１１１１（または８から１５）に対応し、最上位の数字は、第４の次元についてのテスト不等式（すなわち、「ｔｅｓｔ＿ｔ」または「ｄｅｌａｙ＿ｔ」）に対応し、残りのビットは、本明細書で例示される同じ３つのテストに対応する。

【0145】

テスト不等式を計算するために、変数ｒは、値が生成される制御パネルの位置の行番号（ここでは０）に置換され、変数ｃは、値が生成される制御パネルの位置の列番号（ここでは７）に置換され、変数ｈ、ｗ、およびｄは、カーネルの高さ、幅、および深さのサイズ（ここでは、２、２、および２）に置換されることに留意されたい。

【0146】

図１３Ｃは、一実施形態による、異なる次元のカーネルのための制御パターンを生成する例１３００を例示する。図１３には、３×１ １Ｄカーネル１３１０、３×３ ２Ｄカーネル１３１４、および２×２×２ ３Ｄカーネル１３１８が例示されており、３Ｄカーネル１３１８は、分かりやすいように分解図で例示されている。対応する制御パターン１３１２、１３１６、および１３２０は、これらのカーネルに対してそれぞれ例示されている。それらは、図１１を参照して上述した方法に従って生成されることができる。１Ｄカーネルについて、制御パターン１３１２における識別子「Ａ」は、現在のタイルＸを示し、一方で、「Ｂ」は、タイルＸ＋１を示す。制御パターン１３１６について、「Ａ」は、現在のタイルＸを示し、「Ｂ」は、タイルＸ＋１を示し、「Ｃ」は、タイルＸ＋Ｋを示し、ただし、Ｋは、前述した行サイズ変数であり、「Ｄ」は、タイルＸ＋Ｋ＋１を示す。制御パターン１３２０について、「Ａ」から「Ｄ」は、制御パターン１３１６と同じタイルを示す。また、「Ｅ」は、タイルＸ＋Ｍ（現在のタイルの後ろのタイル）に対応し、Ｍは、層タイルサイズ（すなわち、層内のタイルの数）である。「Ｆ」は、Ｘ＋Ｍ＋１、すなわち、現在のタイルの背後のタイルの右側のタイルに対応する。「Ｇ」は、タイルＸ＋Ｍ＋Ｋであり、現在のタイルの後ろの、かつ、下にあるタイルに対応する。「Ｈ」は、タイルＸ＋Ｍ＋Ｋ＋１に対応し、現在のタイルの後ろの、かつ、下にある、かつ、右側のタイルに対応する。

【0147】

１つの実施形態において、図１３に示される文字などのインジケータを使用して、またはこれらの文字を表すビットのシーケンスとして、制御パターンを記憶する代わりに、それをより効率的に記憶するために制御パターンのフラクタル性が利用される。制御パターン１３１２、１３１６、および１３２０の各々について、識別子は、上縁および右縁に沿った「Ａ」から始まり、次いで、「Ａ」と「Ｂ」との交替パターン、および、最左下端の値が現在のタイルから最も遠い（かつ、例示されるように、アルファベットで最大の文字の）タイルを示す識別子になるまで、さらに分割されたパターンにつながる。このフラクタル性に起因して、各制御パターンは、制御パターン内の一意の識別子の数に応じて、１つまたは複数のレベルに階層的に分割されることが可能である。レベルの数は、制御パターンを生成するために使用されるカーネルの次元の数に対応する。したがって、制御パターン１３１２は、単一のレベルを有する。制御パターン１３１６は、２つのレベルを有し、制御パターン１３２０は、３つのレベルを有する。

【0148】

各レベルは、単一のバイナリ値（すなわち、ビット）を含有する正方行列を含む。各レベルの正方行列の各次元のサイズは、先行するレベルの次元のサイズに、カーネルの最大次元のサイズが乗算されたものに等しい。最小レベルは、カーネルの最大次元のサイズに等しい各次元のサイズを有する正方行列を有する。したがって、例えば、制御パターン１３１６では、最大のレベルは、サイズ９×９を有するビットの正方行列を有し、一方で、次に最小のレベルは、３×３（すなわち、９を３で除算、これはカーネルの次元のサイズである）である各次元のサイズを有する。

【0149】

最大のレベルでないレベル内の各ビットは、より大きなレベルにおける多様なビットにマッチングさせられる。特に、より大きなレベルは、次に最小のレベルにおけるビットの数に等しい複数の領域に均等に分割され、次に最小のレベルにおけるビットは、より大きなレベルの領域内のビットにマッチングさせられる。次に最小のレベルにおけるビットの中でマッチングさせられたビットの位置は、より大きなレベルの領域のセット内の領域の位置に対応する。多様なレベルにわたってマッチングさせられたビットの組み合わせは、識別子を参照すべく、制御パターン内のすべての位置についてのビットシーケンスを可能にする。したがって、制御パターン１３１６の例において、３×３行列の各ビットは、９×９のより大きな行列の３×３部分にマッチングさせられる。９×９行列からのビットの組み合わせは、３×３行列からのマッチングさせられたビットと共に、２ビットの値を形成し、これは、制御パターン１３１６の４つの一意のインジケータのうちの１つを参照するために使用されることが可能である。制御パターン１３２０の例では、８つの一意の識別子があるので、３つのレベルがあり、最大のレベルは８×８行列であり、２番目に大きいものは４×４行列であり、最小のレベルは２×２行列である。３つのビットは、制御パターン１３１６における８つの一意の識別子（すなわち、例示されるような文字「Ａ」～「Ｈ」）のうちの正確な１つを参照するために使用されてよい。これらのビットも、図１３Ａ～図１３Ｂの例における結果表において先に例示された。

【0150】

この方法は、制御パターンが効率的に記憶されることを可能にする。様々なレベルから正確なビットシーケンスを抽出するために、乗加算ユニット１４０は、制御パターン内のインジケータの位置を決定し、次いで、これを、そのインジケータに対応するビットシーケンスを決定すべく、最大のレベルにおける正確な位置、および残りのレベルにおけるマッチングさせられた位置を決定するために使用することができる。

【0151】

（平滑化された入力、拡張カーネル、および制御パターンを使用した出力生成）
図１４は、一実施形態による、平滑化された入力、拡張カーネル、および制御パターンを使用して、畳み込みの出力を生成する方法を例示するフロー図である。例示されるフロー図は、動作の順序を示してよいが、例示される動作は、任意の順序で実行されてもよく、より多数の動作またはより少数の動作を有してもよい。１つの実施形態において、図１４に示される動作は、乗加算ユニット１４０（乗算累積ユニットとしても知られてよい）によって実行されることができる。

【0152】

乗加算ユニット１４０は、バッファからの、平行なベクトルのセットを含む平滑化された入力ストリームにアクセスし１４１０、各ベクトルは、出力アクティベーションを生成するためにカーネルによって畳み込まれる入力テンソルの、一意のカーネルサイズのタイルの入力値のセットを表す。この平滑化された入力ストリームは、平滑化された入力ストリーム１２４であってもよく、上述したように入力ストリーム生成器１２２によって生成されてもよい。

【0153】

乗加算ユニット１４０は、カーネルからの値をローテーションで置換することによって生成された拡張カーネルを受け取り１４２０、拡張カーネルは、各々が出力アクティベーションのカーネルサイズのタイルの出力値位置に対応するベクトルを有する。これは、拡張カーネル１２８であってもよく、上述したように拡張カーネル生成器１２６によって生成されてもよい。

【0154】

乗加算ユニット１４０は、ベクトルのセットを含む制御パターンを受け取り１４３０、各ベクトルは、出力アクティベーションのカーネルサイズのタイルについての出力値位置に対応し、各ベクトルは、畳み込みのために入力値にアクセスするための、平滑化された入力ストリームの平行なベクトルを示す遅延値を含む。制御パターンは、制御パターン１３６であってもよく、上述したように制御パターン生成器１３４を使用して生成されてもよい。

【0155】

乗加算ユニット１４０は、出力アクティベーションの各カーネルサイズのタイルの出力値位置ごとに、制御パターンの対応するベクトルの遅延値によって選択されるような、平滑化された入力ストリームの値を含む第１のベクトルと、出力値位置に対応する拡張カーネルにおけるベクトルに対応する第２のベクトルとのドット積を生成する１４４０。乗加算ユニット１４０は、これをすべての出力値に対して繰り返す。

【0156】

１つの実施形態において、入力テンソルは、複数のチャネルを有し、カーネルは、多様なフィルタを有する。入力テンソルの各チャネルは、カーネルの１つまたは複数のフィルタを用いて畳み込まれて、複数の出力フィーチャを有する出力アクティベーションが生成される。乗加算ユニット１４０を介した出力値の生成のための付加的な例は、図１５Ａ～図１５Ｃ、図１６Ａ～図１６Ｆ、および図１７Ａ～図１７Ｂを参照して後述される。

【0157】

図１５Ａは、一実施形態による、１次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例１５００の第１の部分を例示する。１つの実施形態において、ここで説明されるプロセスは、乗加算ユニット１４０によって実行されることができる。

【0158】

１５０１Ａにおいて、乗加算ユニット１４０は、出力アクティベーションの第１のタイル＃１（これは入力テンソルにおいて同じタイル位置である）を処理する。これは、処理されている現在のタイルである。乗加算ユニット１４０は、１５０２Ａにおいて、第１のタイルの３つのうちの出力位置１をさらに処理する（３は、各タイル内の値の数である）。第１の出力位置の処理において、乗加算ユニット１４０は、１５１１Ａにおいて、その出力位置についての制御パターン１５２４内のベクトルによって示されるようなタイル位置（例えば、遅延の量）に従って、平滑化された入力１５２２から値を選択する。位置１について、このベクトルは、制御パターン１５２４内の最右端の列である。したがって、図示されるように、出力タイル内の位置１についての制御パターンベクトル１５２８Ａは、すべて「Ａ」であり、これは、値を選択する現在のタイルＸ、すなわちタイル１を示す。平滑化された入力１５２２内の値は、メモリアドレス、インデックス値を参照することによって選択されてもよく、または、それは、乗加算ユニット１４０が平滑化された入力１５２２から読み出すクロックサイクルを遅延させることによって選択されてもよい。ここで、制御パターンベクトル１５２８Ａのすべての値が「Ａ」を示すので、選択された入力値１５３０Ａは、平滑化された入力１５２２におけるタイル１から選択され、例示されるように［０、１、２］である。

【0159】

１５１２Ａにおいて、乗加算ユニット１４０は、選択された値１５３０Ａと、出力タイル内の位置１に対応する拡張カーネルベクトル１５３２Ａとを乗算累積し、すなわち、ドット積を実行する。位置１について、拡張カーネルベクトル１５３２Ａは、拡張カーネル１５２６の最上部の行である。ドット積演算結果は、図示されるように計算ａ０＋ｂ１＋ｃ２であり、これは、図示されるように、位置１における出力１５３４Ａを生成する。

【0160】

プロセスは、図１５Ｂに続き、一実施形態による、１次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第２の部分を例示する。

【0161】

１５０３Ａにおいて、現在のタイルの３つの出力位置のうちの第２の位置が処理される。１５１１Ａと同様に、１５１３Ａにおいて、タイルの位置２に対応する制御パターンベクトル１５３６Ａが選択される。この場合において、このベクトルは、制御パターン１５２４の中央の列である。この制御パターンベクトル１５３６は、平滑化された入力１５２２から対応する値を選択するために使用される。制御パターンベクトル１５３６内の識別子ごとに、その識別子によって示されるタイルが、平滑化された入力１５２２から選択され、値は、制御パターンベクトル１５３６内のインジケータの同じ位置に対応する位置において、そのタイルにおける平滑化された入力１５２２から選択される。したがって、制御パターンベクトル１５３６Ａ内の第１の（上部の）位置は、識別子「Ａ」を有し、これは、タイルＸ（凡例に記載されている通り）、または、今回の例では、平滑化された入力１５２２内のタイル１に対応する。したがって、同じ第１の位置からの平滑化された入力１５２２のタイル１内の値が選択される（これは値「０」である）。同じ演算は、制御パターンベクトル１５３６Ａ内の第２の位置について実行され、平滑化された入力１５２２の第１のタイルの第２の位置から「１」が選択されることにつながる。制御パターンベクトル１５３６Ａの第３の、かつ、最後の位置について、識別子は、ここでは「Ｂ」であり（凡例に記載される通り）、参照されるべきタイルが、タイルＸ＋１、または今回の例ではタイル２であることを示す。したがって、乗加算ユニット１４０は、タイル２から、同じ第３の位置内の値、すなわち「５」を選択する。したがって、選択された入力値１５３８Ａは、図示されるように［０、１、５］である。

【0162】

１５１４Ａにおいて、１５１２Ａにおける演算と同様に、乗算累積演算が実行される。ただし、拡張カーネル１５２６から第１の行を選択する代わりに、出力の位置２に対応する行、すなわち、ベクトルが代わりに選択される。これは、今回の例では偶然にも拡張カーネル１５２６の第２の行である。したがって、位置２についての拡張カーネルベクトル１５２４Ａは、［ｃ、ａ、ｂ］である。この拡張カーネルベクトル１５２４Ａと、選択された入力値１５３８Ａとのドット積は、ｃ０＋ａ１＋ｂ５、または出力タイルの位置２における出力１５４４Ａである。

【0163】

プロセスは、図１５Ｃに続き、一実施形態による、１次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第３の部分を例示する。

【0164】

１５０４Ａにおいて、出力タイルの最後の位置３が処理される。ここで説明されるプロセスは、１５０３Ａおよび１５０２Ａのプロセスと同様であるが、すべての選択が、第３の位置のための適切にシフトされる。

【0165】

したがって、１５１５Ａにおいて、選択されている制御パターンベクトル１５４６Ａは、ここでは出力タイルの位置３に対応し、したがって、制御パターン１５２４の最左端の列である。この制御パターンベクトル１５４６Ａは、タイル１に対する１つのインジケータ、およびタイル２に対する２つのインジケータを有する。したがって、選択された入力値１５４８Ａは、タイル１からの「０」、ならびにタイル２からの「４」および「５」を含む。

【0166】

１５１６Ａにおいて、乗算累積演算は、選択された入力値１５４８Ａと、位置３についての拡張カーネルベクトル１５５２とに対して実行され、位置３についての拡張カーネル１５５２は、今回の例では、拡張カーネル１５２６の行３に対応する。このドット積の出力は、位置３についての出力１５５４Ａである。

【0167】

１５０５において、このプロセスは入力におけるすべてのタイルに対して繰り返されて、出力のための同数のタイルが生成される。したがって、１５０１Ａにおける演算は、今回の例の平滑化された入力１５２２において、タイル２に対する１５０１Ｂから、タイル１２に対する１５０１Ｌまで繰り返される。平滑化された入力１５２２が、より多くのタイルを含む場合、１５０１Ａに示されるプロセスは、すべてのタイルが処理されるまで繰り返される。

【0168】

図１６Ａは、一実施形態による、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例１６００の第１の部分を例示する。図１５Ａ～図１５Ｃとは対照的に、本明細書で説明されるプロセスは、１次元カーネルの代わりに２次元カーネルに対するものである。１つの実施形態において、本明細書で説明されるプロセスは、乗加算ユニット１４０によって実行される。

【0169】

１６０１Ａにおいて、第１のタイルが、乗加算ユニット１４０によって処理される。各タイルは９つの位置を有するので、各位置が、その位置についての出力値を生成するために処理される。１６０２Ａにおいて、出力位置１が処理される。１次元カーネルの例と同様に、制御パターンベクトル１６２８Ａは、出力位置値に従って制御パターン１６２４から選択される。出力位置は１であるので、制御パターン１６２４の出力位置１とラベル付けされた列が、制御パターンベクトル１６２８Ａとして選択される。この制御パターンベクトル１６２８Ａは、その識別子のすべてが「Ａ」である。したがって、この制御パターンベクトル１６２８Ａは、選択された入力値１６３０Ａがすべて、平滑化された入力１６２２のタイル１から選択されるべきであることを示す（現在のタイルＸがタイル１であるため）。

【0170】

プロセスは、図１６Ｂに続き、一実施形態による、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第２の部分を例示する。

【0171】

１６１２Ａにおいて、乗算累積演算が、選択された入力値１６３０Ａと、拡張カーネル１６２６についての図１６Ａに示される出力位置ラベルに従って、拡張カーネル１６２６から選択される拡張カーネルベクトル１６３２Ａとに対して実行される。この場合において、出力位置１は、拡張カーネル１６２６の最上部の行に対応する。この最上部の行は、乗算累積演算のために選択される。この最上部の行は、したがって、拡張カーネルベクトル１６３２Ａを形成する。乗加算ユニット１４０によって、選択された入力値１６３０Ａと、拡張カーネルベクトル１６３２Ａとのドット積が実行されて、位置１についての出力１６３４Ａが生成される。

【0172】

１６０３Ａにおいて、出力位置２が処理される。出力位置２は、制御パターン１６２４の右から２番目の列に対応する（ラベル付けされている通り）。ここでの列の順序付けは、図示される順序に従う必要がないことに留意されたい。代わりに、正確な出力位置に対応する正確な列が選択される限り、列の順序付けは、任意の順序とすることができる。さらに、制御パターン１６２４は、列によって順序付けられる必要はなく、行によっても順序付けられることが可能である。正確な出力位置に対応する正確な行が参照される限り、出力も同じになることになる。最後に、制御パネル内の識別子の順序も、逆にすることが可能である。識別子が、それらを使用して入力値を選択する場合に正確な順序で参照される限り、出力も同じになることになる。この同じ概念は、拡張カーネル１６２６に対しても、それがここで説明される順序付けとは異なって順序付けられることが可能であるので、当てはまる。

【0173】

凡例に記載されるように、制御パターン１６２４内の識別子「Ａ」は、平滑化された入力１６２２のタイルＸを参照し、ただし、Ｘは現在のタイルであり、一方で、識別子「Ｂ」は、タイルＸ＋１を参照する。制御パターンベクトル１６３６Ａは、識別子「Ａ」と識別子「Ｂ」との両方を含む。制御パターンベクトル１６３６Ａ内の各位置について、乗加算ユニット１４０は、識別子がどのタイルを参照するのかを決定し、平滑化された入力１６２２におけるその参照されたタイルから、平滑化された入力１６２２におけるタイルのベクトルにおいて同じ入力位置にある入力値を、制御パターンベクトル１６３６Ａ内の識別子の位置として選択する。したがって、例えば、制御パターンベクトル１６３６Ａ内の位置６は、識別子「Ｂ」を有し、識別子「Ｂ」は、値がタイルＸ＋１から選択されるべきであることを示し、タイルＸ＋１は、平滑化された入力１６２２のタイル２である（現在のタイル＃１＋１＝タイル２）。乗加算ユニット１４０は、平滑化された入力１６２２のタイル２ベクトルから、制御パターンベクトル１６３６Ａ内の位置６に対応する、入力位置６における値を選択し、これを選択された入力値１６３８Ａの位置６に配置する。残りの値は、同様に選択される。

【0174】

プロセスは、図１６Ｃに続き、一実施形態による、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第３の部分を例示する。

【0175】

１６１４Ａにおいて、先行する演算において生成された、選択された入力値１６３８Ａは、ドット積において拡張カーネルベクトル１６４２Ａと組み合わされて、位置２についての出力１６４４Ａが生成される。ここで、拡張カーネルベクトル１６４２Ａは、出力位置番号に従って再度選択され、出力位置番号は、この場合には２である。したがって、拡張カーネル１６２６の第２の行が、拡張カーネルベクトル１６４２Ａとして選択される。

【0176】

乗加算ユニット１４０は、タイルの残りの出力位置について、上記のプロセスを実行する。一例として、１６０６Ａにおいて、プロセスは、出力位置５について実行される。ここで、１６１５Ａにおいて、制御パターンベクトル１６４６Ａが、図１６Ａに示されるような出力位置５列から選択される。ここで、制御パターンベクトル１６４６Ａは、タイルＸ＋ＫおよびＸ＋Ｋ＋１にそれぞれ対応する、２つの新しい識別「Ｃ」および「Ｄ」を含み、ただし、Ｋは、入力の行内のタイルの数を表す。したがって、図示されるように、制御パターンベクトル１６４６Ａ内の位置９は、平滑化された入力ストリーム内のタイル６の位置９から選択される。これは、この出力位置についての選択された入力値１６４８Ａという結果になる。

【0177】

プロセスは、図１６Ｄに続き、一実施形態による、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第４の部分を例示する。

【0178】

１６１５Ａにおいて、乗算累積演算が実行される。乗加算ユニット１４０は、選択された入力値１６４８Ａと、位置５について選択された拡張カーネルベクトル１６５２Ａとのドット積を実行する。例示される例において、これは、拡張カーネル１６２６の行５である。ドット積結果は、位置５の出力１６５４Ａである。このプロセスは、現在のタイル内のすべての出力が生成されるまで、１６１６において繰り返される。さらに、このプロセスは、すべてのタイルが処理されるまで、１６１７において繰り返される。

【0179】

図１６Ｅは、一実施形態による、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、多様なチャネルを有する出力アクティベーションを生成する例を例示する。

【0180】

前述したように、入力テンソル１０２は、多様なチャネルを有してもよく、各チャネルは、入力値の別個の行列である。図５Ｃを参照して前述したように、入力の多様なチャネルは、平滑化され、互いに「積み重ねられる」。１６１８において、これらの入力チャネルの各々は、図４～図６において説明された方法に従って平滑化され、平滑化された入力チャネル１６５６からの値は、選択された入力チャネル値１６５８を生成するために制御パターン１６２４によって選択される。選択された入力チャネル値１６５８の新しい行列がここでは示されているが、実際には、新しい行列が生成されなくてもよい。代わりに、乗加算ユニット１４０は、平滑化された入力チャネル１６５６から値をオンザフライで選択してもよい。したがって、選択された入力チャネル値１６５８は、ここでは、概念を概念的に例示するために示されている。

【0181】

プロセスは、図１６Ｆに続き、一実施形態による、２次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、多様なチャネルを有する出力アクティベーションを生成する例の第２の部分を例示する。

【0182】

１６１８において、乗加算ユニット１４０は、選択された入力チャネル値１６５８とカーネルフィルタ１６６０Ａ～１６６０Ｎとを用いてドット積（すなわち、乗算累積）を実行する１６６８。選択された入力チャネル値１６５８内の各入力チャネルは、異なるサブフィルタカーネル１６６６を用いて畳み込まれ、これらはカーネル自体である。各サブフィルタカーネル１６６６は、同じ値または異なる値を有してよい。畳み込みプロセスは、図１６Ａ～図１６Ｄについて上述された畳み込みプロセスと同様であってよい。生成された畳み込み出力１６６２Ａは、単一のカーネルフィルタについて加算されて、出力アクティベーションチャネル１６６４Ａが生成される１６７０。残りのカーネルフィルタ１６６０Ｂ～１６６０Ｎ各々について、このプロセスが繰り返され、それにより、多様な出力アクティベーション１６６４Ｂ～１６６４Ｎが生成される。これらの出力アクティベーション１６６４Ａ～１６６４Ｎは、ニューラルネットワーク内の付加的な畳み込み層への入力としての役割を果たすことができる。

【0183】

図１７Ａは、一実施形態による、３次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第１の部分を例示する。１つの実施形態において、本明細書で説明されるプロセスは、乗加算ユニット１４０によって実行されることができる。

【0184】

１７０１において、入力のタイルＸが、乗加算ユニット１４０によって処理されている。１７０２において、乗加算ユニット１４０は、タイルＸの８つのうちの出力位置８を処理する。１７１１において、乗加算ユニット１４０は、位置８についての選択された制御パターンベクトル１７２４を使用して、平滑化された入力１７２２から値を選択する。１次元カーネルおよび２次元カーネルについて上述したプロセスと同様に、出力位置（この場合には位置８）に対応する制御パターンのベクトルが、制御パターンベクトル１７２４として選択される。制御パネルベクトル１７２４は、「Ａ」から「Ｈ」まで、８つの異なる識別子を有する。図１７Ａの凡例において示されるように、各識別子は、平滑化された入力１７２２の異なるタイルを示す。例えば、識別子「Ｈ」は、タイルＸ＋Ｍ＋Ｋ＋１に対応し、ただし、Ｍは、各層内のタイルの数であり、Ｋは、入力の各行内のタイルの数である。識別子ごとには、乗加算ユニット１４０は、平滑化された入力１７２２の示されたタイルから、選択された入力値１７２６についての識別子の位置に対応する位置における値を選択する。

【0185】

プロセスは、図１７Ｂに続き、一実施形態による、３次元カーネルの場合において、平滑化された入力、拡張カーネル、および制御パターンを使用して、出力アクティベーションを生成する例の第２の部分を例示する。

【0186】

１７１２において、乗加算ユニット１４０は、ドット積において、位置８についての選択された入力値１７２８と位置８についての拡張カーネルベクトル１７３０とを組み合わせて、現在のタイルの位置８についての出力１７３２を生成する。選択されている拡張カーネルベクトル１７３０は、出力の位置に対応する。

【0187】

１７１３において、上述したプロセスは、乗加算ユニット１４０によって、入力における各タイルのすべての出力位置について繰り返されて、出力アクティベーションが生成される。

【0188】

（例示的なプロセッサ構成要素）
図１８Ａは、一実施形態による、拡張カーネルを生成するための例示的な構成要素についてのハードウェア図を例示する。いくつかの実施形態において、配列（例えば、重みのカーネル）に対応するデータ値１８１０は、データ記憶回路１８０１（例えば、メモリ回路）に記憶される。いくつかの実施形態において、配列に対応するデータ値は、シーケンスとして（例えば、単一の列として）記憶される。この例において、データ値１８１０は、１つまたは複数の入力部でシフター回路１８２０に結合される。シフター回路は、配列をデータ値のシーケンスとして受け取ることができる。各データ値は、１つまたは複数のバイトのデジタルデータ値を含んでもよく、例えば、これは、整数、浮動小数点数、または、例えば、他のタイプのデータ値であってもよい。したがって、各データ値は、複数個の導体上でシフター回路１８０２に結合されてもよく（例えば、ワイヤは集積回路上で相互接続する）、ただし、例えば、導体のセットは、１つのデータ値を搬送することができ、導体のグループは、データ値のシーケンスを搬送することができる。１つの実施形態において、データ値は、重みであり、入力データ値は、ニューラルネットワークのためのアクティベーション値である。

【0189】

データ値を搬送する導体は、シフター回路１８０２の入力部で受け取られることができる。シフター回路１８０２の入力部は、例えば、シーケンスの一部または全部を搬送するための導体を受け取ることができる。上述したように、配列に対応するデータ値は、シーケンスとして受け取られることができる。１つの実施形態において、シーケンスは、データストレージ１８１０から並行して受け取られた対応する配列のすべてのデータ値を含む。しかしながら、他の実施形態では、シーケンスは、（例えば、一度に１列ずつ、または一度に１行ずつ、受け取られ、置換された）対応する配列のデータ値の一部を含んでもよい。シフター回路１８０２は、１つまたは複数の入力からのデータ値を、異なる順序の１つまたは複数の出力へ結合して、置換シーケンスを生み出すことができる。いくつかの実施形態において、各々が１つのシーケンスを搬送する複数の出力は、乗算器１８０３に結合されることができる。他の実施形態において、第１の入力部で受け取られたシーケンスのデータ値は、異なる位置にシフトされ、１つまたは複数の出力に結合される。下記に示される１つの例示的な実施形態において、シーケンスは、第１の入力部で受け取られ、データ値は、異なる位置にシフトされ、置換シーケンスは、第２の出力部で連続して生成される。

【0190】

いくつかの実施形態において、シフター回路１８０２によって生み出された置換は、上述したような拡張カーネルに対応することができる。したがって、いくつかの実施形態において、多様な置換シーケンスではなく、１つのシーケンスのみがメモリに記憶されてもよく、その結果、例えば、メモリ使用量が有利に低減される。例えば、データストレージ１８０１から受け取られたシーケンスは、配列の列または行に基づいた複数のサブシーケンスを含んでよい。シフター回路１８０２は、シーケンスを下記のように置換することができる。データ値は、シーケンスと同じ順序で、１つまたは複数の入力から、シフター回路１８０２の１つまたは複数の出力に結合されることができる。したがって、入力シーケンスは、出力によって生み出されるシーケンスのうちの１つを含むことができる。また、各サブシーケンスの位置がシーケンス内で移動される、サブシーケンスのデータ値の複数の置換について、および、データ値が各サブシーケンス内で移動される、各サブシーケンス内のデータ値の複数の置換について、データ値は、異なる順序で、１つまたは複数の入力から１つまたは複数の出力に結合される。異なる配列についてのそのような置換の例は、上記に例示されている。１つの実施形態において、データ値は、シフター回路１８０２の第１の入力部で受け取られ、データ値は、第１の入力部から第１の出力部に結合されて、第１の出力部での入力シーケンスが生み出される。また、データ値は、異なる順序で、第１の入力部から複数の第２の出力に結合されて、複数の第２の出力部での複数の置換シーケンスが生み出されることができる。このアプローチの例示的な実装例は、図１８Ｂにおいて下記に例示される。別の実施形態において、データ値は、シフター回路１８０２の１つまたは複数の入力部で受け取られ、データ値は、入力部と１つまたは複数の出力部との間で異なる位置にシフトされて、入力シーケンスおよび複数の置換シーケンスが生み出される。

【0191】

乗算器回路１８０３は、シフター回路１８０２の１つまたは複数の出力部に結合されることができる。したがって、シフター回路１８０２の１つまたは複数の出力部で生み出されたシーケンスは、乗算器１８０３内の複数のレジスタ回路内にロードされることができる。乗算器１８０３は、入力データ値１８２０をさらに受け取ることができる。入力データ値１８２０は、複数の第２のレジスタにロードされることができる。したがって、複数の乗算結果１８３０が生成されることができる。上述したように、拡張カーネルは、例えば、並行して生成される複数の畳み込み結果という結果になってよい。１つの実施形態において、データ値は、Ｍ×Ｎ配列（例えば、入力データ値１８２０に適用されるカーネル）に対応する。シフター回路１８０２は、データストレージ１８１０から、Ｍ＊Ｎの長さのシーケンスを受け取り、各々が長さＭ＊Ｎである、Ｍ＊Ｎ個の異なるシーケンスを生み出すことができる。シーケンスは、シフター回路１８０２から結合され、乗算器回路１８０３に（例えば、並行して）ロードされることができる。

【0192】

図１８Ｂは、一実施形態による、拡張カーネルを生成するために例示的な構成要素において使用される例示的なシフター回路についてのハードウェア図を例示する。

【0193】

この例において、入力シーケンスＳＥＱ１は、Ｍ×Ｎ配列に対応し、ただし、ＭおよびＮは整数であり、ＭおよびＮのうちの１つまたは複数は、例えば１より大きい。したがって、シーケンスＳＥＱ１は、Ｍ＊Ｎ個のデータ値、すなわち、Ｄ０～Ｄ（Ｍ＊Ｎ）を含む。シーケンスＳＥＱ１は、入力部から、置換されていないＭ＊Ｎ個のデータ値を含む第１の出力（例えば、ストリームＳ（１））に結合されることができる。また、シーケンスＳＥＱ１は、Ｍ＊Ｎ－１個の異なる経路に沿って、異なるシーケンスＳＥＱ２～ＳＥＱＭ＊Ｎに置換されてもよく、これらは、Ｍ＊Ｎ－１個の出力部（例えば、ストリームＳ（２）～Ｓ（Ｍ＊Ｎ）で提供され、これらは各々、Ｍ＊Ｎ個の置換されたデータ値、例えば、Ｄ０～Ｄ（Ｍ＊Ｎ）を含む。

【0194】

より詳細には、この例において、複数のデータ値Ｄ０～Ｄ（Ｍ＊Ｎ）を含むシーケンスＳＥＱ１は、第１の入力ストリームＳ（１）で受け取られる。シーケンス内の各データ値は、例えば、複数の導体上で搬送される１つまたは複数のバイトを含むことができる。ここで、データ値は、第１の入力部（例えば、ストリームＳ（１））から、複数の異なる出力部（例えば、ストリームＳ（１）～Ｓ（Ｍ＊Ｎ））へ、異なる導電経路に沿って異なる順序で結合されて、複数の異なる出力部（例えば、ストリームＳ（１）～Ｓ（Ｍ＊Ｎ））で、元のシーケンスＳＥＱ１および複数の置換シーケンスＳＥＱ２～ＳＥＱＭ＊Ｎが生み出される。例えば、入力シーケンス内の各データ値Ｄ０～Ｄ（Ｍ＊Ｎ）は、複数の導電性ワイヤ上で搬送される１つまたは複数のバイトを含むことができる。異なるデータ値を搬送する導電性ワイヤは、入力部（例えば、ストリームＳ（１））と、複数の出力部の各々（例えば、ストリームＳ（２）～Ｓ（Ｍ＊Ｎ））との間で異なる方法で並べ替えられて、複数の出力部の各々で、異なる置換シーケンスが生み出される。より詳細には、この例において、入力部Ｓ（１）のＳＥＱ１は、複数の回転子１８６０～１８６２に結合される。回転子１８６０～１８６２は、例えば、データ値を搬送する導体の位置を変化させることによって、各シーケンス内のデータ値の位置を並べ替えられることができる。２つの例示的なローテーションが、１８７０および１８７１において例示されている。この例において、ローテーションの後、各置換シーケンスは、マルチプレクサ回路の入力に結合されることができる。本開示の実施形態は、複数のストリームＳを備える集積回路を含むことができる。回転子１８６０～１８６２を介してＳＥＱ１から生成された置換シーケンスは、例えば、マルチプレクサ１８５１～１８５３を使用して、隣接するストリームＳ（２）～Ｓ（Ｍ＊Ｎ）に結合されることができる。例えば、データ値Ｄ０～Ｄ（Ｍ＊Ｎ）の異なる置換シーケンスＳＥＱ２～ＳＥＱＭ＊Ｎを搬送する、並べ替えられた導電性ワイヤの各々は、各マルチプレクサの入力部に結合されることができる。各マルチプレクサの第２の入力部は、ストリームＳ（２）～Ｓ（Ｍ＊Ｎ）のうちの１つに結合される。したがって、各マルチプレクサの出力部は、置換シーケンスのうちの１つを各ストリームに結合する。また、データ値Ｄ０～Ｄ（Ｍ＊Ｎ）の元のシーケンスＳＥＱ１を搬送する入力部の導電性ワイヤは、同じ順序で第１の出力（例えば、ストリームＳ（１））に結合されて、ストリームＳ（１）を搬送する出力部で元のシーケンスが生み出される。ＳＥＱ１～ＳＥＱＭ＊Ｎをそれぞれ搬送するストリームＳ（１）～Ｓ（Ｍ＊Ｎ）は、例えば、乗算器回路に結合されることができる。したがって、この例において、シーケンスＳＥＱ１のすべての置換は、有利には、同じサイクルで並行して生成され、乗算器に並行してロードされることができる。

【0195】

図１９は、一実施形態による、制御パターンを生成するための例示的な構成要素についてのハードウェア図を例示する。いくつかの実施形態のフィーチャおよび利点は、制御パターン生成器回路１９１０を含んでもよく、制御パターン生成器回路１９１０は、例えば、乗算器配列回路１９２０と同じ半導体表面上に一体化されてもよい。１つの実施形態において、制御パターン生成器１９１０は、カーネルの次元、例えば、高さ（Ｈ）および幅（Ｗ）などを受け取るように（例えば、ソフトウェアを介して）構成される。制御パターン生成器１９１０は、例えば、乗算器配列１９２０内の乗算器セル１９２１～１９２６の各々に対して、２つのビットを生み出すことができる。一方のビットは、Ｋ遅延とＫ遅延なしとの間を選択してもよく、他方のビットは、単位遅延入力と単位遅延なし入力（例えば、１つの遅延または遅延なし）との間を選択してもよい。各乗算器セルは、例えば、２つのパターンの制御ビットを記憶するための記憶ユニット（例えば、レジスタ）を含むことができる。２つのビットは共に、選択回路構成を使用して、４つのデータ値のうちの１つを選択することができ：ｘ、ｘ＋１、ｘ＋Ｋ、ｘ＋Ｋ＋１、ただし、上述したように、ｘは、現在のタイルであり、Ｋは、入力テンソルのタイルサイズの幅を示す変数である。付加的な次元を有するカーネルについて、制御パターン生成器１９１０は、付加的な次元ごとに付加的なビットを生成し、そのビットが、その付加的な次元についての変数をシフトすることによる付加的な遅延と、付加的な遅延なしとの間を選択する。遅延という用語が、ここで使用されているが、いくつかの場合において、平滑化された入力ストリームのアクセスされる値は、遅延を介してアクセスされず、遅延値をメモリ内のインデックス値として使用することができる相対または絶対アドレッシングシステムを介してアクセスされることに留意されたい。

【0196】

この例において、制御パターン生成器１９１０は、Ｋ遅延論理回路１９１１と、単位遅延論理回路１９１２とを備える。Ｋ遅延論理回路１９１１は、例えば、カーネルの単一次元を受け取り、Ｋ遅延入力とＫ遅延なし入力との間を選択するためのＨ＊Ｈビット値を生み出すことができる。この例において、Ｋ遅延論理回路１９１１は、カーネルの高さＨを受け取り、制御パターンのＨ×Ｈ三角配列に対応するＨ２ビット値を生み出す。この例では、ＨがＫ遅延論理回路１９１１への入力として使用される一方で、他の実施形態は、例えば、幅Ｗなどの別の次元をＫ遅延論理回路への入力として使用してよい。さらに、単位遅延論理回路１９１２は、２つの次元、例えば、高さＨおよび幅Ｗなどを受け取ることができる。単位遅延論理回路１９１２は、例えば、単位遅延されている（＋１）、または単位遅延されていない（例えば、０）入力（例えば、遅延されていないか、またはＫ遅延されているかのいずれか）間で選択するためのＨ＊Ｗビット値を生み出す。この例において、単位遅延論理回路１９１２は、カーネルの高さＨおよびカーネルの幅Ｗを受け取り、Ｈ＊Ｗ三角配列（例えば、図２２の配列２２２０）に対応するＨ＊Ｗビット値を生み出す。遅延なし／Ｋ遅延および単位遅延／単位遅延なしを選択するためのビット値のペアは、複数の乗算器セル１９２１～１９２６に結合され、例えば、各乗算器セルにおけるレジスタなどの記憶回路１９３０に記憶される。選択は、ここではマルチプレクサ図１９３１を用いて例示されているが、複数の異なる選択回路が当業者に知られている。この例において、Ｋ遅延論理回路１９１１からの１つのビット、および単位遅延論理回路１９１２からの１つのビットは、例えば、遅延なしの入力値、単位遅延された入力値、Ｋ遅延された入力値、またはＫ＋１遅延された入力値のうちの１つを選択するために、乗算器セル１９２１～１９２６の各々における記憶ユニットに記憶されることができる。図２２に示されるパターン２２２０と同様のパターンは、乗算器配列１９２０にわたる記憶回路１９３０内の第１のビット値に対応することができ、図２２のパターン２２１０と同様のパターンは、乗算器配列１９２０にわたり繰り返される記憶回路１９３０内の第２のビット値に対応して、乗算器配列にわたる入力の選択が制御されることができる。

【0197】

図２０は、一実施形態による、乗加算演算を行って出力アクティベーションを生成するための例示的な構成要素についてのハードウェア図を例示する。この例において、拡張カーネル（Ｍ＊Ｎ）からの値は、複数の乗算累積器回路の第１の入力レジスタにロードされ、入力値ａｉｊは、複数の乗算累積器回路の第２の入力レジスタにロードされる。例えば、乗算累積器回路は、複数の乗算器２００１、２０１１、２０２１、２０３１、２０４１、および２０５１を含んでもよく、ただし、複数の乗算器回路には、拡張カーネルから異なる値ｗｉｊがロードされることができる。各乗算器には、平滑化された入力ストリームの複数のタイルのうちの１つからの入力値がさらにロードされることができる。例えば、ａ１１は、第１のタイルのａ１１位置（すなわち、タイル内の第１の行かつ第１の列）における値に対応し、これは、選択回路２００６（例えば、マルチプレクサ、またはＭｕｘ）の１つの入力部に結合されることができる。ａ１１入力は、遅延回路２００３にさらに結合されて、選択回路２００６の第２の入力においてａ１１の遅延バージョン（例えば、１サイクル遅延）が生み出される。この遅延バージョンは、現在のタイルからタイルに対して１単位を選択する。また、ａ１１は、Ｋ遅延回路２００４（例えば、バッファまたは先入れ先出しデータ記憶ユニット（「ＦＩＦＯ」）に結合されて、例えば、選択回路２００６の別の入力において、Ｋサイクルだけ遅延されたａ１１のバージョンが生み出されることができる。これは、現在のタイルの１行下のタイルに対応する。さらに、Ｋ遅延回路２００４の出力は、別の遅延回路２００５の入力において受け取られて、選択回路２００６のさらに別の入力において、ａ１１のＫ＋１遅延バージョンが生み出されることができる。同様に、乗算器２０１１から２０２１は、例えば、拡張配列の第１の行および入力値ａ１１．．．ａＭＮに対応する値ｗ１２、．．．、ｗ１（Ｍ＊Ｎ）を受け取る。同じように、拡張配列の他の行に、拡張配列の最後の行まで、入力値ａ１１．．．ａＭＮが乗算されてもよく、ｗ（Ｍ＊Ｎ）１、．．．、ｗ（Ｍ＊Ｎ）（Ｍ＊Ｎ）であり、ただし、行は、例えば、上述したような置換された値を含む。乗算器２０１１、２０２１、２０３１、２０４１、および２０５１は、遅延２０１３、２０２３、２０３３、２０４３、および２０５３、Ｋ遅延２０１４、２０２４、２０３４、２０４４、および２０５４、遅延２０１５、２０２５、２０３５、２０４５、および２０５５、ならびに選択回路２０１６、２０２６、２０３６、２０４６、および２０５６をそれぞれ備える。

【0198】

制御パターンは、例えば、ａ１１の様々なバージョン間で選択するために使用されてもよく、その結果、適当なタイルからの入力値には、特定の乗算器に記憶された重みが乗算される。この例において、入力値には、拡張カーネルの第１の行内のシーケンスが乗算され、したがって、ａ１１ｗ１１．．．ａＭＮｗ１（Ｍ＊Ｎ）は、Ａ（畳み込みを受ける現在のタイル）に対応する制御パターン値を有する。しかしながら、この例において、隣接するタイルに関与する畳み込みを含む、タイル全体にわたる畳み込みを計算することは、隣接するタイル内の入力値が到達するのを待機することを含んでよい。したがって、所与の「現在のタイル」について畳み込みを計算することは、隣接するタイル値が使用可能になるまで、Ｋ＋１サイクル待機することを含んでよい。付加的な制御パターン値は、カーネルの次元に応じて、上述したように使用されることができる。現在のタイルの畳み込みを計算するために、システムは、例えば、入力値を記憶し、計算を行うために他のタイルからの入力値が使用可能になることを待機することができる。したがって、特定のタイルについての畳み込みは、例えば、特定のタイルについてＫ＋１遅延された入力値、隣接する列タイル内の値としてＫ遅延された入力値、隣接する行タイル内の入力値として１遅延された値、ならびに、隣接する行タイルおよび隣接する列タイルに隣接するタイル内の入力値として遅延なしの値を使用して、計算されることができる。本明細書は、現在の値（例えば、現在のタイル、または遅延なしの値）、単位（または１）遅延された値、Ｋ遅延された値、およびＫ＋１遅延された値を参照するが、そのような遅延は、（例えば、選択回路の入力において）互いに相対的であってよいことを理解されたい。多種多様な他の遅延が、信号経路に存在してよいが、例示の目的のために、ここでは省略されている。さらに、カーネルが付加的な次元を有する場合、Ｍ遅延された値などの付加的な遅延値、および対応する回路構成が含まれることになる。

【0199】

入力値ａ１１～ａＭＮ（例えば、ａ１１～ａ３３）の配列は、乗算器回路２００１、２０１１、．．．、２０２１の配列にロードされてもよく、これらには、各々異なる重みｗ１１、ｗ１２、．．．、ｗ１（Ｍ＊Ｎ）（例えば、ｗ３３）もロードされる。上述したように、例えば、各乗算器は、重みを提供する拡張カーネルと同じ次元を有する制御パターン配列から、異なる制御パターン入力を使用して選択された入力を受け取る。各乗算器２００１、２０１１、．．．、２０２１の出力は、１つまたは複数の加算器（例えば、加算器２００７、２０１７、２０２７）に結合されて、積を加算し、畳み込み結果Ｒ１を出力することができる。同様に、拡張カーネルの各行は、複数の乗算器にロードされ、制御パターン配列からの対応する行によりマスキングされた入力値のベクトルが乗算されることができる。ここで、値ｗ（Ｍ＊Ｎ）１、ｗ（Ｍ＊Ｎ）２、．．．、ｗ（Ｍ＊Ｎ）（Ｍ＊Ｎ）を含む拡張カーネルの最後の行は、乗算器２０３１、２０４１、および２０５１の列にロードされ、例えば、ロケーション（Ｍ＊Ｎ、１）、（Ｍ＊Ｎ、２）、．．．、（Ｍ＊Ｎ、Ｍ＊Ｎ）における値を含む制御パターン配列内の最後の行によって制御される入力値ａ１１、ａ１２、．．．、ａＭＮと組み合わされる。乗算器の最後の列の出力は、加算器２０３７、２０４７、および２０５７において共に加算されて、例えば、Ｍ＊Ｎ番目の畳み込み結果Ｒ（Ｍ＊Ｎ）が生み出される。等価な代替的実施形態において、遅延は、乗算器の出力に結合されてもよい。

【0200】

図２１は、一実施形態による、機械学習プロセッサにおいて出力アクティベーションを計算するための例示的な構成要素のレイアウト２１００を例示する。例示されるレイアウトは、本明細書で説明される動作を実行するための、機械学習プロセッサ（または他のプロセッサ）内の（論理的および／または物理的）構成要素の１つの可能なレイアウトを表す。レイアウト２１００は、ＩＣＵ２１１０、複数のＭＥＭタイル２１１５Ａ～２１１５Ｎ、複数のＳＸＭタイル２１２０Ａ～２１２０Ｎ、複数のＮＩＭタイル２１２５Ａ～２１２５Ｎ、およびスーパーセルの配列２１３０Ａ－Ａから２１３０Ｎ－Ｎを含む。これらの要素は、それらのアルファベットの接尾辞を省略することによって、下記の説明において一般に参照されることができる。

【0201】

ＩＣＵ２１１０は、ＮＩＭタイル２１２５に対する命令を出す。これらの命令は、本明細書で説明される畳み込み演算を実行すべく、正確な制御パターン値を用いてスーパーセル２１３０を構成するようにＮＩＭタイル２１２５に対して命令する。スーパーセル２１３０は、正方形グリッド状に配置される。各スーパーセル２１３０は、サイズを有し、これは、どれだけの値をそれが並行して処理することができるかを示す。スーパーセル２１３０はすべて、同じサイズを有してよい。例えば、各スーパーセルは、１６×１６グリッドであってもよく、２５６個の値を処理することができる。

【0202】

１つの実施形態において、入力チャネルは、２１４５によって示されるように、スーパーセル２１３０の中で垂直に分割され、それにより、各入力チャネルは、平滑化された後に、スーパーセル２１３０の１つまたは複数の層（命名スキームにおける第１の文字によって示される層）によって処理される。１つまたは複数の層は、入力層がスーパーセル２１３０のサイズより小さいことがあるので、または、入力チャネルの垂直方向の寸法がスーパーセル２１３０の垂直方向の寸法に均等に分割しない場合には、層のわずかな部分のみを含んでよい。同じ実施形態において、出力フィーチャ（すなわち、異なる出力「チャネル」）は、２１５５によって示されるように、スーパーセル２１３０の中で水平に分割される。したがって、スーパーセル２１３０の１つまたは複数の列（または、わずかな部分）（命名スキームにおける第２の文字によって示される）は、各出力フィーチャを処理するために使用される。

【0203】

スーパーセル２１３０自体は、上述した乗算累積ユニットと同様であってよい。スーパーセルは、入力値２１４０に対する畳み込み演算を行った後に、その出力をそれの上のスーパーセル２１３０に送る。これは、異なる入力層の畳み込みが共に加算されて、多様な入力層からの出力フィーチャ２１５０が生成されることを可能にする。出力のための多様なチャネルがある場合、上述した（例えば、図１６Ｅ～図１６Ｆにおける）方法を使用して、出力フィーチャ２１５０の多様なセットが生成される。

【0204】

第１のクロックサイクルで、ＩＣＵ２１１０は、第１のＮＩＭタイル２１２５Ａに対して、そのＮＩＭタイル２１２５Ａに関連付けられた１つまたは複数のスーパーセル２１３０を構成するように命令する。例示される例において、ＮＩＭタイル２１２５Ａと同じ層上のスーパーセル２１３０は、ＮＩＭタイル２１２５Ａによって構成される。これらは、スーパーセル２１３０Ａ－＊である（ただし、＊は、ＡからＮまでの任意の文字である）。第２のクロックサイクルで、ＮＩＭタイル２１２５Ａは、図１３Ａ～図１３Ｂにおいて説明される方法を使用して、正確な制御パターン値を用いてスーパーセル２１３０Ａ－Ａを構成する。第１のスーパーセル２１３０Ａ－Ａについて、行番号および列番号は、制御パターン値を生成する場合、オフセットを有しない。しかしながら、スーパーセル２１３０Ａ－Ａ以外の任意の他のスーパーセル２１３０について、制御パターン値を生成するために使用される行番号および列番号は、付加的なオフセットを有する。列番号について、このオフセットは、構成されているスーパーセル２１３０の左側（「西」）のスーパーセル２１３０の数に、スーパーセル２１３０のセル幅を乗算したものに等しい。行番号について、このオフセットは、構成されているスーパーセル２１３０の下（「南」）のスーパーセル２１３０の数に、スーパーセル２１３０のセル高さを乗算したものに等しい。オフセット値は、スーパーセルのごく一部のうちのどれだけが、先行する入力チャネルまたは出力チャネルの処理で既に使用されているかに従って、付加的にパディングされることができる。このオフセットが使用される理由は、タイル、制御パターン、および拡張カーネルサイズが、スーパーセルのサイズの倍数ではないことがあってよいからであり、したがって、異なるタイルが、異なるスーパーセル２１３０にわたって広がってよい。これは、制御パターン値も、異なるスーパーセル２１３０にわたって広がることができることを意味し、したがって、各制御パターン値の計算が、スーパーセル２１３０の位置によってオフセットされて、スーパーセル２１３０が処理するタイル、複数のタイル、または複数のタイルのごく一部に対応する正確な制御パターン値が生成されることを必要とする。

【0205】

スーパーセル２１３０Ａ－Ａが制御パターン値を用いて構成されることに並行して（同じクロックサイクルで）、ＮＩＭタイル２１２５Ａは、後続のＮＩＭタイル２１２５Ｂ（現在のＮＩＭタイル２１２５の１つ上、または「北」）に対して、そのスーパーセル２１３０Ｂ－＊を構成するための命令により、命令を送る。この命令は、前述したオフセット値を含み、それにより、ＮＩＭタイル２１２５Ｂは、そのオフセットに相当する正確な制御パターン値を用いてスーパーセル２１３０Ｂ－＊を構成する。命令のこの伝播は、入力のサイズに等しい数のスーパーセル２１３０がＮＩＭタイル２１２５によって構成されるまで、繰り返される。

【0206】

スーパーレーン内のスーパーセル２１３０の各構成期間中に、ＮＩＭタイル２１２５は、出力の特定のチャネル（すなわち、出力チャネル）のためのスーパーセル２１３０のみを構成していてもよい。チャネルは、ＩＣＵ２１１０からの命令において指定されることができる。出力の付加的なチャネルのためのスーパーセル２１３０を構成すべく、ＩＣＵ２１１０は、クロックサイクルごとに、ＮＩＭタイル２１２５に対して付加的な命令を出して、出力の付加的なチャネルのためのスーパーセル２１３０を構成させることができる。これらの命令は、正確なオフセット値を含み、それにより、その出力層を処理するスーパーセル２１３０は、正確な制御パターン値を生成することができるように、正確な行位置値および列位置値を有する。

【0207】

各クロックサイクルにおいて、ＩＣＵ２１１０からの命令は、１つのＮＩＭタイル２１２５から後続のＮＩＭタイル２１２５へ「北」に伝播され、一方で、ＩＣＵ２１１０は、「東」方向に沿ってスーパーセルに対する命令を出し続ける。したがって、多様なクロックサイクルにわたって、スーパーセル２１３０は、対角線の「波」において構成される。このようにして、入力チャネルおよび出力チャネルの全セットについての構成は、複数のクロックサイクルの後に構成される。一旦これが完了すると、入力値２１４０は、ここで説明されたシステムによって受け取られ、出力フィーチャ２１５０を生成すべく、上述した乗算累積演算と同様のプロセスにおいて、スーパーセル２１３０によってタイルごとに処理される。

【0208】

図２２Ａは、一実施形態による例示的な機械学習プロセッサを例示する。本開示のフィーチャおよび利点は、非常に高速に畳み込み演算を実行することができるプロセッサ回路を含む。この例において、サーバコンピュータ２２０１（またはホスト）は、構成ソフトウェア２２１０を含んでもよく、構成ソフトウェア２２１０は、畳み込みを実行するために使用される１つまたは複数のカーネル２２１３を受け取ることができる。プロセッサ回路２２００は、機械学習プロセッサであってもよく、それは、例えば、入力データ（例えば、画像などのアクティベーション）を受け取り、機械学習（人工知能として知られる）アルゴリズムの一部として、入力データにカーネル（例えば、ニューラルネットワーク重み）を適用する回路を指す。この例において、構成ソフトウェア２２１０（コンパイラと称されることもある）は、ニューラルネットワーク重み２２１３を受け取る。この例おいて、拡張カーネルまたは制御パターン（または両方）が、ソフトウェアにおいて生成されることができる。例えば、重み２２１３は、カーネル生成器２２１２および制御パターン生成器２２１１によって分析されて、制御パターン２２２５および拡張カーネル２２２６が生み出されてもよく、これらは、プロセッサ回路２２００内のデータストレージ２２２０、例えば、メモリまたはレジスタ回路などに記憶されることができる。入力値２２８０は、例えば、入出力（Ｉ／Ｏ）回路２２２２に受け取られ、データバス２２２４を介して乗算累積器回路２２７６に結合されることができる。拡張カーネル２２２６および制御パターン２２２５も、乗算累積器回路２２２１に結合されることができる。乗算累積器回路２２２１は、例えば、上述したように畳み込み結果を生成することができる。いくつかの実施形態において、中間畳み込み結果２２２７は、データストレージ２２２０に記憶され、新しいアクティベーション入力２２８０に対して適用される。他の実施形態において、畳み込み結果２２９０は、例えば、出力として提供されてもよい。あるいは、畳み込み結果は、他の回路２２２３、例えば、ベクトルプロセッサ（図示せず）などによって処理されてもよい。

【0209】

図２２Ａは、別の実施形態による例示的な機械学習プロセッサを例示する。この例において、カーネルは、構成ソフトウェアによって分析されるが、拡張カーネルおよび制御パターンは、ハードウェアにおいて生成されることができる。例えば、１つまたは複数のカーネル（例えば、ニューラルネットワーク重み）２２６２は、構成ソフトウェア（例えば、コンパイラ）２２６０において受け取られ、カーネル分析器構成要素２２６１によって分析されて、値Ｋを含む拡張カーネルを生成するための構成情報が生み出され、これは、カーネルのサイズおよび他の情報（例えば、処理される入力の次元）から導出されることができる。サーバコンピュータ２２５１は、構成情報およびＫの値をプロセッサ回路２２５０に送信することができる。この例において、Ｋは、例えば、入力２２８５の各行内の数タイルに対応してもよく、ただし、タイルは、カーネルと同じサイズである。構成情報は、制御パターン生成器２２７７およびシフター回路２２７８を構成するために使用されることができる。シフター回路２２７８は、例えば、データストレージ２２７０に記憶された１つまたは複数のカーネル２２７５から拡張カーネルを生成するために、カーネルを置換するように構成されることができる。

【0210】

この実施形態において、拡張カーネルは、ハードウェアにおいて生成される。１つまたは複数のカーネル２２７５は、データストレージ２２７０に記憶されることができる。例えば、カーネルは、値のシーケンスとしてデータストレージ２２７０に記憶されてもよく、ただし、シーケンスは、データストレージ２２７０からアクセスされ、シフト回路構成２２７８に（例えば、同時に）結合されることができる。上述したように入力シーケンスを置換し、拡張カーネルを生成するために、多種多様なシフト回路が使用されてよい。拡張カーネルを生み出すためにシーケンスを置換するための１つの例示的な回路は、下記でより詳細に説明される。拡張カーネルの値は、例えば、乗算累積器２２７１内にロードされることができる。ハードウェアにおいてカーネルを拡張することは、必要とされるデータストレージの量を低減することができ、これは、いくつかの実施形態において有利になることができる。

【0211】

本開示の実施形態は、乗算累積器２２７１と直列にＫ遅延回路を構成することを含む。この例において、入力値２２８５は、遅延回路２２７９に結合されてもよく、遅延回路２２７９は、例えば、プログラム可能なバッファなどのプログラム可能な遅延回路であってもよい。１つの実施形態において、遅延２２７９は、例えば、Ｋの遅延を有するように構成されてもよく、これは、カーネルのサイズ、および入力配列の次元に沿ったタイルの数に応じて異なってよい。１つの実施形態において、遅延２２７９は、例えば、出力が入力の遅延されたバージョンであり、遅延がＫに設定される、先入れ先出し（ＦＩＦＯ）回路であってもよい。入力値はまた、遅延されることなしに、乗算累積器回路２２７１に直接結合されてもよい。したがって、乗算累積器回路２２７１は、例えば、現在の入力値と、Ｋサイクルだけ遅延された入力値とを受け取ることができる。

【0212】

制御パターン生成器２２７７は、様々な遅延された入力データ値または遅延なしの入力データ値が、上述したように特定の重みと組み合わされるように、制御パターンを実装するための制御信号を生成することができる。特定のパターン制御信号は、例えば、カーネルが各入力タイルに適用される経路、ならびにタイルおよびカーネルを平滑化するために使用される経路に対応することができる。制御パターン生成器２２７７の出力は、例えば、上述したように入力値の様々な遅延されたバージョンを選択するために使用されることができる。

【0213】

したがって、乗算累積器回路２２７１は、現在の入力値、Ｋ遅延された入力値、拡張カーネル、および異なる入力を選択するための制御信号を受け取る。上述したように、乗算累積器２２７１は、現在の入力値とＫ遅延された入力値との両方を遅延させるための付加的な単位遅延回路を含んでもよく、制御パターン生成器２２７７からの制御信号は、例えば、拡張カーネル内の異なる値に対して乗算される、適当な入力値を選択するために使用されることができる。乗算累積器回路２２７１の出力は、中間畳み込み２２７６であってよく、中間畳み込み２２７６は、例えば、データストレージ２２７０に記憶され、後続の入力２２８５により畳み込まれてもよく、または、畳み込み結果は、２２９５において出力されてもよい。あるいは、畳み込み結果は、他の回路２２７３、例えば、ベクトルプロセッサ（図示せず）などによって例えば処理されてもよい。

【0214】

（例示的な計算機アーキテクチャ）
図２３は、コンピュータ可読媒体からの命令を読み取り、それらをプロセッサ（またはコントローラ）において実行することができる例示的な計算機の構成要素を例示するブロック図である。本明細書で説明されるコンピュータは、図２３に示される単一の計算機、仮想機械、図２３に示される計算機の多様なノードを含む分散計算システム、または計算デバイスの任意の他の適切な構成を含むことができる。本明細書で説明されるコンピュータは、説明される機能を実行するために、先行する図において説明された要素のうちのいずれかによって使用されることができる。

【0215】

例として、図２３は、コンピュータシステム２３００の例示的な形態における計算機の図式表現を示し、コンピュータシステム２３００内で、命令２３２４（例えば、ソフトウェア、プログラムコード、またはマシンコード）は、本明細書におけて論じられるプロセスのうちのいずれか１つまたは複数をマシンに実行させるために、コンピュータ可読媒体に記憶されることができる。いくつかの実施形態において、計算機は、スタンドアロンデバイスとして動作し、または他のマシンに接続され（例えば、ネットワーク接続され）てもよい。ネットワーク接続された展開において、機械は、サーバ・クライアントネットワーク環境内のサーバマシンもしくはクライアントマシンとして、またはピア・ツー・ピア（または分散）ネットワーク環境内のピアマシンとして動作することができる。

【0216】

図２３において説明される計算機の構造は、上記の図において示される任意のソフトウェア、ハードウェア、または組み合わされた構成要素に対応することができる。図２３は、様々なハードウェア要素およびソフトウェア要素を示しているが、図１および図２において説明された構成要素の各々は、付加的な要素またはより少数の要素を含んでもよい。

【0217】

例として、計算機は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、スマートフォン、ウェブアプライアンス、ネットワークルータ、モノのインターネット（ＩｏＴ）デバイス、スイッチもしくはブリッジ、または、そのマシンによって行われるアクションを特定する命令２３２４を実行することができる任意のマシンであってもよい。さらに、単一の機械のみが例示されているが、「機械」という用語は、本明細書で論じられる方法論のうちのいずれか１つまたは複数を実行するために、個々にまたは共同で命令２３２４を実行する、機械の任意の集合を含むようにも解釈されるべきである。

【0218】

例示的なコンピュータシステム２３００は、１つまたは複数のプロセッサ（一般に、プロセッサ２３０２）（例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、１つもしくは複数の特定用途向け集積回路（ＡＳＩＣ）、１つもしくは複数の無線周波数集積回路（ＲＦＩＣ）、または、これらの任意の組み合わせ）、メインメモリ２３０４、およびスタティックメモリ２３０６を含み、これらは、バス２３０８を介して互いに通信するように構成される。コンピュータシステム２３００は、グラフィックスディスプレイユニット２３１０（例えば、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、プロジェクター、またはブラウン管（ＣＲＴ））をさらに含んでよい。コンピュータシステム２３００は、英数字入力デバイス２３１２（例えば、キーボード）、カーソル制御デバイス２３１４（例えば、マウス、トラックボール、ジョイスティック、モーションセンサ、または他のポインティング機器）、記憶ユニット２３１６、信号生成デバイス２３１８（例えば、スピーカ）、および、ネットワークインターフェースデバイス２３２０も含んでもよく、これらも、バス２３０８を介して通信するように構成される。

【0219】

記憶ユニット２３１６は、本明細書で説明される方法論または機能のうちのいずれか１つまたは複数を具現化する命令２３２４が記憶されたコンピュータ可読媒体２３２２を含む。命令２３２４は、コンピュータ可読媒体も構成するコンピュータシステム２３００、メインメモリ２３０４およびプロセッサ２３０２による、その実行期間中に、メインメモリ２３０４またはプロセッサ２３０２内（例えば、プロセッサのキャッシュメモリ内）にも、完全にまたは少なくとも部分的に存在してよい。命令２３２４は、ネットワークインターフェースデバイス２３２０を介してネットワーク２３２６上で送られ、または受け取られることができる。

【0220】

コンピュータ可読媒体２３２２は、例示的な実施形態において単一の媒体として示されているが、「コンピュータ可読媒体」という用語は、命令（例えば、命令２３２４）を記憶することができる単一の媒体または多様な媒体（例えば、集中型データベースもしくは分散型データベース、または関連付けられたキャッシュおよびサーバ）を含むように解釈されるべきである。コンピュータ可読媒体は、機械による実行のための命令（例えば、命令２３２４）を記憶することが可能であり、本明細書で開示される方法論のうちのいずれか１つまたは複数を機械に実行させる、任意の媒体を含むことができる。コンピュータ可読媒体は、ソリッドステートメモリ、光学媒体、および磁気媒体の形態のデータリポジトリを含んでよいが、これらに限定されない。コンピュータ可読媒体は、信号または搬送波などの一時的な媒体を含まない。

【0221】

（付加的な構成考察）
一定の実施形態は、上記の図において例示されるように、例えば、論理または複数の構成要素、エンジン、モジュール、もしくはメカニズムを含むものとして本明細書で説明されている。エンジンは、ソフトウェアモジュール（例えば、コンピュータ可読媒体上で具現されるコード）またはハードウェアモジュールのいずれかを構成することができる。ハードウェアエンジンは、一定の演算を実行することができる有形のユニットであり、一定の手法で構成され、または配置されることができる。例示的な実施形態において、１つもしくは複数のコンピュータシステム（例えば、スタンドアロン、クライアントまたはサーバコンピュータシステム）、またはコンピュータシステム（例えば、プロセッサもしくはプロセッサのグループ）の１つもしくは複数のハードウェアエンジンは、本明細書で説明されるような一定の演算を実行するように動作するハードウェアエンジンとして、ソフトウェア（例えば、アプリケーションまたはアプリケーション部分）によって構成されることができる。

【0222】

様々な実施形態において、ハードウェアエンジンは、機械的にまたは電子的に実装されることができる。例えば、ハードウェアエンジンは、一定の演算を実行するように（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）などの、専用プロセッサとして）恒久的に構成される専用回路構成または論理を含んでもよい。ハードウェアエンジンは、一定の演算を実行するためにソフトウェアによって一時的に構成される（例えば、汎用プロセッサまたは別のプログラム可能なプロセッサ内に包含されるような）プログラム可能な論理または回路構成も含んでもよい。ハードウェアエンジンを機械的に実装するか、専用かつ恒久的に構成される回路構成において実装するか、または一時的に構成される（例えば、ソフトウェアによって構成される）回路構成において実装するかの決定は、コストおよび時間を考慮して駆動されることができると認識されるであろう。

【0223】

本明細書で説明される例示的な方法の様々な動作は、関連する演算を実行するために（例えば、ソフトウェアによって）一時的に構成され、または恒久的に構成される、１つまたは複数のプロセッサ、例えば、プロセッサ２０２によって、少なくとも部分的に実行されることができる。一時的に構成されるものであれ、恒久的に構成されるものであれ、そのようなプロセッサは、１つまたは複数の演算または機能を実行するように動作するプロセッサ実装エンジンを構成することができる。本明細書で言及されるエンジンは、いくつかの例示的な実施形態において、プロセッサ実装エンジンを含んでもよい。

【0224】

一定の演算の性能は、１つまたは複数のプロセッサ間で分散されてもよく、単一の機械内に存在するだけではなく、複数の機械にわたり展開される。いくつかの例示的な実施形態において、１つまたは複数のプロセッサまたはプロセッサ実装モジュールは、単一の地理的ロケーション（例えば、家庭環境、オフィス環境、またはサーバファーム内）に位置してもよい。他の例示的な実施形態において、１つまたは複数のプロセッサまたはプロセッサ実装モジュールは、複数の地理的ロケーションにわたり分散されてもよい。

【0225】

本開示を読めば、当業者は、本明細書で開示される原理を通じて、同様のシステムまたはプロセスのためのさらに付加的な代替的構造および機能設計を認識するであろう。したがって、特定の実施形態および適用例が例示され、説明されてきたが、開示される実施形態は、本明細書で開示される厳密な構造および構成要素に限定されないことが、理解されたい。当業者には明らかであろう様々な変形、変更、およびバリエーションは、添付の特許請求の範囲において定義される趣旨および範囲から逸脱せずに、本明細書で開示される方法および装置の構成、動作および詳細において行われることができる。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10A】

【図10B】

【図10C】

【図11】

【図12A】

【図12B】

【図13A】

【図13B】

【図13C】

【図14】

【図15A】

【図15B】

【図15C】

【図16A】

【図16B】

【図16C】

【図16D】

【図16E】

【図16F】

【図17A】

【図17B】

【図18A】

【図18B】

【図19】

【図20】

【図21】

【図22A】

【図22B】

【図23】

【国際調査報告】