特許7551223シストリックアレイに基づくデータ処理方法、計算装置、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-06
(45)【発行日】2024-09-17
(54)【発明の名称】シストリックアレイに基づくデータ処理方法、計算装置、及びコンピュータプログラム
(51)【国際特許分類】
G06F 15/173 20060101AFI20240909BHJP
【ＦＩ】
G06F15/173 660B
【請求項の数】
14
(21)【出願番号】P 2023547488
(86)(22)【出願日】2022-02-21
(65)【公表番号】
(43)【公表日】2024-02-07
(86)【国際出願番号】 CN2022077046
(87)【国際公開番号】W WO2022179472
(87)【国際公開日】2022-09-01
【審査請求日】2023-08-04
(31)【優先権主張番号】202110219814.4
(32)【優先日】2021-02-26
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】于 ▲瀟▼宇
(72)【発明者】
【氏名】▲陳▼ ▲徳▼▲ウェイ▼
(72)【発明者】
【氏名】章 恒
【審査官】坂東 博司
(56)【参考文献】
【文献】特開２０１５－０５６１２４（ＪＰ，Ａ）
【文献】国際公開第２０１９／１５２４５１（ＷＯ，Ａ１）
【文献】特表２０２１－５０８８９５（ＪＰ，Ａ）
【文献】特開２０２０－０７７２９８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０１５０９５８（ＵＳ，Ａ１）
【文献】国際公開第２０２０／１９０８０７（ＷＯ，Ａ１）
【文献】特開２０２１－０８２２８９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／０１５０７７０（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０１６５５７４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／０１７５３５５（ＵＳ，Ａ１）
【文献】中国特許出願公開第１１０５４３９３４（ＣＮ，Ａ）
【文献】中国特許出願公開第１１１５０６３４４（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １５／１７３
(57)【特許請求の範囲】
【請求項1】
計算装置が実行する、シストリックアレイに基づくデータ処理方法であって、前記シストリックアレイの標準入力深度及び標準出力深度を決定するとともに、浅深度モデルのターゲット入力深度及びターゲット出力深度を決定するステップと、
前記ターゲット入力深度及び前記標準入力深度に基づいて、前記シストリックアレイ用の入力連結数量を決定するとともに、前記ターゲット出力深度及び前記標準出力深度に基づいて、前記シストリックアレイ用の出力連結数量を決定するステップと、
前記入力連結数量の入力データを生成し、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成するステップであって、各入力データが前記ターゲット入力深度を有し、各出力データが前記ターゲット出力深度を有する、ステップと、
前記シストリックアレイの出力バッファが前記シストリックアレイから受信した出力データの数量が前記出力連結数量に達すると、前記出力バッファ内の前記出力連結数量分の出力データをバッチで出力するステップと、
を含むデータ処理方法。
【請求項2】
前記ターゲット入力深度及び前記標準入力深度に基づいて、前記シストリックアレイ用の入力連結数量を決定するとともに、前記ターゲット出力深度及び前記標準出力深度に基づいて、前記シストリックアレイ用の出力連結数量を決定するステップは、前記標準入力深度と前記ターゲット入力深度との比を決定し、この比の整数部分を前記入力連結数量とするステップと、
前記標準出力深度と前記ターゲット出力深度との比を決定し、この比の整数部分を前記出力連結数量とするステップと、を含み、
前記入力連結数量及び／又は前記出力連結数量は、１より大きい整数である、
請求項１に記載のデータ処理方法。
【請求項3】
前記シストリックアレイは、計算ユニットアレイであり、前記計算ユニットアレイの行数及び列数は、それぞれ、前記標準入力深度及び前記標準出力深度に対応しており、前記入力バッファの深度は前記標準入力深度に対応しており、前記出力バッファの深度は前記標準出力深度に対応している、
請求項１に記載のデータ処理方法。
【請求項4】
前記入力連結数量は１に等しく、前記出力連結数量は１より大きく、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成するステップは、前記シストリックアレイにおける各計算ユニットの計算パラメータを設定するステップと、
前記出力連結数量の入力データを１グループの入力データとするステップであって、該グループの入力データのうちの異なる入力データに対応する出力データは、前記シストリックアレイにおける互いに重ね合わない列集合に対応しており、かつ、前記出力バッファの互いに重ね合わないバッファ領域に対応している、ステップと、
前記入力バッファを介して、該グループの入力データを前記シストリックアレイに順番に提供することにより、前記シストリックアレイが、該グループの入力データのうちの１つの入力データを受信するたびに、該入力データに対応する計算ユニットの計算パラメータに基づいて、該入力データを処理し、該入力データに対応する出力データを取得するステップと、
該グループの入力データのうちの各入力データに対して、前記入力データに対応する出力データを、該出力データに対応するバッファ領域に出力するステップと、を含み、
前記出力バッファ内の前記出力連結数量分の出力データをバッチで出力するステップは、
該グループの入力データに対して、前記出力バッファによって、出力バッファの各バッファ領域における前記出力連結数量分の出力データを互いに重ね合わないようにバッチで出力するステップを含む、
請求項１に記載のデータ処理方法。
【請求項5】
前記該グループの入力データのうちの各入力データに対して、前記入力データに対応する出力データを、該出力データに対応するバッファ領域に出力するステップは、各々の入力データに対して計算を行う際に、該グループの入力データのうち、計算対象の該入力データ以外の他の入力データに対応する出力データに対応するバッファ領域への書き込みを禁止するステップを含む、
請求項４に記載のデータ処理方法。
【請求項6】
前記入力連結数量は１より大きく、前記出力連結数量は１に等しく、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成するステップは、前記入力連結数量分の入力データを１グループの入力データとするステップであって、該グループの入力データのうちの異なる入力データは、前記シストリックアレイにおける互いに重ね合わない行集合に対応しており、該グループの入力データのうちの異なる入力データに対応する出力データは、いずれも、前記シストリックアレイにおける全ての列に対応している、ステップと、
前記入力バッファを介して、該グループの入力データを前記シストリックアレイに並列に提供するステップと、
該グループの入力データのうちの各入力データに対して順番に計算を行い、各々の入力データの計算プロセスにおいて、該入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記シストリックアレイにおける該入力データに対応する計算ユニット以外の計算ユニットの計算パラメータを０に設定するステップと、
各入力データに対応する出力データを出力バッファに順番に出力するステップと、を含む、
請求項１に記載のデータ処理方法。
【請求項7】
前記入力連結数量は１より大きく、前記出力連結数量は１より大きく、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成するステップは、前記入力連結数量及び前記出力連結数量に基づいて、総合連結数量を決定するステップと、
前記総合連結数量分の入力データを１グループの入力データとするステップと、
前記入力連結数量及び前記出力連結数量に基づいて、該グループの入力データを少なくとも１つのサブグループに分割するステップであって、各々のサブグループ内の各入力データは、前記シストリックアレイにおける互いに重ね合わない前記入力連結数量分の行集合に対応しており、該サブグループ内の異なる入力データに対応する出力データは、前記シストリックアレイにおける互いに重ね合わない列集合に対応しており、かつ、前記出力バッファの互いに重ね合わないバッファ領域に対応している、ステップと、を含む、
請求項１に記載のデータ処理方法。
【請求項8】
前記入力連結数量が前記出力連結数量に等しい場合、前記総合連結数量は前記入力連結数量であり、該グループの入力データに含まれるサブグループの数量は１であり、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成するステップは、該グループの入力データのサブグループに対して、前記入力バッファを介して、該サブグループ内の入力データを前記シストリックアレイに並列に提供するステップと、
該サブグループの計算に対して、該サブグループの入力データのうちの各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記シストリックアレイにおける各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定するステップと、
該サブグループ内の各入力データに対応する出力データを出力バッファに出力するステップと、をさらに含む、
請求項７に記載のデータ処理方法。
【請求項9】
前記入力連結数量が前記出力連結数量の１より大きい整数倍である場合、前記総合連結数量は前記入力連結数量であり、該グループの入力データに含まれる各々のサブグループ内の入力データの数量は前記出力連結数量であり、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成するステップは、前記入力バッファを介して、各々のサブグループ内の入力データを前記シストリックアレイに並列に提供するステップと、
各々のサブグループの計算に対して、該サブグループ内の各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記シストリックアレイにおける該サブグループの入力データのうちの各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定するステップと、
各々のサブグループに対応する出力データを出力バッファに順番に出力するステップと、をさらに含む、
請求項７に記載のデータ処理方法。
【請求項10】
前記入力連結数量が前記出力連結数量より大きいが、その整数倍ではない場合、前記総合連結数量は前記出力連結数量であり、該グループの入力データに含まれるサブグループの数量は１であり、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成するステップは、該グループの入力データに、ゼロで補完したＮ個の入力データを追加するステップであって、前記Ｎの値は、入力連結数量から出力連結数量を引いたものに等しい、ステップと、
前記入力バッファを介して、該グループの入力データを前記シストリックアレイに並列に提供するステップと、
該グループの入力データの計算に対して、該グループの入力データのうちの各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記シストリックアレイにおける該グループの入力データのうちの各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定するステップと、
該グループの入力データのうちの各入力データに対応する出力データを出力バッファに出力するステップと、をさらに含む、
請求項７に記載のデータ処理方法。
【請求項11】
前記出力連結数量が前記入力連結数量の１より大きい整数倍である場合、前記総合連結数量は前記出力連結数量であり、前記各々のサブグループの入力データには、前記入力連結数量の入力データが含まれ、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成するステップは、各々のサブグループ内の入力データの計算に対して、前記入力バッファを介して、該サブグループ内の入力データを前記シストリックアレイに並列に提供するステップと、
該サブグループ内の各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記シストリックアレイにおける該サブグループ内の各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定するステップと、
該グループの入力データに対応する出力データを出力バッファに出力するステップと、をさらに含み、
各々のサブグループ内の入力データに対して計算を行う際に、該サブグループに対応する出力データに対応するバッファ領域のみに対して書き込みを行うが、該サブグループ以外の他のサブグループに対応する出力データに対応するバッファ領域への書き込みを禁止する、
請求項７に記載のデータ処理方法。
【請求項12】
前記出力連結数量が前記入力連結数量より大きいが、その整数倍ではない場合、前記総合連結数量は前記入力連結数量であり、サブグループの数量は１であり、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成するステップは、前記入力バッファを介して、該グループの入力データを前記シストリックアレイに並列に提供するステップと、
該グループの入力データの計算に対して、該グループの入力データのうちの各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記シストリックアレイにおける該グループの入力データのうちの各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定するステップと、
該グループの入力データに対応する出力データを出力バッファに出力するステップと、をさらに含む、
請求項７に記載のデータ処理方法。
【請求項13】
計算装置であって、コントローラと、データ取得器と、シストリックアレイ、入力バッファと、出力バッファと、を含み、前記シストリックアレイは、計算ユニットアレイであり、前記コントローラは、前記シストリックアレイの標準入力深度及び標準出力深度を決定するとともに、浅深度モデルのターゲット入力深度及びターゲット出力深度を決定し、
前記コントローラは、前記ターゲット入力深度及び前記標準入力深度に基づいて、前記シストリックアレイ用の入力連結数量を決定するとともに、前記ターゲット出力深度及び前記標準出力深度に基づいて、前記シストリックアレイ用の出力連結数量を決定し、
前記コントローラは、前記データ取得器を制御して、前記入力連結数量の入力データを取得して生成し、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイを制御して、前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成し、前記シストリックアレイの出力バッファが前記シストリックアレイから受信した出力データの数量が前記出力連結数量に達すると、出力バッファを制御して、前記出力連結数量分の出力データをバッチで出力し、各入力データが前記ターゲット入力深度を有し、各出力データが前記ターゲット出力深度を有する、
計算装置。
【請求項14】
コンピュータに、請求項１乃至１２のいずれか１項に記載のデータ処理方法を実施させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２１年２月２６日に中国特許庁に提出された、出願番号が第２０２１１０２１９８１４．４号であり、発明の名称が「シストリックアレイに基づく浅深度モデルの計算最適化方法及び装置」である中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。
【0002】
本開示は、コンピュータ分野に関し、より具体的には、シストリックアレイに基づくデータ処理方法、装置、媒体、及びプログラム製品に関する。
【背景技術】
【0003】
データ処理分野において、多くのデータ処理プロセス、例えば、深層学習プロセスは、畳み込みニューラルネットワーク（ＣＮＮ）によってデータ処理プロセスを行うことができ、大量の計算手順が必要であり、そのほとんどは積和演算である。
【0004】
シストリックアレイ構造は、現在、多くの積和演算プロセスを実現するために使用されている。シストリックアレイ構造は、各行と各列のノードに設置された計算ユニット（ＰＥで表され、各々のＰＥには、積和演算器又は同類の計算デバイス、及び記憶ユニットが含まれる）を含み、その利点が、内部演算に関与するオペランド又は中間結果を高速な並列パイプライン方式で処理でき、即ち、各部分の入力データ（各行に入力されるデータ）及び各ＰＥの計算結果に対してアレイ全体で簡単かつ効率的なシストリック伝達を実現できることにあるため、データ多重化を向上させ、オフチップデータの移動を低減させ、帯域幅の需要を低減させる効果を有する。したがって、単一又は複数の２次元シストリックアレイは、積和演算の計算コアとして、例えばＴＰＵなどの人工知能（ＡＩ）プロセッサに大量に使用されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の問題を解決するために、本開示の実施例は、シストリックアレイに基づくデータ処理方法、装置、媒体、及びプログラム製品を提供する。
【課題を解決するための手段】
【0006】
本開示の一態様によれば、シストリックアレイに基づくデータ処理方法が提供されている。この方法は、前記シストリックアレイの標準入力深度及び標準出力深度を決定するとともに、浅深度モデルのターゲット入力深度及びターゲット出力深度を決定するステップと、前記ターゲット入力深度及び標準入力深度に基づいて、前記シストリックアレイ用の入力連結数量を決定するとともに、前記ターゲット出力深度及び標準出力深度に基づいて、前記シストリックアレイ用の出力連結数量を決定するステップと、前記入力連結数量の入力データを生成し、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成するステップであって、各入力データが前記ターゲット入力深度を有し、各出力データが前記ターゲット出力深度を有する、ステップと、前記シストリックアレイの出力バッファが前記シストリックアレイから受信した出力データの数量が前記出力連結数量に達すると、前記出力バッファ内の前記出力連結数量分の出力データをバッチで出力するステップと、を含む。
【0007】
本開示の他の態様によれば、計算装置が提供されている。この計算装置は、コントローラと、データ取得器と、シストリックアレイ、入力バッファと、出力バッファと、を含んでもよい。前記コントローラは、前記シストリックアレイの標準入力深度及び標準出力深度を決定するとともに、浅深度モデルのターゲット入力深度及びターゲット出力深度を決定する。前記コントローラは、前記ターゲット入力深度及び標準入力深度に基づいて、前記シストリックアレイ用の入力連結数量を決定するとともに、前記ターゲット出力深度及び標準出力深度に基づいて、前記シストリックアレイ用の出力連結数量を決定する。前記コントローラは、前記データ取得器を制御して、前記入力連結数量の入力データを取得して生成し、前記入力連結数量分の入力データを互いに重なり合わないように前記シストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイを制御して、前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成し、前記シストリックアレイの出力バッファが前記シストリックアレイから受信した出力データの数量が前記出力連結数量に達すると、出力バッファを制御して、前記出力連結数量分の出力データをバッチで出力し、各入力データが前記ターゲット入力深度を有し、各出力データが前記ターゲット出力深度を有する。
【0008】
本開示の別の態様によれば、命令又はコードを記憶したコンピュータ可読記憶媒体が提供されている。前記命令又はコードは、プロセッサによって実行されると、上記のような計算装置のコントローラによる動作を実現させる。
【0009】
本開示の別の態様によれば、命令又はコードを有するコンピュータプログラム製品が提供されている。前記命令又はコードは、計算装置によって実行されると、上記データ処理方法を実施させる。
【0010】
本開示の実施例の構成をより明確に説明するために、以下に、実施例の説明に必要な図面を簡単に紹介する。以下の説明における図面は、本開示の例示的な実施例に過ぎない。
【図面の簡単な説明】
【0011】
【図1】本開示の実施例によるシストリックアレイに基づく計算装置の構成の模式図を示す。
【図2】本開示の実施例によるシストリックアレイに基づくデータ処理方法２００の流れの模式図を示す。
【図4A】１つの具体例を示す。
【図4B】１つの具体例を示す。
【図6】１つの具体例を示す。
【発明を実施するための形態】
【0012】
本開示の目的、構成、及びメリットをより明らかにするために、以下、図面を参照しながら、本開示による例示的な実施例を詳しく説明する。明らかなように、説明される実施例は、本開示の一部の実施例に過ぎず、本開示の全部の実施例ではない。理解すべきものとして、本開示は、ここで説明される例示的な実施例によって限定されない。
【0013】
本明細書及び図面において、基本的に同じ又は類似のステップ及び要素は、同じ又は類似の符号で表され、これらのステップ及び要素の繰り返し説明が省略される。また、本開示の説明において、「第１」、「第２」などの用語は、区別して説明するためのものに過ぎず、相対的な重要性又はランクを指示又は示唆するものと理解するわけにはいかない。
【0014】
深層学習（深層構造化学習又は階層化学習とも呼ばれる）は、人工ニューラルネットワークに基づくより広範な機械学習方法のファミリーの一部である。学習は、教師あり、半教師あり、又は教師なしであってもよい。
【0015】
前述したように、深層学習は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）によってデータ処理を行ってもよい。畳み込みニューラルネットワーク（ＣＮＮ）は、主に、入力層、畳み込み層、活性化関数、プーリング層、全結合層、損失関数で構成され、中間の各々の層（例えば、畳み込み層、プーリング層）は、複数であってもよい。畳み込み層の計算では、データの大量の積和演算に関わる。このため、シストリックアレイ構造によって、畳み込み層の計算プロセスを実現することができる。注意すべきものとして、本開示のコンテキストでは、シストリックアレイ構造が畳み込み層の計算に適用される場合を例にして説明しているが、シストリックアレイ構造は、任意の行列計算にも適用可能である。
【0016】
本開示の実施例を詳しく説明するに先立って、本明細書で採用される用語の一部を簡単に紹介する。
【0017】
浅深度モデル（「浅い深度モデル」、「浅い深層モデル」とも呼ばれる）は、深層学習に使用される軽量モデルであり、入力データに基づいて出力データを生成するためのものであり、一般的に入力データ及び出力データの深度が小さい。この浅深度モデルの計算プロセスは、以下に説明するシストリックアレイに基づいて実現される。
【0018】
シストリックアレイは、行と列に並んだ複数の計算ユニットを有し、計算ユニットには、ニューラルネットワークの基本計算ユニットである行列乗算を実行するために、例えば乗算－累算器の計算素子（例えば、積和演算器で実現される）が含まれる。これらの計算ユニット同士を導線で接続し、計算ユニット内に必要なバッファを組み入れて計算ユニット外部のバッファに接続する。シストリックアレイは、心臓の収縮機能に基づいて名づけられ、血流のように、データがこれらの計算ユニットによって「ポンプ」される。
【0019】
図１は、本開示の実施例によるシストリックアレイに基づく計算装置１００の構成の模式図を示す。
【0020】
図１に示すように、計算装置１００は、コントローラ１０１と、データ取得器１０２と、シストリックアレイ１０３と、入力バッファ１０４と、出力バッファ１０５と、を含む。
【0021】
本開示の実施例では、説明の便宜上、図１において、コントローラ１０１を１つのみ示しているが、当業者が理解すべきものとして、コントローラは、該計算装置１００の全ての動作を互いに協調して制御する複数の制御モジュールの総称であってもよい。ここでのコントローラ１０１は、グローバル制御のためのグローバルコントローラ、並びに、データ取得器、入力バッファ、出力バッファの動作を制御する様々なタイプの制御ロジック又は制御回路などのうちの１つ又は複数を指してもよく、計算ユニットにおける積和演算器の組み合わせを指してもよい。例えば、グローバルコントローラには、データ取得器１０２や入力バッファ１０４、出力バッファ１０５などに実行パラメータを提供するために、例えば命令解析及びパラメータ設定の機能が配置されてもよい。入力バッファ１０４に対応する制御ロジックは、バッファリングされた入力データをシストリックアレイ１０３に送信するように制御することができる。出力バッファに対応する制御ロジックは、シストリックアレイ１０３の出力データを出力バッファにバッファリングして、出力バッファから該出力データを出力するように制御することができる。
【0022】
シストリックアレイ１０３は、計算ユニットアレイであってもよく（以下ではシストリックアレイと交換して使われる場合もある）、標準入力深度及び標準出力深度を有してもよい。ここで、計算ユニットアレイの行数及び列数は、それぞれ、前記標準入力深度及び前記標準出力深度に対応している。言い換えれば、標準入力深度は計算ユニットアレイの行数であり、標準出力深度は計算ユニットアレイの列数である。いくつかの実施例において、前記計算ユニットアレイの行数及び列数は、それぞれ、前記標準入力深度及び前記標準出力深度に等しくてもよい。他のいくつかの実施例において、一部の行と列における計算ユニットを代替又は冗長とするために、前記計算ユニットアレイの行数及び列数は、それぞれ、前記標準入力深度及び前記標準出力深度より大きくてもよい。本開示はこれを限定しない。注意すべきものとして、異なる状況では、計算ユニットアレイの標準入力深度と標準出力深度が異なってもよい。例えば、計算ユニットアレイが含まれる異なるタイプのＡＩプロセッサは、１６×３２、３２×３２などの計算ユニットアレイを選択することができる。
【0023】
該計算ユニットアレイ（シストリックアレイ）１０３には、少なくとも１行の計算ユニットが含まれてもよく、各々の行の計算ユニットには、少なくとも２つの計算ユニット１０３ａが含まれ、各々の行の計算ユニットのうちの隣接する２つの計算ユニット１０３ａが接続される。
【0024】
入力バッファ１０４には、シストリックアレイによって計算する、データ取得器１０２からの少なくとも１つの入力データがバッファリングされる。入力バッファ１０４には、計算のための各計算パラメータがバッファリングされてもよい。該計算パラメータは、データ取得器１０２から、直接にシストリックアレイ１０３に提供されたり、入力バッファ１０４を介してシストリックアレイ１０３に提供されたりしてもよい。各入力データも深度を有してもよい（複数部分の入力データ、複数チャネルの入力データを含むとみなされてもよい）。また、入力バッファ１０４は、複数の（例えば、シストリックアレイの行数に等しい）サブ入力バッファ（示されていない）を含んでもよく、各々のサブ入力バッファは、シストリックアレイの１行における計算ユニットに１つの部分の入力データを提供するためのものである。例えば、ある入力データの深度がｍ（ｍは１以上の整数）である場合、該入力データは、ｍ個の部分の入力データ又はｍ個のチャネルの入力データを含むとみなされてもよい。このｍ個の部分の入力データは、シストリックアレイに必要な入力フォーマット及びタイミングにしたがって、それぞれｍ個のサブ入力バッファにバッファリングされる。ｍ個のサブ入力バッファは、シストリックアレイのタイミングにしたがって、ｍ個の部分の入力データをシストリックアレイのｍ行にそれぞれ入力する。
【0025】
コントローラ１０１（例えば、入力バッファ１０４に対応する制御ロジック）は、入力バッファ１０４内の入力データを、それに対応する行の計算ユニット１０３ａに入力するように制御することができる。ここで、各々の行における計算ユニット１０３ａは、受信した各々の部分の入力データを、それに対応する行の計算ユニット１０３ａ内で伝送する。例えば、１行目１列目の計算ユニット１０３ａの場合、１番目のサブ入力バッファからの１つの部分の入力データを受信すると、この部分の入力データを１行目２列目の計算ユニットに伝達し、シストリック的に順次伝達していく。隣接する行における１番目の計算ユニット１０３ａが該入力データのうちのそれぞれの１つの部分の入力データを受信する時間は、１クロックずつずれている。
【0026】
シストリックアレイ１０３における各々の計算ユニット１０３ａは、受信した１つの部分の入力データ、及びそれに対応する計算パラメータ（例えば、ＣＮＮモデルにおける畳み込みカーネルの重み係数）に対して計算を行うためのものである。シストリックアレイ１０３の列毎に、該列における各計算ユニット１０３ａによる計算結果を重ね合わせる（即ち、累算する）（図中では下から上へ）ことにより、各列における最後（各列のｍ行目）の計算ユニット１０３ａにおいて出力データを取得し、該列の出力データを出力バッファ１０５に出力する。注意すべきものとして、該計算パラメータは、必要に応じて更新してもよく、シストリックアレイの各計算ユニットが計算タスクを実行する際に、それに対応する計算ユニットによって使用されるだけでよい。例えば、シストリックアレイの設定方式に応じて、各入力データの計算に対して、各計算ユニットにおける計算パラメータは、計算ユニットに予め記憶されてもよく、あるいは、入力データのシストリック伝達とは同じクロック及び異なる方向（相互に垂直）で、計算中に各計算ユニットにシストリック的に伝達されてもよい。これはシストリックアレイの一般原理と同じである。
【0027】
同様に、出力バッファ１０５は、各々の列における最後の計算ユニット１０３ａから出力された出力データをバッファリングするためのサブ出力バッファを複数含んでもよい。コントローラ１０１（例えば、出力バッファに対応する制御ロジック）は、出力バッファ１０５（又は複数のサブ出力バッファ）からこれらの出力データをバッチで出力し、例えば、後続の記憶装置に提供したり、出力バッファ１０５から入力バッファ１０４へデータを移動して後続の演算を用意したりするように制御することができる。
【0028】
本開示の実施例において、ＣＮＮモデルを例にすると、各々の計算ユニットに入力された各々の部分の入力データ、及び、提供された計算ユニットにおける畳み込みカーネルは、それぞれ、１つの２次元のデータ行列であってもよい。例えば、該ＣＮＮモデルを使用して画像処理プロセスを行い、かつ、畳み込みカーネルがＣＮＮモデルにおける特徴重みである場合を例にすると、畳み込み計算を行う際に、入力データは画像特徴マップテンソル（Ｉｍａｇｅ ｆｅａｔｕｒｅ ｍａｐ ｔｅｎｓｏｒ；ＮＨＷＣフォーマットで記憶され、ここで、Ｎはこの１バッチの画像の数量であり、Ｈは画像の垂直方向の画素数量であり、Ｗは水平方向の画素数量を表し、Ｃはチャネル数量を表す）である。即ち、各々の入力データは、画像から抽出された特徴データであり、垂直方向の画素数量Ｈ、水平方向の画素数量Ｗ、及びチャネル数量Ｃで表すことができる。該入力データ（深度Ｃ）の各々の部分の入力データは、１つの１０（Ｈ）×１０（Ｗ）のデータ行列であってもよく、即ち、該データ行列は、１０行に分けられ、１行あたりに１０個のデータ要素が含まれる。これに応じて、各々の畳み込みカーネルは、１つの３×３の重み行列であってもよく、即ち、該重み行列は、３行に分けられ、１行あたりに３つの重み要素が含まれ、各重み要素は、データ要素と乗算するための重み値である。説明すべきものとして、上記の入力データ及び畳み込みカーネルについて２次元データのみを例示しているが、実際の応用において、上記の入力データ及び畳み込みカーネルは、３次元データであってもよい。
【0029】
本開示の実施例に示される計算ユニットアレイにおいて、１行の計算ユニットのうちの各計算ユニットには、それぞれ、各自の計算パラメータが予め記憶されており、計算ユニットアレイ１０３は、計算を行う際に、１行の計算ユニットに対応する１つの部分の入力データをパイプライン（ｐｉｐｅｌｉｎｅ）方式で該行の計算ユニットのうちの各計算ユニットに順次入力し、各計算ユニットにおいて、それぞれ、該部分の入力データ及びそれに対応する計算パラメータに対して計算を行ってもよい。
【0030】
上記は、図１を参照して、本開示の実施例によるシストリックアレイに基づく計算装置１００の構成の模式図及び一般的な計算プロセスを説明している。該計算装置１００は、入力データに対して複数の深度の並列計算を実現できるため、例えば、畳み込み計算のような積和演算を速めることができる。
【0031】
シストリックアレイ構造に基づく計算プロセスにおいて、シストリックアレイ構造の利用効率、入力データを入力バッファに移動したり、シストリックアレイによって計算された出力データを、シストリックアレイに対応する出力バッファから取り出したりする移動効率は、計算プロセスでしばしば考慮される要素である。実際の応用では、異なるモデルによって入力データ深度及び出力データ深度が異なる可能性があり、一定の変動範囲がある。例えば、軽量モデル（浅深度モデル）の入力データ深度及び出力データ深度の値が小さく（浅深度モデルの入力深度及び浅深度モデルの出力深度と略称）、例えば、１６、８などである。この場合、シストリックアレイの標準入力深度及び標準出力深度が例えば３２であれば、図１を参照して説明したシストリックアレイに基づく計算プロセスによると、シストリックアレイの利用率が大幅に低下する。例えば、シストリックアレイの標準入力深度及び標準出力深度が全て３２であり、浅深度モデルの入力深度及び出力深度が全て８である場合、３２＊３２のシストリックアレイは、８行＊８列のみの計算ユニットによる計算結果が有効である（残りの２４行に入力された２４個の部分の入力データを０で埋める）。このため、シストリックアレイにおける計算ユニットの利用効率が１／１６に低減し、性能に大きな影響を与える。また、毎回、深度が８である１つの入力データのみがシストリックアレイに入力され、浅深度モデル（シストリックアレイに基づいて計算される）の８チャネルの出力データは出力バッファに書き込まれる際に並列度３２で書き込まれるので、３２個の部分の出力データを書き込むたびに、２４個の部分の無効データがある。これにより、後続処理に出力バッファ内のデータを使用する必要がある場合、出力バッファからこの３２個の部分の出力データが同時に取得される。このため、大量の無効データが移動されることになり、移動効率も低下する。浅深度モデルの計算プロセスに適用される場合、シストリックアレイ構造は、利用効率及びデータの移動効率が高くないことが多い。
【0032】
そこで、上記の問題を解決するために、本開示の実施例は、シストリックアレイに基づく浅深度モデルのデータ処理方法及び計算装置を提供する。本開示の実施例は、浅深度モデルのターゲット入力深度及びターゲット出力深度に基づいて、異なる入力データ及び／又は異なる出力データを連結することにより、異なる入力データを入力バッファに並列に入力し、さらに、異なる入力データをシストリックアレイに提供することができるとともに、異なる出力データを出力バッファからバッチで出力することができる。このため、入力／出力データの移動効率を向上させることができる。また、各行のデータが、隣接する計算ユニット間でシストリック的に伝達され、かつ、各列の計算ユニットによる計算結果が、隣接する計算ユニット間でシストリック的に伝達・累算されるため、シストリックアレイにおける大多数の計算ユニットが常に計算状態にあることが可能になる。そして、浅深度モデルの計算において、異なる入力データ、及びそれに対応する出力データが、異なる行集合及び列集合に対応する計算ユニットを使用することができるため、シストリックアレイの利用効率をより効果的に向上させることができるとともに、スループットの向上及び演算遅延の低減が可能になり、さらに総所有コスト（ＴＣＯ：ｔｏｔａｌ ｃｏｓｔ ｏｆ ｏｗｎｅｒｓｈｉｐ；データセンタの運営コストを評価するためのものである）を低減させる。
【0033】
以下、図２－１０Ｄを参照して、本開示の実施例によるシストリックアレイに基づく浅深度モデルのデータ処理方法及び装置を説明する。
【0034】
図２は、本開示の実施例によるシストリックアレイに基づく浅深度モデルのデータ処理方法２００の流れの模式図を示す。データ処理方法２００は、例えば、計算装置１００に適用されるが、これに限定されない。
【0035】
図２に示すように、ステップＳ２１０では、シストリックアレイの標準入力深度及び標準出力深度を決定するとともに、浅深度モデルのターゲット入力深度及びターゲット出力深度を決定する。
【0036】
前述したように、シストリックアレイは、計算ユニットアレイであってもよく、計算ユニットアレイの行数及び列数は、それぞれ、前記標準入力深度及び前記標準出力深度に対応してもよい。いくつかの実施例において、前記計算ユニットアレイの行数及び列数は、それぞれ、前記標準入力深度及び前記標準出力深度に等しくてもよい。他のいくつかの実施例において、一部の行と列における計算ユニットを代替又は冗長とするために、前記計算ユニットアレイの行数及び列数は、それぞれ、前記標準入力深度及び前記標準出力深度より大きくてもよい。本開示は、以下で、計算ユニットアレイの行及び列がそれぞれ標準入力深度及び標準出力深度に等しい場合を例にするが、等しくないことも実行可能である。本開示はこれを限定しない。
【0037】
浅深度モデルは、入力深度がシストリックアレイの標準入力深度より小さいこと、出力深度がシストリックアレイの標準出力深度より小さいことのうちの少なくとも１つの条件を満たす深度モデルである。本開示のいくつかの実施例において、コンピュータデータ処理の実際な状況を考慮すると、通常、シストリックアレイの標準入力深度／出力深度が２のべき乗であり、かつ、浅深度モデルのターゲット入力深度及びターゲット出力深度もいずれも２のべき乗である。
【0038】
ただし、これは必須ではない。シストリックアレイの他の数値（即ち、２のべき乗ではない数値）の標準入力深度／出力深度、並びに、浅深度モデルの他の数値のターゲット入力深度及びターゲット出力深度も実行可能である。例えば、シストリックアレイの標準入力深度／出力深度は、それぞれ、４８及び９６であり、浅深度モデルのターゲット入力深度及びターゲット出力深度は、それぞれ、２４及び３２、あるいは、３１及び４２などの数値であってもよい。本開示はこれを限定しない。
【0039】
本明細書の以降の詳述では、説明の便宜上、例として、シストリックアレイに入力された１つの入力データ及びそれに対応する出力データの深度が全て２のべき乗である場合を説明する。ただし、他の場合も同様の原理に基づいている。
【0040】
ステップＳ２２０では、ターゲット入力深度及び標準入力深度に基づいて、シストリックアレイ用の入力連結数量を決定するとともに、ターゲット出力深度及び標準出力深度に基づいて、シストリックアレイ用の出力連結数量を決定する。ここで、入力連結数量及び／又は出力連結数量は、１より大きい整数である。
【0041】
いくつかの実施例において、ステップＳ２２０では、標準入力深度と前記ターゲット入力深度との比を決定し、この比の整数部分を入力連結数量としてもよい。これに類似して、ステップＳ２２０では、標準出力深度とターゲット出力深度との比を決定し、この比の整数部分を出力連結数量としてもよい。例えば、入力深度と出力深度との一致性を保証するために、シストリックアレイの標準入力深度と標準出力深度とが等しくてもよく（現在のＡＩプロセッサの大多数の場合）、例えば、いずれも３２であり、浅深度モデルのターゲット入力深度及びターゲット出力深度が全て８である場合、入力連結数量が４であり、かつ、出力連結数量も４であると決定することができ、あるいは、浅深度モデルのターゲット入力深度が１６であり、かつ、ターゲット出力深度が８である場合、入力連結数量が２であり、かつ、出力連結数量が４であると決定することができる。
【0042】
例として、浅深度モデルのターゲット入力深度が３２であり、かつ、ターゲット出力深度が８である場合、入力連結数量が１であり、即ち、計算のために浅深度モデルに入力された各入力データの深度が３２であり（即ち、３２個のデータ入力チャネル）、かつ、出力連結数量が４であると決定することができる。あるいは、浅深度モデルのターゲット入力深度が８であり、かつ、ターゲット出力深度が３２である場合、入力連結数量が４であり、かつ、出力連結数量が１であり、即ち、各入力データが浅深度モデルの計算を経た後に出力された出力データの深度が３２である（即ち、３２個のデータ出力チャネル）と決定することができる。
【0043】
また、浅深度モデルのターゲット入力深度及びターゲット出力深度が２のべき乗ではない場合、シストリックアレイの標準入力深度及び標準出力深度の値と、浅深度モデルのターゲット入力深度及びターゲット出力深度の値とに基づいて決定してもよい。例えば、標準入力深度及び標準出力深度がそれぞれ３２及び３２であり、かつ、ターゲット入力深度及びターゲット出力深度がそれぞれ１５及び７である場合、入力連結数量が２であってもよく、かつ、出力連結数量が４であってもよい。シストリックアレイの残りの行と列における計算ユニットは、今回の計算に使用されない。即ち、シストリックアレイを、行数が３０であり、かつ、列数が２８であるアレイとみなせばよい。
【0044】
注意すべきものとして、入力連結数量又は出力連結数量が１より大きい場合、シストリックアレイの入力又は出力においてデータ連結を行って、本開示の実施例のシストリックアレイに基づく各計算動作を行うために、複数の入力データが存在することを保証する必要がある。
【0045】
一例では、１つのみの初期入力データ（１つの画像特徴マップテンソル（前述したようなＮＨＷＣフォーマット、Ｎ＝１））が取得された場合、複数の入力データを取得するために、必要に応じて該初期入力データを水平方向Ｈ及び垂直方向Ｗに切り分けてもよい（ｔｉｌｅ）。切り分けられた各入力データの深度がターゲット入力深度より大きい場合、該切り分けられた入力データを深度方向にターゲット入力深度でセグメント化する（均等に分割できない場合、最後のセグメントで不足分の深度に対応するチャネルのデータを０で補完する）。また、各々の入力データに対して、深度方向にセグメント化することで、複数のセグメント化された入力データが取得された場合、セグメント化された入力データに対する複数のラウンドの演算を行ってもよい。また、後続の処理ユニットは、該複数のセグメント化された入力データに対応する複数の出力データの値を出力バッファから取得してから、複数の出力データの和を求めることにより、該入力データに対応する出力データの値を取得してもよい。
【0046】
一方、複数の初期入力データ（画像特徴マップテンソル（前述したようなＮＨＷＣフォーマット、Ｎは１より大きい整数））がバッチで取得された場合、複数の入力データを取得するために、各初期入力データ（画像特徴マップテンソル）それぞれを、シストリックアレイに入力する１つの入力データとしてもよい。そして、各々の入力データに対して、深度もターゲット入力深度より大きい場合、ターゲット入力深度の入力データを取得するために、該入力データをターゲット入力深度で再度セグメント化してもよい。
【0047】
ステップＳ２３０では、入力連結数量の入力データを生成し、入力連結数量分の入力データを互いに重なり合わないようにシストリックアレイの入力バッファにバッチで入力し、前記シストリックアレイによって前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成し、シストリックアレイの出力バッファが前記シストリックアレイから受信した出力データの数量が前記出力連結数量に達すると、出力バッファ内の出力連結数量分の出力データをバッチで出力し、各入力データがターゲット入力深度を有し、各出力データが前記ターゲット出力深度を有する。
【0048】
例えば、ステップＳ２３０では、複数（入力連結数量）の入力データをシストリックアレイの入力バッファにバッチで提供し、さらに入力バッファによって、タイミングにしたがって、各入力データをシストリックアレイの異なる行集合に提供することができる。例えば、４つの入力データ（各入力データの深度は８）のうちの各入力データを入力バッファに入力して、シストリックアレイの異なる８行に提供することができる。
【0049】
例えば、出力連結数量が１より大きい整数である場合は、異なる時点でシストリックアレイから複数の出力データ、即ち出力連結数量の出力データを出力することができ、該出力連結数量の出力データをシストリックアレイの出力バッファにバッファリングすることができ、さらに、出力バッファから該出力連結数量の出力データをバッチで取得することができるということを示す。例えば、シストリックアレイの４つの８列出力の出力データ（各出力データの深度は８）を出力バッファに書き込み、その後、出力バッファからこの４つの出力データを一括して読み出すことができる。
【0050】
図２を参照して説明したシストリックアレイに基づくデータ処理方法によれば、浅深度モデルに対して、複数の入力データ（同じ深度を有する）を、他の装置から入力バッファへバッチで移動して、入力バッファを介して共同でシストリックアレイの入力とすることができるため、入力データの移動効率を向上させることができる。また、複数の出力データ（同じ深度を有する）を出力バッファにバッファリングすることができ、出力バッファから複数の出力データをバッチで出力することができるため、出力データの移動効率を向上させることもできる。
【0051】
以下、図３－４Ｂを参照して、本開示の実施例によるシストリックアレイに基づく浅深度モデルのデータ処理方法をさらに説明する。図３は、図２に示す方法２００のステップＳ２３０の具体的な流れの模式図を示す。図４Ａ－４Ｂは、図２に示す方法２００の１つの具体例を示す。
【0052】
図３－４Ｂは、入力連結数量が１に等しく、かつ、出力連結数量が１より大きい場合に対応している。この場合、方法のステップＳ２３０は、以下のステップを含むように実施されてもよい。
【0053】
ステップＳ３１０では、シストリックアレイにおける各計算ユニットの計算パラメータを設定する。
【0054】
例えば、各計算ユニットの計算パラメータを設定することは、各計算ユニットでの計算を行うために、各入力データの計算プロセスの前に、各計算ユニットに必要な計算パラメータを予め記憶したり、各入力データの計算プロセスにおいて、入力データの伝達プロセスに使用されるクロックに基づいて、シストリック的に計算パラメータを各計算ユニットに順次提供したりすることを含んでもよい。
【0055】
例えば、シストリックアレイがＣＮＮモデルにおける畳み込み層の計算に使用できるため、計算ユニットには、例えば、畳み込みカーネルである計算パラメータが含まれてもよく、計算ユニットにおける畳み込みカーネル（例えば、前述したような３×３の重み行列）を設定してもよい。該実施例において、各計算ユニットの計算パラメータは、入力データ毎に決定される。これを後続のステップで説明する。
【0056】
ステップＳ３２０では、出力連結数量分の入力データを１グループの入力データとし、該グループの入力データのうちの異なる入力データに対応する出力データは、シストリックアレイにおける互いに重ね合わない列集合に対応しており、かつ、出力バッファの互いに重ね合わないバッファ領域に対応している。
【0057】
例えば、図４Ａに示すように、シストリックアレイの標準入力／出力深度が全て３２であり、かつ、浅深度モデルのターゲット入力深度が３２であり、ターゲット出力深度が８である。これにより、入力連結数量が１であり、かつ、出力連結数量が４であると決定することができる。また、４つの入力データ（各入力データの深度は３２）を生成して１グループの入力データとし、異なる時点で（順番に）入力バッファに入力し、さらにシストリックアレイの各行に提供する。１番目の入力データに対応する出力データ（即ち、シストリックアレイの計算を経たデータ）は、シストリックアレイの第１－８列から出力して（即ち、該第１－８列に対応）、出力バッファの１番目のバッファ領域にバッファリングされる。２番目の入力データに対応する出力データは、シストリックアレイの第９－１６列から出力して（即ち、該第９－１６列に対応）、出力バッファの２番目のバッファ領域にバッファリングされる。３番目の入力データに対応する出力データは、シストリックアレイの第１７－２４列から出力して（即ち、該第１７－２４列に対応）、出力バッファの３番目のバッファ領域にバッファリングされる。４番目の入力データに対応する出力データは、シストリックアレイの第２５－３２列から出力して（即ち、該第２５－３２列に対応）、出力バッファの４番目のバッファ領域にバッファリングされる。出力バッファの異なる領域は重なり合わない。さらに、前述したように、出力バッファは、複数のサブ出力バッファを含んでもよく、サブ出力バッファの数量は、シストリックアレイの列数に等しくてもよい。このため、シストリックアレイの各列集合内の各列における最後の計算ユニットから出力された出力データは、いずれも、列集合内の列数に等しい数量の複数のサブ出力バッファにバッファリングされる。この複数のサブ出力バッファは、前述した出力バッファの１つのバッファ領域に対応している。
【0058】
ステップＳ３３０では、入力バッファを介して、該グループの入力データをシストリックアレイに順番に提供することにより、シストリックアレイが、該グループの入力データのうちの１つの入力データを受信するたびに、該入力データに対応する計算ユニットの計算パラメータに基づいて、該入力データを処理し、該入力データに対応する出力データを取得する。
【0059】
例えば、該グループの入力データに４つの入力データが含まれるとする（各入力データの深度は３２であり、それに対応する出力データの深度は８である）。図４Ａに示すように、毎回、入力バッファに１つの入力データを提供し、さらに入力バッファを介して、シストリックアレイに該入力データを提供する（特定のタイミングにしたがって該入力データの複数部分（複数チャネル）の入力データをシストリック的にシストリックアレイにおける対応する各行に入力する）。シストリックアレイは、各入力データに対して、それに対応する出力データを出力する。少なくとも、入力バッファが１つの入力データをシストリックアレイに提供してから、他の入力データを入力バッファに入力する。
【0060】
ステップＳ３４０では、該グループの入力データのうちの各入力データに対して、入力データに対応する出力データを、該出力データに対応するバッファ領域に出力する。
【0061】
本実施例の場合、シストリックアレイの動作原理に基づき、入力バッファは、毎回の計算プロセスにおいて、シストリックアレイに１つの入力データ（例えば、深度は３２である）を入力し、即ち、特定のタイミングにしたがって該入力データの例えば３２個の部分の入力データをシストリックアレイの３２行に入力し、各行における各計算ユニットは、いずれも、該行に入力された１つの部分の入力データと、計算パラメータとに基づいて計算を行い、同一の列における１つ前の行の計算ユニットによる計算結果と累算を行う。本実施例において、該入力データに対応する出力データの深度が小さいため（例えば、図４Ａに示された出力データの深度は８である）、該入力データに対応する出力データを一部のみの列（例えば、８列）から出力すればよく、これらの列（例えば、８列）と、該入力データの深度に対応するシストリックアレイの行（例えば、３２行）との交点における計算ユニットに、該入力データと相関する計算パラメータを設定する必要がある。例えば、計算パラメータを各計算ユニットに予め記憶したり、計算プロセスにおいてタイミングに従って各計算ユニットにシストリック的に提供したりする。もちろん、他の入力データの以前の計算結果に影響を与えずに、今回の計算に計算パラメータを提供できることを満たせれば、計算パラメータを提供するための他の方式があってもよい。本開示はこれを限定しない。
【0062】
同様に、他の各入力データに対しても、それぞれに対応する列集合（８列）と、該入力データの深度に対応するシストリックアレイの行（例えば、３２行）との交点における計算ユニットに、該入力データと相関する計算パラメータを設定する必要がある。
【0063】
このため、本実施例では、各入力データに対して、特定の一部の計算ユニットにおける計算パラメータを設定する必要がある。例えば、１番目の入力データの場合、この特定の一部の計算ユニットは、第１－８列と第１－３２行の交点における計算ユニットである。計算ユニットアレイ内の各計算ユニットにおける計算パラメータを設定してもよい。例えば、図４Ａでは、第１－８列と第１－３２行（第１領域Ｚ１）の交点における計算ユニットに、１番目の入力データの計算に必要な計算パラメータを設定し、第９－１６列と第１－３２行（第２領域Ｚ２）の交点における計算ユニットに、２番目の入力データの計算に必要な計算パラメータを設定し、第１７－２４列と第１－３２行（第３領域Ｚ３）の交点における計算ユニットに、３番目の入力データの計算に必要な計算パラメータを設定し、第２５－３２列と第１－３２行（第４領域Ｚ４）の交点における計算ユニットに、４番目の入力データの計算に必要な計算パラメータを設定する。
【0064】
しかし、シストリックアレイの動作原理を考慮すると、他の調整を行わないのであれば、各々の入力データがシストリックアレイに入力されると、計算ユニットアレイ内の各計算ユニットには、他の入力データの計算に必要な計算パラメータも設定されているため、該入力データ及びこれらの計算パラメータ（例えば、３番目の入力データ、及び、第９－１６列の計算ユニットにおける、２番目の入力データのための計算パラメータ）に対して計算が行われる。これにより、該入力データに対応する出力データに対応する列集合以外の列から他の出力データが出力されて（例えば、３番目の入力データ、及び、第９－１６列の計算ユニットにおける計算パラメータに対して計算が行われ、それに対応する出力データが第９－１６列から出力されて）出力バッファにバッファリングされ、以前の入力データに対応する出力データが上書きされる。一方、後続の入力データが入力されると、出力バッファ内の、該入力データに対応する出力データも上書きされる。これは許されない。
【0065】
本開示の実施例において、この問題は、以下の方法によって解決することができる。即ち、各々の入力データに対して計算を行う際に、該グループの入力データのうち、計算対象の該入力データ以外の他の入力データに対応する出力データに対応するバッファ領域への書き込みを禁止する。例えば、コントローラによって、シストリックアレイの出力ポートによる出力を禁止してもよく（例えば、出力イネーブル信号を無効にする）、コントローラによって、出力バッファの一部の領域への書き込みを禁止してもよい（例えば、出力バッファのこれらの領域に対応する書き込みチャネルに対応するライトイネーブル信号を無効にする）。
【0066】
このように、複数の入力データに対応する各出力データを、出力データ同士が重ね合わなくて互いに影響を与えないように、出力バッファの異なるバッファ領域にバッファリングすることができる。
【0067】
ステップＳ３５０では、該グループの入力データに対して、出力バッファによって、出力バッファの各バッファ領域における出力連結数量分の出力データを互いに重ね合わないようにバッチで出力する。
【0068】
例えば、図４Ａに示すように、４つの入力データに対応する４つの出力データがそれぞれ出力バッファの４つの重ね合わないバッファ領域に記憶され（各々のバッファ領域には、８つのサブ出力バッファが含まれる）、この４つの出力データが互いに重ね合わないように出力バッファから他の装置（例えば、メモリ又は入力バッファ）に移動される。
【0069】
図３－４Ａを参照して説明した実施例において、出力バッファの各バッファ領域における出力連結数量の出力データを互いに重ね合わないようにバッチで出力することを実現するために、複数の入力データが存在することが前提となる。こうして初めて、バッチ出力のための複数の出力データが存在することが可能になる。例えば、該複数の入力データは、少なくとも１つのグループに分割されてもよく、各々のグループの入力データには、出力連結数量の入力データが含まれる。残りの入力データは、値がゼロである入力データと組み合わせて、１グループの入力データとして入力されてもよい。例えば、１０個の入力データがあり、出力連結数量が４である場合、この１０個の入力データを３つのグループに分け、上記で図３－４Ａを参照して説明した方法をそれぞれ実行してもよい。３グループの入力データのうちの１グループには、値が０である２つの入力データが含まれる。
【0070】
一例では、１つのみの画像特徴マップテンソル（前述したようなＮＨＷＣフォーマット、Ｎ＝１）が取得された場合、図４Ｂに示すように、複数の入力データを取得するために、この１つの画像特徴マップテンソルをＨ及びＷの方向に切り分けてもよい。該テンソルの深度Ｃの値がターゲット入力深度（Ｄｓで表す）に等しく、この例においてターゲット入力深度も標準入力深度である場合、各々の入力データに含まれる各部分の入力データ（各データ行列）は、シストリックアレイの各行にちょうど入力することができる。Ｃの値がＤｓより小さい場合、入力データの深度がＤｓになるように、各入力データに値が０である（Ｄｓ－Ｃ）個の部分の入力データを補足する必要がある。また、Ｃの値がＤｓより大きい場合（図４Ｂの場合）、各入力データをＣ方向にＤｓでさらにセグメント化して複数のセグメント化された入力データとする必要がある。また、深度がＤｓ未満である残りの１つの入力データが存在する場合、この残りの１つの入力データに値が０である（Ｄｓ－（Ｃ－ｎＤｓ））個（ｎは１以上）の部分の入力データ（データ行列）を補足する。また、各々の入力データに対して、Ｃ方向にセグメント化した場合、セグメント化された入力データに対して複数のラウンドの演算を行ってもよい。後続の処理ユニットは、該入力データからセグメント化した複数のセグメント化された入力データに対応する複数の出力データの値を出力バッファから取得してから、複数の出力データの和を求めることにより、該入力データに対応する出力データの値を取得してもよい。
【0071】
一方、複数の画像特徴マップテンソル（前述したようなＮＨＷＣフォーマット、Ｎは１より大きい整数）がバッチで取得された場合、各々の画像特徴マップテンソルを１つの入力データとしてもよい。同様に、該テンソルの深度Ｃの値とターゲット入力深度（Ｄｓで表す）との大小関係に基づいて、各入力データの深度が全てＤｓになるように、さらに各入力データとしての各テンソルに対してさらなるセグメント化又は補足を行ってもよい。明らかに、該複数のテンソルに対応する複数の入力データは、少なくとも１グループの入力データに分割されてもよい（各々のグループには、出力連結数量の入力データが含まれる）。各グループの入力データについて、上記で図３を参照して説明した方法によってこれらの入力データに対して計算を行ってもよい。
【0072】
同様に、以下で説明する各実施例においても、複数の入力データの取得は、ここで説明されたのと類似してもよい。即ち、取得された１つの初期入力データに対して、水平及び垂直の方向の切り分け及び可能な深度方向のセグメント化を行ったり、バッチで取得された初期入力データのそれぞれを１つの入力データとしたりする。このため、以下では説明を繰り返さない。
【0073】
図３－４Ｂを参照して説明したシストリックアレイに基づく浅深度モデルのデータ処理方法によれば、入力連結数量が１に等しく、かつ、出力連結数量が１より大きい場合、１グループの入力データ（出力連結数量の入力データ）に対応する出力データを出力バッファからバッチで取り出すことができ、出力データの移動効率を向上させる。
【0074】
以下、図５－６を参照して、本開示の実施例によるシストリックアレイに基づく浅深度モデルのデータ処理方法をさらに説明する。図５は、図２に示す方法２００のステップＳ２３０の具体的な流れの模式図を示す。図６は１つの具体例を示す。
【0075】
図５－６は、入力連結数量が１より大きく、かつ、出力連結数量が１に等しい場合に対応している。この場合、方法２００のステップＳ２３０は、以下の各ステップを含んでもよい。
【0076】
ステップＳ５１０では、入力連結数量分の入力データを１グループの入力データとし、該グループの入力データのうちの異なる入力データは、シストリックアレイにおける互いに重ね合わない行集合に対応しており、該グループの入力データのうちの異なる入力データに対応する出力データは、いずれも、シストリックアレイにおける全ての列に対応している。
【0077】
任意選択的に、各入力データに対応する出力データは、シストリックアレイの全ての列から出力バッファに出力され、出力バッファの記憶空間には、１つの入力データに対応する出力データしか記憶できない場合、各入力データに対応する出力データが該出力バッファのバッファ領域全体に出力され、該出力バッファ内の現在の出力データが取り出されてから、次の入力データに対応する出力データが該出力バッファにバッファリングされる。あるいは、出力バッファの記憶空間が十分に大きくて複数の入力データに対応する出力データを記憶できる場合、各入力データに対して得られた出力データは、出力バッファにおいて、深度が連続するように配列してもよい。例えば、１番目の入力データに対応する出力データは、出力バッファにおいてアドレス０－７で指示されるバッファ領域を使用してもよく、２番目の入力データに対応する出力データは、出力バッファにおいてアドレス８－１５で指示されるバッファ領域を使用してもよく、このように類推する。
【0078】
例えば、図６に示すように、シストリックアレイの標準入力／出力深度が全て３２であり、かつ、浅深度モデルのターゲット入力深度が８であり、ターゲット出力深度が３２である。これにより、入力連結数量が４であり、かつ、出力連結数量が１であると決定することができる。また、４つの入力データ（各入力データの深度は８である）を生成し、１グループの入力データとして入力バッファに入力し、さらにシストリックアレイの異なる行集合に並列に提供する。例えば、１番目の入力データは、入力バッファを介して、シストリックアレイの第１－８行（即ち、該第１－８行で構成される行集合に対応）に提供され、２番目の入力データは、入力バッファを介して、シストリックアレイの第９－１６行（即ち、該第９－１６行で構成される行集合に対応）に提供され、３番目の入力データは、入力バッファを介して、シストリックアレイの第１７－２４行（即ち、該第１７－２４行で構成される行集合に対応）に提供され、４番目の入力データは、入力バッファを介して、シストリックアレイの第２５－３２行（即ち、該第２５－３２行で構成される行集合に対応）に提供される。また、この４つの入力データのうちの各入力データに対応する出力データ（即ち、シストリックアレイの計算を経たデータ）は、いずれも、シストリックアレイの第１－３２列から出力されて、出力バッファのバッファ領域の全体又は少なくとも一部にバッファリングされてもよい（出力バッファの記憶空間に応じて）。さらに、前述したように、出力バッファは、複数のサブ出力バッファを含んでもよい。このため、シストリックアレイの各列における最後の計算ユニットから出力された出力データは、いずれも、複数のサブ出力バッファにバッファリングされる。この複数のサブ出力バッファは、前述した出力バッファのバッファ領域全体又は少なくとも一部のバッファ領域に対応している（出力バッファの記憶空間に応じて）。
【0079】
ステップＳ５２０では、入力バッファを介して、該グループの入力データを前記計算ユニットアレイに並列に提供する。ステップＳ５３０では、該グループの入力データのうちの各入力データに対して順番に計算を行い、各々の入力データの計算プロセスにおいて、該入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記シストリックアレイにおける該入力データに対応する計算ユニット以外の計算ユニットの計算パラメータを０に設定する。
【0080】
同様に、計算ユニットにおける計算パラメータを設定する方式は、対応する各計算ユニットに予め記憶したり、タイミングに従って各計算ユニットにシストリック的に提供したりすることを含んでもよい。
【0081】
例えば、前述したように、シストリックアレイは、計算プロセスにおいて、列方向に同一の列における計算ユニットによる計算結果を累算して出力する。このため、シストリックアレイに並列に提供された該グループの入力データ（深度は８）について、各々の入力データに対して計算を行うプロセスでは、該入力データに対応する行集合以外の行における計算ユニットの計算パラメータの値を０に設定する必要がある。これにより、該入力データは、それに対応する行集合における計算ユニットのみによる計算結果が有効値であり、他の計算ユニットによる計算結果が全て０である。このため、同一の列における計算結果を重ね合わせる際に、該列においてそれに対応する行集合における計算ユニットのみによる計算結果を重ね合わせる。さらに、同一の列における異なる入力データに対する計算結果を誤って重ね合わせることを避ける（例えば、各々の列における計算ユニットは、１回の計算プロセスにおいて、４つの入力データに対して計算を行うことが可能である。このように計算した結果は誤る）。これに基づき、該グループの入力データを入力するたびに、１つのみの入力データに対して計算を行ってもよい。例えば、図６では、まず、第１－８行の計算ユニットの計算パラメータを有効値に設定し、他の計算ユニットの計算パラメータの値を０にする。次に、１回目に該グループの入力データを並列に入力し、シストリックアレイの計算を経て、シストリックアレイの全ての列から、計算された、１番目の入力データ（深度は８）に対応する出力データ（深度は３２）を出力する。続いて、第９－１６行の計算ユニットの計算パラメータを有効値に設定し、他の計算ユニットの計算パラメータの値を０にする。次に、２回目に該グループの入力データを並列に入力し、シストリックアレイの計算を経て、シストリックアレイの全ての列から、計算された、２番目の入力データ（深度は８）に対応する出力データ（深度は３２）を出力する。図６には、２つの入力データの場合のみが示されている。該グループの入力データのそれぞれに対応する出力データが全て出力されるまで、他の入力データに対して類似の操作を行う。
【0082】
例えば、図６に示すように、該グループの入力データ（４つの入力データ）を入力バッファに入力する（同時であっても、異なる時間であってもよい）。即ち、入力バッファには、該グループの入力データが同時にバッファリングされている。また、入力バッファは、所定のタイミングにしたがって（コントローラによって制御され、シストリックアレイの動作原理に基づく）、該グループの入力データをシストリックアレイに並列に提供することができる。例えば、１番目の入力データはシストリックアレイの第１－８行に提供され、２番目の入力データはシストリックアレイの第９－１６行に提供され、３番目の入力データはシストリックアレイの第１７－２４行に提供され、４番目の入力データはシストリックアレイの第２５－３２行に提供される。
【0083】
ステップＳ５４０では、各入力データに対応する出力データを出力バッファに順番に出力する。
【0084】
例えば、図６に示すように、まず、１番目の入力データに対応する出力データを出力バッファのバッファ領域に出力し、少なくとも出力バッファが再び空いた（即ち、それにバッファリングされた出力データが取り出された）後、又は、残りの記憶空間が次の入力データに対応する出力データのバッファリングに十分である場合、２番目の入力データに対応する出力データを該出力バッファのバッファ領域全体又は少なくとも一部のバッファ領域に出力する（出力バッファの記憶空間に応じて）。
【0085】
注意すべきものとして、本開示の各実施例の具体的な説明では、方法の説明について、フローチャートを採用して各ステップを示しているが、これは、必ずしも、これらの方法を示された順序で行わなければならいとは限らず、交互に行ってもよい。限定ではなく例として、図５－６の実施例では、１番目の入力データの計算のための各計算ユニットの計算パラメータが設定された場合（第１－８行の計算ユニットの計算パラメータは有効値であり、残りの行の計算ユニットの計算パラメータは０である）、１番目の入力データに対する計算を実行することにより、１番目の入力データに対応する出力データを取得することができる。また、２番目の入力データの計算のための各計算ユニットの計算パラメータを設定し（第９－１６行の計算ユニットの計算パラメータは有効値であり、残りの行の計算ユニットの計算パラメータは０である）、次に、２番目の入力データに対して計算を行うことにより、２番目の入力データに対応する出力データを取得することができる。このように類推する。このため、本開示の発明の原理に基づいて各ステップの実行順序を柔軟に調整してもよい。
【0086】
図５－６を参照して説明したシストリックアレイに基づく浅深度モデルのデータ処理方法によれば、入力連結数量が１より大きく、かつ、出力連結数量が１に等しい場合、１グループの入力データ（入力連結数量の入力データ）を入力バッファにバッファリングして、シストリックアレイに並列に提供することができる。各入力データの計算でも、入力バッファからシストリックアレイへ提供される入力が同じであるため、入力データの移動が１回だけでよく（例えば、他のメモリから入力バッファへ移動する）、入力データの移動効率を向上させる。一方、本開示の実施例で説明されるようなデータ処理方法を採用しない場合、該グループの入力データに含まれる複数の入力データについて、該複数の入力データに対する、入力バッファへの複数回の移動プロセスが必要であるが（この場合、シストリックアレイの標準入力深度に対する各入力データの深度の不足分に対応するチャネルのデータを０で補う）、計算パラメータを計算ユニットにロードするプロセスを１回のみ実行してもよい。上記のデータ処理方法を採用する場合、入力バッファへの移動プロセスを１回のみ必要とし、この場合に計算パラメータが計算ユニットに複数回ロードされる（各々の入力データに対応して１回ロードされる）が、計算パラメータのデータサイズが一般的に入力データのデータサイズよりはるかに小さく、計算パラメータのロードに必要な時間が入力データの移動に必要な時間よりはるかに小さいため、全体的にかかる時間の面では、依然として比較的に良い性能があり、移動効率を向上させる。
【0087】
以下、図７－１０Ｄを参照して、本開示の実施例によるシストリックアレイに基づく浅深度モデルのデータ処理方法をさらに説明する。図７は、図２に示す方法のステップの例示的な流れの模式図を示す。図８Ａ－図８Ｂは、入力連結数量が出力連結数量に等しい場合の図７のデータ処理方法のより多い細部を示す。図９Ａ－図９Ｄは、入力連結数量が出力連結数量より大きい場合の図７のデータ処理方法のより多い細部を示す。図１０Ａ－図１０Ｄは、入力連結数量が出力連結数量より小さい場合の図７のデータ処理方法のより多い細部を示す。
【0088】
図７の実施例において、入力連結数量が１より大きく、かつ、出力連結数量が１より大きいため、前記データ処理方法２００のステップＳ２３０は、以下の各ステップを含む。
【0089】
ステップＳ７１０では、入力連結数量及び出力連結数量に基づいて、総合連結数量を決定する。
【0090】
任意選択的に、以下で詳述するように、総合連結数量は、入力連結数量と出力連結数量の大小及び倍数の関係に基づいて、両者のうちの大きい値又は小さい値であってもよい。あるいは、入力連結数量が出力連結数量に等しい場合、該総合連結数量は、入力連結数量又は出力連結数量に等しい。
【0091】
ステップＳ７２０では、総合連結数量分の入力データを１グループの入力データとする。
【0092】
ステップＳ７３０では、入力連結数量及び出力連結数量に基づいて、該グループの入力データを少なくとも１つのサブグループに分割し、各々のサブグループ内の各入力データは、シストリックアレイにおける互いに重ね合わない入力連結数量分の行集合に対応しており、該サブグループ内の異なる入力データに対応する出力データは、シストリックアレイにおける互いに重ね合わない列集合に対応しており、かつ、出力バッファの互いに重ね合わないバッファ領域に対応している。
【0093】
任意選択的に、サブグループの数量は、１又は１より大きい整数であってもよい。各々のサブグループには、１つ又は複数の入力データが含まれてもよい。
【0094】
例えば、シストリックアレイの標準入力深度／標準出力深度が全て３２であり、かつ、浅深度モデルのターゲット入力深度が１６であり、ターゲット出力深度が８である。これにより、入力連結数量が２であり、かつ、出力連結数量が４であり、総合連結数量が４であると決定することができる。また、該グループの入力データに４つの入力データが含まれるが、入力連結数量が２であるため、１回にシストリックアレイに２つしかの入力データ（深度は１６）を提供できない。そこで、この４つの入力データを２つのサブグループに分割し、１つのサブグループに２つの入力データが含まれ、毎回シストリックアレイに１つのサブグループの入力データを提供する。
【0095】
【0096】
図８Ａ－図８Ｂにおいて、入力連結数量が出力連結数量に等しい（図中では４である）。この場合、１つのみのサブグループがあるとみなすことができ、各々のサブグループには、入力連結数量（出力連結数量）の入力データが含まれる。
【0097】
図８Ａにおいて、ステップＳ８１０では、該グループの入力データのサブグループに対して、前記入力バッファを介して、該サブグループ内の入力データをシストリックアレイに並列に提供する。
【0098】
同様に、各サブグループの入力データは、前記計算ユニットアレイにおける互いに重ね合わない前記入力連結数量の行集合に対応しており、該グループの入力データのうちの異なる入力データに対応する出力データは、前記計算ユニットアレイにおける互いに重ね合わない列集合に対応しており、かつ、前記出力バッファの互いに重ね合わないバッファ領域に対応している。
【0099】
例えば、図８Ｂに示すように、シストリックアレイの標準入力深度及び標準出力深度が全て３２であり、かつ、浅深度モデルのターゲット入力深度が８であり、ターゲット出力深度が８である。これにより、入力連結数量が４であり、かつ、出力連結数量も４であると決定することができる。また、４つの入力データ（各入力データの深度は８である）を１グループの入力データとして入力バッファに入力し、さらにシストリックアレイの異なる行集合に並列に提供する。また、該グループの入力データのそれぞれに対応する出力データもシストリックアレイの異なる列集合から出力される。例えば、１番目の入力データは、入力バッファを介して、シストリックアレイの第１－８行（即ち、該第１－８行で構成される行集合に対応）に提供され、それに対応する出力データがシストリックアレイの第１－８列から出力され、２番目の入力データは、入力バッファを介して、シストリックアレイの第９－１６行（即ち、該第９－１６行で構成される行集合に対応）に提供され、それに対応する出力データがシストリックアレイの第９－１６列から出力され、３番目の入力データは、入力バッファを介して、シストリックアレイの第１７－２４行（即ち、該第１７－２４行で構成される行集合に対応）に提供され、それに対応する出力データがシストリックアレイの第１７－２４列から出力され、４番目の入力データは、入力バッファを介して、シストリックアレイの第２５－３２行（即ち、該第２５－３２行で構成される行集合に対応）に提供され、それに対応する出力データがシストリックアレイの第２５－３２列から出力される。即ち、サブグループに含まれる４つの入力データに対応する行集合、及び、それに対応する４つの出力データに対応する列集合は、第１領域Ｚ１（１－８，１－８）、第２領域Ｚ２（９－１６，９－１６）、第３領域Ｚ３（１７－２４，１７－２４）、及び第４領域Ｚ４（２５－３２，２５－３２）で表すことができる。さらに、前述したように、出力バッファは、複数のサブ出力バッファを含んでもよい。このため、シストリックアレイの各列における最後の計算ユニットから出力された出力データは、いずれも、複数のサブ出力バッファにバッファリングされる。この複数のサブ出力バッファは、前述した出力バッファのバッファ領域の全体又は少なくとも一部に対応している（出力バッファの記憶空間に応じて）。
【0100】
ステップＳ８２０では、該サブグループの計算に対して、該サブグループの入力データのうちの各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、シストリックアレイにおける各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定する。
【0101】
即ち、シストリックアレイは、計算プロセスにおいて、列方向に同一の列における計算ユニットによる計算結果を累算して出力するので、シストリックアレイに並列に提供された各々のサブグループの入力データのうちの各入力データについて、該入力データに対する計算プロセスでは、出力データの正確性及び対応性を保証するために、その計算とは無関係な計算ユニットにおける計算パラメータをゼロに設定する必要がある。例えば、図８Ｂに示すように、４つの領域（Ｚ１－Ｚ４）は、図８Ｂの塗りつぶし部分に示す通りである。これらの塗りつぶし領域における対応する入力データに対して計算を行うための計算ユニットの計算パラメータをそれぞれ設定するとともに、各列における他の計算ユニットの計算パラメータを０に設定する（例えば、図中の空白枠領域）。
【0102】
ステップＳ８３０では、該サブグループ内の各入力データに対して、該入力データに対応する出力データを、該出力データに対応するバッファ領域に出力する。即ち、該サブグループの入力データに対応する出力データは、出力バッファにバッファリングされる。
【0103】
例えば、図８Ｂに示すように、出力バッファには、該サブグループの入力データのうちの各入力データに対応する出力データ（４つの出力データ）がバッファリングされているため、この４つの出力データは、出力バッファからバッチで取り出すことができる。
【0104】
しかしながら、いくつかの実施例では、別の場合があり得る。即ち、入力連結数量が１より大きく、かつ、出力連結数量が１より大きく、かつ、出力連結数量が入力連結数量より大きい又は小さい。
【0105】
【0106】
この場合、総合連結数量は出力連結数量であり、各々のサブグループの入力データには、入力連結数量の入力データが含まれる。また、この場合に対して、図７を参照して説明したデータ処理方法は、以下のステップをさらに含んでもよい。
【0107】
ステップＳ９１０では、各々のサブグループ内の入力データの計算に対して、前記入力バッファを介して、該サブグループ内の入力データをシストリックアレイに並列に提供する。
【0108】
例えば、図９Ｂに示すように、シストリックアレイの標準入力深度及び標準出力深度が３２である場合、浅深度モデルのターゲット入力深度が１６であり、かつ、ターゲット出力深度が８であるため、入力連結数量は２であってもよいが、出力連結数量は４であり、総合連結数量は４である。生成された１グループの入力データ（４つの入力データ）は２つのサブグループに分割され、各々のサブグループには、２つの入力データが含まれる。各々のサブグループの入力データ（２つの入力データが含まれる）を前記入力バッファに順番に入力する。各々のサブグループの入力データは、シストリックアレイに並列に提供される。
【0109】
ステップＳ９２０では、各々のサブグループ内の入力データの計算に対して、該サブグループ内の各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、シストリックアレイにおける該サブグループ内の各入力データに対応する計算ユニット以外の他の計算ユニットにおける計算パラメータをゼロに設定する。
【0110】
例えば、図９Ｂに示すように、１番目のサブグループ（１番目の入力データ及び２番目の入力データが含まれる）に対応する行集合、及び、それに対応する出力データに対応する列集合は、それぞれ、第１領域Ｚ１（１－１６，１－８）、第２領域Ｚ２（１７－３２，９－１６）で表される。該１番目のサブグループに対して計算を行う前に、該行集合及び列集合における計算ユニットの計算パラメータを設定する必要がある。２番目のサブグループ（３番目の入力データ及び４番目の入力データが含まれる）に対応する行集合、及び、それに対応する出力データに対応する列集合は、それぞれ、第３領域Ｚ３（１－１６，１７－２４）、第４領域Ｚ４（１７－３２，２５－３２）で表される。同様に、該２番目のサブグループに対して計算を行う前に、該行集合及び列集合における計算ユニットの計算パラメータを設定する必要がある。これらの行集合及び列集合がカバーする領域はいずれも重ね合わないため、１つの簡単な方法として、２つのサブグループの計算に必要な計算ユニットの計算パラメータを一緒に設定してもよい。また、前述したように、シストリックアレイの計算原理を考慮して、各々のサブグループの入力データに対して計算を行う際に、該サブグループの入力データの出力データに対応するバッファ領域のみに対して書き込みを行うが、該サブグループ以外の他のサブグループに対応する出力データに対応するバッファ領域への書き込みを禁止する。即ち、１番目のサブグループの入力データに対して計算を行う際に、２つのみの列集合（１－１６列が含まれる）から、２つの入力データのそれぞれに対応する出力データを出力し、２番目のサブグループの入力データに対して計算を行う際に、２つのみの列集合（１７－３２列が含まれる）から、後の２つの入力データのそれぞれに対応する出力データを出力する。
【0111】
ステップＳ９３０では、該グループの入力データに対応する出力データを出力バッファに出力する。
【0112】
例えば、図９Ｂに示すように、２つのサブグループの入力データに対応する４つの出力データを、シストリックアレイの第１－３２列から出力し（１番目のサブグループに対応する２つの出力データは、先に第１－１６列から出力され、２番目のサブグループに対応する２つの出力データは、後で第１７－３２列から出力される）、即ち、出力バッファのバッファ領域の全体又は少なくとも一部に出力する。これにより、外部装置又は入力バッファは、出力バッファからこれらの出力データをバッチで取り出すことができる。
【0113】
図９Ｃは、前記出力連結数量が前記入力連結数量より大きいが、その整数倍ではない場合の図７のデータ処理方法のより多い細部を示す。この場合、総合連結数量は前記入力連結数量であり、サブグループの数量は１であり、即ち、生成された１グループの入力データには、１つのみのサブグループが含まれる。
【0114】
ステップＳ９１０’では、前記入力バッファを介して、該グループの入力データをシストリックアレイに並列に提供する。
【0115】
図９Ｄに示すように、シストリックアレイの標準入力深度及び標準出力深度が３６及び６４である場合、浅深度モデルのターゲット入力深度が１２であり、かつ、ターゲット出力深度が１６であるため、入力連結数量は３であってもよいが、出力連結数量は４であり、総合連結数量は３である。生成された１グループの入力データ（３つの入力データ）は、前記入力バッファにバッチで入力されることで、シストリックアレイに並列に提供される。
【0116】
ステップＳ９２０’では、該グループの入力データの計算に対して、該グループの入力データのうちの各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、シストリックアレイにおける該グループの入力データのうちの各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定する。
【0117】
例えば、図９Ｄに示すように、該グループの入力データ（１番目から３番目の入力データが含まれる）に対応する行集合、及び、それに対応する出力データに対応する列集合は、それぞれ、（１－１２，１－１６）、（１３－２４，１７－３２）、及び（２５－３６，３３－４８）で表される。該行集合及び列集合における計算ユニットの計算パラメータを有効値に設定するとともに、残りの計算ユニットの計算パラメータを０に設定してもよい（第４９－６４列における計算ユニットが含まれる）。また、これらの行集合及び列集合がカバーする領域はいずれも重ね合わないため、２つのサブグループの入力データの計算に必要な計算ユニットの計算パラメータを一緒に設定してもよい。
【0118】
ステップＳ９３０’では、該グループの入力データに対応する出力データを出力バッファに出力する。ここで、出力バッファのバッファ領域全体における少なくとも一部の値は、０である。
【0119】
例えば、図９Ｄに示すように、該グループの入力データに対応する３つの出力データをシストリックアレイの第１－４８列から出力するとともに、第４９－６４列における計算ユニットから、計算された０を出力する。即ち、出力バッファ内の第１－４８列に対応するバッファ領域には、有効データが記憶されているが、残りのバッファ領域には、０が記憶されている。これにより、出力バッファからこれらの出力データ及び０をバッチで取り出すことができる。
【0120】
上記は、図９Ａ－９Ｄを参照して、入力連結数量が１より大きく、かつ、出力連結数量が１より大きく、かつ、出力連結数量が入力連結数量より大きい場合を説明している。
【0121】
以下では、主に、入力連結数量が１より大きく、かつ、出力連結数量が１より大きく、かつ、入力連結数量が出力連結数量より大きい場合を説明する。
【0122】
いくつかの場合に、入力連結数量は、出力連結数量の１より大きい整数倍である。
【0123】
図１０Ａ－１０Ｂは、入力連結数量が出力連結数量の１より大きい整数倍である場合の図７のデータ処理方法のより多い細部を示す。この場合、総合連結数量は入力連結数量であり、各々のサブグループの入力データには、出力連結数量の入力データが含まれる。
【0124】
例えば、シストリックアレイの標準入力深度及び標準出力深度が３２である場合、浅深度モデルのターゲット入力深度が８であり、かつ、ターゲット出力深度が１６であるため、出力連結数量は２であってもよいが、入力連結数量は４であり、総合連結数量は４である。各々のサブグループの入力データには、２つの入力データが含まれる。
【0125】
図７の方法は、以下の各ステップをさらに含んでもよい。
【0126】
ステップＳ１０１０では、入力バッファを介して、各サブグループ内の入力データを前記計算ユニットアレイに並列に提供する。
【0127】
例えば、図１０Ｂに示すように、４つの入力データを入力バッファにバッチで入力して、前記計算ユニットアレイに並列に提供する。
【0128】
ステップＳ１０２０では、各々のサブグループの計算に対して、該サブグループ内の各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、シストリックアレイにおける該サブグループの入力データのうちの各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定する。
【0129】
例えば、図１０Ｂに示すように、１番目のサブグループ（１番目の入力データ及び２番目の入力データが含まれる）に対応する行集合、及び、それに対応する出力データに対応する列集合は、それぞれ、第１領域Ｚ１（１－８，１－１６）、第２領域Ｚ２（９－１６，１７－３２）、第３領域Ｚ３（１７－２４，１－１６）、及び第４領域Ｚ４（２５－３２，１７－３２）で表される。１番目のサブグループの入力データに対して計算を行うための、第１領域Ｚ１（１－８，１－１６）の計算ユニットの計算パラメータを有効値に設定し、第２領域Ｚ２（９－１６，１７－３２）の計算ユニットの計算パラメータを有効値に設定し、その他の計算ユニットの計算パラメータを０に設定する。２番目のサブグループの入力データに対して計算を行う際に、２つのサブグループの入力データが並列に入力されるが、第３領域Ｚ３（１７－２４，１－１６）の計算ユニットの計算パラメータを有効値に設定し、第４領域Ｚ４（２５－３２，１７－３２）の計算ユニットの計算パラメータを有効値に設定し、その他の計算ユニットの計算パラメータを０に設定する。
【0130】
ステップＳ１０３０では、各サブグループに対応する出力データを出力バッファに順番に出力する。
【0131】
例えば、図１０Ｂでは、１番目のサブグループの入力データの計算が完了すると、それに含まれる１番目の入力データ及び２番目の入力データのそれぞれに対応する出力データを、シストリックアレイの全ての列を介して出力バッファに出力し、出力バッファが再び空いた後、又は、残りの記憶空間が次の入力データに対応する出力データのバッファリングに十分である場合、後続の２番目のサブグループの入力データの計算結果を出力バッファに出力する。
【0132】
また、いくつかの場合に、入力連結数量は、出力連結数量より大きいが、その整数倍ではない。
【0133】
図１０Ｃ－１０Ｄは、入力連結数量が出力連結数量より大きいが、その整数倍ではない場合の図７のデータ処理方法のより多い細部を示す。この場合、総合連結数量は出力連結数量であり、サブグループの数量は１であり、即ち、生成された１グループの入力データには、１つのみのサブグループが含まれる。
【0134】
例えば、シストリックアレイの標準入力深度及び標準出力深度が４８及び３６である場合、浅深度モデルのターゲット入力深度が１２であり、かつ、ターゲット出力深度が１２であるため、出力連結数量は３であってもよいが、入力連結数量は４であり、総合連結数量は３である。該グループの入力データ及び該サブグループの入力データには、３つの入力データが含まれる。
【0135】
【0136】
ステップＳ１０１０’では、該グループの入力データに、ゼロで補完したＮ個の入力データを追加し、前記Ｎの値は、入力連結数量から出力連結数量を引いたものに等しい。
【0137】
例えば、図１０Ｄに示すように、シストリックアレイの行数に合うように１つの入力データ（深度は１２）を追加する。
【0138】
ステップＳ１０２０’では、前記入力バッファを介して、該グループの入力データをシストリックアレイに並列に提供する。
【0139】
例えば、図１０Ｄに示すように、４つの入力データをシストリックアレイに並列に提供する。
【0140】
ステップＳ１０３０’では、該グループの入力データに対して計算を行う前に、該グループの入力データのうちの各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、シストリックアレイにおける該グループの入力データのうちの各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定する。
【0141】
例えば、図１０Ｄに示すように、該グループの入力データに対応する行集合、及び、それに対応する出力データに対応する列集合は、それぞれ、第１領域Ｚ１（１－１２，１－１２）、第２領域Ｚ２（１３－２４，１３－２４）、及び第３領域Ｚ３（２５－３６，２５－３６）で表される。該グループに対して計算を行うための該行集合及び列集合における計算ユニットの計算パラメータを設定する必要がある。これらの行集合及び列集合の領域における計算ユニットの計算パラメータを有効値に設定するが、その他の計算ユニット（追加された０入力データに対応する第３７－４８行における計算ユニットが含まれる）の計算パラメータを０に設定する。
【0142】
ステップＳ１０４０’では、該グループの入力データのうちの各入力データに対応する出力データを出力バッファに出力する。
【0143】
例えば、図１０Ｄに示すように、補足された０入力データは、それに対応する第３７－４８行における全ての計算ユニットによる計算結果が０であり、各列におけるその他の計算結果に影響を与えないため、３つの入力データに対応する出力データは、いずれも、出力バッファのバッファ領域の全体又は少なくとも一部にバッファリングされて、出力バッファからバッチで出力される。
【0144】
図７－１０Ｄを参照して説明したシストリックアレイに基づく浅深度モデルのデータ処理方法によれば、入力連結数量が１より大きく、かつ、出力連結数量が１より大きい場合（両者が等しかったり等しくなかったりする様々な場合が含まれる）、１グループの入力データ（出力連結数量の入力データ）を入力バッファにバッファリングしてシストリックアレイに並列に提供することができ、シストリックアレイから出力された、該グループの入力データに対応する複数の出力データを出力バッファにバッファリングして出力バッファからバッチで出力することができるので、入力データ及び出力データの移動効率を向上させることができる。また、シストリックアレイは、１回の計算プロセスにおいて、該グループの入力データのうちの少なくとも２つの入力データに対して計算を行うことができ、図１を参照して説明した、１回の計算プロセスにおいて１つのみの入力データに対して計算を行う従来の方式に対して、計算効率、及び、シストリックアレイにおける計算ユニットの利用効率を向上させる。
【0145】
本開示の他の態様によれば、計算装置がさらに提供されている。この計算装置は、図１を参照して説明した計算装置１００とは、アーキテクチャが基本的に同じである。
【0146】
図１に示すように、該計算装置１００は、コントローラ１０１と、データ取得器１０２と、シストリックアレイ１０３と、入力バッファ１０４と、出力バッファ１０５と、を含む。
【0147】
本開示の実施例によれば、コントローラ１０１は、シストリックアレイ１０３の標準入力深度及び標準出力深度を決定するとともに、浅深度モデルのターゲット入力深度及びターゲット出力深度を決定する。次に、コントローラ１０１は、ターゲット入力深度及び標準入力深度に基づいて、シストリックアレイ用の入力連結数量を決定するとともに、ターゲット出力深度及び標準出力深度に基づいて、シストリックアレイ用の出力連結数量を決定する。ここで、入力連結数量及び／又は出力連結数量は、１より大きい整数である。コントローラ１０１は、データ取得器１０２を制御して、入力連結数量分の入力データを取得して生成し、入力連結数量の入力データを互いに重なり合わないようにシストリックアレイ１０３の入力バッファにバッチで入力し、前記入力バッファを制御して、前記入力連結数量の入力データをシストリックアレイ１０３に並列に提供し、シストリックアレイ１０３を制御して、前記入力バッファ内の入力データを処理して、各入力データに対応する出力データを生成し、シストリックアレイ１０３の出力バッファ１０５がシストリックアレイ１０３から受信した出力データの数量が前記出力連結数量に達すると、シストリックアレイ１０３の出力バッファ１０５を制御して、出力連結数量分の出力データを互いに重なり合わないように出力し、各入力データがターゲット入力深度を有し、各出力データが前記ターゲット出力深度を有する。
【0148】
本開示の実施例によれば、シストリックアレイ１０３は、計算ユニットアレイであり、該計算ユニットアレイの行数及び列数は、それぞれ、標準入力深度及び標準出力深度に対応している（等しい又はより多い）。入力バッファ１０４の深度は標準入力深度に対応しており、出力バッファ１０５の深度は標準出力深度に対応している（等しい又はより大きい）。
【0149】
本開示の実施例によれば、入力連結数量が１に等しく、出力連結数量が１より大きい場合、コントローラ１０１は、計算ユニットアレイにおける各計算ユニットに計算パラメータ（例えば、ＣＮＮモデルにおける畳み込みカーネル）を設定するように制御し、データ取得器１０２を制御して、出力連結数量分の入力データを１グループの入力データとし、該グループの入力データのうちの異なる入力データに対応する出力データは、計算ユニットアレイ１０３における互いに重ね合わない列集合に対応しており、かつ、出力バッファ１０５の互いに重ね合わないバッファ領域に対応している。コントローラ１０１は、データ取得器１０２を制御して該グループの入力データを入力バッファに順番に入力し、入力バッファ１０４を制御して該グループの入力データを計算ユニットアレイに順番に提供することにより、シストリックアレイが、該グループの入力データのうちの１つの入力データを受信するたびに、該入力データに対応する計算ユニットの計算パラメータに基づいて、該入力データを処理し、該入力データに対応する出力データを取得する。該グループの入力データのうちの各入力データに対して、コントローラ１０１は、計算ユニットアレイを制御して、入力データに対応する出力データを、それに対応する、出力バッファ内のバッファ領域に出力する。次に、該グループの入力データに対して、コントローラ１０１は、出力バッファ１０５を制御して、出力バッファ１０５の各バッファ領域における出力連結数量分の出力データを互いに重ね合わないようにバッチで出力する。
【0150】
本開示の実施例によれば、入力連結数量が１より大きく、かつ、出力連結数量が１に等しい場合、コントローラ１０１は、データ取得器１０２を制御して、入力連結数量分の入力データを１グループの入力データとすることができる。ここで、該グループの入力データのうちの異なる入力データは、計算ユニットアレイにおける互いに重ね合わない行集合に対応しており、該グループの入力データのうちの異なる入力データに対応する出力データは、いずれも、計算ユニットアレイにおける全ての列に対応しており、出力バッファのバッファ領域の全体又は少なくとも一部に対応している。コントローラ１０１は、データ取得器１０２を制御して、該グループの入力データを入力バッファ１０４に入力し、該グループの入力データのうちの各入力データの計算に必要な各計算ユニットの計算パラメータを各計算ユニットに順番に設定するように制御することができる。コントローラ１０１は、シストリックアレイを制御して、該グループの入力データのうちの各入力データに対して順番に計算を行い、各々の入力データの計算プロセスにおいて、該入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記計算ユニットアレイにおける該入力データに対応する計算ユニット以外の計算ユニットの計算パラメータを０に設定する。例えば、各々の入力データに対して、入力データに対応する行集合における計算ユニットの計算パラメータは有効値であるが、残りの計算ユニットの計算パラメータはゼロである。コントローラ１０１は、前記シストリックアレイを制御して、各入力データに対応する出力データを前記出力バッファに順番に出力する。例えば、コントローラ１０１は、前記入力バッファを制御して、前記入力連結数量の入力データを前記計算ユニットアレイ１０３に並列に提供し、該グループの入力データに対して、各入力データに対応する出力データを出力バッファのバッファ領域の全体又は少なくとも一部に順番に出力し（出力バッファの記憶空間に応じて）、出力バッファによって順番に出力する又はバッチで出力する（出力バッファの記憶空間に応じて）ように制御する。
【0151】
本開示の実施例によれば、前記入力連結数量が１より大きく、かつ、前記出力連結数量が１より大きい場合、コントローラ１０１は、前記入力連結数量及び前記出力連結数量に基づいて、総合連結数量を決定し、前記データ取得器１０２を制御して、総合連結数量分の入力データを１グループの入力データとし、前記データ取得器１０２を制御して、前記入力連結数量及び前記出力連結数量に基づいて、該グループの入力データを少なくとも１つのサブグループに分割することができる。ここで、各々のサブグループ内の各入力データは、前記計算ユニットアレイにおける互いに重ね合わない前記入力連結数量分の行集合に対応しており、該サブグループ内の異なる入力データに対応する出力データは、前記計算ユニットアレイにおける互いに重ね合わない列集合に対応しており、かつ、前記出力バッファ１０５の互いに重ね合わないバッファ領域に対応している。
【0152】
いくつかの実施形態において、入力連結数量が１より大きく、出力連結数量が１より大きく、かつ、前記入力連結数量が前記出力連結数量に等しい。この場合、総合連結数量は、前記入力連結数量又は前記出力連結数量であり、サブグループの数量は１である。コントローラ１０１は、該グループの入力データのサブグループに対して、前記入力バッファ１０４を制御して、該サブグループ内の入力データを前記計算ユニットアレイ１０３に並列に提供し、該サブグループの計算に対して、該サブグループの入力データのうちの各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記計算ユニットアレイ１０３における各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定するように制御し、前記シストリックアレイを制御して、該サブグループ内の各入力データに対応する出力データを出力バッファ１０５に出力し、出力バッファ１０５を制御して、これらの出力データをバッチで出力することもできる。
【0153】
他のいくつかの実施形態において、入力連結数量が出力連結数量の１より大きい整数倍である。この場合、総合連結数量は、前記入力連結数量であり、該グループの入力データに含まれる各々のサブグループ内の入力データの数量は前記出力連結数量である。コントローラ１０１は、データ取得器１０２を制御して、前記総合連結数量の入力データを前記入力バッファ１０４にバッチで入力し、前記入力バッファ１０４を制御して、各々のサブグループ内の入力データを前記計算ユニットアレイ１０３に並列に提供し、各サブグループの計算に対して、該サブグループ内の各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記計算ユニットアレイにおける該サブグループの入力データのうちの各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定するように制御し、総合連結数量の入力データが含まれる該グループの入力データに対して、計算ユニットアレイ１０３を制御して、各々のサブグループに対応する出力データを出力バッファ１０５に順番に出力し、出力バッファ１０５によって順番に出力する又はバッチで出力する（出力バッファの記憶空間に応じて）こともできる。
【0154】
別のいくつかの実施形態において、入力連結数量が出力連結数量より大きいが、その整数倍ではない。この場合、総合連結数量は、前記出力連結数量であり、サブグループの数量は１である。コントローラ１０１は、データ取得器１０２を制御して、該グループの入力データに、ゼロで補完したＮ個の入力データを追加し（前記Ｎの値は、入力連結数量から出力連結数量を引いたものに等しい）、データ取得器１０２を制御して、Ｎ個の入力データが追加された該グループの入力データを前記入力バッファ１０４にバッチで入力し、前記入力バッファを制御して、該グループの入力データを前記計算ユニットアレイ１０３に並列に提供し、該グループの入力データの計算に対して、該グループの入力データのうちの各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記計算ユニットアレイにおける該グループの入力データのうちの各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定するように制御し、計算ユニットアレイ１０３を制御して、該グループの入力データのうちの各入力データに対応する出力データを出力バッファ１０５に出力し、出力バッファ１０５によってバッチで出力することもできる。
【0155】
別のいくつかの実施形態において、前記出力連結数量が前記入力連結数量の１より大きい整数倍である。この場合、総合連結数量は、前記出力連結数量であり、各々のサブグループの入力データには、前記入力連結数量の入力データが含まれる。コントローラ１０１は、各々のサブグループ内の入力データの計算に対して、データ取得器１０２を制御して、前記総合連結数量の入力データをサブグループ毎に前記入力バッファ１０４に順番に入力し、入力バッファ１０４を制御して、各々のサブグループ内の入力データを前記計算ユニットアレイに並列に提供し、各サブグループの入力データの計算に対して、該サブグループ内の各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記シストリックアレイにおける該サブグループ内の各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定するように制御し、計算ユニットアレイ１０３を制御して、該グループの入力データ（全てのサブグループの入力データが含まれる）に対応する出力データを出力バッファ１０５に出力し、出力バッファ１０５によってバッチで出力することもできる。ここで、各々のサブグループ内の入力データに対して計算を行う際に、前記出力バッファ内の、該サブグループの入力データの出力データに対応するバッファ領域のみに対して書き込みを行うが、該サブグループ以外の他のサブグループに対応する出力データに対応する他のバッファ領域への書き込みを禁止する。
【0156】
別のいくつかの実施形態において、出力連結数量が前記入力連結数量より大きいが、その整数倍ではない。この場合、総合連結数量は、前記入力連結数量であり、サブグループの数量は１である。コントローラ１０１は、データ取得器１０２を制御して、該グループの入力データを前記入力バッファ１０４にバッチで入力し、入力バッファ１０４を制御して、該グループの入力データを前記計算ユニットアレイに並列に提供し、該グループの入力データの計算に対して、該グループの入力データのうちの各入力データに対応する計算ユニットの計算パラメータを有効値に設定し、前記計算ユニットアレイにおける該グループの入力データのうちの各入力データに対応する計算ユニット以外の残りの計算ユニットの計算パラメータをゼロに設定するように制御し、計算ユニットアレイ１０３を制御して、該グループの入力データに対応する各出力データを出力バッファ１０５に出力し、出力バッファによってバッチで出力することもできる。ここで、バッファ領域全体における少なくとも一部の値は０である。
【0157】
コントローラ１０１の上記動作のより多い細部は、上記で図２－１０Ｄを参照して説明した内容を参考すればよいが、ここでは説明を繰り返さない。
【0158】
１つ又は複数のコントローラの形態として、本明細書で説明される上記の任意の動作を実行できるコンピューティング機器を含んでもよく、例えば、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいはこれらの任意の組み合わせで実施又は実行する。汎用プロセッサは、マイクロプロセッサやマイクロコントローラなどであってもよい。本明細書で説明される上記の任意の動作は、ハードウェア、プロセッサによって実行されるソフトウェア、ファームウエア、又はこれらの任意の組み合わせで実施してもよい。プロセッサの形をしたコントローラによって実行されるソフトウェアで実施すれば、これらの動作は、コンピュータ可読記憶媒体に記憶されたり、コンピュータ可読記憶媒体における１つ又は複数の命令又はコードに符号化されることで伝送されたりしてもよい。
【0159】
このため、本開示の実施例では、命令又はコードを記憶したコンピュータ可読記憶媒体がさらに提供されている。前記命令又はコードは、プロセッサによって実行されると、上記のようなコントローラによる動作を実現させる。
【0160】
該コンピュータ可読記憶媒体は、命令又はコードが含まれるメモリであってもよく、上記のコード又は命令セットは、コントローラ（プロセッサ）によって実行されると、上記の計算装置におけるコントローラ（入力バッファなどを制御するコンポーネントと、計算ユニットにおけるＤＳＰとが含まれる）によるステップの全部又は一部を完成させることが可能である。例えば、前記コンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光データ記憶装置などであってもよい。
【0161】
説明すべきものとして、図面中のフローチャート及びブロック図は、本開示の各種の実施例による方法及び装置の実現可能なシステムアーキテクチャ、機能、及び動作を図示している。この点で、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセグメント、又はコードの一部を表すことができ、前記モジュール、プログラムセグメント、又はコードの一部には、所定のロジック機能を実現するための少なくとも１つの実行可能命令が含まれる。別の注意すべきものとして、代替としてのいくつかの実現では、ブロックに記載された機能は、図面に記載された順序とは異なる順序で行われてもよい。例えば、連続して示される２つのブロックは、実際には、基本的に並列に実行される場合があり、関連する機能によっては、逆の順序で実行される場合もある。別の注意すべきものとして、ブロック図及び／又はフローチャートにおける各ブロック、並びに、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は動作を実行するための専用の、ハードウェアに基づくシステムで実現されてもよく、あるいは、専用ハードウェアとコンピュータ命令との組み合わせで実現されてもよい。
【0162】
以上で詳述された本開示の例示的な実施例は、説明的なものに過ぎず、限定的なものではない。当業者が理解すべきものとして、本開示の原理及び精神を逸脱しない場合、これらの実施例又はその特徴に対する様々な修正及び組み合わせが可能であり、このような修正は、本開示の範囲内にあるべきである。
【符号の説明】
【0163】
１００ 計算装置
１０１ コントローラ
１０２ データ取得器
１０３ シストリックアレイ
１０３ 計算ユニットアレイ（シストリックアレイ）
１０３ 計算ユニット
１０３ 計算ユニットアレイ
１０４ 入力バッファ
１０５ 出力バッファ
２００ データ処理方法
１０１ コントローラ
１０２ データ取得器
１０３ シストリックアレイ
１０３ 計算ユニットアレイ（シストリックアレイ）
１０３ 計算ユニット
１０３ 計算ユニットアレイ
１０４ 入力バッファ
１０５ 出力バッファ
２００ データ処理方法
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図9D】
【図10A】
【図10B】
【図10C】
【図10D】
