特許 7427120 特徴画像の処理方法、装置及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-25

(45)【発行日】2024-02-02

(54)【発明の名称】特徴画像の処理方法、装置及び記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240126BHJP

   G06V 10/82 20220101ALI20240126BHJP

   G06N 3/0464 20230101ALI20240126BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06N3/0464

【請求項の数】 25

(21)【出願番号】P 2023001119

(22)【出願日】2023-01-06

(65)【公開番号】P2023040162

(43)【公開日】2023-03-22

【審査請求日】2023-01-06

(31)【優先権主張番号】202210194618.0

(32)【優先日】2022-03-01

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】ジ イュンユゥ

(72)【発明者】

【氏名】ジャン イェンロン

(72)【発明者】

【氏名】スン ジンジン

【審査官】長谷川 素直

(56)【参考文献】

【文献】国際公開第２０２１／２５７５５８（ＷＯ，Ａ１）

【文献】国際公開第２０１９／０８８０７２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０２９４９２９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

Ｇ０６Ｎ ３／００

(57)【特許請求の範囲】

【請求項1】

特徴画像の処理方法であって、
パラメータ行列中のパラメータをグループ化して、複数の配列を取得するステップであって、前記パラメータ行列は、畳み込みニューラルネットワークの畳み込み層から変換して得られた行列であるステップと、
前記複数の配列内のパラメータ値に基づいて、前記パラメータ行列に対して間引き処理を行って、間引きされたパラメータ行列を取得するステップと、
前記間引きされたパラメータ行列の疎さが予定の条件を満たす場合、前記間引きされたパラメータ行列及びデータ行列を用いて計算を行って、前記畳み込み層に対応する出力特徴マップを決定するステップであって、前記データ行列は、前記畳み込み層に入力された入力特徴マップから変換して得られた行列を含むステップと、を含む、
特徴画像の処理方法。

【請求項2】

前記パラメータ行列中のパラメータをグループ化するステップは、
予め設定された行数に基づいて前記パラメータ行列を行ごとに分割して、複数の中間行列を取得するステップと、
前記中間行列の行数が前記予め設定された行数に等しい場合、前記中間行列を列ごとに複数の配列に分割するステップであって、前記配列には予め設定された行数のパラメータが含まれるステップと、を含む、
請求項１に記載の特徴画像の処理方法。

【請求項3】

前記パラメータ行列中のパラメータをグループ化するステップは、
予め設定された行数に基づいて前記パラメータ行列を行ごとに分割して、複数の中間行列を取得するステップと、
前記中間行列の行数が前記予め設定された行数より小さい場合、前記中間行列を行ごとに少なくとも１つの１次元行列に分割するステップと、
各前記１次元行列を列ごとに複数の配列に分割するステップであって、各前記配列にはいずれも１つのパラメータが含まれるステップと、を含む、
請求項１に記載の特徴画像の処理方法。

【請求項4】

前記複数の配列内のパラメータ値に基づいて、前記パラメータ行列に対して間引き処理を行って、間引きされたパラメータ行列を取得するステップは、
各配列内のパラメータ値に対してそれぞれ加算計算を行って、得られた加算計算の結果を配列値とするステップと、
前記配列値が予め設定された閾値より小さい場合、前記配列内のパラメータ値をすべてゼロにして、ゼロリセット配列を取得するステップと、
前記ゼロリセット配列と非ゼロ配列からなる行列を、前記間引きされたパラメータ行列とするステップであって、前記非ゼロ配列は、配列値がゼロでない配列であるステップと、を含む、
請求項１に記載の特徴画像の処理方法。

【請求項5】

前記間引きされたパラメータ行列及びデータ行列を用いて計算を行って、前記畳み込み層に対応する出力特徴マップを決定するステップは、
前記間引きされたパラメータ行列中のＭ個の非ゼロ配列の位置を決定するステップであって、Ｍが１以上の整数であるステップと、
ｊ番目の非ゼロ配列の位置に基づいて、前記データ行列中の第１の関連データを読み取るステップであって、前記第１の関連データは、前記データ行列における予め設定されたルールに基づいて決定された、前記ｊ番目の非ゼロ配列と計算されるデータであり、ｊが１以上Ｍ以下の整数であるステップと、
前記ｊ番目の非ゼロ配列と前記第１の関連データを用いて計算を行って、Ｍ組の計算結果のうちのｊ組目の計算結果を取得するステップであって、前記ｊ組目の計算結果は、前記ｊ番目の非ゼロ配列内の各パラメータをそれぞれ第１の関連データと計算して得られた少なくとも１つの１次元行列を含むステップと、
前記Ｍ組の計算結果を用いて前記畳み込み層に対応する出力特徴マップを決定するステップと、を含む、
請求項４に記載の特徴画像の処理方法。

【請求項6】

前記Ｍ組の計算結果を用いて前記畳み込み層に対応する出力特徴マップを決定するステップは、
前記Ｍ組の計算結果の中からターゲット位置パラメータに対応する少なくとも１つの１次元行列を選択するステップであって、前記ターゲット位置パラメータは、前記ｊ番目の非ゼロ配列におけるターゲット行番号に位置するパラメータであるステップと、
前記少なくとも１つの１次元行列を用いてターゲットデータを決定するステップであって、前記ターゲットデータは、出力行列におけるターゲット行番号に位置するパラメータであるステップと、
前記出力行列に対して予め設定された後処理を行って、前記畳み込み層に対応する出力特徴マップを取得するステップと、を含む、
請求項５に記載の特徴画像の処理方法。

【請求項7】

前記ｊ番目の非ゼロ配列と前記第１の関連データとを計算する中に、前記データ行列中の第２の関連データをキャッシュメモリに書き込むステップであって、前記第２の関連データは、予め設定されたルールに基づいて決定された、ｊ＋１番目の非ゼロ配列と計算されるデータであるステップをさらに含む、
請求項６に記載の特徴画像の処理方法。

【請求項8】

前記第２の関連データの決定方式は、
前記ｊ＋１番目の非ゼロ配列の列番号を決定するステップと、
前記ｊ＋１番目の非ゼロ配列の列番号と前記ｊ番目の非ゼロ配列の列番号との間の列番号差に基づいて、前記第２の関連データと前記第１の関連データとの行オフセットを決定するステップと、
前記第１の関連データの位置及び前記行オフセットに基づいて、前記第２の関連データの位置を決定するステップと、を含む、
請求項７に記載の特徴画像の処理方法。

【請求項9】

前記間引きされたパラメータ行列及びデータ行列を用いて計算を行うステップは、
前記データ行列に対してブロック処理を行って、Ｎ個のブロック行列を取得するステップであって、Ｎが１以上の整数であるステップと、
前記間引きされたパラメータ行列を用いて前記Ｎ個のブロック行列とそれぞれ計算するステップと、を含む、
請求項１に記載の特徴画像の処理方法。

【請求項10】

前記データ行列に対してブロック処理を行うステップは、
前記データ行列の行数を各前記ブロック行列の行数とするステップと、
キャッシュメモリの容量及び前記データ行列の列数に基づいて、各前記ブロック行列の列数を決定するステップであって、前記キャッシュメモリは前記パラメータ行列及び前記ブロック行列を記憶するために使用されるステップと、
各前記ブロック行列の行数と列数とに基づいて、前記データ行列に対してブロック処理を行って、前記Ｎ個のブロック行列を取得するステップと、を含む、
請求項９に記載の特徴画像の処理方法。

【請求項11】

前記間引きされたパラメータ行列の疎さが予定の条件を満たさない場合、前記パラメータ行列及び前記データ行列を用いて計算するステップをさらに含む、
請求項１に記載の特徴画像の処理方法。

【請求項12】

特徴画像の処理装置であって、
パラメータ行列中のパラメータをグループ化して、複数の配列を取得するためのグループ化モジュールであって、前記パラメータ行列は、畳み込みニューラルネットワークの畳み込み層から変換して得られた行列であるグループ化モジュールと、
前記複数の配列内のパラメータ値に基づいて、前記パラメータ行列に対して間引き処理を行って、間引きされたパラメータ行列を取得するための間引き処理モジュールと、
前記間引きされたパラメータ行列の疎さが予定の条件を満たす場合、前記間引きされたパラメータ行列及びデータ行列を用いて計算を行って、前記畳み込み層に対応する出力特徴マップを決定するための第１の計算モジュールであって、前記データ行列は、前記畳み込み層に入力された入力特徴マップから変換して得られた行列を含む第１の計算モジュールと、を含む、
特徴画像の処理装置。

【請求項13】

前記グループ化モジュールが、
予め設定された行数に基づいて前記パラメータ行列を行ごとに分割して、複数の中間行列を取得するための中間行列決定サブモジュールと、
前記中間行列の行数が前記予め設定された行数に等しい場合、前記中間行列を列ごとに複数の配列に分割するための第１の配列決定サブモジュールであって、前記配列には予め設定された行数のパラメータが含まれる第１の配列決定サブモジュールと、を含む、
請求項１２に記載の特徴画像の処理装置。

【請求項14】

前記グループ化モジュールが、
予め設定された行数に基づいて前記パラメータ行列を行ごとに分割して、複数の中間行列を取得するための中間行列決定サブモジュールと、
前記中間行列の行数が前記予め設定された行数より小さい場合、前記中間行列を行ごとに少なくとも１つの１次元行列に分割するための１次元行列決定サブモジュールと、
各前記１次元行列を列ごとに複数の配列に分割するための第２の配列決定サブモジュールであって、各前記配列にはいずれも１つのパラメータが含まれる第２の配列決定サブモジュールと、を含む、
請求項１２に記載の特徴画像の処理装置。

【請求項15】

前記間引き処理モジュールが、
各配列内のパラメータ値に対してそれぞれ加算計算を行って、得られた加算計算の結果を配列値とするための配列値決定サブモジュールと、
前記配列値が予め設定された閾値より小さい場合、前記配列内のパラメータ値をすべてゼロにして、ゼロリセット配列を取得するためのゼロ設定実行サブモジュールと、
前記ゼロリセット配列と非ゼロ配列からなる行列を、前記間引きされたパラメータ行列とするための間引きされたパラメータ行列決定サブモジュールであって、前記非ゼロ配列は、配列値がゼロでない配列である間引きされたパラメータ行列決定サブモジュールと、を含む、
請求項１２に記載の特徴画像の処理装置。

【請求項16】

前記第１の計算モジュールが、
前記間引きされたパラメータ行列中のＭ個の非ゼロ配列の位置を決定するための非ゼロ配列位置決定サブモジュールであって、Ｍが１以上の整数である非ゼロ配列位置決定サブモジュールと、
ｊ番目の非ゼロ配列の位置に基づいて、前記データ行列中の第１の関連データを読み取るための第１の関連データ読み取りサブモジュールであって、前記第１の関連データは、前記データ行列における予め設定されたルールに基づいて決定された、前記ｊ番目の非ゼロ配列と計算されるデータであり、ｊが１以上Ｍ以下の整数である第１の関連データ読み取りサブモジュールと、
前記ｊ番目の非ゼロ配列を用いて前記第１の関連データと計算して、Ｍ組の計算結果のうちのｊ組目の計算結果を取得するための計算サブモジュールであって、前記ｊ組目の計算結果は、前記ｊ番目の非ゼロ配列内の各パラメータをそれぞれ第１の関連データと計算して得られた少なくとも１つの１次元行列を含む計算サブモジュールと、
前記Ｍ組の計算結果を用いて前記畳み込み層に対応する出力特徴マップを決定するための出力特徴マップ実行サブモジュールと、を含む、
請求項１５に記載の特徴画像の処理装置。

【請求項17】

前記出力特徴マップ実行サブモジュールが、
前記Ｍ組の計算結果の中からターゲット位置パラメータに対応する少なくとも１つの１次元行列を選択するための１次元行列選択サブモジュールであって、前記ターゲット位置パラメータは、前記ｊ番目の非ゼロ配列におけるターゲット行番号に位置するパラメータである１次元行列選択サブモジュールと、
前記少なくとも１つの１次元行列を用いてターゲットデータを決定するためのターゲットデータ決定サブモジュールであって、前記ターゲットデータは、出力行列におけるターゲット行番号に位置するパラメータであるターゲットデータ決定サブモジュールと、
前記出力行列に対して予め設定された後処理を行って、前記畳み込み層に対応する出力特徴マップを取得するための後処理サブモジュールと、を含む、
請求項１６に記載の特徴画像の処理装置。

【請求項18】

前記出力特徴マップ実行サブモジュールが、
前記ｊ番目の非ゼロ配列と前記第１の関連データとを計算する中に、前記データ行列中の第２の関連データをキャッシュメモリに書き込むためのデータ先取りサブモジュールであって、前記第２の関連データは、予め設定されたルールに基づいて決定された、ｊ＋１番目の非ゼロ配列と計算されるデータである先取りサブモジュールをさらに含む、
請求項１７に記載の特徴画像の処理装置。

【請求項19】

前記データ先取りサブモジュールが、
前記ｊ＋１番目の非ゼロ配列の列番号を決定するための列番号決定サブモジュールと、
前記ｊ＋１番目の非ゼロ配列の列番号と前記ｊ番目の非ゼロ配列の列番号との間の列番号差に基づいて、前記第２の関連データと前記第１の関連データとの行オフセットを決定するための行オフセット決定サブモジュールと、
前記第１の関連データの位置及び前記行オフセットに基づいて、前記第２の関連データの位置を決定するための第２の関連データ決定サブモジュールと、を含む、
請求項１８に記載の特徴画像の処理装置。

【請求項20】

前記第１の計算モジュールが、
前記データ行列に対してブロック処理を行って、Ｎ個のブロック行列を取得するためのブロック処理サブモジュールであって、Ｎが１以上の整数であるブロック処理サブモジュールと、
前記間引きされたパラメータ行列を用いて前記Ｎ個のブロック行列とそれぞれ計算するためのブロック計算サブモジュールと、を含む、
請求項１２に記載の特徴画像の処理装置。

【請求項21】

前記ブロック処理サブモジュールが、
前記データ行列の行数を各前記ブロック行列の行数とするための行数決定サブモジュールと、
キャッシュメモリの容量及び前記データ行列の列数に基づいて、各前記ブロック行列の列数を決定するための列数決定サブモジュールであって、前記キャッシュメモリは、前記パラメータ行列及び前記ブロック行列を記憶するために使用される列数決定サブモジュールと、
各前記ブロック行列の行数と列数とに基づいて、前記データ行列に対してブロック処理を行って、前記Ｎ個のブロック行列を取得するためのブロック処理実行サブモジュールと、を含む、
請求項２０に記載の特徴画像の処理装置。

【請求項22】

前記間引きされたパラメータ行列の疎さが予定の条件を満たさない場合、前記パラメータ行列及び前記データ行列を用いて計算するための第２の計算モジュールをさらに含む、
請求項１２～２１に記載の特徴画像の処理装置。

【請求項23】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが請求項１～１１のいずれかに記載の特徴画像の処理方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
電子機器。

【請求項24】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１～１１のいずれかに記載の特徴画像の処理方法を実行させる、
非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項25】

コンピュータプログラムであって、
前記コンピュータプログラムはプロセッサによって実行される場合、請求項１～１１のいずれかに記載の特徴画像の処理方法が実現される、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能技術の分野に関し、具体的には、深層学習、コンピュータビジョン技術の分野に関する。

【背景技術】

【0002】

深層畳み込みネットワークモデルは入力された特徴画像に対して高い認識精度を持ち、顔認識、無人運転、機械翻訳、医学検査などの分野で広く応用されている。しかしながら、そのパラメータ量が大きく、計算時間が長いため、計算力の低い組み込みチップではリアルタイム計算の要求を満たすことが困難であるため、汎用ハードウェアデバイス上で加速計算を実現するためにモデル圧縮の方法を採用する必要があることが多い。

【0003】

現行のモデル圧縮方法では、加速収益が小さいか、加速収益を満たす場合にモデル精度が著しく低下するという問題がある。そのため、どのようにモデルの精度を確保しながら、汎用ハードウェアデバイス上で良好な加速収益を実現するかが解決すべき問題となっている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、特徴画像の処理方法、装置及び記憶媒体を提供する。

【0005】

本開示の一様態によれば、特徴画像の処理方法を提供し、当該方法は、
パラメータ行列中のパラメータをグループ化して、複数の配列を取得するステップであって、前記パラメータ行列は、畳み込みニューラルネットワークの畳み込み層から変換して得られた行列であるステップと、
前記複数の配列内のパラメータ値に基づいて、前記パラメータ行列に対して間引き処理を行って、間引きされたパラメータ行列を取得するステップと、
前記間引きされたパラメータ行列の疎さが予定の条件を満たす場合、前記間引きされたパラメータ行列及びデータ行列を用いて計算を行って、前記畳み込み層に対応する出力特徴マップを決定するステップであって、前記データ行列は、前記畳み込み層に入力された入力特徴マップから変換して得られた行列を含むステップを含む。

【0006】

本開示の別の態様によれば、特徴画像の処理装置を提供し、当該装置は、
パラメータ行列中のパラメータをグループ化して、複数の配列を取得するためのグループ化モジュールであって、パラメータ行列は、畳み込みニューラルネットワークの畳み込み層から変換して得られた行列であるグループ化モジュールと、
複数の配列内のパラメータ値に基づいて、パラメータ行列に対して間引き処理を行って、間引きされたパラメータ行列を取得するための間引き処理モジュールと、
間引きされたパラメータ行列の疎さが予定の条件を満たす場合、間引きされたパラメータ行列とデータ行列を用いて計算を行って、畳み込み層に対応する出力特徴マップを決定するための第１の計算モジュールであって、データ行列は、畳み込み層に入力された入力特徴マップから変換して得られた行列を含む第１の計算モジュールと、を含むことができる。

【0007】

本開示の別の態様によれば、電子機器を提供し、前記電子機器は、
少なくとも１つのプロセッサと、
当該少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、
当該メモリには、当該少なくとも１つのプロセッサによって実行可能な命令が記憶されており、当該命令は、当該少なくとも１つのプロセッサが本開示の任意の実施例に記載の方法を実行できるように、当該少なくとも１つのプロセッサによって実行される。

【0008】

本開示の別の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、
当該コンピュータ命令は、コンピュータに本開示の任意の実施例に記載の方法を実行させる。

【0009】

本開示の別の態様によれば、コンピュータプログラムを提供し、当該コンピュータプログラムはプロセッサによって実行される場合、本開示の任意の実施例に記載の方法が実現される。

【発明の効果】

【0010】

本開示の技術案によれば、総合性能の良いモデル圧縮方法を提供し、モデルの精度損失が小さいことを確保しながら、計算力の低い汎用ハードウェア装置上で大きな加速収益を実現することができる。これにより、既存の畳み込みニューラルネットワークモデルのパラメータ量が大きく、計算時間が長いという問題が解決される。

【0011】

なお、この部分に記載の内容は、本開示の実施例の肝心または重要な特徴を特定することを意図しておらず、本開示の範囲を限定することも意図していないことを理解されたい。本開示の他の特徴は、以下の説明を通して容易に理解される。

【図面の簡単な説明】

【0012】

図面は、本技術案をよりよく理解するために使用され、本開示を限定するものではない。

【図1】本開示に係る特徴画像処理方法のフローチャートである。

【図2】本開示に係る変換してパラメータ行列を取得する概略図である。

【図3】本開示に係る間引き処理の概略図１である。

【図4】本開示に係る変換してデータ行列を取得する概略図である。

【図5】本開示に係るパラメータ行列中のパラメータをグループ化する概略図１である。

【図6】本開示に係るパラメータ行列中のパラメータをグループ化する概略図２である。

【図7】本開示に係るパラメータのグループ化の一例を示す図である。

【図8】本開示に係る間引き処理の概略図２である。

【図9】本開示に係る出力特徴マップを決定する概略図１である。

【図10】本開示に係る行列演算を行う概略図である。

【図11】本開示に係る出力特徴マップを決定する概略図２である。

【図12】本開示に係る第２の関連データを決定する概略図である。

【図13】本開示に係るブロック演算の概略図である。

【図14】本開示に係るブロック行列を決定する概略図である。

【図15】本開示に係る特徴画像処理装置の構成図である。

【図16】本開示の実施例の特徴画像処理を実現する電子機器のブロック図である。

【発明を実施するための形態】

【0013】

以下、図面と併せて本開示の例示的な実施例を説明し、理解を容易にするためにその中には本開示の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本開示の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

【0014】

図１に示すように、本開示は特徴画像の処理方法に関し、当該方法以下のステップＳ１０１～Ｓ１０３を含むことができる。

【0015】

Ｓ１０１、パラメータ行列中のパラメータをグループ化して、複数の配列を取得する。パラメータ行列は、畳み込みニューラルネットワークの畳み込み層から変換して得られた行列である。

【0016】

Ｓ１０２、複数の配列内のパラメータ値に基づいて、パラメータ行列に対して間引き処理を行って、間引きされたパラメータ行列を取得する。

【0017】

Ｓ１０３、間引きされたパラメータ行列の疎さが予定の条件を満たす場合、間引きされたパラメータ行列とデータ行列を用いて計算を行って、畳み込み層に対応する出力特徴マップを決定する。データ行列は、畳み込み層に入力された入力特徴マップから変換して得られた行列を含む。

【0018】

本実施例は、コンピュータデバイスに適用することができ、具体的には、サーバ、デスクトップコンピュータ、ノートパソコン、クラウド計算機、または複数のサーバからなるサーバセットを含むことができるが、これらに限定されず、本出願はコンピュータデバイスの製品タイプを限定しない。

【0019】

ステップＳ１０１を実行する前に、まず畳み込みニューラルネットワーク内の各隠れ層を認識することができる。隠れ層の認識結果がプール化層または他の非畳み込み層である場合、直接入力特徴マップに対して汎用計算を行う。

【0020】

認識結果が畳み込み層である場合、ステップＳ１０１を実行する。ここで、畳み込みニューラルネットワークの畳み込み層は、複数の畳み込みカーネル（ｗ×ｈ×ｃ）を含むことができ、ｗは幅を表すことができ、ｈは高さを表すことができ、ｃは深さ（または、チャンネル数）を表すことができる。具体的には、畳み込みカーネルのサイズは必要に応じて設定することができる。深さ値が固定されている（例えば、ｃ＝３）場合、畳み込みカーネルのサイズは、（１×１×３）、（３×３×３）、（５×５×３） などにすることができ、ここでは限定されない。畳み込みカーネルの数は、３、４、５など、必要に応じて設定することもできる。

【0021】

例えば、図２に示すように、１つのターゲット畳み込み層に４つの（１×１×３）の畳み込みカーネルが含まれる場合、それをＡ_４×３の行列に変換することができる。これにより、図示する行列Ａ_４×３をターゲット畳み込み層に対応するパラメータ行列とする。

【0022】

ステップＳ１０１の実現形態は、パラメータ行列中の複数の連続パラメータを１つの配列に分割することができる。ここで、複数の連続パラメータは、パラメータ行列の中で特定の方向に従って連続して選択して得られたパラメータであってもよく、例えば、左から右へ順に選択して得られた複数の連続パラメータであってもよいし、上から下へ順に選択して得られた複数の連続パラメータであってもよい。各配列中のパラメータの数は２つ、４つなどであってもよく、ここでは限定されない。

【0023】

好ましくは、図３に示すように、パラメータ行列の中で上から下へ隣接する２つのパラメータを配列として選択することができる。例えば、（０、－１．４）、（２．１、０）、（０、３．７）などであり、ここでは、網羅的に説明しない。

【0024】

複数の配列が取得された後にステップＳ１０２を実行し、複数の配列内のパラメータ値に基づいて、パラメータ行列に対して間引き処理を行って、間引きされたパラメータ行列を取得する。パラメータ行列に対して間引き処理を行うことは、１つまたは複数のパラメータ行列を選択して間引き処理を行ってもよく、ここでは限定されない。好ましくは、畳み込み層から変換して得られた各パラメータ行列に対して間引き処理を行ってもよい。ここで、パラメータ値はパラメータ行列中の各要素の要素値であってもよいし、要素値の絶対値であってもよく、ここでは限定されない。

【0025】

ここで、間引きの実現形態は、パラメータ値の小さい要素をゼロにしてもよい。例えば、図３に示すように、－１．４、２．１、３．７、－１．９をゼロにすることにより、間引きされたパラメータ行列を取得することができる。配列内のパラメータ値に基づいて対応する配列値を取得し、さらに配列値を用いてパラメータ行列に対して間引き処理を行うこともでき、ここでは説明を省略する。

【0026】

入力特徴マップは、複数の次元の特徴情報が含まれる画像であってもよく、例えば、顔認識シナリオで、元の入力特徴マップは、顔が含まれる特徴画像であってもよく、畳み込みニューラルネットワークの複数の隠れ層の処理により、テクスチャ、エッジ、色など、顔画像中の複数の特徴を抽出することができる。また、使用シナリオは、他の画像認識分野、例えば、自動運転中の道路映像認識、機械翻訳、医学画像検出などを含むこともでき、異なる使用シナリオには対応する入力特徴マップがあることができ、ここでは説明を省略する。

【0027】

間引きされたパラメータ行列の疎さは、パラメータ値がすべて０である配列が配列合計数に占める割合を表す。例えば、図３における間引きされたパラメータ行列では、パラメータ値が０である配列の個数が４であり、配列合計数が６であり、当該間引きされたパラメータ行列の疎さは４／６＝６６．６７％である。

【0028】

間引きされたパラメータ行列の疎さが予定の条件を満たす場合、間引きされたパラメータ行列とデータ行列を用いて計算を行って、畳み込み層に対応する出力特徴マップを決定する。データ行列は畳み込み層に入力された入力特徴マップから変換して得られた行列を含む。

【0029】

予定の条件は、疎さが予め設定された閾値より大きいことであってもよく、例えば、予め設定された閾値は７０％を取ることができる。この時、疎さが７０％より大きい場合、間引きされたパラメータ行列とデータ行列を用いて計算を行って出力特徴マップを取得する。予め設定された閾値は、必要に応じて設定することができ、例えば７５％、８０％などであってもよく、ここでは限定されない。また、予定の条件は、特定の予め設定された範囲であってもよい。例えば、疎さが５０～７０％である場合、間引きされたパラメータ行列とデータ行列を用いて計算を行って出力特徴マップを取得する。予め設定された範囲の値も必要に応じて設定することができ、ここでは説明を省略する。

【0030】

データ行列は、畳み込み層に入力された入力特徴マップから変換して得られた行列であってもよく、データ行列のサイズは、３次元入力特徴マップの長さ、幅、およびチャンネル数に依存する。説明の便宜上、図４に示すように、入力特徴マップがチャンネル３であり、長さ方向に２つのピクセルがあり、幅方向に３个ピクセルがあると仮定し、各チャンネルのピクセルをチャンネルごとに展開して順に組み合わせて、図４に示されるＢ_３×６という２次元行列をデータ行列として取得する。

【0031】

上記のプロセスにより、配列単位で畳み込みニューラルネットワークモデルを圧縮し、モデル演算が小さな精度損失しかないことを確保することができる。同時に、配列内のパラメータ値に基づいて間引き処理を行った後、間引きされたパラメータ行列中のパラメータ分布状況を用いてデータ行列中の関連データを読み取ることができ、これによってデータを読み取るにかかる時間を短縮し、モデル圧縮の場合に加速計算を実現することができる。

【0032】

図５に示すように、一実施形態では、ステップＳ１０１は以下のサブステップＳ５０１～Ｓ５０２を含むことができる。

【0033】

Ｓ５０１、予め設定された行数に基づいてパラメータ行列に対して行ごとに分割して、複数の中間行列を取得する。

【0034】

Ｓ５０２、中間行列の行数が予め設定された行数に等しい場合、中間行列を列ごとに複数の配列に分割する。各配列内には予め設定された行数のパラメータが含まれる。

【0035】

予め設定された行数に基づいてパラメータ行列を行ごとに分割して複数の中間行列を取得するステップは、予め設定された行数に従ってパラメータ行列を上から下へ順に複数の中間行列に分割するステップであって、分割して得られた中間行列の列数がパラメータ行列の列数と同じであるステップを含む。ここで、予め設定された行数は２行、４行、６行などであってもよく、ここでは限定されない。

【0036】

例えば、予め設定された行数に基づいて間引きされたパラメータ行列をちょうどＮ個の行列に分割する場合、Ｎ個の行列をすべて中間行列とする。分割して得られた最初のｎ－１個の行列の行数が予め設定された行数に等しく、Ｎ個目の行列の行数が予め設定された行数より小さい場合、Ｎ個目の行列をさらに分割して得られた複数の１次元行列を中間行列とすることができる。

【0037】

中間行列の行数が予め設定された行数に等しい場合、中間行列を列ごとに複数の配列に分割し、各配列内に予め設定された行数のパラメータが含まれる。

【0038】

図６に示すように、一実施形態では、ステップＳ１０１は、以下のサブステップＳ６０１～６０３をさらに含むことができる。

【0039】

Ｓ６０１、予め設定された行数に基づいてパラメータ行列を行ごとに分割して、複数の中間行列を取得する。

【0040】

Ｓ６０２、中間行列の行数が予め設定された行数より小さい場合、各中間行列を行ごとに少なくとも１つの１次元行列に分割する。

【0041】

Ｓ６０３、各１次元行列を列ごとに複数の配列に分割する。各配列内には１つパラメータが含まれる。

【0042】

例えば、図７に示すように、パラメータ行列はサイズが５×３である行列であり、予め設定された行数が２行である場合、パラメータ行列を上から下へ順に行数が２である複数の中間行列に分割し、最後の行数が２行より小さい行列を単独の中間行列とする。ここで、１番目と２番目の中間行列のサイズが２×３であり、３番目の中間行列のサイズが１×３である。その後、３つの中間行列を列ごとに複数の配列に分割する。ここで、各中間行列がいずれも３つの配列を含む。１番目と２番目の中間行列の各配列が２つのパラメータを含み、３番目の中間行列の各配列が１つの中間パラメータを含む。

【0043】

また、予め設定された行数が４である場合、行数が４より小さいｎ番目の行列は、１つの２次元行列と複数の１次元行列に分割されるか、または直接複数の１次元行列に分割されてもよく、ここでは限定されない。予め設定された行数が他の値をとる場合、具体的な分割方法を省略する。

【0044】

上記のプロセスにより、パラメータ行列中のパラメータをグループ化して複数の配列を取得することができる。これにより、得られた配列に基づいてパラメータ行列に対して間引き処理を行って、モデル圧縮を実現し、さらに圧縮されたモデルに基づいて加速計算を行うことができる。

【0045】

図８に示すように、一実施形態では、ステップＳ１０２は以下のサブステップＳ８０１～８０３を含むことができる。

【0046】

Ｓ８０１、各配列内のパラメータ値をそれぞれ加算計算を行って、得られた加算計算の結果を配列値とする。

【0047】

Ｓ８０２、配列値が予め設定された閾値より小さい場合、配列内のパラメータ値をすべてゼロにして、ゼロリセット配列を取得する。

【0048】

Ｓ８０３、ゼロリセット配列と非ゼロ配列からなる行列を、間引きされたパラメータ行列とする。非ゼロ配列は配列値がゼロでない配列である。

【0049】

ステップＳ８０１の実施形態は、間引きされたパラメータ行列中の複数の配列をトラバースしてもよい。具体的には、行ごとにトラバースし、１つの行の最後の配列にトラバースした後に、新しい行からトラバースを続けることができる。または列ごとにトラバースすることもでき、ここでは限定されない。トラバースしてパラメータ行列中の各パラメータ値が得られた後、各配列内のパラメータ値に対して加算計算を行って、得られた加算結果を配列値とする。パラメータ行列における配列値が予め設定された閾値より小さい配列を決定し、その中のパラメータをゼロにする。具体的には、配列中のパラメータ値が正数のみである場合、予め設定された閾値は、３、４、５ などの正の整数をとることができ、必要に応じて予め設定された閾値を小数に設定することもでき、ここでは限定しない。配列に正と負のパラメータ値がある場合、パラメータ行列における配列内のパラメータの絶対値の合計が予め設定された閾値より小さいパラメータをゼロにする。ここで、予め設定された閾値は６、７、８などであってもよく、ここでは限定されない。

【0050】

パラメータ値がすべてゼロにされた後の配列をゼロリセット配列とし、配列値がゼロでない配列を非ゼロ配列とする。その後、図７に示すように、ゼロリセット配列と非ゼロ配列からなる行列を間引きされたパラメータ行列とする。

【0051】

上記のプロセスにより、パラメータ行列の間引き処理を配列単位で完了させ、さらにデータを配列単位で読み取って計算することができる。これにより、演算精度を確保する前提で、モデルの演算效率を大幅に向上させることができる。

【0052】

図９に示すように、一実施形態では、ステップＳ１０３は以下のステップＳ９０１～９０４を含むことができる。

【0053】

Ｓ９０１、間引きされたパラメータ行列中のＭ個の非ゼロ配列の位置を決定し、Ｍが１以上の整数である。

【0054】

Ｓ９０２、ｊ番目の非ゼロ配列の位置に基づいて、データ行列中の第１の関連データを読み取り、第１の関連データは、データ行列における予め設定されたルールに基づいて決定された、ｊ番目の非ゼロ配列と計算されるデータであり、ｊが１以上Ｍ以下の整数である。

【0055】

Ｓ９０３、ｊ番目の非ゼロ配列と第１の関連データを用いて計算を行って、Ｍ組の計算結果のうちのｊ組目の計算結果を得、ｊ組目の計算結果は、ｊ番目の非ゼロ配列内の各パラメータをそれぞれ第１の関連データと計算して得られた少なくとも１つの１次元行列を含む。

【0056】

Ｓ９０４、Ｍ組の計算結果を用いて、畳み込み層に対応する出力特徴マップを決定する。

【0057】

ここで、間引きされたパラメータ行列中のｊ番目の非ゼロ配列の位置は、間引きされたパラメータ行列をトラバースするときに決定することができ、ｊが１以上の整数である。具体的には、間引きされたパラメータ行列中の非ゼロ配列をレジスタによって順に読み取り、配列値が０である場合、レジスタは自動的にスキップして次の非ゼロ配列を読み取ることができる。ここで、非ゼロ配列の位置は、配列中のパラメータ位置を用いて表すことができ、例えば、１番目の配列は１列目及び１～２行目に位置する。

【0058】

Ｍ個の非ゼロ配列の位置が決定された後、ｊ番目の非ゼロ配列の位置に基づいて、データ行列中の第１の関連データを読み取る。ここで、データ行列は、対応する記憶空間、例えばキャッシュメモリに記憶されており、ここでは限定されない。

【0059】

間引きされたパラメータ行列中の非ゼロ配列を位置特定した後、ｊ番目の非ゼロ配列の位置に基づいて、データ行列中の第１の関連データを読み取る。第１の関連データは、予め設定されたルールに基づいて決定された、ｊ番目の非ゼロ配列と計算されるデータである。まず、予め設定されたルールに基づいて、間引きされたパラメータ行列中のｊ番目の非ゼロ配列の位置から第１の関連データのデータ行列における位置を決定することができ、次に、第１の関連データのデータ行列における位置に基づいている第１の関連データを読み取って演算を実行することができる。

【0060】

予め設定されたルールは第１の予め設定されたルールと第２の予め設定されたルールとのうちの少なくとも１つを含むことができる。ここで、第１の予め設定されたルールは、ｊ番目の非ゼロ配列中のパラメータの間引きされたパラメータ行列における行番号に基づいて、第１の関連データのブロック行列における列番号を決定することであってもよく、第２の予め設定されたルールは、ｊ番目の非ゼロパラメータの間引きされたパラメータ行列における列番号に基づいて、第１の関連データのブロック行列における行番号を決定することであってもよい。

【0061】

具体的には、１番目の非ゼロ配列が１行目１列目及び２行目１列目に位置する２つのパラメータを含むと仮定すると、１行目１列目の要素を用いてデータ行列中の１行目の要素に順に乗算し、間引きされたパラメータ行列中の２行目１列目の要素をデータ行列中の１行目の要素に順に乗算することができる。これにより、間引きされたパラメータ行列中の１番目の配列中のパラメータ列番号に基づいて、それと計算されるデータ行列中の第１の関連データの行番号を決定し、得られた行番号を第１の関連データのデータ行列における位置とすることができる。同様に、間引きされたパラメータ行列中の他の非ゼロ配列のパラメータのデータ行列における第１の関連データを決定することができる。

【0062】

これにより、第１の関連データのデータ行列における位置を決定するルールは、間引きされたパラメータ行列中のｊ番目の非ゼロ配列の列番号をデータ行列中の第１の関連データの行番号とすることであってもよい。説明を簡略化するために、図１０に示すように、Ａ_５×３行列は間引きされたパラメータ行列を表し、Ｂ_３×６行列はデータ行列を表す。間引きされたパラメータ行列には、（４，－１．４）、（３．２，３．７）、（６，－１．９）、６、８．２という７つの非ゼロ配列が含まれ、ここで、１番目の非ゼロ配列中の２つのパラメータは、それぞれ１行目１列目に位置する「４」と２行目１列目に位置する「－１．４」であり、他の配列のパラメータ位置は説明を省略する。それに応じて、データ行列中の１行目のデータは、１番目の非ゼロ配列中の「４」および「－１．４」の第１の関連データであり、同様に、Ａ_５×３行列中の２番目の非ゼロ配列「３．２」と「３．７」はそれぞれ１行目３列目と２行目３列目に位置し、データ行列中の３行目のデータはそれに対応する第１の関連データである。Ａ_５×３行列中の３番目の非ゼロ配列「６」と「－１．９」はそれぞれ３行目２列目と４行目２列目に位置し、データ行列中の２行目のデータはそれに対応する第１の関連データである。他の非ゼロ配列に対応する第１の関連データについては、説明を省略する。

【0063】

第１の関連データが決定された後、間引きされたパラメータ行列中のｊ番目の非ゼロ配列のパラメータ値とデータ行列中の第１の関連データを用いて計算を行う。行列演算を行う場合、Ａ_５×３行列中の１番目の非ゼロ配列中の「４」和「－１．４」は１列目に位置し、「４」と「－１．４」をそれぞれＢ_３×６行列中の１行目のパラメータに順に乗算して、２つの１次元行列を取得し、Ａ_５×３行列中の２番目の非ゼロ配列「３．２」と「３．７」が３列目に位置し、それぞれＢ_３×６行列中の３行目のパラメータに順に乗算して、２つの１次元行列も取得し、Ａ_５×３行列中の３番目の非ゼロ配列「６」と「－１．９」が２列目に位置し、それぞれＢ_３×６行列中の２行目のパラメータに順に乗算して、２つの１次元行列も取得する。他の非ゼロ配列と対応する第１の関連データとの計算については、説明を省略する。非ゼロ配列にパラメータ１つしか含まれていない場合、この一意のパラメータを対応する第１の関連データと計算して、１つの１次元行列を取得する。

【0064】

各組の計算結果には少なくとも１つの１次元行列が含まれ、Ｍ組の計算結果を用いて、畳み込み層に対応する出力特徴マップを決定する。

【0065】

図１１に示すように、一実施形態では、ステップＳ９０４は以下のサブステップＳ１１０１～Ｓ１１０３を含むことができる。

【0066】

Ｓ１１０１、Ｍ組の計算結果の中からターゲット行番号パラメータに対応する少なくとも１つの１次元行列を選択する。ターゲット位置パラメータはｊ番目の非ゼロ配列におけるターゲット行番号に位置するパラメータである。

【0067】

Ｓ１１０２、少なくとも１つの１次元行列を用いてターゲットデータを決定する。ターゲットデータは出力行列におけるターゲット行番号に位置するデータである。

【0068】

Ｓ１１０３、出力行列に対して予め設定された後処理を行って、畳み込み層に対応する出力特徴マップを取得する。

【0069】

Ｍ組の計算結果には複数の１次元行列が含まれ、ここで、複数の１次元行列がターゲット行番号パラメータに基づいて計算して得られた少なくとも１つの１次元行列を含む。ターゲット行番号は出力行列の行数以下の任意の行番号であってもよく、例えば、１行目、２行目などであり、ここでは限定されない。例えば、図１０の１番目の非ゼロ配列における１行目に位置するパラメータ「４」を第１の関連データと計算し、得られた１次元行列は１行目のパラメータに対応する１次元行列である。２番目の非ゼロ配列における１行目に位置するパラメータ「３．２」を第１の関連データと計算し、得られた１次元行列も１行目のパラメータに対応する１次元行列であり、２つの１次元行列を加算して出力行列中の１行目に位置するターゲットデータを得る。

【0070】

同様に、２行目に位置する「－１．４」と「３．７」をそれぞれ用いてデータ行列と計算して２つの１次元行列を取得し、それを加算して出力行列の２行目に位置するターゲットデータを取得する。３行目と４行目に位置する「６」と「－１．９」を用いてデータ行列の２行目のデータと計算して、２つの１次元行列を取得し、それぞれ出力行列の３行目と４行目に位置するターゲットデータとする。このように類推して、間引きされたパラメータ行列Ａ_５×３とＢ_３×６を用いて、計算して得られた出力行列はＣ_５×６の出力行列である。

【0071】

出力行列に対して予め設定された後処理を行って、畳み込み層に対応する出力特徴マップを取得する。ここで、予め設定された後処理は、出力行列を予め設定されたアクティブ化関数に入力し、またはバイアス項が追加された出力行列を予め設定されたアクティブ化関数に入力し、出力特徴マップを取得することであってもよい。図１０に示すように、バイアス項は、出力行列の行数と同じパラメータ列であってもよく、パラメータは必要に応じて設定することができ、ここでは限定されない。アクティブ化関数は、予め設定されたｒｅｌｕ関数であってもよく、ｒｅｌｕ関数の形式は、以下の通りであってもよい。

【数1】

【0072】

ｒｅｌｕ関数の形式は、必要に応じて他の設定を行うこともできるが、ここでは限定されない。

【0073】

上記のプロセスにより、０である配列値に対応するデータ行列中の関連データの抽出ステップをスキップするとともに、間引きされたパラメータ行列の非ゼロ配列中の同一列のパラメータに基づいて、第１の関連データを抽出した後、配列中の異なるパラメータとそれぞれ計算して、中間結果を取得することができ、異なる列のパラメータに基づいてデータ行列の中から異なる第１の関連データを抽出することによる効率低下の問題を回避する。

【0074】

一実施形態では、ｊ番目の非ゼロ配列と第１の関連データを計算する中に、データ行列中の第２の関連データをキャッシュメモリに書き込み、ここで、第２の関連データは、予め設定されたルールに基づいて決定された、ｊ＋１番目の非ゼロ配列と計算されるデータである。

【0075】

例えば、図１０に示すように、間引きされたパラメータ行列をデータ行列と演算を行う場合、まず１番目の非ゼロ配列（４、－１．４）（１列目、１－２行目）に対応する第１の関連データを抽出してキャッシュメモリに入れ、対応する演算を実行する。演算を実行する中に、メモリから次の非ゼロ配列（３．２、３．７）（３列目、１－２行目）に対応する第２の関連データを抽出してキャッシュメモリに入れ、次の段階の演算を実行するために準備する。データ行列に対して、実行主体は０である配列値に対応する行をスキップし、１行目のデータを抽出して演算を実行した後、直接３行目にジャンプし、３行目のデータを抽出してキャッシュメモリに入れ、次の演算を実行する。

【0076】

具体的には、１番目の非ゼロ配列（４、－１．４）と第１の関連データ（１、４、１、８、７、３）を計算する中に、２番目の非ゼロ配列（３．２、３．７）と計算される第２の関連データ（３、５、１、０、２、９）をキャッシュメモリに書き込む。同様に、２番目の非ゼロ配列を対応する計算を行う中に、３番目の非ゼロ配列と計算されるデータをキャッシュメモリに書き込み、具体的な説明を省略する。

【0077】

上記のプロセスにより、間引きされたパラメータ行列中の非ゼロ配列の位置に基づいて、０である配列値に対応するデータ行列中の関連データの抽出ステップをスキップし、実行主体が無効な計算を行うことが回避される。同時に、現在の計算プロセスにおいて、データ先取りの方式によって計算対象のデータをキャッシュメモリに早めに入れ、ネットワークモデルの計算速度を大幅に向上させる。

【0078】

図１２に示すように、一実施形態では、第２の関連データの決定方式は以下のステップＳ１２０１～Ｓ１２０３を含む。

【0079】

Ｓ１２０１、ｊ＋１番目の非ゼロ配列の列番号を決定する。

【0080】

Ｓ１２０２、ｊ＋１番目の非ゼロ配列の列番号とｊ番目の非ゼロ配列の列番号との間の列番号差に基づいて、第２の関連データと第１の関連データとの行オフセットを決定する。

【0081】

Ｓ１２０３、第１の関連データの位置及び行オフセットに基づいて、第２の関連データの位置を決定する。

【0082】

ここで、ｊ＋１番目の非ゼロ配列は、ｊ番目の非ゼロ配列と同じ中間行列に属する配列であってもよいし、他の中間行列の非ゼロ配列であってもよく、ここでは限定されない。ｊ＋１番目の非ゼロ配列の列番号は、間引きされたパラメータ行列の列数以下の任意の列番号、例えば、１列目、２列目などであってもよく、ここでは限定されない。

【0083】

ｊ＋１番目の非ゼロ配列の列番号とｊ番目の非ゼロ配列の列番号との間の列番号差は、正数であってもよいし、負数であってもよく、ここでは限定されない。第２の関連データと第１の関連データとの行オフセットが列番号差と等しく、正数または負数であってもよく、ここでは限定されない。

【0084】

第１の関連データの位置は、第１の関連データの行番号によって表すことができ、具体的には、データ行列の行数以下の任意の行番号であってもよい。第２の関連データの位置を決定する実現形態は、第１の関連データの行番号及び行オフセットに基づいて、第２の関連データの行番号を決定することができる。計算して得られた第２の関連データの行番号も、データ行列の行数以下の任意の行番号である。

【0085】

例えば、図１０に示すように、間引きされたパラメータ行列には５つの非ゼロ配列が含まれ、列番号はそれぞれ１、３、２、１、３であり、２番目の非ゼロ配列（３．２、３．７）と１番目の非ゼロ配列（４、－１．４）との列番号差は「＋２」であり、３番目の非ゼロ配列（６、－１．９）と２番目の非ゼロ配列（３．２、３．７）との列番号差は「－１」であり、このように類推すると、ｊ＋１番目の非ゼロ配列とｊ番目の非ゼロ配列との列番号差はそれぞれ「２、－１、－１、２」である。１番目の非ゼロ配列と計算される第１のデータはデータ行列の１行目に位置するデータであり、列番号差に基づいて決定された第２の関連データの行オフセットは２であり、これにより、第２の関連データがデータ行列の３行目に位置すると決定することができる。同様に、他の第２の関連データの位置を決定することができ、ここでは説明を省略する。

【0086】

上記のプロセスにより、列番号差に基づいて次の第２の関連データと前の第２の関連データとの行オフセットを取得することができ、これにより、第２の関連データを迅速に位置特定し、データの先取りの効率を向上させ、モデル全体の演算の速度を向上させることができる。

【0087】

図１３に示すように、一実施形態では、ステップＳ１０３は以下のサブステップＳ１３０１～Ｓ１３０２をさらに含むことができる。

【0088】

Ｓ１３０１、データ行列に対してブロック処理を行って、Ｎ個のブロック行列を取得し、Ｎが１以上の整数である。

【0089】

Ｓ１３０２、間引きされたパラメータ行列を用いてＮ個のブロック行列とそれぞれ計算する。

【0090】

入力特徴マップから変換して得られたデータ行列が大量の要素を含むため、大きな記憶空間を占め、実行主体内のキャッシュメモリに対応する容量値を超えることが多い。本実施例は、行列ブロック処理により、元のデータ行列を複数のブロック行列に分解することができ、各ブロック行列が少量の要素を含み、より小さな記憶空間を占める。具体的には、ブロック処理は、固定の行数と列数に従ってデータ行列をブロック化することができ、または行数／列数が変わらない場合、データ行列を列／行ごとにブロック化することもでき、ここでは限定されない。

【0091】

データ行列に対してブロック処理を行って、Ｎ個のブロック行列を取得し、Ｎが１、２，３などであってもよく、ここでは、網羅的に説明しない。

【0092】

間引きされたパラメータ行列を用いてデータ行列と演算することは、間引きされたパラメータ行列を用いてＮ個のブロック行列とそれぞれ演算することに変換することができる。具体的には、間引きされたパラメータ行列を用いてＮ個のブロック行列とそれぞれ計算して対応するブロック計算結果を得、さらにブロック行列の位置関係に従ってブロック計算結果をスプライスし、スプライスして得られた結果を出力行列とすることができる。ブロック行列中の第１の関連データ、第２の関連データの決定方式は、前記のデータ行列の決定方法と同じであり、ここでは説明を省略する。

【0093】

図１４に示すように、一実施形態では、ステップＳ１３０１は以下のサブステップＳ１４０１～Ｓ１４０３をさらに含むことができる。

【0094】

Ｓ１４０１、データ行列の行数を各ブロック行列の行数とする。

【0095】

Ｓ１４０２、キャッシュメモリの容量及びデータ行列の列数に基づいて、各ブロック行列の列数を決定する。キャッシュメモリはパラメータ行列及びブロック行列を記憶するために使用される。

【0096】

Ｓ１４０３、各ブロック行列の行数と列数とに基づいて、データ行列に対してブロック処理を行って、Ｎ個のブロック行列を取得する。

【0097】

本実施例の実行主体は、ハードウェアデバイスのパラメータを取得することができる。例えば、ハードウェアデバイスのキャッシュメモリを直接読み取ることにより、その記憶容量情報を取得することができ、または、ハードウェアデバイスのピークメモリ帯域幅、毎秒最大操作量などを取得することもでき、ここでは限定されない。

【0098】

入力特徴マップサイズが大きい場合、端末機器内のキャッシュメモリはデータ行列全体を記憶できないか、または、計算の進行に伴いオンラインで記憶されたデータがキャッシュロスになる。これに基づいて、データ行列に対してブロック処理を行って、データが予期する方式を組み合わせてデータ記憶と計算を行うことができる。具体的には、各チャンネルのピクセルをチャンネルごとに展開させ、行方向に順に組み合わせた後、データ行列を列ごとにブロック化することができる。この時、得られたデータ行列の列数は行数よりもはるかに大きいため、行数が変わらない場合に列ごとにブロック化すると、複数の小さなブロック行列を取得することができる。例えば、入力特徴マップに長さ、幅方向にそれぞれ１００個のピクセル点が含まれる場合、チャンネルの数が１００である場合、データ行列の列数は１００００であり、この時、データ行列を列ごとにブロック化して複数のブロック行列を得ることができる。

【0099】

具体的には、ブロック処理のルールは、データ行列の行数を各ブロック行列の行数としてもよく、すなわちブロック処理後の行数が変わらない。さらに、キャッシュメモリの容量及びデータ行列の列数に基づいて、各ブロック行列の列数をそれぞれ決定する。

【0100】

例えば、データ行列が占める記憶空間が１．８Ｇである場合、バッファメモリの容量が１Ｇである場合、データ行列をブロックして得られた各ブロック行列が占める記憶空間は１Ｇより小さいくなければならない（他のアプリケーションによるバッファ空間の占有を考慮しない）。例えば、データ行列の列数は１００００であり、計算によってｍ列パラメータ値に対応するメモリは６００Ｍしかないと決定されると、データ行列をｍ列でブロック化して複数のブロック行列（ｍ列）を取得することができる。ｍの値は４８、３２、１６、８、４、１などであってもよく、ここでは限定されない。ｍの値が４８である場合、列数１００００のデータ行列を２０８個の列数が４８であるブロック行列に分割することができ、この時、残りの１６列を最後のブロック行列として対応する演算を実行することができる。

【0101】

各ブロック行列の行数と列数が決定された後、行数と列数とに基づいてデータ行列に対してブロック処理を行って、Ｎ個のブロック行列を取得することができる。

【0102】

上記のプロセスにより、キャッシュメモリは完全なブロック行列を記憶することができ、データ行列が大きすぎることによるオンラインで記憶された関連データのキャッシュロスの問題が回避される。

【0103】

一実施形態では、間引きされたパラメータ行列の疎さが予定の条件を満たしていない場合、パラメータ行列及びデータ行列を用いて計算する。

【0104】

予定の条件は、特定の予め設定された閾値または特定の予め設定された範囲であってもよく、ここでは限定されない。例えば、間引きされたパラメータ行列の疎さを予め設定された閾値の大きさと比較することにより、疎さの小さい畳み込み層に対して順序読み取りの方式を直接採用して対応する演算を実行し、畳み込みニューラルネットワークの計算速度をさらに向上させる。

【0105】

図１５に示すように、本開示は特徴画像の処理装置に関し、当該装置は、
パラメータ行列中のパラメータをグループ化して、複数の配列を取得するためのグループ化モジュール１５０１であって、前記パラメータ行列は、畳み込みニューラルネットワークの畳み込み層から変換して得られた行列であるグループ化モジュール１５０１と、
前記複数の配列内のパラメータ値に基づいて、前記パラメータ行列に対して間引き処理を行って、間引きされたパラメータ行列を取得するための間引き処理モジュール１５０２と、
前記間引きされたパラメータ行列の疎さが予定の条件を満たす場合、前記間引きされたパラメータ行列及びデータ行列を用いて計算を行って、前記畳み込み層に対応する出力特徴マップを決定するための第１の計算モジュール１５０３であって、前記データ行列は、前記畳み込み層に入力された入力特徴マップから変換して得られた行列を含む第１の計算モジュール１５０３と、を含むことができる。

【0106】

一実施形態では、前記グループ化モジュール１５０１は、
予め設定された行数に基づいて前記パラメータ行列を行ごとに分割して、複数の中間行列を取得するための中間行列決定サブモジュールと、
前記中間行列の行数が前記予め設定された行数に等しい場合、前記中間行列を列ごとに複数の配列に分割するための第１の配列決定サブモジュールであって、前記配列には予め設定された行数のパラメータが含まれる第１の配列決定サブモジュールと、を含む。

【0107】

一実施形態では、前記グループ化モジュール１５０１は、
予め設定された行数に基づいて前記パラメータ行列を行ごとに分割して、複数の中間行列を取得するための中間行列決定サブモジュールと、
前記中間行列の行数が前記予め設定された行数より小さい場合、前記中間行列を行ごとに少なくとも１つの１次元行列に分割するための１次元行列決定サブモジュールと、
各前記１次元行列を列ごとに複数の配列に分割するための第２の配列決定サブモジュールであって、各前記配列にはいずれも１つのパラメータが含まれる第２の配列決定サブモジュールと、を含む。

【0108】

一実施形態では、前記間引き処理モジュール１５０２は、
各配列内のパラメータ値に対してそれぞれ加算計算を行って、得られた加算計算の結果を配列値とするための配列値決定サブモジュールと、
前記配列値が予め設定された閾値より小さい場合、前記配列内のパラメータ値をすべてゼロにして、ゼロリセット配列を取得するためのゼロ設定実行サブモジュールと、
前記ゼロリセット配列と非ゼロ配列からなる行列を、前記間引きされたパラメータ行列とするための間引きされたパラメータ行列決定サブモジュールであって、前記非ゼロ配列は配列値がゼロでない配列である間引きされたパラメータ行列決定サブモジュールと、を含む。

【0109】

一実施形態では、前記第１の計算モジュール１５０３は、
前記間引きされたパラメータ行列中のＭ個の非ゼロ配列の位置を決定するための非ゼロ配列位置決定サブモジュールであって、Ｍが１以上の整数である非ゼロ配列位置決定サブモジュールと、
ｊ番目の前記非ゼロ配列の位置に基づいて、前記データ行列中の第１の関連データを読み取るための第１の関連データ読み取りサブモジュールであって、前記第１の関連データは、前記データ行列中における予め設定されたルールに基づいて決定された、前記ｊ番目の非ゼロ配列と計算されるデータであり、ｊが１以上Ｍ以下の整数である第１の関連データ読み取りサブモジュールと、
前記ｊ番目の非ゼロ配列と前記第１の関連データを用いて計算を行って、Ｍ組の計算結果のうちのｊ組目の計算結果を取得するための計算サブモジュールであって、前記ｊ組目の計算結果は、前記ｊ番目の非ゼロ配列内の各パラメータをそれぞれ第１の関連データと計算して得られた少なくとも１つの１次元行列を含む計算サブモジュールと、
前記Ｍ組の計算結果を用いて前記畳み込み層に対応する出力特徴マップを決定するための出力特徴マップ実行サブモジュールと、を含む。

【0110】

一実施形態では、前記出力特徴マップ実行サブモジュールは、
前記Ｍ組の計算結果の中からターゲット位置パラメータに対応する少なくとも１つの１次元行列を選択するための１次元行列選択サブモジュールであって、前記ターゲット位置パラメータは、前記ｊ番目の非ゼロ配列におけるターゲット行番号に位置するパラメータである１次元行列選択サブモジュールと、
前記少なくとも１つの１次元行列を用いてターゲットデータを決定するためのターゲットデータ決定サブモジュールであって、前記ターゲットデータは、出力行列におけるターゲット行番号に位置するパラメータであるターゲットデータ決定サブモジュールと、
前記出力行列に対して予め設定された後処理を行って、前記畳み込み層に対応する出力特徴マップを取得するための後処理サブモジュールと、を含む。

【0111】

一実施形態では、出力特徴マップ実行サブモジュールは、
前記ｊ番目の非ゼロ配列と前記第１の関連データとを計算する中に、前記データ行列中の第２の関連データを前記キャッシュメモリに書き込むためのデータ先取りサブモジュールであって、前記第２の関連データは、予め設定されたルールに基づいて決定された、ｊ＋１番目の非ゼロ配列と計算されるデータであるデータ先取りサブモジュールをさらに含む。

【0112】

一実施形態では、前記データ先取りサブモジュールは、
前記ｊ＋１番目の非ゼロ配列の列番号を決定するための列番号決定サブモジュールと、
前記ｊ＋１番目の非ゼロ配列の列番号と前記ｊ番目の非ゼロ配列の列番号との間の列番号差に基づいて、前記第２の関連データと前記第１の関連データとの行オフセットを決定するための行オフセット決定サブモジュールと、
前記第１の関連データの位置及び前記行オフセットに基づいて、前記第２の関連データの位置を決定するための第２の関連データ決定サブモジュールと、を含む。

【0113】

一実施形態では、前記第１の計算モジュール１５０３は、
前記データ行列に対してブロック処理を行って、Ｎ個のブロック行列を取得するためのブロック処理サブモジュールであって、Ｎが１以上の整数であるブロック処理サブモジュールと、
パラメータ行列を用いて前記Ｎ個のブロック行列とそれぞれ計算するためのブロック計算サブモジュールと、を含む。

【0114】

一実施形態では、前記ブロック処理サブモジュールは、
前記データ行列の行数を各前記ブロック行列の行数とするための行数決定サブモジュールと、
キャッシュメモリの容量及び前記データ行列の列数に基づいて、各前記ブロック行列の列数を決定するための列数決定サブモジュールであって、前記キャッシュメモリは前記パラメータ行列及び前記ブロック行列を記憶するために使用される列数決定サブモジュールと、
各前記ブロック行列の行数と列数とに基づいて、前記データ行列に対してブロック処理を行って、前記Ｎ個のブロック行列を取得するためのブロック処理実行サブモジュールと、を含む。

【0115】

一実施形態では、特徴画像の処理装置は、
前記間引きされたパラメータ行列の疎さが予定の条件を満たさない場合、前記パラメータ行列及び前記データ行列を用いて計算するための第２の計算モジュールをさらに含む。

【0116】

なお、本開示の技術案では、関連するユーザ個人情報の取得、記憶、応用などは、いずれも関連法律法規の規定に合致し、かつ公序良俗に違反しない。

【0117】

本開示の実施例によれば、本開示は、電子機器、及び読み取り可能な記憶媒体をさらに提供する。
本開示の実施例によれば、本開示は、コンピュータプログラムをさらに提供し、当該コンピュータプログラムはプロセッサによって実行される場合、本開示によって提供される特徴画像の処理方法が実現される。

【0118】

図１６は、本開示の実施例を実行するための例示的な電子機器１６００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、および他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示される部品、それらの接続と関係、およびそれらの機能は、単なる例であり、本明細書の説明および／または求められる本開示の実現を制限することを意図したものではない。

【0119】

図１６に示すように、電子機器１６００は、読み取り専用メモリ（ＲＯＭ）１６０２に記憶されているコンピュータプログラムまたは記憶ユニット１６０８からランダムアクセスメモリ（ＲＡＭ）１６０３にロードされたコンピュータプログラムに従って様々な適切な動作および処理を実行できる計算ユニット１６０１を含む。ＲＡＭ１６０３には、電子機器１６００の動作に必要な各種のプログラムやデータも記憶されてもよい。計算ユニット１６０１、ＲＯＭ１６０２、及びＲＡＭ１６０３は、バス１６０４を介して互いに接続されている。パス１６０４には、入力／出力（Ｉ／Ｏ）インターフェース１６０５も接続されている。

【0120】

電子機器１６００の複数のコンポーネントはＩ／Ｏインターフェース１６０５に接続され、キーボード、マウスなどの入力ユニット１６０６、各タイプのディスプレイ、スピーカなどの出力ユニット１６０７、磁気ディスク、光ディスクなどの記憶ユニット１６０８、およびネットワークカード、モデム、無線通信トランシーバなどの通信ユニット１６０９を含む。通信ユニット１６０９は、電子機器１６００が、インターネットなどのコンピュータネットワークおよび／または各種の電信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

【0121】

計算ユニット１６０１は、処理および計算能力を有する様々な汎用および／または専用の処理コンポーネントであってもよい。計算ユニット１６０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）計算チップ、各種のマシン運転学習モデルアルゴリズムの計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、およびいずれかの適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット１６０１は、上記に記載された各方法及び処理、例えば、特徴画像の処理方法を実行する。例えば、いくつかの実施例では、特徴画像の処理方法を、記憶ユニット１６０８などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。いくつかの実施例では、コンピュータプログラムの一部または全部は、ＲＯＭ １６０２および／または通信ユニット１６０９を介して電子機器１６００にロードおよび／またはインストールすることができる。コンピュータプログラムがＲＡＭ１６０３にロードされ、計算ユニット１６０１によって実行される場合、前文に記載された特徴画像の処理方法の１つの或複数のステップが実行されてもよい。代替的に、他の実施例では、計算ユニット１６０１は特徴画像の処理方法を実行するように、他のいずれかの適切な方式（例えば、ファームウェアを介して）によって構成されてもよい。

【0122】

本明細書で上記記載のシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行および／または解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、データおよび命令を当該ストレージシステム、当該少なくとも１つの入力装置、および当該少なくとも１つの出力装置に伝送することができる。

【0123】

本開示の方法を実行するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行された際に、フローチャートおよび／またはブロック図に規定された機能／操作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行されるか、部分的に機械上で実行されるか、スタンドアロンソフトウェアパッケージとして、部分的に機械上で実行され、部分的にリモート機械上で実行され又は完全にリモート機械又はサーバ上で実行されてもよい。

【0124】

本開示のコンテクストでは、機械読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって使用されるために、又は命令実行システム、装置、またはデバイスと組み合わせて使用するためのプログラムを含むか、又は記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、または上記コンテンツの任意の適切な組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または上記コンテンツの任意の適切な組み合わせを含む。

【0125】

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されるシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、ビジョンフィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力、または、触覚入力とを含む）でユーザからの入力を受信することができる。

【0126】

ここで説明されるシステムおよび技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインターフェース又は当該ウェブブラウザによってここで説明されるシステムおよび技術の実施形態とインタラクションできる）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムで実行することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、を含む。

【0127】

コンピュータシステムは、クライアントとサーバを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、分散システムのサーバであってもよく、ブロックチェーンを組み込んだサーバであってもよい。

【0128】

なお、上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができると理解されたい。例えば、本開示に記載の各ステップは、並列に実行されてもよいし、順に実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

【0129】

上記具体的な実施形態は、本開示の保護範囲を制限するものではない。当業者は、設計要求と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができると理解されたい。任意の本開示の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれなければならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】