特開 2024-159416 深層学習ネットワークのための最適化方法及び演算システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024159416

(43)【公開日】2024-11-08

(54)【発明の名称】深層学習ネットワークのための最適化方法及び演算システム

(51)【国際特許分類】

   G06N 3/0495 20230101AFI20241031BHJP

【ＦＩ】

G06N3/0495

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023171693

(22)【出願日】2023-10-02

(31)【優先権主張番号】112116132

(32)【優先日】2023-04-28

(33)【優先権主張国・地域又は機関】TW

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＨＵＮＤＥＲＢＯＬＴ

(71)【出願人】

【識別番号】504429600

【氏名又は名称】緯創資通股▲ふん▼有限公司

【氏名又は名称原語表記】ＷＩＳＴＲＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100204490

【弁理士】

【氏名又は名称】三上 葉子

(72)【発明者】

【氏名】郭 峻因

(72)【発明者】

【氏名】林 威志

(57)【要約】      （修正有）

【課題】深層学習ネットワークのために用いられる最適化方法及び演算システムを提供する。
【解決手段】深層学習ネットワークのための最適化方法であって、第１データを取得し、第１データを２のべき乗量子化を通じて量子化する。２のべき乗量子化後の第１データは、第１フォーマット又は第２フォーマットであり、第１フォーマット又は第２フォーマット中の第１の値の数は異なる。方法はまた、第２データを取得し、第２データを動的固定点量子化を通じて量子化し、２のべき乗量子化後の量子化された第１データ及び動的固定点量子化後の量子化された第２データに、深層学習ネットワークに関する演算を実行し、予測精度を高め、モデルの複雑さを低減させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１データを取得することと、
前記第１データを２のべき乗量子化を通じて第１フォーマット又は第２フォーマットに量子化することであって、前記第１フォーマット又は前記第２フォーマット中の第１の値の数は異なることと、
前記第１フォーマット又は前記第２フォーマットを目標フォーマットとして用いることと、
前記目標フォーマットに基づいて量子化された前記第１データを用いることにより、深層学習ネットワークに関する演算を実行することと
を含む、
深層学習ネットワークのための最適化方法。

【請求項2】

前記第１フォーマット又は前記第２フォーマットを前記目標フォーマットとして用いることは、
量子化誤差に基づいて前記第１フォーマット及び前記第２フォーマットのうちの１つを前記目標フォーマットとして決定することであって、前記量子化誤差は前記２のべき乗量子化により前記第１フォーマット又は前記第２フォーマットに量子化された前記第１データと、前記２のべき乗量子化により量子化されていない前記第１データとの間の誤差であること
を含む、
又は、
前記第１データは、前記深層学習ネットワークに基づく事前訓練モデル中の複数の層のうちの１つに属し、前記第１データを前記２のべき乗量子化を通じて前記第１フォーマット又は前記第２フォーマットに量子化することは、
前記層のスケーリング係数を決定することと、
前記スケーリング係数に基づいて前記層の量子化値の上限及び前記量子化値の下限を決定することと、
前記量子化値の前記上限及び前記量子化値の前記下限に基づいて前記層のための前記２のべき乗量子化におけるデータセットを決定することであって、前記データセットは前記第１フォーマット及び前記第２フォーマット中の量子化値を定義するために用いられることと
を含む、
請求項１に記載の深層学習ネットワークのための最適化方法。

【請求項3】

前記第１フォーマットはワンホットエンコーディングであり、前記第２フォーマットはツーホットエンコーディングであり、前記第１データは前記深層学習ネットワークに基づく事前訓練モデルの重みであり、前記演算は乗算演算であり、前記目標フォーマットは前記ワンホットエンコーディングであり、前記目標フォーマットに基づいて量子化された前記第１データを用いて前記深層学習ネットワークに関する前記演算を実行することは、
前記目標フォーマット中の前記第１の値の１つの位置に基づいて、シフターを介して第２データをシフトすることであって、前記第２データは前記深層学習ネットワークにおいて前記第１データで前記演算を実行するためのパラメータであること
を含む、
又は、
前記演算は乗算演算であり、前記目標フォーマットはツーホットエンコーディングであり、前記目標フォーマットに基づいて量子化された前記第１データを用いて前記深層学習ネットワークに関する前記演算を実行することは、
前記目標フォーマット中の前記第１の値の２つの位置に基づいて、前記シフターを介して前記第２データをシフトすることと、
加算器を介して、シフトされた前記第２データを加算することと
を含む、
請求項１に記載の深層学習ネットワークのための最適化方法。

【請求項4】

第１データを取得することと、
前記第１データを２のべき乗量子化を通じて量子化することであって、前記２のべき乗量子化を通じて量子化された前記第１データは第１フォーマット又は第２フォーマットであり、前記第１フォーマット又は前記第２フォーマット中の第１の値の数は異なることと、
第２データを取得することと、
前記第２データを動的固定点量子化を通じて量子化することと、
前記２のべき乗量子化後の量子化された前記第１データ、及び前記動的固定点量子化後の量子化された前記第２データに、深層学習ネットワークに関する演算を実行することと
を含む、
深層学習ネットワークのための最適化方法。

【請求項5】

プログラムコードを格納するよう構成されたメモリと、
前記メモリに結合され、
第１データを取得することと、
前記第１データを２のべき乗量子化を通じて第１フォーマット又は第２フォーマットに量子化することであって、前記第１フォーマット又は前記第２フォーマット中の第１の値の数は異なることと、
前記第１フォーマット又は前記第２フォーマットを目標フォーマットとして用いることと、
前記目標フォーマットに基づいて量子化された前記第１データを用いることにより、深層学習ネットワークに関する演算を実行することと
を実行するため、前記プログラムコードをロードするよう構成されたプロセッサと
を含む、
深層学習ネットワークのための演算システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は機械学習技術に関するものであり、特に深層学習ネットワークのための最適化方法及び演算システムに関する。

【背景技術】

【0002】

近年、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）技術の継続的な発展に伴い、ニューラルネットワークのパラメータ量及び演算の複雑さも増加している。その結果、深層学習ネットワークのための圧縮技術が大きく進展している。量子化はモデルを圧縮するための重要な技術であることに注意されたい。しかし、既存の量子化されたモデルの予測精度及び圧縮率にはまだ発展の余地がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上記を鑑み、本発明の１つの実施形態は、ハイブリッド式の効果的なコーディングと量子化を用いることにより、予測精度を高めて一定の圧縮率を維持することのできる、深層学習ネットワークのための最適化方法及び演算システムを提供する。

【課題を解決するための手段】

【0004】

本発明の１つの実施形態における深層学習ネットワークのための最適化方法は、第１データを取得することと、第１データを２のべき乗量子化（Ｐｏｗｅｒ ｏｆ Ｔｗｏ Ｑｕａｎｔｉｚａｔｉｏｎ）を通じて第１フォーマット又は第２フォーマットに量子化することとであって、第１フォーマット又は第２フォーマット中の第１の値の数は異なることと、第１フォーマット又は第２フォーマットを目標フォーマットとして用いることと、目標フォーマットに基づき量子化された第１データを用いることにより、深層学習ネットワークに関する演算を実行することとを含む（が、これに限定されない）。

【0005】

本発明の１つの実施形態における深層学習ネットワークのための最適化方法は、第１データを取得することと、第１データを２のべき乗量子化を通じて量子化することであって、２のべき乗量子化を通じて量子化された第１データは第１フォーマット又は第２フォーマットであり、第１フォーマット又は第２フォーマット中の第１の値の数は異なることと、第２データを取得することと、第２データを動的固定点量子化（ｄｙｎａｍｉｃ ｆｉｘｅｄ－ｐｏｉｎｔ ｑｕａｎｔｉｚａｔｉｏｎ）を通じて量子化することと、２のべき乗量子化後の量子化された第１データ及び動的固定点量子化後の量子化された第２データに、深層学習ネットワークに関する演算を実行することとを含む（が、これに限定されない）。

【0006】

本発明の１つの実施形態における深層学習ネットワークのための演算システムは、メモリとプロセッサとを含む。メモリは、プログラムコードを格納するよう構成される。プロセッサはメモリに結合される。プロセッサは、第１データを取得することと、第１データを２のべき乗量子化を通じて第１フォーマット又は第２フォーマットに量子化することであって、第１フォーマット又は第２フォーマット中の第１の値の数は異なることと、第１フォーマット又は第２フォーマットを目標フォーマットとして用いることと、目標フォーマットに基づき量子化された第１データを用いることにより、深層学習ネットワークに関する演算を実行することというステップを実行するため、プログラムコードをロードするよう構成される。

【発明の効果】

【0007】

上記に基づき、本発明の実施形態による深層学習ネットワークのための最適化方法及び演算システムによると、２つのデータを２のべき乗量子化及び動的固定点量子化を通じて特定のフォーマットに量子化する。このようにして、予測精度を高めることができ、モデルの複雑さを低減させることができる。

【0008】

本発明の上記特徴及び利点をより理解しやすくするため、以下に特定の実施形態を添付図面と併せて詳細に説明する。

【図面の簡単な説明】

【0009】

【図1】本発明の１つの実施形態による演算システムのコンポーネントのブロック図である。

【図2】本発明の１つの実施形態による深層学習ネットワークのための最適化方法のフロー図である。

【図3】本発明の１つの実施形態による量子化比較の概略図である。

【図4】本発明の１つの実施形態による層毎（ｌａｙｅｒ－ｂｙ－ｌａｙｅｒ）の量子化幅の概略図である。

【図5】本発明の１つの実施形態による２のべき乗量子化のフロー図である。

【図6】本発明の１つの実施形態による２のべき乗量子化の量子化レベルの概略図である。

【図7】２のべき乗量子化を表す例である。

【図8】本発明の１つの実施形態による深層学習ネットワークのための最適化方法のフロー図である。

【図9】動的固定点量子化を表す例である。

【図10】動的固定点量子化を表すもう１つの例である。

【図11A】ツーホットエンコーディング（ｔｗｏ－ｈｏｔ ｅｎｃｏｄｉｎｇ）の積和（Ｍｕｌｔｉｐｌｙ－Ａｃｃｕｍｕｌａｔｅ、ＭＡＣ）演算を表す例である。

【図11B】ツーホットエンコーディングのＭＡＣ演算を表す例である。

【図12】本発明の１つの実施形態による応用シナリオのフロー図である。

【図13】本発明の１つの実施形態によるモデル最適化のフロー図である。

【発明を実施するための形態】

【0010】

図１は、本発明の１つの実施形態による演算システム１０のコンポーネントのブロック図である。図１を参照し、演算システム１０は、メモリ１１とプロセッサ１２とを含む（が、これに限定されない）。演算システム１０は、１つ以上のデスクトップコンピュータ、ノートブックコンピュータ、スマートフォン、タブレットコンピュータ、ウェアラブルデバイス、サーバ、又は他の電子デバイスであってよい。

【0011】

メモリ１１は、任意のタイプの固定又は取外し可能なランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、又は類似のコンポーネントであってよい。１つの実施形態において、メモリ１１は、プログラムコード、ソフトウェアモジュール、構成設定、データ、又はファイル（例えば、データ、モデルパラメータ、又は演算値）を格納するよう構成され、後続の実施形態において詳細に説明する。

【0012】

プロセッサ１２はメモリ１１に結合される。プロセッサ１２は、中央処理装置（ＣＰＵ）、グラフィックプロセッシングユニット（ＧＰＵ）、又は他のプログラム可能な汎用又は特定用途向けマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、プログラマブルコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、ニューラルネットワークアクセラレータ、又は他の類似の要素、又は上記要素の組合せであってよい。１つの実施形態において、プロセッサ１２は、演算システム１０の演算の全て又は一部を実行するよう構成され、メモリ１１に格納された様々なプログラムコード、ソフトウェアモジュール、ファイル、及びデータをロードして実行することができる。

【0013】

以下に、演算システム１０内の様々なデバイス、コンポーネント、及びモジュールと併せて本発明の実施形態における方法を説明する。方法の各プロセスは実装に応じて調整されてよく、本発明はこれに限定されない。

【0014】

図２は、本発明の１つの実施形態による深層学習ネットワークのための最適化方法のフロー図である。図２を参照し、プロセッサ１２は第１データを取得する（ステップＳ２１０）。１つの実施形態において、第１データは深層学習ネットワークに基づく事前訓練モデルの重みである。深層学習ネットワークにおいて、畳み込み演算は入力フィーチャマップ（例えば、画像又は画像特徴セット）で畳み込みカーネルをスライドさせることによって実現されることに注意されたい。畳み込み演算は積和演算（又はＭＡＣ演算と呼ばれる）に関係し、積和演算は重み付け演算の合計と見なされてよい。重み付け演算の観点から、畳み込み演算において用いられる畳み込みカーネル中の要素は、重み付け演算の重みと見なされてよく、入力フィーチャマップは重みに対応する値と見なされてよい。

【0015】

事前訓練モデルは、深層学習ネットワーク（例えば、ＹＯＬＯ、畳み込みニューラル ネットワーク（ＣＮＮ）、長・短期記憶（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ、ＬＳＴＭ）、又は敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ、ＧＡＮ）、及び訓練サンプル及び対応するラベル又は実際の結果を入力することにより訓練されたモデル）に基づくアルゴリズムを指す。深層学習ネットワークに基づくモデルは、訓練サンプル及び対応するラベル又は実際の結果の間の関係を分析することで、そこから法則を導き出すことができ、該法則を通じて未知のデータを予測する。事前訓練モデルは、学習後に構築された機械学習モデルであり、評価データを推論する。この事前訓練モデルは、画像認識／分類、物体検出、意味解析、又は他の推論に用いることができ、本発明の実施形態は事前訓練モデルの使用を限定しないことに注意されたい。いくつかの応用シナリオにおいて、訓練された事前訓練モデルは、予め設定された精度の基準を満たすことができ得る。

【0016】

他の実施形態において、第１データは事前訓練モデル中の他のデータ／パラメータ、又はネットワークベースの深層学習のための関連するアルゴリズム関連パラメータであってもよい。

【0017】

１つの実施形態において、プロセッサ１２は、第１データをメモリ１１から取得してよい、又は、第１データを通信送受信器（例えば、Ｗｉ－Ｆｉ、モバイルネットワーク、又は光ファイバー網をサポートする送受信器）、又は伝送インターフェイス（例えば、ＵＳＢ又はＴｈｕｎｄｅｒｂｏｌｔ）を介して外部電子デバイス又は記憶装置から取得してよい。

【0018】

プロセッサ１２は、第１データを２のべき乗量子化を通じて第１フォーマット又は第２フォーマットに量子化する（ステップＳ２２０）。具体的には、事前訓練モデルの各レイヤは対応するパラメータ（例えば、重み、入力／出力アクティベーション値／フィーチャ値／フィーチャマップ）を有する。過度な数のパラメータは、演算及び格納において高い要件を必要とし、パラメータの複雑さが増すほど演算量も増加すると考えられる。量子化は、ニューラルネットワークの複雑さを低減させるために用いられる技術の１つである。量子化は、アクティベーション／フィーチャ又は重みを表すために用いられるビットの数を減少させる。

【0019】

多くのタイプの量子化方法が存在する。例えば、対称量子化、非対称量子化、及びクリッピングである。加えて、２のべき乗量子化は、鐘形状及びロングテールの重みに対して提案された不均一量子化スキームである。このスキームは、全ての量子化値をいくつかの２のべき乗（又は２の冪）の加算（即ち、２のべき乗のデータセット）に制限し、演算効率を高めることが可能であり、重みの数値分布に適用可能である。２のべき乗のデータセットは、例えば｛０，２^０，２^１，２^２，２^３，２^４｝であるが、他の２のべき乗の組合せであってもよく、本発明の実施形態はこれに限定されない。

【0020】

図３は、本発明の１つの実施形態による量子化比較の概略図である。図３を参照し、不均一量子化された量子化レベルは、より細かくより均一であり、これは浮動小数点値が０と１の間であるとき量子化のためのより多くの量子化点が用いられることを意味する。ただし、２のべき乗量子化の量子化点の分布は、他の領域よりも浮動小数点値が０に近い領域においてより緊密であり、浮動小数点値が１に近い領域における量子化点の分布は他の領域よりもまばらである。ここから分かるように、データ中の値を２のべき乗に符号化する量子化方法は、モデル全体の一部の精度喪失を引き起こす可能性がある。ただし、重みの感度が低く且つ数値分布が比較的集中しているため、２のべき乗量子化は重みの量子化に適している。

【0021】

第１フォーマット及び第２フォーマットは、上述した２のべき乗データセットの異なるフォーマットである。第１フォーマット及び／又は第２フォーマット中の第１の値の数は異なる。この第１の値は、例えば「１」である。つまり、２のべき乗データセットにおいて、第１の値はデータセット中の各要素に対応する値「１」の数である。例えば、２のべき乗により量子化された値は２であり、データセット｛０，２^０，２^１，２^２｝の値は｛０，０，１，０｝であり、第１の値「１」の数は１つである。もう１つの例において、例えば、２のべき乗により量子化された値が３の場合、データセット｛０，２^０，２^１，２^２｝の値は｛０，１，１，０｝であり、第１の値「１」の数は２つである。

【0022】

１つの実施形態において、第１フォーマットはワンホットエンコーディング（ｏｎｅ－ｈｏｔ ｅｎｃｏｄｉｎｇ）である。つまり、第１フォーマットにおける２のべき乗により量子化されたデータセットに対応する値「１」の数は１つである。例えば、データセット｛０，２^０，２^１，２^２｝の値は｛０，０，１，０｝であり、第１の値「１」の数は１である。一方、第２フォーマットはツーホットエンコーディング（ｔｗｏ－ｈｏｔ ｅｎｃｏｄｉｎｇ）である。つまり、第２フォーマットにおける２のべき乗により量子化されたデータセットに対応する値「１」の数は２つである。例えば、データセット｛０，２^０，２^１，２^２｝の値は｛０，１，１，０｝であり、第１の値「１」の数は２つである。

【0023】

図４は、本発明の１つの実施形態による層毎（ｌａｙｅｒ－ｂｙ－ｌａｙｅｒ）の量子化幅の概略図である。図４を参照し、深層学習ネットワークに基づく事前訓練モデルはＬ_１～Ｌ_ＮのＮ個の層を含み、Ｎは正の整数である。各層Ｌ_１～Ｌ_Ｎは、畳み込み層、プーリング層、全結合層、又は他の層であってよく、本発明の実施形態は層のタイプを限定しない。第１データは、これら層Ｌ_１～Ｌ_Ｎのうちの特定層中のパラメータ（例えば重み）に属する。これら層Ｌ_１～Ｌ_Ｎは、それぞれのスケール／スケーリング係数Ｓ_１～Ｓ_Ｎにそれぞれ対応する。スケーリング係数Ｓ_１～Ｓ_Ｎは、浮動小数点と整数／量子化値との間の比例関係を表す。線形量子化を例とすると、数式は次となる。

【数1】

該式において、ｘとｑはそれぞれ量子化前後の値であり、ｓはスケーリング係数、ｚはゼロ点（即ち、元々の範囲中の０の量子化値）であり、ｒｏｕｎｄ（）は整数の丸めるために用いられる。ここから、事前訓練モデルがＬ_１～Ｌ_ＮのＮ個の層を含む場合、Ｓ_１～Ｓ_ＮのＮ個のスケーリング係数が存在することが分かる。スケーリング係数Ｓ_１～Ｓ_Ｎは、モデルの訓練プロセスの間、継続して後進される。

【0024】

図５は、本発明の１つの実施形態による２のべき乗量子化のフロー図である。図５を参照し、プロセッサ１２は、第１データが属する層のスケーリング係数を決定してよい（ステップＳ５１０）。スケーリング係数の数学的表現は次となる。

【数2】

該式において、ｎはｎ番目の層Ｌ_ｎを表し（ｎは１～Ｎのうちの１つ）、Ｗ_ｎはこの層Ｌ_ｎ中の第１データの値（例えば重み）であり、ｍａｘ（）は最大値である。即ち、層Ｌ_ｎのスケーリング係数は層Ｌ_ｎ中の第１データ中の最大値である。

【0025】

プロセッサ１２は、スケーリング係数に基づいて第１データが属する層の量子化値の上限と量子化値の下限とを決定してよい（ステップＳ５２０）。量子化値が８ビットであると例示し、量子化値の上限と下限の数式は次となる。

【数3】

該式において、ｕｂ_ｎは層Ｌ_ｎの量子化値の上限であり、ｌｂ_ｎは層Ｌ_ｎの量子化値の下限である。量子化値が他のビット数である場合、量子化値の下限における７はそれに応じて調整されてよい。各層はそれぞれのスケーリング係数に対応することから、量子化値の上限及び／又は量子化値の下限も層によって異なる。

【0026】

【数4】

【0027】

図５を参照し、プロセッサ１２は、量子化値の上限及び量子化値の下限に基づいて第１データの層の２のべき乗量子化に用いられるデータセットを決定してよい（ステップＳ５３０）。データセットは、第１フォーマットおよび第２フォーマット中の量子化値を定義するために用いられる。具体的には、データセットＱ_ｎの数式は次となる。

【数5】

該式において、Ｑ_ｎは層Ｌ_ｎのデータセットである。つまり、量子化値の上限及び量子化値の下限は、２のべき乗項の上限及び下限である。層Ｌ_ｎの第１データの全ての値（例えば重み）は、データセットＱ_ｎの順列と組合せである。

【0028】

図２を参照し、プロセッサ１２は、第１フォーマット又は第２フォーマットを目標フォーマットとする（ステップＳ２３０）。１つの実施形態において、プロセッサ１２は、第１データを第１フォーマットの量子化データ及び第２フォーマットの量子化データに量子化し、次いで第１フォーマットの量子化データ及び第２フォーマットの量子化データのうちの１つを選択する。選択されたフォーマットは目標フォーマットである。特筆すべき点として、ワンホットエンコーディングを用いる複雑さは低いが、モデルの予測精度は失われる可能性がある。一方、ツーホットエンコーディングを用いることは予測精度を高めるが、複雑さが増加する。これに比べ、本発明の実施形態は性能指標（例えば、精度又は複雑さ）に基づいて２つのフォーマットのうちの１つを選択することができ（以降、「ハイブリッド符号化」と呼ぶ）、応用要件に符合する。

【0029】

１つの実施形態において、プロセッサ１２は、量子化誤差に基づいて第１フォーマット及び第２フォーマットのうちの１つを目標フォーマットとして決定してよい。量子化誤差は、２のべき乗によって第１フォーマット又は第２フォーマットに量子化された第１データと、２のべき乗によって量子化されていない（元々の）第１データとの間の誤差である（例えば、ユークリッド距離、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ、ＭＳＥ）、二乗平均平方根誤差（Ｒｏｏｔ－Ｍｅａｎ－Ｓｑｕａｒｅ Ｅｒｒｏｒ、ＲＭＳＥ）、最小二乗平均平方根誤差（Ｌｅａｓｔ－Ｍｅａｎ－Ｓｑｕａｒｅ Ｅｒｒｏｒ、ＬＭＳＥ）、コサイン類似度、又はコサイン距離）。即ち、性能指標は予測精度である。量子化誤差が小さい場合、予測精度は維持される可能性があり、さもなくば予測精度は減少する可能性がある。

【0030】

１つの実施形態において、プロセッサ１２は、最小量子化誤差を有するフォーマットを目標フォーマットとして選択してよい。例えば、第１フォーマットの量子化データと第１データとの間の誤差が第２フォーマットの量子化データと第１データとの間の誤差よりも小さい場合は目標フォーマットは第１フォーマットである、もしくはその逆であり、詳細はここでは繰り返し述べない。０．３６１を例とすると、ワンホットエンコーディングにおける２のべき乗量子化後の値は０．２５（即ち２^－２）であり、ツーホットエンコーディングにおける２のべき乗量子化後の値は０．３７５（即ち２^－２＋２^－１）である。このため、ツーホットエンコーディングに対応する量子化誤差が比較的小さい。０．２４３を例とすると、ワンホットエンコーディングにおける２のべき乗量子化後の値は０．２５（即ち２^－２）であり、ツーホットエンコーディングにおける２のべき乗量子化後の値は０．２５１９５３１２５（即ち２^－２＋２^－９）である。このため、ワンホットエンコーディングに対応する量子化誤差が比較的小さい。

【0031】

図７は、２のべき乗量子化を表す例である。図７を参照し、第１データの浮動小数点が３２ビットであることを例示する。目標フォーマットがツーホットエンコーディングであると仮定し、ツーホットエンコーディングの２のべき乗量子化後（ステップＳ７１０）、第１データ（即ち８ビット量子化データ）がツーホットエンコーディングに符合する目標フォーマットに基づいて量子化される。即ち、値「１」の数は２つである。

【0032】

図２を参照し、プロセッサ１２は、深層学習ネットワークに関する演算を実行するため、目標フォーマットに基づいて量子化された第１データを用いる（ステップＳ２４０）。具体的には、演算は乗算演算、ＭＡＣ演算、及び／又は加算演算であってよい。例えば、第１データが重みである場合、それらの量子化データが畳み込み層、全結合層、又は他の演算層を実装するために（量子化された）フィーチャマップとＭＡＣ演算を実行するために用いられてよい。

【0033】

図８は、本発明の１つの実施形態による深層学習ネットワークのための最適化方法のフロー図である。図８を参照し、プロセッサ１２は第１データを取得する（ステップＳ８１０）。具体的には、ステップＳ８１０の詳細についてはステップＳ２１０の説明を参照することができ、ここでは繰り返し述べない。

【0034】

プロセッサ１２は、第１データを２のべき乗量子化を通じて量子化する（ステップＳ８２０）。具体的には、２のべき乗量子化後の第１データ（即ち量子化データ）は、第１フォーマット及び第２フォーマットのうちの１つであり、第１フォーマット及び第２フォーマット中の第１の値の数は異なる。ステップＳ８２０の詳細についてはステップＳ２２０の説明を参照されたい。１つの実施形態において、プロセッサ１２は更に、ステップＳ２２０に基づいて目標フォーマットを決定してよい。もう１つの実施形態において、プロセッサ１２は、２のべき乗量子化のための第１フォーマット及び第２フォーマットのうちの１つの使用を事前に決定している。

【0035】

一方、プロセッサ１２は第２データを取得する（ステップＳ８３０）。１つの実施形態において、第２データは、深層学習ネットワークにおいて第２データで算出されたパラメータである。１つの実施形態において、第２データは、深層学習ネットワークに基づく事前訓練モデルのフィーチャ値／マップ又はアクティベーション値である。事前訓練モデルの詳細についてはステップＳ２１０の説明を参照することができ、ここでは繰り返し述べない。もう１つの実施形態において、第２データは事前訓練モデルの他のデータ／パラメータ、又はネットワークベースの深層学習のための関連するアルゴリズム関連パラメータであってもよい。

【0036】

１つの実施形態において、プロセッサ１２は、第２データをメモリ１１から取得する、又は第２データを通信送受信器（例えば、Ｗｉ－Ｆｉ、モバイルネットワーク、又は光ファイバー網をサポートする送受信器）、又は伝送インターフェイス（例えば、ＵＳＢ又はＴｈｕｎｄｅｒｂｏｌｔ）を介して外部電子デバイス又は記憶装置から取得する。

【0037】

プロセッサ１２は、動的固定点量子化を通じて第２データを量子化する（ステップＳ８４０）。具体的には、動的固定点量子化は、固定点量子化の限られた表現能力の問題を解決するために提供された量子化スキームである。「動的」は、事前訓練モデル中の各層が自身の量子化パラメータを有することを意味する。量子化パラメータは、例えば小数／分数の長さ、整数の長さ、又はビット幅である。

【0038】

図９は、動的固定点量子化を表す例である。図９を参照し、値を表す１０ビットのうち、符号ビット９０２を除き、仮数９０３は整数部９０４と小数部９０５とを含む。小数／分数の長さが３である場合（即ち、ｆｌ＝３）、小数部９０５は図示するように３ビットを占める。応用シナリオによっては、動的固定点量子化は非対称量子化よりもハードウェア実装に適する。動的固定点量子化の数式は次となる。

【数6】

該式において、ｑ_２とｘ_ｉは量子化前後の値であり、Ｂは量子化に用いられるビット幅であり、ｆｌは小数の長さであり、ｓは符号を表す。

【0039】

図１０は、動的固定点量子化を表すもう１つの例である。図１０を参照し、第２データの浮動小数点を３２ビットとして例示すると、マルチスケール動的固定点量子化は事前の分析で得られた動的長さ（例えば３）に基づいて量子化し（ステップＳ１０１０）、これにより８ビットの量子化データを取得する。

【0040】

１つの実施形態において、プロセッサ１２は、第２データをマルチスケール動的固定点量子化を通じて量子化してよい。「マルチスケール」は、事前訓練モデルの各層に対応する量子化器が値範囲の異なるセグメントにて異なる量子化パラメータを用いることを意味する。量子化パラメータは、例えば小数／分数の長さ、整数の長さ、又は仮数である。例えば、プロセッサ１２は、より緊密な数値分布を有する中央セグメントに対し、小数の長さ（Ｆｒａｃｔｉｏｎａｌ Ｌｅｎｇｔｈ、ＦＬ）により多くのビット幅を割り当て、プロセッサ１２は、よりまばらな数値分布を有する末尾セグメントに対し、整数の長さ（Ｉｎｔｅｇｅｒ Ｌｅｎｇｔｈ、ＩＬ）により多くのビット幅を割り当て、よって「マルチスケール」を達成する。

【0041】

図８を参照し、プロセッサ１２は、２のべき乗量子化の後の第１データ及び動的固定点量子化後の第２データに深層学習ネットワークに関する演算を実行する（ステップＳ８５０）。具体的には、演算は、乗算演算、ＭＡＣ演算、及び／又は加算演算であってよい。例えば、第１データが重みであり且つ第２データが入力／出力フィーチャマップ／値である場合、２つのデータに対応する量子化データは、畳み込み層、全結合層、又は他の演算層を実装するため、ＭＡＣ演算の対象とされてよい。

【0042】

１つの実施形態において、演算は乗算演算であり、目標フォーマットはワンホットエンコーディングである。プロセッサ１２は乗算演算を実現するため、目標フォーマット中の第１の値の１つの位置に基づいて、シフターを介して量子化された第２データをシフトする。１の値を有するのはワンホットエンコーディングにおいて１つのビットのみであることから、プロセッサ１２は、データの組合せ中のこの１ビットの位置を見つけることができ、これに応じて量子化された第２データをシフトし、これによりＭＡＣ演算の結果を取得する。例えば、最下位ビットが０番目のビットであることを基準とし、「１」が１番目のビットにある場合、プロセッサ１２は第２データを１ビットシフトする。乗算演算はシフトにより実現できることが分かる。

【0043】

例えば、畳み込み演算にて用いられるＭＡＣ演算は次である。

【数7】

そのうち、Ａ_ｊは第２データの値であり（例えばフィーチャ値）、Ｗ_ｊは第１データの値であり（例えば重み）、Ｍは量子化データの長さで且つ正の整数である。第１データの値がワンホットエンコーディングにより量子化されたと仮定し、ＭＡＣ演算は次に変更される。

【数8】

【0044】

もう１つの実施形態において、演算は乗算演算であり、目標フォーマットはツーホットエンコーディングである。プロセッサ１２は乗算演算を実現するため、目標フォーマット中の第１の値の２つの位置に基づいて、シフターを介して量子化された第２データをシフトし、加算器を介してシフトされた第２データを加算する。ツーホットエンコーディングは１の値である２つのビットを有することから、プロセッサ１２はデータの組合せ中の２つのビットの位置を見つけることができ、これに応じて量子化された第２データをシフトして加算を実行し、これによりＭＡＣ演算の結果を取得する。加算演算はシフトと加算により実現できることが分かる。

【0045】

【数9】

【0046】

図１１Ａと図１１Ｂは、ツーホットエンコーディングのＭＡＣ演算を表す例である。図１１Ａを参照し、量子化された第２データは［０ １ ０ １ ０ １ １ ０］であり、量子化された第１データは［０ ０ ０ ０ １ ０ １ ０］である。２つのデータを乗算することにより、出力データを［０ １ ０ １ １ １ ０ ０］として取得することができる。

【0047】

図１１Ｂを参照し、図１１Ａの量子化された第１データはツーホットエンコーディングに基づくことから、「１」の値が２つある。最下位ビットが０番目のビットであることを基準とし、１番目のビットと３番目のビットが「１」である。このため、プロセッサ１２は量子化された第２データをそれぞれ１ビット及び３ビットでシフトする。次に、プロセッサ１２は１ビットシフトされた第２データと３ビットシフトされた第２データを加算し、出力データはやはり［０ １ ０ １ １ １ ０ ０］である。

【0048】

シフターと加算器の演算の複雑さは乗算器のものよりも低いことから、演算の複雑さは２のべき乗量子化を通じてシフターと加算器の組合せにより低減することができる。

【0049】

上記実施形態は層毎に実装することができることに注意されたい。

【0050】

例えば、図１２は本発明の１つの実施形態による応用シナリオのフロー図である。事前訓練モデルの特定の層を示す図１２を参照し、プロセッサ１２は３２ビット浮動小数点値の入力フィーチャーマップを取得し（ステップＳ１２０１）、この入力フィーチャーマップにマルチスケール動的固定点量子化を実行する（ステップＳ１２０２）ことで、３２ビット出力フィーチャマップを８ビットの量子化された入力フィーチャーマップに量子化する。一方、プロセッサ１２は３２ビット浮動小数点値の重みを取得し（ステップＳ１２０４）、該重みに２のべき乗量子化を実行する（ステップＳ１２０５）ことで、３２ビット浮動小数点値の重みは８ビットの量子化された重みに量子化される。第１フォーマット及び第２フォーマットのうちの１つを選択することを「ハイブリッド符号化」と呼ぶ。プロセッサ１２は、対応する演算を実行するため、量子化されたフィーチャマップと量子化された重みを事前訓練モデルのフィーチャ層に入力する（ステップＳ１２０７）。次に、プロセッサ１２は、出力フィーチャマップを８ビットの量子化された出力フィーチャマップに量子化するため、算出された出力フィーチャマップにマルチスケール動的固定点量子化を実行する（ステップＳ１２０９）。プロセッサ１２は、入力フィーチャーマップを次の層として用い、上記ステップを繰り返してよい。

【0051】

図１３は、本発明の１つの実施形態によるモデル最適化のフロー図である。図１３を参照し、モデルのパラメータが層毎に量子化された後、プロセッサ１２は量子化されたモデルを取得してよい。プロセッサ１２は、量子化されたモデルを後学習させてよい（ステップＳ１３１０）。例えば、量子化モデルはラベル付けされた結果を有する訓練サンプルを用いて訓練されてよい。プロセッサ１２は、訓練された量子化モデルを際訓練／微調整してよい（ステップＳ１３２０）。応用シナリオによっては、訓練されたモデルを後学習させることは予測精度を低下させる可能性がある。このため、精度を微調整によって高めることができる。例えば、パラメータタイプが重みである量子化の勾配を決定するため、ｓｔｒａｉｇｈｔ－ｔｈｒｏｕｇｈ ｅｓｔｉｍａｔｏｒ ｗｉｔｈ ｂｏｕｎｄａｒｙ ｃｏｎｓｔｒａｉｎｔ（ＳＴＥＢＣ）が用いられる。最後に、プロセッサ１２は微調整された量子化モデルを取得してよい（ステップＳ１３３０）。このようにして、予測精度を更に高めることができる。

【0052】

応用シナリオによっては、量子化モデルは、画像認識、物体検出、意味解析、又は他の推論に用いられてよい。

【0053】

まとめると、本発明の実施形態の深層学習ネットワークのための最適化方法及び演算システムにおいて、２のべき乗量子化後のワンホットエンコーディングされた第１データが採用され、第２データはマルチスケール動的固定点量子化により量子化されて、演算のため訓練されたモデルの特定の層に入力される。このようにして、予測精度を高めることができ（例えば、最大８５％以上、又は量子化されていないモデルと比較した差は３％未満）、ハードウェアを介した実装に適用される。

【0054】

実施形態により本発明を上記に開示したが、本発明をこれらに限定することを意図していない。当業者は、本発明の精神及び範囲から逸脱することなく、いくつかの改変及び変更を行うことができる。このため、本発明によって保護される範囲は、添付の特許請求の範囲によって定義されるべきである。

【産業上の利用可能性】

【0055】

本発明の深層学習ネットワークのための最適化方法及び演算システムは、機械学習技術に応用することができる。

【符号の説明】

【0056】

１０：演算システム
１１：メモリ
１２：プロセッサ
Ｓ２１０～Ｓ２４０、Ｓ５１０～Ｓ３０、Ｓ７１０、Ｓ８１０～Ｓ８５０、Ｓ１０１０、Ｓ１２０１～Ｓ１２０９、Ｓ１３１０～Ｓ１３３０：ステップ
Ｌ_１～Ｌ_Ｎ：層
Ｓ_１～Ｓ_Ｎ：スケーリング係数
９０２：符号ビット
９０３：仮数
９０４：整数部
９０５：小数部
ｆｌ：小数の長さ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【手続補正書】

【提出日】2024-09-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

第１データを取得することと、
前記第１データを２のべき乗量子化を通じて第１フォーマット又は第２フォーマットに量子化することであって、第１データを前記２のべき乗量子化により前記第１フォーマットに量子化した後のデータセット中の第１の値を有する要素と、第１データを前記２のべき乗量子化により前記第２フォーマットに量子化した後のデータセット中の第１の値を有する要素の数は異なることと、
前記第１フォーマット又は前記第２フォーマットを目標フォーマットとして用いることは、
量子化誤差に基づいて前記第１フォーマット及び前記第２フォーマットのうちの１つを前記目標フォーマットとして決定することであって、前記量子化誤差は前記２のべき乗量子化により前記第１フォーマット又は前記第２フォーマットに量子化された前記第１データと、前記２のべき乗量子化により量子化されていない前記第１データとの間の誤差であること
を含むことと、
前記目標フォーマットに基づいて量子化された前記第１データの量子化データを用いることにより、深層学習ネットワークに関する演算を実行することと
を含む、
深層学習ネットワークのための最適化方法。

【請求項2】

前記第１データは、前記深層学習ネットワークに基づく事前訓練モデル中の複数の層のうちの１つに属し、前記第１データを前記２のべき乗量子化を通じて前記第１フォーマット又は前記第２フォーマットに量子化することは、
前記層のスケーリング係数を決定することと、
前記スケーリング係数に基づいて前記層の量子化値の上限及び前記量子化値の下限を決定することと、
前記量子化値の前記上限及び前記量子化値の前記下限に基づいて前記層のための前記２のべき乗量子化における前記データセットを決定することであって、前記データセットは前記第１フォーマット及び前記第２フォーマット中の量子化値を定義するために用いられることと
を含む、
請求項１に記載の深層学習ネットワークのための最適化方法。

【請求項3】

前記第１フォーマットはワンホットエンコーディングであり、前記第２フォーマットはツーホットエンコーディングであり、前記第１データは前記深層学習ネットワークに基づく事前訓練モデルの重みであり、
前記演算は乗算演算であり、前記目標フォーマットは前記ワンホットエンコーディングであり、前記目標フォーマットに基づいて量子化された前記第１データを用いて前記深層学習ネットワークに関する前記演算を実行することは、
前記目標フォーマット中の前記第１の値の１つの位置に基づいて、シフターを介して第２データをシフトすることであって、前記第２データは前記深層学習ネットワークにおいて前記第１データで前記演算を実行するためのパラメータであること
を含む、
又は、
前記演算は乗算演算であり、前記目標フォーマットはツーホットエンコーディングであり、前記目標フォーマットに基づいて量子化された前記第１データを用いて前記深層学習ネットワークに関する前記演算を実行することは、
前記目標フォーマット中の前記第１の値の２つの位置に基づいて、前記シフターを介して前記第２データをシフトすることと、
加算器を介して、シフトされた前記第２データを加算することと
を含む、
請求項１に記載の深層学習ネットワークのための最適化方法。

【請求項4】

第１データを取得することと、
前記第１データを２のべき乗量子化を通じて量子化することであって、前記２のべき乗量子化を通じて量子化された前記第１データは第１フォーマット又は第２フォーマットであり、第１データを前記２のべき乗量子化により前記第１フォーマットに量子化した後のデータセット中の第１の値を有する要素と、第１データを前記２のべき乗量子化により前記第２フォーマットに量子化した後のデータセット中の第１の値を有する要素の数は異なり、前記第１データを前記２のべき乗量子化を通じて量子化することは、
前記第１データを前記２のべき乗量子化を通じて前記第１フォーマット又は前記第２フォーマットに量子化することと、
前記第１フォーマット又は前記第２フォーマットを目標フォーマットとして用いることは、
量子化誤差に基づいて前記第１フォーマット及び前記第２フォーマットのうちの１つを前記目標フォーマットとして決定することであって、前記量子化誤差は前記２のべき乗量子化により前記第１フォーマット又は前記第２フォーマットに量子化された前記第１データと、前記２のべき乗量子化により量子化されていない前記第１データとの間の誤差であること
を含むことと、
を含むことと、
第２データを取得することと、
前記第２データを動的固定点量子化を通じて量子化することと、
前記２のべき乗量子化後の前記第１データの量子化データ、及び前記動的固定点量子化後の前記第２データの量子化データに、深層学習ネットワークに関する演算を実行することと
を含む、
深層学習ネットワークのための最適化方法。

【請求項5】

プログラムコードを格納するよう構成されたメモリと、
前記メモリに結合され、
第１データを取得することと、
前記第１データを２のべき乗量子化を通じて第１フォーマット又は第２フォーマットに量子化することであって、第１データを前記２のべき乗量子化により前記第１フォーマットに量子化した後のデータセット中の第１の値を有する要素と、第１データを前記２のべき乗量子化により前記第２フォーマットに量子化した後のデータセット中の第１の値を有する要素の数は異なることと、
前記第１フォーマット又は前記第２フォーマットを目標フォーマットとして用いることは、
量子化誤差に基づいて前記第１フォーマット及び前記第２フォーマットのうちの１つを前記目標フォーマットとして決定することであって、前記量子化誤差は前記２のべき乗量子化により前記第１フォーマット又は前記第２フォーマットに量子化された前記第１データと、前記２のべき乗量子化により量子化されていない前記第１データとの間の誤差であること
を含むことと、
前記目標フォーマットに基づいて量子化された前記第１データの量子化データを用いることにより、深層学習ネットワークに関する演算を実行することと
を実行するため、前記プログラムコードをロードするよう構成されたプロセッサと
を含む、
深層学習ネットワークのための演算システム。

【外国語明細書】